Cel mai semnificativ avans în evoluția domeniului vehiculelor autonome, din perioada recentă este implementarea sistemelor de percepție și control bazate pe inteligență artificială. Una din arhitecturile principale folosite constă în utilizarea unei camere video poziționată în spatele parbrizului și care are un câmp vizual asemănător cu cel al șoferului.
Acest sistem folosește în paralel soluții inovative, bazate pe viziune artificială cum ar fi învățare automată (machine learning), flux optic (optical flow), rețele neuronale profunde (deep neural networks) pentru înțelegerea mediului înconjurător și ulterior, îndeplinirea funcțiilor de control al mașinii.
O extensie a acestui sistem dincolo de limitele sale fizice este posibilă prin crearea de hărți high definition (HD) care sunt stocate în cloud și care sunt folosite în momente când vizibilitatea este redusă sau pur și simplu ca sursă redundantă de informație, în fuziune cu percepția din mașină, descrisă anterior.
Alături de sistemul video și algoritmii de percepție, două funcționalități din domeniul roboticii, localizarea și maparea (cartografierea) sunt adăugate. Prin localizare, înțelegem folosirea de repere statice (landmarks) din mediul înconjurător, detectate de sistemul de percepție, împreună cu o hartă de referință, pentru determinarea poziției geografice exacte a vehiculului echipat cu sistemul video, mult mai precisă decât cea oferită de module GPS. Reperele statice sunt elemente din mediu care nu își schimbă poziția pe termen lung, precum semnele de circulație, semafoarele, marcajele benzilor sau stâlpii din lateralul carosabilului.
Când vorbim despre mapare, ne referim la crearea unei asocieri între reprezentarea geometrică și semantică a fiecărui reper static detectat de sistemul de percepție cu un set de coordonate geografice (latitudine, longitudine), cu scopul creării hărții de referință. De asemenea, împachetarea inteligentă și protocolul de comunicare cu partea de cloud este abordată aici. Harta de referință a unei locații este creată prin traversarea acesteia de unul sau mai multe vehicule echipate cu sistem de percepție video și transmiterea informațiilor de tip reper plus coordonate către un centru de date (cloud). În partea de cloud funcționalitatea de mapare vizează și alinierea tuturor acestor măsurători de la diverse vehicule în una singură.
Figura 1: Sistemul Bosch Front Video Camera, cu câteva din soluțiile de percepție utilizate
În practică, vorbim despre localizare și mapare simultană, deoarece harta de referință trebuie constant actualizată cu orice schimbare produsă în mediul perceput.
O a treia funcționalitate este cea de agregare în timp, necesară pentru a reduce volumul de date transferate și în final mărimea hărții. Agregarea se obține prin însumarea tuturor detecțiilor din toate imaginile (15 imagini / sec.) în care landmarkul (obiectul) a fost vizibil într-o singură reprezentare. Această reprezentare este una schematică, redusă din punct de vedere geometric și semantic. Ea va fi trimisă o singură dată către hartă în momentul în care mașina trece de poziția acelui landmark în coordonatele lumii și este suficientă pentru a crea sau actualiza harta.
Figura 2: Hărți HD pentru aplicația de mașini autonome, care creează și apoi utilizează harta.
În afară de repere statice, sistemul de percepție video detectează și elemente temporare sau mobile în fiecare cadru video, care nu au un caracter permanent, dar care sunt înregistrate în statisticile asociate hărții de referință. Prin elemente mobile sau temporare înțelegem: alte vehicule, pietoni, bicicliști sau starea drumului (uscat/umed), printre altele.
Adăugăm la extrasenzorul video, cu toate sub-funcționalitățile descrise mai sus, două alte componente mari: prima este unitatea de transmisie de date (IoT gateway), iar a doua este partea de servicii cloud.
Scopul unității de transmisie de date este conectarea părții de sistem din vehicul cu cea din cloud. În partea de cloud, pe lângă stocarea hărții, se abordează și alinierea tuturor măsurătorilor de la multe vehicule, post-procesarea datelor și vizualizarea lor.
În acest exemplu mașina detectează o limitare de viteză, o trimite către cloud. Ulterior revine pe aceeași porțiune de drum într-o situație cu vizibilitatea redusă, când percepția din mașină are limitări, și se preia din hartă valoarea de pe indicatorul de limitare de viteză.
Prin adaptarea sistemului prezentat mai sus, putem să creăm un produs nou, cu aplicabilitate în domeniul infrastructurii digitale a orașelor inteligente și în domeniul mobilității durabile: senzori video mobili pentru orașe inteligente. Sistemul propune extinderea funcționalităților din domeniul vehiculelor autonome înspre domeniul orașelor inteligente.
Montarea sistemului se poate face în flote de mașini aparținând administrației publice, cum ar fi autobuze, tramvaie, mașini transport marfa, mașini de gunoi, taxi ori curierat, obținând astfel o rețea de sisteme video mobile. Acoperirea asigurată de acești agenți este continuă, frecventă și completă.
Figura 3: Hărți HD pentru aplicația de orașe inteligente. Sursa: https://www.esri.com/en-us/arcgis/products/mapping/overview
În exemplul de mai sus un astfel de agent trimite către cloud obiecte statice și în mișcare care vor fi stocate și analizate automat cu obiective concrete în dezvoltarea de funcții avansate, prin vizualizare intuitivă a hărții și statisticilor sau identificarea automată a unor scenarii ori evenimente de interes. Exemple de astfel de informații și servicii sunt: monitorizarea stării de degradare a infrastructurii, planuri de urbanism bazate pe măsurători statistice, gradul de poluare sau densitatea traficului, comportamentului participanților la trafic și multe altele. Unele dintre acestea pot fi integrate cu alte sisteme dintr-un oraș inteligent prezente deja (ex.: semafoare inteligente).
Toate acestea vor fi accesate de către membrii administrațiilor publice pentru a facilita luarea deciziilor pe baza de date precise și obiective.