ABONAMENTE VIDEO REDACȚIA
RO
EN
NOU
Numărul 150
Numărul 149 Numărul 148 Numărul 147 Numărul 146 Numărul 145 Numărul 144 Numărul 143 Numărul 142 Numărul 141 Numărul 140 Numărul 139 Numărul 138 Numărul 137 Numărul 136 Numărul 135 Numărul 134 Numărul 133 Numărul 132 Numărul 131 Numărul 130 Numărul 129 Numărul 128 Numărul 127 Numărul 126 Numărul 125 Numărul 124 Numărul 123 Numărul 122 Numărul 121 Numărul 120 Numărul 119 Numărul 118 Numărul 117 Numărul 116 Numărul 115 Numărul 114 Numărul 113 Numărul 112 Numărul 111 Numărul 110 Numărul 109 Numărul 108 Numărul 107 Numărul 106 Numărul 105 Numărul 104 Numărul 103 Numărul 102 Numărul 101 Numărul 100 Numărul 99 Numărul 98 Numărul 97 Numărul 96 Numărul 95 Numărul 94 Numărul 93 Numărul 92 Numărul 91 Numărul 90 Numărul 89 Numărul 88 Numărul 87 Numărul 86 Numărul 85 Numărul 84 Numărul 83 Numărul 82 Numărul 81 Numărul 80 Numărul 79 Numărul 78 Numărul 77 Numărul 76 Numărul 75 Numărul 74 Numărul 73 Numărul 72 Numărul 71 Numărul 70 Numărul 69 Numărul 68 Numărul 67 Numărul 66 Numărul 65 Numărul 64 Numărul 63 Numărul 62 Numărul 61 Numărul 60 Numărul 59 Numărul 58 Numărul 57 Numărul 56 Numărul 55 Numărul 54 Numărul 53 Numărul 52 Numărul 51 Numărul 50 Numărul 49 Numărul 48 Numărul 47 Numărul 46 Numărul 45 Numărul 44 Numărul 43 Numărul 42 Numărul 41 Numărul 40 Numărul 39 Numărul 38 Numărul 37 Numărul 36 Numărul 35 Numărul 34 Numărul 33 Numărul 32 Numărul 31 Numărul 30 Numărul 29 Numărul 28 Numărul 27 Numărul 26 Numărul 25 Numărul 24 Numărul 23 Numărul 22 Numărul 21 Numărul 20 Numărul 19 Numărul 18 Numărul 17 Numărul 16 Numărul 15 Numărul 14 Numărul 13 Numărul 12 Numărul 11 Numărul 10 Numărul 9 Numărul 8 Numărul 7 Numărul 6 Numărul 5 Numărul 4 Numărul 3 Numărul 2 Numărul 1
×
▼ LISTĂ EDIȚII ▼
Numărul 118
Abonament PDF

Senzori video mobili pentru orașe inteligente

Dan Onica
Group Leader Video Systems @ Centrul de inginerie Bosch Cluj



PROGRAMARE

Cel mai semnificativ avans în evoluția domeniului vehiculelor autonome, din perioada recentă este implementarea sistemelor de percepție și control bazate pe inteligență artificială. Una din arhitecturile principale folosite constă în utilizarea unei camere video poziționată în spatele parbrizului și care are un câmp vizual asemănător cu cel al șoferului.

Acest sistem folosește în paralel soluții inovative, bazate pe viziune artificială cum ar fi învățare automată (machine learning), flux optic (optical flow), rețele neuronale profunde (deep neural networks) pentru înțelegerea mediului înconjurător și ulterior, îndeplinirea funcțiilor de control al mașinii.

O extensie a acestui sistem dincolo de limitele sale fizice este posibilă prin crearea de hărți high definition (HD) care sunt stocate în cloud și care sunt folosite în momente când vizibilitatea este redusă sau pur și simplu ca sursă redundantă de informație, în fuziune cu percepția din mașină, descrisă anterior.

Alături de sistemul video și algoritmii de percepție, două funcționalități din domeniul roboticii, localizarea și maparea (cartografierea) sunt adăugate. Prin localizare, înțelegem folosirea de repere statice (landmarks) din mediul înconjurător, detectate de sistemul de percepție, împreună cu o hartă de referință, pentru determinarea poziției geografice exacte a vehiculului echipat cu sistemul video, mult mai precisă decât cea oferită de module GPS. Reperele statice sunt elemente din mediu care nu își schimbă poziția pe termen lung, precum semnele de circulație, semafoarele, marcajele benzilor sau stâlpii din lateralul carosabilului.

Când vorbim despre mapare, ne referim la crearea unei asocieri între reprezentarea geometrică și semantică a fiecărui reper static detectat de sistemul de percepție cu un set de coordonate geografice (latitudine, longitudine), cu scopul creării hărții de referință. De asemenea, împachetarea inteligentă și protocolul de comunicare cu partea de cloud este abordată aici. Harta de referință a unei locații este creată prin traversarea acesteia de unul sau mai multe vehicule echipate cu sistem de percepție video și transmiterea informațiilor de tip reper plus coordonate către un centru de date (cloud). În partea de cloud funcționalitatea de mapare vizează și alinierea tuturor acestor măsurători de la diverse vehicule în una singură.

Figura 1: Sistemul Bosch Front Video Camera, cu câteva din soluțiile de percepție utilizate

În practică, vorbim despre localizare și mapare simultană, deoarece harta de referință trebuie constant actualizată cu orice schimbare produsă în mediul perceput.

O a treia funcționalitate este cea de agregare în timp, necesară pentru a reduce volumul de date transferate și în final mărimea hărții. Agregarea se obține prin însumarea tuturor detecțiilor din toate imaginile (15 imagini / sec.) în care landmarkul (obiectul) a fost vizibil într-o singură reprezentare. Această reprezentare este una schematică, redusă din punct de vedere geometric și semantic. Ea va fi trimisă o singură dată către hartă în momentul în care mașina trece de poziția acelui landmark în coordonatele lumii și este suficientă pentru a crea sau actualiza harta.

Figura 2: Hărți HD pentru aplicația de mașini autonome, care creează și apoi utilizează harta.

În afară de repere statice, sistemul de percepție video detectează și elemente temporare sau mobile în fiecare cadru video, care nu au un caracter permanent, dar care sunt înregistrate în statisticile asociate hărții de referință. Prin elemente mobile sau temporare înțelegem: alte vehicule, pietoni, bicicliști sau starea drumului (uscat/umed), printre altele.

Adăugăm la extrasenzorul video, cu toate sub-funcționalitățile descrise mai sus, două alte componente mari: prima este unitatea de transmisie de date (IoT gateway), iar a doua este partea de servicii cloud.

Scopul unității de transmisie de date este conectarea părții de sistem din vehicul cu cea din cloud. În partea de cloud, pe lângă stocarea hărții, se abordează și alinierea tuturor măsurătorilor de la multe vehicule, post-procesarea datelor și vizualizarea lor.

În acest exemplu mașina detectează o limitare de viteză, o trimite către cloud. Ulterior revine pe aceeași porțiune de drum într-o situație cu vizibilitatea redusă, când percepția din mașină are limitări, și se preia din hartă valoarea de pe indicatorul de limitare de viteză.

Prin adaptarea sistemului prezentat mai sus, putem să creăm un produs nou, cu aplicabilitate în domeniul infrastructurii digitale a orașelor inteligente și în domeniul mobilității durabile: senzori video mobili pentru orașe inteligente. Sistemul propune extinderea funcționalităților din domeniul vehiculelor autonome înspre domeniul orașelor inteligente.

Montarea sistemului se poate face în flote de mașini aparținând administrației publice, cum ar fi autobuze, tramvaie, mașini transport marfa, mașini de gunoi, taxi ori curierat, obținând astfel o rețea de sisteme video mobile. Acoperirea asigurată de acești agenți este continuă, frecventă și completă.

Figura 3: Hărți HD pentru aplicația de orașe inteligente. Sursa: https://www.esri.com/en-us/arcgis/products/mapping/overview

În exemplul de mai sus un astfel de agent trimite către cloud obiecte statice și în mișcare care vor fi stocate și analizate automat cu obiective concrete în dezvoltarea de funcții avansate, prin vizualizare intuitivă a hărții și statisticilor sau identificarea automată a unor scenarii ori evenimente de interes. Exemple de astfel de informații și servicii sunt: monitorizarea stării de degradare a infrastructurii, planuri de urbanism bazate pe măsurători statistice, gradul de poluare sau densitatea traficului, comportamentului participanților la trafic și multe altele. Unele dintre acestea pot fi integrate cu alte sisteme dintr-un oraș inteligent prezente deja (ex.: semafoare inteligente).

Toate acestea vor fi accesate de către membrii administrațiilor publice pentru a facilita luarea deciziilor pe baza de date precise și obiective.

NUMĂRUL 149 - Development with AI

Sponsori

  • Accenture
  • BT Code Crafters
  • Accesa
  • Bosch
  • Betfair
  • MHP
  • BoatyardX
  • .msg systems
  • P3 group
  • Ing Hubs
  • Cognizant Softvision
  • Colors in projects