Verificarea integrității datelor de OpenStreetMap

Paul Nicoară
Java Software Engineer Backend @ Grab

PROGRAMARE

OpenStreetMap (OSM) este o platformă crowdsourced de date geografice reprezentând o hartă digitală a lumii. Orice utilizator înregistrat o poate edita, bazându-se doar pe cunoștințele sale. Acest aspect deschide harta unui număr mare de editări, dar unor erori. Pentru a conferi siguranța utilizării aplicației noastre, ținând cont de setul mare de date reprezentat de OSM, e necesar un proces de analiză a calității datelor și de stopare a propagării erorilor în hartă și către utilizatori.

Introducere OpenStreetMap

OpenStreetMap (OSM) este o bază de date geografice, ce reprezintă o hartă a lumii. Aceasta este disponibilă sub o licență Open Data Commons Open Database License (ODbL), înregistrată sub o inițiativă a OpenStreetMap Foundation (OSMF).

Licența permite copierea, distribuirea, transmiterea și adaptarea datelor, atât timp cât se creditează OpenStreetMap și contribuitorii acesteia.

OSM a fost creată în 2004 de către Steve Coast și permite oricărui utilizator din întreaga lume să adauge date geometrice, de tip punct (nodes), linie (way), poligon sau relație, împreună cu taguri atașate, care să reprezinte elemente din lumea înconjurătoare. Inițial, harta a fost creată pornind exclusiv de la trasee GPS, dar a avut o pondere rapidă de creștere odată cu importul datelor geografice din domeniul public, precum datele TIGER în Statele Unite ale Americii și prin trasarea geometriilor peste fotografii aeriene și imagini satelitare georeferențiate.

A fost adesea descrisă ca o Wikipedia pentru hărți, datorită posibilității oricărui utilizator înregistrat să adauge, modifice sau să șteargă elemente din hartă. Poate fi editată de utilizatori cu cunoștințe minime despre cartografie, date geografice și de utilizare a softurilor care permit editarea. Datele editate pot fi verificate de către oricare utilizator și modificate dacă nu sunt corecte, folosindu-se de o sursă liberă disponibilă, precum imagini satelitare, imagini la nivelul solului, trasee GPS sau de cunoștințe locale sau proprii.

Figura 1. Harta OpenStreetMap

În prezent, există peste 10 milioane de utilizatori înregistrați și peste 100 milioane de seturi de modificări, changesets, transmise către baza de date, din februarie 2021.

Introducere Grab

Grab este o companie multinațională de tehnologie, din Asia de Sud-Est (SEA), cu sediul central in Singapore și Indonesia. Este dezvoltatorul unei super aplicații de transport, livrare de mâncare și servicii de plăți digitale pe device-uri mobile, care operează în Singapore, Malaysia, Cambodia, Indonesia, Myanmar, Filipine, Thailanda și Vietnam.

Compania a fost fondată sub numele 'MyTeksi' în 2012 de Anthony Tan si Hooi Ling Tan, pentru a face transportul de persoane cu taxiul mai sigur in Malaysia. Și-a schimbat numele în Grab în 2016. Este primul decacorn din SEA și cel mai mare start-up de tehnologie din zona. A devenit o companie tranzacționată public pe NASDAQ în 2021.

Figura 2. Livratori Grab

Cum folosește Grab OSM?

GrabMaps este un serviciu enterprise Grab care include date mapate de o calitate foarte mare, incluzând peste 50 de milioane de adrese și puncte de interes (POI) în Asia de Sud-Est (SEA). GrabMaps perturbă modelele existente de mapare cu o perspectivă granulară și foarte precisă construită de către utilizatori locali, pentru comunitatea locală din SEA.

Grab contribuie la OpenStreetMap, prin adăugarea drumurilor lipsă, editarea numelor de stradă și prin punerea la dispoziția comunității a unor unelte pentru editare, găsirea erorilor sau statistici, precum: KartaView, ImproveOSM sau metrici OSM.

KartaView reprezintă un tool prin care sunt afișate poze la nivelul străzii în softul de editare OSM. Prin ImproveOSM sunt vizualizate posibile străzi lipsă, restricții de circulație, sensuri unice lipsă sau detecții de semne de circulație.

Noi transmitem date către comunitate și prin alte moduri, de exemplu prin platforme de mapare colaborativă, precum MapRoulette.

Grab folosește OpenStreetMap ca hartă base layer în crearea GrabMaps.

Recent, GrabMap a devenit un data provider pentru Amazon Location Service, un serviciu Amazon Web Services (AWS) menit să ajute programatorii să adauge puncte de interes, să realizeze rutare pe hărți, să georeferențieze și să facă geofencing în aplicațiile lor în mod ușor și securizat.

Figura 3. Utilizator al aplicației Grab

Cum ne asigurăm de corectitudinea datelor din hartă?

Anumite reguli de mapare a feature-urilor din hartă sunt specifice fiecărei țări ale lumii. Există comunități de editori în fiecare țară, care stabilesc modul corect de editare și tagare a geometriilor respectiv a atributelor. Caracteristica crowdsourced a datelor OSM înseamnă că oricine o poate edita, fie din comunitatea locală fie din afara acesteia. Unele verificări automate sunt făcute de către fundația OSM, pentru a împiedica vandalismul, însă e imposibil de urmărit manual fiecare editare care are loc în OSM. Inevitabil anumite erori sunt adăugate în hartă, voit sau nu. Se întâmplă, însă și ca datele să nu mai fie valabile datorită schimbărilor petrecute în lume.

Datele folosite de noi înseamnă o cantitate mare de date, acumulate la nivelul tuturor țărilor din SEA. Asigurarea corectitudinii datelor pe care le avem în hartă presupune un efort complex, ce necesită colaborarea strânsă dintre echipele de analiști și de compilare a hărții, pentru a înțelege situațiile de erori pe care analiștii le întâlnesc în OSM și modul în care le putem detecta.

Majoritatea erorilor pe care le identificăm sunt legate de way-uri (drumuri). Cele mai comune erori ce apar sunt de folosirea incorectă a valorilor pentru taguri dintr-o listă de taguri; valori inconsistente pentru benzile de circulație rutieră; drumuri conectate la un alt drum sub un unghi foarte mic, care nu permite virajul; drumuri mapate care nu se conectează cu niciun alt drum; schimbări ale numelui pe parcursul unei străzi sau atribuirea numelui pe o stradă greșită; informație incorectă privind interzicerea virajelor.

Erorile care pot apărea pe date de tip punct sunt absența informațiilor legate de ieșirea de pe autostradă, de exemplu absența unui tag de număr de ieșire sau de ref (referință); inconsistentă pentru valoarea de acces în zone rezidențiale, precum prezența unui tag de barieră cu valoare incorectă; absența tagului care definește tipul de acces etc.

Aceste posibile erori sunt semnalate folosind un program scris în Java, care analizează datele și exportă way-urile și nodurile asupra cărora noi credem că s-a editat greșit într-un fișier de tip geojson separat pentru fiecare tip de eroare, per țară și oraș.

Ulterior, analiștii verifică fiecare nod sau way din fișiere, comparând cu surse de date la care avem acces cu permisiunea de utilizare în OSM (date open), precum imagini satelitare și imagini la nivelul străzii (KartaView si Mapillary) pentru a fi îndreptate erorile.

Figura 4. Imagine KartaView in softul JOSM

Nu toate cazurile expuse în fișiere reprezintă într-adevăr greșeli. Unele cazuri sunt false-positive. De asemenea, nu toate cazurile pot fi analizate sau rezolvate, de exemplu în situația în care lipsește o sursă de date care să ne ajute să o rezolvăm. Un efect și neajuns al acestei situații este faptul că unele erori pot persista în OSM, chiar dacă noi suntem convinși că e o eroare. În absența unei surse open de validare nu se poate face editarea, conform politicii de editare în OSM. În această situație trimitem fișierele cu posibilele erori către comunitatea locală prin intermediul MapRoulette, pentru a fi rezolvate cu ajutorul cunoștințelor locale sau pentru a lua imagini la nivelul străzii care să confirme sau să infirme corectitudinea stării din OSM.

Concluzie

OSM este o sursă valoroasă de date colectate de utilizatori din întreaga lume. Datele sunt foarte multe și se pot strecura multe erori. Verificarea corectitudinii datelor este esențială pentru asigurarea realizării unei hărți de calitate. În acest proces sunt implicați mulți utilizatori, programe, analiști și dezvoltatori, din cadrul companiei noastre. Acesta este un proces continuu care în acest moment nu funcționează automat din cauza mai multor parametri: situația din teren, editările din OSM și a surselor de date valide.

Cu participarea tuturor stakeholderilor se contribuie la realizarea unei hărți de o calitate mai bună.