Experts Panel Talks – Democratizarea AI și Machine Learning în cloud

Ovidiu Mățan
Fondator @ Today Software Magazine

În cadrul panelului de discuții al evenimentului de lansare TSM 101, am discutat cu invitații noștri despre provocările din domeniul inteligenței artificiale:

• Claudiu Iluțiu - Software Architect @ Siemens
• Radu Orghidan - VP Cognitive Computing @ Endava

Ovidiu Mățan: Vă invit să începem cu o scurtă prezentare personală.

Radu Orghidan: Am absolvit Universitatea Tehnică. Apoi, am făcut un doctorat în Computer Vision la Barcelona. Am revenit în România acum 12 ani., unde am fondat un start-up și am fost membru inițiator pentru încă două. Mă pasionează AI, roboții și, la nivel personal, îmi plac schiul și motocicletele.

Claudiu Iluțiu: Am absolvit Facultatea de Automatică și Calculatoare. Am o experiență de peste 15 ani în software development. În ultimii ani am fost pasionat de Machine Learning, cloud, iar, pe plan personal, îmi plac baschetul și filmele clasice.

Pe GitHub există peste 100 de milioane de repository-uri, multe legate de AI, ceea ce deja reprezintă o democratizare a AI-ului. Ce înseamnă acest lucru din perspectiva ușurinței de folosire și a accesului la informație sau date?

Radu Orghidan: Nu știu cât de clară este distincția dintre folosirea și construirea unui sistem AI. Sunt două domenii diferite. Una este să înțelegi și să știi să construiești un model (pregătire date, metrici corecte pentru evaluare etc). Alta este să înțelegi cum poți folosi în business un model, când e cazul să dezvolți sau să folosești unul. Din prisma folosirii și a construirii, faptul că există foarte multe proiecte pe GitHub, mie îmi spune că mulți sunt pasionați să construiască, dar nu îmi spune câți sunt pregătiți să folosească aceste modele de AI.

Claudiu Iluțiu: Prezența unui volum atât de mare de cod sursă permite coborârea nivelului de intrare în acest domeniu, per nivel de dificultate. Astfel, persoane fără prea multă experiență pot, ca urmare a unui efort mediu să achiziționeze cunoștințe în domeniu. Este o mare oportunitate. Platforme precum GitHub sau Kegel ajută la democratizare prin exemple, surse de date, competiții. Toolurile care ajută la democratizare sunt Microsoft Azure - ML Studio, Google - AutoML, AWS - SageMaker, aceste servicii evoluând destul de mult și dând posibilitatea de a implementa un model simplu, din câteva clickuri, în producție.

Radu Orghidan: Toolurile menționate se folosesc la scară largă și este de preferat să se folosească astfel de tooluri decât să le construim de la zero. Pentru soluții realizate de la zero, noi preferăm Jupyter Notebook și pleiada de tooluri de la Python, dar costurile de creare și de antrenare de la zero ale unui model nu se justifică, mai ales dacă acel model este, deja, disponibil în cloud.

AI-ul poate fi un tool puternic. Mulți au investit enorm în AI, neștiind inițial la ce să se aștepte, iar rezultatele nu au fost pe măsură. Ne puteți da un exemplu?

Radu Orghidan: Când investești în AI, trebuie să iei în calcul tot ecosistemul în care vei investi. Dacă ne uităm doar la o piesă din puzzle și nu vedem imaginea de ansamblu, putem avea surprize neplăcute. Un exemplu ar fi respingerea soluției inteligente de utilizatorii care ar trebui să beneficieze de ea. Un alt exemplu este o situație în care procesul fizic este digitizat ad literam, ceea ce poate duce la niște soluții care nu sunt cele mai bune, deoarece ideal ar fi să înțelegem tot procesul, tot obiectivul de business și să redefinim procesul, folosind AI. O surpriză neplăcută poate veni din faptul că nu sunt date suficiente, ceea ce duce la modele cu prejudecăți ce nu pot recunoaște entități. Exemplul clasic este cel din autonomous driving unde antrenezi modelul doar cu imagini din timpul zilei, ceea ce face ca modelul să fie inutil noaptea. Tot așa, un sistem de computer vision poate da greș dacă vede obiectele doar din anumite unghiuri.

Claudiu Iluțiu: Rata de succes poate e mai scăzută decât în cazul altor tehnologii, deoarece e nevoie de o cunoaștere profundă a tuturor elementelor implicate, de la date la modul în care utilizatorii folosesc rezultatele proceselor. Pot să dau exemplul melodiilor recomandate de YouTube care nu se potrivesc niciodată cu preferințele mele. E important să se construiască seturi de antrenare, validare, testare pentru a se elimina prejudecățile.

Un alt exemplu ar fi chatbotul cu care nu poți avea un dialog dincolo de câteva comenzi simple.

Radu Orghidan: Aici te contrazic. Am avut o surpriză foarte plăcută cu GPT-3. E un model de la Open AI, cel mai complex model construit vreodată de oameni, cu 175 de milioane de parametri, cu o antrenare estimată la 10 milioane de dolari. Este un model de generare de text. Poți crea articole dând programului o temă sau poți să îl faci să continue o frază, să înțeleagă tipare și să vorbească în mod inteligent. Am fost acceptat de curând ca Beta-tester pe platforma Open AI. E greu să faci tehnologii cu GPT-3, deoarece este atent monitorizată utilizarea necorespunzătoare a tehnologiei (de exemplu, fake news). Modelul GPT-3 m-a impresionat prin acuratețea și creativitatea de care dă dovadă. Să vezi un model de Machine Learning creativ este incredibil.

Acum câțiva ani era o teamă generală că AI va înlocui forța de muncă umană. Acest lucru nu s-a întâmplat, dar tendința este ca, acoperind anumite locuri de muncă cu AI, să ajungem la crearea de alte locuri de muncă, poate să antrenăm modele. Cum vedeți noile locuri de muncă ce vor apărea?

Claudiu Iluțiu: Eu cred că introducerea AI ne va da timp să ne concentrăm pe joburile mai creative, dar așa cum spunea Radu, Machine Learning poate deveni în sine creativ. Se pare că nici în domeniul creativității nu rămâne mult loc pentru oameni. Cred că trebuie să ne gândim din timp la restricțiile pe care le impunem acestor algoritmi.

Radu Orghidan: Bunicii noștri nu ar înțelege ce facem dacă le spunem că facem IoS development sau Machine Learning. Vor apărea locuri de muncă la care noi nu ne gândim acum. Tehnologia va fi atât de întrețesută cu viețile noastre încât o vom percepe precum electricitatea. Vor exista o serie de considerente care vor ține cont de datele de antrenament, rezultatele. Am reținut de la o prezentare de la ITDays care sunt cele 5 meta-skilluri care vor avea prioritate: Feeling (intuiție, empatie), Seeing (înțelegere, viziune sistemică, gândire critică), Dreaming (aplicarea creativității), Making (abilitatea de a crea prototipuri sau design), Learning (abilitatea de a fi curios și autodidact). Educația copiilor trebuie să le includă, ținând cont de faptul că tehnologia ne servește și are nevoie de aceste skilluri.

Claudiu Iluțiu: Trebuie să se păstreze factorul uman de decizie. Deși unele evoluții tehnologice au fost eșecuri, omenirea nu a învățat să ia decizii preventive, ci decizii corective.

Ar trebui să existe legi care să delimiteze ce e folosit, cum e folosit, de exemplu, în industrii ca high-performance trading? Când vom ajunge aici?

Claudiu Iluțiu: Ar fi util să avem acorduri similare celui de neproliferare a armelor nucleare. Dacă AI-ul ajunge să fie folosit pentru sistemele de arme autonome, atunci suntem în pericol. Ar trebui să existe autorități care să reglementeze utilizare anumitor tipuri de date, pentru a evita utilizarea dezastruoasă a acestora

Radu Orghidan: Un alt exemplu este Clearview AI, o aplicație a unui chinez care a făcut scrapping pe internet prin baza de date de genul Facebook, LinkedIn, iar acum oferă posibilitatea ca pe baza recunoașterii faciale să obții toate informațiile despre o anume persoană. E greu de asigurat guvernanța într-o lume în care internetul nu are limite. Te poți ascunde după legile unei țări și să folosești date din alte țări unde folosirea lor ar fi interzisă.

Ce părere aveți de rezultatele distructive ale unui AI (limbaj licențios, distrugerea umanității etc.)?

Claudiu Iluțiu: Respectăm regula "Garbage in, garbage out".

Radu Orghidan: Datele pe care le folosim pentru antrenament sunt manualele pe care modelele le învață. Ce le dai, asta vor livra.

Ce putem democratiza? Datele? Stocarea? Algoritmii? Dezvoltarea modelelor? Marketplace? Care tooluri oferă aceste capabilități?

Claudiu Iluțiu: Avem platforme unde se pot partaja date, de tip Kegel. În zona de stocare și calcul, toți furnizorii cloud oferă acest lucru. În ceea ce privește dezvoltarea de modele, am folosit Kubeflow, în timp în zona marketplace sunt începuturi timide. Recent am descoperit Amazon Mechanical Turk care permite închirierea forței de muncă care să facă taskuri de complexități diferite, începând de la analiza datelor și validare până la cercetare, dar mai avem mult de evoluat.

Radu Orghidan: Vorbim de o sofisticare tot mai mare a ceea ce se democratizează, dar evoluția acestor modele merge în paralel, nu pe o axă temporală. Domeniul marketplace este mai complex, deoarece necesită și modele, și date.

Lucrați pe vreun proiect ce aplică Machine Learning în industrie?

Claudiu Iluțiu: Eu am lucrat pe un proiect din zona de protecție a mediului.

Radu Orghidan: Sunt foarte multe proiecte în desfășurare, cele mai multe adresate băncilor. Machine Learning se folosește cam în trei feluri: pentru înțelegerea unei situații (descriptiv), pentru a prezice ceva predictiv), pentru a da o indicație (prescriptiv). Noi folosim Machine Learning pentru contexte prescriptive și predictive: de exemplu, înțelegerea unei strategii de marketing asupra clienților sau prezicerea faptului că un client va renunța la anumite servicii.

În programarea standard, aplicațiile învață ce este un dreptunghi, un oval, iar apoi afișează ce au găsit. În cazul AI, noi dăm sistemului o serie de forme și învață singur ce este un dreptunghi. Cât de mult doresc companiile să investească în AI/Machine Learning? Potențialul este enorm pentru educație și sistemul public, dar multe proiecte sunt în stadiul de evaluare.

Claudiu Iluțiu: Există un procent mare de soluții mature, dar multe sunt încă în stadiul de evaluare, deoarece procesul este lung, iar primele încercări sunt sortite eșecului.

Radu Orghidan: Apetitul pentru astfel de tehnologii va fi enorm din partea sistemului de educație și a sistemului public.

Când folosim un AI în producție, în general se observă că în primele 30 de zile performanța nu a fost extraordinară, după 60 de zile a fost acceptabilă, iar după 90 de zile începem să vedem rezultatele. Ce părere aveți?

Radu Orghidan: Mi se pare similar cu dilema inovației care arată că majoritatea soluțiilor disruptive sunt ignorate de utilizatori inițial, arătându-și valoarea în timp. Aici valoarea nu e liniară, ci exponențială.

Claudiu Iluțiu: Valorile sunt destul de optimiste, poate. Fără răbdare și dedicare, nu vom obține nimic.

Cum vedeți Machine Learning în lumea IoT?

Radu Orghidan: Avem acum în buzunare dispozitive cu putere de calcul de zeci de ori mai mare decât calculatoarele pe care am învățat noi programare acum 20 de ani. Acest lucru permite rularea de algoritmi din ce în ce mai sofisticați, făcând dispozitivele din ce în ce mai utile.

Claudiu Iluțiu: Numărul de dispozitive ce generează datele crește exponențial, fiind numeroși jucători ce au venit în întâmpinarea acestui fenomen. Companiile din domeniul industrial realizează că, dacă nu țin pasul cu acest domeniu, vor dispărea în câțiva ani.

Tendința este ca procesarea să se facă la nivelul senzorilor pentru a nu transmite prea multe date. Cum vedeți lucrul acesta?

Claudiu Iluțiu: Depinde de fiecare studiu de caz. În unele cazuri procesarea la sursă este posibilă. Dacă datele sunt complexe sau dacă procesarea lor necesită algoritmi de complexitate mare, atunci asta va presupune transferarea lor în cloud sau alte medii. Procesarea la sursă e importantă, acolo unde e posibilă, costurile pe termen lung fiind mai mici.

Radu Orghidan: Eu sunt mare fan edge computing. Se va dori procesarea locală, lângă date, din motive de securitate și latență.