Nu mai puneți oamenii în buclă

Tibor Boné
Project Manager @ msg systems Romania

Human-in-the-loop pare un răspuns sigur la provocările aduse de IA: lăsăm sistemul să lucreze, dar păstrăm un om care să aprobe rezultatul. Ideea este liniștitoare, însă ne poate da și un fals sentiment de control. Pe măsură ce IA preia tot mai mult din execuție, întrebarea utilă devine alta: unde avem cu adevărat nevoie de judecata umană și cum păstrăm oamenii responsabili de direcție fără să-i transformăm în butoane de aprobare?

Într-un articol anterior, From knowing to judging, am urmărit un model care s-a repetat de mai multe ori în munca tehnică. IDE-urile au preluat o parte din mecanică, motoarele de căutare au externalizat o parte din memorie, cloudul a făcut același lucru cu infrastructura, iar IA începe acum să preia și părți din gândirea inițială. Competența nu a dispărut; s-a mutat. Dacă judecata devine mai importantă, unde ar trebui să se afle?

Când oamenii erau bucla

Să ne gândim la producția industrială. Într-o fabrică mai veche, oamenii trebuiau să fie prezenți în aproape fiecare etapă: mutau materiale, reglau echipamente, urmăreau indicatoare, verificau rezultatele și corectau abaterile.

Producția automatizată de astăzi arată foarte diferit. Mașinile execută mare parte din munca repetitivă, senzorii urmăresc continuu procesul, iar software-ul face nenumărate ajustări mici. Oamenii sunt în continuare acolo, dar supraveghează sisteme mai mari, gestionează excepțiile și intervin când apare ceva neobișnuit.

Acum să ne imaginăm o fabrică modernă construită după o interpretare foarte strictă a conceptului human-in-the-loop. Lângă fiecare robot stă câte un om cu un buton mare pe care scrie Approve.

Mișcăm brațul? Approve.
Pornim banda? Approve.
Deschidem valva? Approve.

Am avea nevoie de surprinzător de mulți oameni pentru fabrica noastră complet automatizată.

Din fericire, automatizarea industrială a evoluat altfel. Atenția umană s-a mutat acolo unde este mai utilă. Munca bazată pe cunoaștere ar putea trece acum printr-o schimbare asemănătoare.

Când controlul devine o iluzie

Prima noastră reacție la incertitudinea IA este ușor de înțeles. IA poate greși sau pierde contextul, ori poate genera ceva care pare perfect rezonabil, dar este fundamental nepotrivit. Așa că adăugăm control: IA generează ceva, un om verifică, apoi aprobă.

Este un aranjament confortabil. Procesul este vizibil: cineva răspunde de apăsarea butonului și poate arăta spre un punct clar al procesului spunând: aici deținem controlul.

Tocmai această senzație poate fi periculoasă.

O aprobare nu ne spune dacă persoana a înțeles cu adevărat rezultatul, a observat riscul important, a avut suficient context pentru a-l contesta sau măcar i-a acordat atenție. Totuși, existența aprobării ne poate convinge că incertitudinea a fost rezolvată.

Înlocuim incertitudinea cu o bifă.

Organizațiile fac acest lucru surprinzător de des. Ceva merge prost, adăugăm o aprobare. Nu avem vizibilitate, adăugăm un raport. Avem nevoie de trasabilitate, mai adăugăm un câmp obligatoriu. Fiecare măsură are sens separat, dar împreună pot crea un proces care pare tot mai controlat fără să devină cu adevărat mai controlabil.

Repetiția agravează problema. Nu suntem foarte buni la a rămâne atenți când aprobăm sute de lucruri normale. Știm deja asta din mesajele de avertizare și ferestrele de conformitate: dacă totul ne cere atenția, ajungem să nu mai acordăm prea multă atenție nimănui.

La fel se poate întâmpla și cu IA. Sistemul înregistrează "Revizuit de un om", în timp ce persoana trece încet de la evaluare la confirmare. Imaginea controlului devine mai puternică, iar judecata reală poate deveni mai slabă. Odată convinși că procesul este sub control, riscăm să nu mai căutăm lucrurile pentru care controalele noastre nu au fost proiectate.

Sistemele complexe vor conține mereu incertitudine. Mai multe puncte de control pot uneori doar să o ascundă.

Știm deja asta din echipe

Aceeași logică se aplică și în conducerea echipelor. Într-o echipă de ingineri cu experiență, am putea cere ca fiecare decizie tehnică importantă să treacă printr-un singur lider. Persoana respectivă ar fi foarte implicată și, probabil, ar deveni foarte repede un blocaj.

Oamenii ar aștepta, deciziile ar încetini, iar responsabilitatea s-ar îndepărta treptat de cei care fac efectiv munca. În final, o echipă foarte competentă ar putea deveni extrem de bună la a cere permisiunea.

Echipele autonome funcționează altfel. Au nevoie de obiective clare, limite utile, context comun, vizibilitate, feedback și o înțelegere clară a situațiilor care trebuie escaladate. Liderul rămâne responsabil și implicat, doar că la alt nivel.

IA are nevoie de ceva asemănător.

Deasupra buclei

O automatizare bună pornește de la obiective și limite clare. Sistemul funcționează în aceste limite, verifică ce se întâmplă, rezolvă ce poate și escaladează situațiile neobișnuite. Trebuie să acceptăm și faptul că incertitudinea rămâne. Vor exista erori, unele presupuneri nu vor mai fi valabile și vor apărea situații pe care nimeni nu le-a prevăzut.

Trebuie să schimbăm și o altă așteptare pe care am dezvoltat-o față de IA: aceea că rezultatul trebuie să fie perfect din prima încercare. Este o pretenție ciudată pentru cei care construiesc sisteme complexe. Suntem obișnuiți cu iterații, teste, validare și corecții.

Iterația nu cere un om în fiecare ciclu. Testele, limitele, reîncercările, verificările automate și alte mecanisme de feedback pot face parte din sistem. Un rezultat imperfect poate alimenta următoarea încercare fără să creeze automat o nouă sarcină pentru un om.

Ne ajută să privim lucrurile pe trei niveluri:

• Execuția poate aparține tot mai mult IA.

• Feedbackul și iterația pot aparține tot mai mult sistemului.

• Scopul, limitele, excepțiile și responsabilitatea rămân umane.

Pentru activități cu risc mic și ușor reversibile, sistemul poate avea destulă libertate. Pe măsură ce consecințele devin mai serioase, limitele trebuie să fie mai stricte, iar escaladarea mai importantă. Când se impune judecată umană, persoana trebuie să aibă contextul, timpul și autoritatea necesare pentru a contesta ceea ce face sistemul.

Rolul nostru se mută mai sus: definim ce înseamnă succesul, ce greșeli putem accepta, unde sistemul se poate redresa singur și unde are nevoie de ajutor.

Păstrăm oamenii în centru, nu la mijloc.

IA va deveni tot mai bună la a ne ajuta cu "cum". Noi vom petrece probabil mai mult timp cu "ce", "când" și "de ce".

Rolul nostru se mută din nou.

Păstrăm busola

Pe măsură ce IA devine mai capabilă, probabil o vom înconjura cu mai multe controale, aprobări și puncte de verificare. Unele vor fi necesare, mai ales acolo unde greșelile pot avea consecințe serioase. Totuși, mai multe controale nu înseamnă automat mai mult control. Iar așteptarea unui rezultat perfect din prima nu elimină incertitudinea.

Contează să păstrăm o autonomie umană reală: să știm ce vrem să obținem, să stabilim limite sănătoase, să vedem când ceva merge prost și să putem pune sistemul sub semnul întrebării sau schimba direcția.

Și aici ajungem, inevitabil, la căpitanul Jack Sparrow.

Jack probabil nu ar tolera o Black Pearl pe care căpitanul trebuie să aprobe fiecare reglaj al velelor.

Strângem vela principală? Approve.
Două grade spre babord? Approve.
S-a schimbat vântul? Approve.

Corabia ar fi probabil încă în Tortuga.

Iar Jack nu a fost niciodată celebru pentru faptul că ținea totul perfect sub control. Câțiva marinari puteau fi beți, cineva putea înțelege greșit un ordin, iar documentația procesului putea lipsi cu desăvârșire, atâta timp cât Black Pearl mergea aproximativ în direcția dorită.

Busola lui face metafora și mai potrivită. Busola lui Jack nu arată nordul. Arată spre ceea ce își dorește cel mai mult cel care o ține.

Este surprinzător de aproape de rolul omului în epoca IA.

Lăsăm echipajul să lucreze. Lăsăm corabia să lucreze. Lăsăm și IA să lucreze acolo unde poate. Nu trebuie să ținem mâna pe fiecare frânghie.

Trebuie însă să ținem busola.

Trebuie să știm unde vrem să ajungem, de ce vrem să ajungem acolo, să observăm când ne abatem de la drum și să schimbăm direcția când este nevoie.

Poate acesta este rolul uman pe care merită să-l protejăm.

O interpretare foarte literală a conceptului human-in-the-loop. Ilustrație generată cu IA.

Echipajul poate fi imperfect, dar cineva ține în continuare busola. Ilustrație generată cu IA.