În fiecare an, Societatea Nord Americană de Radiologie (Radiology Society of North America - RSNA) organizează o conferință în care radiologi, cercetători, specialiști IT și reprezentanți ai companiilor se întâlnesc pentru a-și împărtăși ultimele descoperiri și pentru a găsi soluții la problemele cu care se confruntă. Din cauza pandemiei, conferința din 2020 (29 noiembrie - 5 decembrie) s-a desfășurat în întregime online ceea ce ne-a permis mie și colegiilor mei să participăm, din confortul propriei case, la prezentări, fie live, fie înregistrare, ale cercetătorilor în domeniul imagisticii medicale din toată lumea.
Figura 1 - RSNA 2020 infografic [2]
În două dintre numerele trecute ale revistei TSM, eu împreună cu colegii mei, Ioana și Andrei, am descris puțin cititorilor la ce lucrăm în cadrul NTT DATA. Pe scurt, noi suntem o echipă, care de doi ani dezvoltă prototipuri (Proof of Concept) ce folosesc inteligența artificială în imagistică medicală. Programele dezvoltate de noi ar putea ajuta, în viitor, radiologii să identifice și să clasifice diverse abnormalități, ușurându-le astfel munca.
Deoarece proiectele noastre se află la granița dintre machine learning, programare și medicină, am fost foarte curioși să aflăm care sunt necesitățile, interesele, dar și problemele pe care radiologii le au atunci când includ inteligența artificială în diagnosticarea și tratarea pacienților. În continuare, voi face un scurt rezumat al punctelor cheie ce au fost abordate în cele șapte zile de conferință și care ni s-au părut interesante.
Modul în care sunt folosiți și rezultatele pe care le obțin algoritmii de inteligență artificială în practica de zi cu zi a radiologilor necesită o atenție sporită. Acest subiect a fost abordat în mai multe prezentări din cadrul conferinței RSNA. Am identificat trei aspecte importante legate de acest subiect.
Primul este necesitatea unei evaluări extensive și exacte a modelelor AI. În funcție de nivelul de risc asociat software-ului medical (Software as Medical Device - SaMD), acesta ar avea nevoie sau nu, de mai multe studii pentru a fi aprobat în practică. În 2014, IMDRF (eng. International Medical Device Regulators Forum), a propus patru categorii de risc [3] pentru software-urile medicale prezentate, pe scurt, în tabelul de mai jos. Deocamdată nu există un consens despre cum ar trebui tratate software-urile ce folosesc AI înainte de a ajunge în clinici sau spitale, însă este de la sine înțeles că cele din categoria IV au neapărat nevoie de dovezi solide care să le demonstreze eficacitatea. Pentru categoriile II și III, situația ar sta la fel, însă depinde de la caz la caz. S-a sugerat chiar ca algoritmii AI să fie testați în studii clinice înainte să fie integrați în software-uri medicale comerciale, la fel cum se întâmplă cu medicamentele nou descoperite.
Figura 2 - Categorii SaMD [3]
O altă problemă identificată apare chiar în etapa de cercetare. Articolele publicate nu conțin o comparație clară între performanța inteligenței artificiale și cea a radiologilor. De asemenea, seturile de date și codul folosit nu sunt publice, lucru ce îngreunează reproducerea și verificarea rezultatelor.
Al doilea aspect important în orice domeniu, dar mai ales în medicină, îl reprezintă varietatea datelor de intrare. De cele mai multe ori cercetătorii lucrează cu seturi de date limitate și care provin dintr-o singură sursă (de la un singur spital). Din această cauză rezultatele sunt foarte optimiste la început, însă atunci când modelul AI este testat pe un set diferit, performanțele scad dramatic. Diferențele dintre două seturi de date din surse diferite se numesc în engleză batch effects și includ: mai mulți producători pentru tomografe, variații în demografia pacienților, diferențe între practici medicale etc.
Un alt neajuns legat de datele din domeniul medical este cel al adnotărilor, care sunt dificil și costisitor de obținut. Pe parcursul conferinței câteva soluții s-au propus pentru creșterea numărului de date adnotate: construirea unui set de date public de mari dimensiuni (un ImageNet [4] pentru radiologie); învățare distribuită (eng. federated learning); încurajarea colaborării între cercetători.
Al treilea punct discutat în privința utilizării modelelor AI în lumea reală ține de integrarea lor în sistemele informatice ale clinicilor și spitalelor. Acest pas este unul esențial și necesită mai multă dezbatere. Infrastructura IT este complexă și de cele mai multe ori învechită. O actualizare a sistemelor IT, în special cel PACS (eng. Picture Archiving and Communication System) va fi cu siguranță necesară. Un model AI nu va fi folosit, dacă nu este integrat astfel încât să fie adaptat la nevoile radiologilor, chiar dacă are performanțe foarte bune.
În această secțiune voi detalia punctul 3, acela al integrării algoritmilor AI în practica de zi cu zi a unui radiolog. Pe lângă actualizarea echipamentelor hardware pe care un radiolog le folosește, o companie care dezvoltă un model AI va trebui să ia în considerare și comunicarea cu alte software-uri medicale. Una dintre caracteristicile sistemelor AI asupra căreia s-a atras atenția de mai multe ori, este interoperabilitatea cu software-urile sau dispozitivele deja existente. Facilitând această comunicare, s-ar putea strânge și mai multe date, din diferite surse, adică exact combustibilul de care are nevoie inteligența artificială.
La fel ca și în cazul software-urile clasice, cele care utilizează AI au nevoie de mentenanță și actualizare periodică. Îmbunătățirea continuă a modelor AI a fost un subiect intens dezbătut în cadrul conferinței. Primul pas pentru a face acest lucru este acela de a oferi radiologilor posibilitatea de a măsura și înregistra erorile pentru ca producătorul să îmbunătățească continuu atât algoritmul, cât și aplicația. Așa cum doar o persoană specializată poate adnota niște radiografii necesare în procesul de antrenare a unui model, la fel doar un radiolog poate aprecia rezultatele, dar și utilitatea unui software medical ce folosește AI.
În prezent, dezvoltarea aplicațiilor AI este determinată de disponibilitatea datelor și nu neapărat de nevoile imediate ale radiologilor. O astfel de nevoie, care a fost menționată de mai multe ori, este aceea a punerii pe primul loc a cazurilor critice. Spre exemplu, ar fi mult mai benefic, în primul rând pentru pacienți, ca radiologii să analizeze mai întâi cazurile urgente (ex. hemoragii cerebrale), decât tumori benigne sau chiar cazuri sănătoase, cum se întâmplă de cele mai multe ori. Alte nevoie includ: crearea de rapoarte și organizarea pacienților, prezicerea timpul de internare, a necesității ventilării sau severitatea unei boli.
Pentru aceia dintre voi care au crezut că răspunsul la întrebarea din titlu este acela că radiologii se tem să rămână fără un loc de muncă din cauza inteligenței artificiale, sper că v-ați dat seama că nu este deloc cazul. Cei mai mulți cercetători sunt de acord că un radiolog înarmat cu un algoritm AI va da un diagnostic mai precis decât algoritmul în sine. Au fost, desigur, și numeroase prezentări despre rețele neuronale sau combinații de arhitecturi dintre cele mai diverse, însă cred că ar fi ieșit un articol mult prea tehnic.
În acest articol am prezentat câteva întrebări, care nu au încă un răspuns clar și care influențează dezvoltarea unui produs medical de succes. Pe de-o parte, există semne de întrebare legate de păstrarea performanței modelului AI atunci când se face trecerea de la cercetare la utilizarea lui în practică, iar pe de altă parte este neclar cum se poate integra mai bine un model AI în procesul de lucru al unui radiolog.
de Ovidiu Mățan
de Mihai Talpoș
de Radu Saveanu
