Come un approccio archeologico può aiutare a sfruttare i dati distorti nell’intelligenza artificiale per migliorare la medicina | Notizie del MIT

Il classico adagio informatico “garbage in, garbage out” è privo di sfumature quando si tratta di comprendere dati medici distorti, sostengono i professori di informatica e bioetica del MIT, della Johns Hopkins University e dell’Alan Turing Institute in un nuovo articolo pubblicato in un recente articolo. edizione del Giornale di medicina del New England (NEJM). La crescente popolarità dell’intelligenza artificiale ha portato a un maggiore controllo sulla questione dei modelli di intelligenza artificiale distorti che portano alla discriminazione algoritmica, che l’Ufficio per la scienza e la tecnologia della Casa Bianca ha identificato come una questione chiave nel loro recente progetto per una Carta dei diritti dell’intelligenza artificiale.

Quando si incontrano dati distorti, in particolare per i modelli di intelligenza artificiale utilizzati in ambito medico, la risposta tipica è quella di raccogliere più dati da gruppi sottorappresentati o generare dati sintetici che compensino le parti mancanti per garantire che il modello funzioni altrettanto bene in una serie di popolazioni di pazienti. Ma gli autori sostengono che questo approccio tecnico dovrebbe essere integrato con una prospettiva sociotecnica che tenga conto sia dei fattori sociali storici che attuali. In questo modo, i ricercatori possono essere più efficaci nell’affrontare i pregiudizi nella salute pubblica.

“Noi tre abbiamo discusso del modo in cui spesso trattiamo i problemi relativi ai dati dal punto di vista dell’apprendimento automatico come irritazioni che devono essere gestite con una soluzione tecnica”, ricorda il coautore Marzyeh Ghassemi, assistente professore di ingegneria elettrica e informatica e affiliato alla Abdul Latif Jameel Clinic for Machine Learning in Health (Jameel Clinic), al Computer Science and Artificial Intelligence Laboratory (CSAIL) e all’Istituto di ingegneria e scienza medica (IMES). “Avevamo usato analogie di dati come artefatti che danno una visione parziale delle pratiche passate, o uno specchio rotto che sostiene un riflesso. In entrambi i casi le informazioni forse non sono del tutto accurate o favorevoli: forse pensiamo di comportarci in un certo modo come società, ma quando si guardano effettivamente i dati, raccontano una storia diversa. Potrebbe non piacerci quale sia questa storia, ma una volta portata alla luce la comprensione del passato puoi andare avanti e adottare misure per affrontare le cattive pratiche”.

Dati come artefatto

Nell’articolo, intitolato “Considering Biased Data as Informative Artifacts in AI-Assisted Health Care”, Ghassemi, Kadija Ferryman e Maxine Mackintosh sostengono la tesi della visione dei dati clinici distorti come “artefatti” nello stesso modo in cui gli antropologi o gli archeologi vedrebbero i dati fisici distorti. oggetti: esempi di pratiche, sistemi di credenze e valori culturali che rivelano la civiltà – nel caso del documento, in particolare quelli che hanno portato alle disuguaglianze esistenti nel sistema sanitario.

Ad esempio, uno studio del 2019 ha dimostrato che un algoritmo ampiamente considerato uno standard del settore utilizzava la spesa sanitaria come indicatore di necessità, portando alla conclusione errata che i pazienti neri più malati richiedono lo stesso livello di assistenza dei pazienti bianchi più sani. Ciò che i ricercatori hanno scoperto è che la discriminazione algoritmica non riesce a tenere conto della disparità di accesso alle cure.

In questo caso, invece di considerare i set di dati distorti o la mancanza di dati come problemi che richiedono solo smaltimento o correzione, Ghassemi e i suoi colleghi raccomandano l’approccio degli “artefatti” come un modo per aumentare la consapevolezza sugli elementi sociali e storici che influenzano il modo in cui i dati vengono raccolti e alternative. approcci allo sviluppo dell’IA clinica.

“Se l’obiettivo del vostro modello è l’implementazione in un contesto clinico, dovreste coinvolgere un esperto di bioetica o un medico con una formazione adeguata abbastanza presto nella formulazione del problema”, afferma Ghassemi. “Come scienziati informatici, spesso non abbiamo un quadro completo dei diversi fattori sociali e storici che hanno contribuito alla creazione dei dati che utilizzeremo. Abbiamo bisogno di esperienza nel discernere quando i modelli generalizzati dai dati esistenti potrebbero non funzionare bene per sottogruppi specifici”.

Quando più dati possono effettivamente danneggiare le prestazioni

Gli autori riconoscono che uno degli aspetti più impegnativi dell’implementazione di un approccio basato sugli artefatti è la capacità di valutare se i dati sono stati corretti dal punto di vista razziale: ad esempio, utilizzando corpi bianchi e maschili come standard convenzionale rispetto al quale vengono misurati altri corpi. L’articolo cita un esempio della Chronic Kidney Disease Collaboration del 2021, che ha sviluppato una nuova equazione per misurare la funzione renale perché la vecchia equazione era stata precedentemente “corretta” partendo dal presupposto generale che i neri hanno una massa muscolare più elevata. Ghassemi afferma che i ricercatori dovrebbero essere preparati a indagare sulla correzione basata sulla razza come parte del processo di ricerca.

In un altro articolo recente accettato alla Conferenza internazionale sull’apprendimento automatico di quest’anno, scritto in collaborazione dal dottorando di Ghassemi Vinith Suriyakumar e dal professore assistente dell’Università della California a San Diego Berk Ustun, i ricercatori hanno scoperto che assumendo l’inclusione di attributi personalizzati come la razza auto-riferita migliorano le prestazioni dei modelli ML possono effettivamente portare a punteggi, modelli e parametri di rischio peggiori per le minoranze e le popolazioni minoritarie.

“Non esiste un’unica soluzione giusta per decidere se includere o meno la razza auto-riferita in un punteggio di rischio clinico. La razza auto-riferita è un costrutto sociale che è sia un proxy per altre informazioni, sia profondamente proxy per sé stesso in altri dati medici. La soluzione deve adattarsi alle prove”, spiega Ghassemi.

Come andare avanti

Questo non vuol dire che i set di dati distorti debbano essere custoditi o che gli algoritmi distorti non debbano essere corretti: i dati di addestramento di qualità sono ancora fondamentali per sviluppare modelli di intelligenza artificiale clinica sicuri e ad alte prestazioni, e il NEJM il pezzo evidenzia il ruolo dei National Institutes of Health (NIH) nel guidare le pratiche etiche.

“Generare set di dati di alta qualità e di provenienza etica è fondamentale per consentire l’uso di tecnologie di intelligenza artificiale di prossima generazione che trasformano il modo in cui facciamo ricerca”, ha dichiarato il direttore ad interim dell’NIH Lawrence Tabak in un comunicato stampa quando l’NIH ha annunciato il suo programma Bridge2AI da 130 milioni di dollari l’anno scorso. . Ghassemi è d’accordo, sottolineando che l’NIH ha “dato priorità alla raccolta dei dati in modi etici che coprono informazioni di cui non abbiamo precedentemente sottolineato il valore per la salute umana, come fattori ambientali e determinanti sociali. Sono molto entusiasta della loro priorità e dei forti investimenti volti al raggiungimento di risultati sanitari significativi”.

Elaine Nsoesie, professoressa associata presso la Boston University of Public Health, ritiene che ci siano molti potenziali vantaggi nel trattare set di dati distorti come artefatti piuttosto che come spazzatura, a partire dall’attenzione al contesto. “I pregiudizi presenti in un set di dati raccolto per i pazienti affetti da cancro al polmone in un ospedale in Uganda potrebbero essere diversi da un set di dati raccolto negli Stati Uniti per la stessa popolazione di pazienti”, spiega. “Considerando il contesto locale, possiamo addestrare algoritmi per servire meglio popolazioni specifiche”. Nsoesie afferma che comprendere i fattori storici e contemporanei che modellano un set di dati può rendere più semplice identificare le pratiche discriminatorie che potrebbero essere codificate in algoritmi o sistemi in modi che non sono immediatamente evidenti. Nota inoltre che un approccio basato sugli artefatti potrebbe portare allo sviluppo di nuove politiche e strutture che garantiscano l’eliminazione delle cause profonde della distorsione in un particolare set di dati.

“Spesso le persone mi dicono che hanno molta paura dell’intelligenza artificiale, soprattutto in ambito sanitario. Diranno: “Ho davvero paura che un’intelligenza artificiale mi faccia una diagnosi errata” o “Ho paura che mi tratterà male””, afferma Ghassemi. “Dico loro che non dovreste avere paura di un’ipotetica IA nella salute domani, dovreste avere paura di ciò che è la salute in questo momento. Se adottiamo una visione tecnicamente ristretta dei dati che estraiamo dai sistemi, potremmo replicare ingenuamente pratiche inadeguate. Questa non è l’unica opzione: rendersi conto che c’è un problema è il nostro primo passo verso un’opportunità più ampia”.