La cattiva educazione degli algoritmi è un problema critico; quando l’intelligenza artificiale rispecchia pensieri inconsci, razzismo e pregiudizi degli umani che hanno generato questi algoritmi, può causare gravi danni. I programmi per computer, ad esempio, hanno erroneamente segnalato che gli imputati neri hanno il doppio delle probabilità di recidivare rispetto a qualcuno che è bianco. Quando un’intelligenza artificiale ha utilizzato il costo come proxy per i bisogni sanitari, ha falsamente chiamato i pazienti neri come più sani di quelli bianchi ugualmente malati, poiché sono stati spesi meno soldi per loro. Anche l’IA era solita scrivere una commedia basata sull’uso di stereotipi dannosi per il casting.
Rimuovere le funzionalità sensibili dai dati sembra una modifica praticabile. Ma cosa succede quando non basta?
Gli esempi di pregiudizi nell’elaborazione del linguaggio naturale sono illimitati, ma gli scienziati del MIT hanno studiato un’altra modalità importante, in gran parte sottoesplorata: le immagini mediche. Utilizzando set di dati privati e pubblici, il team ha scoperto che l’IA può prevedere con precisione la razza di pazienti auto-riferita dalle sole immagini mediche. Utilizzando i dati di imaging di radiografie del torace, radiografie degli arti, scansioni TC del torace e mammografie, il team ha addestrato un modello di apprendimento profondo per identificare la razza come bianca, nera o asiatica, anche se le immagini stesse non contenevano alcuna menzione esplicita del razza del paziente. Questa è un’impresa che anche i medici più esperti non possono fare, e non è chiaro come il modello sia stato in grado di farlo.
Nel tentativo di svelare e dare un senso all’enigmatico “come” di tutto ciò, i ricercatori hanno condotto una serie di esperimenti. Per studiare i possibili meccanismi di rilevamento della razza, hanno esaminato variabili come differenze nell’anatomia, densità ossea, risoluzione delle immagini e molti altri, e i modelli prevalevano ancora con un’elevata capacità di rilevare la razza dai raggi X del torace. “All’inizio questi risultati erano confusi, perché i membri del nostro team di ricerca non potevano avvicinarsi all’identificazione di un buon proxy per questo compito”, afferma la coautrice dell’articolo Marzyeh Ghassemi, assistente professore presso il Dipartimento di ingegneria elettrica e informatica del MIT e l’Institute for Medical Engineering and Science (IMES), che è affiliato al Computer Science and Artificial Intelligence Laboratory (CSAIL) e alla MIT Jameel Clinic. “Anche quando si filtrano le immagini mediche oltre il punto in cui le immagini sono riconoscibili come immagini mediche, i modelli profondi mantengono prestazioni molto elevate. Questo è preoccupante perché le capacità sovrumane sono generalmente molto più difficili da controllare, regolare e impedire di danneggiare le persone”.
In un contesto clinico, gli algoritmi possono aiutarci a dirci se un paziente è un candidato per la chemioterapia, dettare il triage dei pazienti o decidere se è necessario un trasferimento in terapia intensiva. “Pensiamo che gli algoritmi esaminino solo i segni vitali o i test di laboratorio, ma è possibile che guardino anche alla tua razza, etnia, sesso, indipendentemente dal fatto che tu sia incarcerato o meno, anche se tutte queste informazioni sono nascoste”, afferma il coautore dell’articolo Leo Anthony Celi, ricercatore principale presso l’IMES al MIT e professore associato di medicina presso la Harvard Medical School. “Solo perché hai la rappresentazione di diversi gruppi nei tuoi algoritmi, ciò non garantisce che non perpetuerà o amplificherà le disparità e le disuguaglianze esistenti. Alimentare gli algoritmi con più dati con rappresentazione non è una panacea. Questo documento dovrebbe farci fermare e riconsiderare davvero se siamo pronti a portare l’IA al capezzale del letto”.
Lo studio, “AI riconoscimento della razza del paziente nell’imaging medico: uno studio di modellazione”, è stato pubblicato in Salute digitale di Lancet l’11 maggio. Celi e Ghassemi hanno scritto il documento insieme ad altri 20 autori in quattro paesi.
Per impostare i test, gli scienziati hanno innanzitutto dimostrato che i modelli erano in grado di prevedere la razza attraverso più modalità di imaging, vari set di dati e diversi compiti clinici, nonché attraverso una serie di centri accademici e popolazioni di pazienti negli Stati Uniti. Hanno utilizzato tre grandi set di dati di raggi X del torace e testato il modello su un sottoinsieme invisibile del set di dati utilizzato per addestrare il modello e uno completamente diverso. Successivamente, hanno addestrato i modelli di rilevamento dell’identità razziale per immagini a raggi X non del torace da più posizioni del corpo, tra cui radiografia digitale, mammografia, radiografie del rachide cervicale laterale e TC del torace per vedere se le prestazioni del modello erano limitate ai raggi X del torace.
Il team ha coperto molte basi nel tentativo di spiegare il comportamento del modello: differenze nelle caratteristiche fisiche tra i diversi gruppi razziali (habitus corporeo, densità del seno), distribuzione della malattia (studi precedenti hanno dimostrato che i pazienti neri hanno una maggiore incidenza di problemi di salute come le malattie cardiache ), differenze specifiche del luogo o specifiche del tessuto, effetti di pregiudizi sociali e stress ambientale, capacità dei sistemi di apprendimento approfondito di rilevare la razza quando sono stati combinati più fattori demografici e del paziente e se regioni dell’immagine specifiche hanno contribuito a riconoscere la razza.
Ciò che è emerso è stato davvero sbalorditivo: la capacità dei modelli di prevedere la razza dalle sole etichette diagnostiche era molto inferiore rispetto ai modelli basati su immagini a raggi X del torace.
Ad esempio, il test della densità ossea utilizzava immagini in cui la parte più spessa dell’osso appariva bianca e la parte più sottile appariva più grigia o traslucida. Gli scienziati hanno ipotizzato che, poiché i neri generalmente hanno una densità minerale ossea più elevata, le differenze di colore hanno aiutato i modelli di intelligenza artificiale a rilevare la razza. Per tagliarlo, hanno ritagliato le immagini con un filtro, in modo che il modello non potesse colorare le differenze. Si è scoperto che l’interruzione della fornitura di colori non ha turbato il modello: poteva comunque prevedere con precisione le gare. (Il valore “Area sotto la curva”, ovvero la misura dell’accuratezza di un test diagnostico quantitativo, era 0,94–0,96). Pertanto, le caratteristiche apprese del modello sembravano basarsi su tutte le regioni dell’immagine, il che significa che il controllo di questo tipo di comportamento algoritmico presenta un problema disordinato e impegnativo.
Gli scienziati riconoscono la disponibilità limitata di etichette di identità razziale, che li ha portati a concentrarsi sulle popolazioni asiatiche, nere e bianche e che la loro verità di base era un dettaglio auto-riferito. Un altro lavoro imminente includerà la possibilità di isolare segnali diversi prima della ricostruzione dell’immagine, perché, come con gli esperimenti sulla densità ossea, non sono stati in grado di spiegare il tessuto osseo residuo che era sulle immagini.
In particolare, altri lavori di Ghassemi e Celi guidati dallo studente del MIT Hammaad Adam hanno scoperto che i modelli possono anche identificare la razza auto-riferita del paziente dalle note cliniche anche quando quelle note sono private degli indicatori espliciti della razza. Proprio come in questo lavoro, gli esperti umani non sono in grado di prevedere con precisione la razza dei pazienti dalle stesse note cliniche redatte.
“Dobbiamo coinvolgere gli scienziati sociali nel quadro. Gli esperti di settore, che di solito sono i medici, i professionisti della salute pubblica, gli informatici e gli ingegneri non sono sufficienti. L’assistenza sanitaria è un problema socio-culturale tanto quanto un problema medico. Abbiamo bisogno di un altro gruppo di esperti per valutare e fornire input e feedback su come progettiamo, sviluppiamo, implementiamo e valutiamo questi algoritmi”, afferma Celi. “Dobbiamo anche chiedere ai data scientist, prima di qualsiasi esplorazione dei dati, ci sono disparità? Quali gruppi di pazienti sono emarginati? Quali sono i fattori che determinano queste disparità? È l’accesso alle cure? Deriva dalla soggettività dei fornitori di assistenza? Se non lo capiamo, non avremo la possibilità di essere in grado di identificare le conseguenze indesiderate degli algoritmi e non saremo in grado di salvaguardare gli algoritmi dal perpetuare i pregiudizi”.
“Il fatto che gli algoritmi ‘vedano’ la razza, come documentano in modo convincente gli autori, può essere pericoloso. Ma un fatto importante e correlato è che, se usati con attenzione, gli algoritmi possono anche funzionare per contrastare i pregiudizi”, afferma Ziad Obermeyer, professore associato presso l’Università della California a Berkeley, la cui ricerca si concentra sull’IA applicata alla salute. “Nel nostro lavoro, guidato dall’informatica Emma Pierson della Cornell, dimostriamo che gli algoritmi che imparano dalle esperienze di dolore dei pazienti possono trovare nuove fonti di dolore al ginocchio nei raggi X che colpiscono in modo sproporzionato i pazienti neri e sono sproporzionatamente persi dai radiologi. Quindi, proprio come qualsiasi strumento, gli algoritmi possono essere una forza per il male o una forza per il bene, quale dipende da noi e dalle scelte che facciamo quando costruiamo algoritmi”.
Il lavoro è sostenuto, in parte, dal National Institutes of Health.
