Fornire un’intelligenza artificiale responsabile nel settore sanitario e delle scienze della vita

La pandemia di COVID-19 ha rivelato dati inquietanti sulla disuguaglianza sanitaria. Nel 2020, il National Institute for Health (NIH) ha pubblicato un rapporto in cui affermava che i neri americani morivano di COVID-19 a tassi più elevati rispetto ai bianchi americani, anche se costituiscono una percentuale minore della popolazione. Secondo il NIH, queste disparità erano dovute all’accesso limitato alle cure, alle inadeguatezze delle politiche pubbliche e a un carico sproporzionato di comorbilità, tra cui malattie cardiovascolari, diabete e malattie polmonari.

Il NIH ha inoltre affermato che tra 47,5 e 51,6 milioni di americani non possono permettersi di andare da un medico. C’è un’alta probabilità che le comunità storicamente svantaggiate possano utilizzare un trasformatore generativo, soprattutto uno incorporato inconsapevolmente in un motore di ricerca, per chiedere consulenza medica. Non è inconcepibile che le persone si rivolgano a un popolare motore di ricerca con un agente AI incorporato e interroghino, “Mio padre non può più permettersi le medicine per il cuore che gli sono state prescritte. Cosa è disponibile al banco che potrebbe funzionare invece?“

Secondo i ricercatori della Long Island University, ChatGPT è impreciso nel 75% dei casi e, secondo la CNN, il chatbot a volte ha persino fornito consigli pericolosi, come approvare la combinazione di due farmaci che potrebbero avere gravi reazioni avverse.

Dato che i trasformatori generativi non comprendono il significato e avranno output errati, le comunità storicamente svantaggiate che utilizzano questa tecnologia al posto dell’aiuto professionale potrebbero essere danneggiate a tassi molto maggiori rispetto ad altre.

Come possiamo investire in modo proattivo nell’intelligenza artificiale per ottenere risultati più equi e affidabili?

Con i nuovi prodotti di intelligenza artificiale generativa di oggi, la fiducia, la sicurezza e le questioni normative rimangono le principali preoccupazioni per i funzionari sanitari governativi e i dirigenti di alto livello che rappresentano aziende biofarmaceutiche, sistemi sanitari, produttori di dispositivi medici e altre organizzazioni. L’uso dell’intelligenza artificiale generativa richiede una governance dell’intelligenza artificiale, comprese conversazioni sui casi d’uso appropriati e protezioni in materia di sicurezza e fiducia (vedi AI US Blueprint for an AI Bill of Rights, EU AI ACT e White House AI Executive Order).

Curare l’intelligenza artificiale in modo responsabile è una sfida sociotecnica che richiede un approccio olistico. Sono molti gli elementi necessari per guadagnare la fiducia delle persone, tra cui la garanzia che il modello di intelligenza artificiale sia accurato, verificabile, spiegabile, giusto e protettivo della privacy dei dati delle persone. E l’innovazione istituzionale può svolgere un ruolo di aiuto.

Innovazione istituzionale: una nota storica

Il cambiamento istituzionale è spesso preceduto da un evento catastrofico. Consideriamo l’evoluzione della Food and Drug Administration statunitense, il cui ruolo primario è quello di garantire che alimenti, farmaci e cosmetici siano sicuri per l’uso pubblico. Sebbene le radici di questo organismo di regolamentazione possano essere fatte risalire al 1848, il monitoraggio della sicurezza dei farmaci non fu una preoccupazione diretta fino al 1937, l’anno del disastro dell’Elixir Sulfanilamide.

Creato da una rispettata azienda farmaceutica del Tennessee, l’Elixir Sulfanilamide era un farmaco liquido pubblicizzato per curare in modo drammatico il mal di gola. Come era consuetudine all’epoca, il farmaco non venne testato per la tossicità prima di essere immesso sul mercato. Questo si rivelò un errore mortale, poiché l’elisir conteneva glicole dietilenico, una sostanza chimica tossica utilizzata nell’antigelo. Oltre 100 persone morirono a causa dell’assunzione dell’elisir velenoso, il che portò al Food, Drug and Cosmetic Act della FDA che richiedeva che i farmaci fossero etichettati con indicazioni adeguate per un uso sicuro. Questa pietra miliare nella storia della FDA ha fatto sì che i medici e i loro pazienti potessero fidarsi pienamente della forza, della qualità e della sicurezza dei farmaci, una garanzia che oggi diamo per scontata.

Allo stesso modo, è necessaria l’innovazione istituzionale per garantire risultati equi dall’intelligenza artificiale.

5 passaggi chiave per garantire che l’intelligenza artificiale generativa supporti le comunità che serve

L’uso dell’intelligenza artificiale generativa nel campo dell’assistenza sanitaria e delle scienze della vita (HCLS) richiede lo stesso tipo di innovazione istituzionale richiesta dalla FDA durante il disastro dell’Elixir Sulfanilamide. Le seguenti raccomandazioni possono aiutare a garantire che tutte le soluzioni di intelligenza artificiale ottengano risultati più equi e giusti per le popolazioni vulnerabili:

1. Rendere operativi i principi di fiducia e trasparenza. Equità, spiegabilità e trasparenza sono parole grosse, ma cosa significano in termini di requisiti funzionali e non funzionali per i vostri modelli di intelligenza artificiale? Puoi dire al mondo che i tuoi modelli di intelligenza artificiale sono equi, ma devi assicurarti di addestrare e verificare il tuo modello di intelligenza artificiale per servire le popolazioni storicamente meno servite. Per guadagnarsi la fiducia delle comunità che serve, l’intelligenza artificiale deve avere risultati comprovati, ripetibili, spiegati e affidabili che funzionino meglio di quelli umani.
2. Nomina le persone responsabili dei risultati equi derivanti dall’uso dell’intelligenza artificiale nella tua organizzazione. Quindi dai loro il potere e le risorse per svolgere il duro lavoro. Verifica che questi esperti di dominio abbiano un mandato interamente finanziato per svolgere il lavoro perché senza responsabilità non c’è fiducia. Qualcuno deve avere il potere, la mentalità e le risorse per svolgere il lavoro necessario alla governance.
3. Consenti agli esperti di dominio di curare e mantenere fonti di dati affidabili utilizzate per addestrare i modelli. Queste fonti di dati attendibili possono offrire basi di contenuto per prodotti che utilizzano modelli linguistici di grandi dimensioni (LLM) per fornire variazioni sul linguaggio per risposte che provengono direttamente da una fonte attendibile (come un’ontologia o una ricerca semantica).
4. Imporre che i risultati siano verificabili e spiegabili. Ad esempio, alcune organizzazioni stanno investendo nell’intelligenza artificiale generativa che offre consulenza medica a pazienti o medici. Per incoraggiare il cambiamento istituzionale e proteggere tutte le popolazioni, queste organizzazioni HCLS dovrebbero essere soggette a audit per garantire responsabilità e controllo di qualità. I risultati di questi modelli ad alto rischio dovrebbero offrire affidabilità test-retest. I risultati dovrebbero essere accurati al 100% e dettagliare le fonti dei dati insieme alle prove.
5. Richiedono trasparenza. Poiché le organizzazioni HCLS integrano l’intelligenza artificiale generativa nella cura dei pazienti (ad esempio, sotto forma di accettazione automatizzata dei pazienti al momento del ricovero in un ospedale statunitense o aiutando un paziente a capire cosa accadrebbe durante una sperimentazione clinica), dovrebbero informare i pazienti che un modello di intelligenza artificiale generativa è in uso. Le organizzazioni dovrebbero inoltre offrire metadati interpretabili ai pazienti che dettaglino la responsabilità e l’accuratezza di quel modello, la fonte dei dati di formazione per quel modello e i risultati dell’audit di quel modello. I metadati dovrebbero anche mostrare come un utente può rinunciare a utilizzare quel modello (e ottenere lo stesso servizio altrove). Poiché le organizzazioni utilizzano e riutilizzano il testo generato sinteticamente in un ambiente sanitario, le persone dovrebbero essere informate su quali dati sono stati generati sinteticamente e quali no.

Crediamo che possiamo e dobbiamo imparare dalla FDA per innovare istituzionalmente il nostro approccio alla trasformazione delle nostre operazioni con l’intelligenza artificiale. Il viaggio per guadagnare la fiducia delle persone inizia con l’introduzione di cambiamenti sistemici che garantiscano che l’intelligenza artificiale rifletta meglio le comunità che serve.

Scopri come integrare la governance responsabile dell’intelligenza artificiale nel tessuto della tua azienda