Il chatbot AI mostra il potenziale come partner diagnostico

“Gli esseri umani lottano con il ragionamento probabilistico, la pratica di prendere decisioni basate sul calcolo delle probabilità”, ha affermato l’autore corrispondente dello studio Adam Rodman, MD, medico di medicina interna e ricercatore presso il dipartimento di Medicina del BIDMC. “Il ragionamento probabilistico è uno dei tanti componenti della formulazione di una diagnosi, che è un processo incredibilmente complesso che utilizza una varietà di diverse strategie cognitive. Abbiamo scelto di valutare il ragionamento probabilistico isolatamente perché è un’area ben nota in cui gli esseri umani potrebbero avere bisogno di supporto. “

Basando il loro studio su un sondaggio nazionale precedentemente pubblicato su più di 550 professionisti che eseguivano ragionamenti probabilistici su cinque casi medici, Rodman e colleghi hanno alimentato il Large Language Model (LLM) disponibile al pubblico, Chat GPT-4, la stessa serie di casi e hanno eseguito un identico richiedere 100 volte per generare una serie di risposte.

Il chatbot, proprio come i professionisti prima di loro, aveva il compito di stimare la probabilità di una determinata diagnosi in base alla presentazione dei pazienti. Quindi, dati i risultati di test come la radiografia del torace per la polmonite, la mammografia per il cancro al seno, lo stress test per la malattia coronarica e un’urinocoltura per l’infezione del tratto urinario, il programma chatbot ha aggiornato le sue stime.

Quando i risultati dei test erano positivi, era una sorta di pareggio; il chatbot è stato più accurato nel fare diagnosi rispetto agli umani in due casi, altrettanto accurato in due casi e meno accurato in un caso. Ma quando i test sono risultati negativi, il chatbot ha brillato, dimostrando in tutti e cinque i casi una maggiore precisione nel fare diagnosi rispetto agli esseri umani.

“Gli esseri umani a volte ritengono che il rischio sia maggiore rispetto a dopo un risultato negativo del test, il che può portare a trattamenti eccessivi, a più test e a troppi farmaci”, ha affermato Rodman.

Ma Rodman è meno interessato a come i chatbot e gli esseri umani si comportano in sintonia, piuttosto a come le prestazioni dei medici altamente qualificati potrebbero cambiare in risposta alla disponibilità di queste nuove tecnologie di supporto in clinica, ha aggiunto Rodman. Lui e i suoi colleghi stanno esaminando la questione.

“I LLM non possono accedere al mondo esterno: non calcolano le probabilità nel modo in cui lo fanno gli epidemiologi, o anche i giocatori di poker. Ciò che stanno facendo ha molto più in comune con il modo in cui gli esseri umani prendono decisioni probabilistiche immediate,” ha disse. “Ma questo è ciò che è entusiasmante. Anche se imperfetta, la loro facilità d’uso e la capacità di essere integrati nei flussi di lavoro clinici potrebbero teoricamente far sì che gli esseri umani prendano decisioni migliori”, ha affermato. “La ricerca futura sull’intelligenza umana e artificiale collettiva è assolutamente necessaria.”

I coautori includevano Thomas A. Buckley, Università del Massachusetts Amherst; Arun K. Manrai, PhD, Harvard Medical School; Daniel J. Morgan, MD, MS, Scuola di Medicina dell’Università del Maryland.

Rodman ha riferito di aver ricevuto sovvenzioni dalla Fondazione Gordon e Betty Moore. Morgan ha riferito di aver ricevuto sovvenzioni dal Dipartimento per gli affari dei veterani, dall’Agenzia per la ricerca e la qualità sanitaria, dai Centri per il controllo e la prevenzione delle malattie e dal National Institutes of Health, e di aver ricevuto rimborsi di viaggio dalla Infectious Diseases Society of America, dalla Society for Healthcare Epidemiologia dell’America. L’American College of Physicians e l’Organizzazione Mondiale della Sanità Cardiaca esterni al lavoro presentato.