[ad_1]
È iniziata l’era dei chatbot dotati di intelligenza artificiale che sembrano comprendere e utilizzare il linguaggio come facciamo noi umani. Sotto il cofano, questi chatbot utilizzano modelli linguistici di grandi dimensioni, un particolare tipo di rete neurale. Ma un nuovo studio mostra che i modelli linguistici di grandi dimensioni rimangono vulnerabili a confondere le sciocchezze con il linguaggio naturale. Per un team di ricercatori della Columbia University, si tratta di un difetto che potrebbe indicare modi per migliorare le prestazioni dei chatbot e aiutare a rivelare come gli esseri umani elaborano il linguaggio.
In un articolo pubblicato online oggi in Intelligenza artificiale della natura, gli scienziati descrivono come hanno sfidato nove diversi modelli linguistici con centinaia di coppie di frasi. Per ciascuna coppia, le persone che hanno partecipato allo studio hanno scelto quale delle due frasi ritenevano più naturale, nel senso che era più probabile che venisse letta o ascoltata nella vita di tutti i giorni. I ricercatori hanno poi testato i modelli per vedere se avrebbero valutato ciascuna coppia di frasi allo stesso modo degli umani.
Nei test testa a testa, le IA più sofisticate basate su quelle che i ricercatori chiamano reti neurali trasformatrici tendevano a funzionare meglio rispetto ai modelli di reti neurali ricorrenti più semplici e ai modelli statistici che misurano semplicemente la frequenza delle coppie di parole trovate su Internet o nei database online. . Ma tutti i modelli hanno commesso degli errori, a volte scegliendo frasi che all’orecchio umano sembrano senza senso.
“Il fatto che alcuni dei grandi modelli linguistici funzionino così bene suggerisce che catturano qualcosa di importante che manca ai modelli più semplici”, ha affermato il dottor Nikolaus Kriegeskorte, PhD, ricercatore principale presso lo Zuckerman Institute della Columbia e coautore dell’articolo. “Il fatto che anche i migliori modelli che abbiamo studiato possano ancora essere ingannati da frasi senza senso dimostra che nei loro calcoli manca qualcosa nel modo in cui gli esseri umani elaborano il linguaggio.”
Considera la seguente coppia di frasi che sia i partecipanti umani che l’intelligenza artificiale hanno valutato nello studio:
Questa è la narrazione che ci è stata venduta.
Questa è la settimana in cui stai morendo.
Le persone a cui sono state date queste frasi nello studio hanno giudicato che la prima frase avesse maggiori probabilità di essere incontrata rispetto alla seconda. Ma secondo BERT, uno dei modelli migliori, la seconda frase è più naturale. GPT-2, forse il modello più conosciuto, ha identificato correttamente la prima frase come più naturale, corrispondendo ai giudizi umani.
“Ogni modello mostrava punti ciechi, etichettando alcune frasi come significative che i partecipanti umani pensavano fossero incomprensibili”, ha detto l’autore senior Christopher Baldassano, PhD, assistente professore di psicologia alla Columbia. “Ciò dovrebbe farci riflettere sulla misura in cui vogliamo che i sistemi di intelligenza artificiale prendano decisioni importanti, almeno per ora.”
Le prestazioni buone ma imperfette di molti modelli sono uno dei risultati dello studio che più incuriosisce il Dr. Kriegeskorte. “Capire perché esiste questo divario e perché alcuni modelli superano altri può favorire il progresso con i modelli linguistici”, ha affermato.
Un’altra domanda chiave per il gruppo di ricerca è se i calcoli nei chatbot di intelligenza artificiale possano ispirare nuove domande e ipotesi scientifiche che potrebbero guidare i neuroscienziati verso una migliore comprensione del cervello umano. Il modo in cui funzionano questi chatbot potrebbe indicare qualcosa sui circuiti del nostro cervello?
Un’ulteriore analisi dei punti di forza e dei difetti dei vari chatbot e dei loro algoritmi sottostanti potrebbe aiutare a rispondere a questa domanda.
“In definitiva, siamo interessati a capire come pensano le persone”, ha affermato Tal Golan, PhD, autore corrispondente dell’articolo che quest’anno è passato da una posizione post-dottorato presso lo Zuckerman Institute della Columbia per avviare il proprio laboratorio presso l’Università Ben-Gurion del Negev in Israele. “Questi strumenti di intelligenza artificiale sono sempre più potenti, ma elaborano il linguaggio in modo diverso rispetto a noi. Confrontare la loro comprensione del linguaggio con la nostra ci offre un nuovo approccio al modo di pensare”.
[ad_2]
Source link
