Come l’intelligenza artificiale ha restituito la voce a una donna paralizzata

È la prima volta che il linguaggio o le espressioni facciali vengono sintetizzati a partire dai segnali cerebrali. Il sistema può anche decodificare questi segnali in testo a una velocità di quasi 80 parole al minuto, un notevole miglioramento rispetto alla tecnologia disponibile in commercio.

Edward Chang, MD, presidente di chirurgia neurologica presso l’UCSF, che ha lavorato sulla tecnologia, nota come interfaccia cervello-computer, o BCI, per più di un decennio, spera che quest’ultima svolta della ricerca, che apparirà il 23 agosto 2023, in Naturaporterà nel prossimo futuro a un sistema approvato dalla FDA che consentirà il parlato dai segnali cerebrali.

“Il nostro obiettivo è ripristinare un modo di comunicare completo e incarnato, che è davvero il modo più naturale per noi di parlare con gli altri”, ha affermato Chang, membro dell’UCSF Weill Institute for Neuroscience e Distinguished Professor di Jeanne Robertson in Psichiatria. “Questi progressi ci portano molto più vicini a rendere questa soluzione una vera soluzione per i pazienti.”

Il team di Chang aveva precedentemente dimostrato che era possibile decodificare i segnali cerebrali in testo in un uomo che aveva subito un ictus al tronco encefalico molti anni prima. Lo studio attuale dimostra qualcosa di più ambizioso: decodificare i segnali cerebrali nella ricchezza del discorso, insieme ai movimenti che animano il volto di una persona durante la conversazione.

Chang ha impiantato un rettangolo sottilissimo di 253 elettrodi sulla superficie del cervello della donna in aree che il suo team ha scoperto essere fondamentali per la parola. Gli elettrodi intercettavano i segnali cerebrali che, se non fosse stato per l’ictus, sarebbero andati ai muscoli della donna, alla lingua, alla mascella e alla laringe, nonché al viso. Un cavo, collegato a una porta fissata alla sua testa, collegava gli elettrodi a una serie di computer.

Per settimane, la partecipante ha lavorato con il team per addestrare gli algoritmi di intelligenza artificiale del sistema a riconoscere i suoi segnali cerebrali unici per la parola. Ciò comportava la ripetizione più e più volte di frasi diverse da un vocabolario conversazionale di 1.024 parole, finché il computer non riconosceva i modelli di attività cerebrale associati ai suoni.

Invece di addestrare l’intelligenza artificiale a riconoscere parole intere, i ricercatori hanno creato un sistema che decodifica le parole dai fonemi. Queste sono le sottounità del discorso che formano le parole pronunciate nello stesso modo in cui le lettere formano le parole scritte. “Ciao”, ad esempio, contiene quattro fonemi: “HH”, “AH”, “L” e “OW”.

Utilizzando questo approccio, il computer ha dovuto imparare solo 39 fonemi per decifrare qualsiasi parola in inglese. Ciò ha migliorato la precisione del sistema e lo ha reso tre volte più veloce.

“La precisione, la velocità e il vocabolario sono cruciali”, ha affermato Sean Metzger, che ha sviluppato il decodificatore di testo con Alex Silva, entrambi studenti laureati nel programma congiunto di Bioingegneria presso l’UC Berkeley e l’UCSF. “È ciò che offre a un utente il potenziale, nel tempo, di comunicare velocemente quasi quanto noi e di avere conversazioni molto più naturali e normali.”

Per creare la voce, il team ha ideato un algoritmo per sintetizzare il parlato, che hanno personalizzato affinché suonasse come la sua voce prima dell’infortunio, utilizzando una registrazione del suo discorso al matrimonio.

Il team ha animato l’avatar con l’aiuto di un software che simula e anima i movimenti muscolari del viso, sviluppato da Speech Graphics, una società che realizza animazioni facciali basate sull’intelligenza artificiale. I ricercatori hanno creato processi personalizzati di apprendimento automatico che hanno permesso al software dell’azienda di integrarsi con i segnali inviati dal cervello della donna mentre cercava di parlare e di convertirli nei movimenti sul viso dell’avatar, facendo aprire e chiudere la mascella e sporgere le labbra. e la borsa e la lingua vanno su e giù, così come i movimenti facciali per indicare felicità, tristezza e sorpresa.

“Stiamo recuperando le connessioni tra il cervello e il tratto vocale che sono state interrotte dall’ictus”, ha detto Kaylo Littlejohn, uno studente laureato che lavora con Chang e Gopala Anumanchipalli, PhD, professore di ingegneria elettrica e informatica alla UC Berkeley. “Quando il soggetto ha utilizzato per la prima volta questo sistema per parlare e muovere il volto dell’avatar in tandem, sapevo che sarebbe stato qualcosa che avrebbe avuto un impatto reale.”

Un importante passo successivo per il team è creare una versione wireless che non richieda che l’utente sia fisicamente connesso alla BCI.

“Dare alle persone la possibilità di controllare liberamente i propri computer e telefoni con questa tecnologia avrebbe effetti profondi sulla loro indipendenza e sulle interazioni sociali”, ha affermato il co-primo autore David Moses, PhD, professore a contratto in chirurgia neurologica.