Sfruttare il linguaggio per comprendere le macchine | Notizie del MIT

Il linguaggio naturale trasmette idee, azioni, informazioni e intenzioni attraverso il contesto e la sintassi; inoltre, vi sono volumi contenuti nei database. Ciò lo rende un’eccellente fonte di dati su cui addestrare i sistemi di apprendimento automatico. Due studenti di ingegneria del master del 6A MEng Thesis Program al MIT, Irene Terpstra ’23 e Rujul Gandhi ’22, stanno lavorando con mentori nel Watson AI Lab del MIT-IBM per utilizzare questa potenza del linguaggio naturale per costruire sistemi di intelligenza artificiale.

Poiché l’informatica sta diventando sempre più avanzata, i ricercatori stanno cercando di migliorare l’hardware su cui funzionano; questo significa innovare per creare nuovi chip per computer. E, poiché è già disponibile la letteratura sulle modifiche che possono essere apportate per ottenere determinati parametri e prestazioni, Terpstra e i suoi mentori e consulenti Anantha Chandrakasan, preside della Scuola di Ingegneria del MIT e Vannevar Bush Professore di Ingegneria Elettrica e Informatica e ricercatore dell’IBM Xin Zhang, stanno sviluppando un algoritmo AI che assiste nella progettazione dei chip.

“Sto creando un flusso di lavoro per analizzare sistematicamente come questi modelli linguistici possano aiutare il processo di progettazione dei circuiti. Che potere di ragionamento hanno e come può essere integrato nel processo di progettazione del chip?” dice Terpstra. “E poi, dall’altro lato, se ciò si rivela abbastanza utile, [we’ll] vedere se riescono a progettare automaticamente i chip stessi, collegandoli a un algoritmo di apprendimento per rinforzo”.

Per fare ciò, il team di Terpstra sta creando un sistema di intelligenza artificiale in grado di eseguire iterazioni su diversi progetti. Significa sperimentare vari modelli linguistici di grandi dimensioni pre-addestrati (come ChatGPT, Llama 2 e Bard), utilizzando un linguaggio di simulazione di circuiti open source chiamato NGspice, che ha i parametri del chip in forma di codice e un algoritmo di apprendimento per rinforzo. Con suggerimenti di testo, i ricercatori saranno in grado di chiedere come il chip fisico dovrebbe essere modificato per raggiungere un determinato obiettivo nel modello linguistico e produrre indicazioni per gli aggiustamenti. Questo viene poi trasferito in un algoritmo di apprendimento per rinforzo che aggiorna la progettazione del circuito e genera nuovi parametri fisici del chip.

“L’obiettivo finale sarebbe quello di combinare i poteri di ragionamento e la base di conoscenza che è incorporata in questi grandi modelli linguistici e combinarli con il potere di ottimizzazione degli algoritmi di apprendimento per rinforzo e far progettare il chip stesso”, afferma Terpstra.

Rujul Gandhi lavora con il linguaggio grezzo stesso. Da studentessa al MIT, Gandhi esplorò la linguistica e l’informatica, mettendole insieme nel suo lavoro su MEng. “Mi interessava la comunicazione, sia tra semplici esseri umani che tra umani e computer”, afferma Gandhi.

I robot o altri sistemi di intelligenza artificiale interattiva sono un’area in cui la comunicazione deve essere compresa sia dagli esseri umani che dalle macchine. I ricercatori spesso scrivono istruzioni per i robot utilizzando la logica formale. Ciò aiuta a garantire che i comandi vengano eseguiti in modo sicuro e come previsto, ma la logica formale può essere difficile da comprendere per gli utenti, mentre il linguaggio naturale arriva facilmente. Per garantire questa comunicazione fluida, Gandhi e i suoi consulenti Yang Zhang dell’IBM e il professore assistente del MIT Chuchu Fan stanno costruendo un parser che converte le istruzioni del linguaggio naturale in una forma adatta alla macchina. Sfruttando la struttura linguistica codificata dal modello T5 di codificatore-decodificatore pre-addestrato e un set di dati di comandi inglesi di base annotati per eseguire determinati compiti, il sistema di Gandhi identifica le unità logiche più piccole, o proposizioni atomiche, presenti in una determinata istruzione.

“Una volta impartite le istruzioni, il modello identifica tutti i compiti secondari più piccoli che si desidera che svolgano”, afferma Gandhi. “Quindi, utilizzando un modello linguistico di grandi dimensioni, ogni sotto-attività può essere confrontata con le azioni e gli oggetti disponibili nel mondo del robot, e se una qualsiasi sotto-attività non può essere eseguita perché un certo oggetto non viene riconosciuto, o un’azione non è possibile, il sistema può fermarsi lì per chiedere aiuto all’utente.”

Questo approccio di suddivisione delle istruzioni in attività secondarie consente inoltre al suo sistema di comprendere le dipendenze logiche espresse in inglese, come “esegui l’attività X finché non si verifica l’evento Y”. Gandhi utilizza un set di dati di istruzioni passo passo in ambiti di attività dei robot come la navigazione e la manipolazione, con particolare attenzione alle attività domestiche. Usare dati scritti proprio nel modo in cui gli esseri umani parlerebbero tra loro presenta molti vantaggi, afferma, perché significa che un utente può essere più flessibile su come formulare le proprie istruzioni.

Un altro dei progetti di Gandhi riguarda lo sviluppo di modelli linguistici. Nel contesto del riconoscimento vocale, alcune lingue sono considerate “a scarse risorse” poiché potrebbero non avere molto parlato trascritto disponibile o potrebbero non avere affatto una forma scritta. “Uno dei motivi per cui ho presentato domanda per questo stage presso il Watson AI Lab del MIT-IBM è stato l’interesse per l’elaborazione linguistica di linguaggi con risorse limitate”, afferma. “Molti modelli linguistici oggi sono fortemente guidati dai dati e quando non è così facile acquisire tutti quei dati, è allora che è necessario utilizzare i dati limitati in modo efficiente.”

La parola è solo un flusso di onde sonore, ma gli esseri umani che conversano possono facilmente capire dove iniziano e finiscono le parole e i pensieri. Nell’elaborazione del parlato, sia gli esseri umani che i modelli linguistici usano il loro vocabolario esistente per riconoscere i confini delle parole e comprenderne il significato. Nelle lingue con poche o nessuna risorsa, un vocabolario scritto potrebbe non esistere affatto, quindi i ricercatori non possono fornirne uno al modello. Invece, il modello può prendere nota di quali sequenze sonore si verificano insieme più frequentemente di altre e dedurre che potrebbero trattarsi di singole parole o concetti. Nel gruppo di ricerca di Gandhi, queste parole dedotte vengono poi raccolte in uno pseudo-vocabolario che funge da metodo di etichettatura per il linguaggio a scarse risorse, creando dati etichettati per ulteriori applicazioni.

Le applicazioni della tecnologia linguistica sono “praticamente ovunque”, afferma Gandhi. “Si potrebbe immaginare che le persone siano in grado di interagire con software e dispositivi nella loro lingua madre, nel loro dialetto nativo. Potresti immaginare di migliorare tutti gli assistenti vocali che utilizziamo. Potresti immaginare che venga utilizzato per la traduzione o l’interpretazione.