Il cervello può imparare a conoscere il mondo allo stesso modo di alcuni modelli computazionali

Come fa il cervello a sviluppare questa comprensione intuitiva? Molti scienziati ritengono che potrebbe utilizzare un processo simile a quello noto come “apprendimento autosupervisionato”. Questo tipo di apprendimento automatico, originariamente sviluppato come un modo per creare modelli più efficienti per la visione artificiale, consente ai modelli computazionali di apprendere le scene visive basandosi esclusivamente sulle somiglianze e sulle differenze tra loro, senza etichette o altre informazioni.

Un paio di studi condotti da ricercatori del Centro K. Lisa Yang Integrative Computational Neuroscience (ICoN) del MIT offrono nuove prove a sostegno di questa ipotesi. I ricercatori hanno scoperto che quando hanno addestrato modelli noti come reti neurali utilizzando un particolare tipo di apprendimento auto-supervisionato, i modelli risultanti hanno generato modelli di attività molto simili a quelli osservati nel cervello degli animali che eseguivano gli stessi compiti dei modelli.

I risultati suggeriscono che questi modelli sono in grado di apprendere rappresentazioni del mondo fisico che possono utilizzare per fare previsioni accurate su ciò che accadrà in quel mondo e che il cervello dei mammiferi potrebbe utilizzare la stessa strategia, dicono i ricercatori.

“Il tema del nostro lavoro è che l’intelligenza artificiale progettata per aiutare a costruire robot migliori finisce per essere anche una struttura per comprendere meglio il cervello più in generale”, afferma Aran Nayebi, postdoc presso l’ICoN Center. “Non possiamo ancora dire se si tratti dell’intero cervello, ma su scale e aree cerebrali disparate, i nostri risultati sembrano suggerire un principio organizzativo”.

Nayebi è l’autore principale di uno degli studi, coautore con Rishi Rajalingham, ex postdoc del MIT ora presso Meta Reality Labs, e con gli autori senior Mehrdad Jazayeri, professore associato di scienze del cervello e cognitive e membro del McGovern Institute for Ricerca sul cervello; e Robert Yang, assistente professore di scienze del cervello e cognitive e membro associato del McGovern Institute. Ila Fiete, direttore dell’ICoN Center, professore di scienze del cervello e cognitive e membro associato del McGovern Institute, è l’autore senior dell’altro studio, che è stato co-diretto da Mikail Khona, uno studente laureato del MIT, e Rylan Schaeffer, ex ricercatore associato del MIT.

Entrambi gli studi saranno presentati alla Conferenza sui sistemi di elaborazione delle informazioni neurali (NeurIPS) del 2023 a dicembre.

Modellare il mondo fisico

I primi modelli di visione artificiale si basavano principalmente sull’apprendimento supervisionato. Utilizzando questo approccio, i modelli vengono addestrati per classificare immagini etichettate ciascuna con un nome: gatto, macchina, ecc. I modelli risultanti funzionano bene, ma questo tipo di addestramento richiede una grande quantità di dati etichettati da esseri umani.

Per creare un’alternativa più efficiente, negli ultimi anni i ricercatori si sono rivolti a modelli costruiti attraverso una tecnica nota come apprendimento contrastivo autosupervisionato. Questo tipo di apprendimento consente a un algoritmo di imparare a classificare gli oggetti in base a quanto sono simili tra loro, senza fornire etichette esterne.

“Si tratta di un metodo molto potente perché ora puoi sfruttare set di dati moderni molto grandi, in particolare video, e liberarne davvero il potenziale”, afferma Nayebi. “Gran parte dell’intelligenza artificiale moderna che vedete oggi, soprattutto negli ultimi due anni con ChatGPT e GPT-4, è il risultato dell’addestramento di una funzione obiettivo autosuperata su un set di dati su larga scala per ottenere una rappresentazione molto flessibile.”

Questi tipi di modelli, chiamati anche reti neurali, sono costituiti da migliaia o milioni di unità di elaborazione collegate tra loro. Ogni nodo ha connessioni di varia intensità con altri nodi della rete. Man mano che la rete analizza enormi quantità di dati, i punti di forza di tali connessioni cambiano man mano che la rete impara a svolgere l’attività desiderata.

Poiché il modello esegue un compito particolare, è possibile misurare i modelli di attività delle diverse unità all’interno della rete. L’attività di ciascuna unità può essere rappresentata come uno schema di attivazione, simile agli schemi di attivazione dei neuroni nel cervello. Il lavoro precedente di Nayebi e altri ha dimostrato che i modelli di visione autocontrollati generano attività simili a quelle osservate nel sistema di elaborazione visiva del cervello dei mammiferi.

In entrambi i nuovi studi NeurIPS, i ricercatori hanno deciso di esplorare se anche i modelli computazionali autosupervisionati di altre funzioni cognitive potrebbero mostrare somiglianze con il cervello dei mammiferi. Nello studio condotto da Nayebi, i ricercatori hanno addestrato modelli auto-supervisionati per prevedere lo stato futuro del loro ambiente attraverso centinaia di migliaia di video naturalistici che descrivono scenari quotidiani.

“Negli ultimi dieci anni circa, il metodo dominante per costruire modelli di reti neurali nelle neuroscienze cognitive è stato quello di addestrare queste reti su compiti cognitivi individuali. Ma i modelli addestrati in questo modo raramente si generalizzano ad altri compiti”, dice Yang. “Qui testiamo se possiamo costruire modelli per alcuni aspetti della cognizione addestrando prima su dati naturalistici utilizzando l’apprendimento auto-supervisionato, quindi valutando in ambienti di laboratorio.”

Una volta addestrato il modello, i ricercatori lo hanno generalizzato a un compito che chiamano “Mental-Pong”. Questo è simile al videogioco Pong, in cui un giocatore muove una racchetta per colpire una palla che viaggia attraverso lo schermo. Nella versione Mental-Pong, la pallina scompare poco prima di colpire la racchetta, quindi il giocatore deve stimarne la traiettoria per colpire la pallina.

I ricercatori hanno scoperto che il modello era in grado di tracciare la traiettoria della palla nascosta con una precisione simile a quella dei neuroni nel cervello dei mammiferi, che era stata mostrata in un precedente studio di Rajalingham e Jazayeri per simulare la sua traiettoria, un fenomeno cognitivo noto come ” simulazione mentale.” Inoltre, i modelli di attivazione neurale osservati all’interno del modello erano simili a quelli osservati nel cervello degli animali mentre giocavano, in particolare in una parte del cervello chiamata corteccia frontale dorsomediale. Nessun’altra classe di modelli computazionali è stata in grado di riprodurre i dati biologici così fedelmente come questo, affermano i ricercatori.

“Ci sono molti sforzi nella comunità dell’apprendimento automatico per creare intelligenza artificiale”, afferma Jazayeri. “La rilevanza di questi modelli per la neurobiologia dipende dalla loro capacità di catturare ulteriormente il funzionamento interno del cervello. Il fatto che il modello di Aran preveda i dati neurali è davvero importante in quanto suggerisce che potremmo avvicinarci alla costruzione di sistemi artificiali che emulino l’intelligenza naturale”. .”

Navigare nel mondo

Lo studio condotto da Khona, Schaeffer e Fiete si è concentrato su un tipo di neuroni specializzati noti come cellule della griglia. Queste cellule, situate nella corteccia entorinale, aiutano gli animali a orientarsi, lavorando insieme alle cellule posizionali situate nell’ippocampo.

Mentre le celle di posizionamento si attivano ogni volta che un animale si trova in una posizione specifica, le celle della griglia si attivano solo quando l’animale si trova su uno dei vertici di un reticolo triangolare. Gruppi di celle della griglia creano reticoli sovrapposti di diverse dimensioni, che consentono loro di codificare un gran numero di posizioni utilizzando un numero relativamente piccolo di celle.

In studi recenti, i ricercatori hanno addestrato reti neurali supervisionate a imitare il funzionamento delle cellule della griglia prevedendo la prossima posizione di un animale in base al suo punto di partenza e alla sua velocità, un compito noto come integrazione del percorso. Tuttavia, questi modelli si basano sull’accesso in ogni momento a informazioni privilegiate sullo spazio assoluto, informazioni che l’animale non possiede.

Ispirandosi alle straordinarie proprietà di codifica del codice multiperiodico delle celle della griglia per lo spazio, il team del MIT ha addestrato un modello contrastivo auto-supervisionato per eseguire lo stesso compito di integrazione del percorso e rappresentare lo spazio in modo efficiente mentre lo fa. Per i dati di addestramento, hanno utilizzato sequenze di input di velocità. Il modello ha imparato a distinguere le posizioni in base al fatto che fossero simili o diverse: le posizioni vicine generavano codici simili, ma posizioni ulteriori generavano codici più diversi.

“È simile all’addestramento dei modelli sulle immagini, dove se due immagini sono entrambe teste di gatti, i loro codici dovrebbero essere simili, ma se una è la testa di un gatto e l’altra è un camion, allora vuoi che i loro codici si respingano,” Khona dice. “Stiamo prendendo la stessa idea ma applicandola alle traiettorie spaziali.”

Una volta addestrato il modello, i ricercatori hanno scoperto che i modelli di attivazione dei nodi all’interno del modello formavano diversi modelli reticolari con periodi diversi, molto simili a quelli formati dalle cellule della griglia nel cervello.

“Ciò che mi entusiasma di questo lavoro è che crea collegamenti tra il lavoro matematico sulle straordinarie proprietà teoriche dell’informazione del codice delle celle della griglia e il calcolo dell’integrazione del percorso”, afferma Fiete. “Mentre il lavoro matematico era analitico – quali proprietà possiede il codice della cella della griglia? – l’approccio di ottimizzazione dell’efficienza della codifica attraverso l’apprendimento auto-supervisionato e l’ottenimento di una sintonizzazione simile a una griglia è sintetico: mostra quali proprietà potrebbero essere necessarie e sufficienti per spiegare perché il cervello ha cellule griglia.”

La ricerca è stata finanziata dal K. Lisa Yang ICoN Center, dal National Institutes of Health, dalla Simons Foundation, dalla McKnight Foundation, dal McGovern Institute e dalla Helen Hay Whitney Foundation.