[ad_1]
Le reti neurali artificiali, onnipresenti modelli di apprendimento automatico che possono essere addestrati per completare molti compiti, sono così chiamate perché la loro architettura è ispirata al modo in cui i neuroni biologici elaborano le informazioni nel cervello umano.
Circa sei anni fa, gli scienziati hanno scoperto un nuovo tipo di modello di rete neurale più potente noto come trasformatore. Questi modelli possono raggiungere prestazioni senza precedenti, ad esempio generando testo dai prompt con una precisione quasi umana. Un trasformatore è alla base di sistemi di intelligenza artificiale come ChatGPT e Bard, ad esempio. Sebbene incredibilmente efficaci, i trasformatori sono anche misteriosi: a differenza di altri modelli di reti neurali ispirati al cervello, non è chiaro come costruirli utilizzando componenti biologici.
Ora, i ricercatori del MIT, del MIT-IBM Watson AI Lab e della Harvard Medical School hanno prodotto un’ipotesi che potrebbe spiegare come si potrebbe costruire un trasformatore utilizzando elementi biologici nel cervello. Suggeriscono che una rete biologica composta da neuroni e altre cellule cerebrali chiamate astrociti potrebbe eseguire lo stesso calcolo di base di un trasformatore.
Ricerche recenti hanno dimostrato che gli astrociti, cellule non neuronali abbondanti nel cervello, comunicano con i neuroni e svolgono un ruolo in alcuni processi fisiologici, come la regolazione del flusso sanguigno. Ma gli scienziati non hanno ancora una chiara comprensione di ciò che queste cellule fanno computazionalmente.
Con il nuovo studio, pubblicato questa settimana in formato ad accesso aperto nel Atti dell’Accademia Nazionale delle Scienzei ricercatori hanno esplorato il ruolo svolto dagli astrociti nel cervello da una prospettiva computazionale e hanno creato un modello matematico che mostra come potrebbero essere utilizzati, insieme ai neuroni, per costruire un trasformatore biologicamente plausibile.
La loro ipotesi fornisce spunti che potrebbero stimolare la futura ricerca neuroscientifica su come funziona il cervello umano. Allo stesso tempo, potrebbe aiutare i ricercatori di apprendimento automatico a spiegare perché i trasformatori hanno così tanto successo in una serie diversificata di compiti complessi.
“Il cervello è di gran lunga superiore anche alle migliori reti neurali artificiali che abbiamo sviluppato, ma non sappiamo esattamente come funziona il cervello. C’è un valore scientifico nel pensare alle connessioni tra hardware biologico e reti di intelligenza artificiale su larga scala. Questa è la neuroscienza per l’intelligenza artificiale e l’intelligenza artificiale per le neuroscienze”, afferma Dmitry Krotov, membro dello staff di ricerca presso il MIT-IBM Watson AI Lab e autore senior del documento di ricerca.
Insieme a Krotov sul documento ci sono l’autore principale Leo Kozachkov, un postdoc presso il Dipartimento di cervello e scienze cognitive del MIT; e Ksenia V. Kastanenka, assistente professore di neurobiologia presso la Harvard Medical School e assistente investigatore presso il Massachusetts General Research Institute.
Un’impossibilità biologica diventa plausibile
I trasformatori funzionano in modo diverso rispetto ad altri modelli di rete neurale. Ad esempio, una rete neurale ricorrente addestrata per l’elaborazione del linguaggio naturale confronterebbe ogni parola in una frase con uno stato interno determinato dalle parole precedenti. Un trasformatore, d’altra parte, confronta contemporaneamente tutte le parole della frase per generare una previsione, un processo chiamato auto-attenzione.
Affinché l’auto-attenzione funzioni, il trasformatore deve tenere tutte le parole pronte in una qualche forma di memoria, spiega Krotov, ma questo non sembrava biologicamente possibile a causa del modo in cui i neuroni comunicano.
Tuttavia, alcuni anni fa gli scienziati che studiavano un tipo leggermente diverso di modello di apprendimento automatico (noto come Dense Associated Memory) si sono resi conto che questo meccanismo di auto-attenzione potrebbe verificarsi nel cervello, ma solo se ci fosse comunicazione tra almeno tre neuroni.
“Il numero tre mi è davvero saltato fuori perché è noto nelle neuroscienze che queste cellule chiamate astrociti, che non sono neuroni, formano connessioni a tre vie con i neuroni, quelle che vengono chiamate sinapsi tripartite”, dice Kozachkov.
Quando due neuroni comunicano, un neurone presinaptico invia sostanze chimiche chiamate neurotrasmettitori attraverso la sinapsi che lo collega a un neurone postsinaptico. A volte, anche un astrocita è connesso: avvolge un tentacolo lungo e sottile attorno alla sinapsi, creando una sinapsi tripartita (in tre parti). Un astrocita può formare milioni di sinapsi tripartite.
L’astrocita raccoglie alcuni neurotrasmettitori che scorrono attraverso la giunzione sinaptica. Ad un certo punto, l’astrocita può segnalare ai neuroni. Poiché gli astrociti operano su una scala temporale molto più lunga rispetto ai neuroni – creano segnali aumentando lentamente la loro risposta al calcio e poi diminuendola – queste cellule possono contenere e integrare le informazioni comunicate loro dai neuroni. In questo modo, gli astrociti possono formare una sorta di buffer di memoria, afferma Krotov.
“Se ci pensi da quella prospettiva, allora gli astrociti sono estremamente naturali proprio per il calcolo di cui abbiamo bisogno per eseguire l’operazione di attenzione all’interno dei trasformatori”, aggiunge.
Costruire una rete neurone-astrocita
Con questa intuizione, i ricercatori hanno formulato la loro ipotesi che gli astrociti potrebbero svolgere un ruolo nel modo in cui i trasformatori calcolano. Quindi hanno deciso di costruire un modello matematico di una rete di neuroni-astrociti che funzionasse come un trasformatore.
Hanno preso la matematica di base che comprende un trasformatore e hanno sviluppato semplici modelli biofisici di ciò che astrociti e neuroni fanno quando comunicano nel cervello, sulla base di una profonda immersione nella letteratura e della guida di collaboratori di neuroscienziati.
Quindi hanno combinato i modelli in un certo modo fino a quando non sono arrivati a un’equazione di una rete neurone-astrocita che descrive l’auto-attenzione di un trasformatore.
“A volte, abbiamo scoperto che certe cose che volevamo fossero vere non potevano essere implementate in modo plausibile. Quindi, abbiamo dovuto pensare a soluzioni alternative. Ci sono alcune cose nel documento che sono approssimazioni molto accurate dell’architettura del trasformatore per essere in grado di abbinarla in modo biologicamente plausibile”, afferma Kozachkov.
Attraverso la loro analisi, i ricercatori hanno dimostrato che la loro rete biofisica di neuroni-astrociti corrisponde teoricamente a un trasformatore. Inoltre, hanno condotto simulazioni numeriche alimentando immagini e paragrafi di testo ai modelli di trasformazione e confrontando le risposte con quelle della loro rete neurone-astrocita simulata. Entrambi hanno risposto alle sollecitazioni in modo simile, confermando il loro modello teorico.
“Essendo rimasti elettricamente silenziosi per oltre un secolo di registrazioni cerebrali, gli astrociti sono una delle cellule più abbondanti, ma meno esplorate, del cervello. Il potenziale di liberare la potenza computazionale dell’altra metà del nostro cervello è enorme”, afferma Konstantinos Michmizos, professore associato di informatica alla Rutgers University, che non era coinvolto in questo lavoro. “Questo studio apre un affascinante ciclo iterativo, dalla comprensione di come il comportamento intelligente possa veramente emergere nel cervello, alla traduzione di ipotesi dirompenti in nuovi strumenti che esibiscono un’intelligenza simile a quella umana”.
Il prossimo passo per i ricercatori è fare il salto dalla teoria alla pratica. Sperano di confrontare le previsioni del modello con quelle che sono state osservate negli esperimenti biologici e utilizzare questa conoscenza per perfezionare, o possibilmente confutare, la loro ipotesi.
Inoltre, un’implicazione del loro studio è che gli astrociti possono essere coinvolti nella memoria a lungo termine, poiché la rete ha bisogno di immagazzinare informazioni per poter agire su di esse in futuro. Ulteriori ricerche potrebbero approfondire ulteriormente questa idea, afferma Krotov.
“Per molte ragioni, gli astrociti sono estremamente importanti per la cognizione e il comportamento e operano in modi fondamentalmente diversi dai neuroni. La mia più grande speranza per questo articolo è che catalizzi una serie di ricerche nelle neuroscienze computazionali verso le cellule gliali e, in particolare, gli astrociti”, aggiunge Kozachkov.
Questa ricerca è stata sostenuta, in parte, dalla BrightFocus Foundation e dal National Institute of Health.
[ad_2]
Source link
