Per la prima volta l’Institute of Theoretical Computer Science e Intel Labs di TU Graz hanno dimostrato sperimentalmente che una grande rete neurale può elaborare sequenze come frasi consumando da quattro a sedici volte meno energia durante l’esecuzione su hardware neuromorfico rispetto a hardware non neuromorfo. La nuova ricerca basata sul chip di ricerca neuromorfico Loihi di Intel Labs che attinge alle intuizioni delle neuroscienze per creare chip che funzionano in modo simile a quelli del cervello biologico.
La ricerca è stata finanziata da The Human Brain Project (HBP), uno dei più grandi progetti di ricerca al mondo con oltre 500 scienziati e ingegneri in tutta Europa che studiano il cervello umano. I risultati della ricerca sono pubblicati nel documento di ricerca “Memory for AI Applications in Spike-based Neuromorphic Hardware” (DOI 10.1038/s42256-022-00480-w) che in Intelligenza della macchina della natura.
Il cervello umano come modello
Macchine intelligenti e computer intelligenti in grado di riconoscere e dedurre autonomamente oggetti e relazioni tra oggetti diversi sono oggetto di ricerca mondiale sull’intelligenza artificiale (AI). Il consumo di energia è un ostacolo importante sulla strada per una più ampia applicazione di tali metodi di intelligenza artificiale. Si spera che la tecnologia neuromorfica fornisca una spinta nella giusta direzione. La tecnologia neuromorfica è modellata sul cervello umano, che è altamente efficiente nell’uso dell’energia. Per elaborare le informazioni, i suoi cento miliardi di neuroni consumano solo circa 20 watt, non molta più energia di una lampadina media a risparmio energetico.
Nella ricerca, il gruppo si è concentrato su algoritmi che funzionano con processi temporali. Ad esempio, il sistema doveva rispondere a domande su una storia raccontata in precedenza e cogliere le relazioni tra oggetti o persone dal contesto. L’hardware testato consisteva in 32 chip Loihi.
Chip di ricerca Loihi: fino a sedici volte più efficiente dal punto di vista energetico rispetto all’hardware non neuromorfo
“Il nostro sistema è da quattro a sedici volte più efficiente dal punto di vista energetico rispetto ad altri modelli di intelligenza artificiale su hardware convenzionale”, afferma Philipp Plank, uno studente di dottorato presso l’Istituto di informatica teorica del TU Graz. Plank prevede ulteriori incrementi di efficienza man mano che questi modelli vengono migrati alla prossima generazione di hardware Loihi, che migliora significativamente le prestazioni della comunicazione da chip a chip.
“I chip di ricerca Loihi di Intel promettono guadagni nell’IA, soprattutto riducendo il loro alto costo energetico”, ha affermato Mike Davies, direttore del Neuromorphic Computing Lab di Intel. “Il nostro lavoro con TU Graz fornisce ulteriori prove del fatto che la tecnologia neuromorfica può migliorare l’efficienza energetica dei carichi di lavoro di deep learning di oggi ripensando alla loro implementazione dal punto di vista della biologia”.
Imitando la memoria umana a breve termine
Nella loro rete neuromorfica, il gruppo ha riprodotto un presunto meccanismo di memoria del cervello, come spiega Wolfgang Maass, supervisore del dottorato di Philipp Plank presso l’Institute of Theoretical Computer Science: “Studi sperimentali hanno dimostrato che il cervello umano può immagazzinare informazioni per un breve periodo di tempo anche senza attività neurale, in particolare nelle cosiddette “variabili interne” dei neuroni. Le simulazioni suggeriscono che un meccanismo di affaticamento di un sottoinsieme di neuroni è essenziale per questa memoria a breve termine”.
Manca una prova diretta perché queste variabili interne non possono ancora essere misurate, ma significa che la rete deve solo testare quali neuroni sono attualmente affaticati per ricostruire quali informazioni ha elaborato in precedenza. In altre parole, le informazioni precedenti vengono memorizzate nella non attività dei neuroni e la non attività consuma meno energia.
Simbiosi di rete ricorrente e feed-forward
I ricercatori collegano due tipi di reti di apprendimento profondo per questo scopo. Le reti neurali di feedback sono responsabili della “memoria a breve termine”. Molti di questi cosiddetti moduli ricorrenti filtrano possibili informazioni rilevanti dal segnale di ingresso e le memorizzano. Una rete feed-forward determina quindi quali delle relazioni trovate sono molto importanti per risolvere il compito in questione. Le relazioni prive di significato vengono escluse, i neuroni si attivano solo in quei moduli in cui sono state trovate informazioni rilevanti. Questo processo alla fine porta al risparmio energetico.
“Si prevede che le strutture neurali ricorrenti forniranno i maggiori vantaggi per le applicazioni in esecuzione su hardware neuromorfico in futuro”, ha affermato Davies. “L’hardware neuromorfo come Loihi è particolarmente adatto per facilitare i modelli veloci, scarsi e imprevedibili di attività di rete che osserviamo nel cervello e che necessitano delle applicazioni di intelligenza artificiale più efficienti dal punto di vista energetico”.
Questa ricerca è stata sostenuta finanziariamente da Intel e dalla European Progetto cervello umano, che collega neuroscienze, medicina e tecnologie ispirate al cervello nell’UE. A tal fine, il progetto sta creando un’infrastruttura di ricerca digitale permanente, EBRAINS. Questo lavoro di ricerca è ancorato nei campi di competenzaUmano e Biotecnologie e Informazioni, comunicazione e informaticadue dei cinque campi di competenza di TU Graz.
Fonte storia:
Materiali forniti da Università di tecnologia di Graz. Originale scritto da Christoph Pelzl. Nota: il contenuto può essere modificato per stile e lunghezza.
