[ad_1]
Gli esseri umani hanno la capacità di apprendere un nuovo concetto e quindi di usarlo immediatamente per comprendere gli usi correlati di quel concetto: una volta che i bambini sanno come “saltare”, capiscono cosa significa “saltare due volte per la stanza” o “saltare con il dito”. mani in alto.”
Ma le macchine sono capaci di questo tipo di pensiero? Alla fine degli anni ’80, Jerry Fodor e Zenon Pylyshyn, filosofi e scienziati cognitivi, ipotizzarono che le reti neurali artificiali – i motori che guidano l’intelligenza artificiale e l’apprendimento automatico – non sono in grado di creare queste connessioni, note come “generalizzazioni compositive”. Tuttavia, nei decenni successivi, gli scienziati hanno sviluppato modi per instillare questa capacità nelle reti neurali e nelle tecnologie correlate, ma con alterne fortune, mantenendo così vivo questo dibattito vecchio di decenni.
I ricercatori della New York University e dell’Università Pompeu Fabra in Spagna hanno ora sviluppato una tecnica – riportata nella rivista Natura – che migliora la capacità di questi strumenti, come ChatGPT, di effettuare generalizzazioni compositive. Questa tecnica, Meta-learning for Compositionity (MLC), supera gli approcci esistenti ed è alla pari, e in alcuni casi migliore, delle prestazioni umane. MLC si concentra sull’addestramento delle reti neurali – i motori che guidano ChatGPT e le tecnologie correlate per il riconoscimento vocale e l’elaborazione del linguaggio naturale – per migliorare la generalizzazione compositiva attraverso la pratica.
Gli sviluppatori dei sistemi esistenti, compresi i modelli linguistici di grandi dimensioni, hanno sperato che la generalizzazione compositiva emergesse dai metodi di formazione standard, o hanno sviluppato architetture speciali per raggiungere queste capacità. L’MLC, al contrario, mostra come la pratica esplicita di queste abilità consenta a questi sistemi di sbloccare nuovi poteri, notano gli autori.
“Per 35 anni, i ricercatori nel campo delle scienze cognitive, dell’intelligenza artificiale, della linguistica e della filosofia hanno discusso se le reti neurali potessero raggiungere una generalizzazione sistematica simile a quella umana”, afferma Brenden Lake, assistente professore presso il Center for Data Science e il Dipartimento di Psicologia e Psicologia della New York University. uno degli autori del documento. “Abbiamo dimostrato, per la prima volta, che una rete neurale generica può imitare o superare la generalizzazione sistematica umana in un confronto testa a testa.”
Nell’esplorare la possibilità di rafforzare l’apprendimento compositivo nelle reti neurali, i ricercatori hanno creato MLC, una nuova procedura di apprendimento in cui una rete neurale viene continuamente aggiornata per migliorare le sue capacità nel corso di una serie di episodi. In un episodio, MLC riceve una nuova parola e gli viene chiesto di usarla in modo compositivo, ad esempio, per prendere la parola “salta” e quindi creare nuove combinazioni di parole, come “salta due volte” o “salta due volte a destra”. MLC riceve poi un nuovo episodio che presenta una parola diversa, e così via, migliorando ogni volta le capacità compositive della rete.
Per testare l’efficacia di MLC, Lake, co-direttore della Minds, Brains, and Machines Initiative della NYU, e Marco Baroni, ricercatore presso l’Istituto Catalano di Ricerca e Studi Avanzati e professore presso il Dipartimento di Traduzione e Scienze del Linguaggio di Pompeu Fabra University, ha condotto una serie di esperimenti con partecipanti umani identici ai compiti eseguiti da MLC.
Inoltre, invece di imparare il significato di parole reali – termini che gli esseri umani già conoscevano – dovevano anche imparare il significato di termini senza senso (ad esempio “zup” e “dax”) come definiti dai ricercatori e sapere come interpretarli. applicarli in modi diversi. L’MLC ha funzionato come i partecipanti umani e, in alcuni casi, meglio delle sue controparti umane. MLC e People hanno anche sovraperformato ChatGPT e GPT-4, che nonostante le sue straordinarie capacità generali, ha mostrato difficoltà con questo compito di apprendimento.
“I modelli linguistici di grandi dimensioni come ChatGPT lottano ancora con la generalizzazione compositiva, anche se negli ultimi anni sono migliorati”, osserva Baroni, membro del gruppo di ricerca sulla linguistica computazionale e sulla teoria linguistica dell’Università Pompeu Fabra. “Ma pensiamo che MLC possa migliorare ulteriormente le capacità compositive di grandi modelli linguistici.”
[ad_2]
Source link