Dopotutto, un metodo per interpretare l’intelligenza artificiale potrebbe non essere così interpretabile | Notizie del MIT

Man mano che i sistemi autonomi e l’intelligenza artificiale diventano sempre più comuni nella vita quotidiana, stanno emergendo nuovi metodi per aiutare gli esseri umani a verificare che questi sistemi si comportino come previsto. Un metodo, chiamato specifiche formali, utilizza formule matematiche che possono essere tradotte in espressioni in linguaggio naturale. Alcuni ricercatori sostengono che questo metodo può essere utilizzato per precisare le decisioni che un’intelligenza artificiale prenderà in un modo che sia interpretabile dagli esseri umani.

I ricercatori del Lincoln Laboratory del MIT volevano verificare tali affermazioni di interpretabilità. I loro risultati indicano il contrario: le specifiche formali non sembrano essere interpretabili dagli esseri umani. Nello studio del team, ai partecipanti è stato chiesto di verificare se il piano di un agente AI avrebbe avuto successo in un gioco virtuale. Presentati con la specifica formale del piano, i partecipanti hanno risposto correttamente meno della metà delle volte.

“I risultati sono una brutta notizia per i ricercatori che sostengono che i metodi formali conferiscano interpretabilità ai sistemi. Potrebbe essere vero in un senso ristretto e astratto, ma non per nulla vicino alla validazione pratica del sistema”, afferma Hosea Siu, un ricercatore del gruppo di tecnologia AI del laboratorio. Il documento del gruppo è stato accettato alla Conferenza internazionale sui robot e sistemi intelligenti del 2023 tenutasi all’inizio di questo mese.

L’interpretabilità è importante perché consente agli esseri umani di riporre fiducia in una macchina quando viene utilizzata nel mondo reale. Se un robot o un’intelligenza artificiale possono spiegare le sue azioni, allora gli esseri umani possono decidere se necessitano di aggiustamenti o se ci si può fidare di prendere decisioni giuste. Un sistema interpretabile consente inoltre agli utenti della tecnologia, non solo agli sviluppatori, di comprendere e fidarsi delle sue capacità. Tuttavia, l’interpretabilità è stata a lungo una sfida nel campo dell’intelligenza artificiale e dell’autonomia. Il processo di apprendimento automatico avviene in una “scatola nera”, quindi gli sviluppatori di modelli spesso non riescono a spiegare perché o come un sistema è arrivato a una determinata decisione.

“Quando i ricercatori dicono ‘il nostro sistema di apprendimento automatico è accurato’, ci chiediamo ‘quanto è accurato?’ e “utilizzando quali dati?” e se tali informazioni non vengono fornite, respingiamo l’affermazione. Non abbiamo fatto molto quando i ricercatori affermano che “il nostro sistema di apprendimento automatico è interpretabile” e dobbiamo iniziare a sottoporre tali affermazioni a un esame più accurato,” afferma Siu .

Perso nella traduzione

Per il loro esperimento, i ricercatori hanno cercato di determinare se le specifiche formali rendessero il comportamento di un sistema più interpretabile. Si sono concentrati sulla capacità delle persone di utilizzare tali specifiche per convalidare un sistema, ovvero per capire se il sistema soddisfa sempre gli obiettivi dell’utente.

L’applicazione di specifiche formali a questo scopo è essenzialmente un sottoprodotto del suo utilizzo originale. Le specifiche formali fanno parte di un insieme più ampio di metodi formali che utilizzano espressioni logiche come struttura matematica per descrivere il comportamento di un modello. Poiché il modello è costruito su un flusso logico, gli ingegneri possono utilizzare i “model checker” per dimostrare matematicamente i fatti relativi al sistema, incluso quando è o meno possibile per il sistema completare un’attività. Ora, i ricercatori stanno cercando di utilizzare questo stesso quadro come strumento di traduzione per gli esseri umani.

“I ricercatori confondono il fatto che le specifiche formali abbiano una semantica precisa con il fatto che siano interpretabili per gli esseri umani. Non sono la stessa cosa”, dice Siu. “Ci siamo resi conto che quasi nessuno controllava se le persone effettivamente comprendevano i risultati.”

Nell’esperimento del team, ai partecipanti è stato chiesto di convalidare una serie abbastanza semplice di comportamenti con un robot che giocava a catturare la bandiera, rispondendo sostanzialmente alla domanda “Se il robot segue esattamente queste regole, vince sempre?”

Tra i partecipanti c’erano sia esperti che non esperti di metodi formali. Hanno ricevuto le specifiche formali in tre modi: una formula logica “grezza”, la formula tradotta in parole più vicine al linguaggio naturale e un formato ad albero decisionale. Gli alberi decisionali in particolare sono spesso considerati nel mondo dell’intelligenza artificiale come un modo interpretabile dall’uomo per mostrare il processo decisionale dell’intelligenza artificiale o dei robot.

I risultati: “Le prestazioni di convalida nel complesso sono state piuttosto terribili, con una precisione di circa il 45%, indipendentemente dal tipo di presentazione”, afferma Siu.

Sicuramente sbagliato

Quelli precedentemente formati nelle specifiche formali hanno fatto solo leggermente meglio dei principianti. Tuttavia, gli esperti hanno riferito che le loro risposte erano molto più affidabili, indipendentemente dal fatto che fossero corrette o meno. In generale, le persone tendevano a fidarsi eccessivamente della correttezza delle specifiche poste loro di fronte, il che significa che ignoravano le regole che consentivano perdite di gioco. Questo bias di conferma è particolarmente preoccupante per la validazione del sistema, dicono i ricercatori, perché è più probabile che le persone trascurino le modalità di fallimento.

“Non pensiamo che questo risultato significhi che dovremmo abbandonare le specifiche formali come modo per spiegare i comportamenti del sistema alle persone. Ma pensiamo che ci sia bisogno di molto più lavoro nella progettazione di come essi vengono presentati alle persone e nel contesto flusso di lavoro in cui le persone li utilizzano”, aggiunge Siu.

Considerando il motivo per cui i risultati sono stati così scarsi, Siu riconosce che anche le persone che lavorano su metodi formali non sono abbastanza addestrate a verificare le specifiche come richiesto dall’esperimento. E pensare a tutti i possibili risultati di un insieme di regole è difficile. Anche così, le regole mostrate ai partecipanti erano brevi, equivalenti a non più di un paragrafo di testo, “molto più brevi di qualsiasi cosa potresti incontrare in qualsiasi sistema reale”, dice Siu.

Il team non sta tentando di collegare i propri risultati direttamente alle prestazioni degli esseri umani nella validazione dei robot nel mondo reale. Mirano invece a utilizzare i risultati come punto di partenza per considerare ciò che la comunità logica formale potrebbe perdere quando rivendica l’interpretabilità e come tali affermazioni potrebbero svolgersi nel mondo reale.

Questa ricerca è stata condotta come parte di un progetto più ampio su cui Siu e colleghi stanno lavorando per migliorare il rapporto tra robot e operatori umani, in particolare quelli militari. Il processo di programmazione della robotica può spesso lasciare gli operatori fuori dal giro. Con l’obiettivo simile di migliorare l’interpretabilità e la fiducia, il progetto sta cercando di consentire agli operatori di insegnare compiti direttamente ai robot, in modi simili all’addestramento degli esseri umani. Un tale processo potrebbe migliorare sia la fiducia dell’operatore nel robot che l’adattabilità del robot.

In definitiva, sperano che i risultati di questo studio e la loro ricerca in corso possano migliorare l’applicazione dell’autonomia, man mano che diventa sempre più radicata nella vita umana e nel processo decisionale.

“I nostri risultati spingono verso la necessità di effettuare valutazioni umane di determinati sistemi e concetti di autonomia e intelligenza artificiale prima che vengano fatte troppe affermazioni sulla loro utilità con gli esseri umani”, aggiunge Siu.