L’occhio della mente di un sistema di rete neurale

“In un certo senso, se una rete neurale fosse in grado di parlare, vi stiamo mostrando cosa cercherebbe di dire”, ha detto David Gleich, professore di informatica della Purdue al College of Science che ha sviluppato lo strumento, che è presentato in un articolo pubblicato in Intelligenza artificiale della natura. “Lo strumento che abbiamo sviluppato ti aiuta a trovare i luoghi in cui la rete dice: ‘Ehi, ho bisogno di più informazioni per fare quello che hai chiesto.’ Consiglierei alle persone di utilizzare questo strumento in qualsiasi scenario decisionale di rete neurale ad alto rischio o attività di previsione delle immagini.”

Il codice per lo strumento è disponibile su GitHub, così come le dimostrazioni dei casi d’uso. Gleich ha collaborato alla ricerca con Tamal K. Dey, anche lui professore di informatica della Purdue, e Meng Liu, un ex studente laureato della Purdue che ha conseguito un dottorato in informatica.

Nel testare il loro approccio, il team di Gleich ha scoperto che le reti neurali confondevano l’identità delle immagini nei database di tutto, dalle radiografie del torace e sequenze genetiche all’abbigliamento. In un esempio, una rete neurale ha ripetutamente etichettato erroneamente le immagini di automobili dal database Imagenette come lettori di cassette. La ragione? Le immagini sono state tratte da elenchi di vendita online e includevano etichette per l’impianto stereo delle auto.

I sistemi di riconoscimento delle immagini della rete neurale sono essenzialmente algoritmi che elaborano i dati in modo da imitare il modello di attivazione ponderato dei neuroni quando un’immagine viene analizzata e identificata. Un sistema viene addestrato al suo compito – come identificare un animale, un indumento o un tumore – con un “set di addestramento” di immagini che include dati su ciascun pixel, tag e altre informazioni, e l’identità dell’immagine classificata all’interno di una particolare categoria. Utilizzando il set di addestramento, la rete apprende, o “estrae”, le informazioni di cui ha bisogno per abbinare i valori di input alla categoria. Questa informazione, una stringa di numeri chiamata vettore incorporato, viene utilizzata per calcolare la probabilità che l’immagine appartenga a ciascuna delle possibili categorie. In generale, l’identità corretta dell’immagine rientra nella categoria con la più alta probabilità.

Ma i vettori e le probabilità incorporati non sono correlati a un processo decisionale che gli esseri umani riconoscerebbero. Inserisci 100.000 numeri che rappresentano i dati noti e la rete produce un vettore incorporato di 128 numeri che non corrispondono alle caratteristiche fisiche, sebbene consentano alla rete di classificare l’immagine. In altre parole, non è possibile svelare gli algoritmi di un sistema addestrato e seguirli. Tra i valori di input e l’identità prevista dell’immagine c’è una proverbiale “scatola nera” di numeri irriconoscibili su più livelli.

“Il problema con le reti neurali è che non possiamo vedere all’interno della macchina per capire come prende le decisioni, quindi come possiamo sapere se una rete neurale sta commettendo un errore caratteristico?” Ha detto Gleich.

Piuttosto che cercare di tracciare il percorso decisionale di ogni singola immagine attraverso la rete, l’approccio di Gleich permette di visualizzare la relazione che il computer vede tra tutte le immagini di un intero database. Immaginatelo come una visione dall’alto di tutte le immagini così come le ha organizzate la rete neurale.

La relazione tra le immagini (come la previsione della rete della classificazione dell’identità di ciascuna delle immagini nel database) si basa sui vettori incorporati e sulle probabilità generati dalla rete. Per aumentare la risoluzione della vista e trovare luoghi in cui la rete non è in grado di distinguere tra due diverse classificazioni, il team di Gleich ha prima sviluppato un metodo di divisione e sovrapposizione delle classificazioni per identificare dove le immagini hanno un’alta probabilità di appartenere a più di una classificazione.

Il team quindi mappa le relazioni su un grafico Reeb, uno strumento tratto dal campo dell’analisi dei dati topologici. Nel grafico, ogni gruppo di immagini che la rete ritiene correlate è rappresentato da un singolo punto. I punti sono codificati a colori in base alla classificazione. Più i punti sono vicini, più i gruppi vengono considerati simili dalla rete e la maggior parte delle aree del grafico mostrano gruppi di punti in un unico colore. Ma i gruppi di immagini con un’alta probabilità di appartenere a più di una classificazione saranno rappresentati da due punti sovrapposti di colore diverso. Con un solo sguardo, le aree in cui la rete non è in grado di distinguere tra due classificazioni appaiono come un insieme di punti di un colore, accompagnati da un’infarinatura di punti sovrapposti di un secondo colore. Ingrandendo i punti sovrapposti verrà mostrata un’area di confusione, come l’immagine dell’auto che è stata etichettata sia come macchina che come lettore di cassette.

“Quello che stiamo facendo è prendere questi complessi insiemi di informazioni che escono dalla rete e dare alle persone un’idea di come la rete vede i dati a livello macroscopico”, ha detto Gleich. “La mappa Reeb rappresenta le cose importanti, i grandi gruppi e il modo in cui si relazionano tra loro, e questo rende possibile vedere gli errori.”

“Struttura topologica delle previsioni complesse” è stata prodotta con il sostegno della National Science Foundation e del Dipartimento dell’Energia degli Stati Uniti.