La controversa ricerca sull'interpretabilità dell'IA attira l'attenzione di Sam Altman

By: finance.sina.com.cn|

Negli ultimi mesi, OpenAI ha avviato trattative con la startup di IA Goodfire riguardo a potenziali acquisizioni o collaborazioni (io e i miei colleghi abbiamo pubblicato questa mattina un rapporto secondo cui OpenAI ha considerato di acquisire questa startup che analizza il "modo di pensare" dell'IA per oltre 5 miliardi di dollari). Durante le trattative, il CEO di OpenAI, Sam Altman, ha mostrato particolare interesse per la ricerca di Nick Kamarata. Kamarata, ex dipendente di OpenAI e attualmente in Goodfire, ha recentemente proposto nuove idee su come l'intelligenza artificiale pensa, suscitando un grande dibattito nel settore.

Il mese scorso, Kamarata ha pubblicato un articolo e la scorsa settimana ha rilasciato un rapporto di follow-up, scatenando un acceso dibattito tra i ricercatori di IA. Alcuni lodano il risultato come una potenziale grande svolta nella comprensione dei modelli di IA; altri lo considerano solo una trovata pubblicitaria. Questa reazione polarizzata indica che alcune aree della ricerca sull'IA sono ancora immature, con i ricercatori che non riescono nemmeno a concordare su cosa costituisca una ricerca di alta qualità. Tuttavia, anche se la tecnologia non è ancora stata convalidata, le startup correlate riescono comunque a ottenere valutazioni di miliardi di dollari.

La ricerca principale di Goodfire è l'interpretabilità meccanica, comunemente abbreviata in "mech interp". Questo campo mira a comprendere i meccanismi interni di funzionamento dei modelli di IA, e non solo a osservare il loro comportamento esteriore. I modelli di IA sono composti da trilioni di valori, simili a una "scatola nera", e non possono essere letti direttamente come il codice software tradizionale. Questo rende difficile prevedere quali comportamenti adotterà l'IA in scenari completamente nuovi e rende complicato risalire alle cause in caso di errori.

Il titolo dell'articolo di Kamarata è "Le reti neurali sono già leggibili", e nel documento propone l'idea che i neuroni artificiali nei modelli di IA (funzioni matematiche costruite su enormi quantità di dati) siano in realtà più facili da interpretare di quanto i ricercatori non avessero precedentemente pensato. Secondo questa logica, startup come Goodfire, dedicate all'analisi della logica interna dell'IA, hanno prospettive più ottimistiche.

Ad esempio, già nel 2017, i ricercatori di interpretabilità meccanica avevano scoperto un neurone speciale in un modello di IA per immagini: indipendentemente dall'immagine di un'auto o di un gatto inserita, quel neurone si attivava. Molti neuroni mostrano questo fenomeno, gestendo simultaneamente compiti apparentemente non correlati, il che ha creato notevoli difficoltà per i ricercatori. Infatti, nel 2023, quando Kamarata lavorava ancora in OpenAI, tentò di analizzare i neuroni di GPT-2 utilizzando GPT-4, scoprendo che solo il 1,7% dei neuroni poteva essere interpretato.

Tuttavia, Kamarata crede che, grazie ai progressi nelle tecniche di addestramento dei modelli e nei metodi di analisi, la situazione non sia più senza speranza. Prendendo come esempio Qwen3-32B di Alibaba, circa il 90% dei neuroni svolge una sola funzione, rendendoli interpretabili. Dopo aver riesaminato quel neurone classico che rispondeva sia ai gatti che alle auto, ha scoperto che il volto del gatto e il muso dell'auto presentano entrambi un profilo a V simile, che è la vera caratteristica che attiva quel neurone. {#quote_BABA}

"A mio avviso, la storia nel campo dell'interpretabilità è in gran parte: ciò che osserviamo al microscopio è molto migliore di quanto ci aspettassimo", ha scritto. "Solo che il microscopio stesso non è stato calibrato correttamente, e i luoghi che necessitano di aggiustamenti sono spesso molto sottili."

Molti dei principali ricercatori nel campo dell'interpretabilità meccanica non concordano con le conclusioni dell'articolo di Kamarata. Hanno affermato che la direzione della ricerca è preziosa, ma l'articolo esagera il significato dei risultati.

Neil Nanda, responsabile dell'interpretabilità meccanica di Google DeepMind, ha dichiarato sui social media: "Questo lavoro è interessante, ma non credo che porti a un aggiornamento significativo dell'intero quadro dell'interpretabilità." Nanda ha scritto che l'articolo sovrastima il livello di comprensione umana dei neuroni; anche se tutti i neuroni potessero essere letti, il meccanismo di funzionamento del modello lascerebbe comunque molte domande irrisolte. {#quote_GOOG}

Anche il ricercatore di OpenAI Leo Gao ha partecipato alla discussione, pubblicando un articolo di confutazione intitolato "Le reti neurali non sono già leggibili". Ha proposto: "Questo articolo è ben lontano dal dimostrare che abbiamo compreso la maggior parte dei comportamenti dei neuroni; questi risultati non possono rappresentare la risoluzione del problema dell'interpretabilità, né indicare che questo lavoro sia molto più semplice di quanto si pensasse in passato."

Lif Gordon, che ha lavorato in Goodfire e ora è impiegato in Anthropic, ha replicato alcuni degli esperimenti di Kamarata, ottenendo risultati diversi. Ha anche sottolineato: i volti dei gatti non sono tutti a V, e quel neurone non risponde a molti oggetti a forma di V (come i becchi degli uccelli).

Di fronte a valutazioni contrastanti, Kamarata rimane ottimista. Ha scritto sui social media riguardo all'interpretabilità dell'IA: "Credo che questo problema possa essere risolto. Che le soluzioni semplici esistano già, o che le soluzioni attuali siano generalmente praticabili ma necessitino di nuovi strumenti, o che abbiamo bisogno di nuove idee dirompenti, alla fine troveremo la risposta."

Prezzo di --

--
--
--

Questo contenuto è fornito a solo scopo informativo generale e non costituisce consulenza finanziaria, di investimento, legale o fiscale. Qualsiasi evento, ricompensa, promozione online o informazione correlata menzionata nel presente documento non deve essere considerata una raccomandazione, una sollecitazione o un invito ad acquistare, vendere, fare trading o altrimenti negoziare criptovalute. Le criptovalute sono altamente volatili e possono comportare perdite. La disponibilità dei servizi, dei prodotti e degli eventi correlati di WEEX può variare a seconda della regione. È tua responsabilità assicurarti che la tua partecipazione sia conforme alle leggi e ai regolamenti locali applicabili.

Potrebbe interessarti anche

iconiconiconiconiconiconiconicon
Assistenza clienti:@weikecs
Cooperazione aziendale:@weikecs
Trading quantitativo e MM:bd@weex.com
Programma VIP:support@weex.com