Stocastico di IA

Si è scritto che le intelligenze artificiali non sarebbero altro che “pappagalli stocastici”: macchine che compongono testi che sono dotati di senso solo in apparenza, non facendo altro che scegliere quel particolare output che ha la massima probabilità di corrispondere al risultato atteso. Ma se è così, allora non potremmo anche noi esseri umani essere pappagalli stocastici, solo più raffinati? Il criterio della macchina è pura sintesi delle esperienze precedenti (“pappagallo”) mentre noi temperiamo il livello empirico con considerazioni di merito o di valore, certamente. Si può replicare però che anche il nostro intelletto e la nostra coscienza sono sintesi di esperienze precedenti, e che apparentemente nulla ci impedisce di addestrare nella IA dei layer superiori che simulino “intelletto”, “coscienza” o altro, in base allo stesso schema iterativo.

Walter Quattrociocchi – accademico, professore di informatica alla Sapienza, scienziato cognitivo che dirige il Center for Data Science and Complexity for Society (CDCS) nella stessa università - ha espresso posizioni molto critiche sulla narrazioni del Large Language Models (LLM) intesi come replica di una mente, definendola l’inganno perfetto. Le intelligenze artificiali “scrivono benissimo, ma non sanno nulla”, ha scritto, poiché operano esclusivamente su base statistica, e non logica o conoscitiva. Quattrociocchi ha coniato - ed esteso nel dibattito pubblico - il termine Epistemia, inserito addirittura come neologismo dal Vocabolario Treccani, per rappresentare quella confortevole illusione di conoscenza generata dall'interazione con le IA generative. Poiché i chatbot producono testi fluidi, coerenti e sintatticamente impeccabili, l’utente matura la sensazione che l’IA abbia compreso un argomento, quando in realtà la macchina sta solo generando una risposta plausibile, fondata sulla probabilità statistica, senza alcun contatto con la realtà o verità dei fatti. L’IA non pensa, non formula ipotesi e non verifica dati. Di conseguenza, fenomeni come le allucinazioni, quando l’IA inventa fatti di sana pianta o disegna cose impossibili, non sono bug temporanei ma caratteristiche intrinseche, e inevitabili, del funzionamento di questi modelli matematici. Come ha scritto qualcuno, i LLM sono modelli statistici che producono linguaggio come pappagalli. Non posseggono “consapevolezza”.

A questi argomenti si obietta che la mente umana, su cui si modella la rete neurale, funziona nello stesso modo: la “consapevolezza” non è forse una illusione? Filosofi materialisti come Daniel Dennett hanno sostenuto che la coscienza sia, in un certo senso, un'illusione prodotta dal cervello.  In realtà, anche se le reti neurali artificiali sono nate prendendo ispirazione dal cervello umano, funzionano in un altro modo. Ottimizzano una funzione di costo (la backpropagation), cioè calcolano la probabilità statistica dell’output basandosi su schemi estratti da una mole enorme di testi esistenti. Non hanno un corpo, quindi non percepiscono il mondo, e non associano le parole a oggetti reali; mentre la mente umana lavora per modelli causali ed ha una intenzionalità: è orientata dalla volontà verso uno scopo. 

Qui si potrebbe obiettare che la IA non può vedere o toccare direttamente oggetti del mondo, per stabilire connessioni con elementi del linguaggio, solo perché non è dotata di organi di senso; ma questo è un limite che si può pensare di risolvere utilizzando dei sensori, e fornendo alla IA il segnale da questi generato. Non è un limite della IA, riguarda la sua dotazione di periferiche. Ma soprattutto: la funzione di costo ed il calcolo della probabilità non sono il modus operandi della IA nella sua inferenza, bensì del suo addestramento, simile a quel processo che la nostra mente fa nei primi anni di vita. Durante la fase operativa, la IA produce un output processando l’input tramite i suoi neuroni e pesi, proprio come fa una mente. Nella IA infatti c’è separazione rigida tra fase di addestramento e fase di inferenza. Durante l’addestramento i pesi sinaptici cambiano. Durante la fase operativa (l’interlocuzione con l’utente), i pesi dei neuroni sono completamente congelati. L’IA non impara nulla dalla conversazione in tempo reale; applica solo una matrice statica di calcoli matematici per produrre il suo output. Nel cervello umano questa distinzione non esiste. L’apprendimento e il processamento dell’input avvengono simultaneamente. Ogni singolo stimolo attiva la neuroplasticità: i collegamenti sinaptici si modificano, si rafforzano o si indeboliscono in tempo reale in base all’esperienza emotiva del momento. Il cervello umano è un sistema dinamico, in continua evoluzione, l’intelligenza artificiale è un modello statico pre-addestrato.

Ovviamente il fatto che i pesi dei neuroni siano congelati durante la fase operativa non è teoricamente necessario. Si può immaginare una IA che impara anche dalla conversazione in tempo reale. Tuttavia questa opzione è sconsigliata da enormi ostacoli, economici e ingegneristici. Il problema principale di natura ingegneristica è quello che chiamano “Oblio Catastrofico”: modificando i pesi di un modello per fargli imparare una cosa nuova c’è un elevato rischio che quella modifica sovrascriva e distrugga informazioni apprese in precedenza. Nel cervello umano abbiamo strutture come l’ippocampo che trattengono i ricordi a breve termine, e li consolidano lentamente nella corteccia durante il sonno, integrandoli senza distruggere il resto. L’IA non è ancora in grado di replicare questo meccanismo.
Oltre a ciò, ci sono considerazione economiche e di costo computazionale. L’addestramento richiede una quantità di energia e potenza di calcolo infinitamente superiore rispetto all’inferenza. Per aggiornare i pesi la LLM deve calcolare l’errore e viaggiare all’indietro nella rete (backpropagation).
Se milioni di utenti contemporaneamente costringessero i server a modificare i pesi a ogni messaggio inviato l’infrastruttura di OpenAI o Google collasserebbe in pochi minuti.
Infine c’è la vulnerabilità alla manipolazione. Se l’IA modificasse i suoi pesi in tempo reale in base all’interazione con gli utenti diventerebbe corruttibile: gruppi di malintenzionati potrebbero coordinarsi per "insegnare" all’IA falsità, teorie del complotto, balordaggini o istruzioni pericolose, modificando permanentemente il suo comportamento per tutti gli altri utenti del mondo. I proprietari di questi modelli vogliono ovviamente mantenere il controllo della loro creatura.
Quando abbiamo l’impressione che l’IA si ricordi ciò che abbiamo detto precedentemente non sta modificando i suoi pesi neurali, sta usando un trucco: La finestra di contesto, per cui ogni volta che riceve un nuovo messaggio prende l’intera cronologia della chat, la unisce al nuovo input e la invia da capo alla rete; oppure, quando questo non basta (nei modelli più potenti, di solito a pagamento), allocando i messaggi precedenti su un database esterno, per riprendere il discorso da dove si era interrotto. L’IA "ricorda" solo perché legge il passato a ogni turno.

C’è quindi questa differenza di fondo da considerare, riguardo al confronto IA - mente umana che si vuole imbastire. La IA è una struttura unica, in cui è stata eseguita una volta per tutte una procedura di addestramento che ha prodotto una matrice neuroni e pesi fatta e finita, uguale per milioni di utenti. Il singolo utente interroga la macchina senza modificarla. La mente umana, anzi una particolare mente umana, è invece una struttura vuota (o quasi-vuota) che si addestra da capo per ogni vita umana. Per fare il confronto si dovrebbe creare una "mini-IA" vuota o semi vuota, similmente alla mente di un bambino, collegarla a sensori capaci di simulare gli organi di senso del bambino, e di una funzione di addestramento continuo a lungo termine e di strutture in grado di trattenere i ricordi sul modello dell’ippocampo. Questa IA sarebbe il vero alter ego della mente, ed apparentemente ciò sembra essere alla portata della tecnologia attuale. Ma non è ancora esattamente così.

La ricerca sta lavorando per elaborare tecniche di Continual Learning, cercando di creare reti capaci di un addestramento dinamico locale che non distrugga la base di conoscenza generale. È l’approccio della cosiddetta Embodied AI. Molti laboratori di ricerca avanzati, tra cui team della New York University e di Stanford, stanno conducendo esperimenti basati su questa idea. Ad esempio, nel celebre studio "Child's View for Contrastive Learning", i ricercatori hanno fatto indossare una videocamera frontale a un neonato dai sei mesi ai due anni (il dataset BabyView), usando poi quei dati sensoriali grezzi per addestrare da zero una IA vuota. I risultati di questi esperimenti però, fino ad ora, sono stati deludenti. La mente del bambino è un miracolo di efficienza. Un bambino impara a riconoscere un gatto avendone visti forse tre o quattro in contesti diversi, toccandolo, sentendolo miagolare. Il suo cervello possiede "bias induttivi" biologici innati che gli permettono di fare balzi logici enormi con pochissimi dati. Le reti neurali attuali invece, anche se collegate a telecamere e sensori, sono estremamente “stupide“ nel modo in cui estraggono schemi. Senza miliardi di esempi una Embodied AI esposta solo alla vita di un singolo appartamento per due anni non impara a riconoscere il gatto dalla lavatrice. Semplicemente non ha abbastanza dati per stabilizzare i suoi pesi sinaptici.
Ma la tecnologia attuale mostra il suo limite più grande nella mancanza di un algoritmo capace di replicare memoria complementare umana. Il cervello umano usa l’ippocampo per registrare i ricordi immediati in modo rapido, per poi trasferirli e consolidarli nella corteccia cerebrale profonda, soprattutto durante il sonno, riorganizzando l’intera struttura cognitiva senza distruggere i ricordi passati. Nelle reti neurali artificiali, l’algoritmo di correzione dell'errore (backpropagation) non sa fare questo: se proviamo a fargli aggiornare i pesi continuamente a lungo termine, collassa nel già citato oblio catastrofico: il bambino artificiale dimentica come camminare perché ha appena imparato ad afferrare una tazza.

La via è ancora lunga. Anche se molti scienziati (tra cui Yann LeCun, capo della ricerca IA di Meta) ritengono che sia questa la strada per raggiungere una vera Intelligenza Artificiale Generale (AGI) e anche se le singole parti tecnologiche (sensori, reti neurali e memorie) esistono, l’algoritmo matematico capace di fonderli in un apprendimento continuo, rapido ed efficiente come quello del cervello umano non è ancora stato inventato.
Tuttavia è molto probabile che ci arriveremo, e che non ci vorrà neppure troppo tempo. Si è già da tempo cominciato, dunque, a dibattere delle numerose domande filosofiche che l’IA solleva. Tra queste ci sono questioni di filosofia morale, di filosofia politica e del diritto, perfino di antropologia e di estetica (cos’è l’arte? Un disegno fatto con AI può ancora essere un’opera d’arte?) ma la parte più interessante, per me, è quella epistemologica, la parte che riguarda la filosofia della mente.

La domanda di fondo riguarda la natura della coscienza: Se una macchina supera il Test di Turing e simula perfettamente sentimenti e ragionamenti, possiede una mente, oppure è solo un pappagallo stocastico? Questo riaccende il dibattito sul Funzionalismo (se si comporta come una mente, allora è una mente) contro l’argomento della Stanza Cinese di John Searle (manipolare simboli non significa comprenderne il significato).
L’argomento della Stanza Cinese è uno degli esperimenti mentali più famosi della filosofia moderna. Fu proposto dal filosofo americano John Searle nel 1980 per confutare l’idea che un computer correttamente programmato non si limiti a simulare una mente, ma sia effettivamente una mente, dotata di comprensione. L’esperimento è questo. Immaginiamo una stanza chiusa, in cui si trova un uomo che parla solo inglese, e non capisce assolutamente nulla di cinese. Dall’esterno, delle persone che parlano cinese infilano sotto la porta dei fogli con delle domande in caratteri cinesi. Dentro la stanza, l’uomo ha a disposizione un enorme libro di istruzioni, scritto nella sua lingua, che dice cose come: “Se vedi il simbolo 𝕏 seguito dal simbolo 𝕐, allora scrivi il simbolo ℤ”. Questo manuale descrive solo la forma dei simboli (sintassi), non il loro significato (semantica). L’uomo segue pedissequamente le regole, copia i caratteri corrispondenti su un foglio e passa le risposte sotto la porta. Fuori dalla stanza, gli interlocutori cinesi leggono le risposte, le trovano perfette, e concludono che la persona dentro la stanza capisce il cinese.  In realtà, quello non capisce una sola parola. Sta solo manipolando simboli in base alla loro forma.
Searle usa questo esperimento per affermare che la sitassi non equivale alla semantica. È esattamente il nostro problema, perché un LLM funziona proprio come l’uomo dentro la stanza. Esegue delle istruzioni e manipola codici che riceve in input, ma non ha alcuna consapevolezza o comprensione reale di ciò che sta elaborando. L’IA simula la comprensione, non la possiede. Come direbbe Walter Quattrociocchi, la macchina scrive benissimo, ma non sa nulla.
Alcuni scienziati cognitivi hanno provato a contestare Searle con l’Obiezione dei Sistemi (The Systems Reply), sostenendo che anche se l’uomo nella stanza non capisce il cinese, è l’intero sistema, uomo-stanza-manuale, a capire il cinese, nello stesso modo in cui un singolo neurone del cervello non capisce l’italiano, ma l’intero cervello sì. La comprensione è una proprietà emergente del sistema nel suo complesso. L’obiezione sembra potente, ma è facilmente respinta interiorizzando il sistema (come fece subito lo stesso Searle) ossia correggendo l’esperimento mentale facendo sì che l’uomo memorizzi l’intero manuale di istruzioni. Nella nuova versione, l’uomo impara a memoria tutte le regole di manipolazione dei simboli, fa tutti i calcoli e i passaggi logici a mente, infine si siede all’aperto, senza stanza, senza fogli e senza libri. A questo punto, l’uomo è il sistema. Non c’è nulla fuori di lui. Se qualcuno gli parla in cinese, processa i simboli nella sua mente secondo le regole memorizzate e risponde correttamente in cinese. Eppure, dice Searle, l’uomo continua a non capire un tubo di cinese. Non sa se la parola che ha appena pronunciato significhi “melanzana”, “tavolo” oppure “mal di denti”. La sua mente continua a fare pura sintassi, cioè manipolazione di simboli basata solo sulla forma, senza mai raggiungere la semantica, ossia la comprensione del significato.

Solo se quel sistema viene inserito in un robot (la Embodied AI), e il simbolo ’melanzana’  viene collegato al sensore ottico che vede una melanzana, può acquiisre un significato funzionale e causale. Solo in quel momento la sintassi  è anche semantica. Per poter parlare di semantica infatti, di significato, è necessario un collegamento tra elementi del linguaggio e oggetti del mondo, tramite i sensi o tramite l’esperienza.
Questa conclusione ci  conduce nel problema filosofico del significato, che ha impegnato i filosofi del linguaggio dalla fine dell’ottocento, quando Gottlob Frege pubblicò Senso e Denotazione, fino almeno agli anni ’60 del novecento, con la pubblicazione de “il problema del significato” di Willard Van Orman Quine.
Nella filosofia del linguaggio, fin dai tempi di Aristotele e poi con Frege e l’epistemologia moderna, il significato non è mai solo una relazione tra parole. Viene spesso rappresentato come un triangolo, i cui vertici sono il Simbolo (la parola scritta o pronunciata), il Concetto (l’immagine mentale o il pensiero) e il Referente (l’oggetto reale nel mondo fisico). I Large Language Models possiedono solo il primo vertice, collegano i simboli ad altri simboli. Manca loro il legame con il referente, attraverso l’esperienza.
E non solo. L’ultimo Wittgenstein, nelle Ricerche Filosofiche, aggiunge un tassello importante: collega il significato anche alla funzione sociale del linguaggio, perché il linguaggio è uno strumento di comunicazione intersoggettiva, quindi trae la sua ragion d’essere nella necessità di comunicare tra soggetti pensanti. Dunque è nella funzione comunicativa che si deve ricercare il significato degli elementi linguistici. Wittgenstein afferma che “il significato di una parola è il suo uso nel linguaggio”. Questo uso ovviamente non avviene nel vuoto, avviene all'interno di relazioni tra parlanti, in quelli che lui chiama “giochi linguistici”, eventi collegati con la vita umana e con il nostro agire nel mondo. Poiché l’IA non ha partecipa a una forma di vita, fisica e soprattutto sociale, il suo linguaggio è privo del significato, nel senso di Wittgenstein.

Infine, oltre al problema del Grounding dei simboli - formalizzato nei dettagli da Steven Harnad nel 1990 - ossia il loro radicamento nel mondo reale; e della necessità di un contesto sociale per conferire senso a un linguaggio, evidenziato da Wittgenstein, l’Epistemologia della IA incontra anche il ben noto limite dell’indeterminatezza della traduzione, evidenziato da Quine, nel suo saggio Parola e oggetto (1960). Quine immagina un linguista che studia una tribù sconosciuta. Un indigeno vede passare un coniglio ed esclama “Gavagai!”. Il linguista annota che Gavagai significa “coniglio”. Tuttavia, nota Quine, dal punto di vista puramente logico, Gavagai potrebbe significare molte altre cose. Chi ci garantisce che l’indigeno non si riferisca invece alla coda del coniglio, a una fase temporale del coniglio, o alla ’conigliezza’, o a qualcos’altro ancora? L’esperienza sensoriale non basta a fissare in modo univoco il significato di una parola. Abbiamo bisogno di un’intera struttura concettuale retrostante (quella che Quine chiama relatività ontologica).

Il problema non ha soluzione: ogni traduzione e ogni riferimento linguistico implica una ontologia condivisa, un’idea pre-esistente degli oggetti del mondo e delle loro essenze. Quine parla di “indeterminatezza della traduzione radicale”: non esiste un solo modo corretto per tradurre un termine da una lingua sconosciuta, perché il significato di un simbolo dipende dalla rete concettuale in cui questo è inserito.
E dunque non solo non si vede come un LLM possa dare un significato ai simboli restando chiuso dentro un dizionario: anche quando potesse uscire fuori dal dizionario interno, ed osservare il mondo reale, il legame tra la parola e l'oggetto resterebbe intrinsecamente misterioso. Non è sufficiente dotare il sistema di sensori: per raggiungere il significato, la IA avrebbe bisogno di bias cognitivi innati, di un'intenzionalità, e di un'esperienza biologica che la struttura dei pesi neurali non prevede. Il linguaggio umano non è una mappatura statica del mondo ma un sistema di classificazione flessibile che ha origine negli scopi della vita, fisica e sociale, degli esseri umani.