Corrispondenza tra due amici nel XXI secolo/3

... Su come funziona l'Intelligenza artificiale

a cura di Sergio Cipri e Pietro Terna

Cari lettori, è tempo di iniziare - finalmente!, direte voi - a guardare dentro alla scatola nera. Come funziona un LLM (Large Language Model) che sta alla base della Intelligenza Artificiale Generativa? Ma è vero che quei testi che sembrano scritti da un esperto umano sono il risultato meccanico di un processo che aggiunge la parola più probabile a quella precedente? Tutto qui? Ma allora come ha fatto il nostro Chiacchierone a produrre, a una domanda pericolosamente rischiosa, una risposta così elegante e inattesa? Gli LLM utilizzano reti neurali: che cosa sono? Tentiamo una analogia con il nostro cervello composto da quasi 100 miliardi di neuroni. Un sistema totalmente meccanico, che impara e ha prodotto, ad esempio, la Nona Sinfonia. Anche le reti neurali imparano: possiamo parlare di intelligenza? Dopo le macchine che hanno sostituito la forza fisica, i computer che hanno incorporato le competenze operative, l’Intelligenza Artificiale sfida le competenze di alto livello. Sarà la fine del lavoro, già ipotizzata nel passato da David Ricardo, Karl Marx, e recentemente dall’Economist? Tutto questo e anche altro nella terza puntata. Buona lettura!

La Porta di Vetro

Conversazione del 23.2.2024 ore 12:30

Caro Sergio,

concordo che siamo ancora lontanissimi dalla coscienza di sé, che è qualcosa di molto diverso dalla comparsa di barlumi di intelligenza. Credo che per procedere occorra cercare di ben comprendere come funzionano gli LLM che sorreggono ChatGPT e i suoi cugini. Un Large Language Model, ultra-sintetizzando, è una grande rete neurale artificiale che contiene miliardi di connessioni tra parole in tantissime lingue diverse. Per essere più precisi, non parole ma token, piccole unità che possono essere più facilmente comprese da un modello linguistico. Ad esempio “il più alto” produce tre token e lo stesso fa “the highest” le cui due parole producono tre token: “the, high, est”. Il metodo di costruzione dei token può cambiare i risultati dei modelli ed è un campo di ricerca aperto.

Quando noi interroghiamo uno di quei modelli, ad esempio collegandoci a ChatGPT, la frase che scriviamo viene scomposta nei suoi token, ognuno identificato da un 1 nella posizione giusta in un vettore con decine di migliaia di posizioni, ad esempio ho letto 70mila, una per ogni possibile token in tante, tantissime lingue. La sequenza di quei vettori è l’input della rete neurale artificiale di cui dicevo, rete che produrrà come output un ventaglio di successivi potenziali token con cui proseguire. Se ad esempio si sceglie quello indicato come più probabile, quest’ultimo si aggiunge a quelli già in input per produrre una nuova frase che diventerà un nuovo input per produrre il prossimo token

Pausa: ma come funziona una rete neurale artificiale? Devo a un matematico americano, David Mitzman, che lavorava a Padova oltre 40 anni fa, una illuminante conversazione. Mi disse che per spiegare le reti neurali occorre innanzitutto chiarire che operano in modo parallelo, subsimbolico e autorganizzante.

Parallelo: le operazioni non devono avvenire una alla volta, in sequenza, come in un normale computer, ma possono procedere anche indipendentemente una dall’altra, operando singolarmente tra nodo e nodo (neuroni, nel cervello); allora, 30 anni fa, lo strumento di calcolo nei computer era per lo più uno solo, ma i super computer esistevano già e abbastanza presto si comprese che l’unico modo per renderli realmente veloci era il calcolo parallelo; il nostro cervello opera certamente in parallelo; ora persino in un computer portatile può esserci un coprocessore neurale dedicato a quel tipo di operazioni. (ti ricordi quando si pagava a parte il coprocessore matematico per accelerare i calcoli con i decimali? Ora siamo al calcolo neuronale e programmi come https://pytorch.org ne fanno uso diretto).

Subsimbolico: prima ho scritto che la rete neurale che regge un LLM contiene miliardi di connessioni tra parole, ma in realtà sono connessioni tra elementi parzialissimi, subsimbolici, lontani da significati espliciti, come accade nel nostro cervello dove non c’è il neurone del gatto e quello del miao, ma il concetto di gatto emerge dall’azione di più neuroni stimolati da input sensibili o da altre fasi del nostro pensiero e allo stesso modo emerge quale sia il verso del gatto.

Autorganizzante: come si creano quelle connessioni? La risposta è che si autorganizzano a prove ed errori, a tentativi, come fa il piccolino di ogni specie animale quando si avvicina al mondo e intanto impara a connettere immagini, suoni e poi concetti. Nelle reti neurali artificiali l’autorganizzazione è straordinariamente accelerata da meccanismi matematici che propagano in tutte le connessioni gli errori che si misurano tra output della rete e i risultati presenti negli esempi utilizzati per l’apprendimento, determinando le correzioni delle sinapsi artificiali o parametri della rete (forse qualche cosa di simile esiste anche nel nostro cervello). Gli esempi, nel nostro caso, sono le sequenze di token viste “leggendo” miliardi di pagine di testo.

È qui che arriva l’intelligenza o qualche barlume di essa. La rete non sta imparando a memoria le sequenze, ma sta registrando i collegamenti, le connessioni, tra grappoli di migliaia o milioni di neuroni artificiali attivati per effetto delle sequenze che impara; quei “grappoli” o grappoli molto simili possono entrare in gioco in situazioni diverse, generando risposte che non si capisce da dove scaturiscono.

Persino Geoffrey Hinton, grande studioso delle reti neurali artificiali, che in un articolo del 2015 su Nature sottolineava con implicito orgoglio che è grazie al deep learning neurale che i sistemi AI finalmente funzionano, ora è sorpreso che funzionino così bene. Lo si può sentire direttamente dalla sua voce in questo dialogo con il bravissimo Andrew Ng, grande studioso e docente.

Ascolta https://twitter.com/AndrewYNg/status/1667920020587020290, in particolare dal minuto 4:30 sino al – per me – cruciale "at least I believe that is understanding".

Non basta? Si può leggere il difficile articolo di Stephen Wolfram – colui che cambiò il modo di fare calcolo presentando il software Mathematica nel 1988 – reperibile a https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/ oppure, se si è capaci a programmare, si può giocare con le indicazioni che stanno in https://towardsdatascience.com/gpt-model-how-does-it-work-74bbcc2e97d1. Ma serve capire, almeno in superficie, come funzionano questi meccanismi? Secondo me sì, non solo per usarli, ma anche per congetturare quale possa essere il loro peso futuro nella società e nell’economia.

Come reagisci?

25.02.24 h. 15.30

Caro Pietro,

Ho apprezzato, come sempre, la tua capacità di rendere comprensibili concetti complessi (diciamo pure complicati). Il mio apprezzamento è ancora più forte essendomi addentrato nel lungo e tecnico articolo di Stephen Wolfram. Ma temo che il tuo sforzo per la comprensione dei fondamenti dell’IA sia ancora lontano dalla possibilità di un lettore con cultura umanistica, sul quale però questa conversazione si propone di eccitare la curiosità e la voglia di approfondire. Provo a dare il mio contributo.

 

La caratteristica fondamentale di una rete neurale è la capacità di autorganizzazione (le altre due citate si riferiscono all’efficienza del sistema). Per cercare di capire usiamo una rappresentazione estremamente semplificata del funzionamento del neurone, componente base del nostro cervello. I neuroni (le stime sul loro numero variano fra gli 80 e i 100 miliardi!) sono sostanzialmente degli interruttori elettrici, collegati in una rete complessa da sinapsi (i cavi). Il neurone apre l’interruttore in uscita quando riceve in entrata un numero sufficiente di segnali dai neuroni ai quali è collegato. Questo meccanismo garantisce che il circuito si apra solo quando l’informazione è sufficientemente confermata. Informazioni deboli non si propagano: questo, in modo estremamente rozzo, è il significato di autorganizzazione. Il neurone, quindi, non “pensa” e neppure “sceglie” ma opera in modo meccanico e del tutto inconsapevole. Eppure, l’interazione di miliardi di questi interruttori “stupidi” ha prodotto la Divina Commedia oppure la Nona Sinfonia. Questa osservazione è stata, almeno per me, la chiave interpretativa che mi ha consentito di accettare l’idea che una rete neurale totalmente meccanica possa produrre un risultato come quelli che stiamo, con un certo stupore, vedendo.

Se ho capito bene, quando formulo una richiesta a ChatGPT, il mio testo viene scomposto in token (componenti di parole) che diventano l’input di una rete neurale contenente milioni o miliardi di token in connessione fra loro come un insieme di neuroni. La rete genera in uscita frasi di testo su base probabilistica. Queste frasi vengono re-immesse nella rete, scomposte a loro volta in token, in modo da generare nuove frasi coerenti con l’input…

 

La rete neurale deve essere “addestrata”, e qui torna utile l’analogia con il nostro cervello. Quando compiamo un’azione che non ottiene il risultato desiderato ci chiediamo: dove ho sbagliato? Ripercorrendo all’indietro la sequenza delle decisioni che hanno portato all’errore impariamo (non sempre!) a non ripeterlo. Chiamiamo questo processo esperienza. Nella rete neurale artificiale, composta da un numero elevato di brandelli di parole (token), viene immessa una frase incompleta dal contenuto noto. La rete sbaglia nel compito di completarla correttamente. L’errore viene propagato all’indietro e modifica i pesi dei singoli token in un processo ricorsivo fino al risultato corretto. Lo stesso processo viene poi applicato immettendo le nostre domande per ottenere una risposta con la più alta probabilità di essere corretta. Relativamente alla scelta probabilistica mi ha colpito e incuriosito il concetto di “temperatura” nell’articolo di Stephen Wolfram: se la parola successiva ad una parola data viene associata scegliendo, sulla base di analisi di milioni di testi, quella con la più alta probabilità, il risultato sarà un testo “piatto”. La risposta ad una domanda sarà l’ovvio, scarsamente interessante e stimolante. Se invece si introduce casualmente, dopo un certo numero di iterazioni, la scelta di una parola statisticamente meno probabile, la propagazione delle frasi successive diventa meno prevedibile e quindi più stimolante. Stephen Wolfram chiama “temperatura” il parametro casuale utilizzato. Dunque, soprattutto in questo caso, come si garantisce la coerenza della risposta? E cosa potrebbe succedere se si lasciasse a ChatGPT la scelta di questo parametro, magari guidata dall’analisi della domanda posta? Ma, in ogni caso, visto che la risposta si costruisce con una elaborazione progressiva in un ciclo ricorsivo, quando il processo si arresta?

 

Decidi tu quando sarà il momento di chiederci come l’IA avrà impatto sul mercato del lavoro, cancellando e creando nuove professioni.

26.2.24 h. 23:10

Caro Sergio,

Allora: come fa il Chiacchierone a fermarsi... Bel problema. Direi simile a quello che tocca a noi quando incontriamo un chiacchierone irrefrenabile e non sappiamo come fermarlo. Implicitamente speriamo che nel suo discorrere emergano dei segnali che dicano a lui stesso che sta concludendo. Nelle sequenze su cui un LLM impara c’è una fine e può anche essere rappresentata da un segno che significa stop, ma trovo molto difficile che funzioni sensatamente sempre. Farò un esempio secondo me semplice e uno, sempre secondo me, assai difficile.

Ho chiesto a ChatGPT: “Sei uno studioso di geometria, elencami tutte le figure geometriche che conosci” Ha risposto che la geometria è un vasto campo di studio che comprende una molteplicità di figure, sia in due dimensioni (piane) sia in tre dimensioni (solide). Per le piane ha indicato: Cerchio: una figura piana delimitata da una curva chiusa (la circonferenza) tale che tutti i punti sulla curva sono equidistanti da un punto centrale. Triangolo: una figura con tre lati e tre angoli. I triangoli possono essere classificati in base alla lunghezza dei loro lati (isoscele, equilatero, scaleno) o agli angoli interni (ottuso, acuto, retto). Quadrato: un poligono con quattro lati uguali e quattro angoli retti. Così è andato avanti con tredici casi in totale, ultimo l’ellisse. Poi è passato alle tre dimensioni, iniziando con la sfera e indicando dieci figure, ultimo l’icosaedro. Si è fermato? No, ha “pescato” ancora materiale per costruire il capoverso:

Questa lista non è esaustiva, poiché esistono molte altre figure geometriche, specialmente quando si considerano variazioni e generalizzazioni come i poligoni con un numero maggiore di lati o i poliedri non regolari. La geometria è un campo in continua espansione con nuove figure e concetti che vengono scoperti e definiti regolarmente.

Mi pare che l’esempio sia tutto sommato semplice, perché l’insieme di riferimento è ben definito e delimitato. Complicato però ben comprendere origine e conclusione dell’ultima considerazione, sempre ricordando che la macchina si limita a pescare la prossima parola più probabile e poi ha pescato uno stop. E se invece gli chiedessi di indicare i numeri interi di decina in decina? È una richiesta che nelle elementari mi gettava nel panico: “saprò andare avanti”? Ho chiesto "Sei compente in aritmetica. Indica i numeri interi da 0 in poi, decina dopo decina. La sfida implicita era: riuscirai a fermarti? Mi ha lasciato secco:

Certo, ecco i numeri interi da 0 in poi, elencati decina dopo decina:

0, 1, 2, 3, 4, 5, 6, 7, 8, 9

10, 11, 12, 13, 14, 15, 16, 17, 18, 19

20, 21, 22, 23, 24, 25, 26, 27, 28, 29

30, 31, 32, 33, 34, 35, 36, 37, 38, 39

40, 41, 42, 43, 44, 45, 46, 47, 48, 49

50, 51, 52, 53, 54, 55, 56, 57, 58, 59

60, 61, 62, 63, 64, 65, 66, 67, 68, 69

70, 71, 72, 73, 74, 75, 76, 77, 78, 79

80, 81, 82, 83, 84, 85, 86, 87, 88, 89

90, 91, 92, 93, 94, 95, 96, 97, 98, 99

E così via, aumentando di 10 ogni volta per iniziare la nuova decina.

Ecco il passaggio sorprendente! Come ha fatto a decidere di produrre “E così via…”, tra l’altro in un punto così elegante? Devo pensarci su un po’. Che sia nato un nuovo mestiere? Capire come si formano le risposte di un LLM, ChatGPT nel nostro caso.

Seriamente: nuovi mestieri e vecchi mestieri, che cosa capita nelle transizioni? Da David Ricardo, inizio ‘700; a Karl Marx, metà ‘800; alle profezie diffuse poco prima della grande crisi del ’29 a quelle recenti dell’Economist prima della pandemia Covid, in tanti hanno ragionato sulla fine del lavoro. Questa è davvero la volta giusta? Proviamo a discuterne, ricordando che nel mondo ci sono miliardi di persone che hanno ancora bisogno di tutto e decine di guerre che non fanno altro che distruggere tutto.

Proviamo?

A presto, Pietro

(Continua/3)