Il 23 gennaio 1913, davanti all’Accademia Imperiale delle Scienze di San Pietroburgo, un matematico di cinquantasei anni, celebre per il suo rigore e per il suo brutto carattere, presentò i risultati di un esperimento stravagante. Andrej Markov aveva preso le prime ventimila lettere dell’Evgenij Onegin di Puškin, ne aveva cancellato gli spazi e la punteggiatura e le aveva disposte in duecento griglie di dieci per dieci. Poi, contando a mano, determinò quante fossero vocali e quante consonanti, e quante volte una vocale seguisse un’altra vocale, una consonante un’altra consonante o le due si alternassero. Dietro quella fatica c’era una disputa parecchio meno letteraria. Il matematico Pavel Nekrasov aveva sostenuto che la legge dei grandi numeri, secondo la quale le frequenze tendono a stabilizzarsi quando il numero delle osservazioni cresce enormemente, richiedeva eventi indipendenti, ed era arrivato a legare quell’indipendenza al libero arbitrio. Markov sosteneva da anni che Nekrasov si sbagliava. Anche una sequenza di eventi dipendenti l’uno dall’altro può mostrare regolarità statistiche stabili. Puškin gli offriva un laboratorio perfetto, giacché ogni lettera cambia la probabilità di ciò che viene dopo e tuttavia, su migliaia di lettere, le frequenze si stabilizzano. Le catene di Markov nacquero in quel clima. L’intelligenza artificiale di oggi discende da quelle griglie scarabocchiate a San Pietroburgo, perché il compito del pre-addestramento dei modelli, semplice e misterioso a un tempo, è indovinare la parola che segue.
Il vocabolario dell’anticipazione può orientarci. Predire è, in generale, “dire prima”. Può implicare “indovinare” (divinare), cioè fare ciò che fa un dio, arrogandosi la conoscenza di ciò che viene. La divinazione ha versioni ispirate e altre quasi tecniche. L’augure romano che tracciava con il suo bastone un rettangolo nel cielo e leggeva l’avvenire nel modo in cui gli uccelli lo attraversavano usava la congettura, “gettare insieme”, come chi raccoglie i segni per interpretare che cosa segue in quell’insieme piuttosto caotico. Quando Cicerone scrisse il suo trattato contro la divinazione, salvò in parte questa variante che si limita a inferire frequenze a partire da segnali. Anche un modello linguistico “pre-dice”, senza accesso a ciò che viene né illuminazione divina, congetturando a partire da ciò che è stato gettato, vale a dire il contesto e il corpus, per scommettere sul simbolo successivo. Il modello è un augure statistico che guarda passare le parole come uccelli.
Trentotto anni dopo Markov, la scena si ripeté in una casa del New Jersey, questa volta come gioco del dopocena. Claude Shannon, che aveva appena fondato la teoria dell’informazione, voleva misurare quanta ridondanza abbia l’inglese, vale a dire quanto di un testo sia, per così dire, già detto dal testo precedente. Sua moglie diventò lo strumento di misura. Betty Shannon riceveva un passo di romanzo coperto e doveva indovinarlo lettera per lettera. Se indovinava, andavano avanti; se no, Claude le diceva la lettera e proseguivano. Contando quanti tentativi occorressero in ogni posizione, Shannon calcolò che l’inglese stampato porta circa un bit di informazione per lettera. Questo vuol dire che, in un alfabeto di ventisette simboli, la lettera successiva è talmente condizionata dalle precedenti che indovinarla è molto più facile di quanto sembri. La conclusione, pubblicata nel 1951 con il titolo “Predizione ed entropia dell’inglese stampato”, è il ponte fra Puškin e i chatbot. Predire un testo e comprimerlo sono la stessa operazione guardata da due lati, e il grado di predizione riuscita permette di misurare quanto si sa della lingua. Giocando dopo cena, Betty eseguiva a mano il lavoro che oggi fanno i data center.
F. Porter, The Living Room (1952)
Shannon aveva fatto, inoltre, l’esperimento inverso. Nel suo articolo fondativo del 1948 fabbricò serie di “approssimazioni all’inglese” generate scegliendo ogni simbolo secondo le statistiche del precedente. Prima lettere sciolte a caso, poi coppie, poi parole concatenate dalle loro frequenze. La serie parte da una zuppa tipografica e va ordinandosi. Nell’approssimazione per coppie di parole compaiono frasi come “the head and in frontal attack on an english writer that the character of this point is therefore another method”, che non dicono nulla eppure suonano come inglese, come una radio mal sintonizzata in cui riusciamo più o meno a riconoscere una lingua ma non il messaggio. Nel 1948 Shannon generava testo con una catena di Markov. Fra quella radio mal sintonizzata e la prosa di un chatbot ci sono settant’anni di miglioramenti.
Per addestrare una macchina servono esempi corretti. Foto di cani etichettate “cane” da qualcuno, radiografie annotate da medici, traduzioni validate da traduttori e testi che un parlante nativo conferma che suonano bene. Questa etichettatura umana è lenta e costosa. La predizione della parola successiva, però, aggira il problema, perché il testo porta con sé il proprio foglio delle risposte. Presa una frase scritta qualunque, per esempio “Il gatto è salito sul tetto”, si copre l’ultima parola, si chiede al modello la sua congettura e la correzione sta nella parola coperta, senza che nessuno debba annotare nulla. Questo procedimento si chiama autosupervisione e trasforma il corpus di migliaia di miliardi di parole in un gigantesco quaderno di esercizi. In un certo senso, l’addestramento, con il suo coprire, congetturare, confrontare e aggiustare i pesi una volta dopo l’altra, sembra monotono, ma non lo è poi tanto. Per completare “il gatto è salito sul...” basta una statistica di vicinato per scegliere fra tetto, albero e poltrona, ma nel completare “la capitale dell’Argentina è...” c’è un riferimento al mondo, nel completare “centodiciassette per tre fa...” bisogna calcolare, e chiudere la frase finale di un romanzo poliziesco, sul modello di “l’assassino è...”, richiede di aver seguito alibi e moventi, vale a dire di aver davvero letto.
Il compito in apparenza umile di predire bene la parola successiva di qualsiasi testo possibile esigerebbe di modellare ciò di cui i testi parlano, grammatica, fatti, regolarità del ragionamento, stili e un lungo eccetera compresi, se il modello deve migliorare nell’indovinello. Il fronte opposto è scettico. E se fossero soltanto pappagalli stocastici, cioè proferissero cose a caso? Combinare pezzi secondo probabilità, in fin dei conti, non è comprendere. La discussione resta aperta perché tocca questioni che discutiamo da sempre senza consenso. Che cos’è la comprensione? Può darsi senza corpo, senza mondo e senza intenzione comunicativa? Ce ne occuperemo, ma per ora limitiamoci a registrare la tensione fra la predizione come una forma di comprensione e come imitazione la cui fluidità simula quella comprensione. È un problema antichissimo e, nel frattempo, il modello continua a migliorare la sua congettura sulla parola che viene.
Quando il modello finisce di addestrarsi, la predizione diventa generazione. Invece di congetturare soltanto la parola successiva, la scrive e la incorpora come parte del contesto da cui si congettura la seguente. Parola dopo parola, la profezia si autoalimenta. Nel gergo tecnico si chiama autoregressione, ma non è lontana dai giochi delle avanguardie surrealiste. Nel 1925, in una casa di rue du Château a Parigi, un gruppo variopinto in cui c’erano Breton, Prévert e Tanguy scriveva frasi a catena. Ciascuno annotava la sua parte vedendo appena la fine della precedente, piegava il foglio e lo passava. La prima frase divenne il nome del gioco che frugava nell’inconscio collettivo: “Il cadavere squisito berrà il vino nuovo”. Lo stesso meccanismo di continuare ciò che si è appena intravisto intrattiene un giocatore solitario che si passa il foglio da solo a enorme velocità. Se il sacco di Tzara somiglia alla macchina senza ordine, il cadavere squisito è la macchina in funzione, una scrittura in cui ogni passo congettura a partire da ciò che riesce a vedere e tuttavia ne esce prosa con senso e codice che compila. Il modello scrive in avanti e senza brutta copia, congetturando parola dopo parola, legato dalle precedenti, come un improvvisatore incatenato che comincia una frase lunga ad alta voce e può soltanto andare avanti.
Fra tutte le definizioni di intelligenza tentate dalla filosofia e dalla scienza, molte elucubrano sul risolvere problemi, adattarsi, astrarre o creare, ma nessuna ha menzionato l’indovinare la parola successiva. Quello era al più un gioco di società da moglie paziente dopo cena o da matematico testardo, e si è rivelato la chiave. Era addestrabile, con risposte gratis in quantità infinita e la possibilità di assorbire tutto ciò che, oltre a questo, vive in un testo. È molto curioso che Markov contasse vocali per vincere una disputa sul libero arbitrio e che, un secolo dopo, i nipoti delle sue catene discutano di libero arbitrio con chiunque voglia farlo.
Mentre l’ingegneria scopriva quanto renda la congettura, una corrente influente delle neuroscienze veniva proponendo che il cervello umano sia, anch’esso e prima di tutto, una macchina di predizione: un organo che anticipa senza sosta il segnale successivo. La prossima sillaba dell’interlocutore, il prossimo gradino della scala, non implicano forse imparare la differenza fra l’atteso e l’arrivato? L’ipotesi dell’elaborazione predittiva, che Andy Clark ha riassunto in un titolo perfetto, Surfing Uncertainty, è discutibile, ma invita a pensare che cosa ci sia dietro l’anticipazione come meccanismo associato all’intelligenza.