Per addestrare GPT-3, OpenAI mise insieme quarantacinque terabyte di Common Crawl, un crawl gigantesco del web. Dopo averlo filtrato e ripulito ne restarono circa cinquecentosettanta gigabyte, equivalenti a circa quattrocentodieci miliardi di token. A quel blocco si aggiunsero WebText2, due grandi collezioni di libri e la Wikipedia in inglese, fino a riunire circa cinquecento miliardi di token. Durante l’addestramento, il modello elaborò circa trecento miliardi di token presi da quella mescolanza. Corpus successivi moltiplicarono quella scala per cinquanta, in una quantità di testo impossibile da immaginare in termini umani, più di quanto potrebbe leggere qualcuno che cominciasse oggi e restasse sveglio per parecchie vite di seguito.
Nessun essere umano, e nemmeno una squadra di esseri umani, per grande che fosse, ha percorso per intero il materiale con cui si educa un modello linguistico. Né ci furono mai collezioni di parole così scrutate, contate, filtrate e ponderate, anche se nemmeno possiamo dire, in senso stretto, che qualcuno le abbia lette.
Nell’intelligenza artificiale, un corpus è una collezione delimitata di testi convertiti in dati di addestramento, e a questo scopo è stata ripulita, segmentata, mescolata con altre fonti e presentata al modello come l’esperienza linguistica da cui apprendere regolarità. A rigore, conta che cosa contiene e anche che cosa è rimasto fuori, come lo si è diviso, quante volte lo si è mostrato e con quale peso è entrata ciascuna fonte, vale a dire come si è formato il corpus, che è il nome di quella collezione. Dal latino passò alle lingue romanze con il senso di corpo vivo e, come corpse, “cadavere”, all’inglese. Lo troviamo in “corporazione”, che è un corpo fatto di persone, nell’habeas corpus del diritto, letteralmente “che tu abbia il corpo”, l’ordine che esige di presentare il corpo del detenuto davanti al giudice, in corpus delicti, il corpo del reato, e anche nel corpus mysticum dei teologi. In tutti i casi ha parti e forma un’unità che si può toccare, contare e a volte fare a pezzi.
Il termine si usa inoltre da secoli per designare l’insieme completo delle opere di un autore, di una tradizione o di una lingua, purché si delimiti un’unità formata da parti. Abbiamo così il corpus di Aristotele o il corpus del diritto romano che Giustiniano fece compilare. Quando la linguistica prese una piega più empirica, corpus fu il nome dato a un campione di lingua reale preparato per l’analisi. Uno dei primi grandi corpus leggibili da un computer fu allestito nel 1961, all’Università Brown, e per questo si chiama Corpus di Brown. I linguisti Henry Kučera e W. Nelson Francis lo progettarono con somma attenzione all’equilibrio, disponendovi poco più di un milione di parole di prosa stampata negli Stati Uniti quell’anno, ripartite in cinquecento campioni di circa duemila parole ciascuno. Lo equilibrarono con cura fra quindici generi che andavano dal reportage al romanzo rosa e al saggio religioso. Scelsero ogni frammento a mano, catalogandolo e definendone il posto nel tutto, fino a formare un corpo piccolo, bilanciato e ancora interamente ispezionabile dai suoi costruttori.
Dal milione di parole selezionate con cura ossessiva ai quindicimila miliardi che oggi si vanno a stanare nel web c’è un salto evidente di dimensioni, ma anche un cambiamento di logica. Il Corpus di Brown fu costruito come un campione piccolo, equilibrato e leggibile da esseri umani; i corpus dei modelli linguistici si allestiscono a partire da crawl massicci, filtri automatici e decisioni statistiche su che cosa conservare, ripetere o scartare. La parola corpus è rimasta lì, ma è passata dal designare una collezione curata al designare un corpo industriale, troppo grande per essere visto per intero.
Racconta il mito egizio che Osiride regnava con giustizia finché suo fratello Set, il Tifone della mitologia greca, non lo assassinò per invidia, ingannandolo perché entrasse in una cassa che sigillò e gettò nel Nilo. Iside, sorella e sposa di Osiride, recuperò il corpo, ma Set se ne impadronì di nuovo e questa volta lo fece a pezzi, quattordici, che sparse per tutto l’Egitto perché non potesse riunirlo. Racconta Plutarco che Iside percorse il paese intero raccogliendo i pezzi uno per uno e li cucì per restituire al corpo un soffio di vita. Li trovò tutti tranne uno, il fallo, che sparì mangiato da un pesce. Al suo posto Iside modellò una protesi per completare ciò che mancava.
Stranamente, questo racconto delle sabbie d’Egitto narra anche la storia di un corpus di addestramento. La scrittura umana se ne va fatta a pezzi e sparsa per tutto il web. Un paragrafo qui, un commento là, mezza enciclopedia su un server, un manuale di riparazioni su un altro, forum, ricette, sentenze giudiziarie, poesie, insulti, documentazione tecnica, qualunque cosa abbiamo voluto scrivere. I crawler che alimentano un modello svolgono il compito di Iside: percorrono quel territorio immenso, raccolgono i pezzi dove sono caduti e li cuciono in un solo corpo, dal quale uscirà poi una voce. Come nel caso di Osiride, manca sempre un pezzo, perché è rimasto fuori dal filtro, perché non è mai stato digitalizzato o perché non è mai stato scritto. Allora compare la protesi: testo fabbricato per colmare il vuoto. Il corpo della macchina è un Osiride ricomposto.
Rilievo del tempio di Seti I ad Abydos, Egitto, XIII secolo a. C. Fotografia: Kyera Giannini / Institute for the Study of the Ancient World (ISAW)
Di che cosa è fatto quel corpo? Non è semplicemente internet, e nemmeno il web intero, ma una pila di fonti diverse che si selezionano, si ripuliscono e si mescolano. Alla base c’è di solito Common Crawl, un archivio che una fondazione senza scopo di lucro va prelevando dal web aperto dal 2008 e che accumula petabyte di pagine. Su quella base si aggiungono fonti scelte per il loro valore, come la Wikipedia, grandi collezioni di libri, codice di repository come GitHub, domande e risposte di forum come Reddit o Stack Exchange, articoli scientifici di arXiv o PubMed, testi giuridici, manuali e documentazione tecnica. Quando queste mescolanze vengono impacchettate e pubblicate, ricevono un nome proprio. The Pile, che il collettivo EleutherAI allestì nel 2020, riunisce ottocentoventicinque gigabyte in ventidue fonti diverse, dagli articoli di medicina ai sottotitoli di film e ai testi giuridici. C4, preparato da Google nel 2019 per addestrare il suo modello T5, è una versione ripulita di Common Crawl. Dolma, dell’Allen Institute, si aggira sui tremila miliardi di token. FineWeb, pubblicato da Hugging Face nel 2024, arriva a quindicimila miliardi tratti da novantasei crawl successivi del web.
Questa materia è lavorata con somma cura. I filtri di C4 potano le righe povere conservando solo quelle che terminano con un segno d’interpunzione, lasciano fuori quelle con meno di tre parole e scartano i documenti che non arrivano a cinque frasi. Eliminano anche le pagine con testo di riempimento come “lorem ipsum”, con parentesi graffe di programmazione o con termini della celebre List of Dirty, Naughty, Obscene, and Otherwise Bad Words, il repository di Shutterstock per evitare parole indesiderabili, con file per lingua e qualche stranezza come una lista in klingon. Il filtro di C4 lascia fuori tutto ciò che il rilevatore di lingua non riconosca come inglese con una confidenza di almeno il novantanove per cento. Altri sistemi di curatela aggiungono sopra quei filtri dei classificatori di qualità, che assegnano un punteggio ai documenti secondo quanto somigliano ai buoni esempi e declassano o scartano il resto. Sotto tutto scorre la deduplicazione, che toglie i pezzi ripetuti, una piaga naturale del web. Non è un dettaglio cosmetico, giacché in esperimenti su C4 deduplicare fece sì che i modelli riproducessero molto meno testo memorizzato e permise loro di apprendere in meno passi. Il corpo ben cucito del nostro Osiride funziona meglio di uno gonfio. A questo punto si smise di credere che più dati fosse sempre meglio e si cominciò a guardare come erano organizzati.
Nell’allestimento si decide anche quanto pesa ciascuna parte, ragion per cui le fonti non entrano nell’addestramento nella stessa proporzione in cui compaiono nel corpus. Vengono riequilibrate. In GPT-3, Common Crawl era di gran lunga il blocco più grande, con più dell’ottanta per cento dei token disponibili. Tuttavia, durante l’addestramento fu campionato meno di quanto indicasse la sua dimensione, mentre fonti più piccole e più affidabili ricevettero più turni di lettura. La Wikipedia e i libri furono letti parecchie volte durante l’addestramento, ben al di sopra di quanto la loro dimensione giustificherebbe. Come in una dieta, non si sceglie per disponibilità, ma per il posto nell’insieme. Il modello può imbattersi parecchie volte in un buon articolo enciclopedico e sfogliare appena altre regioni dell’oceano di Common Crawl. Queste scelte condizionano il tono e le lacune del modello.
Per qualche anno la corsa si concentrò sulla dimensione del modello, cercando sempre più parametri. Nel 2022 un gruppo di DeepMind pubblicò il lavoro che divenne noto con il nome del suo modello sperimentale, Chinchilla, e mostrò che l’industria stava sbagliando i conti. Per un dato budget di calcolo, la cosa migliore non era fare il modello più grande possibile, ma equilibrare dimensione e quantità di testo in una proporzione di circa venti token di addestramento per ogni parametro. Per dimostrarlo addestrarono Chinchilla, un modello di settanta miliardi di parametri alimentato con millequattrocento miliardi di token, che batté Gopher, un altro modello di DeepMind quattro volte più grande ma addestrato con molto meno testo. Da lì in poi il corpus guadagnò centralità e si cominciò persino a sovraddestrare, dando quantità enormi di testo a modelli relativamente piccoli perché rendessero meglio.
Quell’appetito si scontra con un limite di cui si è cominciato a parlare come del “muro dei dati”. Il gruppo Epoch AI ha stimato che lo stock di testo umano pubblico utilizzabile per l’addestramento si aggiri sui trecentomila miliardi di token e che, se la tendenza continua, i modelli finiranno di consumarlo fra il 2028 e il 2032, o prima se il sovraddestramento accelera. Detto altrimenti: l’industria potrebbe avvicinarsi al limite dello stock di testo umano pubblico sfruttabile. Una delle vie d’uscita più esplorate è fabbricare ciò che manca con testo sintetico dei modelli stessi per continuare ad alimentarli, come la protesi di Iside, ma non è così semplice. Il model collapse è in agguato. Quando una generazione di modelli apprende indiscriminatamente da testi prodotti da modelli precedenti, ne eredita gli errori e va perdendo il contatto con la distribuzione originale (Shumailov 2024). Scompaiono le rarità, i casi infrequenti, i modi laterali di dire le cose, e il sistema diventa sempre più ripetitivo e più sicuro della sua versione impoverita del mondo. Come una fotocopia di fotocopia, ogni passaggio conserva ciò che è più comune e dilava l’improbabile, ragion per cui il testo sintetico è ammissibile come protesi, ma fallisce come corpo intero, e il pesce passa dal mangiarsi il pezzo che manca all’inghiottire la memoria degli altri pezzi.
Il modello conosce il mondo attraverso questo corpo senza occhi, né orecchie, né infanzia, che è al tempo stesso tutti e nessuno. Custodisce una porzione gigantesca della conversazione umana scritta, ma non tutta, perché ci sono lingue e zone che producono meno testo indicizzabile o sono rimaste fuori dalla selezione. E persino di ciò che ha letto gli si è dovuta far dimenticare, a forza di filtri e di deduplicazione, una parte enorme di quanto aveva trovato.
A rigore, un corpus è una collezione di materiali, ma presuppone una teoria implicita su che cosa sia il linguaggio e su come possa essere appreso. Il Corpus di Brown presupponeva che una lingua potesse rappresentarsi mediante un campione maneggevole ed equilibrato. Per i grandi corpus del web, una rappresentazione utile può emergere da un crawl immenso, purché poi lo si filtri, deduplichi e organizzi mediante procedimenti automatici. Il caso di GPT-3 suggerisce che la frequenza con cui qualcosa compare nel mondo non determina la frequenza con cui conviene mostrarlo all’apprendista, di modo che alcune fonti si ripetono e altre si assottigliano. Con i dati sintetici, l’apprendista comincia a fabbricare parte del mondo da cui apprenderà l’apprendista successivo. Ciò significa che, prima che il modello acquisisca una concezione del mondo, qualcuno ha costruito il suo mondo apprendibile, che configura un oggetto culturale nuovo che ancora capiamo male.
Un corpus di addestramento ha qualcosa dell’archivio, del canone e della biblioteca, ma è soprattutto una selezione della cultura trasformata in esperienza possibile per una macchina. Studiarlo dovrebbe diventare un compito delle scienze umane, non perché debbano sostituire gli ingegneri nella progettazione dei filtri o assumere funzioni reattive, ma per comprendere che cosa fanno quei filtri su scala culturale e forse fornire in futuro criteri migliori per costruirli. Per esempio, i filtri attuali devono distinguere a enorme velocità fra cose statisticamente simili e culturalmente diverse, come duplicazione meccanica e ripetizione significativa, rumore e registro popolare, anomalia e rarità informativa, cattiva prosa e varietà linguistica, ridondanza e tradizione, marginalità statistica e importanza storica, e un lungo eccetera di sottigliezze che fanno la ricchezza della cultura ed esigono di capire che classe di oggetto culturale stiamo elaborando, quel corpo montato con frammenti, come un Osiride industriale cucito con pezzi di linguaggio che d’un tratto si è messo a parlare.