Para entrenar a GPT-3, OpenAI juntó cuarenta y cinco terabytes de Common Crawl, una captura gigantesca de la web. Después de filtrarlo y limpiarlo quedaron unos quinientos setenta gigabytes, equivalentes a unos cuatrocientos diez mil millones de fragmentos de palabra. A ese bloque se sumaron WebText2, dos grandes colecciones de libros y la Wikipedia en inglés, hasta reunir unos quinientos mil millones de fragmentos. Durante el entrenamiento, el modelo procesó unos trescientos mil millones de fragmentos tomados de esa mezcla. Corpus posteriores multiplicaron esa escala por cincuenta en una cantidad de texto imposible de imaginar en términos humanos, más de lo que podría leer alguien que empezara hoy y siguiera despierto durante varias vidas seguidas.
Ningún ser humano ni tampoco un equipo de seres humanos, por grande que fuere, recorrió completo el material con que se educa un modelo de lenguaje. Tampoco hubo colecciones de palabras tan escudriñadas, contadas, filtradas y ponderadas, aunque tampoco podemos decir en sentido estricto que alguien lo haya leído.
En inteligencia artificial, un corpus es una colección delimitada de textos convertidos en datos de entrenamiento y para eso fue limpiada, segmentada, mezclada con otras fuentes y presentada al modelo como la experiencia lingüística para que aprenda regularidades. En rigor, resulta relevante qué contiene y también qué quedó afuera, cómo se lo dividió, cuántas veces se lo mostró y con qué peso entró cada fuente, es decir, cómo se formó el corpus, que es el nombre de esa colección. Del latín pasó a las lenguas romances con el sentido de cuerpo vivo y como corpse, “cadáver”, en inglés. Lo encontramos en “corporación”, que es un cuerpo hecho de personas, en el habeas corpus del derecho, literalmente “que tengas el cuerpo”, la orden que exige presentar el cuerpo del detenido ante el juez, en corpus delicti, el cuerpo del delito, y también en el corpus mysticum de los teólogos. En todos los casos tiene partes y forma una unidad que se puede tocar, contar y a veces descuartizar.
El término se usa además hace siglos para nombrar el conjunto completo de las obras de un autor, de una tradición o de una lengua, siempre que se delimite una unidad formada por partes. Así tenemos el corpus de Aristóteles o el corpus del derecho romano que mandó compilar Justiniano. Cuando la lingüística tomó un rumbo más empírico, corpus fue el nombre que se le dio a una muestra de lengua real preparada para el análisis. Uno de los primeros grandes corpus legibles por computadora se armó en 1961, en la Universidad Brown, y por eso se llama el Corpus de Brown. Los lingüistas Henry Kučera y W. Nelson Francis lo diseñaron con suma atención al equilibrio, colocando algo más de un millón de palabras de prosa impresa en Estados Unidos ese año, repartidas en quinientas muestras de unas dos mil palabras cada una. La equilibraron con cuidado entre quince géneros que iban desde el reportaje a la novela romántica y el ensayo religioso. Eligieron cada fragmento a mano, catalogando y definiendo su lugar en el todo hasta formar un cuerpo pequeño, balanceado y todavía enteramente inspeccionable por sus constructores.
Del millón de palabras seleccionadas con cuidado obsesivo a los quince billones que hoy se cazan en la web hay un salto evidente de tamaño, pero también un cambio de lógica. El Corpus de Brown se construyó como una muestra pequeña, equilibrada y legible por humanos; los corpus de los modelos de lenguaje se arman a partir de capturas masivas, filtros automáticos y decisiones estadísticas sobre qué conservar, repetir o descartar. La palabra corpus siguió ahí, pero pasó de nombrar una colección curada a nombrar un cuerpo industrial, demasiado grande para ser visto completo.
Cuenta el mito egipcio que Osiris reinaba con justicia hasta que su hermano Set, el Tifón de la mitología griega, lo asesinó por envidia, lo engañó para que entrara en un cofre que selló y lanzó al Nilo. Isis, hermana y esposa de Osiris, recuperó el cuerpo, pero Set volvió a apoderarse de él y esta vez lo descuartizó en catorce pedazos que esparció por todo Egipto, para que no pudiera reunirlo. Cuenta Plutarco que Isis recorrió el país entero juntando los pedazos uno por uno y los cosió para devolverle al cuerpo un soplo de vida. Los encontró todos menos uno, el falo, que desapareció comido por un pez. En su lugar Isis modeló una prótesis para completar lo que faltaba.
Extrañamente, este relato de las arenas de Egipto cuenta también la historia de un corpus de entrenamiento. La escritura humana anda descuartizada y esparcida por toda la web. Un párrafo acá, un comentario allá, media enciclopedia en un servidor, un manual de reparaciones en otro, foros, recetas, sentencias judiciales, poemas, insultos, documentación técnica, cualquier cosa que hayamos querido escribir. Los rastreadores automáticos que alimentan a un modelo hacen la tarea de Isis: recorren ese territorio inmenso, juntan los pedazos donde hayan caído y los cosen en un solo cuerpo, del que después saldrá una voz. Como en el caso de Osiris, siempre falta una pieza, porque quedó afuera del filtro, porque nunca se digitalizó o porque nunca se escribió. Entonces aparece la prótesis: texto fabricado para completar el hueco. El cuerpo de la máquina es un Osiris rearmado.
Relieve del templo de Seti I en Abydos, Egipto, siglo XIII a. C. Fotografía: Kyera Giannini / Institute for the Study of the Ancient World (ISAW)
¿De qué está hecho ese cuerpo? No es internet sin más, ni siquiera la web entera, sino una pila de fuentes distintas que se seleccionan, se limpian y se mezclan. En la base suele estar Common Crawl, un archivo que una fundación sin fines de lucro viene tomando de la web abierta desde 2008 y que acumula petabytes de páginas. Sobre esa base se agregan fuentes elegidas por su valor, como la Wikipedia, grandes colecciones de libros, código de repositorios como GitHub, preguntas y respuestas de foros como Reddit o Stack Exchange, artículos científicos de arXiv o PubMed, textos legales, manuales y documentación técnica. Cuando esas mezclas se empaquetan y se publican, se les da un nombre propio. The Pile, que armó el colectivo EleutherAI en 2020, junta ochocientos veinticinco gigabytes en veintidós fuentes distintas, desde artículos de medicina hasta subtítulos de películas y textos legales. C4, preparada por Google en 2019 para entrenar su modelo T5, es una versión limpia de Common Crawl. Dolma, del Instituto Allen, ronda los tres billones de fragmentos. FineWeb, publicado por Hugging Face en 2024, llega a quince billones sacados de noventa y seis capturas sucesivas de la web.
Esta materia está trabajada con sumo cuidado. Los filtros de C4 podan las líneas pobres conservando solo las que terminan en un signo de puntuación, dejan afuera las que tienen menos de tres palabras y descartan los documentos que no llegan a cinco oraciones. También eliminan las páginas con texto de relleno como “lorem ipsum”, con llaves de programación o con términos de la célebre List of Dirty, Naughty, Obscene, and Otherwise Bad Words, el repositorio de Shutterstock para evitar palabras indeseables, con archivos por idioma y alguna rareza como una lista en klingon. El filtro de C4 deja afuera todo lo que el detector de idioma no reconozca como inglés con una confianza de al menos el noventa y nueve por ciento. Otros sistemas de curación agregan encima de esos filtros clasificadores de calidad, que puntúan los documentos según cuánto se parezcan a los buenos ejemplos y rebajan o descartan el resto. Por debajo de todo corre la deduplicación, que saca los pedazos repetidos, una plaga natural de la web. No es un detalle cosmético, ya que en experimentos sobre C4 deduplicar hizo que los modelos reprodujeran texto memorizado mucho menos y les permitió aprender en menos pasos. El cuerpo bien cosido de nuestro Osiris funciona mejor que uno hinchado. En este punto se dejó de creer que más datos era siempre mejor y se empezó a mirar cómo estaban organizados.
En el armado también se decide cuánto pesa cada parte, por lo cual las fuentes no entran al entrenamiento en la misma proporción en que aparecen en el corpus. Se las reequilibra. En GPT-3, Common Crawl era, por lejos, el bloque más grande con más del ochenta por ciento de los fragmentos disponibles. Sin embargo, durante el entrenamiento se lo muestreó menos de lo que indicaba su tamaño, mientras que fuentes más chicas y más confiables recibieron más turnos de lectura. La Wikipedia y los libros se leyeron varias veces durante el entrenamiento, muy por encima de lo que justificaría su tamaño. Como en una dieta, no se elige por disponibilidad, sino por el lugar en el conjunto. El modelo puede encontrarse varias veces un buen artículo enciclopédico y hojear apenas otras regiones del océano de Common Crawl. Estas elecciones condicionan el tono y las lagunas del modelo.
Durante unos años, la carrera se concentró en el tamaño del modelo, buscando siempre más parámetros. En 2022, un equipo de DeepMind publicó el trabajo que se conoció por el nombre de su modelo experimental, Chinchilla, y mostró que la industria venía haciendo mal la cuenta. Para un presupuesto de cómputo dado, lo mejor no era hacer el modelo más grande posible, sino equilibrar tamaño y cantidad de texto en una proporción de alrededor de veinte fragmentos de entrenamiento por cada parámetro. Para probarlo entrenaron Chinchilla, un modelo de setenta mil millones de parámetros alimentado con un billón cuatrocientos mil millones de fragmentos, que le ganó a Gopher, otro modelo de DeepMind cuatro veces más grande pero entrenado con mucho menos texto. A partir de ahí, el corpus ganó centralidad e incluso se empezó a sobreentrenar dándoles cantidades enormes de texto a modelos relativamente chicos para que rindieran mejor.
Ese apetito choca contra un límite del que se empezó a hablar como “el muro de datos”. El grupo Epoch AI estimó que el stock de texto humano público utilizable para entrenamiento ronda los trescientos billones de fragmentos, y que, si la tendencia sigue, los modelos van a terminar de consumirlo entre 2028 y 2032, o antes si el sobreentrenamiento se acelera. Dicho de otro modo: la industria podría acercarse al límite de stock de texto humano público aprovechable. Una de las salidas que más se explora es fabricar el faltante con texto sintético de los propios modelos para seguir alimentándolos, como la prótesis de Isis, pero no es tan simple. El model collapse acecha. Cuando una generación de modelos aprende indiscriminadamente de textos producidos por modelos anteriores, hereda sus errores y va perdiendo contacto con la distribución original (Shumailov 2024). Desaparecen las rarezas, los casos infrecuentes, las formas laterales de decir las cosas y el sistema se vuelve cada vez más repetitivo y más seguro de su versión empobrecida del mundo. Como una fotocopia de fotocopia, cada pasada conserva lo más común y lava lo improbable, por lo cual el texto sintético es admisible como prótesis, pero fracasa como cuerpo entero y el pez pasa de comerse el pedazo que falta a tragar la memoria de los otros trozos.
El modelo conoce el mundo a través de este cuerpo sin ojos, ni oídos, ni infancia, que es al mismo tiempo todos y nadie. Guarda una porción gigantesca de la conversación humana escrita pero no todo, porque hay lenguas y zonas que producen menos texto indexable o quedaron fuera de la selección. E incluso de lo que leyó hubo que hacerle olvidar, a fuerza de filtro y de deduplicación, una parte enorme de lo que había encontrado.
En rigor, un corpus es una colección de materiales, pero supone una teoría implícita acerca de qué es el lenguaje y cómo puede ser aprendido. El Corpus de Brown suponía que una lengua podía representarse mediante una muestra manejable y equilibrada. Para los grandes corpus de la web, una representación útil puede emerger de una captura inmensa siempre que después se filtre, deduplique y organice mediante procedimientos automáticos. El caso de GPT-3 sugiere que la frecuencia con que algo aparece en el mundo no determina la frecuencia con que conviene mostrárselo al aprendiz, de modo que unas fuentes se repiten y otras se adelgazan. Con los datos sintéticos, el aprendiz empieza a fabricar parte del mundo del que aprenderá el aprendiz siguiente. Esto significa que antes de que el modelo adquiera una concepción del mundo, alguien construyó su mundo aprendible, que configura un objeto cultural nuevo que todavía entendemos mal.
Un corpus de entrenamiento tiene algo de archivo, canon y biblioteca, pero es sobre todo una selección de la cultura transformada en experiencia posible para una máquina. Estudiarlo debería convertirse en una tarea de las Humanidades, no porque tengan que sustituir a los ingenieros en el diseño de los filtros o adoptar funciones reactivas, sino para comprender qué hacen esos filtros a escala cultural y quizás proporcionar en el futuro mejores criterios para construirlos. Por ejemplo, los filtros actuales tienen que distinguir a enorme velocidad entre cosas estadísticamente semejantes y culturalmente distintas, como duplicación mecánica y repetición significativa, ruido y registro popular, anomalía y rareza informativa, mala prosa y variedad lingüística, redundancia y tradición, marginalidad estadística e importancia histórica y un largo etcétera de sutilezas que hacen a la riqueza de la cultura y exigen entender qué clase de objeto cultural estamos procesando, ese cuerpo armado con fragmentos, como un Osiris industrial cosido con pedazos de lenguaje que de pronto se puso a hablar.