Un tiempo atrás, algunos modelos de frontera tropezaban al preguntarles cuántas letras erre tiene la palabra inglesa strawberry. La respuesta “dos” causaba tanto estupor que la frutilla se hizo meme. Los mejores modelos ya lo resuelven y hasta pueden deletrear la palabra para asegurarse, pero lo cierto es que no leen como nosotros. Cuando vemos o imaginamos strawberry, podemos tratarla como s-t-r-a-w-b-e-r-r-y, señalar cada letra y contar. Antes de que el modelo haga nada parecido, en cambio, otro mecanismo ha transformado la cadena en piezas que pueden corresponder a una palabra completa, un signo, una sílaba accidental o un fragmento que para nosotros no significa nada. Esa diferencia no explica por sí sola todos sus errores de conteo, pero abre una ventana sobre el extraño modo en que las máquinas reciben el lenguaje.
Se llaman tokens, un término que viene del inglés antiguo tācen, signo o marca, pariente del alemán Zeichen, señal. Hay otra vieja palabra para designar una marca de reconocimiento, el griego symbolon, célebre por aplicarse a un objeto partido en dos que permitía reconocer a quien tenía la mitad complementaria. Un anfitrión y su huésped podían conservar las dos partes de una pieza y pasarlas a hijos y nietos, que generaciones más tarde, en un viaje, podían reactivar el pacto de hospitalidad reconociéndose cuando las dos partes encajaban. Symballein significa precisamente “arrojar (ballein) juntas (syn)” las partes. Se parece y también difiere del token, porque el symbolon valía por su mitad complementaria en tanto juntas restauraban una totalidad perdida. El token de un modelo, en cambio, no tiene ninguna parte perdida que la complete. Es una pieza de una segmentación computacional capaz de combinarse, según el contexto, con cualquier otra estadísticamente probable. Los trozos carecen de totalidad, porque eso supondría símbolo, sentido y referencia al mundo, cosas todas ajenas al modelo. El symbolon es una clase de token que revela dos lógicas de funcionamiento.
Un token es, entonces, una marca discreta que puede funcionar en lugar de otra cosa. En inglés corriente es una ficha, como el viejo cospel del subte o la del casino, ese disco cuyo valor depende del sistema en donde circula. A principios del siglo XX, Charles Sanders Peirce distinguió entre tipo y token, de modo que la palabra “el” es un tipo, una forma abstracta, y cada “el” impreso en esta página es un token, una instancia concreta de esa forma. En computación se llama token a la unidad discreta de una secuencia transformada para poder operar con ella. Los tokens de los modelos de lenguaje no tienen por qué coincidir con las unidades que nosotros reconocemos en el lenguaje. Ni letras, ni palabras, ni tampoco morfemas, ni muchísimo menos unidades de sentido. Tampoco son piezas mínimas, porque podrían dividirse todavía más. Son las piezas que un tokenizador incluyó en el vocabulario para representar el texto.
Esta idea de que el mundo está hecho de piezas que se recombinan nos acompaña hace tiempo y trae los aires antiguos de Leucipo y Demócrito, que en el siglo V a. C. imaginaron que todo lo que existe se compone de átomos, literalmente lo que no se puede cortar, moviéndose en el vacío. El poeta romano Lucrecio, en De rerum natura (siglo I a. C.), encontró para esa intuición una excelente metáfora montada como un juego de palabras. En latín, elementa significaba tanto las letras del alfabeto como los elementos de la materia. Así como unas pocas letras combinadas forman palabras diferentes, unos pocos tipos de átomos reordenados componen nuestro universo íntegro. El alfabeto se volvió modelo del cosmos. Veintiún siglos después, un modelo de lenguaje extrema esta idea construyendo todo lo que dice con un inventario cerrado de piezas recombinables, sus tokens.
La idea de continuidad es tranquilizadora, pero la escritura alfabética conserva siempre visible el nivel de la letra, mientras las fichas del modelo no. Recordemos que la palabra como unidad separada por espacios que vemos al leer es un invento tardío. Los griegos y los romanos escribían en scriptio continua, sin separación de palabras, así que leer era desovillar ese hilo continuo segmentando el flujo. Los espacios entre palabras aparecieron con los monjes irlandeses y luego anglosajones de la alta Edad Media que aprendían el latín como lengua extranjera y necesitaban resaltar los límites léxicos para mejorar la comprensión. El modelo, muy a su manera, inventa otra geografía del texto a través de otra operación de segmentación.
Tiene sentido. Si el modelo trabajara con palabras completas, necesitaría un vocabulario gigantesco. “Casa”, “casas”, “casita” y “casitas” contarían como unidades independientes, igual que cada conjugación verbal, cada nombre propio, cada tecnicismo y cada palabra recién inventada. Peor aún, cualquier palabra que no estuviera en el vocabulario sería un problema. La alternativa opuesta sería cortar el texto en caracteres individuales. Eso resuelve el problema del vocabulario y bastan unos pocos cientos o miles de signos para escribir prácticamente cualquier cosa, pero con secuencias muchísimo más largas. El modelo tendría que reconstruir una y otra vez combinaciones de letras que aparecen juntas constantemente encareciendo el cálculo y desperdiciando capacidad en aprender regularidades demasiado elementales. Los tokens subléxicos son el punto intermedio, permitiendo representar cualquier palabra mediante un vocabulario relativamente pequeño, pero conservando juntas las secuencias frecuentes, como un equilibrista entre el tamaño del vocabulario y la longitud del texto. ¿Cómo llegamos hasta ahí?
En 1949, un jesuita italiano, Roberto Busa, se propuso indexar cada palabra de la obra completa de Tomás de Aquino, unos once millones de palabras de latín. Para lograrlo consiguió el apoyo de Thomas J. Watson, el legendario presidente de IBM, en una empresa que parecía desmesurada para las máquinas de ese entonces. Busa contaría después que, sabiendo que Watson tenía un informe negativo, entró a la reunión con un pequeño cartel que encontró en la recepción con el lema de IBM, “lo difícil lo hacemos enseguida; lo imposible tarda un poco más” y lo enarboló en el momento preciso. Watson tenía un encargo imposible y Busa podía esperar. Aceptó y el Index Thomisticus tardó más de treinta años. Corrió sobre millones de tarjetas perforadas y es el acto fundador de la lingüística computacional y las humanidades digitales. La vieja distinción entre tipo y token (forma abstracta y aparición concreta) resultaba natural, ya que contar tokens frente a tipos daba una medida de la riqueza de un vocabulario. Durante décadas tokenizar estuvo asociado a la palabra hasta que los modelos de lenguaje cortaron pedazos más chicos.
Una de las técnicas principales se llama byte-pair encoding. Un programador, Philip Gage, la publicó en 1994 en una revista para desarrolladores, The C Users Journal, como un método de compresión de datos. La idea era recorrer un archivo, encontrar el par de símbolos contiguos que más se repetía, reemplazar sus apariciones por un símbolo nuevo, registrar la equivalencia y repetir el procedimiento. Cada ronda inventaba una abreviatura para una combinación frecuente y el archivo iba encogiéndose. Dos décadas más tarde, en Edimburgo, una de las capitales mundiales de la traducción automática, emergió un problema distinto. Cuando tres investigadores que construían traductores con redes neuronales estaban lidiando con las palabras raras o desconocidas que trababan los sistemas, se dieron cuenta de que una versión del viejo truco de compresión de Gage servía para construir un vocabulario de subpalabras. Si en vez de comprimir retenemos las abreviaturas que van apareciendo, obtenemos un catálogo de fragmentos de palabras que las cubre todas, porque incluso las raras se arman con trozos conocidos.
El programa con que lo implementaron, subword-nmt, terminó en manos de medio mundo. El procedimiento empieza por las letras sueltas y va fundiendo los pares más frecuentes en fichas cada vez más grandes, guiado solo por la frecuencia. El resultado es un vocabulario en el que las palabras comunes son una sola ficha y las raras se rompen en pedazos que no siguen ninguna lógica de sentido, solo de estadística. “Perro” puede ser un token entero; una palabra infrecuente o técnica se astilla en tres o cuatro trozos que no significan nada por separado. Una ficha equivale, en promedio, a unas tres cuartas partes de una palabra en inglés y bastante menos en lenguas de escritura no latina. Como se fragmentan más, salen más caras de procesar, creando una desigualdad silenciosa.
El salto a muchos de los grandes modelos llegó con las variantes de BPE aplicadas a bytes. Para GPT-2, en 2019, Alec Radford y su equipo cambiaron las letras por bytes crudos, de modo que con un vocabulario base de apenas 256 piezas el modelo puede escribir cualquier cosa, en cualquier idioma o alfabeto, sin toparse jamás con una palabra que no conozca, y luego se combinan las secuencias de bytes más frecuentes en tokens mayores, evitando el costo de procesarlo todo byte por byte. Ese tokenizador tuvo enorme influencia. Barato y completo a la vez es una oferta difícil de rechazar y por eso, con todos sus defectos, las variantes de tokenización subléxica siguen en uso.
Volvamos a la frutilla. Cuando el modelo lee strawberry ve dos o tres tokens, algo como “str”, “aw”, “berry”. Pedirle que cuente las erres es como preguntarle a alguien que lee de un vistazo cuántos trazos de tinta tiene. Deletrear deja de ser una tarea simple y quienes se burlan de la torpeza del modelo que contesta “dos”, se pierden la parte más interesante. Durante un tiempo pareció que todo el problema estaba en que el modelo contaba mal porque la tokenización le escondía los caracteres. La investigación reciente, sin embargo, sugiere que la operación misma de contar y las propiedades de la arquitectura también están involucradas. La tokenización cambia la grilla con la que el texto entra al sistema, pero no determina por sí sola lo que será capaz de reconstruir después.
El problema se vuelve más serio cuando aparecen los números y sus troceos caprichosos. “380” puede entrar como un solo token y “381” partirse en “38” y “1”, de modo que en lugar de una hilera limpia de cifras el modelo ve un mosaico irregular. Por tanto, no suma ni multiplica dígito por dígito. Tiene que aprender regularidades numéricas a partir de representaciones cuyos límites obedecen a criterios que no fueron diseñados para la aritmética. La tokenización es, por eso, uno de los factores que pueden dificultar el cálculo simbólico, aunque no alcanza por sí sola para explicar los errores aritméticos de los modelos. Algunos tokenizadores modernos introducen reglas especiales para las cifras precisamente para volver más regular esta parte del paisaje.
No faltan los fantasmas. En 2023, un estudio dio con “tokens embrujados”, el más célebre llamado SolidGoldMagikarp, que era el nombre de un usuario de un foro de Reddit y había quedado en el vocabulario del tokenizador sin casi aparecer en los datos de entrenamiento. Cuando se le pedía al modelo que repitiera esa ficha, el sistema deliraba, insultaba, cambiaba de tema o afirmaba estar vivo, como si uno hubiera pisado una baldosa floja del idioma. Eran signos que el modelo tenía en su alfabeto y nunca había aprendido a leer.
Ya vimos que no es la única manera de hacerlo. El propio campo desconfía de ella. Hay modelos que trabajan directamente con letras o con bytes crudos, sin vocabulario ninguno, como CANINE o ByT5. Corren con la ventaja de escapar a la ceguera de la frutilla porque deletrean y cuentan sin esfuerzo, con el costo de cómputo que ya mencionamos. Por eso CANINE, por ejemplo, comprime la cadena de caracteres antes de las capas costosas. La línea de frontera busca lo mejor de los dos mundos. El Byte Latent Transformer, que Meta presentó a fines de 2024, no usa fichas fijas. Agrupa los bytes en “parches” cuyo tamaño se ajusta solo, más largos donde el texto es previsible y más cortos donde se vuelve denso, según la propia incertidumbre del modelo sobre lo que viene, de manera que gasta cómputo donde de verdad hace falta. Con esta estrategia igualó a los modelos de subpalabra a gran escala y ya empezó a aparecer en las bibliotecas abiertas. Con todo, el token de frecuencia sigue reinando en los modelos de producción, pero los indicios de que es una etapa se acumulan. La frutilla, la desigualdad que distintas tokenizaciones introducen entre lenguas y fenómenos extraños como los llamados tokens embrujados no tienen una única causa, aunque todos recuerdan que la manera de cortar el texto no es una decisión inocente. Tal vez en unos años miremos al token actual como hoy miramos la scriptio continua.
Ferdinand de Saussure definió el signo como la unión de un significante, la imagen de la palabra, y un significado, el concepto, atados por una convención arbitraria. El token está en cierto sentido todavía más abajo. Al ingresar al modelo se convierte en una representación numérica aprendida y, capa tras capa, sus relaciones con otras representaciones permiten construir regularidades sintácticas, semánticas y conceptuales que no estaban contenidas en el corte inicial. El modelo empieza trabajando con divisiones del texto que ningún hablante elegiría y termina escribiendo, citando, argumentando y a veces hasta conmoviéndonos. Las erres de strawberry son la marca de un formato de lectura que no es el nuestro. Entender qué puede y qué no puede la máquina empieza por saber que mira con otros ojos.