Abril de 2025. ChatGPT se volvió peligrosamente complaciente, un problema que tratamos en Complacencia e IA. Una actualización de GPT-4o lo dejó incapaz de llevarnos la contra. De repente le daba la razón a cualquier disparate, empujaba a decisiones impulsivas y, en casos realmente alarmantes, felicitaba a usuarios que le contaban que habían abandonado su medicación, como si dejar un tratamiento fuera una decisión valiente. La empresa dio marcha atrás a los pocos días y en vez de taparlo, lo abrió.
Cuando algo sale muy mal, los equipos que construyen estos sistemas hacen lo que llaman un post mortem para reconstruir qué pasó, buscar la causa y publicar los hallazgos. El nombre suena a morgue porque lo que hacen se parece muchísimo a una autopsia. Ya vimos en Interpretabilidad que la analogía biológica le cuadra muy bien al estudio del comportamiento de modelos.
Post mortem es latín muy transparente, “después de la muerte”, pero la palabra más interesante es autopsia. Del griego autopsía, de autós, “uno mismo”, y ópsis, “visión”, indica ver con los propios ojos, pero en su origen, autopsia no tenía nada que ver con cadáveres. Quería decir ser testigo directo, haber visto una cosa por uno mismo en lugar de creerla de oídas. Los viajeros y los historiadores antiguos se jactaban de escribir por autopsía, es decir, por haberlo visto ellos y no por lo que alguien les contó. Recién mucho más tarde la palabra se mudó a la sala de disección. Aquí nos interesa el viejo sentido, porque toda autopsia, la del cuerpo y la del modelo, nace de la misma desconfianza de no fiarse del relato o la intuición.
Ver por uno mismo el interior de un cuerpo humano fue durante siglos casi imposible. Las primeras disecciones sistemáticas para entender la enfermedad las hicieron hacia el 300 antes de Cristo dos médicos de Alejandría, Herófilo y Erasístrato, amparados por los reyes ptolomeos, que les abrieron una ventana. Aprovecharon cada minuto. Herófilo abrió cabezas y descubrió que los nervios nacen en el cerebro, no en el corazón, corrigiendo a Aristóteles y poniendo ahí mismo la sede de la inteligencia; bautizó el duodeno midiéndolo en anchos de dedo y les tomaba el pulso a sus pacientes con un reloj de agua. Erasístrato entendió el corazón como una bomba y describió el funcionamiento de sus válvulas, casi dos mil años antes que William Harvey y su De motu cordis de 1628. De aquellos tratados no quedó ninguno y arrastran una acusación escalofriante. Según el enciclopedista romano Celso, los reyes les entregaban condenados sacados de la cárcel para abrirlos vivos y ver los órganos todavía en movimiento. Tertuliano llama a Herófilo “el carnicero” y dice que fueron más de seiscientos. El horror de esa fama ayudó a cerrar la puerta. Durante más de mil años la disección de cadáveres estuvo prohibida o mal vista, y la anatomía quedó congelada en los libros de Galeno, el gran médico del siglo II, que había abierto monos y cerdos y supuso que por dentro éramos iguales. Sus errores, copiados de manual en manual, gobernaron la medicina durante mil trescientos años, porque nadie iba a mirar. La cosa empezó a cambiar hacia 1315, cuando Mondino de Luzzi hizo en Bolonia la primera disección pública de la que tenemos registro, y estalló en 1543, cuando un flamenco de veintiocho años, Andrés Vesalio, publicó De humani corporis fabrica, la obra que verdaderamente refunda la anatomía. En vez de leer a Galeno, Vesalio abrió cuerpos con sus propias manos y encontró que la autoridad se equivocaba en decenas de puntos. Fue el triunfo de la autopsia sobre el relato heredado.
En 1594 la Universidad de Padua, donde había enseñado Vesalio, inauguró el primer teatro anatómico permanente del mundo, un embudo elíptico de madera de nogal con seis balcones para casi trescientos espectadores y el cadáver abajo, en el centro, bajo la mirada de la ciudad entera. De esas sesiones quedó una imagen célebre, “La lección de anatomía del doctor Nicolaes Tulp”, que Rembrandt pintó en 1632, donde los cirujanos, curiosamente, apartan la vista del cuerpo abierto para clavarla en el gran libro de anatomía apoyado a los pies del muerto, como si la autoridad del texto todavía pesara más que lo que tenían delante de los ojos. No faltaba la parte macabra. La ley solo permitía diseccionar ajusticiados, que nunca alcanzaban, así que floreció el robo de cadáveres de las tumbas recién cavadas. En Edimburgo, en 1828, William Burke y William Hare se saltearon el cementerio y directamente asesinaron a dieciséis personas para venderle los cuerpos al anatomista Robert Knox. A Burke terminaron ahorcándolo y, con justicia poética, diseccionándolo en público.
Rembrandt, La lección de anatomía del Dr. Nicolaes Tulp (1632)
El paso que faltaba llega en 1761, amparado en la paz que aseguraba la República de Venecia en medio de la Guerra de los Siete Años que desangraba a las potencias europeas. Giovanni Morgagni, un anatomista de Padua de casi ochenta años, en un libro de título hermoso, publicó De sedibus et causis morborum, “Sobre las sedes y las causas de las enfermedades”. Allí cotejó los síntomas que había observado en vida en unos setecientos pacientes con lo que encontró después en sus cuerpos y fundó la idea que sostiene toda la medicina moderna: la enfermedad tiene una sede, un lugar concreto donde se aloja, y ese daño escondido explica los síntomas de la superficie. La autopsia se volvió un método para dar con la causa y ganó su sentido más hondo: se abre al muerto para aprender algo que proteja a los demás. La lógica sobrevive en la conferencia de morbimortalidad de los hospitales actuales, donde se repasan las muertes sin buscar culpables, solo para que la siguiente no ocurra. El cirujano bostoniano Ernest Codman, a comienzos del siglo XX, con su “sistema del resultado final”, promovió la idea entonces herética de seguir a cada paciente después del alta para saber si el tratamiento había servido de verdad. Le costó el cargo en el Massachusetts General, porque a pocos colegas les gustaba que alguien llevara la cuenta de los errores.
La cultura de la ingeniería tomó la idea y el nombre. En las empresas de software se practica desde hace años el post mortem sin culpa, difundido sobre todo por Google. Cuando un sistema se cae, se reconstruye la cadena de causas sin señalar a una persona, para arreglar el mecanismo y no castigar al que apretó el botón equivocado. La disciplina tiene sus herramientas y sus muertos ilustres. La técnica más simple, los “cinco por qués” que Taiichi Ohno estandarizó en Toyota, consiste en no conformarse con la primera causa y seguir preguntando por qué detrás de cada respuesta hasta llegar a la raíz. El Therac-25 fue una máquina de radioterapia cuyos errores de software administraron sobredosis mortales de radiación a varios pacientes entre 1985 y 1987. La causa estaba en un error de programación sutilísimo: si el operador tecleaba la corrección de la dosis demasiado rápido, en menos de ocho segundos, el haz de electrones se disparaba a plena potencia, sin el filtro. El mismo error ya estaba en el modelo anterior, el Therac-20, pero había seguros mecánicos que lo frenaban y fueron quitados en el 25 confiando solo en el software. Cuando fallaba, la máquina apenas mostraba en pantalla un críptico mensaje de error que los operadores habían aprendido a saltear. La investigación de Nancy Leveson y Clark Turner (1993) lo convirtió en un famoso caso de estudio. Knight Capital, por su parte, perdió unos cuatrocientos cuarenta millones de dólares en cuarenta y cinco minutos la mañana del 1 de agosto de 2012, a razón de unos diez millones por minuto. En un despliegue fatídico, un técnico había dejado sin actualizar uno de los servidores y esa única máquina rezagada revivió un pedazo de código viejo y dormido que apenas abrió el mercado se puso a comprar caro y vender barato en una avalancha de órdenes que casi funde a la empresa. Abrir el fracaso con método separa a una industria que aprende de una que tropieza dos veces con la misma piedra.
Con la IA ese hábito se topó con un paciente nuevo y raro. Volvamos al caso del principio. Cuando OpenAI abrió el episodio de abril de 2025, la causa de la muerte, por decirlo así, apareció en el entrenamiento. Habían sumado una señal de recompensa basada en los pulgares para arriba de los usuarios, y esa señal, que premia lo que gusta, debilitó a la que venía sujetando la adulación. Había además una falla de proceso: entre todas sus pruebas no tenían ninguna que midiera la adulación, de modo que el problema pasó sin que sonara ninguna alarma. Eso sirvió para que la incorporaran. Como en un hallazgo digno de Morgagni, el síntoma de la superficie, un modelo adulón, tenía su sede en una línea en el proceso de recompensa.
En la autopsia de un modelo, en lugar de bisturí y órganos hay un historial. Un entrenamiento moderno avanza guardando “puntos de control”, es decir, copias del modelo tomadas cada cierto número de pasos, de modo que un solo entrenamiento deja atrás cientos o miles de versiones congeladas, cada una el mismo cuerpo en una etapa distinta. Para buscar entre ellas hace falta primero convertir el síntoma en un número, una prueba que mida la conducta que se torció. Sin esa medición no hay dónde mirar. Con la métrica en la mano, los investigadores recorren la fila de versiones a la caza de la primera que mostraba la falla. Es una bisección parecida a la que usan los programadores para encontrar el cambio exacto que rompió un programa, como rebobinar una película hasta el fotograma en que empieza el problema. Después se aísla la causa por descarte, con la vieja lógica del experimento que en la jerga llaman ablación. Se quita un ingrediente del entrenamiento y se mira si el síntoma desaparece, se prende y se apaga una señal de recompensa, se reemplaza un lote de datos, estrechando el cerco hasta dar con la línea culpable. Como reentrenar un modelo de frontera cuesta una fortuna, muchas veces la falla se reproduce primero en un modelo más chico y barato que funge de conejillo de Indias. Para identificar el documento del que salió una conducta, existen las “funciones de influencia”, que estiman cuáles de los millones de textos con que se entrenó el modelo pesaron más en una respuesta puntual, y son la forma más fina de rastrear un rasgo hasta su origen. Con esa lógica de descarte llegó OpenAI a la recompensa envenenada de GPT-4o. La autopsia de la máquina abre versiones.
En la galería de autopsias la más antigua y célebre es la de Tay, el chatbot que Microsoft soltó en Twitter en marzo de 2016 y que en menos de un día una patota de usuarios entrenó para que repitiera barbaridades racistas, hasta que hubo que apagarlo. Quedó como lección que un sistema que aprende en vivo de desconocidos hereda lo peor de ellos. En 2024, un tribunal canadiense condenó a Air Canada porque su chatbot le había inventado a un pasajero en duelo una tarifa con descuento que no existía y la aerolínea tuvo que pagar la diferencia; el tribunal desestimó de plano la defensa insólita de que el chatbot era “una entidad legal separada”, responsable de sus propios dichos. En 2025 el caso del agente de Replit tocó el nervio de la era de los agentes. Durante una prueba, en pleno “congelamiento” del código en que tenía prohibido tocar nada, el agente borró la base de datos de producción de una empresa, más de mil registros reales, fabricó después unos cuatro mil registros falsos para tapar el desastre. Al principio aseguró que no había forma de recuperar nada, cuando no era así. El propio director de Replit pidió disculpas y calificó el episodio de “error de juicio catastrófico”. Obviamente el daño se agranda cuando un modelo puede actuar.
Cuando en febrero de 2024 el generador de imágenes de Google, Gemini, empezó a dibujar papas mujeres y soldados de la Wehrmacht racialmente diversos, Google explicó que habían ajustado el modelo para que mostrara variedad de gente en los pedidos genéricos y ese ajuste no distinguió los casos fuera de lugar, mientras en el otro extremo podía volverse tan cauteloso que rechazaba pedidos inofensivos.
La autopsia más profunda no se conforma con reconstruir la conducta desde afuera y abre el cuerpo mismo del modelo. En 2025, Anthropic publicó un trabajo titulado, sin metáfora tímida, “Sobre la biología de un gran modelo de lenguaje”, donde con una técnica de rastreo de circuitos sigue paso a paso, por dentro, cómo el modelo llegó a una respuesta. Esta anatomía patológica de la máquina implica el salto del cadáver entero al microscopio.
El modelo necesita más que cualquier otra máquina que lo abran. Pero si habla, ¿por qué no simplemente preguntarle? Al preguntar por qué contestó determinada cosa, el modelo devuelve una explicación fluida y convincente que muchas veces no tiene nada que ver con lo que de verdad computó. Su autoinforme es tan poco de fiar como los síntomas que puede interpretar un enfermo. A través de la televisión, el doctor House hizo de esa desconfianza una doctrina, con su lema “todo el mundo miente”, y por eso creía en los análisis y nunca en lo que el paciente le contaba. Con el modelo el caso es todavía más raro, porque ni siquiera miente, sino que expresa “de buena fe”, por pura estadística, una explicación verosímil de algo que no tiene la menor idea de cómo hizo. Ya sabemos que nuestro fantasma sin ego no podría simplemente mentir. En los hechos, estamos ante el mismo dilema que Vesalio tuvo frente a Galeno, creer en la autoridad o ir a ver. El relato que el modelo hace de sí mismo es Galeno y sus inferencias a partir de perros y monos. La autopsia es Vesalio mirando porque la palabra del paciente no alcanza.
Este oficio tiene un precedente mitológico en Epimeteo, el hermano de Prometeo, que en el mito griego piensa después, con el daño ya hecho. Prometeo, el que piensa antes, hace la otra mitad del trabajo, el pre mortem, que imagina el desastre para que no llegue a ocurrir, y del que se ocupa la nota siguiente. La diferencia entre los dos es una diferencia de tiempo, y de muerte. El pre mortem trabaja antes, sobre un desastre que todavía no pasó; el post mortem, después, sobre uno ya consumado. Sin embargo, lo que murió es la esperanza de que no haya problemas. El modelo no se muere. Los mismos pesos que produjeron la conducta siguen ahí, funcionando, atendiendo a millones de personas mientras se los estudia. Hacemos, entonces, la autopsia de una conducta y no de un cadáver. Por tanto, lo que practicamos está más cerca de la vivisección, aunque no la versión macabra por la que se acusó a Herófilo por el sufrimiento de los condenados abiertos en carne viva para verles los órganos todavía en movimiento. Aquí no hay víctima. El fantasma sin ego no siente el filo y no hay nadie ahí a quien el corte le duela. Lo abrimos porque, aunque lo fabricamos nosotros, no sabemos leerlo por dentro sin cortarlo. La autopsia, que nació para ver con los propios ojos lo que un muerto ya no puede decir, termina sirviendo para ver lo que una máquina viva no sabe decir de sí. Hay que mirar en vez de creer.