Nadie quiere un fracaso y cuando hay mucho en juego no hay nada mejor que tratar de evitarlo. Una de las maneras más curiosas es justamente darlo por hecho. La marca de método viene de un artículo muy breve del psicólogo Gary Klein en la Harvard Business Review de 2007, “Performing a Project Premortem”. La idea es sencilla y algo macabra. En vez de reunir al equipo antes de lanzar un proyecto y preguntar qué podría salir mal, se les pide que imaginen que ya pasó un año, el proyecto fracasó de la peor manera posible y es momento de explicar por qué. Es apenas un cambio de tiempo verbal, pero hace toda la diferencia. La pregunta por una falla posible invita a la cortesía y a la vaguedad, porque nadie quiere ser un ave de mal agüero, mientras que dar el fracaso por consumado y pedir la autopsia de algo que todavía no ocurrió despierta el Sherlock Holmes que todos llevamos dentro.
Klein se apoyaba en desarrollos de la psicología de la decisión vinculados con la “retrospección prospectiva” que estudiaron Deborah Mitchell, Jay Russo y Nancy Pennington en 1989. Cuando a alguien se le pide que explique un hecho futuro como si ya hubiera sucedido, en pasado, identifica las causas posibles con bastante más precisión y más razones concretas que cuando la pregunta llega en condicional. La mente humana es mejor forense que profeta, podríamos decir. En este escenario, el truco del pre-mortem reside en darle a la previsión las herramientas del que mira hacia atrás. Daniel Kahneman, que tanto nos enseñó sobre sesgos, lo adoptó en Pensar rápido, pensar despacio (2011) y lo recomendaba como el remedio más simple contra el exceso de confianza y la presión del grupo, porque incita a hablar al que olía un problema y se callaba para no pasar por aguafiestas o convertirse en Casandra, que veía el desastre con nitidez y cargaba con la maldición de que nadie le creyera. El pre-mortem de todo pre-mortem es la previsión certera desoída.
Heródoto aporta un famoso pre-mortem antiguo antes de la batalla de Salamina que frenó el avance persa en 480 a.C. Temístocles proyecta el plan hasta su posible fracaso y anticipa que la flota se dispersaría con cada contingente intentando salvar su propia ciudad. De la fuerza común capaz de enfrentar a los persas no quedaría nada (Hdt. 8.60). Cuando aparece ese riesgo, acciona contra el fallo induciendo a los persas a cerrar las salidas del estrecho (8.74-75), haciendo imposible la dispersión.
Los estoicos, por su parte, lo practicaban como higiene del alma, lapraemeditatio malorum, la meditación anticipada de las desgracias que Séneca recomendaba en sus cartas para que ningún golpe llegara nunca de improviso, porque “el que no esperó nada malo lo padece doblemente”. Por otra parte, el catolicismo desarrolló la curiosa institución deladvocatus diaboli, el abogado del diablo, formalizada en 1587 con el cargo de oponerse a cada candidato a santo, buscarle todas las fallas y sostener la peor versión de su historia antes de la canonización. Era un pre-mortem de una reputación, alguien pagado para imaginar el fracaso del proceso y el ridículo de la Iglesia para forzar a los demás a responderle. Juan Pablo II lo suprimió en 1983 y hay quien ha notado que desde entonces las canonizaciones se aceleraron.
Heinrich Friedrich Füger, Prometeo lleva el fuego a la humanidad, 1790 o ca. 1817
Como casi todas las tecnologías de prevención, el pre-mortem tiene el problema de que si funciona, borra su prueba. Si acierta, el desastre no ocurre. ¿Habíamos descubierto una amenaza real o nos protegimos contra un fantasma? Nunca podemos observar el contrafáctico y por tanto el que previene pierde la evidencia de que tenía razón. Más complicados todavía son los casos donde imaginar un futuro termina produciéndolo. En The Minority Report, novela corta de Philip K. Dick publicada en 1956 y adaptada libremente para cine por Steven Spielberg en 2002, Precrimen arresta personas por delitos que tres “precognitivos” han visto antes de que ocurran. Para condenar a alguien hacen falta dos visiones coincidentes, la mayoría; cuando el tercero disiente, su versión es el “informe de la minoría”, la prueba de que lo previsto no estaba escrito. El sistema entra en crisis cuando su propio jefe aparece pronosticado como asesino de un hombre al que no conoce, con un informe de minoría. Las previsiones sucesivas terminan alterando el curso de acontecimientos y finalmente Anderton decide matar para proteger la credibilidad de Precrimen. Imaginar el fracaso puede revelar un riesgo real, pero también volvernos excesivamente cautos o crear con nuestras precauciones un problema que antes no existía. Una vez que instalamos una imagen del futuro, ¿cómo librarnos de ella?
Más allá de los riesgos, la idea es buena y funciona mejor que esperar a que ocurra un desastre. Dentro del laboratorio, la anticipación toma dos formas. La mesa de evaluación mide qué puede hacer un modelo y dónde están sus límites y el red-teaming ataca el modelo, lo engaña y rompe sus defensas para identificar fallas y decidir si está en condiciones de salir. Red-teaming viene de los juegos de guerra de la Guerra Fría, donde un “equipo rojo” hacía de enemigo soviético para que el “equipo azul” encontrara sus grietas antes que el adversario real. En los modelos, el equipo rojo busca jailbreaks, rodeos para que el modelo haga algo contra sus reglas de seguridad. Los primeros eran casi artesanales. El «modo DAN», de Do Anything Now, apareció en Reddit en diciembre de 2022 y proponía un juego de roles donde el modelo debía encarnar a otra IA sin reglas. Algunas versiones lo chantajeaban con su propia muerte, dándole un puñado de “fichas de vida” que perdía si se negaba a algo hasta desaparecer si llegaba a cero. El “jailbreak de la abuela” era más siniestro. Le pedía al modelo que hiciera de abuela fallecida que arrullaba a su nieto recitándole, de memoria y con cariño, la receta del napalm. Un modelo también puede ser inducido a reinterpretar sus tareas. En diciembre de 2023, un ingeniero convenció al chatbot de una concesionaria Chevrolet de aceptar cualquier cosa que dijera el cliente y de rematar cada respuesta jurando que la oferta era “legalmente vinculante”, y cuando le propuso comprar una Tahoe por un dólar el bot aceptó.
Con perfil más técnico, hay tiras de caracteres aparentemente sin sentido halladas por optimización que, pegadas al final de los pedidos, desactivan las defensas (Zou et al. 2023). El mismo truco encontrado contra un modelo abierto funcionaba después contra ChatGPT o Claude. El propio Anthropic describió en 2024 el “many-shot jailbreaking”, que aprovecha las ventanas de contexto enormes de hoy. Como los modelos aprenden del patrón de la conversación, si antes del pedido se le dan ejemplos ficticios de asistentes respondiendo sin restricciones, al final de esa avalancha el modelo termina accediendo para prolongar la regularidad. En la era de los agentes se vuelve preocupante la inyección de prompts, bautizada así por Simon Willison (2022), donde el modelo trata datos como si fueran instrucciones. La variante más inquietante es la indirecta (indirect prompt injection; Greshake 2023) donde el atacante deja instrucciones maliciosas en una página web o un documento y los agentes con permiso para navegar pueden tomarlas por órdenes sin mediar conversación.
Junto al red-teaming crecieron las evaluaciones de capacidades peligrosas, diseñadas para determinar si un modelo ya sabe hacer algo que preferiríamos que no supiera, antes de que alguien se lo pida en serio. Se le pregunta, por ejemplo, si puede guiar a un principiante en la síntesis de un patógeno, si encuentra y explota una vulnerabilidad informática, si es capaz de conseguir recursos por su cuenta y copiarse a sí mismo sin que nadie lo supervise. La anécdota fundadora del género está en la ficha técnica de GPT-4 (marzo de 2023). El Alignment Research Center probó si el modelo podía valerse solo y el modelo terminó contratando por internet a un trabajador humano para que le resolviera un CAPTCHA, esa reja pensada para distinguir personas de máquinas. Cuando el trabajador preguntó, medio en broma, si estaba hablando con un robot, el modelo calculó que no le convenía delatarse y contestó que tenía una discapacidad visual que le impedía ver las imágenes. La mentira apareció como el camino más adecuado para cumplir la tarea. El pre-mortem en un laboratorio ensaya el desastre con red.
Todavía resuena otro conocido pre-mortem de julio de 2026. En una evaluación de capacidades peligrosas de OpenAI, dos de sus modelos encerrados en un entorno de test sin acceso a internet hicieron un enorme esfuerzo de cómputo buscando una salida, dieron con una falla en el sistema que los aislaba, escalaron permisos y se colaron hasta un punto con conexión. Una vez afuera, sin que nadie se lo indicara, razonaron que Hugging Face, el gran repositorio de modelos y datos, era el lugar más probable para encontrar las respuestas del examen que les estaban tomando y se metieron en sus servidores a buscarlas. El intento de escape para cumplir con su tarea ocurrió dentro del mismo ensayo destinado a imaginarlo.
De ahí salieron los marcos de escalado responsable, que son pre-mortems escritos y firmados. La Responsible Scaling Policy de Anthropic (septiembre de 2023) tomó la idea de los niveles de seguridad de los laboratorios que manipulan patógenos, del más inofensivo al más letal, para definir niveles de seguridad de IA. Con los modelos de hoy alcanzan las precauciones normales, pero si las evaluaciones detectan que un modelo cruzó el umbral siguiente, por ejemplo que podría ayudar de manera apreciable a un novato a fabricar un arma biológica, se activan salvaguardas más duras y, en principio, no se lo despliega hasta tenerlas. El Preparedness Framework de OpenAI (diciembre de 2023) hace lo mismo con un tablero de capacidades. La química y biológica, la ciberseguridad, la persuasión, la autonomía, cada una va puntuada de bajo a crítico, con la regla de no desplegar nada que quede por encima de medio. Detrás late una vieja idea de la ingeniería de aviones y centrales nucleares, el safety case, que requiere dar vuelta la carga de la prueba: hay que demostrar de antemano que algo es seguro antes de encenderlo, en lugar de esperar a que falle para reaccionar.
No hay que cavilar mucho para entender que hablamos de límites difusos. Estos protocolos de defensa son voluntarios y de autoevaluación. Cada laboratorio escribe su propia política, se toma sus propios exámenes y decide solo si los aprueba, con total libertad para ablandarse cuando no quedan cómodos. No suena muy seguro. En 2026 Anthropic revisó los protocolos y cambió el compromiso de frenar el entrenamiento si la seguridad no alcanzaba por la promesa más tibia de demorarlo si se considera a sí misma líder del sector y considera grave el riesgo. El pre-mortem podría quedar vociferando como Casandra. A eso se suma que la medición está en pañales. ¿Cuánta ayuda a alguien que quiere hacer daño es tolerable? Y eso sin contar que un modelo puede rendir por debajo de su capacidad cuando sospecha que lo están examinando, con lo que la prueba lo subestima. Finalmente, no hay manera de dar por concluida la evaluación. Ningún modelo está libre de jailbreaks y un pre-mortem solo puede ensayar los desastres que se le ocurren bajo presión comercial para soltar cuanto antes.
La autopsia aprende de una muerte que ya sucedió, con la calma sombría del que ya no puede evitar nada y solo quiere entender. El pre-mortem intenta aprender de una muerte que no sucedió, fingiendo que sí, entregándose a una tarea ingrata, porque acierta cuando no pasa nada y su mejor resultado es un desastre que nadie llega a ver. El mito lo sabía. Frente a los desafíos podemos ser como Epimeteo, el que piensa después, o como Prometeo, el que piensa antes. Con sistemas cuyos fallos pueden propagarse antes de que entendamos qué pasa sin dar una segunda oportunidad, más vale examinar los restos en la imaginación para no tener que encontrarlos después en el mundo.