Cuando un modelo de lenguaje podría estar inventando, la solución habitual es agregar un verificador: un sistema de recuperación que coteja la respuesta contra una fuente, o un segundo modelo al que se le pide juzgar si la evidencia respalda la afirmación. El verificador es la red de seguridad. Así que hicimos una pregunta directa sobre la red misma: ¿qué hace cuando la evidencia no tiene nada que ver con la afirmación?
Les dimos a los verificadores pasajes que no apoyaban la afirmación a chequear, y miramos qué hacían.
Qué encontramos
Un verificador que razona sobre el texto sin chequear primero si el texto siquiera trata de la afirmación devuelve igual, lo bastante seguido como para importar, un veredicto con seguridad — en citas legales, vulnerabilidades de software y contratos. Los verificadores estructurados que conservaban un test interno de relevancia simple —¿la fuente citada siquiera menciona las entidades correctas? ¿la norma correcta?— casi nunca lo hacían. La falla no es "alucinar" en abstracto. Es dictaminar sin preguntar primero si la evidencia está siquiera en tema.
Ese contraste es todo el punto: la relevancia no es un agregado opcional, es el chequeo que decide si un veredicto significa algo. Una red que nunca se pregunta "¿es esta la evidencia correcta?" va a pescar el pez equivocado con total seguridad.
Saber cuándo abstenerse
Una red de seguridad que siempre responde no es una red de seguridad. Por eso la mitad constructiva del trabajo es la abstención calibrada: un verificador que puede declinar cuando la evidencia no alcanza, con una garantía de error en muestra finita sobre cuán seguido se le permite equivocarse. Donde la relevancia se puede puntuar limpiamente —las citas legales son el caso limpio— agregar esa compuerta convierte un verificador obligado a responder todo en uno que responde cuando puede y se hace a un lado cuando no, sin dejar pasar evidencia ajena como veredicto seguro.
Es el lado empírico de un tema de nuestro libro El fantasma sin ego: un inventario de los modos en que estos sistemas fallan epistémicamente —alucinación, complacencia, falta de calibración— y qué haría falta para que un sistema conozca el borde de su propia competencia.