Quando un modello linguistico potrebbe inventare, la soluzione abituale è aggiungere un verificatore: un sistema di recupero che confronta la risposta con una fonte, o un secondo modello a cui si chiede di giudicare se le prove sostengono l'affermazione. Il verificatore è la rete di sicurezza. Così abbiamo fatto una domanda diretta sulla rete stessa: cosa fa quando le prove non hanno nulla a che vedere con l'affermazione?
Abbiamo dato ai verificatori passaggi che non riguardavano l'affermazione da controllare, e abbiamo osservato cosa facevano.
Cosa abbiamo trovato
Un verificatore che ragiona sul testo senza prima controllare se il testo riguardi l'affermazione restituisce comunque, abbastanza spesso da contare, un verdetto sicuro — su citazioni legali, vulnerabilità software e contratti. I verificatori strutturati che mantenevano un semplice test interno di pertinenza —la fonte citata menziona almeno le entità giuste? la norma giusta?— quasi mai lo facevano. Il fallimento non è "allucinare" in astratto. È pronunciarsi senza prima chiedersi se le prove siano almeno in tema.
Quel contrasto è tutto il punto: la pertinenza non è un optional aggiunto dopo, è il controllo che decide se un verdetto significhi qualcosa. Una rete che non si chiede mai "sono queste le prove giuste?" prenderà il pesce sbagliato con piena sicurezza.
Sapere quando astenersi
Una rete di sicurezza che risponde sempre non è una rete di sicurezza. Per questo la metà costruttiva del lavoro è l'astensione calibrata: un verificatore che può declinare quando le prove non bastano, con una garanzia d'errore a campione finito su quanto spesso gli è concesso sbagliare. Dove la pertinenza si può misurare in modo pulito —le citazioni legali sono il caso pulito— aggiungere quel gate trasforma un verificatore costretto a rispondere a tutto in uno che risponde quando può e si fa da parte quando non può, senza lasciar passare prove estranee come verdetto sicuro.
È il lato empirico di un tema del nostro libro El fantasma sin ego: un inventario dei modi in cui questi sistemi falliscono epistemicamente —allucinazione, adulazione, scarsa calibrazione— e cosa servirebbe perché un sistema conosca il confine della propria competenza.