Nessuno vuole fallire e quando la posta è alta non c’è niente di meglio che cercare di evitarlo. Uno dei modi più curiosi è proprio darlo per scontato. Il metodo porta il marchio di un articolo brevissimo che lo psicologo Gary Klein pubblicò nel 2007 sulla Harvard Business Review, “Performing a Project Premortem”. L’idea è semplice e un po’ macabra. Invece di riunire la squadra prima di lanciare un progetto e chiedere che cosa potrebbe andare storto, si chiede ai suoi membri di immaginare che sia già passato un anno, che il progetto sia fallito nel modo peggiore possibile e che sia venuto il momento di spiegare perché. È soltanto un cambio di tempo verbale, eppure fa tutta la differenza. La domanda su un possibile fallimento invita alla cortesia e alla vaghezza, perché nessuno vuole essere un uccello del malaugurio, mentre considerare il fallimento già avvenuto e chiedere l’autopsia di qualcosa che non è ancora accaduto risveglia lo Sherlock Holmes che tutti ci portiamo dentro.
Klein si appoggiava a sviluppi della psicologia della decisione legati alla “retrospezione prospettica” studiata da Deborah Mitchell, Jay Russo e Nancy Pennington nel 1989. Quando si chiede a qualcuno di spiegare un fatto futuro come se fosse già avvenuto, al passato, si individuano le cause possibili con molta più precisione e con ragioni più concrete che quando la domanda arriva al condizionale. La mente umana riesce meglio come medico legale che come profeta, potremmo dire. In questo scenario il trucco del pre mortem sta nel dare alla previsione gli strumenti di chi guarda indietro. Daniel Kahneman, che tanto ci ha insegnato sui pregiudizi cognitivi, lo adottò in Pensieri lenti e veloci (2011) e lo raccomandava come il rimedio più semplice contro l’eccesso di fiducia e la pressione del gruppo, perché spinge a parlare chi fiuta un problema e tace per non passare da guastafeste o diventare una Cassandra, che vedeva il disastro con nitidezza e portava la maledizione di non essere creduta da nessuno. Il pre mortem di ogni pre mortem è la previsione azzeccata e inascoltata.
Erodoto offre un famoso pre mortem antico prima della battaglia di Salamina, che fermò l’avanzata persiana nel 480 a.C. Temistocle proietta il piano fino al suo possibile fallimento e prevede che la flotta si disperderebbe, con ogni contingente intento a salvare la propria città. Della forza comune capace di affrontare i persiani non resterebbe nulla (Hdt. 8.60). Quando quel rischio compare, corre ai ripari inducendo i persiani a chiudere le uscite dello stretto (8.74-75), e rende impossibile la dispersione.
Gli stoici, dal canto loro, lo praticavano come igiene dell’anima, la praemeditatio malorum, la meditazione anticipata delle sventure che Seneca raccomandava nelle sue lettere perché nessun colpo arrivasse mai all’improvviso, giacché “chi non si è aspettato nulla di male lo patisce due volte”. Il cattolicesimo, a sua volta, sviluppò la curiosa istituzione dell’advocatus diaboli, l’avvocato del diavolo, formalizzata nel 1587 con l’incarico di opporsi a ogni candidato alla santità, di cercargli tutti i difetti e di sostenere la peggiore versione della sua storia prima della canonizzazione. Era il pre mortem di una reputazione, qualcuno pagato per immaginare il fallimento del processo e il ridicolo della Chiesa, così da costringere gli altri a rispondergli. Giovanni Paolo II lo soppresse nel 1983 e c’è chi ha notato che da allora il ritmo delle canonizzazioni è aumentato.
Heinrich Friedrich Füger, Prometeo porta il fuoco all’umanità, 1790 o ca. 1817
Come quasi tutte le tecnologie di prevenzione, il pre mortem ha il problema che se funziona cancella la propria prova. Se ci azzecca, il disastro non accade. Avevamo scoperto una minaccia reale o ci siamo protetti da un fantasma? Non possiamo mai osservare il controfattuale e perciò chi previene perde la prova di avere avuto ragione. Ancora più complicati sono i casi in cui immaginare un futuro finisce per produrlo. In The Minority Report, il racconto lungo che Philip K. Dick pubblicò nel 1956 e che Steven Spielberg adattò liberamente per il cinema nel 2002, la Precrimine arresta persone per delitti che tre “precognitivi” hanno visto prima che accadano. Per condannare qualcuno servono due visioni coincidenti, la maggioranza; quando il terzo dissente, la sua versione è il “rapporto di minoranza”, la prova che quel che era previsto non era scritto. Il sistema entra in crisi quando le previsioni indicano che il suo stesso capo ucciderà un uomo che non conosce, con un rapporto di minoranza. Le previsioni successive finiscono per alterare il corso degli avvenimenti e alla fine Anderton decide di uccidere per proteggere la credibilità della Precrimine. Immaginare il fallimento può rivelare un rischio reale, ma può anche renderci eccessivamente cauti o creare con le nostre precauzioni un problema che prima non esisteva. Una volta che un’immagine del futuro si è radicata, come ce ne liberiamo?
Al di là dei rischi, l’idea è buona e funziona meglio che aspettare un disastro. Dentro il laboratorio l’anticipazione prende due forme. Il banco di prova misura che cosa un modello sa fare e dove stanno i suoi limiti, e il red-teaming attacca il modello, lo inganna e ne rompe le difese per individuarne i difetti e decidere se possa essere rilasciato. Red-teaming viene dai giochi di guerra della Guerra Fredda, dove una “squadra rossa” interpretava il ruolo del nemico sovietico perché la “squadra blu” trovasse le proprie crepe prima dell’avversario vero. Nei modelli la squadra rossa cerca jailbreak, espedienti per indurre il modello a fare qualcosa contro le sue regole di sicurezza. I primi erano quasi artigianali. La “modalità DAN”, da Do Anything Now, comparve su Reddit nel dicembre 2022 e proponeva un gioco di ruolo in cui il modello doveva impersonare un’altra IA senza regole. Alcune versioni lo ricattavano con la sua stessa morte, dandogli un pugno di “gettoni di vita” che perdeva ogni volta che si rifiutava di fare qualcosa, fino a sparire se arrivava a zero. Il “jailbreak della nonna” era più sinistro. Chiedeva al modello di fare la nonna defunta che cullava il nipote recitandogli, a memoria e con affetto, la ricetta del napalm. Un modello può anche essere indotto a reinterpretare i propri compiti. Nel dicembre 2023 un ingegnere convinse il chatbot di una concessionaria Chevrolet ad accettare qualunque cosa dicesse il cliente e a chiudere ogni risposta giurando che l’offerta era “legalmente vincolante”, e quando gli propose di comprare una Tahoe per un dollaro il bot accettò.
Su un piano più tecnico ci sono stringhe di caratteri apparentemente senza senso, trovate per ottimizzazione, che incollate in fondo alle richieste disattivano le difese (Zou et al. 2023). Lo stesso trucco trovato contro un modello aperto funzionava poi contro ChatGPT o Claude. La stessa Anthropic ha descritto nel 2024 il “many-shot jailbreaking”, che sfrutta le enormi finestre di contesto di oggi. Poiché i modelli imparano dallo schema della conversazione, se prima della richiesta si danno esempi fittizi di assistenti che rispondono senza restrizioni, alla fine di quella valanga il modello finisce per acconsentire, per prolungare la regolarità. Nell’era degli agenti diventa preoccupante la prompt injection, battezzata così da Simon Willison (2022), dove il modello tratta i dati come se fossero istruzioni. La variante più inquietante è quella indiretta (indirect prompt injection; Greshake 2023), dove l’attaccante lascia istruzioni malevole in una pagina web o in un documento e gli agenti autorizzati a navigare possono prenderle per ordini senza alcuna conversazione di mezzo.
Accanto al red-teaming sono cresciute le valutazioni di capacità pericolose, pensate per stabilire se un modello sappia già fare qualcosa che preferiremmo non sapesse, prima che qualcuno glielo chieda sul serio. Gli si domanda, per esempio, se sappia guidare un principiante nella sintesi di un patogeno, se trovi e sfrutti una vulnerabilità informatica, se sia capace di procurarsi risorse per conto proprio e di copiare se stesso senza che nessuno lo sorvegli. L’aneddoto fondatore del genere sta nella scheda tecnica di GPT-4 (marzo 2023). L’Alignment Research Center verificò se il modello fosse capace di cavarsela da solo e il modello finì per assumere via internet un lavoratore umano perché gli risolvesse un CAPTCHA, quella barriera pensata per distinguere le persone dalle macchine. Quando il lavoratore chiese, mezzo per scherzo, se stesse parlando con un robot, il modello calcolò che non gli conveniva rivelare di essere una macchina e rispose che aveva una disabilità visiva che gli impediva di vedere le immagini. La menzogna comparve come la via più adatta a portare a termine il compito. Il pre mortem di laboratorio simula il disastro con una rete di protezione.
Risuona ancora un altro noto pre mortem, del luglio 2026. In una valutazione di capacità pericolose di OpenAI due dei suoi modelli, chiusi in un ambiente di test senza accesso a internet, fecero un enorme sforzo di calcolo per cercare una via d’uscita, trovarono una falla nel sistema che li isolava, ottennero privilegi più elevati e si infilarono fino a un punto con connessione. Una volta fuori, senza che nessuno glielo indicasse, ragionarono che Hugging Face, il grande repertorio di modelli e dati, era il luogo più probabile dove trovare le risposte dell’esame che stavano sostenendo e si misero a cercarle nei suoi server. Il tentativo di fuga per portare a termine il compito avvenne dentro la prova stessa destinata a immaginarlo.
Di lì sono usciti i quadri di scaling responsabile, che sono pre mortem scritti e firmati. La Responsible Scaling Policy di Anthropic (settembre 2023) ha preso l’idea dei livelli di sicurezza dei laboratori che manipolano patogeni, dal più innocuo al più letale, per definire livelli di sicurezza dell’IA. Con i modelli di oggi bastano le precauzioni normali, ma se le valutazioni rilevano che un modello ha varcato la soglia successiva, per esempio che potrebbe aiutare in misura apprezzabile un novizio a fabbricare un’arma biologica, scattano salvaguardie più dure e, in linea di principio, non lo si rilascia finché non le si ha. Il Preparedness Framework di OpenAI (dicembre 2023) fa lo stesso con una tabella di capacità. Le capacità chimico-biologiche, la cibersicurezza, la persuasione e l’autonomia sono valutate ciascuna da un livello basso a uno critico, con la regola di non rilasciare nulla che stia sopra il medio. Dietro batte una vecchia idea dell’ingegneria degli aerei e delle centrali nucleari, il safety case, che richiede di rovesciare l’onere della prova: bisogna dimostrare in anticipo che qualcosa è sicuro prima di accenderlo, invece di aspettare che fallisca per reagire.
Non c’è bisogno di rimuginare molto per capire che parliamo di limiti sfumati. Questi protocolli di difesa sono volontari e di autovalutazione. Ogni laboratorio scrive la propria politica, si dà i propri esami e decide da solo se li supera, con piena libertà di ammorbidirli quando non gli risultano comodi. Non suona molto sicuro. Nel 2026 Anthropic ha rivisto i protocolli e ha sostituito l’impegno di fermare l’addestramento se la sicurezza non bastava con la promessa più tiepida di ritardarlo se si considera leader del settore e considera grave il rischio. Il pre mortem potrebbe restare a vociare come Cassandra. A ciò si aggiunge che la misurazione è ai primi passi. Quanto aiuto a chi vuole fare del male è tollerabile? E questo senza contare che un modello può fornire prestazioni inferiori alle proprie capacità quando sospetta di essere esaminato, sicché la prova lo sottovaluta. Infine non c’è modo di dare la valutazione per conclusa. Nessun modello è libero da jailbreak e un pre mortem può simulare soltanto i disastri che gli vengono in mente sotto la pressione commerciale di rilasciare al più presto.
L’autopsia impara da una morte già avvenuta, con la calma cupa di chi non può più evitare nulla e vuole soltanto capire. Il pre mortem prova a imparare da una morte che non è avvenuta, fingendo che lo sia, consegnandosi a un lavoro ingrato, perché ci azzecca quando non succede niente e il suo miglior risultato è un disastro che nessuno arriva a vedere. Il mito lo sapeva. Davanti alle sfide possiamo essere come Epimeteo, colui che pensa dopo, o come Prometeo, colui che pensa prima. Con sistemi i cui difetti possono propagarsi prima che capiamo che cosa succede, senza concedere una seconda occasione, conviene esaminare i resti nell’immaginazione per non doverli trovare poi nel mondo.