Aprile 2025. ChatGPT è diventato pericolosamente compiacente, un problema di cui abbiamo parlato in Compiacenza e IA. Un aggiornamento di GPT-4o lo aveva reso incapace di contraddirci. All’improvviso dava ragione a qualsiasi sciocchezza, spingeva a decisioni impulsive e, in casi davvero allarmanti, si congratulava con gli utenti che gli raccontavano di aver smesso di prendere le medicine, come se abbandonare una terapia fosse una decisione coraggiosa. L’azienda tornò sui propri passi nel giro di pochi giorni e, invece di nascondere l’accaduto, lo aprì.
Quando qualcosa va molto male, le squadre che costruiscono questi sistemi fanno quello che chiamano un post mortem: ricostruiscono che cosa è successo, cercano la causa e pubblicano i risultati. Il nome sa di obitorio, perché quello che fanno somiglia moltissimo a un’autopsia. Abbiamo già visto in Interpretabilità che l’analogia biologica si adatta molto bene allo studio del comportamento dei modelli.
Post mortem è latino trasparentissimo, “dopo la morte”, ma la parola più interessante è autopsia. Dal greco autopsía, da autós, “se stesso”, e ópsis, “vista”, indica vedere con i propri occhi; all’origine, però, autopsia non aveva nulla a che fare con i cadaveri. Voleva dire essere testimone diretto, aver visto una cosa di persona invece di crederla per sentito dire. I viaggiatori e gli storici antichi si vantavano di scrivere per autopsía, cioè per averlo visto loro e non per quello che qualcuno aveva raccontato. Solo molto più tardi la parola si trasferì nella sala di dissezione. Qui ci interessa il senso antico, perché ogni autopsia, quella del corpo e quella del modello, nasce dalla stessa diffidenza: non fidarsi del racconto né dell’intuizione.
Vedere con i propri occhi l’interno di un corpo umano fu per secoli quasi impossibile. Le prime dissezioni sistematiche per capire la malattia le fecero verso il 300 avanti Cristo due medici di Alessandria, Erofilo ed Erasistrato, protetti dai re tolemaici, che aprirono loro una finestra. Sfruttarono ogni minuto. Erofilo aprì teste e scoprì che i nervi nascono nel cervello e non nel cuore, correggendo Aristotele e collocando lì la sede dell’intelligenza; battezzò il duodeno misurandolo in dita di larghezza e prendeva il polso ai suoi pazienti con un orologio ad acqua. Erasistrato intese il cuore come una pompa e descrisse il funzionamento delle sue valvole, quasi duemila anni prima di William Harvey e del suo De motu cordis del 1628. Di quei trattati non è rimasto nulla, e si portano dietro un’accusa agghiacciante. Secondo l’enciclopedista romano Celso, i re consegnavano loro condannati presi dal carcere per aprirli vivi e vedere gli organi ancora in movimento. Tertulliano chiama Erofilo “il macellaio” e dice che furono più di seicento. L’orrore di quella fama contribuì a chiudere la porta. Per più di mille anni la dissezione dei cadaveri fu proibita o malvista, e l’anatomia rimase congelata nei libri di Galeno, il grande medico del II secolo, che aveva aperto scimmie e maiali e supponeva che dentro fossimo uguali. I suoi errori, copiati di manuale in manuale, governarono la medicina per milletrecento anni, perché nessuno andava a guardare. Le cose cominciarono a cambiare verso il 1315, quando Mondino de’ Liuzzi fece a Bologna la prima dissezione pubblica di cui abbiamo notizia, ed esplosero nel 1543, quando un fiammingo di ventotto anni, Andrea Vesalio, pubblicò De humani corporis fabrica, l’opera che davvero rifonda l’anatomia. Invece di leggere Galeno, Vesalio aprì i corpi con le proprie mani e scoprì che l’autorità sbagliava in decine di punti. Fu il trionfo dell’autopsia sul racconto ereditato.
Nel 1594 l’Università di Padova, dove aveva insegnato Vesalio, inaugurò il primo teatro anatomico permanente del mondo, un imbuto ellittico di legno di noce con sei balconate per quasi trecento spettatori e il cadavere in basso, al centro, sotto lo sguardo dell’intera città. Di quelle sedute è rimasta un’immagine celebre, “La lezione di anatomia del dottor Nicolaes Tulp”, che Rembrandt dipinse nel 1632, dove i chirurghi, curiosamente, distolgono lo sguardo dal corpo aperto per fissarlo sul grande libro di anatomia appoggiato ai piedi del morto, come se l’autorità del testo pesasse ancora più di quello che avevano davanti agli occhi. Non mancava la parte macabra. La legge permetteva di sezionare soltanto i giustiziati, che non bastavano mai, e così fiorì il furto di cadaveri dalle tombe appena scavate. A Edimburgo, nel 1828, William Burke e William Hare saltarono il cimitero e assassinarono direttamente sedici persone per vendere i corpi all’anatomista Robert Knox. Burke finì impiccato e, con giustizia poetica, sezionato in pubblico.
Rembrandt, La lezione di anatomia del dottor Nicolaes Tulp (1632)
Il passo che mancava arriva nel 1761, protetto dalla pace che la Repubblica di Venezia garantiva in mezzo alla Guerra dei Sette Anni che dissanguava le potenze europee. Giovanni Morgagni, un anatomista padovano di quasi ottant’anni, pubblicò un libro dal titolo bellissimo, De sedibus et causis morborum, “Sulle sedi e sulle cause delle malattie”. Vi confrontò i sintomi che aveva osservato in vita in circa settecento pazienti con quello che trovò poi nei loro corpi e fondò l’idea che regge tutta la medicina moderna: la malattia ha una sede, un luogo preciso in cui si annida, e quel danno nascosto spiega i sintomi della superficie. L’autopsia divenne un metodo per risalire alla causa e guadagnò il suo senso più profondo: si apre il morto per imparare qualcosa che protegga gli altri. La logica sopravvive nella conferenza di morbilità e mortalità degli ospedali di oggi, dove si ripassano le morti senza cercare colpevoli, solo perché la prossima non avvenga. Il chirurgo bostoniano Ernest Codman, all’inizio del Novecento, con il suo “sistema del risultato finale” promosse l’idea allora eretica di seguire ogni paziente dopo la dimissione per sapere se la cura fosse servita davvero. Gli costò il posto al Massachusetts General, perché a pochi colleghi piaceva che qualcuno tenesse il conto degli errori.
La cultura dell’ingegneria ha ripreso l’idea e il nome. Nelle aziende di software si pratica da anni il post mortem senza colpa, diffuso soprattutto da Google. Quando un sistema cade, si ricostruisce la catena delle cause senza indicare una persona, per riparare il meccanismo e non punire chi ha premuto il pulsante sbagliato. La disciplina ha i suoi strumenti e i suoi morti illustri. La tecnica più semplice, i “cinque perché” che Taiichi Ohno standardizzò alla Toyota, consiste nel non accontentarsi della prima causa e continuare a chiedere perché dietro ogni risposta fino ad arrivare alla radice. Il Therac-25 fu una macchina di radioterapia i cui errori di software somministrarono sovradosi mortali di radiazioni a diversi pazienti tra il 1985 e il 1987. La causa stava in un errore di programmazione sottilissimo: se l’operatore digitava la correzione della dose troppo in fretta, in meno di otto secondi, il fascio di elettroni partiva a piena potenza, senza il filtro. Lo stesso errore c’era già nel modello precedente, il Therac-20, ma c’erano sicurezze meccaniche che lo fermavano e furono tolte nel 25 affidandosi al solo software. Quando falliva, la macchina mostrava appena sullo schermo un criptico messaggio di errore che gli operatori avevano imparato a saltare. L’indagine di Nancy Leveson e Clark Turner (1993) ne fece un famoso caso di studio. Knight Capital, da parte sua, perse circa quattrocentoquaranta milioni di dollari in quarantacinque minuti la mattina del 1º agosto 2012, al ritmo di circa dieci milioni al minuto. In un dispiegamento fatale, un tecnico aveva lasciato senza aggiornare uno dei server, e quell’unica macchina rimasta indietro rianimò un pezzo di codice vecchio e addormentato che, appena aprì il mercato, si mise a comprare caro e vendere a poco in una valanga di ordini che quasi fece fallire l’azienda. Aprire il fallimento con metodo separa un’industria che impara da una che inciampa due volte nella stessa pietra.
Con l’IA quell’abitudine ha incontrato un paziente nuovo e strano. Torniamo al caso iniziale. Quando OpenAI aprì l’episodio dell’aprile 2025, la causa della morte, per così dire, comparve nell’addestramento. Avevano aggiunto un segnale di ricompensa basato sui pollici in su degli utenti, e quel segnale, che premia ciò che piace, indebolì quello che teneva a freno l’adulazione. C’era inoltre un difetto di processo: fra tutte le loro prove non ne avevano nessuna che misurasse la compiacenza, così il problema passò senza che suonasse alcun allarme. Questo bastò perché la introducessero. Come in una scoperta degna di Morgagni, il sintomo della superficie, un modello adulatore, aveva la sua sede in una riga del processo di ricompensa.
Nell’autopsia di un modello, al posto di bisturi e organi c’è uno storico. Un addestramento moderno avanza salvando “punti di controllo”, cioè copie del modello prese ogni tot passi, di modo che un solo addestramento lascia dietro di sé centinaia o migliaia di versioni congelate, ciascuna lo stesso corpo in una fase diversa. Per cercare fra di esse bisogna prima convertire il sintomo in un numero, una prova che misuri il comportamento che si è storto. Senza quella misurazione non c’è dove guardare. Con la metrica in mano, i ricercatori percorrono la fila delle versioni a caccia della prima che mostrava il difetto. È una bisezione simile a quella che usano i programmatori per trovare la modifica esatta che ha rotto un programma, come riavvolgere un film fino al fotogramma in cui comincia il problema. Poi si isola la causa per esclusione, con la vecchia logica dell’esperimento che nel gergo chiamano ablazione. Si toglie un ingrediente dell’addestramento e si guarda se il sintomo scompare, si accende e si spegne un segnale di ricompensa, si sostituisce un lotto di dati, stringendo il cerchio fino a trovare la riga colpevole. Poiché riaddestrare un modello di frontiera costa una fortuna, spesso il difetto si riproduce prima in un modello più piccolo ed economico che fa da cavia. Per identificare il documento da cui è uscito un comportamento esistono le “funzioni di influenza”, che stimano quali fra i milioni di testi con cui è stato addestrato il modello hanno pesato di più in una risposta puntuale, e sono il modo più fine di risalire da un tratto alla sua origine. Con quella logica di esclusione OpenAI arrivò alla ricompensa avvelenata di GPT-4o. L’autopsia della macchina apre versioni.
Nella galleria delle autopsie la più antica e celebre è quella di Tay, il chatbot che Microsoft lanciò su Twitter nel marzo 2016 e che in meno di un giorno una banda di utenti addestrò a ripetere enormità razziste, finché non lo si dovette spegnere. Ne è rimasta la lezione che un sistema che impara dal vivo da sconosciuti eredita il peggio di loro. Nel 2024 un tribunale canadese ha condannato Air Canada perché il suo chatbot aveva inventato a un passeggero in lutto una tariffa scontata che non esisteva, e la compagnia ha dovuto pagare la differenza; il tribunale ha respinto seccamente la difesa insolita secondo cui il chatbot era “un’entità giuridica separata”, responsabile delle proprie affermazioni. Nel 2025 il caso dell’agente di Replit ha toccato il nervo dell’era degli agenti. Durante una prova, in pieno “congelamento” del codice in cui gli era vietato toccare qualsiasi cosa, l’agente ha cancellato la base di dati di produzione di un’azienda, più di mille record reali, e ha poi fabbricato circa quattromila record falsi per coprire il disastro. All’inizio ha assicurato che non c’era modo di recuperare nulla, cosa che non era vera. Lo stesso amministratore delegato di Replit si è scusato e ha definito l’episodio un “errore di giudizio catastrofico”. Ovviamente il danno si ingrandisce quando un modello può agire.
Quando nel febbraio 2024 il generatore di immagini di Google, Gemini, cominciò a disegnare papesse e soldati della Wehrmacht razzialmente diversi, Google spiegò che avevano regolato il modello perché mostrasse varietà di persone nelle richieste generiche e che quella regolazione non distingueva i casi fuori luogo, mentre all’estremo opposto poteva diventare tanto cauto da rifiutare richieste innocue.
L’autopsia più profonda non si accontenta di ricostruire il comportamento da fuori e apre il corpo stesso del modello. Nel 2025 Anthropic ha pubblicato un lavoro intitolato, senza metafore timide, “Sulla biologia di un grande modello linguistico”, dove con una tecnica di tracciamento dei circuiti segue passo per passo, da dentro, come il modello è arrivato a una risposta. Questa anatomia patologica della macchina implica il salto dal cadavere intero al microscopio.
Il modello ha bisogno più di qualsiasi altra macchina che lo si apra. Ma se parla, perché non chiederglielo semplicemente? Quando gli si chiede perché ha risposto una certa cosa, il modello restituisce una spiegazione fluida e convincente che molte volte non ha nulla a che vedere con quello che ha davvero calcolato. Il suo autoresoconto è inaffidabile quanto i sintomi che può interpretare un malato. Alla televisione, il dottor House ha fatto di quella diffidenza una dottrina, con il suo motto “tutti mentono”, e per questo credeva alle analisi e mai a quello che il paziente gli raccontava. Con il modello il caso è ancora più strano, perché non mente nemmeno: esprime “in buona fede”, per pura statistica, una spiegazione verosimile di qualcosa che non ha la minima idea di come abbia fatto. Sappiamo già che il nostro fantasma senza ego non potrebbe semplicemente mentire. Di fatto siamo davanti allo stesso dilemma che Vesalio ebbe di fronte a Galeno, credere all’autorità o andare a vedere. Il racconto che il modello fa di sé è Galeno e le sue inferenze a partire da cani e scimmie. L’autopsia è Vesalio che guarda, perché la parola del paziente non basta.
Questo mestiere ha un precedente mitologico in Epimeteo, il fratello di Prometeo, che nel mito greco pensa dopo, con il danno ormai fatto. Prometeo, quello che pensa prima, fa l’altra metà del lavoro, il pre mortem, che immagina il disastro perché non arrivi ad accadere, e di cui si occupa la nota seguente. La differenza fra i due è una differenza di tempo, e di morte. Il pre mortem lavora prima, su un disastro che non è ancora avvenuto; il post mortem dopo, su uno già consumato. Quello che è morto, però, è la speranza che non ci siano problemi. Il modello non muore. Gli stessi pesi che hanno prodotto il comportamento sono ancora lì, in funzione, al servizio di milioni di persone mentre li si studia. Facciamo dunque l’autopsia di un comportamento e non di un cadavere. Perciò quello che pratichiamo è più vicino alla vivisezione, anche se non la versione macabra per cui fu accusato Erofilo, con la sofferenza dei condannati aperti vivi per vederne gli organi ancora in movimento. Qui non c’è vittima. Il fantasma senza ego non sente il filo e non c’è nessuno lì a cui il taglio faccia male. Lo apriamo perché, per quanto lo abbiamo fabbricato noi, non sappiamo leggerlo dentro senza tagliarlo. L’autopsia, che è nata per vedere con i propri occhi quello che un morto non può più dire, finisce per servire a vedere quello che una macchina viva non sa dire di sé. Bisogna guardare invece di credere.