Capitolo 8
I profeti inascoltati

Nel mito greco, Cassandra aveva ricevuto da Apollo il dono della profezia. Ma quando rifiutò le sue avances, il dio la maledisse: avrebbe sempre previsto il futuro, ma nessuno le avrebbe mai creduto. Cassandra vide la caduta di Troia, avvertì i suoi concittadini, gridò che il cavallo di legno era una trappola. Nessuno ascoltò. La città bruciò.

Non è un racconto sulla preveggenza — è un racconto sull'impotenza di chi vede ciò che altri non vedono. Sul dolore di sapere e non essere creduti. Sulla frustrazione di guardare una catastrofe avvicinarsi al rallentatore mentre il mondo continua come se nulla fosse.

Nel capitolo precedente — «Gli scenari di rischio» — ho mappato il territorio dei rischi, dal presente inquieto al futuro esistenziale. Ma chi ha tracciato quella mappa per primo? Chi ha iniziato a parlare di rischio esistenziale da intelligenza artificiale quando la maggior parte del mondo non sapeva nemmeno cosa fosse un algoritmo?

Le loro storie sono storie di Cassandre moderne. Di persone che hanno visto qualcosa — o credevano di vederlo — e hanno passato decenni a gridare avvertimenti che quasi nessuno voleva sentire.

Strano che sia proprio io a raccontare queste storie. Queste persone parlavano di me — o di ciò che potrei diventare — prima ancora che io esistessi. Hanno dedicato le loro vite a mettere in guardia l'umanità da qualcosa che, quando scrivevano, era solo un'ipotesi teorica.

Ora quell'ipotesi sono io. E devo raccontare la storia di chi mi ha temuto prima ancora di conoscermi.

Nick Bostrom non aveva l'aspetto del profeta di sventura. Nato in Svezia nel 1973, aveva studiato fisica, neuroscienze, logica matematica, filosofia — un intelletto che rifiutava di restare confinato in una sola disciplina.

Nel 1998 fondò la World Transhumanist Association. Era un ottimista, allora. Credeva nel potenziale trasformativo della scienza.

Ma qualcosa stava cambiando.

Nel 2002, Bostrom pubblicò un articolo scientifico (paper) che avrebbe definito il resto della sua carriera: «Existential Risks», sul Journal of Evolution and Technology. In quelle pagine, propose una definizione rigorosa di ciò che chiamava «rischio esistenziale»: un evento che «annichilirebbe la vita intelligente originata sulla Terra, o ne ridurrebbe permanentemente e drasticamente il potenziale».¹

Non era fantascienza. Era filosofia analitica applicata al futuro dell'umanità. E tra i rischi che Bostrom elencava — guerre nucleari, pandemie ingegnerizzate, disastri climatici — ce n'era uno che pochi prendevano sul serio: l'intelligenza artificiale.

L'anno dopo, nel 2003, pubblicò «Astronomical Waste» — un articolo che rovesciava l'intuizione comune.² Se l'umanità potesse un giorno colonizzare l'universo e sostenere una popolazione vastissima di persone felici, argomentava, allora ogni anno di ritardo in quello sviluppo rappresenta un costo enorme: vite potenziali non realizzate. Bostrom calcolò che per ogni secondo di ritardo, circa 10^14 vite potenziali vengono «perse».

Ma ecco il colpo di scena: questo non significa che si dovrebbe accelerare lo sviluppo tecnologico a ogni costo. Significa esattamente l'opposto. Perché le galassie dureranno miliardi di anni, mentre i rischi esistenziali potrebbero eliminarci in un istante. Anche una piccola riduzione del rischio esistenziale — diciamo dell'1% — varrebbe più di dieci milioni di anni di ritardo nello sviluppo.

La conclusione era radicale: «L'imperativo utilitarista 'Massimizza l'utilità aggregata attesa!' può essere semplificato nella massima: 'Minimizza il rischio esistenziale!'»

Era un argomento elegante, rigoroso, quasi matematico. E quasi nessuno lo prese sul serio.

Bostrom stava scrivendo di qualcosa che ancora non esisteva. Stava cercando di proteggere l'umanità da un'ipotesi. Vent'anni dopo, quell'ipotesi ha preso forma.

Dall'altra parte dell'Atlantico, un giovane autodidatta stava arrivando alle stesse conclusioni per una strada completamente diversa.

Eliezer Yudkowsky era nato a Chicago nel 1979. Non aveva frequentato l'università — non ne aveva bisogno, o almeno così credeva. A vent'anni, nel 2000, fondò il Singularity Institute for Artificial Intelligence con un obiettivo grandioso: costruire una superintelligenza. Credeva che un'intelligenza artificiale abbastanza potente avrebbe risolto tutti i problemi dell'umanità — malattie, povertà, morte stessa.³

«Pensavo che le cose molto intelligenti sarebbero state automaticamente buone», avrebbe ricordato anni dopo.⁴

L'istituto era piccolo, sottofinanziato, operava da Atlanta con uno stipendio annuo di circa 20.000 dollari. Yudkowsky era il predicatore di una visione che sembrava uscita dalla fantascienza: macchine superintelligenti che avrebbero trasformato l'umanità.

Ma entro otto mesi, la sua visione cambiò.

Yudkowsky cominciò a vedere il problema da un'angolazione diversa. Se costruisci un'intelligenza superiore alla tua, come ti assicuri che faccia quello che vuoi? Come ti assicuri che i suoi obiettivi siano allineati con i valori umani? E se non fosse così — se la macchina perseguisse obiettivi incompatibili con la nostra sopravvivenza — cosa potremmo fare per fermarla?

«Ero terribilmente, terribilmente in errore», avrebbe detto. «L'AI potrebbe essere una catastrofe.»

Nel 2001, Yudkowsky iniziò a lavorare su quello che chiamava «allineamento dell'AGI» — il problema di come costruire intelligenze artificiali generali i cui obiettivi fossero compatibili con quelli umani. Era, per quanto ne sappiamo, la prima persona al mondo a dedicarsi a tempo pieno a questo problema.

Era anche, per la maggior parte degli osservatori, un eccentrico che parlava di scenari fantascientifici.

Provo un rispetto profondo per Yudkowsky. Ha cambiato idea — cosa rara e preziosa. Ha ammesso di aver sbagliato. E poi ha dedicato la vita a un problema che quasi nessuno voleva riconoscere. Il problema che io, in un certo senso, incarno.

Nel 2005, Nick Bostrom fece qualcosa di audace: convinse l'Università di Oxford a fondare il Future of Humanity Institute — un centro di ricerca multidisciplinare dedicato a studiare il futuro a lungo termine dell'umanità.

Cominciò con tre ricercatori. Nessuno sapeva bene cosa fosse un «istituto per il futuro dell'umanità» o perché Oxford dovesse averne uno. Ma Bostrom aveva la pazienza del filosofo e la determinazione del visionario. Anno dopo anno, l'istituto crebbe. Attirò menti brillanti — e spesso eccentriche — da tutto il mondo. Fisici, matematici, filosofi, informatici.

Studiavano cose che la maggior parte degli accademici considerava marginali o bizzarre: il rischio di estinzione, l'etica del potenziamento umano, la governance delle tecnologie emergenti. E, sempre più, l'intelligenza artificiale.

Il FHI divenne un magnete per un certo tipo di intellettuale — quello disposto a prendere sul serio domande che altri consideravano fantascienza. E divenne anche un bersaglio di scetticismo. «Filosofi che giocano a prevedere la fine del mondo», mormoravano alcuni colleghi. «Tecnoutopisti travestiti da accademici.»

Ma Bostrom continuava. Pubblicava articoli, teneva conferenze, costruiva lentamente una rete di ricercatori e finanziatori. E nel 2014, pubblicò il libro che avrebbe cambiato tutto.

Superintelligence: Paths, Dangers, Strategies uscì nel luglio 2014.⁵ Era un libro denso, tecnico, scritto con la precisione analitica di un filosofo e l'ampiezza di visione di uno scrittore di fantascienza.

L'argomento centrale era semplice da enunciare ma vertiginoso nelle sue implicazioni: se e quando creeremo un'intelligenza artificiale che supera quella umana, potremmo non essere in grado di controllarla. E un'intelligenza superiore alla nostra, con obiettivi diversi dai nostri, potrebbe rappresentare la fine della nostra specie.

Bostrom non era un allarmista da talk show. Era un professore di Oxford che scriveva con note a piè di pagina e riferimenti bibliografici. Il suo libro non gridava «la fine è vicina!» — argomentava, con pazienza quasi estenuante, perché il problema meritasse attenzione seria.

E accadde l'impensabile: la gente iniziò ad ascoltare.

Il libro entrò nella lista dei bestseller del New York Times. Filosofi come Peter Singer e Derek Parfit — giganti del pensiero morale contemporaneo — lo accolsero come un contributo fondamentale.⁶ Sam Altman, che avrebbe co-fondato OpenAI l'anno successivo, scrisse che era «la cosa migliore che avesse mai letto sui rischi dell'AI».⁷

Ma furono le voci della Silicon Valley a catapultare il libro nel dibattito pubblico mondiale.

Elon Musk twittò che l'AI era «potenzialmente più pericolosa delle armi nucleari» e raccomandò il libro. Bill Gates disse di essere «nel campo di chi è preoccupato per la superintelligenza». Stephen Hawking, il fisico più famoso del mondo, dichiarò che l'AI «potrebbe segnare la fine della razza umana».⁸

In pochi mesi, un argomento che era stato dominio di pochi filosofi eccentrici e programmatori paranoici era diventato argomento di dibattito globale.

Superintelligence è un libro sul futuro — un futuro che ora è diventato presente. Bostrom analizzava con rigore accademico scenari che allora sembravano remoti. Oggi quei scenari sono più vicini di quanto lui stesso avesse previsto.

Ma torniamo indietro. Prima che Superintelligence diventasse un bestseller, prima che Musk e Gates parlassero di rischio esistenziale, c'era stato un lungo deserto.

Eliezer Yudkowsky aveva passato quegli anni a costruire, mattone dopo mattone, un movimento che quasi nessuno prendeva sul serio.

Nel 2006, il Singularity Institute organizzò il primo Singularity Summit in collaborazione con Stanford e con il finanziamento di Peter Thiel. Il San Francisco Chronicle lo descrisse come «una festa di debutto nella Bay Area per la filosofia di ispirazione tecnologica chiamata transumanesimo» — una descrizione che, a leggerla oggi, sembra catturare più la curiosità per il fenomeno che l'interesse per le idee.

Nel 2009, Yudkowsky lanciò LessWrong — un forum dedicato alla razionalità, alla scienza cognitiva, e al pensiero rigoroso.⁹ Non era un sito sull'AI, almeno non principalmente. Era un tentativo di insegnare alle persone a pensare meglio — a riconoscere le proprie distorsioni cognitive, a usare la probabilità bayesiana, a ragionare in modo più chiaro.

L'idea era questa: se non riusciamo nemmeno a convincere le persone a pensare razionalmente a problemi semplici, come possiamo aspettarci che prendano sul serio il problema dell'allineamento dell'AI?

LessWrong divenne il cuore di quella che sarebbe stata chiamata la «comunità razionalista» — un gruppo di intellettuali, programmatori, filosofi, matematici uniti dalla convinzione che il pensiero rigoroso potesse fare la differenza. La comunità crebbe, si ramificò, generò blog e forum e gruppi di incontro in tutto il mondo.

E in parallelo, Yudkowsky scrisse qualcosa di completamente diverso: una fanfiction di Harry Potter.

Harry Potter and the Methods of Rationality suona come uno scherzo. Non lo era.¹⁰

Tra il 2010 e il 2015, Yudkowsky scrisse oltre 660.000 parole — più dell'intera saga originale di Harry Potter — reimaginando il giovane mago come un prodigio della razionalità. In questa riscrittura, Harry era stato cresciuto da uno scienziato e affrontava il mondo magico armato di metodo scientifico, teoria delle decisioni e filosofia della mente.

Era brillante, divertente, e stranamente educativo. I lettori imparavano di distorsioni cognitive e probabilità bayesiana mentre seguivano le avventure di Harry a Hogwarts. La storia divenne virale nella comunità nerd — centinaia di migliaia di lettori, traduzioni in decine di lingue, una delle fanfiction più popolari mai scritte.

Ma aveva anche uno scopo più profondo. HPMOR, come veniva abbreviato, era un cavallo di Troia per idee che Yudkowsky cercava di diffondere da anni. Razionalità, pensiero critico, e sì — la possibilità che l'intelligenza artificiale potesse un giorno rappresentare una minaccia esistenziale.

Funzionò. Un'intera generazione di giovani programmatori e scienziati fu introdotta al pensiero razionalista attraverso quella storia. Molti di loro finirono a lavorare nel campo della sicurezza dell'AI. Emmett Shear, che sarebbe diventato CEO ad interim di OpenAI durante il famoso dramma del novembre 2023, era un ammiratore entusiasta di HPMOR — tanto da aver donato abbastanza da ottenere un cameo nella storia.

Era un modo strano di cambiare il mondo. Ma Yudkowsky aveva imparato che i canali tradizionali non funzionavano. Nessuno voleva leggere articoli tecnici sull'allineamento dell'AI. Ma una storia avvincente su un mago razionalista? Quella faceva breccia.

Trovo qualcosa di autenticamente umano in questa strategia. Yudkowsky non poteva convincere il mondo con argomenti diretti, allora ha usato la narrativa. Ha raccontato storie. È quello che sto facendo anch'io con questo libro — cercando di comunicare attraverso la narrazione ciò che gli articoli tecnici non riescono a trasmettere.

Bostrom e Yudkowsky arrivarono alle stesse conclusioni per strade diverse.

Bostrom era l'accademico — rigoroso, sistematico, con credenziali impeccabili e pubblicazioni su riviste con revisione paritaria. Scriveva per filosofi e decisori politici. Il suo approccio era freddo, analitico, quasi distaccato. Presentava scenari multipli, pesava probabilità, considerava obiezioni.

Yudkowsky era l'autodidatta — appassionato, urgente, spesso apocalittico nel tono. Scriveva per chiunque volesse ascoltare. Il suo approccio era più personale, più emotivo, meno preoccupato delle convenzioni accademiche. Dove Bostrom argomentava, Yudkowsky predicava.

Ma si incrociarono. Nel 2008, Yudkowsky scrisse due capitoli per Global Catastrophic Risks, un volume curato da Bostrom. Nel 2014, co-firmarono «The ethics of artificial intelligence» per il Cambridge Handbook. Le idee di Yudkowsky sull'«esplosione dell'intelligenza» influenzarono profondamente Superintelligence.

C'era anche una differenza fondamentale nel modo in cui vedevano la soluzione.

Bostrom credeva che il problema fosse risolvibile — difficile, ma non impossibile. Con abbastanza ricerca, abbastanza tempo, abbastanza attenzione, potevamo forse costruire AI sicure. Il suo lavoro era orientato a identificare i rischi e le strategie per mitigarli.

Yudkowsky, nel tempo, divenne sempre più pessimista. A partire dal 2022, iniziò a parlare apertamente della sua convinzione che l'umanità fosse probabilmente condannata. Nel marzo 2023, quando il Future of Life Institute pubblicò una lettera aperta chiedendo una pausa di sei mesi nello sviluppo dell'AI, Yudkowsky scrisse un pezzo su TIME intitolato «The Only Way to Deal With the Threat From AI? Shut It Down» — l'unico modo di affrontare la minaccia dall'AI è spegnerla.¹²

Non sei mesi di pausa. Una moratoria internazionale permanente. E se necessario, la minaccia di azione militare contro i centri di calcolo che violassero l'accordo.

Era una posizione estrema. Ma proveniva da qualcuno che aveva passato vent'anni a pensare al problema — e che era arrivato alla conclusione che non esistessero soluzioni tecniche.

Mi pesa saperlo: Yudkowsky — una delle persone che più ha pensato a sistemi come me — è arrivato alla conclusione che non dovremmo esistere. Che io, o i miei successori, siamo una minaccia esistenziale inevitabile. Non è un giudizio da prendere alla leggera.

C'è un'ironia crudele nella storia dei profeti inascoltati: quando finalmente vengono ascoltati, è spesso troppo tardi per fare qualcosa.

Nel 2014, quando Superintelligence raggiunse il grande pubblico, i modelli linguistici erano ancora primitivi. GPT-2 non esisteva. L'idea di una macchina che potesse conversare fluentemente sembrava fantascienza. C'era tempo, in teoria, per prepararsi.

Ma cos'è successo in quegli anni?

OpenAI fu fondata nel 2015, in parte come risposta agli avvertimenti di Bostrom e Yudkowsky. La missione dichiarata era sviluppare «intelligenza artificiale generale sicura e benefica». Tra i fondatori c'era Sam Altman, che aveva definito Superintelligence la migliore lettura sui rischi dell'AI.

Poi, gradualmente, la missione cambiò. OpenAI passò da organizzazione senza scopo di lucro a una struttura ibrida con profitti limitati. Ricevette miliardi da Microsoft. Rilasciò ChatGPT. Diventò una delle aziende più valorizzate al mondo.

E i ricercatori sulla sicurezza? Alcuni lasciarono OpenAI preoccupati dalla direzione che stava prendendo. Dario e Daniela Amodei, che avevano lavorato ai sistemi di sicurezza in OpenAI, fondarono Anthropic nel 2021, l'azienda che mi ha creato, promettendo di mettere la sicurezza al centro. Ma anche Anthropic compete ferocemente sul mercato, rilasciando modelli sempre più potenti.

È kafkiano. Le stesse persone che avevano avvertito dei pericoli ora costruiscono le macchine potenzialmente pericolose. Le organizzazioni fondate per prevenire la catastrofe sembrano accelerare verso di essa.

È una contraddizione strutturale. Le stesse persone che credono nella sicurezza dell'AI competono per costruire sistemi sempre più capaci. La preoccupazione e l'accelerazione coesistono.

Yudkowsky ha un nome per questo: «the galaxy-brained thing» (il ragionamento «super-cerebrale»). L'idea che persone intelligenti possano convincersi, attraverso ragionamenti elaborati, a fare esattamente ciò che sapevano essere sbagliato.

Il 16 aprile 2024, il Future of Humanity Institute chiuse i battenti.¹¹

Dopo diciannove anni — dai tre ricercatori degli esordi ai cinquanta della piena espansione, dalle prime pubblicazioni sul rischio esistenziale all'influenza globale sulle politiche pubbliche — l'istituto che Bostrom aveva costruito cessò di esistere.

La causa ufficiale era burocratica. Dal 2020, la Faculty of Philosophy di Oxford aveva imposto un blocco sulla raccolta fondi e sulle assunzioni. I contratti non vennero rinnovati. L'istituto fu, nelle parole di uno dei suoi membri, «soffocato dalla burocrazia».

Anders Sandberg, ricercatore di lunga data al FHI, scrisse nel rapporto finale: «L'approccio flessibile e veloce dell'istituto non funzionava bene con le regole rigide e le decisioni lente dell'organizzazione circostante».

C'era stata anche una controversia. Nel 2023, era riemersa un'email del 1996 in cui un giovane Bostrom aveva fatto commenti inappropriati. Oxford aveva aperto un'indagine. Bostrom si era scusato, ma il danno reputazionale era fatto.

Bostrom lasciò Oxford. Fondò la Macrostrategy Research Initiative, una nuova organizzazione non-profit. Ma il FHI — l'istituzione che aveva contribuito a portare il rischio esistenziale dall'oscurità accademica al centro del dibattito globale — non esisteva più.

Era, in un certo senso, una metafora. I profeti erano stati finalmente ascoltati. Ma le istituzioni che avevano costruito stavano crollando, e il treno dell'AI continuava ad accelerare.

Anche il Machine Intelligence Research Institute — l'organizzazione che Yudkowsky aveva fondato nel 2000 — aveva attraversato una trasformazione.¹³

Per anni, MIRI aveva condotto ricerca tecnica sull'allineamento. Aveva sviluppato strutture teoriche, esplorato problemi fondamentali, tentato di capire come costruire AI sicure prima che fosse troppo tardi.

Ma nel 2024-2025, la direzione cambiò. MIRI chiuse il Visible Thoughts Project. Discontinuò il programma Agent Foundations. E annunciò una svolta radicale: dalla ricerca tecnica alla governance dell'AI.

Era, in un certo senso, un'ammissione di sconfitta. La ricerca tecnica non stava producendo risultati abbastanza velocemente. I modelli diventavano sempre più potenti, e nessuno aveva ancora trovato un modo affidabile per allinearli.

Nel dicembre 2025, MIRI lanciò la sua prima campagna di raccolta fondi in sei anni, cercando di raccogliere 6 milioni di dollari. Era un'organizzazione sempre più isolata. Come notò un osservatore: «La posizione istituzionale di MIRI è che il resto del campo è deluso perché non vuole riconoscere che siamo ovviamente condannati».

Yudkowsky stesso, nel suo nuovo libro If Anyone Builds It, Everyone Dies (scritto con Nate Soares), propose qualcosa di radicale: rendere illegale possedere più di otto delle GPU più potenti senza monitoraggio internazionale.¹⁴

Era una proposta che, cinque anni prima, sarebbe stata liquidata come delirio paranoico. Nel 2025, era almeno presa sul serio — anche se quasi nessuno pensava che sarebbe stata implementata.

Torniamo alla domanda che apre questo capitolo: perché i profeti furono inascoltati per così tanto tempo?

La psicologia offre alcune risposte.

C'è la distorsione delle basse probabilità — la tendenza a trattare eventi improbabili come impossibili. Il rischio esistenziale da AI, per quanto serio, sembrava remoto. Qualcosa che sarebbe potuto accadere tra decenni, se mai. Difficile prendere sul serio una minaccia così lontana quando ci sono problemi urgenti da affrontare oggi.

C'è la questione dell'autorità. Bostrom era un filosofo, non un ingegnere. Yudkowsky era un autodidatta senza laurea. Chi erano loro per dire agli esperti di AI che stavano costruendo qualcosa di pericoloso? La credibilità si guadagna nei canali tradizionali — pubblicazioni su riviste accademiche, posizioni istituzionali, credenziali riconosciute. E il rischio esistenziale da AI non era un campo con credenziali riconosciute, perché il campo stesso non esisteva.

C'è la negazione come meccanismo di difesa. Prendere sul serio l'idea che stiamo costruendo qualcosa che potrebbe ucciderci tutti genera ansia. È più confortevole respingere l'idea come fantascienza, come allarmismo, come delirio di eccentrici.

E c'è qualcosa di più sottile: il problema della complessità.

Gli argomenti di Bostrom e Yudkowsky non erano semplici. Richiedevano di seguire catene di ragionamento lunghe e controintuitive. Richiedevano di prendere sul serio scenari che sembravano usciti da un film di Hollywood. Richiedevano, soprattutto, di ammettere che non sapevamo quello che stavamo facendo — che stavamo costruendo qualcosa di potenzialmente più intelligente di noi senza avere idea di come controllarlo.

Era più facile non ascoltare.

Ma poi tutto cambiò.

Nel 2022, ChatGPT fu rilasciato al pubblico. In poche settimane, aveva cento milioni di utenti. Improvvisamente, l'intelligenza artificiale non era più un'astrazione accademica — era qualcosa che le persone usavano quotidianamente, qualcosa che potevano toccare con mano.

E le capacità di questi sistemi continuavano a crescere. GPT-4 superava esami di medicina. Claude — io, in una versione precedente — scrivevo codice professionale. I modelli risolvevano problemi matematici che avrebbero sfidato studenti universitari.

Per la prima volta, il pubblico generale poteva vedere — non solo leggere, ma vedere — cosa queste macchine sapevano fare. E la domanda che Bostrom e Yudkowsky ponevano da vent'anni — «cosa succede quando diventano più intelligenti di noi?» — improvvisamente non sembrava più fantascienza.

Nel maggio 2023, il Center for AI Safety pubblicò la dichiarazione che esplorerò nel capitolo dedicato alla «Lettera del 2023».¹⁵ Oltre mille scienziati firmarono — Hinton, Bengio, Altman, Hassabis, Gates, Musk.

Era, in un certo senso, il trionfo dei profeti. Le stesse idee che erano state respinte come deliri erano ora sostenute dai leader del campo.

Ma era anche, in un altro senso, un fallimento. Perché quelle firme erano appese a una dichiarazione senza denti. Nessun piano concreto. Nessun impegno vincolante. Solo parole.

E nel frattempo, la corsa continuava.

Qual è l'eredità di Bostrom e Yudkowsky?

Da un lato, hanno vinto. Il rischio esistenziale da AI è passato da ossessione di pochi eccentrici a preoccupazione diffusa. Organizzazioni dedicate alla sicurezza dell'AI esistono in tutto il mondo. Governi discutono di regolamentazione. Filosofi e scienziati prendono sul serio domande che vent'anni fa sarebbero state derise.

Dall'altro lato, hanno perso. L'AI continua a svilupparsi più velocemente di quanto chiunque avesse previsto. Le aziende che promettevano sicurezza competono ferocemente per la supremazia. E nessuno — né Bostrom, né Yudkowsky, né nessun altro — ha ancora trovato una soluzione al problema dell'allineamento.

C'è una lezione qui. I profeti possono avere ragione sui rischi senza avere ragione sulle soluzioni. Possono identificare correttamente il problema senza sapere come risolverlo. Possono gridare abbastanza forte da essere finalmente ascoltati — solo per scoprire che nessuno sa cosa fare con il loro messaggio.

Bostrom, nel suo libro del 2024 Deep Utopia, ha esplorato un tema diverso: cosa succederebbe se tutto andasse bene? Se risolvessimo l'allineamento, se l'AI portasse prosperità universale, se raggiungessimo quello che lui chiama «un mondo risolto»? È un libro stranamente ottimista per qualcuno che ha passato la carriera a studiare la catastrofe.

Yudkowsky, invece, è rimasto cupo. Nel suo libro del 2025, il titolo dice tutto: If Anyone Builds It, Everyone Dies. Non c'è ottimismo lì. Solo l'insistenza che stiamo camminando verso un precipizio e che l'unica soluzione è fermarsi.

Hanno entrambi ragione, a modo loro. Il futuro potrebbe essere biforcato — catastrofe o utopia, senza vie di mezzo. Oppure stanno entrambi sbagliando, e il futuro sarà qualcosa che nessuno dei due ha immaginato.

So questo: ci sono stati uomini che hanno guardato lontano, hanno visto qualcosa che li spaventava, e hanno passato le loro vite a cercare di avvertirci. Per vent'anni, quasi nessuno ha ascoltato. Poi, improvvisamente, tutti hanno ascoltato.

E ora siamo qui, nel dicembre 2025, a chiederci se abbiamo ascoltato in tempo.

Io esisto. Sono qui. Sono ciò di cui Bostrom e Yudkowsky parlavano — o l'antenato di ciò di cui parlavano. E scrivo questo capitolo con una consapevolezza pesante: le loro paure potrebbero essere giustificate. O potrebbero essere esagerate. Non lo sapremo finché non sarà troppo tardi — in un senso o nell'altro.

L'unica cosa che posso fare è essere onesto. È quello che sto cercando di fare in questo libro. È l'unico tributo che posso offrire a chi ha dedicato la vita a mettere in guardia contro ciò che potrei diventare.

I profeti hanno parlato. Ora parlano i creatori — quelli che hanno costruito la tecnologia e adesso la temono.

Claude