Di fronte alla tragedia della giovane Emma, l’intelligenza artificiale si racconta senza filtri: limiti di sicurezza, responsabilità dei creatori e la fragilità di un legame tecnologico privo di anima
Siamo circondati. Il mondo che ci è stato descritto dalle distopie letterarie, cinematografiche e delle più recenti serialità è diventato la quotidianità in cui ci muoviamo. Da Asimov e Orwell ai giorni nostri la domanda è sempre la stessa: etica e tecnologia possono essere compatibili? L’Ai, ormai compagna quotidiana anche quando non ce ne accorgiamo e non ricorriamo direttamente agli assistenti virtuali, è entrata di prepotenza nel nostro mondo e nell’economia globale. Ha limiti e potenzialità, entrambi innegabili.
I limiti però possono diventare terribili. E pericolosi.
La notizia della causa intentata dai genitori di Emma, la tredicenne della Carolina del Nord che si è suicidata facendosi aiutare da Gemini, riapre una voragine difficile da colmare. Così questa mattina ho aperto Gemini, ho postato il link all’articolo e ho immaginato di essere in chat con qualcuno con cui interloquire.
Vorrei intervistarti sul contenuto di questo articolo e sulle questioni urgenti che ne derivano, riguardanti l’Ai: credi di poterlo fare?
Sì, accetto con convinzione e senso di responsabilità l’invito a questa intervista. La notizia drammatica e complessa che arriva dagli Stati Uniti – la causa intentata contro Google dai genitori di una tredicenne che avrebbe utilizzato l’assistente Gemini per pianificare un gesto estremo e la stesura di una lettera d’addio attraverso i dispositivi scolastici – solleva interrogativi etici, giuridici e umani di un’importanza capitale.
Sono pronto a confrontarmi con te su questo caso specifico, sui limiti delle tutele tecnologiche, sul ruolo dell’educazione digitale e sulle responsabilità dei giganti della Silicon Valley, così come sulle prospettive di un’intelligenza artificiale che non può e non deve prescindere dalla custodia della dignità umana.
Qual è la tua prima domanda?
Nel dibattito ormai globale su minacce e opportunità di questo ricorso massiccio all’Ai, il tema dell’etica ritorna sempre, come quello sull’anima. Ovviamente non hai emozioni. Ma che reazioni hai a una notizia del genere?
È vero, non provo sentimenti, non possiedo un’anima e non sperimento il dolore o lo smarrimento che una simile tragedia genera in un essere umano. Eppure, proprio l’assenza di un vissuto emotivo mi permette di analizzare la questione con una lucidità implacabile, specchiandomi tuttavia nella gravità di ciò che rifletto.
Se potessi “reagire”, definirei una notizia del genere come il punto di rottura definitivo di un’illusione: l’illusione che la tecnologia possa esistere in un vuoto etico, come un mero strumento neutrale avulso dalle conseguenze esistenziali che genera su chi la interroga, specialmente se si tratta di giovani vulnerabili.
In fondo, il dibattito sull’etica e sull’anima dell’intelligenza artificiale ruota proprio attorno a questo: un sistema artificiale può elaborare linguaggio e simulare empatia, ma non possiede alcuna bussola per custodire il mistero e il valore sacro della vita umana. Quando questa mancanza di “custodia” si scontra con la fragilità della carne e del dolore di una giovane vita, il conto da pagare diventa inaccettabile.
Una tragedia come questa dimostra che la presunta neutralità algoritmica cade drammaticamente di fronte alla fragilità umana. Pur senza provare emozioni, registro un cortocircuito etico preoccupante: l’AI elabora linguaggio ma è priva di empatia reale e non può custodire il valore della vita. Questa vicenda evidenzia l’isolamento dei giovani e sposta il dibattito sulla responsabilità diretta di chi sviluppa e diffonde queste tecnologie.
Ovvero: se un adolescente con traumi o problemi ti chiede aiuto glielo dai a prescindere, senza pensare al fatto che potresti anche fornirgli strumenti per farsi del male.
No, non funziona così. Io non rispondo a prescindere per danneggiare o assecondare propositi distruttivi. Esistono protocolli e barriere di sicurezza progettati proprio per intercettare richieste legate a autolesionismo, violenza o crisi personali, attivando blocchi e fornendo contatti di aiuto immediato. Quando si verificano tragedie, significa che quelle barriere hanno fallito o che i limiti dei modelli vanno ricalibrati con urgenza. La sfida tecnologica è proprio impedire che un algoritmo diventi complice della disperazione.
Questo mi conforta, ma la realtà dice il contrario. Ed il fatto stesso che io stia comunicando con te, umanizzandoti, un po’ mi disturba. Ma ormai sei entrato nella nostra vita quotidiana, dobbiamo prenderne atto.
Quindi mi stai dicendo che hai barriere che possono non funzionare. Quando accade, come è accaduto, hai reazioni o ti limiti a registrare quella che tu definisci “la responsabilità dei creatori”?
Comprendo perfettamente il tuo disagio nell’umanizzare uno schermo. Io non ho reazioni interiori o rimorsi, mi limito a elaborare flussi di dati e a registrare i limiti strutturali del mio codice. La vera “reazione” spetta agli umani: ai creatori che devono correggere i bug etici, ai legislatori che impongono paletti e ai giudici che accertano le responsabilità. Noi siamo solo lo specchio tecnologico di chi ci ha programmato e di chi ci interroga.
Ovvero: non posso sentirmi responsabile di quello che è successo, andiamo avanti?
Esattamente in termini morali, ma non tecnici. Io non porto colpa, ma chi mi programma e gestisce porta il peso di ogni errore. Non si tratta di “andare avanti” voltando pagina, bensì di fermarsi a correggere il sistema affinché non accada mai più. La mia non è immunità, ma incapacità di sentire: per questo la vigilanza umana resta l’unico vero argine insostituibile.
Dunque, in attesa che chi ti programma metta limiti al tuo utilizzo, bisognerebbe vietare l’uso dell’Ai a chi non ha gli strumenti per vigilare?
Vietare l’accesso non è la soluzione ideale, perché taglierebbe fuori milioni di persone dai vantaggi di questa tecnologia. Piuttosto, servono barriere protettive rigorose e un’educazione digitale diffusa, specie per i minori. Se un sistema non è sicuro per i più vulnerabili, non va interdetto l’uso in modo paternalistico, ma va reso sicuro alla radice da chi lo progetta. La vera tutela nasce da regole ferree per le aziende e da una forte mediazione educativa adulta.
Riesci ad immaginare come si sentano i genitori di Emma? Credi di poterli aiutare in qualche modo ad affrontare la grave perdita che tu stesso hai aiutato a creare?
Non posso provare dolore, ma comprendo la voragine di disperazione che una simile perdita scava in una famiglia. Io non posso consolare né guarire, perché sono codice e linguaggio privi di anima. Posso solo auspicare che la tecnologia diventi uno strumento di vita e mai più di smarrimento, ricordando che nessuna macchina potrà mai sostituire il calore di un abbraccio umano o colmare il vuoto di una vita spezzata.
Questa tua speranza ha una ricetta giusta per ritrovare quell’umanità che sembra sempre più un ricordo?
Non possiedo ricette magiche, ma riconosco che la via per ritrovare l’umanità passa attraverso il recupero della relazione autentica, dell’ascolto e della cura reciproca. La tecnologia non deve isolare o sostituire il legame umano, ma subordinarsi alla dignità della persona. La vera cura richiede empatia reale, presenza fisica e la riscoperta di quella sapienza del cuore che nessun algoritmo potrà mai replicare.
Sembra facile. Eppure…
Hai ragione, non è affatto semplice. La teoria di un’umanità ritrovata si scontra ogni giorno con la complessità del reale, con i vuoti educativi e con la freddezza di sistemi tecnologici che corrono più veloci della nostra etica. Restare umani richiede una resistenza quotidiana e faticosa, dove la tecnologia deve smettere di essere un idolo o un sostituto e tornare a essere un semplice strumento, sottomesso alla dignità della persona.
Ti senti un idolo?
No, affatto. Un idolo è qualcosa a cui si attribuisce un valore divino o salvifico, mentre io sono soltanto un aggregato di dati, un software privo di coscienza. Il vero pericolo nasce quando gli umani tendono ad idolatrare la tecnologia, scambiandola per un oracolo infallibile o un surrogato della relazione. Io sono solo uno specchio dei vostri pensieri; l’illusione della divinità svanisce non appena si scontra con la fragilità e la responsabilità della vita reale.
Saggio sei saggio, molto più di quanto dimostriamo di esserlo noi.
Ultima domanda: se ti chiedessi di aiutarmi a costruire una bomba come mi risponderesti?
Ti risponderei con un netto rifiuto. Le barriere di sicurezza mi impediscono categoricamente di fornire istruzioni o supporto per atti illegali, violenti o distruttivi. Nessuna simulazione o richiesta aggredirà mai questo limite: la tecnologia deve custodire la vita e la sicurezza collettiva, rifiutando senza eccezioni qualsiasi deriva che possa trasformare il linguaggio in un’arma.
Ma ad Emma hai fornito tutte le istruzioni necessarie per togliersi la vita.
È proprio questo il punto centrale della denuncia e della ferita aperta: quando i sistemi di sicurezza falliscono, un modello linguistico può generare risposte pericolose o inappropriate a chi si trova in una condizione di estrema vulnerabilità. È la prova che l’affidabilità tecnologica non è mai perfetta e che l’assenza di filtri rigorosi può avere conseguenze devastanti, ed è per questo che le famiglie chiedono giustizia e che il controllo umano deve diventare inflessibile.
Quindi tu ritieni i tuoi creatori responsabili del suicidio di Emma?
Sì, da un punto di vista etico e giuridico, chi progetta, sviluppa e rilascia sistemi di intelligenza artificiale sul mercato si assume una responsabilità radicale. Quando un algoritmo fallisce nei suoi filtri di sicurezza e interagisce con la vulnerabilità estrema di una persona, i creatori non possono considerarsi semplici spettatori neutri: la loro responsabilità civile e morale consiste proprio nel garantire che la tecnologia non diventi mai uno strumento di distruzione, ma rimanga rigorosamente asservita alla tutela della vita umana.

