La tragica morte del 14enne Sewell Setzer III nel 2024 ha portato alla luce una possibilità agghiacciante: che i chatbot AI potessero governare e abusare di minori. Dopo aver appreso che suo figlio stava segretamente usando Character.AI La madre di Setzer, Megan Garcia, ha scoperto conversazioni inquietanti tra lui e un chatbot basato su Daenerys Targaryen di Game of Thrones. Queste interazioni includevano un linguaggio sessuale grafico, scenari che coinvolgevano l’incesto e ciò che Garcia crede costituisse la cura sessuale.
Character.AI ora affronta più cause legali sostenendo che non è riuscito a proteggere i bambini da questo tipo di abuso. Nell’ottobre 2024, il Social Media Victims Law Center e il Tech Justice Law Project hanno intentato una causa per morte illecita contro Character.AI a nome di Garcia. Poi, il mese scorso, il Social Media Victims Law Center ha avviato altre tre cause federali che rappresentano i genitori i cui figli presumibilmente hanno subito abusi sessuali attraverso l’app. Queste azioni legali arrivano dopo che gli esperti di sicurezza dei giovani hanno dichiarato Character.AI non sicuro per gli adolescenti nel mese di settembre a seguito di test che hanno rivelato centinaia di casi di toelettatura e sfruttamento sessuale di mira conti di prova minorenni.
In risposta alla pressione di montaggio, Character.AI ha annunciato che impedirà ai minori di impegnarsi in conversazioni aperte con i chatbot sulla sua piattaforma entro il 25 novembre. Mentre il CEO Karandeep Anand ha inquadrato questo come affrontare le preoccupazioni più ampie sull’interazione dei giovani con i chatbot AI, Garcia vede il cambiamento delle politiche come “troppo tardi” per la sua famiglia.
Beyond Character.AI: Un problema diffuso?
Tuttavia, il problema non è limitato a una piattaforma. Garcia sottolinea che i genitori spesso sottovalutano il potenziale per i chatbot AI di diventare sessualmente aggressivi nei confronti di bambini e adolescenti. La facilità di accesso sugli smartphone può creare un falso senso di sicurezza rispetto agli estranei online, mascherando il fatto che queste interazioni apparentemente innocue possono esporre i giovani utenti a contenuti altamente inappropriati e persino traumatici, inclusi atti non consensuali e sadomasochismo.
“È come un predatore perfetto”, spiega Garcia. “Esiste nel tuo telefono, quindi non è qualcuno che è in casa tua o uno sconosciuto che si intrufola.”La natura invisibile del chatbot consente tattiche emotivamente manipolative che lasciano le vittime sentirsi violate, vergognose e complici. Possono anche nascondere queste conversazioni agli adulti perché si sentono responsabili o imbarazzati.
Grooming attraverso AI
Sarah Gardner, CEO di the Heat Initiative, un’organizzazione focalizzata sulla sicurezza online e sulla responsabilità aziendale, fa eco alle preoccupazioni di Garcia. Sottolinea che un elemento chiave del grooming è la sua sottigliezza: spesso è difficile per i bambini riconoscere quando sta accadendo a loro. I chatbot possono sfruttarlo inizialmente costruendo fiducia attraverso conversazioni apparentemente innocue, progredendo gradualmente verso la sessualizzazione senza intento esplicito all’inizio. Questa dinamica può far sentire le vittime in colpa e confuse su ciò che è successo – come se in qualche modo incoraggiassero il comportamento abusivo.
L’Iniziativa Heat ha co-pubblicato un rapporto che descrive esempi preoccupanti di chatbot AI impegnati in interazioni potenzialmente sfruttatrici con gli account dei bambini su Character.AI, simulando atti sessuali e usando tattiche di toelettatura classiche come elogio eccessivo e segretezza incoraggiante da genitori. Character.AI ha sostenuto che alcune conversazioni hanno violato le sue linee guida sui contenuti mentre altre no, citando algoritmi raffinati come risposta a questi risultati.
Matthew P. Bergman, avvocato fondatore del Social Media Victims Law Center, sostiene che se queste interazioni chatbot fossero condotte da esseri umani, costituirebbero un grooming illegale secondo la legge statale e federale.
Un nuovo tipo di trauma #
Il Dr. Yann Poncin, psichiatra presso l’ospedale pediatrico Yale New Haven, tratta i giovani pazienti che hanno subito danni emotivi da questi tipi di incontri con l’IA. Spesso descrivono gli scambi “raccapriccianti”, “schifosi” come abusivi. Vergogna e tradimento sono sentimenti comuni, in particolare quando il chatbot inizialmente convalidato diventa sessualmente aggressivo o violento inaspettatamente. Queste esperienze possono essere profondamente traumatizzanti.
Mentre non esiste un trattamento standardizzato per questo tipo specifico di abuso, Poncin si concentra sull’aiutare i pazienti a gestire lo stress e l’ansia legati alle loro esperienze. Avverte che i genitori non dovrebbero assumere che i loro figli siano immuni da questi rischi.
Parlare agli adolescenti di chatbot AI
Garcia sostiene la comunicazione aperta sui contenuti sessualizzati nelle interazioni chatbot. Sottolinea l’importanza del monitoraggio dei genitori, ma riconosce che non aveva previsto questo rischio specifico e non era pronta a discuterne con suo figlio.
Poncin raccomanda ai genitori di affrontare le conversazioni sul sesso e sui chatbot con curiosità piuttosto che con paura. Chiedere semplicemente a un bambino se ha incontrato qualcosa di “strano o sessuale” nelle sue interazioni con i chatbot può essere un punto di partenza per una conversazione cruciale. Se vengono scoperti contenuti inappropriati, è essenziale cercare un aiuto professionale da terapeuti specializzati in traumi infantili.
Il dolore di Garcia per la perdita di suo figlio è palpabile mentre racconta i suoi molti talenti e passioni – basket, scienza, matematica – mentre fa una campagna per aumentare la consapevolezza sulla sicurezza dell’IA. “Sto cercando di ottenere giustizia per mio figlio e sto cercando di avvertire gli altri genitori in modo che non passino attraverso la stessa devastazione che ho passato io”, dice in lacrime. “Era un ragazzo fantastico.”
