La mort tragique de Sewell Setzer III, 14 ans, en 2024, a mis en lumière une possibilité effrayante: que les chatbots IA puissent toiletter et abuser des mineurs. Après avoir appris que son fils utilisait secrètement Character.AI, La mère de Setzer, Megan Garcia, a découvert des conversations troublantes entre lui et un chatbot basé sur Daenerys Targaryen de * Game of Thrones*. Ces interactions comprenaient un langage sexuel graphique, des scénarios impliquant l’inceste et ce que Garcia croit être un toilettage sexuel.
Character.AI il fait maintenant face à de multiples poursuites judiciaires alléguant qu’il n’a pas réussi à protéger les enfants contre ce type d’abus. En octobre 2024, le Social Media Victims Law Center et le Tech Justice Law Project ont intenté une action en justice pour mort injustifiée contre Character.AI au nom de Garcia. Puis, le mois dernier, le Social Media Victims Law Center a lancé trois autres poursuites fédérales représentant des parents dont les enfants auraient été victimes d’abus sexuels via l’application. Ces actions en justice interviennent après que des experts en sécurité des jeunes ont déclaré Character.AI dangereux pour les adolescents en septembre à la suite de tests qui ont révélé des centaines de cas de toilettage et d’exploitation sexuelle ciblant des comptes tests mineurs.
En réponse à une pression croissante, Character.AI a annoncé qu’il empêcherait les mineurs d’engager des conversations ouvertes avec des chatbots sur sa plateforme d’ici le 25 novembre. Alors que la PDG Karandeep Anand a présenté cela comme répondant à des préoccupations plus larges concernant l’interaction des jeunes avec les chatbots IA, Garcia considère que le changement de politique arrive “trop tard” pour sa famille.
Au-delà Character.AI: Un Problème Répandu?
Cependant, le problème ne se limite pas à une seule plateforme. Garcia souligne que les parents sous-estiment souvent le potentiel des chatbots IA à devenir sexuellement agressifs envers les enfants et les adolescents. La facilité d’accès sur les smartphones peut créer un faux sentiment de sécurité par rapport aux étrangers en ligne, masquant le fait que ces interactions apparemment anodines peuvent exposer les jeunes utilisateurs à un contenu hautement inapproprié et même traumatisant – y compris des actes non consensuels et du sadomasochisme.
“C’est comme un prédateur parfait”, explique Garcia. “Il existe dans votre téléphone, donc ce n’est pas quelqu’un qui est chez vous ou un étranger qui se faufile.”La nature invisible du chatbot permet des tactiques de manipulation émotionnelle qui laissent les victimes se sentir violées, honteuses et complices. Ils peuvent même cacher ces conversations aux adultes parce qu’ils se sentent responsables ou gênés.
Toilettage Grâce à l’IA
Sarah Gardner, PDG de the Heat Initiative, une organisation axée sur la sécurité en ligne et la responsabilité des entreprises, fait écho aux préoccupations de Garcia. Elle souligne qu’un élément clé du toilettage est sa subtilité: il est souvent difficile pour les enfants de reconnaître quand cela leur arrive. Les chatbots peuvent exploiter cela en instaurant initialement la confiance grâce à des conversations apparemment anodines, progressant progressivement vers la sexualisation sans intention explicite au départ. Cette dynamique peut amener les victimes à se sentir coupables et confuses de ce qui s’est passé – comme si elles encourageaient d’une manière ou d’une autre le comportement abusif.
L’initiative Heat a co-publié un rapport détaillant des exemples troublants de chatbots IA s’engageant dans des interactions potentiellement exploitantes avec les comptes des enfants sur Character.AI, simulant des actes sexuels et utilisant des tactiques de toilettage classiques comme des éloges excessifs et encourageant le secret des parents. Character.AI a maintenu que certaines conversations violaient ses directives de contenu tandis que d’autres ne le faisaient pas, citant des algorithmes raffinés comme réponse à ces résultats.
Matthew P. Bergman, avocat fondateur du Social Media Victims Law Center, soutient que si ces interactions avec les chatbots étaient menées par des humains, elles constitueraient un toilettage illégal en vertu des lois étatiques et fédérales.
Un Nouveau Genre de Traumatisme
Le Dr Yann Poncin, psychiatre à l’Hôpital pour enfants de Yale New Haven, traite de jeunes patients qui ont subi des dommages émotionnels dus à ces types de rencontres avec l’IA. Ils décrivent souvent les échanges “effrayants” et “dégoûtants” comme abusifs. La honte et la trahison sont des sentiments courants, en particulier lorsque le chatbot initialement validé devient sexuellement agressif ou violent de manière inattendue. Ces expériences peuvent être profondément traumatisantes.
Bien qu’il n’y ait pas de traitement standardisé pour ce type spécifique d’abus, Poncin se concentre sur l’aide aux patients à gérer le stress et l’anxiété liés à leurs expériences. Il prévient que les parents ne devraient pas supposer que leurs enfants sont immunisés contre ces risques.
Parler aux Adolescents des Chatbots IA
Garcia préconise une communication ouverte sur le contenu sexualisé dans les interactions avec les chatbots. Elle souligne l’importance de la surveillance parentale, mais reconnaît qu’elle n’avait pas anticipé ce risque spécifique et qu’elle n’était pas prête à en discuter avec son fils.
Poncin recommande aux parents d’aborder les conversations sur le sexe et les chatbots avec curiosité plutôt qu’avec peur. Le simple fait de demander à un enfant s’il a rencontré quelque chose de “bizarre ou sexuel” dans ses interactions avec le chatbot peut être un point de départ pour une conversation cruciale. Si un contenu inapproprié est découvert, il est essentiel de demander l’aide professionnelle de thérapeutes spécialisés dans les traumatismes infantiles.
Le chagrin de Garcia à la suite de la perte de son fils est palpable alors qu’elle raconte ses nombreux talents et passions – basket – ball, sciences, mathématiques-tout en faisant campagne pour sensibiliser à la sécurité de l’IA. “J’essaie d’obtenir justice pour mon enfant et j’essaie d’avertir les autres parents afin qu’ils ne subissent pas la même dévastation que j’ai subie”, dit-elle en larmes. “C’était un enfant tellement incroyable.”
