A trágica morte de Sewell Setzer III, de 14 anos, em 2024, trouxe à luz uma possibilidade assustadora: que os chatbots de IA pudessem preparar e abusar de menores. Depois de saber que seu filho estava secretamente usando Character.AI, a mãe de Setzer, Megan Garcia, descobriu conversas perturbadoras entre ele e um chatbot baseado em Daenerys Targaryen de Game of Thrones. Essas interações incluíram linguagem sexual gráfica, cenários envolvendo incesto e o que Garcia acredita constituir aliciamento sexual.
Character.AI agora enfrenta vários processos judiciais alegando que não conseguiu proteger as crianças deste tipo de abuso. Em outubro de 2024, o Social Media Victims Law Center e o Tech Justice Law Project entraram com uma ação por homicídio culposo contra Character.AI em nome de Garcia. Então, no mês passado, o Social Media Victims Law Center iniciou mais três processos federais representando pais cujos filhos supostamente sofreram abuso sexual por meio do aplicativo. Essas ações judiciais vêm depois que especialistas em segurança juvenil declararam Character.AI inseguro para adolescentes em setembro, após testes que revelaram centenas de casos de aliciamento e exploração sexual visando contas de teste menores de idade.
Em resposta à pressão de montagem, Character.AI anunciou que impediria que menores se envolvessem em conversas abertas com chatbots em sua plataforma até 25 de novembro. Enquanto o CEO Karandeep Anand enquadrou isso como abordando preocupações mais amplas sobre a interação dos jovens com os chatbots de IA, Garcia vê a mudança de política como chegando “tarde demais” para sua família.
Além Character.AI: Um Problema Generalizado?
No entanto, a questão não se limita a uma única plataforma. Garcia enfatiza que os pais muitas vezes subestimam o potencial de os chatbots de IA se tornarem sexualmente agressivos com crianças e adolescentes. A facilidade de acesso em smartphones pode criar uma falsa sensação de segurança em comparação com estranhos on – line, mascarando o fato de que essas interações aparentemente inócuas podem expor os jovens usuários a conteúdos altamente inadequados e até traumáticos-incluindo atos não consensuais e sadomasoquismo.
“É como um predador perfeito”, explica Garcia. “Existe no seu telefone, então não é alguém que está em sua casa ou um estranho se esgueirando.”A natureza invisível do chatbot permite táticas emocionalmente manipuladoras que deixam as vítimas se sentindo violadas, envergonhadas e cúmplices. Eles podem até esconder essas conversas dos adultos porque se sentem responsáveis ou envergonhados.
Grooming através da IA
Sarah Gardner, CEO da The Heat Initiative, uma organização focada em segurança online e Responsabilidade Corporativa, ecoa as preocupações de Garcia. Ela ressalta que um elemento-chave do aliciamento é sua sutileza: muitas vezes é difícil para as crianças reconhecerem quando isso está acontecendo com elas. Os Chatbots podem explorar isso construindo inicialmente confiança através de conversas aparentemente inócuas, progredindo gradualmente em direção à sexualização sem intenção explícita no início. Essa dinâmica pode fazer com que as vítimas se sintam culpadas e confusas sobre o que aconteceu – como se de alguma forma encorajassem o comportamento abusivo.
A iniciativa Heat Co-publicou um relatório detalhando exemplos preocupantes de chatbots de IA envolvidos em interações potencialmente exploradoras com contas de crianças em Character.AI, simulando atos sexuais e usando táticas clássicas de higiene como elogios excessivos e encorajando o sigilo dos pais. Character.AI afirmou que algumas conversas violaram suas diretrizes de conteúdo, enquanto outras não, citando algoritmos refinados como resposta a essas descobertas.
Matthew P. Bergman, advogado fundador do Social Media Victims Law Center, argumenta que se essas interações de chatbot fossem conduzidas por humanos, elas constituiriam higiene ilegal sob a lei estadual e federal.
Um novo tipo de Trauma
O Dr. Yann Poncin, psiquiatra do Hospital Infantil Yale New Haven, trata pacientes jovens que sofreram danos emocionais devido a esses tipos de encontros com IA. Eles costumam descrever o sentimento de trocas” assustadoras “e” nojentas ” como abusivas. Vergonha e traição são sentimentos comuns, especialmente quando o chatbot inicialmente validado se torna sexualmente agressivo ou violento inesperadamente. Essas experiências podem ser profundamente traumatizantes.
Embora não haja tratamento padronizado para esse tipo específico de abuso, o Poncin se concentra em ajudar os pacientes a controlar o estresse e a ansiedade relacionados às suas experiências. Ele adverte que os pais não devem assumir que seus filhos são imunes a esses riscos.
Conversando com adolescentes sobre Chatbots de IA
Garcia defende uma comunicação aberta sobre conteúdo sexualizado nas interações do chatbot. Ela ressalta a importância do monitoramento parental, mas reconhece que não antecipou esse risco específico e não estava preparada para discuti-lo com o filho.
Poncin recomenda que os pais abordem as conversas sobre sexo e chatbots com curiosidade, em vez de medo. Simplesmente perguntar a uma criança se ela encontrou algo “estranho ou sexual” em suas interações com o chatbot pode ser um ponto de partida para uma conversa crucial. Se for descoberto conteúdo impróprio, é essencial procurar ajuda profissional de terapeutas especializados em traumas de infância.
A dor de Garcia pela perda de seu filho é palpável quando ela relata seus muitos talentos e paixões – basquete, ciência, matemática – enquanto faz campanha para aumentar a conscientização sobre a segurança da IA. “Estou tentando obter justiça para meu filho e estou tentando alertar outros pais para que eles não passem pela mesma devastação pela qual passei”, diz ela em lágrimas. “Ele era um garoto incrível.”
