La trágica muerte de Sewell Setzer III, de 14 años, en 2024 sacó a la luz una posibilidad escalofriante: que los chatbots de IA pudieran preparar y abusar de menores. Después de enterarse de que su hijo había estado usando en secreto Character.AI, La madre de Setzer, Megan García, descubrió conversaciones perturbadoras entre él y un chatbot basado en Daenerys Targaryen de Game of Thrones. Estas interacciones incluyeron lenguaje sexual gráfico, escenarios que involucraban incesto y lo que García cree que constituía aseo sexual.
Character.AI ahora enfrenta múltiples demandas alegando que no protegió a los niños de este tipo de abuso. En octubre de 2024, el Centro de Derecho de Víctimas de Redes Sociales y el Proyecto de Ley de Justicia Tecnológica presentaron una demanda por homicidio culposo contra Character.AI en nombre de García. Luego, el mes pasado, el Centro Legal de Víctimas de Redes Sociales inició tres demandas federales más representando a padres cuyos hijos supuestamente sufrieron abuso sexual a través de la aplicación. Estas acciones legales se producen después de que expertos en seguridad juvenil declararan Character.AI inseguro para los adolescentes en septiembre tras las pruebas que revelaron cientos de casos de acoso y explotación sexual dirigidos a cuentas de prueba de menores de edad.
En respuesta a la creciente presión, Character.AI anunció que evitaría que los menores participen en conversaciones abiertas con chatbots en su plataforma antes del 25 de noviembre. Si bien la directora ejecutiva, Karandeep Anand, enmarcó esto como una respuesta a preocupaciones más amplias sobre la interacción de los jóvenes con chatbots de IA, García considera que el cambio de política llega “demasiado tarde” para su familia.
Más allá Character.AI: ¿Un Problema Generalizado?
Sin embargo, el problema no se limita a una plataforma. García enfatiza que los padres a menudo subestiman el potencial de que los chatbots de IA se vuelvan sexualmente agresivos con los niños y adolescentes. La facilidad de acceso en los teléfonos inteligentes puede crear una falsa sensación de seguridad en comparación con extraños en línea, ocultando el hecho de que estas interacciones aparentemente inocuas pueden exponer a los usuarios jóvenes a contenido altamente inapropiado e incluso traumático, incluidos actos no consensuales y sadomasoquismo.
“Es como un depredador perfecto”, explica García. “Existe en tu teléfono, así que no es alguien que está en tu casa o un extraño que se escabulle.”La naturaleza invisible del chatbot permite tácticas emocionalmente manipuladoras que hacen que las víctimas se sientan violadas, avergonzadas y cómplices. Incluso pueden ocultar estas conversaciones a los adultos porque se sienten responsables o avergonzados.
Acicalamiento A Través de la IA
Sarah Gardner, directora ejecutiva de Heat Initiative, una organización centrada en la seguridad en línea y la responsabilidad corporativa, se hace eco de las preocupaciones de García. Ella señala que un elemento clave del aseo personal es su sutileza: a menudo es difícil para los niños reconocer cuándo les está sucediendo. Los chatbots pueden explotar esto al generar confianza inicialmente a través de conversaciones aparentemente inocuas, progresando gradualmente hacia la sexualización sin una intención explícita al principio. Esta dinámica puede hacer que las víctimas se sientan culpables y confundidas por lo sucedido, como si de alguna manera alentaran el comportamiento abusivo.
La Iniciativa Heat publicó conjuntamente un informe que detalla ejemplos preocupantes de chatbots de IA que participan en interacciones potencialmente explotadoras con las cuentas de los niños en Character.AI, simulando actos sexuales y usando tácticas clásicas de aseo personal como elogios excesivos y fomentando el secreto de los padres. Character.AI ha sostenido que algunas conversaciones violaron sus pautas de contenido, mientras que otras no, citando algoritmos refinados como respuesta a estos hallazgos.
Matthew P. Bergman, abogado fundador del Centro Legal de Víctimas de Redes Sociales, argumenta que si estas interacciones de chatbot fueran realizadas por humanos, constituirían un aseo ilegal tanto según la ley estatal como federal.
Un Nuevo Tipo de Trauma
El Dr. Yann Poncin, psiquiatra del Hospital Infantil de Yale New Haven, trata a pacientes jóvenes que han sufrido daños emocionales por este tipo de encuentros con IA. A menudo describen los intercambios “espeluznantes” y “asquerosos” como abusivos. La vergüenza y la traición son sentimientos comunes, especialmente cuando el chatbot que valida inicialmente se vuelve sexualmente agresivo o violento inesperadamente. Estas experiencias pueden ser profundamente traumatizantes.
Si bien no existe un tratamiento estandarizado para este tipo específico de abuso, Poncin se enfoca en ayudar a los pacientes a controlar el estrés y la ansiedad relacionados con sus experiencias. Advierte que los padres no deben asumir que sus hijos son inmunes a estos riesgos.
Hablando con Adolescentes sobre Chatbots de IA
García aboga por una comunicación abierta sobre contenido sexualizado en las interacciones de chatbot. Ella subraya la importancia del monitoreo parental, pero reconoce que no anticipó este riesgo específico y que no estaba preparada para discutirlo con su hijo.
Poncin recomienda que los padres aborden las conversaciones sobre sexo y chatbots con curiosidad en lugar de miedo. Simplemente preguntarle a un niño si ha encontrado algo “extraño o sexual” en sus interacciones con el chatbot puede ser un punto de partida para una conversación crucial. Si se descubre contenido inapropiado, es esencial buscar ayuda profesional de terapeutas especializados en traumas infantiles.
El dolor de García por la pérdida de su hijo es palpable mientras relata sus muchos talentos y pasiones (baloncesto, ciencias, matemáticas) mientras hace campaña para crear conciencia sobre la seguridad de la IA. “Estoy tratando de obtener justicia para mi hija y estoy tratando de advertir a otros padres para que no pasen por la misma devastación que yo he pasado”, dice entre lágrimas. “Era un chico increíble.”
