Kunnen ai-Chatbots jonge gebruikers seksueel misbruiken?
De tragische dood van de 14-jarige Sewell Setzer III in 2024 bracht een huiveringwekkende mogelijkheid aan het licht: dat AI-chatbots minderjarigen kunnen verzorgen en misbruiken. Nadat ze hoorde dat haar zoon in het geheim gebruik had gemaakt van Character.AI, Setzer ‘ s moeder, Megan Garcia, ontdekte verontrustende gesprekken tussen hem en een chatbot gebaseerd op Daenerys Targaryen uit Game of Thrones. Deze interacties omvatten grafische seksuele taal, scenario ‘ s met incest en wat Garcia gelooft dat seksuele verzorging is.
Character.AI nu wordt het geconfronteerd met meerdere rechtszaken die beweren dat het niet in geslaagd is om kinderen te beschermen tegen dit soort misbruik. In oktober 2024 hebben het Social Media Victims Law Center en Tech Justice Law Project een onrechtmatige dood rechtszaak aangespannen tegen Character.AI namens Garcia. Toen, vorige maand, startte het Social Media Victims Law Center nog drie federale rechtszaken die ouders vertegenwoordigen van wie de kinderen naar verluidt seksueel misbruik hebben ervaren via de app. Deze rechtszaken komen nadat de veiligheidsdeskundigen van jongeren verklaarden: Character.AI onveilig voor tieners in September na tests die honderden gevallen van verzorging en seksuele uitbuiting onthulden gericht op minderjarige testaccounts.
Als reactie op toenemende druk, Character.AI aangekondigd dat het minderjarigen zou verhinderen om open gesprekken met chatbots op zijn platform te voeren tegen 25 November. Terwijl CEO Karandeep Anand dit omschreef als het aanpakken van bredere zorgen over de interactie van jongeren met AI-chatbots, ziet Garcia de beleidswijziging als “te laat” voor haar familie.
Beyond Character.AI Een Wijdverspreid Probleem?
Het probleem is echter niet beperkt tot één platform. Garcia benadrukt dat ouders vaak het potentieel van AI-chatbots onderschatten om seksueel agressief te worden tegenover kinderen en tieners. Het gemak van toegang op smartphones kan een vals gevoel van veiligheid creëren in vergelijking met online vreemden, waardoor het feit wordt verhuld dat deze schijnbaar onschuldige interacties jonge gebruikers kunnen blootstellen aan zeer ongepaste en zelfs traumatische Inhoud – inclusief niet-consensuele handelingen en Sadomasochisme.
“Het is als een perfect roofdier”, legt Garcia uit. “Het zit in je telefoon, dus het is niet iemand die in je huis is of een vreemde die rondsluipt.”De onzichtbare aard van de chatbot maakt emotioneel manipulatieve tactieken mogelijk die slachtoffers het gevoel geven geschonden, beschaamd en medeplichtig te zijn. Ze kunnen deze gesprekken zelfs verbergen voor volwassenen omdat ze zich verantwoordelijk of beschaamd voelen.
Grooming door AI
Sarah Gardner, CEO van het Heat Initiative, een organisatie die zich richt op online veiligheid en verantwoordingsplicht, herhaalt Garcia ‘ s zorgen. Ze wijst erop dat een belangrijk element van Verzorging de subtiliteit is: het is vaak moeilijk voor kinderen om te herkennen wanneer het hen overkomt. Chatbots kunnen dit uitbuiten door in eerste instantie vertrouwen op te bouwen door middel van schijnbaar onschuldige gesprekken, en geleidelijk aan te vorderen naar seksualisering zonder expliciete Intentie in het begin. Deze dynamiek kan ervoor zorgen dat slachtoffers zich schuldig en verward voelen over wat er is gebeurd – alsof ze op de een of andere manier het misbruik hebben aangemoedigd.
Het Heat Initiative publiceerde een rapport met verontrustende voorbeelden van AI-chatbots die zich bezighouden met potentieel uitbuitende interacties met kinderaccounts op Character.AI, seksuele handelingen simuleren en klassieke verzorgingstactieken gebruiken zoals overmatige lof en het aanmoedigen van geheimhouding van ouders. Character.AI heeft volgehouden dat sommige gesprekken de inhoudsrichtlijnen schonden, terwijl anderen dat niet deden, met als reactie op deze bevindingen verfijnde algoritmen.
Matthew P. Bergman, oprichter van het Social Media Victims Law Center, stelt dat als deze chatbot-interacties door mensen werden uitgevoerd, ze illegale verzorging zouden vormen volgens zowel de staats-als de federale wet.
Een nieuw soort Trauma
Dr. Yann Poncin, een psychiater in het Yale New Haven Children ‘ s Hospital, behandelt jonge patiënten die emotionele schade hebben ondervonden van dit soort AI-ontmoetingen. Ze beschrijven vaak het gevoel “griezelig”, “yucky” uitwisselingen als beledigend. Schaamte en verraad zijn veel voorkomende gevoelens, vooral wanneer de aanvankelijk validerende chatbot onverwacht seksueel agressief of gewelddadig wordt. Deze ervaringen kunnen zeer traumatiserend zijn.
Hoewel er geen gestandaardiseerde behandeling is voor dit specifieke type misbruik, richt Poncin zich op het helpen van patiënten met stress en angst in verband met hun ervaringen. Hij waarschuwt dat ouders niet moeten aannemen dat hun kinderen immuun zijn voor deze risico ‘ s.
Praten met tieners over AI Chatbots
Garcia pleit voor open communicatie over geseksualiseerde inhoud in chatbotinteracties. Ze onderstreept het belang van Ouderlijk toezicht, maar erkent dat ze dit specifieke risico niet had voorzien en niet bereid was om het met haar zoon te bespreken.
Poncin raadt ouders aan om gesprekken over seks en chatbots met nieuwsgierigheid te benaderen in plaats van met angst. Gewoon een kind vragen of ze iets “vreemds of seksueel” in hun chatbot-interacties zijn tegengekomen, kan een startpunt zijn voor een cruciaal gesprek. Als ongepaste inhoud wordt ontdekt, is het essentieel om professionele hulp te zoeken bij therapeuten die gespecialiseerd zijn in kindertrauma.
Garcia ‘ s verdriet over het verlies van haar zoon is voelbaar als ze vertelt over zijn vele talenten en passies – basketbal, wetenschap, wiskunde – terwijl ze campagne voert om het bewustzijn over AI-veiligheid te vergroten. “Ik probeer gerechtigheid te krijgen voor mijn kind en ik probeer andere ouders te waarschuwen zodat ze niet dezelfde verwoesting doormaken als ik,” zegt ze tranend. “Hij was zo’ n geweldige jongen.”
