De AI van Discord verbood duizenden onschuldige foto’s. Oeps.

27

Kunstmatige intelligentie is nu overal.

En op Discord? Daardoor werden ongeveer achtduizend mensen uitgesloten van de app. Ook geen goede reden. Alleen maar lawaai.

Het bedrijf bevestigde deze puinhoop in een thread op X. Het lijkt erop dat een AI-moderatiesysteem onschuldige beelden zag en in paniek raakte.

We hebben het over videogametexturen.

Zoals dambordpatronen. Totaal onschuldig spul. De AI bestempelde het allemaal als ‘schadelijk materiaal’. Discord zegt dat een medewerker van Trust and Safety de gemarkeerde inhoud altijd eerst beoordeelt. Zeker. Maar dat vangnet faalde hier. Duizenden verloren in mei de toegang tot hun accounts.

Het gebeurt.

En toch zijn ze het aan het repareren.

“Een lid van ons Trust & Safety-team beoordeelt gemarkeerde inhoud”

Technisch waar. Praktisch nutteloos als je een ban krijgt terwijl je wacht tot iemand ernaar kijkt. Discord is nu bezig met het herstellen van die accounts.

Bekijk het zo. TechCrunch wees op iets dat logisch is in een verwrongen algoritmische logica. Dambordpatronen lijken op technieken die worden gebruikt om slechte inhoud te verbergen. Exploitatiemateriaal specifiek.

Dus de bot heeft zijn werk gedaan? Hij zag het patroon, activeerde het alarm en sloot de deur.

Makkelijk te rationaliseren.

Moeilijker om mee te leven als je een van die achtduizend gebruikers bent. Dit is het exacte bewijs waarom we de sleutels niet zomaar aan machines kunnen overhandigen. Een menselijk oog ziet het verschil onmiddellijk. Context is belangrijk.

AI kent geen context. Het ziet vormen en gissingen.

Maar dit is de realiteit waar we in terechtkomen. AI wordt een steeds groter onderdeel van alles. Het zit in onze telefoons, onze auto’s, onze inboxen. Verwacht dat dit blijft gebeuren.

Is dit de toekomst van online veiligheid? Of slechts het begin van een lange hoofdpijn?

Geen mooie strik hierop.