L’IA de Discord a banni des milliers de personnes pour des photos innocentes. Oups.

17

L’intelligence artificielle est désormais partout.

Et sur Discord ? Cela a empêché environ huit mille personnes d’accéder à l’application. Aucune bonne raison non plus. Juste du bruit.

La société a confirmé ce gâchis dans un fil de discussion sur X. Il semble qu’un système de modération d’IA ait vu des images inoffensives et ait paniqué.

Nous parlons de textures de jeux vidéo.

Comme des motifs en damier. Des trucs totalement inoffensifs. L’IA a signalé tout cela comme « matériel nocif ». Discord dit qu’un humain de Trust and Safety examine toujours en premier le contenu signalé. Bien sûr. Mais ce filet de sécurité a échoué ici. Des milliers de personnes ont perdu l’accès à leurs comptes en mai.

Cela arrive.

Et pourtant, ils le réparent.

“Un membre de notre équipe Confiance et sécurité examine le contenu signalé”

Techniquement vrai. Pratiquement inutile si vous êtes banni en attendant que quelqu’un le regarde. Discord est maintenant en train de restaurer ces comptes.

Regardez-le de cette façon. TechCrunch a souligné quelque chose qui a du sens dans une logique algorithmique tordue. Les motifs en damier ressemblent aux techniques utilisées pour masquer les mauvais contenus. Matériel d’exploitation en particulier.

Alors le bot a fait son travail ? Il a vu le schéma, a déclenché l’alarme et a fermé la porte.

Facile à rationaliser.

Plus difficile à vivre si vous faites partie de ces huit mille utilisateurs. C’est la preuve exacte pourquoi nous ne pouvons pas simplement confier les clés aux machines. L’œil humain remarque instantanément la différence. Le contexte compte.

L’IA ne connaît pas le contexte. It sees shapes and guesses.

Mais voici la réalité dans laquelle nous entrons. L’IA prend une part plus importante dans tout. C’est dans nos téléphones, nos voitures, nos boîtes de réception. Attendez-vous à ce que cela continue à se produire.

Est-ce l’avenir de la sécurité en ligne ? Ou juste le début d’un long mal de tête ?

Pas d’arc soigné sur celui-ci.