La IA de Discord prohibió a miles de personas por fotos inocentes. Ups.

26

La inteligencia artificial está ahora en todas partes.

¿Y en Discord? Eso provocó que aproximadamente ocho mil personas quedaran fuera de la aplicación. Tampoco hay una buena razón. Sólo ruido.

La compañía confirmó este desastre en un hilo en X. Parece que un sistema de moderación de IA vio imágenes inofensivas y entró en pánico.

Estamos hablando de texturas de videojuegos.

Como patrones de tablero de ajedrez. Cosas totalmente inocuas. La IA lo marcó todo como “material nocivo”. Discord dice que un humano de Confianza y Seguridad siempre revisa primero el contenido marcado. Seguro. Pero esa red de seguridad falló aquí. Miles de personas perdieron el acceso a sus cuentas en mayo.

Está sucediendo.

Y, sin embargo, lo están arreglando.

“Un miembro de nuestro equipo de Confianza y Seguridad revisa el contenido marcado”

Técnicamente cierto. Prácticamente inútil si estás baneado mientras esperas a que alguien lo mire. Discord ahora está en el proceso de restaurar esas cuentas.

Míralo de esta manera. TechCrunch señaló algo que tiene sentido en una lógica algorítmica retorcida. Los patrones de tablero de ajedrez se parecen a las técnicas utilizadas para ocultar contenido inadecuado. Material de explotación específicamente.

¿Entonces el robot hizo su trabajo? Vio el patrón, activó la alarma y cerró la puerta.

Fácil de racionalizar.

Es más difícil vivir con él si eres uno de esos ocho mil usuarios. Esta es la prueba exacta de por qué no podemos simplemente entregar las llaves a las máquinas. El ojo humano nota la diferencia al instante. El contexto importa.

La IA no conoce el contexto. Ve formas y adivina.

Pero esta es la realidad hacia la que estamos entrando. La IA se está convirtiendo en una parte más importante de todo. Está en nuestros teléfonos, nuestros automóviles, nuestras bandejas de entrada. Espere que esto siga sucediendo.

¿Es este el futuro de la seguridad en línea? ¿O simplemente el comienzo de un largo dolor de cabeza?

No hay ningún lazo elegante en este.