L’intelligenza artificiale di Discord ha bandito migliaia di persone per foto innocenti. Ops.

10

L’intelligenza artificiale è ormai ovunque.

E su Discord? Ciò ha bloccato circa ottomila persone dall’app. Nemmeno una buona ragione. Solo rumore.

L’azienda ha confermato questo pasticcio in un thread su X. Sembra che un sistema di moderazione basato sull’intelligenza artificiale abbia visto immagini innocue e si sia lasciato prendere dal panico.

Stiamo parlando delle texture dei videogiochi.

Come i motivi a scacchiera. Roba assolutamente innocua. L’intelligenza artificiale ha segnalato il tutto come “materiale dannoso”. Discord afferma che un essere umano di Trust and Safety esamina sempre prima i contenuti segnalati. Sicuro. Ma quella rete di sicurezza qui ha fallito. Migliaia di persone hanno perso l’accesso ai propri account a maggio.

Sta succedendo.

Eppure lo stanno risolvendo.

“Un membro del nostro team Trust & Safety esamina i contenuti segnalati”

Tecnicamente vero. Praticamente inutile se vieni bannato mentre aspetti che qualcuno lo guardi. Discord è ora in procinto di ripristinare tali account.

Guardalo in questo modo. TechCrunch ha sottolineato qualcosa che ha senso in una logica algoritmica contorta. I motivi a scacchiera assomigliano alle tecniche utilizzate per nascondere contenuti dannosi. Materiale di sfruttamento in particolare.

Quindi il bot ha fatto il suo lavoro? Ha visto lo schema, ha attivato l’allarme e ha chiuso la porta.

Facile da razionalizzare.

È più difficile conviverci se sei uno di quegli ottomila utenti. Questa è la prova esatta del perché non possiamo semplicemente consegnare le chiavi alle macchine. L’occhio umano nota immediatamente la differenza. Il contesto conta.

L’intelligenza artificiale non conosce il contesto. Vede forme e indovina.

Ma ecco la realtà nella quale stiamo entrando. L’intelligenza artificiale sta diventando una parte sempre più importante di tutto. È nei nostri telefoni, nelle nostre automobili, nelle nostre caselle di posta. Aspettatevi che questo continui ad accadere.

È questo il futuro della sicurezza online? O solo l’inizio di un lungo mal di testa?

No neat bow on this one.