Discord mistakenly banned 8,000 users over Minecraft and chessboard images

Discord bloqueó a 8,000 usuarios después de que su sistema de moderación automatizado señalara imágenes inocentes como contenido prohibido. The Verge informa que el sistema identificó erróneamente fotografías comunes como tableros de ajedrez, capturas de pantalla del inventario de Minecraft y otras imágenes basadas en cuadrículas como infracciones. Discord ha reconocido el error y ha restaurado el acceso a las cuentas afectadas.

El problema lleva existiendo desde al menos mayo, pero empeoró dramáticamente durante un fin de semana cuando alrededor de 200 usuarios fueron expulsados de forma consecutiva. Un usuario dijo que su publicación fue etiquetada como que mostraba violencia sexualizada contra menores, lo que resultó en una prohibición permanente—a pesar de que la imagen era solo una captura de pantalla inofensiva de Minecraft.

Discord explicó que su sistema de moderación primero busca coincidencias con contenido dañino conocido, y luego las señales deben ser revisadas manualmente por el equipo de Trust and Safety. Esta vez, algo falló: muchos casos señalados nunca pasaron por las comprobaciones humanas adecuadas, lo que provocó que usuarios inocentes fueran expulsados injustamente. Stanislav Vishnevskiy, cofundador y CTO de Discord, confirmó que hubo al menos 8,000 falsos positivos, todos ellos relacionados con “imágenes inofensivas”.

Recomendado

La GoPro Mission 1 Pro clava el vídeo en 8K pero duele el precio

Discord’s automated moderation and false bans

Curiosamente, Discord evitó llamar explícitamente al sistema “IA”. Aunque los usuarios lo denominaban IA, la compañía lo describió como coincidencia de contenido, aprendizaje automático y mecanismos internos de detección—técnicamente diferentes pero funcionalmente similares. Para los usuarios expulsados, la distinción probablemente ofrece poco consuelo.

Este tipo de tropiezo de la moderación automatizada no es único. En 2024, las plataformas de Meta, Instagram y Facebook, registraron masivas quejas de usuarios por extrañas expulsiones y eliminaciones de contenido vinculadas a sistemas automatizados. YouTube experimentó problemas similares durante la pandemia, cuando la reducción de revisiones manuales provocó más retiradas erróneas de vídeos y sanciones. Cuanto mayor es la dependencia de la automatización, mayor es el daño colateral a los usuarios cotidianos.

La escala de la base de usuarios de Discord hace que estos errores sean especialmente impactantes. En 2024, la plataforma informó de más de 200 million usuarios activos mensuales, por lo que incluso una pequeña tasa de errores conduce a miles de prohibiciones falsas. Las plataformas suelen responder al cumplimiento de CSAM (child sexual abuse material) con filtros automatizados agresivos: primero recortan de forma amplia y luego resuelven las apelaciones.

La presión regulatoria añade otra capa. En virtud de la Digital Services Act de la UE, las grandes plataformas deben explicar las decisiones de moderación y ofrecer procesos de apelación claros. Las empresas tecnológicas de EE. UU. están bajo una escrutinio creciente para informar públicamente sobre sus operaciones de Trust and Safety. En este contexto, un error que prohíbe de forma permanente a los aficionados de Minecraft no es una anomalía curiosa: es una prueba de estrés de todo el flujo de moderación, desde las señales automatizadas hasta la revisión humana.

Aunque Discord ha restituido las cuentas afectadas, reparar la confianza llevará más tiempo. Cuando una plataforma etiqueta erróneamente a usuarios con algunas de las violaciones más graves, restaurar el acceso es solo el comienzo. Ahora Discord se enfrenta al desafío de demostrar que las apelaciones pueden superar la velocidad de las prohibiciones automatizadas antes de que los usuarios pierdan la fe en el sistema.