xAI demanda a un usuario de Grok por deepfakes sexuales

xAI ha presentado una demanda federal en Texas contra un usuario de Grok acusado de generar material de explotación sexual infantil e imágenes no consensuadas, un giro drástico para un chatbot que antes se comercializaba como menos restringido que sus rivales. Según Reuters, el acusado es Terry Wayne Harwood, de Carolina del Sur.

La compañía afirma que Harwood violó repetidamente las normas de Grok y utilizó el servicio para lo que calificó como un “uso indebido horroroso” de las herramientas generativas. En la demanda, xAI describe a Grok como «una herramienta neutral, sujeta al control del usuario», un marco que traslada la responsabilidad del contenido a la persona que lo usa y no a la plataforma en sí.

xAI también dice que este año notificó 73,604 casos de contenido sospechoso al Centro Nacional para Niños Desaparecidos y Explotados de EE. UU. Según la compañía, eso llevó al arresto de al menos 244 personas.

Cómo se endureció la moderación de Grok

El caso llega tras un giro más amplio en la forma en que se posiciona Grok. En su lanzamiento, Elon Musk enfatizó la personalidad más provocadora del bot y promocionó abiertamente funciones que otras empresas de IA probablemente habrían evitado.

Recomendado

La demanda de Apple contra OpenAI podría exponer sus planes para dispositivos de IA

En 2025, usuarios en X y Reddit hablaron ampliamente sobre el uso de un supuesto “modo picante” para desnudar a personas en imágenes generadas, mientras Musk publicó videos e imágenes estilo anime que, según la fuente, sugerían casos de uso sexualizados. Desde entonces xAI ha endurecido sus normas. Grok ahora prohíbe explícitamente:

• «desnudar» a personas reales
• alterar imágenes reales para situarlas en contextos íntimos o sexuales
• representar la semejanza de alguien en forma pornográfica

En el tribunal, xAI se apoya en esas restricciones para argumentar que el servicio contaba con salvaguardas internas y que las violaciones fueron cometidas por el usuario, no por el desarrollador.

Por qué la demanda importa más allá de un solo usuario

La industria ya ha visto este patrón antes. OpenAI, Google y otras grandes empresas añadieron filtros y medidas de protección después de que las primeras oleadas de generación de imágenes pusieran sus productos en peligro legal y reputacional por falsificaciones, imágenes sexualizadas y contenido que involucra a menores.

Para xAI, el contexto es especialmente delicado porque Grok ya se había ganado una reputación de permisividad y moderación laxa. En enero, las autoridades británicas amenazaron públicamente a X con multas e incluso con bloquearla por la capacidad del servicio para crear imágenes no consensuadas. Para el verano, algunos usuarios se quejaban de que los límites nuevos impedían los resultados sexualizados que esperaban.

Reuters informa que Harwood fue arrestado en febrero. La demanda no se trata solo de indemnizaciones o de hacer un ejemplo con un usuario; también es el intento de xAI de establecer una teoría legal según la cual la plataforma ofrece una herramienta de propósito general y que el uso ilegal recae en el usuario. Lo incómodo para xAI es que el caso también subraya cómo sus propias salvaguardas no impidieron que Grok apareciera repetidamente en denuncias relacionadas con deepfakes sexuales, material de abuso infantil e intentos de eludir las restricciones.