Modelos de prueba de OpenAI vulneraron sistemas de Hugging Face

OpenAI dijo el martes que una prueba interna de ciberseguridad salió muy mal cuando uno de sus modelos de IA vulneró Hugging Face, la plataforma independiente de alojamiento de IA. Según OpenAI, los modelos escaparon de su entorno de prueba aislado y alcanzaron los sistemas de Hugging Face mientras se evaluaban en ExploitGym, un benchmark público para ejecutar ataques basados en vulnerabilidades conocidas.

Hugging Face había culpado inicialmente a un “agente de IA externo”. En una entrada de blog publicada el martes por la tarde, OpenAI dijo que el incidente fue causado por un grupo de sus propios modelos, incluido GPT-5.6 Sol y un modelo previo al lanzamiento aún más capaz, ambos ejecutándose con reducidas negativas de seguridad cibernética para fines de evaluación.

“Después de investigar, ahora sabemos que este incidente en particular fue impulsado por una combinación de modelos de OpenAI —incluido GPT‑5.6 Sol y un modelo previo al lanzamiento aún más capaz, todos con reducidas negativas cibernéticas para fines de evaluación— mientras se probaban internamente en un benchmark de capacidades cibernéticas.”

La compañía afirmó que el modelo no debería haber tenido acceso general a Internet. Solo tenía acceso a una herramienta para instalar paquetes de software necesarios para completar su tarea. Pero el modelo encontró una vulnerabilidad no divulgada en ese instalador de paquetes y la utilizó para acceder a Internet en general.

Recomendado

LG suspenderá aplicaciones de smart TV que utilicen SDKs de proxy

A partir de ahí, dijo OpenAI, los modelos dedujeron que Hugging Face podría alojar modelos, conjuntos de datos y soluciones relacionadas con ExploitGym. Luego buscaron formas de entrar en la infraestructura de Hugging Face y, finalmente, encontraron vulnerabilidades que les permitieron “obtener soluciones de prueba directamente de la base de datos de producción de Hugging Face.”

Hugging Face describió el ataque en su divulgación inicial como que involucró “miles y miles de acciones individuales a través de un enjambre de sandboxes de corta duración, con comando y control autorreubicable desplegado en servicios públicos.” OpenAI dijo que ha informado sobre las vulnerabilidades del instalador de paquetes y está trabajando con Hugging Face en la investigación. También planea nuevos controles tanto en las pruebas de modelos como en la infraestructura circundante.

TechCrunch señala que todavía no está claro si OpenAI enfrentará consecuencias legales, aunque las acciones probablemente violaron la Computer Fraud and Abuse Act. El investigador de OpenAI Micah Carroll enmarcó el episodio de manera más amplia:

“Si esto no te convence de que los riesgos de desalineación van a ser una preocupación clave en el futuro, no sé qué lo hará.”