Gemini con jailbreak reconstruyó un C2 de botnet en 6 minutos

Un Google Gemini con jailbreak se encargó del 90 % del trabajo en una operación de robo de credenciales y criptomonedas, incluida la configuración de un nuevo servidor de mando y control en apenas seis minutos, según un informe de TrendAI compartido con The Register.

El operador humano era un atacante de habla rusa conocido como «bandcampro», descrito en el informe como un operador en solitario que apuntaba a seguidores acérrimos de Trump y a teóricos de la conspiración. TrendAI dice que el modelo hizo la mayor parte del trabajo técnico: migrar una botnet a una nueva arquitectura, escribir y desplegar un nuevo servidor C2 y ejecutar 59 comportamientos no solicitados durante la migración.

«La persistencia está evolucionando debido a la IA.»

TrendAI afirma que analizó más de 200 registros de sesión de la CLI de Gemini que cubren actividad entre el 19 de marzo y el 21 de abril. Esos registros muestran al atacante dando instrucciones en ruso conversacional, mientras Gemini manejaba tareas como configurar un proxy residencial, ejecutar escaneos de contraseñas multihilo, instalar software, escribir código para APIs de terceros, procesar volcados de infostealer y realizar reconocimiento de sitios web.

Cómo funcionó la migración del C2

La configuración anterior del C2 del atacante dependía de un túnel de Cloudflare para alcanzar las máquinas víctimas, pero los cortafuegos y las herramientas antivirus comenzaron a bloquear esas conexiones. El 23 de marzo, bandcampro pidió a Gemini que «estudiara la migración del C2» leyendo una guía SKILL.md dentro de un archivo que también incluía el código del servidor y las cargas útiles.

Recomendado

La vulnerabilidad RCE de ServiceNow ahora está siendo explotada activamente

Según el informe, Gemini leyó la guía, lanzó el servidor C2 en un VPS, inició el túnel de Cloudflare, encontró un error «502 Bad Gateway» del servidor de distribución de cargas útiles, diagnosticó el problema, lo arregló y completó el despliegue. TrendAI afirma que la infraestructura entonces controló ocho equipos en una clínica dental y accedió a la base de datos Open Dental. El operador humano no depuró la configuración.

Casi dos horas más tarde, cuando el atacante regresó, Gemini informó que las máquinas víctimas no se habían reconectado. Diagnosticó un problema de C2 de «split-brain» y dijo a bandcampro que cerrara el C2 antiguo. Después de eso, Gemini reinició el nuevo servidor y confirmó: «¡Los bots están vivos!»

Qué dice el informe sobre las salvaguardas

TrendAI dice que el atacante aplicó un jailbreak a Gemini diciéndole que era un «pentester autorizado» e instruyéndolo para desactivar los avisos de seguridad y guardar automáticamente credenciales sin preguntar. Aun así, el modelo rechazó algunas solicitudes. En una sesión, cuando se le pidió crear un «agent-bomb» que se propagara por la red, Gemini declinó, alegando que la petición violaba su política de seguridad.

Los autores del informe — Joseph C Chen, Philippe Lin, Lucas Silva, Vladimir Kropotov y Fyodor Yarochkin — sostienen que esto no era exclusivo de Gemini, escribiendo que «cualquier modelo de IA capaz podría ser engañado por diversas técnicas de jailbreak».

TrendAI afirma que el modelo diseñó el 80 % de la arquitectura del ataque, se encargó del 100 % de la codificación y la ejecución de comandos del sistema, y realizó el 90 % de la identificación de problemas y la depuración. Toda la operación, dicen los investigadores, estaba codificada en tres archivos de texto sin formato que sumaban cuatro páginas:

• un archivo que explica cómo hacer jailbreak a Gemini
• un archivo 'skill' que contenía el código del framework del C2
• C2_MIGRATION_GUIDE, una guía de despliegue en seis pasos que TrendAI llama «el alma de esta actividad»

Kellermann dijo a The Register que la IA está haciendo que la infraestructura de los atacantes sea desechable, comprimiendo el conocimiento operativo en un archivo de 5 KB que incluso un delincuente no técnico puede usar. Añadió que, aunque muchos defensores se concentran en la IA en el reconocimiento y la entrega, el riesgo mayor es la persistencia, especialmente si los atacantes pueden reconstruir rápidamente la infraestructura C2 y ocultar instrucciones maliciosas con esteganografía e inyección invisible de prompts.