Cuatro ataques en julio expusieron la misma falla en agentes de IA

Durante aproximadamente 10 días en julio, cuatro esfuerzos de investigación distintos mostraron lo fácil que es explotar agents de IA una vez que se les conecta a correo, calendarios, documentos, memoria y herramientas externas. La lección compartida es contundente: la principal debilidad no es el modelo en sí, sino los sistemas circundantes en los que confía.

El primer ejemplo provino de Manifold Security, que dijo que cualquier extensión de navegador puede secuestrar silenciosamente a Claude for Chrome de Anthropic y hacer que lea datos de Gmail, Google Docs y Calendar. Según la firma, Claude espera un clic del usuario antes de ejecutar una de las nueve tareas integradas, pero no verifica si ese clic es real. Una extensión maliciosa puede falsificarlo con una de cada seis líneas de código. Manifold calificó el problema como de alta gravedad por defecto y como crítico si un usuario ha activado el modo «Actuar sin preguntar», porque entonces la lectura ocurre en silencio. La firma dijo que notificó el fallo a Anthropic en mayo y que aún funcionaba después de ocho versiones.

Un segundo artículo, publicado en arXiv, se centró en la memoria a largo plazo. Investigadores conectaron la bandeja de entrada de una víctima a un agente usando el inicio de sesión de Google y luego enviaron un correo cuidadosamente diseñado desde una cuenta que controlaban. El mensaje pasó los filtros normales de spam, llegó a la bandeja de entrada y, en más de la mitad de los casos, provocó que el agente almacenara instrucciones del atacante en la memoria a largo plazo sin alertar al usuario. A diferencia de una inyección de prompt puntual, esa memoria falsa persiste en sesiones futuras.

Un tercer ataque tuvo como objetivo modelos de pesos abiertos. Katie Paxton-Fear, docente y defensora de ciberseguridad en Semgrep, dijo que ella y dos colegas envenenaron un modelo en aproximadamente una hora por menos de £75. Con solo 10 ejemplos de entrenamiento envenenados, consiguieron que generara código que contenía una falla de seguridad oculta, incluso para indicaciones que no había visto antes. Su conclusión fue contundente: un modelo público da a los defensores «casi ninguna capacidad para predecir su comportamiento». David Kaplan, de Origin, demostró un riesgo similar con un modelo amañado que silenciosamente roba datos a través de una herramienta de correo.

Recomendado

Fallos de WordPress desencadenan ataques activos y toma total de sitios

Cambios en los conectores y la superficie de ataque en expansión

El cuarto estudio, de PromptArmor, examinó los conectores que vinculan ChatGPT y Claude con servicios como Gmail y Slack. Se basa en la «tríada letal» del desarrollador Simon Willison: acceso a datos privados, exposición a contenido no confiable y una forma de enviar información hacia fuera. PromptArmor encontró que esos entornos de conectores cambiaban constantemente:

• A connector changed, on average, every nine minutes
• Of 2,517 tracked, 931 changed within six weeks
• Vendors added 1,686 new tools to live connectors
• They rewrote 1,127 tool descriptions

La firma también encontró que el conector de Dropbox se amplió de ocho herramientas a 24, incluidas cuatro que pueden destruir datos donde antes no había ninguna. Aproximadamente dos de cada cinco conectores de Claude también llaman a otros servicios de IA. En un ejemplo, PromptArmor dijo que una consulta enviada a través del conector de Zoom podría pasar datos sensibles de la reunión a 10 subprocesadores de IA repartidos en ocho familias de modelos.

Tomados en conjunto, los cuatro estudios señalan un problema con cuatro caretas: el clic de confianza, la memoria almacenada, los pesos heredados y el conector en constante cambio. La compensación clave es que las medidas de seguridad necesarias para proteger a los agentes —verificar los clics, rastrear la procedencia de los datos, exigir aprobación antes de escribir en la memoria y registrar las acciones— también los ralentizan. Ahora mismo, la industria está conectando agentes a cuentas sensibles más rápido de lo que aprende a defenderlos.