Las herramientas de SOC con IA están en su punto máximo — así es cómo probarlas

Los agentes de SOC con IA han pasado de una adopción de un solo dígito al Pico de Expectativas Infladas de Gartner en un año, pero los métodos para evaluarlos no han avanzado al mismo ritmo. Esa discrepancia es el foco de una nueva guía independiente de proveedores de Prophet Security y los exanalistas de Gartner Oliver Rochford y Prateek Bhajanka, destinada a ayudar a los responsables de seguridad a comprobar si estas herramientas funcionan fuera de demos estrictamente controladas.

×

El argumento de la mayoría de los proveedores es conocido: alertas limpias entran, veredictos precisos salen, en segundos. Pero el artículo sostiene que el rendimiento suele caer en producción, citando la estimación de la guía de que entre el 80 % y el 95 % de los proyectos empresariales de IA fracasan en producción. La pregunta central, dice, es si un comprador está evaluando una herramienta, una capacidad o un nuevo modelo operativo para el SOC.

Una prueba importante es si el sistema puede producir veredictos fiables en un entorno real. Según la guía, la calidad del modelo no mejora de forma constante con más datos; en cambio, depende de superar un umbral de contexto. En la práctica, eso significa que los datos de identidad, la información de activos y el contexto organizativo suelen ser lo que separa una demo convincente de un sistema que puede distinguir correctamente a un atacante de un administrador legítimo.

Recomendado

Malware espía se oculta en calendarios de Microsoft 365

×

La guía también advierte que el encaje del modelo operativo importa tanto como el rendimiento bruto del modelo. Un equipo de seguridad de una sola persona puede querer la IA principalmente para sustituir mano de obra, mientras que un SOC más grande puede necesitarla para amplificar a los analistas mediante pruebas en paralelo, seguimiento de anulaciones y rediseño de roles. Un enfoque recomendado es una prueba de paridad humano-IA: hacer funcionar el sistema junto a los analistas durante unas semanas, establecer líneas base antes del despliegue y considerar las anulaciones de los analistas como datos significativos.

×

Otra preocupación es la durabilidad. La guía afirma que un sistema que funciona el primer día puede degradarse por presión adversaria, deriva del modelo, cambios en el entorno o bloqueo por parte del proveedor —problemas que una prueba de concepto corta suele pasar por alto. También destaca lecciones prácticas de despliegues en producción, incluyendo la rapidez con la que la IA puede automatizar tareas como el triaje de phishing y la verificación de DMARC, obligando a los equipos a definir nuevos roles como ingeniería de detecciones, caza de amenazas, red teaming y supervisión de IA antes de lo esperado.

Una de las recomendaciones más contundentes es preferir sistemas que puedan decir «No lo sé». La guía sostiene que la clasificación de tres estados —benigno, sospechoso y malicioso— es más segura que forzar un veredicto binario, especialmente cuando las decisiones de alto impacto requieren reglas de escalado deterministas y revisión humana.

El punto más amplio del artículo es que los compradores deberían ir más allá de las demos pulidas, someter a presión la explicabilidad y la fiabilidad, y comprobar cuidadosamente las referencias de clientes. Prophet Security dice que su propia plataforma sigue ese modelo mostrando las consultas que su IA ejecutó y la evidencia detrás de cada veredicto, al tiempo que mantiene a los humanos en control de las acciones de alto impacto. La guía completa, La guía para CISOs sin exageraciones sobre cómo probar una solución de SOC con IA, está disponible para descargar desde Prophet Security.