Cyber

¿Pueden los agentes de código abierto reemplazar a los pentesters?: Probando Strix y PentAGI

Probamos los agentes de IA de código abierto Strix y PentAGI en infraestructura real. Analizamos su rendimiento, falsos positivos y consumo de tokens.

·2 min de lectura
¿Pueden los agentes de código abierto reemplazar a los pentesters?: Probando Strix y PentAGI

Dado que los agentes de IA autónomos se han convertido en un tema central en la ciberseguridad, muchos se preguntan si las herramientas gratuitas de código abierto pueden realmente reemplazar a los pentesters humanos en escenarios del mundo real.

Decidimos poner a prueba dos destacados agentes de LLM de código abierto, Strix y PentAGI, frente a una infraestructura real para evaluar su autonomía, precisión y viabilidad general.

  • Strix se centra fuertemente en el análisis de aplicaciones web y revisión de código con una estricta verificación de resultados mediante pruebas de concepto (PoC).
  • PentAGI actúa como un sistema más integral capaz de realizar pruebas de penetración a gran escala con soporte de contexto extendido.
  • Ambas herramientas operan dentro de contenedores de Docker aislados y requieren objetivos predefinidos para funcionar de manera eficiente.

Diferencias de arquitectura y operación entre Strix y PentAGI

Ambos agentes son capaces de planificar revisiones, ejecutar herramientas de CLI, escribir scripts y generar informes. Sin embargo, el reconocimiento de alto nivel y el descubrimiento de activos aún deben realizarse manualmente, ya que los agentes están optimizados para la ejecución dirigida en lugar de una enumeración amplia de activos.

Lee tambiénUna brecha de seguridad en Rackspace Spot expone los Kubernetes Secrets de sus clientes ante hackers

Strix emplea múltiples subagentes para verificar los hallazgos, lo que da como resultado una baja tasa de falsos positivos. PentAGI ofrece capacidades de ejecución más amplias y acepta peticiones (prompts) de formato libre, pero su mayor autonomía introduce el riesgo de desviarse de las reglas de compromiso establecidas.

Resultados de las pruebas, precisión y falsos positivos

Durante la evaluación, Strix no produjo casi ningún falso positivo, pero tendía a sobreestimar la criticidad comercial de los hallazgos. De 15 descubrimientos, la mayoría eran problemas informativos menores marcados erróneamente como riesgos significativos.

PentAGI generó un informe masivo con 296 vulnerabilidades, incluidas docenas marcadas como críticas y altas. Sin embargo, las revisiones manuales posteriores revelaron que ninguno de estos hallazgos principales era explotable en la práctica.

Consumo de recursos y eficiencia

La búsqueda de autonomía tiene un costo computacional significativo. Strix consumió más de 145 millones de tokens debido al uso intensivo de contexto compartido entre docenas de subagentes.

PentAGI utilizó aproximadamente 31 millones de tokens, pero sus técnicas agresivas de compresión de contexto conllevan el riesgo de perder detalles cruciales durante escaneos extensos de infraestructura.

Conclusión e implicaciones para la industria

La investigación demuestra que los agentes de código abierto actuales no pueden reemplazar por completo a un pentester humano. Si bien sirven como potentes herramientas auxiliares para la automatización, el control de alcance, el triaje de falsos positivos y la evaluación de riesgos siguen siendo responsabilidades estrictamente humanas.

Para las empresas y los equipos de desarrollo, la integración de estos agentes de IA requiere un monitoreo riguroso, el estricto cumplimiento de las reglas de compromiso y una exhaustiva validación manual antes de implementar cualquier estrategia de mitigación.

Fuente: Все публикации подряд на Хабре

Artículos relacionados