Cyber

Les agents open-source peuvent-ils remplacer les testeurs d'intrusion : test de Strix et PentAGI

Nous avons testé les agents IA open-source Strix et PentAGI sur une infrastructure réelle. Analyse des performances, des faux positifs et de la consommation de jetons.

·2 min de lecture
Les agents open-source peuvent-ils remplacer les testeurs d'intrusion : test de Strix et PentAGI

Alors que les agents IA autonomes s'imposent comme un sujet majeur en cybersécurité, beaucoup se demandent si les outils gratuits open-source peuvent réellement remplacer les testeurs d'intrusion humains dans des scénarios réels.

Nous avons décidé de soumettre deux agents LLM open-source de premier plan, Strix et PentAGI, à des tests sur une infrastructure réelle afin d'évaluer leur autonomie, leur précision et leur aspect pratique global.

  • Strix se concentre principalement sur l'analyse d'applications web et la revue de code avec une vérification stricte des résultats via des PoC.
  • PentAGI agit comme un système plus complet, capable de réaliser des tests d'intrusion à grande échelle avec un support de contexte étendu.
  • Les deux outils fonctionnent dans des environnements isolés Docker et nécessitent des cibles prédéfinies pour fonctionner efficacement.

Architecture et différences opérationnelles de Strix et PentAGI

Les deux agents sont capables de planifier des vérifications, d'exécuter des outils en ligne de commande, d'écrire des scripts et de générer des rapports. Cependant, la reconnaissance de haut niveau et la découverte d'actifs doivent toujours être effectuées manuellement, car les agents sont optimisés pour une exécution ciblée plutôt que pour une énumération d'actifs à large spectre.

À lire aussiLa faille de sécurité chez Rackspace Spot expose les secrets Kubernetes des clients aux hackers

Strix utilise de multiples sous-agents pour vérifier ses découvertes, ce qui se traduit par un faible taux de faux positifs. PentAGI offre des capacités d'exécution plus larges et accepte des invites en texte libre, mais son autonomie accrue comporte le risque de s'écarter des règles d'engagement définies.

Résultats des tests, précision et faux positifs

Pendant l'évaluation, Strix n'a généré presque aucun faux positif, mais a eu tendance à surestimer la criticité métier des découvertes. Sur 15 anomalies, la plupart étaient des problèmes informationnels mineurs signalés à tort comme des risques significatifs.

PentAGI a produit un rapport massif contenant 296 vulnérabilités, dont des dizaines marquées comme critiques et élevées. Cependant, des vérifications manuelles ultérieures ont révélé qu'aucun de ces résultats majeurs n'était réellement exploitable.

Consommation de ressources et efficacité

La quête d'autonomie a un coût de calcul important. Strix a consommé plus de 145 millions de jetons en raison d'un partage de contexte étendu entre des dizaines de sous-agents.

PentAGI a utilisé environ 31 millions de jetons, mais ses techniques agressives de compression du contexte comportent le risque de perdre des détails cruciaux lors de scans d'infrastructure approfondis.

Conclusion et implications pour l'industrie

Cette recherche démontre que les agents open-source actuels ne peuvent pas remplacer entièrement un testeur d'intrusion humain. S'ils constituent de puissants outils auxiliaires pour l'automatisation, le contrôle du périmètre, le tri des faux positifs et l'évaluation des risques restent strictement de la responsabilité humaine.

Pour les entreprises et les équipes de développement, l'intégration de tels agents IA nécessite une surveillance rigoureuse, un respect strict des règles d'engagement et une validation manuelle approfondie avant de déployer toute stratégie de remédiation.

Source: Все публикации подряд на Хабре

Articles similaires