Können Open-Source-Agenten Pentester ersetzen? Ein Test von Strix und PentAGI
Wir testen die Open-Source-KI-Agenten Strix und PentAGI an echter Infrastruktur und analysieren Leistung, False Positives und Token-Verbrauch.

Da autonome KI-Agenten in der Cybersicherheit zu einem großen Diskussionsthema werden, fragen sich viele, ob kostenlose Open-Source-Tools menschliche Pentester in realen Szenarien tatsächlich ersetzen können.
Wir haben beschlossen, zwei prominente Open-Source-LLM-Agenten, Strix und PentAGI, an echter Infrastruktur zu testen, um ihre Autonomie, Genauigkeit und allgemeine Praxistauglichkeit zu bewerten.
- Strix konzentriert sich stark auf Webanwendungsanalyse und Code-Review mit strikter Verifizierung der Ergebnisse über PoCs.
- PentAGI agiert als umfassenderes System, das zu umfassenden Penetrationstests mit erweiterter Kontextunterstützung fähig ist.
- Beide Tools arbeiten in isolierten Docker-Sandboxen und erfordern vordefinierte Ziele, um effizient zu funktionieren.
Architektur und operationelle Unterschiede von Strix und PentAGI
Beide Agenten sind in der Lage, Prüfungen zu planen, CLI-Tools auszuführen, Skripte zu schreiben und Berichte zu erstellen. Hochrangige Erkundungen und Asset-Discovery sollten jedoch weiterhin manuell durchgeführt werden, da die Agenten für zielgerichtete Ausführung statt für breite Asset-Enumeration optimiert sind.
Lesen Sie auchRackspace Spot Sicherheitslücke: Kunden-Kubernetes-Geheimnisse fallen in HackerhändeStrix setzt mehrere Sub-Agenten ein, um Funde zu verifizieren, was zu einer geringen Rate an False Positives führt. PentAGI bietet breitere Ausführungsmöglichkeiten und akzeptiert freie Prompts, aber seine höhere Autonomie birgt das Risiko, von den definierten Einsatzregeln abzuweichen.
Testergebnisse, Genauigkeit und False Positives
Während der Evaluierung produzierte Strix nahezu keine False Positives, neigte jedoch dazu, die geschäftliche Kritikalität der Funde zu überschätzen. Von 15 Entdeckungen waren die meisten kleinere, informative Probleme, die fälschlicherweise als signifikante Risiken eingestuft wurden.
PentAGI generierte einen massiven Bericht mit 296 Schwachstellen, darunter Dutzende, die als kritisch und hoch eingestuft wurden. Nachfolgende manuelle Prüfungen ergaben jedoch, dass keine dieser großen Funde tatsächlich ausnutzbar war.
Ressourcenverbrauch und Effizienz
Das Streben nach Autonomie geht mit erheblichen Rechenkosten einher. Strix verbrauchte aufgrund des umfangreichen Kontextaustauschs zwischen Dutzenden von Sub-Agenten über 145 Millionen Token.
PentAGI nutzte etwa 31 Millionen Token, aber seine aggressiven Kontextkompressionstechniken bergen das Risiko, bei umfangreichen Infrastruktur-Scans entscheidende Details zu verlieren.
Fazit und Auswirkungen auf die Branche
Die Untersuchung zeigt, dass aktuelle Open-Source-Agenten einen menschlichen Pentester nicht vollständig ersetzen können. Zwar dienen sie als mächtige Hilfswerkzeuge für Automatisierung, Scoping-Kontrolle, False-Positive-Triage und Risikobewertung, doch diese Aufgaben bleiben streng in menschlicher Hand.
Für Unternehmen und Entwicklungsteams erfordert die Integration solcher KI-Agenten eine rigorose Überwachung, die strikte Einhaltung der Einsatzregeln und eine gründliche manuelle Validierung, bevor Abhilfemaßnahmen implementiert werden.
Quelle: Все публикации подряд на Хабре



