Czy otwarte agenty AI zastąpią pentesterów? Testujemy Strix i PentAGI
Testujemy otwarte agenty AI Strix i PentAGI na prawdziwej infrastrukturze. Analizujemy wydajność, liczbę fałszywych alarmów oraz zużycie tokenów.

W obliczu rosnącego zainteresowania autonomicznymi agentami AI w cyberbezpieczeństwie, wielu zastanawia się, czy darmowe narzędzia o otwartym kodzie źródłowym są w stanie zastąpić ludzkich pentesterów w realnych scenariuszach.
Postanowiliśmy poddać testom dwa prominentne otwarte agenty oparte na dużych modelach językowych (LLM) – Strix i PentAGI – mierząc je z rzeczywistą infrastrukturą, aby ocenić ich autonomię, dokładność i ogólną przydatność.
- Strix skupia się głównie na analizie aplikacji webowych oraz przeglądzie kodu ze ścisłą weryfikacją wyników za pomocą dowodów koncepcji (PoC).
- PentAGI działa jako bardziej wszechstronny system zdolny do przeprowadzania pełnoskalowych testów penetracyjnych z obsługą rozszerzonego kontekstu.
- Oba narzędzia funkcjonują w izolowanych piaskownicach (sandboksach) Dockera i wymagają zdefiniowanych celów, aby działać wydajnie.
Architektura i różnice operacyjne Strix oraz PentAGI
Oba agenty potrafią planować testy, wykonywać narzędzia wiersza poleceń (CLI), pisać skrypty i generować raporty. Niemniej jednak, rekonesans wysokiego poziomu i odkrywanie zasobów nadal powinny być przeprowadzane manualnie, ponieważ agenty są zoptymalizowane pod kątem celowego wykonania, a nie szerokiej enumeracji zasobów.
Przeczytaj takżeAudyt bezpieczeństwa EduTrainer: deweloper odkrył ukryte luki w kodzie usługiStrix wykorzystuje wielu podagentów do weryfikacji odkryć, co skutkuje niskim współczynnikiem fałszywych alarmów. PentAGI oferuje szersze możliwości wykonywania zadań i akceptuje dowolne prompty, lecz jego wyższa autonomia niesie za sobą ryzyko wykroczenia poza ustalone zasady zaangażowania (rules of engagement).
Wyniki testów, dokładność i fałszywe alarmy
Podczas ewaluacji Strix nie wygenerował niemal żadnych fałszywych alarmów, ale miał tendencję do przeceniania krytyczności biznesowej wykrytych usterek. Spośród 15 znalezisk większość stanowiły pomniejsze kwestie informacyjne, błędnie oznaczone jako istotne zagrożenia.
PentAGI wygenerował potężny raport zawierający 296 podatności, w tym dziesiątki oznaczonych jako krytyczne i wysokie. Jednak późniejsze manualne sprawdzenie wykazało, że żadne z tych głównych znalezisk nie było w rzeczywistości podatne na exploitację.
Zużycie zasobów i wydajność
Dążenie do autonomii wiąże się ze znaczącymi kosztami obliczeniowymi. Strix zużył ponad 145 milionów tokenów z powodu obszernego dzielenia się kontekstem między dziesiątkami podagentów.
PentAGI wykorzystał około 31 milionów tokenów, jednak jego agresywne techniki kompresji kontekstu niosą ze sobą ryzyko utraty kluczowych szczegółów podczas rozbudowanych skanów infrastruktury.
Podsumowanie i implikacje dla branży
Badanie pokazuje, że obecne otwarte agenty nie potrafią w pełni zastąpić ludzkiego pentestera. Choć stanowią potężne narzędzia pomocnicze w automatyzacji, kontrola zakresu, odsiewanie fałszywych alarmów i ocena ryzyka pozostają ściśle ludzkimi obowiązkami.
Dla firm i zespołów deweloperskich integracja takich agentów AI wymaga rygorystycznego monitorowania, ścisłego przestrzegania zasad przeprowadzania testów oraz dokładnej manualnej weryfikacji przed wdrażaniem jakichkolwiek strategii naprawczych.
Źródło: Все публикации подряд на Хабре



