Cyber

Czy otwarte agenty AI zastąpią pentesterów? Testujemy Strix i PentAGI

Testujemy otwarte agenty AI Strix i PentAGI na prawdziwej infrastrukturze. Analizujemy wydajność, liczbę fałszywych alarmów oraz zużycie tokenów.

·2 min czytania
Czy otwarte agenty AI zastąpią pentesterów? Testujemy Strix i PentAGI

W obliczu rosnącego zainteresowania autonomicznymi agentami AI w cyberbezpieczeństwie, wielu zastanawia się, czy darmowe narzędzia o otwartym kodzie źródłowym są w stanie zastąpić ludzkich pentesterów w realnych scenariuszach.

Postanowiliśmy poddać testom dwa prominentne otwarte agenty oparte na dużych modelach językowych (LLM) – Strix i PentAGI – mierząc je z rzeczywistą infrastrukturą, aby ocenić ich autonomię, dokładność i ogólną przydatność.

  • Strix skupia się głównie na analizie aplikacji webowych oraz przeglądzie kodu ze ścisłą weryfikacją wyników za pomocą dowodów koncepcji (PoC).
  • PentAGI działa jako bardziej wszechstronny system zdolny do przeprowadzania pełnoskalowych testów penetracyjnych z obsługą rozszerzonego kontekstu.
  • Oba narzędzia funkcjonują w izolowanych piaskownicach (sandboksach) Dockera i wymagają zdefiniowanych celów, aby działać wydajnie.

Architektura i różnice operacyjne Strix oraz PentAGI

Oba agenty potrafią planować testy, wykonywać narzędzia wiersza poleceń (CLI), pisać skrypty i generować raporty. Niemniej jednak, rekonesans wysokiego poziomu i odkrywanie zasobów nadal powinny być przeprowadzane manualnie, ponieważ agenty są zoptymalizowane pod kątem celowego wykonania, a nie szerokiej enumeracji zasobów.

Przeczytaj takżeAudyt bezpieczeństwa EduTrainer: deweloper odkrył ukryte luki w kodzie usługi

Strix wykorzystuje wielu podagentów do weryfikacji odkryć, co skutkuje niskim współczynnikiem fałszywych alarmów. PentAGI oferuje szersze możliwości wykonywania zadań i akceptuje dowolne prompty, lecz jego wyższa autonomia niesie za sobą ryzyko wykroczenia poza ustalone zasady zaangażowania (rules of engagement).

Wyniki testów, dokładność i fałszywe alarmy

Podczas ewaluacji Strix nie wygenerował niemal żadnych fałszywych alarmów, ale miał tendencję do przeceniania krytyczności biznesowej wykrytych usterek. Spośród 15 znalezisk większość stanowiły pomniejsze kwestie informacyjne, błędnie oznaczone jako istotne zagrożenia.

PentAGI wygenerował potężny raport zawierający 296 podatności, w tym dziesiątki oznaczonych jako krytyczne i wysokie. Jednak późniejsze manualne sprawdzenie wykazało, że żadne z tych głównych znalezisk nie było w rzeczywistości podatne na exploitację.

Zużycie zasobów i wydajność

Dążenie do autonomii wiąże się ze znaczącymi kosztami obliczeniowymi. Strix zużył ponad 145 milionów tokenów z powodu obszernego dzielenia się kontekstem między dziesiątkami podagentów.

PentAGI wykorzystał około 31 milionów tokenów, jednak jego agresywne techniki kompresji kontekstu niosą ze sobą ryzyko utraty kluczowych szczegółów podczas rozbudowanych skanów infrastruktury.

Podsumowanie i implikacje dla branży

Badanie pokazuje, że obecne otwarte agenty nie potrafią w pełni zastąpić ludzkiego pentestera. Choć stanowią potężne narzędzia pomocnicze w automatyzacji, kontrola zakresu, odsiewanie fałszywych alarmów i ocena ryzyka pozostają ściśle ludzkimi obowiązkami.

Dla firm i zespołów deweloperskich integracja takich agentów AI wymaga rygorystycznego monitorowania, ścisłego przestrzegania zasad przeprowadzania testów oraz dokładnej manualnej weryfikacji przed wdrażaniem jakichkolwiek strategii naprawczych.

Źródło: Все публикации подряд на Хабре

Podobne artykuły