Açık kaynaklı ajanlar sızma testi uzmanlarının yerini alabilir mi: Strix ve PentAGI Testi
Strix ve PentAGI adlı açık kaynaklı yapay zeka ajanlarını gerçek altyapı üzerinde test ettik. Performansı, yanlış pozitifleri ve token tüketimini analiz ediyoruz.

Otonom yapay zeka ajanları siber güvenlik dünyasında büyük bir tartışma konusu haline gelirken, birçok kişi ücretsiz açık kaynaklı araçların gerçek dünya senaryolarında insan sızma testi uzmanlarının (pentester) yerini gerçekten alıp alamayacağını merak ediyor.
Otonomilerini, doğruluklarını ve genel pratikliklerini değerlendirmek üzere iki öne çıkan açık kaynaklı LLM ajanını, Strix ve PentAGI'yi gerçek altyapılar karşısında test etmeye karar verdik.
- Strix, sonuçların PoC (Kavram Kanıtı) aracılığıyla sıkı bir şekilde doğrulanmasıyla web uygulaması analizi ve kod incelemesine yoğunlaşır.
- PentAGI, genişletilmiş bağlam desteği ile tam ölçekli sızma testi gerçekleştirebilen daha kapsamlı bir sistem olarak görev yapar.
- Her iki araç da izole Docker sandox ortamlarında çalışır ve verimli bir şekilde işlev görebilmek için önceden tanımlanmış hedeflere ihtiyaç duyar.
Strix ve PentAGI'nin mimari ve operasyonel farkları
Her iki ajan da kontrol planlama, komut satırı araçları çalıştırma, betik yazma ve rapor üretme kapasitesine sahip. Ancak ajanlar geniş kapsamlı varlık numaralandırmasından ziyade hedef odaklı çalışmaya göre optimize edildiğinden, üst düzey keşif ve varlık tespiti işlemlerinin hâlâ manuel olarak yapılması gerekir.
Bunu da okuyunEduTrainer güvenlik denetimi: Bir geliştirici servisin kodundaki gizli kusurları ortaya çıkardıStrix, bulguları doğrulamak için birden fazla alt ajan kullanır ve bu sayede düşük bir yanlış pozitif (false-positive) oranına ulaşır. PentAGI ise daha geniş yürütme yetenekleri sunar ve serbest biçimli komutları kabul eder, ancak yüksek otonomisi, belirlenen angajman kurallarının dışına çıkma riskini de beraberinde getirir.
Test sonuçları, doğruluk ve yanlış pozitifler
Değerlendirme sırasında Strix neredeyse hiç yanlış pozitif üretmedi, ancak bulguların iş açısından kritiklik derecesini abartma eğilimi gösterdi. Elde edilen 15 bulgunun çoğu, önemli riskler olarak yanlış etiketlenmiş küçük bilgi amaçlı sorunlardı.
PentAGI ise aralarında kritik ve yüksek seviyeli olarak işaretlenen düzinelerce açığın da bulunduğu 296 açığı içeren devasa bir rapor üretti. Ancak daha sonra yapılan manuel kontroller, bu büyük bulguların hiçbirinin aslında istismar edilebilir olmadığını ortaya koydu.
Kaynak tüketimi ve verimlilik
Otonomi arayışı, önemli bir hesaplama maliyetini beraberinde getiriyor. Strix, onlarca alt ajan arasındaki yoğun bağlam paylaşımı nedeniyle 145 milyondan fazla token tüketti.
PentAGI yaklaşık 31 milyon token kullandı, ancak agresif bağlam sıkıştırma teknikleri, kapsamlı altyapı taramaları sırasında kritik detayların kaybolması riskini taşıyor.
Sonuç ve sektör üzerindeki etkileri
Araştırma, mevcut açık kaynaklı ajanların bir insan sızma testi uzmanının yerini tamamen alamayacağını gösteriyor. Otomasyon, kapsam kontrolü, yanlış pozitif triyajı ve risk değerlendirmesi için güçlü yardımcı araçlar olarak hizmet verseler de, bu süreçler kesinlikle insan sorumluluğundadır.
İşletmeler ve geliştirme ekipleri için bu tür yapay zeka ajanlarını entegre etmek; sıkı bir izleme, angajman kurallarına katı bir bağlılık ve herhangi bir düzeltme stratejisi uygulanmadan önce kapsamlı bir manuel doğrulama gerektirir.
Kaynak: Все публикации подряд на Хабре



