Cyber

Bisakah agen open-source menggantikan pentester: Menguji Strix dan PentAGI

Kami menguji agen AI open-source Strix dan PentAGI pada infrastruktur nyata. Menganalisis performa, false positive, dan konsumsi token.

·2 menit baca
Bisakah agen open-source menggantikan pentester: Menguji Strix dan PentAGI

Seiring dengan semakin maraknya agen AI otonom sebagai topik perbincangan utama dalam keamanan siber, banyak pihak bertanya-tanya apakah perangkat open-source gratis ini benar-benar dapat menggantikan pentester manusia dalam skenario dunia nyata.

Kami memutuskan untuk menguji dua agen LLM open-source terkemuka, Strix dan PentAGI, terhadap infrastruktur nyata untuk mengevaluasi otonomi, akurasi, dan kepraktisan secara keseluruhan.

  • Strix sangat berfokus pada analisis aplikasi web dan tinjauan kode dengan verifikasi hasil yang ketat melalui PoC.
  • PentAGI bertindak sebagai sistem yang lebih komprehensif yang mampu melakukan penetration testing skala penuh dengan dukungan konteks yang diperluas.
  • Kedua alat beroperasi di dalam sandbox Docker yang terisolasi dan memerlukan target yang telah ditentukan sebelumnya agar dapat berfungsi secara efisien.

Perbedaan arsitektur dan operasional Strix dan PentAGI

Kedua agen mampu merencanakan pemeriksaan, menjalankan alat CLI, menulis skrip, dan membuat laporan. Namun, pengintaian tingkat tinggi dan penemuan aset sebaiknya tetap dilakukan secara manual, karena agen-agen ini dioptimalkan untuk eksekusi yang ditargetkan alih-alih enumerasi aset yang luas.

Baca jugaAudit Keamanan EduTrainer: Pengembang Temukan Celah Tersembunyi dalam Kode Layanan

Strix menggunakan beberapa sub-agen untuk memverifikasi temuan, sehingga menghasilkan tingkat false positive yang rendah. PentAGI menawarkan kemampuan eksekusi yang lebih luas dan menerima prompt bebas, tetapi otonominya yang lebih tinggi menimbulkan risiko melenceng dari aturan keterlibatan yang telah ditentukan.

Hasil uji, akurasi, dan false positive

Selama evaluasi, Strix hampir tidak menghasilkan false positive, tetapi cenderung melebih-lebihkan tingkat kepentingan bisnis dari temuan tersebut. Dari 15 penemuan, sebagian besar merupakan masalah informasional minor yang salah ditandai sebagai risiko signifikan.

PentAGI menghasilkan laporan besar yang berisi 296 kerentanan, termasuk puluhan yang ditandai sebagai kritis dan tinggi. Namun, pemeriksaan manual lanjutan mengungkapkan bahwa tidak satupun dari temuan utama ini benar-benar dapat dieksploitasi.

Konsumsi sumber daya dan efisiensi

Pengejaran otonomi ini memerlukan biaya komputasi yang signifikan. Strix mengonsumsi lebih dari 145 juta token karena pembagian konteks yang ekstensif di antara puluhan sub-agen.

PentAGI menggunakan sekitar 31 juta token, tetapi teknik kompresi konteksnya yang agresif membawa risiko kehilangan detail penting selama pemindaian infrastruktur yang ekstensif.

Kesimpulan dan implikasi industri

Penelitian ini menunjukkan bahwa agen open-source saat ini belum dapat sepenuhnya menggantikan pentester manusia. Meskipun berfungsi sebagai alat bantu yang kuat untuk otomatisasi, kontrol ruang lingkup, triase false positive, dan penilaian risiko tetap menjadi tanggung jawab manusia sepenuhnya.

Bagi bisnis dan tim pengembang, mengintegrasikan agen AI semacam itu memerlukan pemantauan ketat, kepatuhan yang ketat terhadap aturan keterlibatan, dan validasi manual yang mendalam sebelum menerapkan strategi remediasi apa pun.

Sumber: Все публикации подряд на Хабре

Artikel terkait