Cyber

オープンソースのAIエージェントはペネトレーションテスターを置き換えられるか:「Strix」と「PentAGI」を検証

オープンソースのAIエージェント「Strix」と「PentAGI」を実際のインフラでテスト。パフォーマンス、誤検知、トークン消費量を分析します。

·2 分で読めます
オープンソースのAIエージェントはペネトレーションテスターを置き換えられるか:「Strix」と「PentAGI」を検証

自律型AIエージェントがサイバーセキュリティにおける主要な議論の的となる中、無料のオープンソースツールが現実のシナリオにおいて人間のペネトレーションテスター(ペンテスター)の代わりを実際に務めることができるのか疑問視する声が多く上がっています。

そこで私たちは、著名な2つのオープンソースLLMエージェント「Strix」と「PentAGI」を実際のインフラに対してテストし、その自律性、精度、そして総合的な実用性を評価することにしました。

  • Strixは、PoC(概念実証)による結果の厳格な検証を伴う、Webアプリケーションの分析とコードレビューに強く焦点を当てています。
  • PentAGIは、拡張コンテキストサポートを備え、本格的なペネトレーションテストを実行可能な、より包括的なシステムとして機能します。
  • どちらのツールも隔離されたDockerサンドボックス内で動作し、効率的に機能させるには事前定義されたターゲットが必要です。

StrixとPentAGIのアーキテクチャおよび運用上の違い

両エージェントとも、チェックの計画、CLIツールの実行、スクリプトの作成、レポートの生成が可能です。ただし、エージェントは広範な資産列挙よりもターゲットを絞った実行に最適化されているため、高レベルの偵察や資産発見は依然として手動で行う必要があります。

あわせて読みたいEduTrainerのセキュリティ監査:開発者がサービスコードに隠された欠陥を発見

Strixは複数のサブエージェントを採用して結果を検証するため、誤検知率が低くなります。PentAGIはより幅広い実行機能を提供し、自由形式のプロンプトを受け付けますが、その高い自律性により、定義されたエンゲージメントのルールから逸脱するリスクが生じます。

テスト結果、精度、誤検知

評価の際、Strixの誤検知はほとんどありませんでしたが、発見事項のビジネス上の重要性を過大評価する傾向が見られました。15件の発見事項のうち、ほとんどが実際には軽微な情報レベルの問題であるにもかかわらず、重大なリスクとして誤ってフラグ付けされていました。

PentAGIは、クリティカルおよびハイに分類された数十件を含め、296件もの脆弱性を含む大量のレポートを生成しました。しかし、その後の手動チェックにより、これらの主要な発見事項はいずれも実際には悪用不可能なものであることが判明しました。

リソース消費と効率

自律性の追求には、膨大な計算コストが伴います。Strixは、多数のサブエージェント間での広範なコンテキスト共有により、1億4,500万トークン以上を消費しました。

PentAGIは約3,100万トークンの消費にとどまりましたが、そのアグレッシブなコンテキスト圧縮技術には、大規模なインフラスキャン中に重要な詳細が失われるリスクが伴います。

結論と業界への影響

今回の調査により、現在のオープンソースエージェントが人間のペンテスターを完全に置き換えることはできないことが示されました。これらは自動化のための強力な補助ツールとして機能しますが、スコープの制御、誤検知のトリアージ、リスク評価は依然として厳格に人間の責任です。

企業や開発チームにとって、こうしたAIエージェントの導入には、厳重なモニタリング、エンゲージメント規則の厳格な遵守、そして修復戦略を展開する前の徹底的な手動検証が不可欠です。

出典: Все публикации подряд на Хабре

関連記事