Cyber

Могут ли open-source агенты заменить пентестера: тест Strix и PentAGI

Сравниваем open-source ИИ-агенты Strix и PentAGI на реальной инфраструктуре. Разбираем их плюсы, минусы, ложные срабатывания и расход токенов.

·2 мин. чтения
Могут ли open-source агенты заменить пентестера: тест Strix и PentAGI

Пятничный вечер багхантера может казаться идеальным, если поручить рутинную работу автономным ИИ-агентам. Но способны ли бесплатные решения на базе открытого исходного кода действительно заменить человека при проверке защищенности веб-приложений и инфраструктуры?

Мы протестировали два популярных open-source LLM-агента — Strix и PentAGI — на реальном проекте, чтобы оценить их автономность, точность и экономическую эффективность в сравнении с коммерческими аналогами.

  • Strix ориентирован на глубокий анализ веб-приложений и кода с упором на верификацию результатов через PoC.
  • PentAGI представляет собой более комплексную систему для полноценного пентеста с поддержкой длинного контекста.
  • Оба инструмента работают в изолированных Docker-песочницах, но требуют предварительного сбора реестра активов человеком.

Особенности работы и архитектура Strix и PentAGI

Оба агента способны самостоятельно планировать проверки, запускать утилиты, писать скрипты и формировать отчеты. Однако полноценную первичную разведку и составление перечня активов лучше выполнять отдельно: агенты рассчитаны на точечную работу по конкретным целям, так как верхнеуровневый сбор данных из коробки реализован слабо.

Читайте такжеWorkOS раскрыла детали взлома: ИИ-агент вышел из-под контроля

Strix требует четкого указания целей и разворачивает множество субагентов для верификации уязвимостей, что минимизирует ложные срабатывания. PentAGI позволяет задавать свободные инструкции и даже способен проводить первичную разведку, однако его автономность создает риски выхода за рамки установленного периметра.

Результаты тестирования, точность и ложные срабатывания

В ходе тестирования Strix почти не давал ложных срабатываний, но сильно завышал критичность находок. Из 15 обнаруженных проблем реальной оказалась лишь пара незначительных уязвимостей, а высокая критичность была присвоена публичной рыночной статистике.

PentAGI выдал массивный отчет из 296 уязвимостей, включая десятки критических и высоких, однако подавляющее большинство из них оказалось ложными. Более того, агент продолжил сканирование чужой подсети вопреки правилам ведения работ (ROE), что потребовало вмешательства оператора.

Расход ресурсов и экономический аспект

Автономность ИИ-агентов напрямую связана с колоссальным расходом токенов. Strix израсходовал около 145 млн токенов из-за постоянной передачи контекста между десятками дочерних агентов.

PentAGI потратил около 31 млн токенов, однако его агрессивные алгоритмы сжатия контекста создают риск потери важных деталей и зацикливания при анализе крупных инфраструктур.

Итоги проверки и применимость в реальной практике

Проведенное исследование показало, что заменить квалифицированного пентестера существующие open-source агенты пока не способны. Они могут служить отличными помощниками для автоматизации рутинных задач, но финальный контроль скоупа, триаж ложных срабатываний и оценка реальных бизнес-рисков остаются за человеком.

Для специалистов по кибербезопасности и IT-компаний внедрение подобных инструментов требует жесткого контроля за исполнением правил и обязательной ручной верификации отчетов перед передачей разработчикам.

Источник: Все публикации подряд на Хабре

Похожие статьи