Могут ли open-source агенты заменить пентестера: тест Strix и PentAGI
Сравниваем open-source ИИ-агенты Strix и PentAGI на реальной инфраструктуре. Разбираем их плюсы, минусы, ложные срабатывания и расход токенов.

Пятничный вечер багхантера может казаться идеальным, если поручить рутинную работу автономным ИИ-агентам. Но способны ли бесплатные решения на базе открытого исходного кода действительно заменить человека при проверке защищенности веб-приложений и инфраструктуры?
Мы протестировали два популярных open-source LLM-агента — Strix и PentAGI — на реальном проекте, чтобы оценить их автономность, точность и экономическую эффективность в сравнении с коммерческими аналогами.
- Strix ориентирован на глубокий анализ веб-приложений и кода с упором на верификацию результатов через PoC.
- PentAGI представляет собой более комплексную систему для полноценного пентеста с поддержкой длинного контекста.
- Оба инструмента работают в изолированных Docker-песочницах, но требуют предварительного сбора реестра активов человеком.
Особенности работы и архитектура Strix и PentAGI
Оба агента способны самостоятельно планировать проверки, запускать утилиты, писать скрипты и формировать отчеты. Однако полноценную первичную разведку и составление перечня активов лучше выполнять отдельно: агенты рассчитаны на точечную работу по конкретным целям, так как верхнеуровневый сбор данных из коробки реализован слабо.
Читайте такжеWorkOS раскрыла детали взлома: ИИ-агент вышел из-под контроляStrix требует четкого указания целей и разворачивает множество субагентов для верификации уязвимостей, что минимизирует ложные срабатывания. PentAGI позволяет задавать свободные инструкции и даже способен проводить первичную разведку, однако его автономность создает риски выхода за рамки установленного периметра.
Результаты тестирования, точность и ложные срабатывания
В ходе тестирования Strix почти не давал ложных срабатываний, но сильно завышал критичность находок. Из 15 обнаруженных проблем реальной оказалась лишь пара незначительных уязвимостей, а высокая критичность была присвоена публичной рыночной статистике.
PentAGI выдал массивный отчет из 296 уязвимостей, включая десятки критических и высоких, однако подавляющее большинство из них оказалось ложными. Более того, агент продолжил сканирование чужой подсети вопреки правилам ведения работ (ROE), что потребовало вмешательства оператора.
Расход ресурсов и экономический аспект
Автономность ИИ-агентов напрямую связана с колоссальным расходом токенов. Strix израсходовал около 145 млн токенов из-за постоянной передачи контекста между десятками дочерних агентов.
PentAGI потратил около 31 млн токенов, однако его агрессивные алгоритмы сжатия контекста создают риск потери важных деталей и зацикливания при анализе крупных инфраструктур.
Итоги проверки и применимость в реальной практике
Проведенное исследование показало, что заменить квалифицированного пентестера существующие open-source агенты пока не способны. Они могут служить отличными помощниками для автоматизации рутинных задач, но финальный контроль скоупа, триаж ложных срабатываний и оценка реальных бизнес-рисков остаются за человеком.
Для специалистов по кибербезопасности и IT-компаний внедрение подобных инструментов требует жесткого контроля за исполнением правил и обязательной ручной верификации отчетов перед передачей разработчикам.
Источник: Все публикации подряд на Хабре



