Cyber

Agentes de código aberto podem substituir pentesters? Testando Strix e PentAGI

Testamos os agentes de IA de código aberto Strix e PentAGI em infraestrutura real, analisando desempenho, falsos positivos e consumo de tokens.

·2 min de leitura
Agentes de código aberto podem substituir pentesters? Testando Strix e PentAGI

Com os agentes autônomos de IA se tornando um ponto central de discussão na segurança da informação, muitos se perguntam se ferramentas gratuitas de código aberto podem realmente substituir pentesters humanos em cenários do mundo real.

Decidimos colocar dois proeminentes agentes de LLM de código aberto, Strix e PentAGI, à prova contra uma infraestrutura real para avaliar sua autonomia, precisão e praticidade geral.

  • O Strix foca fortemente na análise de aplicações web e revisão de código com verificação rigorosa de resultados por meio de PoC.
  • O PentAGI atua como um sistema mais abrangente, capaz de realizar testes de penetração em grande escala com suporte a contexto estendido.
  • Ambas as ferramentas operam dentro de sandboxes Docker isoladas e exigem alvos pré-definidos para funcionar com eficiência.

Arquitetura e diferenças operacionais do Strix e PentAGI

Ambos os agentes são capazes de planejar verificações, executar ferramentas de linha de comando (CLI), escrever scripts e gerar relatórios. No entanto, o reconhecimento de alto nível e a descoberta de ativos ainda devem ser realizados manualmente, pois os agentes são otimizados para execução direcionada em vez de enumeração ampla de ativos.

Leia tambémViolação no Rackspace Spot expõe segredos de Kubernetes de clientes a hackers

O Strix emprega múltiplos subagentes para verificar descobertas, resultando em uma baixa taxa de falsos positivos. O PentAGI oferece capacidades de execução mais amplas e aceita comandos livres, mas sua maior autonomia introduz riscos de desvio das regras de engajamento definidas.

Resultados dos testes, precisão e falsos positivos

Durante a avaliação, o Strix não produziu praticamente nenhum falso positivo, mas tendeu a superestimar a criticidade de negócios das descobertas. Das 15 descobertas, a maioria eram problemas informacionais menores incorretamente sinalizados como riscos significativos.

O PentAGI gerou um relatório massivo contendo 296 vulnerabilidades, incluindo dezenas marcadas como críticas e altas. No entanto, verificações manuais posteriores revelaram que nenhuma dessas principais descobertas era realmente explorável.

Consumo de recursos e eficiência

A busca por autonomia tem um custo computacional significativo. O Strix consumiu mais de 145 milhões de tokens devido ao extenso compartilhamento de contexto entre dezenas de subagentes.

O PentAGI utilizou cerca de 31 milhões de tokens, mas suas técnicas agressivas de compressão de contexto carregam o risco de perder detalhes cruciais durante varreduras extensas de infraestrutura.

Conclusão e implicações para a indústria

A pesquisa demonstra que os agentes de código aberto atuais não conseguem substituir totalmente um pentester humano. Embora sirvam como ferramentas auxiliares poderosas para automação, controle de escopo, triagem de falsos positivos e avaliação de riscos, essas continuam sendo responsabilidades estritamente humanas.

Para empresas e equipes de desenvolvimento, a integração desses agentes de IA exige monitoramento rigoroso, adesão estrita às regras de engajamento e validação manual minuciosa antes de implantar qualquer estratégia de remediação.

Fonte: Все публикации подряд на Хабре

Artigos relacionados