Como ensinar um agente de IA a testar aplicativos Windows através de uma GUI real
Explorando a arquitetura do Deskcheck: conectando Claude Code e aplicativos Delphi usando entrada no nível do SO e um adaptador de protocolo local.

No desenvolvimento de software moderno, a inteligência artificial frequentemente escreve código e constrói projetos, mas a verificação da funcionalidade de aplicações desktop continua sendo um ponto cego. A compilação do código não garante que a interface do usuário realmente funcione como esperado para um usuário humano. Para resolver esse problema, o Deskcheck foi desenvolvido para permitir que agentes de IA testem aplicações Windows através de uma interface gráfica genuína.
- O desenvolvedor Igor Belykh criou o Deskcheck para testar aplicações Delphi usando agentes de IA.
- A arquitetura separa "mãos" (driver de entrada do SO) e "olhos" (protocolo DIP para leitura de estado).
- O sistema suporta transição perfeita da geração por IA para execuções de teste determinísticas em máquinas virtuais sem custos de tokens.
Arquitetura do Deskcheck: Driver e Adaptador
Para que um agente interaja totalmente com uma aplicação, ele precisa de mecanismos de controle e feedback. O driver simula entrada real do sistema operacional usando funções como SendInput, clicando botões e digitando exatamente como um humano. Essa abordagem detecta bugs reais de layout e janelas sobrepostas, embora opere mais devagar do que chamadas diretas a manipuladores de eventos.
Para retornar dados de estado da interface, um adaptador leve é incorporado à aplicação, executando um servidor HTTP local sobre a especificação DIP (Deskcheck Identity Protocol). A regra central desse protocolo é o isolamento somente leitura: o adaptador pode relatar informações, mas não pode clicar, focar ou alterar o estado da aplicação. Todas as ações de controle são realizadas estritamente pelo driver externo.
Leia tambémWindows 11 rastreia secretamente agentes de programação e uso de ferramentas de desenvolvimentoCatalogação de Elementos e Manipulação da Interface
Um grande desafio ao integrar em projetos legados, como uma grande aplicação Delphi com centenas de formulários, foi estabelecer nomes adequados para os controles. Como arquivos estáticos de definição de formulários não consideram escalonamento em tempo de execução e temas visuais, o catálogo de controles é construído dinamicamente a partir da instância da janela ativa.
Retângulos delimitadores dos controles servem como referência de fallback para o driver quando a busca precisa baseada em nomes está temporariamente indisponível. Isso garante alta estabilidade dos testes independentemente de resolução de tela, escalonamento DPI ou configurações de exibição do sistema operacional em diferentes ambientes.
Cenários, Asserções e Execução sem IA
Cenários de teste gravados são salvos como arquivos de texto padrão contendo passos, comentários e regras de tratamento para possíveis interrupções de pop-ups. O conjunto de asserções abrange não apenas elementos visuais, mas lógica de negócio profunda, incluindo estados de grids DevExpress, consultas SQL diretas contra bancos de dados de teste e validação de arquivos exportados.
Uma vez que um cenário é gravado e verificado com sucesso usando IA, execuções de regressão subsequentes são realizadas por um executor de testes comum sem necessidade de modelos de linguagem. Isso economiza custos de tokens e garante resultados reproduzíveis, enquanto mecanismos integrados de comparação visual de capturas de tela detectam quaisquer regressões sutis na interface.



