Cómo enseñar a un agente de IA a probar aplicaciones de Windows a través de una GUI real
Explorando la arquitectura de Deskcheck: conectando Claude Code y aplicaciones de Delphi usando entrada a nivel de SO y un adaptador de protocolo local.

En el desarrollo de software moderno, la inteligencia artificial escribe código y construye proyectos con frecuencia, pero la verificación de la funcionalidad de aplicaciones de escritorio sigue siendo un punto ciego. La compilación del código no garantiza que la interfaz de usuario funcione realmente como se espera para un usuario humano. Para resolver este problema, se desarrolló Deskcheck para permitir que los agentes de IA prueben aplicaciones de Windows a través de una interfaz gráfica de usuario genuina.
- El desarrollador Igor Belykh creó Deskcheck para probar aplicaciones de Delphi usando agentes de IA.\n- La arquitectura separa las "manos" (controlador de entrada del SO) y los "ojos" (protocolo DIP para lectura de estado).\n- El sistema permite una transición fluida desde la generación por IA hasta ejecuciones de prueba deterministas en máquinas virtuales sin costes de tokens.
Arquitectura de Deskcheck: Controlador y Adaptador
Para que un agente interactúe plenamente con una aplicación, necesita mecanismos de control y retroalimentación. El controlador simula la entrada real del sistema operativo usando funciones como SendInput, haciendo clic en botones y tecleando igual que un humano. Este enfoque detecta errores reales de diseño y ventanas superpuestas, aunque funciona más lento que las llamadas directas a controladores de eventos.
Para devolver datos del estado de la interfaz, se incrusta un adaptador ligero en la aplicación, que ejecuta un servidor HTTP local bajo la especificación DIP (Protocolo de Identidad de Deskcheck). La regla fundamental de este protocolo es el aislamiento de solo lectura: el adaptador puede informar pero no hacer clic, enfocar ni cambiar el estado de la aplicación. Todas las acciones de control las realiza estrictamente el controlador externo.
Lee tambiénWindows 11 rastrea en secreto a los agentes de programación y el uso de herramientas para desarrolladoresCatálogo de Elementos y Manejo de Interfaz
Un gran desafío al integrar en proyectos heredados, como una gran aplicación de Delphi con cientos de formularios, fue establecer nombres adecuados para los controles. Dado que los archivos de definición de formularios estáticos no contemplan el escalado en tiempo de ejecución ni los temas visuales, el catálogo de controles se construye dinámicamente a partir de la instancia de ventana en vivo.
Los rectángulos delimitadores de los controles sirven como referencia de respaldo para el controlador cuando la búsqueda precisa por nombre no está disponible temporalmente. Esto garantiza una alta estabilidad de las pruebas independientemente de la resolución de pantalla, el escalado DPI o la configuración de visualización del sistema operativo en distintos entornos.
Escenarios, Aserciones y Ejecución sin IA
Los escenarios de prueba grabados se guardan como archivos de texto estándar que contienen pasos, comentarios y reglas de manejo para posibles interrupciones por ventanas emergentes. El conjunto de aserciones cubre no solo elementos visuales sino también lógica de negocio profunda, incluidos estados de cuadrículas DevExpress, consultas SQL directas contra bases de datos de prueba y validación de archivos exportados.
Una vez que un escenario se ha grabado y verificado con éxito mediante IA, las ejecuciones de regresión posteriores las realiza un ejecutor de pruebas convencional sin necesidad de modelos de lenguaje. Esto ahorra costes de tokens y garantiza resultados reproducibles, mientras que los mecanismos integrados de comparación visual de capturas de pantalla detectan cualquier regresión sutil de la interfaz.
Fuente: Все публикации подряд на Хабре



