IT

Comment apprendre à un agent IA à tester des applications Windows via une vraie interface graphique

Exploration de l'architecture Deskcheck : connecter Claude Code et des applications Delphi grâce aux entrées au niveau OS et un adaptateur de protocole local.

·2 min de lecture
Comment apprendre à un agent IA à tester des applications Windows via une vraie interface graphique

Dans le développement logiciel moderne, l'intelligence artificielle écrit fréquemment du code et construit des projets, mais la vérification du fonctionnement des applications de bureau reste un angle mort. La compilation du code ne garantit pas que l'interface utilisateur fonctionne réellement comme prévu pour un utilisateur humain. Pour résoudre ce problème, Deskcheck a été développé afin de permettre aux agents IA de tester des applications Windows à travers une véritable interface graphique.

  • Le développeur Igor Belykh a créé Deskcheck pour tester des applications Delphi à l'aide d'agents IA.
  • L'architecture sépare les « mains » (pilote d'entrée OS) et les « yeux » (protocole DIP pour la lecture d'état).
  • Le système prend en charge une transition fluide de la génération par IA vers des exécutions de tests déterministes dans des machines virtuelles, sans coûts de tokens.

Architecture Deskcheck : pilote et adaptateur

Pour qu'un agent puisse interagir pleinement avec une application, il a besoin de mécanismes de contrôle et de rétroaction. Le pilote simule une véritable entrée du système d'exploitation en utilisant des fonctions comme SendInput, cliquant sur des boutons et saisissant du texte exactement comme un humain. Cette approche détecte de vrais bugs de mise en page et de fenêtres chevauchantes, bien qu'elle soit plus lente que des appels directs aux gestionnaires d'événements.

Pour renvoyer les données d'état de l'interface, un adaptateur léger est intégré dans l'application, exécutant un serveur HTTP local selon la spécification DIP (Deskcheck Identity Protocol). La règle fondamentale de ce protocole est l'isolation en lecture seule : l'adaptateur peut rapporter des informations mais ne peut pas cliquer, donner le focus ou modifier l'état de l'application. Toutes les actions de contrôle sont effectuées strictement par le pilote externe.

À lire aussiWindows 11 suit secrètement l'utilisation des agents de codage et des outils de développement

Catalogage des éléments et gestion de l'interface

Un défi majeur lors de l'intégration dans des projets existants, comme une vaste application Delphi comptant des centaines de formulaires, a été d'établir des noms de contrôles appropriés. Comme les fichiers de définition de formulaires statiques ne tiennent pas compte du redimensionnement à l'exécution et des thèmes visuels, le catalogue de contrôles est construit dynamiquement à partir de l'instance de fenêtre vivante.

Les rectangles de délimitation des contrôles servent de référence de repli pour le pilote lorsque la recherche précise par nom n'est pas temporairement disponible. Cela assure une grande stabilité des tests quelle que soit la résolution d'écran, la mise à l'échelle DPI ou les paramètres d'affichage du système d'exploitation dans différents environnements.

Scénarios, assertions et exécution sans IA

Les scénarios de test enregistrés sont sauvegardés sous forme de fichiers texte standards contenant les étapes, commentaires et règles de gestion pour d'éventuelles interruptions par fenêtres pop-up. La suite d'assertions couvre non seulement les éléments visuels mais aussi la logique métier profonde, incluant les états de grilles DevExpress, des requêtes SQL directes contre des bases de test, et la validation de fichiers exportés.

Une fois qu'un scénario est enregistré et vérifié avec succès via l'IA, les exécutions de régression ultérieures sont lancées par un exécuteur de tests classique sans nécessiter de modèles de langage. Cela économise les coûts en tokens et garantit des résultats reproductibles, tandis que des mécanismes intégrés de comparaison visuelle de captures d'écran détectent la moindre régression d'interface.

Source: Все публикации подряд на Хабре

Articles similaires