IT

Wie man einen KI-Agenten beibringt, Windows-Apps über eine echte GUI zu testen

Erkundung der Deskcheck-Architektur: Verbindung von Claude Code und Delphi-Apps mittels OS-Eingabe und lokalem Protokolladapter.

·2 Min. Lesezeit
Wie man einen KI-Agenten beibringt, Windows-Apps über eine echte GUI zu testen

In der modernen Softwareentwicklung schreibt künstliche Intelligenz häufig Code und baut Projekte, aber die Überprüfung der Funktionalität von Desktop-Anwendungen bleibt ein blinder Fleck. Die Code-Kompilierung garantiert nicht, dass die Benutzeroberfläche tatsächlich so funktioniert, wie ein menschlicher Nutzer es erwartet. Um dieses Problem zu lösen, wurde Deskcheck entwickelt, um KI-Agenten zu ermöglichen, Windows-Anwendungen über eine echte grafische Benutzeroberfläche zu testen.

  • Entwickler Igor Belykh hat Deskcheck für das Testen von Delphi-Anwendungen mit KI-Agenten erstellt.
  • Die Architektur trennt "Hände" (OS-Eingabetreiber) und "Augen" (DIP-Protokoll für das Zustandsauslesen).
  • Das System unterstützt den nahtlosen Übergang von der KI-Generierung zu deterministischen Testläufen in virtuellen Maschinen ohne Token-Kosten.

Deskcheck-Architektur: Treiber und Adapter

Damit ein Agent vollständig mit einer Anwendung interagieren kann, benötigt er Steuerungsmechanismen und Feedback. Der Treiber simuliert echte Betriebssystemeingaben mithilfe von Funktionen wie SendInput, klickt auf Buttons und tippt wie ein Mensch. Dieser Ansatz erkennt echte Layout-Fehler und überlappende Fenster, arbeitet allerdings langsamer als direkte Aufrufe von Ereignishandlern.

Um Schnittstellenzustandsdaten zurückzugeben, wird ein leichter Adapter in die Anwendung eingebettet, der einen lokalen HTTP-Server gemäß der DIP-Spezifikation (Deskcheck Identity Protocol) betreibt. Die Kernregel dieses Protokolls ist die schreibgeschützte Isolation: Der Adapter kann Informationen melden, aber nicht klicken, fokussieren oder den Anwendungszustand ändern. Alle Steuerungsaktionen werden ausschließlich vom externen Treiber ausgeführt.

Lesen Sie auchWindows 11 verfolgt heimlich die Nutzung von Coding-Agenten und Entwicklertools

Elementkatalogisierung und Schnittstellenbehandlung

Eine große Herausforderung bei der Integration in Legacy-Projekte, wie eine umfangreiche Delphi-Anwendung mit hunderten von Formularen, war die Festlegung geeigneter Kontrollnamen. Da statische Formulardefinitionsdateien keine Laufzeitskalierung und visuelle Themen berücksichtigen, wird der Kontrollkatalog dynamisch aus der lebenden Fensterinstanz erstellt.

Die Begrenzungsrechtecke der Steuerelemente dienen als Fallback-Referenz für den Treiber, wenn eine präzise namensbasierte Suche vorübergehend nicht verfügbar ist. Dies gewährleistet hohe Teststabilität unabhängig von Bildschirmauflösung, DPI-Skalierung oder Betriebssystem-Anzeigeeinstellungen in verschiedenen Umgebungen.

Szenarien, Assertionen und Ausführung ohne KI

Aufgezeichnete Testszenarien werden als Standard-Textdateien gespeichert, die Schritte, Kommentare und Behandlungsregeln für potenzielle Pop-up-Unterbrechungen enthalten. Die Assertion-Suite deckt nicht nur visuelle Elemente ab, sondern auch tiefe Geschäftslogik, einschließlich DevExpress-Grid-Zustände, direkte SQL-Abfragen gegen Testdatenbanken und Validierung exportierter Dateien.

Sobald ein Szenario erfolgreich aufgezeichnet und mit KI verifiziert wurde, werden nachfolgende Regressionsläufe von einem regulären Test-Runner ohne Sprachmodelle ausgeführt. Dies spart Token-Kosten und garantiert reproduzierbare Ergebnisse, während integrierte visuelle Screenshot-Vergleichsmechanismen jede noch so subtile Interface-Regression erfassen.

Quelle: Все публикации подряд на Хабре

Ähnliche Artikel