Jak nauczyć agenta AI testować aplikacje Windows przez prawdziwy interfejs GUI
Eksploracja architektury Deskcheck: łączenie Claude Code z aplikacjami Delphi przy użyciu wejścia na poziomie systemu operacyjnego i lokalnego adaptera protokołu.

W nowoczesnym rozwoju oprogramowania sztuczna inteligencja często pisze kod i buduje projekty, jednak weryfikacja funkcjonalności aplikacji desktopowych pozostaje ślepym punktem. Kompilacja kodu nie gwarantuje, że interfejs użytkownika faktycznie działa zgodnie z oczekiwaniami ludzkiego użytkownika. Aby rozwiązać ten problem, powstało Deskcheck, pozwalające agentom AI testować aplikacje Windows przez autentyczny graficzny interfejs użytkownika.
- Deweloper Igor Belykh stworzył Deskcheck do testowania aplikacji Delphi przy użyciu agentów AI.
- Architektura oddziela "ręce" (sterownik wejścia systemu operacyjnego) i "oczy" (protokół DIP do odczytu stanu).
- System obsługuje płynne przejście od generowania przez AI do deterministycznych przebiegów testowych w maszynach wirtualnych bez kosztów tokenów.
Architektura Deskcheck: Sterownik i Adapter
Aby agent mógł w pełni wchodzić w interakcję z aplikacją, potrzebuje mechanizmów kontroli i informacji zwrotnej. Sterownik symuluje prawdziwe wejście systemu operacyjnego, używając funkcji takich jak SendInput, klikając przyciski i wpisując tekst tak jak człowiek. To podejście wykrywa realne błędy układu i nakładające się okna, choć działa wolniej niż bezpośrednie wywołania obsługi zdarzeń.
Aby przekazać dane o stanie interfejsu, do aplikacji wbudowany jest lekki adapter, uruchamiający lokalny serwer HTTP zgodny ze specyfikacją DIP (Deskcheck Identity Protocol). Podstawową zasadą tego protokołu jest izolacja tylko do odczytu: adapter może raportować informacje, ale nie może klikać, ustawiać fokusu ani zmieniać stanu aplikacji. Wszystkie akcje kontrolne wykonywane są wyłącznie przez zewnętrzny sterownik.
Przeczytaj takżeWindows 11 potajemnie monitoruje korzystanie z agentów programistycznych i narzędzi deweloperskichKatalogowanie elementów i obsługa interfejsu
Głównym wyzwaniem przy integracji z projektami legacy, takimi jak duża aplikacja Delphi z setkami formularzy, było ustalenie właściwych nazw kontrolek. Ponieważ statyczne pliki definicji formularzy nie uwzględniają skalowania w czasie wykonywania i motywów wizualnych, katalog kontrolek budowany jest dynamicznie na podstawie żywej instancji okna.
Prostokąty ograniczające kontrolek służą jako zapasowa referencja dla sterownika, gdy precyzyjne wyszukiwanie po nazwie jest chwilowo niedostępne. To zapewnia wysoką stabilność testów niezależnie od rozdzielczości ekranu, skalowania DPI lub ustawień wyświetlania systemu operacyjnego w różnych środowiskach.
Scenariusze, asercje i uruchamianie bez AI
Nagrane scenariusze testowe zapisywane są jako standardowe pliki tekstowe zawierające kroki, komentarze i reguły obsługi potencjalnych przerwań wyskakujących okienek. Zestaw asercji obejmuje nie tylko elementy wizualne, ale także głęboką logikę biznesową, w tym stany siatek DevExpress, bezpośrednie zapytania SQL do baz testowych oraz walidację eksportowanych plików.
Gdy scenariusz zostanie pomyślnie nagrany i zweryfikowany przy użyciu AI, kolejne przebiegi regresyjne wykonywane są przez zwykły runner testowy bez konieczności angażowania modeli językowych. To oszczędza koszty tokenów i gwarantuje powtarzalne wyniki, a wbudowane mechanizmy porównywania zrzutów ekranu wizualnych wykrywają wszelkie subtelne regresje interfejsu.
Źródło: Все публикации подряд на Хабре



