IT

Bir AI ajanına gerçek GUI aracılığıyla Windows uygulamalarını test etmeyi nasıl öğretirsiniz

Deskcheck mimarisini keşfetmek: OS seviyesinde girdi ve yerel bir protokol adaptörü kullanarak Claude Code ve Delphi uygulamalarını bağlamak.

·2 dk okuma
Bir AI ajanına gerçek GUI aracılığıyla Windows uygulamalarını test etmeyi nasıl öğretirsiniz

Modern yazılım geliştirmede yapay zeka sık sık kod yazar ve projeler inşa eder, ancak masaüstü uygulaması işlevselliğini doğrulamak hâlâ bir kör nokta olarak kalıyor. Kod derlemesi, kullanıcı arayüzünün insan kullanıcısı için beklendiği gibi çalıştığını garanti etmez. Bu sorunu çözmek için, AI ajanlarının Windows uygulamalarını gerçek bir grafiksel kullanıcı arayüzü aracılığıyla test etmesine olanak tanıyan Deskcheck geliştirildi.

  • Geliştirici Igor Belykh, AI ajanlarını kullanarak Delphi uygulamalarını test etmek için Deskcheck'i oluşturdu.
  • Mimarisi, "elleri" (OS girdi sürücüsü) ve "gözleri" (durum okuma için DIP protokolü) ayırır.
  • Sistem, token maliyeti olmadan AI üretiminden sanal makinelerde deterministik test çalıştırmalarına sorunsuz geçişi destekler.

Deskcheck Mimarisi: Sürücü ve Adaptör

Bir ajan bir uygulama ile tam etkileşim kurabilmek için kontrol mekanizmaları ve geri bildirime ihtiyaç duyar. Sürücü, SendInput gibi işlevleri kullanarak gerçek işletim sistemi girdisini simüle eder, bir insan gibi düğmelere tıklar ve yazar. Bu yaklaşım, doğrudan olay işleyici çağrılarından daha yavaş çalışsa da, gerçek düzen hatalarını ve üst üste binen pencereleri yakalar.

Arayüz durumu verilerini geri beslemek için, DIP (Deskcheck Kimlik Protokolü) spesifikasyonu üzerinden yerel bir HTTP sunucusu çalıştıran hafif bir adaptör uygulamaya gömülür. Bu protokolün temel kuralı salt okunur izolasyondur: adaptör bilgi raporlayabilir ancak tıklayamaz, odaklanamaz veya uygulama durumunu değiştiremez. Tüm kontrol eylemleri kesinlikle harici sürücü tarafından gerçekleştirilir.

Bunu da okuyunWindows 11, Kodlama Ajanlarını ve Geliştirici Araçlarını Gizlice Takip Ediyor

Öğe Kataloğu ve Arayüz İşleme

Yüzlerce form içeren büyük bir Delphi uygulaması gibi eski projelerle entegrasyon yaparken karşılaşılan büyük bir zorluk, uygun kontrol isimlerini belirlemekti. Statik form tanım dosyaları çalışma zamanı ölçeklendirmesini ve görsel temaları hesaba katmadığı için, kontrol kataloğu canlı pencere örneğinden dinamik olarak oluşturulur.

Kontrol sınırlayıcı dikdörtgenler, tam isim tabanlı arama geçici olarak kullanılamadığında sürücü için yedek referans görevi görür. Bu, farklı ortamlardaki ekran çözünürlüğünden, DPI ölçeklemesinden veya işletim sistemi görüntü ayarlarından bağımsız olarak yüksek test kararlılığını sağlar.

Senaryolar, İddialar ve AI Olmadan Çalıştırma

Kaydedilen test senaryoları, adımlar, yorumlar ve olası açılır pencere kesintileri için işleme kuralları içeren standart metin dosyaları olarak kaydedilir. İddia paketi yalnızca görsel öğeleri değil, DevExpress ızgara durumları, test veritabanlarına karşı doğrudan SQL sorguları ve dışa aktarılan dosyaların doğrulaması dahil derin iş mantığını da kapsar.

Bir senaryo başarıyla kaydedildiğinde ve AI ile doğrulandığında, sonraki regresyon çalıştırmaları dil modelleri gerektirmeden normal bir test çalıştırıcısı tarafından yürütülür. Bu, token masraflarını tasarruf ettirir ve yeniden üretilebilir sonuçları garanti ederken, yerleşik görsel ekran görüntüsü karşılaştırma mekanizmaları herhangi bir ince arayüz regresyonunu yakalar.

Kaynak: Все публикации подряд на Хабре

Benzer makaleler