IT

Cara Mengajarkan Agen AI untuk Menguji Aplikasi Windows Melalui GUI Nyata

Mengeksplorasi arsitektur Deskcheck: menghubungkan Claude Code dan aplikasi Delphi menggunakan input tingkat OS dan adapter protokol lokal.

·2 menit baca
Cara Mengajarkan Agen AI untuk Menguji Aplikasi Windows Melalui GUI Nyata

Dalam pengembangan perangkat lunak modern, kecerdasan buatan sering menulis kode dan membangun proyek, namun verifikasi fungsionalitas aplikasi desktop tetap menjadi titik buta. Kompilasi kode tidak menjamin bahwa UI benar-benar berfungsi sebagaimana diharapkan oleh pengguna manusia. Untuk mengatasi masalah ini, Deskcheck dikembangkan agar agen AI dapat menguji aplikasi Windows melalui antarmuka pengguna grafis yang nyata.

  • Pengembang Igor Belykh menciptakan Deskcheck untuk menguji aplikasi Delphi menggunakan agen AI.
  • Arsitekturnya memisahkan "tangan" (driver input OS) dan "mata" (protokol DIP untuk membaca status).
  • Sistem mendukung transisi mulus dari generasi AI ke eksekusi tes deterministik di mesin virtual tanpa biaya token.

Arsitektur Deskcheck: Driver dan Adapter

Agar agen dapat berinteraksi penuh dengan aplikasi, diperlukan mekanisme kontrol dan umpan balik. Driver mensimulasikan input sistem operasi nyata menggunakan fungsi seperti SendInput, mengklik tombol dan mengetik layaknya manusia. Pendekatan ini mendeteksi bug tata letak nyata dan tumpang tindih jendela, meskipun berjalan lebih lambat dibandingkan pemanggilan event handler langsung.

Untuk mengembalikan data status antarmuka, adapter ringan disematkan ke dalam aplikasi, menjalankan server HTTP lokal berdasarkan spesifikasi DIP (Deskcheck Identity Protocol). Aturan inti protokol ini adalah isolasi hanya-baca: adapter dapat melaporkan informasi tetapi tidak dapat mengklik, memfokuskan, atau mengubah status aplikasi. Semua aksi kontrol dilakukan secara ketat oleh driver eksternal.

Baca jugaWindows 11 Diam-Diam Melacak Penggunaan Agen Koding dan Alat Pengembang

Katalogisasi Elemen dan Penanganan Antarmuka

Tantangan besar saat mengintegrasikan ke proyek warisan, seperti aplikasi Delphi besar dengan ratusan form, adalah menetapkan nama kontrol yang tepat. Karena file definisi form statis tidak memperhitungkan penskalaan runtime dan tema visual, katalog kontrol dibangun secara dinamis dari instance jendela langsung.

Persegi panjang pembatas kontrol berfungsi sebagai referensi cadangan bagi driver ketika pencarian berbasis nama yang presisi tidak tersedia sementara. Hal ini memastikan stabilitas tes yang tinggi terlepas dari resolusi layar, penskalaan DPI, atau pengaturan tampilan sistem operasi di berbagai lingkungan.

Skenario, Asersi, dan Menjalankan Tanpa AI

Skenario tes yang direkam disimpan sebagai file teks standar yang berisi langkah-langkah, komentar, dan aturan penanganan untuk gangguan pop-up potensial. Suite asersi mencakup tidak hanya elemen visual tetapi juga logika bisnis mendalam, termasuk status grid DevExpress, kueri SQL langsung ke database tes, dan validasi file yang diekspor.

Setelah skenario berhasil direkam dan diverifikasi dengan AI, eksekusi regresi berikutnya dijalankan oleh test runner biasa tanpa memerlukan model bahasa. Ini menghemat biaya token dan menjamin hasil yang dapat direproduksi, sementara mekanisme perbandingan screenshot visual bawaan menangkap regresi antarmuka yang halus.

Sumber: Все публикации подряд на Хабре

Artikel terkait