AIエージェントに実GUIを通じてWindowsアプリをテストさせる方法
Deskcheckアーキテクチャの探求: OSレベルの入力とローカルプロトコルアダプタを用いてClaude CodeとDelphiアプリを接続する。

現代のソフトウェア開発において、人工知能が頻繁にコードを書きプロジェクトを構築するようになったが、デスクトップアプリケーションの機能検証は依然として盲点のままである。コードがコンパイルできても、UIが人間のユーザーにとって期待通りに動作するとは限らない。この課題を解決するため、AIエージェントが本物のグラフィカルユーザーインターフェースを通じてWindowsアプリケーションをテストできるようにするDeskcheckが開発された。
- デベロッパーのIgor Belykh氏が、AIエージェントを用いたDelphiアプリケーションのテストのためにDeskcheckを作成。
- アーキテクチャは「手」(OS入力ドライバ)と「目」(状態読み取り用のDIPプロトコル)を分離。
- システムは、AI生成から仮想マシンでの決定論的テスト実行へのシームレスな移行をサポートし、トークンコストは不要。
Deskcheckアーキテクチャ: ドライバとアダプタ
エージェントがアプリケーションと完全にやり取りするには、制御メカニズムとフィードバックが必要だ。ドライバはSendInputのような関数を用いて実際のOS入力をシミュレートし、人間と同じようにボタンをクリックし文字を入力する。このアプローチは実際のレイアウトバグや重なり合うウィンドウを検出できるが、イベントハンドラの直接呼び出しよりは遅く動作する。
インターフェースの状態データをフィードバックするため、DIP(Deskcheck Identity Protocol)仕様に基づくローカルHTTPサーバを実行する軽量アダプタをアプリケーションに組み込む。このプロトコルの核心ルールは読み取り専用の分離である: アダプタは情報を報告できるが、クリック、フォーカス、アプリケーション状態の変更は一切できない。すべての制御アクションは外部ドライバによって厳密に実行される。
あわせて読みたいWindows 11がコーディングエージェントや開発ツールの一挙手一投足を密かに追跡要素カタログ化とインターフェース処理
数百のフォームを持つ大規模Delphiアプリケーションのようなレガシープロジェクトへの統合における大きな課題は、適切なコントロール名の確立だった。静的なフォーム定義ファイルはランタイムのスケーリングやビジュアルテーマを考慮しないため、コントロールカタログはライブウィンドウインスタンスから動的に構築される。
コントロールの境界矩形は、正確な名前ベースの検索が一時的に利用できない場合のドライバのフォールバック参照として機能する。これにより、異なる環境における画面解像度、DPIスケーリング、OS表示設定に関わらず、高いテスト安定性が確保される。
シナリオ、アサーション、AIなしでの実行
記録されたテストシナリオは、手順、コメント、ポップアップ割り込みの処理ルールを含む標準テキストファイルとして保存される。アサーションスイートは視覚要素だけでなく、DevExpressグリッドの状態、テストデータベースへの直接SQLクエリ、エクスポートファイルの検証など、深いビジネスロジックもカバーする。
シナリオがAIで正常に記録・検証されれば、以降のリグレッション実行は言語モデルを必要としない通常のテストランナーで実行される。これによりトークン費用を節約し、再現可能な結果を保証しながら、組み込みのビジュアルスクリーンショット比較メカニズムが微細なインターフェース回帰を捕捉する。



