Как научить AI-агента проверять Windows-приложение через GUI
Разбор архитектуры Deskcheck: как подружить Claude Code и Delphi-приложения с помощью реального ввода ОС и локального адаптера.

В современной разработке искусственный интеллект все чаще пишет код и собирает проекты, но проверка работоспособности десктопных приложений остается слепой зоной. Компиляция кода не гарантирует, что интерфейс работает корректно, а пользователю не мешают всплывающие ошибки. Для решения этой проблемы был создан инструмент Deskcheck, который позволяет AI-агентам тестировать Windows-программы через настоящий графический интерфейс.
- Разработчик Игорь Белых создал Deskcheck для тестирования Delphi-приложений с помощью AI-агентов.
- Архитектура разделяет "руки" (драйвер ввода ОС) и "глаза" (протокол DIP для чтения состояния).
- Система поддерживает бесшовный переход от AI-генерации к детерминированным прогонам тестов в виртуальных машинах без затрат токенов.
Архитектура Deskcheck: драйвер и адаптер
Чтобы агент мог полноценно взаимодействовать с программой, ему нужны средства управления и обратная связь. Драйвер имитирует реальный ввод операционной системы через функции вроде SendInput, нажимая кнопки и вводя текст так, как это делает человек. Это позволяет выявлять реальные проблемы верстки и перекрытия окон, хотя работает медленнее прямых вызовов обработчиков событий.
Для передачи данных о состоянии интерфейса в приложение встраивается легкий адаптер, поднимающий локальный HTTP-сервер по протоколу DIP (Deskcheck Identity Protocol). Главный принцип этого протокола — полная изоляция от изменения состояния: адаптер умеет только читать информацию, но не может кликать, закрывать окна или менять данные. Все действия по управлению приложением выполняет исключительно внешний драйвер.
Читайте такжеWindows 11 собирает данные об использовании искусственного интеллекта и сред разработкиРабота с элементами интерфейса и каталогизация
Главным вызовом при внедрении системы в старые проекты вроде крупного приложения на Delphi 12 с сотнями форм стало наличие уникальных имен контролов. Автоматически сгенерированные идентификаторы потребовали ручной ревизии, так как статические файлы форм не учитывают реальные размеры элементов после масштабирования и применения тем оформления.
Каталог элементов формы создается динамически на основе живого окна приложения. Прямоугольные координаты контролов используются драйвером как вспомогательный ориентир, когда точный поиск по имени временно затруднен. Это обеспечивает высокую стабильность автотестов независимо от разрешения монитора и настроек операционной системы.
Сценарии, проверки и запуск без AI
Записанные сценарии сохраняются в виде простых текстовых файлов с шагами, комментариями и описанием возможных прерываний вроде всплывающих окон лицензии. Набор проверок охватывает не только визуальные элементы, но и глубокую бизнес-логику, включая состояние гридов DevExpress, прямые SQL-запросы к тестовой базе данных и проверку экспортируемых файлов.
После того как сценарий записан и проверен с помощью AI, дальнейшие регрессионные прогоны выполняются обычным тест-раннером без участия языковых моделей. Это избавляет команду от лишних затрат токенов и гарантирует воспроизводимость результатов, а встроенные механизмы визуального сравнения снимков экрана фиксируют любые изменения в интерфейсе.
Источник: Все публикации подряд на Хабре



