كيف تُعلِّم وكيل ذكاء اصطناعي اختبار تطبيقات ويندوز عبر واجهة مستخدم رسومية حقيقية
استكشاف معمارية Deskcheck: ربط Claude Code وتطبيقات Delphi باستخدام إدخال مستوى نظام التشغيل ومُحوِّل بروتوكول محلي.

في تطوير البرمجيات الحديث، يكتب الذكاء الاصطناعي الكود وينشئ المشاريع بشكل متكرر، لكن التحقق من وظائف تطبيقات سطح المكتب يظل نقطة عمياء. لا يضمن تجميع الكود أن واجهة المستخدم تعمل فعليًا كما هو متوقع للمستخدم البشري. لحل هذه المشكلة، تم تطوير Deskcheck للسماح لوكلاء الذكاء الاصطناعي باختبار تطبيقات ويندوز عبر واجهة مستخدم رسومية حقيقية.
- أنشأ المطور إيغور بيليخ Deskcheck لاختبار تطبيقات Delphi باستخدام وكلاء الذكاء الاصطناعي.
- تفصل المعمارية بين "اليدين" (برنامج تشغيل إدخال نظام التشغيل) و"العينين" (بروتوكول DIP لقراءة الحالة).
- يدعم النظام انتقالًا سلسًا من التوليد بالذكاء الاصطناعي إلى عمليات اختبار حتمية في آلات افتراضية دون تكاليف رموز (Tokens).
معمارية Deskcheck: برنامج التشغيل والمُحوِّل
لكي يتفاعل الوكيل بشكل كامل مع تطبيق، يحتاج إلى آليات تحكم وتغذية راجعة. يحاكي برنامج التشغيل إدخال نظام التشغيل الحقيقي باستخدام دوال مثل SendInput، بالنقر على الأزرار والكتابة تمامًا كما يفعل الإنسان. يكشف هذا النهج أخطاء التخطيط الحقيقية والنوافذ المتداخلة، على الرغم من أنه يعمل أبطأ من استدعاءات معالجات الأحداث المباشرة.
لإعادة بيانات حالة الواجهة، يتم تضمين مُحوِّل خفيف الوزن في التطبيق، حيث يشغل خادم HTTP محليًا وفق مواصفات DIP (بروتوكول هوية Deskcheck). القاعدة الأساسية لهذا البروتوكول هي العزل للقراءة فقط: يمكن للمُحوِّل الإبلاغ عن المعلومات لكنه لا يستطيع النقر أو التركيز أو تغيير حالة التطبيق. تُنفَّذ جميع إجراءات التحكم حصرًا بواسطة برنامج التشغيل الخارجي.
اقرأ أيضًاWindows 11 تتبع سراً استخدام وكلاء البرمجة وأدوات المطورينفهرسة العناصر ومعالجة الواجهة
كان التحدي الرئيسي عند التكامل مع المشاريع القديمة، مثل تطبيق Delphi كبير يضم مئات النماذج، هو إنشاء أسماء عناصر تحكم مناسبة. نظرًا لأن ملفات تعريف النماذج الثابتة لا تأخذ في الاعتبار القياس أثناء التشغيل والمظاهر المرئية، يتم بناء فهرس العناصر ديناميكيًا من مثيل النافذة الحي.
تخدم مستطيلات الحدود للعناصر كمرجع احتياطي لبرنامج التشغيل عندما يكون البحث الدقيق القائم على الاسم غير متاح مؤقتًا. يضمن ذلك استقرارًا عاليًا للاختبارات بغض النظر عن دقة الشاشة، أو قياس DPI، أو إعدادات عرض نظام التشغيل عبر بيئات مختلفة.
السيناريوهات، التأكيدات، والتشغيل دون ذكاء اصطناعي
تُحفظ سيناريوهات الاختبار المسجلة كملفات نصية قياسية تحتوي على خطوات، وتعليقات، وقواعد معالجة للانقطاعات المحتملة للنوافذ المنبثقة. تغطي مجموعة التأكيدات ليس العناصر المرئية فحسب، بل المنطق العميق للأعمال أيضًا، بما في ذلك حالات شبكة DevExpress، واستعلامات SQL المباشرة ضد قواعد بيانات الاختبار، والتحقق من الملفات المصدرة.
بمجرد تسجيل سيناريو والتحقق منه بنجاح باستخدام الذكاء الاصطناعي، تُنفَّذ عمليات اختبار الانحدار اللاحقة بواسطة مشغل اختبارات عادي دون الحاجة إلى نماذج لغوية. يوفر ذلك نفقات الرموز ويضمن نتائج قابلة للتكرار، بينما تلتقط آليات مقارنة لقطات الشاشة المرئية المدمجة أي تراجعات دقيقة في الواجهة.
المصدر: Все публикации подряд на Хабре



