AI एजेंट को वास्तविक GUI के माध्यम से Windows ऐप्स का परीक्षण करना कैसे सिखाएं
Deskcheck आर्किटेक्चर की खोज: OS-स्तरीय इनपुट और स्थानीय प्रोटोकॉल एडाप्टर का उपयोग करके Claude Code और Delphi ऐप्स को जोड़ना।

आधुनिक सॉफ्टवेयर विकास में, कृत्रिम बुद्धिमत्ता अक्सर कोड लिखती है और प्रोजेक्ट बनाती है, लेकिन डेस्कटॉप एप्लिकेशन की कार्यक्षमता को सत्यापित करना अभी भी एक ब्लाइंड स्पॉट बना हुआ है। कोड कंपाइलेशन यह गारंटी नहीं देता कि UI वास्तव में मानव उपयोगकर्ता के लिए अपेक्षित रूप से काम करता है। इस समस्या को हल करने के लिए, Deskcheck विकसित किया गया ताकि AI एजेंट वास्तविक ग्राफिकल यूजर इंटरफेस के माध्यम से Windows एप्लिकेशन का परीक्षण कर सकें।
- डेवलपर Igor Belykh ने AI एजेंट्स का उपयोग करके Delphi एप्लिकेशन के परीक्षण के लिए Deskcheck बनाया।
- आर्किटेक्चर "हाथों" (OS इनपुट ड्राइवर) और "आंखों" (स्टेट रीडिंग के लिए DIP प्रोटोकॉल) को अलग करता है।
- सिस्टम टोकन लागत के बिना AI जनरेशन से वर्चुअल मशीन में डिटरमिनिस्टिक टेस्ट रन तक सहज परिवर्तन का समर्थन करता है।
Deskcheck आर्किटेक्चर: ड्राइवर और एडाप्टर
किसी एप्लिकेशन के साथ पूरी तरह से इंटरैक्ट करने के लिए, एक एजेंट को कंट्रोल मैकेनिज्म और फीडबैक की आवश्यकता होती है। ड्राइवर SendInput जैसे फ़ंक्शंस का उपयोग करके वास्तविक ऑपरेटिंग सिस्टम इनपुट का अनुकरण करता है, बिल्कुल इंसान की तरह बटन क्लिक करता है और टाइप करता है। यह दृष्टिकोण वास्तविक लेआउट बग्स और ओवरलैपिंग विंडोज को पकड़ता है, हालांकि यह डायरेक्ट इवेंट हैंडलर कॉल्स की तुलना में धीमा काम करता है।
इंटरफेस स्टेट डेटा वापस भेजने के लिए, एक हल्का एडाप्टर एप्लिकेशन में एम्बेड किया जाता है, जो DIP (Deskcheck Identity Protocol) स्पेसिफिकेशन पर एक स्थानीय HTTP सर्वर चलाता है। इस प्रोटोकॉल का मुख्य नियम रीड-ओनली आइसोलेशन है: एडाप्टर जानकारी रिपोर्ट कर सकता है लेकिन क्लिक, फोकस, या एप्लिकेशन स्टेट नहीं बदल सकता। सभी कंट्रोल एक्शन सख्ती से बाहरी ड्राइवर द्वारा किए जाते हैं।
यह भी पढ़ेंWindows 11 चुपचाप कोडिंग एजेंट्स और डेवलपर टूल्स के इस्तेमाल को ट्रैक कर रहा हैएलिमेंट कैटलॉगिंग और इंटरफेस हैंडलिंग
लिगेसी प्रोजेक्ट्स में एकीकरण करते समय, जैसे सैकड़ों फॉर्म वाले बड़े Delphi एप्लिकेशन में, एक बड़ी चुनौती उचित कंट्रोल नाम स्थापित करना था। चूंकि स्टेटिक फॉर्म डेफिनिशन फाइलें रनटाइम स्केलिंग और विजुअल थीम को ध्यान में नहीं रखतीं, इसलिए कंट्रोल कैटलॉग लाइव विंडो इंस्टेंस से डायनामिक रूप से बनाया जाता है।
कंट्रोल बाउंडिंग रेक्टेंगल ड्राइवर के लिए फॉलबैक रेफरेंस के रूप में काम करते हैं जब सटीक नाम-आधारित लुकअप अस्थायी रूप से अनुपलब्ध होता है। यह स्क्रीन रिजॉल्यूशन, DPI स्केलिंग, या विभिन्न वातावरणों में ऑपरेटिंग सिस्टम डिस्प्ले सेटिंग्स की परवाह किए बिना उच्च परीक्षण स्थिरता सुनिश्चित करता है।
परिदृश्य, दावे, और AI के बिना चलाना
रिकॉर्ड किए गए टेस्ट परिदृश्य मानक टेक्स्ट फाइलों के रूप में सहेजे जाते हैं जिनमें चरण, टिप्पणियां, और संभावित पॉप-अप रुकावटों के लिए हैंडलिंग नियम होते हैं। दावा सूट न केवल विजुअल एलिमेंट्स को कवर करती है बल्कि गहरी बिजनेस लॉजिक को भी, जिसमें DevExpress ग्रिड स्टेट्स, टेस्ट डेटाबेस के खिलाफ डायरेक्ट SQL क्वेरीज़, और एक्सपोर्टेड फाइलों का सत्यापन शामिल है।
एक बार जब कोई परिदृश्य सफलतापूर्वक रिकॉर्ड और AI के साथ सत्यापित हो जाता है, तो बाद के रिग्रेशन रन एक नियमित टेस्ट रनर द्वारा बिना भाषा मॉडल की आवश्यकता के निष्पादित किए जाते हैं। यह टोकन खर्च बचाता है और पुनरुत्पादन योग्य परिणामों की गारंटी देता है, जबकि अंतर्निहित विजुअल स्क्रीनशॉट तुलना तंत्र किसी भी सूक्ष्म इंटरफेस रिग्रेशन को पकड़ लेता है।



