AI विकास के लिए ASR: तकनीकी शब्दों की पहचान का बेंचमार्किंग
वॉइस-संचालित AI विकास में स्पीच रिकग्निशन की गुणवत्ता को कैसे मापें। GigaAM, T-one और Whisper मॉडल की तुलना और WER की कमियां।

पिछले नवंबर से, लेखक ने एक 'डार्क सॉफ्टवेयर फैक्ट्री' बनाई है, जहाँ अधिकांश विकास कार्य पूरी तरह से वॉइस कमांड का उपयोग करके किया जाता है। जो एक साधारण प्रयोग के रूप में शुरू हुआ था, वह जल्दी ही चलते-फिरते प्रोडक्ट बनाने के लिए एक सुव्यवस्थित वर्कफ़्लो में बदल गया। इस तरह की स्वचालित सॉफ्टवेयर फैक्ट्री की नींव ASR (ऑटोमैटिक स्पीच रिकग्निशन) है, क्योंकि आवाज को टेक्स्ट में बदलने की सटीकता सीधे तौर पर पाइपलाइन की गति तय करती है।
- PDLC (प्रोडक्ट डेवलपमेंट लाइफसाइकिल) कार्यों पर केंद्रित 1000 वॉइस रिकॉर्डिंग (20.3 ऑडियो घंटे, 7 वक्ता) वाला एक बेंचमार्क बनाया गया।
- 18,000 शब्द रूपों से 454 अद्वितीय तकनीकी शब्दों की पहचान की गई और ऑडियो में उन्हें बारीकी से एनोटेट किया गया।
- सभी मॉडलों (GigaAM, T-one और Whisper) का परीक्षण विशेष रूप से बिना GPU एक्सीलेरेशन के केवल एक CPU (AMD Ryzen 5 3600) पर किया गया।
- क्लासिक WER मेट्रिक विकास के लिए पेचीदा साबित हुआ, क्योंकि छोटे महत्वपूर्ण शब्दों में होने वाली त्रुटियां कुल आंकड़ों में आसानी से छिप सकती हैं।
डेटासेट की विशेषताएं और परीक्षण पद्धति
एक निष्पक्ष परीक्षण करने के लिए, लेखक के व्यक्तिगत ऑडियो और तकनीकी पब्लिक-सोर्स पॉडकास्ट को मिलाकर एक डेटासेट तैयार किया गया। इस भाषण में बातचीत वाली रूसी भाषा, कई एंग्लिसिज़्म, पेशेवर स्लैंग और उधार लिए गए शब्दों का एक जटिल मिश्रण है। 18,000 अद्वितीय शब्द रूपों में से, इंटरफेस, आर्किटेक्चर और फ्रेमवर्क से संबंधित 454 विशिष्ट तकनीकी शब्दों को सावधानीपूर्वक अलग किया गया और एनोटेट किया गया।
बेंचमार्क को AMD Ryzen 5 3600 CPU (6 फिजिकल कोर) और 63 GB रैम से लैस एक मानक मशीन पर चलाया गया, जो बिना किसी GPU उपयोग के पूरी तरह से CPU पर चल रहा था। मूल्यांकन किए जाने वाले मुख्य दावेदार GigaAM, T-one और Whisper थे। मूल्यांकन फ्रेमवर्क में वर्ड एरर रेट (WER), कैरेक्टर एरर रेट (CER), रियल-टाइम फैक्टर (RTF) और सटीक टर्म मैच प्रतिशत सहित मानक मेट्रिक्स का उपयोग किया गया।
यह भी पढ़ेंNeuralink Blindsight: एलन मस्क ने दृष्टि वापस लाने वाली न्यूरल चिप की जानकारी दीमॉडल तुलना के परिणाम और WER की दुविधा
गति परीक्षणों से पता चला कि GigaAM और T-one वास्तविक CPU चैंपियन हैं, जबकि Whisper हार्डवेयर एक्सीलेरेटर के बिना संघर्ष करता है। सामान्य WER में GigaAM विजेता बनकर उभरा, जो सामान्य रूसी स्पीच ट्रांसक्रिप्शन में इसकी उत्कृष्टता को साबित करता है। हालाँकि, जब विशिष्ट तकनीकी शब्दों की जांच की गई, तो Whisper ने उन संस्थाओं को पकड़ने में अधिक क्षमता का प्रदर्शन किया, जिससे सामान्य टेक्स्ट सटीकता और तकनीकी शब्द सटीकता के बीच एक स्पष्ट व्यापार-बंद (ट्रेड-ऑफ) का पता चलता है।
लेख वर्ड एरर रेट (WER) मेट्रिक की गहराई से जांच करता है, जो ग्राउंड ट्रुथ से मिलान करने के लिए आवश्यक प्रतिस्थापन, विलोपन और प्रक्षेप की गिनती करता है। यदि त्रुटि किसी महत्वपूर्ण तकनीकी शब्द में होती है, तो एक समान कम WER स्कोर या तो सफल निष्पादन या बर्बाद फीचर को छिपा सकता है। लंबी ऑडियो रिकॉर्डिंग में, दुर्लभ शब्दों में त्रुटियों का कुल अंश और हर (numerator and denominator) पर बहुत कम प्रभाव पड़ता है, फिर भी वे AI कोडिंग एजेंट को गंभीर रूप से भटका सकते हैं।
सॉफ्टवेयर फैक्ट्रियों के लिए व्यावहारिक निहितार्थ
व्यवहार में, जनरेट किया गया ट्रांसक्रिप्ट एक ऐसे हार्नेस में जाता है जो इसे उपयोगकर्ता के इरादे और कोड सर्च कार्यों में विभाजितř करता है। जबकि खोज रूटीन मामूली अर्थ संबंधी विविधताओं (जैसे डैशबोर्ड और पर्यायवाची) को सहन कर सकते हैं, किसी दुर्लभ तकनीकी प्रोटोकॉल या लाइब्रेरी को गलत पहचानना पूरे कार्य को पूरी तरह से पटरी से उतार सकता है। परिशुद्धता को पूरी तरह से असंबंधित शब्द में बदलने या प्रोडक्शन पर्यावरण को गलत समझने जैसी मनोरंजक विफलताएं स्वचालित कमिट में गंभीर समस्याएं पैदा कर सकती हैं।
वॉइस इंटरफेस और AI-संचालित वर्कफ़्लो की खोज करने वाले डेवलपर्स और तकनीकी व्यवसायों के लिए, यह शोध इस बात पर प्रकाश डालता है कि सामान्य प्रयोजन वाले स्पीच रिकग्निशन मॉडल पर्याप्त नहीं हैं। विश्वसनीय वॉइस-नियंत्रित विकास पाइपलाइनों के निर्माण के लिए डोमेन-विशिष्ट बेंचमार्किंग, तकनीकी शब्दावली को सावधानीपूर्वक संभालने और ASR ट्रांसक्रिप्शन शोर को फ़िल्टर करने के लिए मजबूत पोस्ट-प्रोसेसिंग परतों की आवश्यकता होती है।



