क्लाइंट्स वॉयस मैसेज भेजना पसंद करते हैं, लेकिन शोर-शराबे वाले वातावरण में मैनेजर्स के लिए उन्हें सुनना असुविधाजनक होता है, और जब तक उन्हें खोला न जाए, तब तक चैट लिस्ट से कोई जानकारी नहीं मिलती। बाहरी क्लाउड API पर निर्भर रहे बिना इस समस्या को हल करने के लिए, डेवलपर्स ने केवल दो CPU कोर और बिना किसी GPU वाले एक छोटे सर्वर पर चलने वाला एक लोकल वॉयस ट्रांसक्रिप्शन सिस्टम तैयार किया। ऑप्टिमाइज़्ड ओपन-सोर्स टूल्स का उपयोग करके लगभग 35 सेकंड के वॉयस मैसेज को मात्र नौ सेकंड में टेक्स्ट में बदल दिया जाता है।
- डेवलपर्स ने अपने सेल्स CRM के भीतर मैसेंजर वॉयस मैसेज के लिए एक लोकल स्पीच-टू-टेक्स्ट पाइपलाइन जोड़ी है।
- यह सिस्टम पूरी तरह से CPU पर चलने वाले faster-whisper (int8 क्वांटाइजेशन के साथ small मॉडल) पर निर्भर करता है।
- विभिन्न मैसेंजर फॉर्मेट्स में मेटाडेटा रीडिंग की त्रुटियों को रोकने के लिए ऑडियो डिकोडिंग का काम ffmpeg को सौंपा गया है।
- प्रोसेसिंग को cron के माध्यम से स्वचालित किया जाता है, जो समवर्ती (concurrent) कार्यों को सीमित करता है और flock का उपयोग करके टास्क क्यु (queue) को भरने से रोकता है।
आर्किटेक्चर और स्पीच रिकग्निशन मॉडल का चयन
प्राइवेसी से जुड़ी चिंताओं के कारण बाहरी क्लाउड ट्रांसक्रिप्शन सेवाओं को तुरंत खारिज कर दिया गया, क्योंकि क्लाइंट के वॉयस मैसेज में संवेदनशील व्यक्तिगत डेटा होता है जिसे लोकल इन्फ्रास्ट्रक्चर से बाहर नहीं जाना चाहिए। डेवलपर्स ने CTranslate2 पर बने OpenAI के Whisper के एक ऑप्टिमाइज़्ड वर्शन faster-whisper को चुना, जो मूल वर्शन की तुलना में स्टैंडर्ड CPU पर काफी तेज़ी से काम करता है। इस प्रोसेसिंग को केवल दो CPU कोर और बिना किसी हार्डवेयर एक्सीलरेशन वाली एक अलग क्लाउड मशीन पर आइसोलेट किया गया था।
यह सिस्टम int8 वेट क्वांटाइजेशन के साथ small मॉडल वेरिएंट का उपयोग करता है। हालांकि बातचीत वाली रूसी भाषा (conversational Russian) में कभी-कभार छोटे-मोटे शब्द की त्रुटियां हो सकती हैं, लेकिन कुल संदर्भ और अर्थ पूरी तरह से सुरक्षित रहते हैं, जो सेल्स मैनेजर्स के लिए पूरी तरह से पर्याप्त है। सीमित हार्डवेयर पर परफॉर्मेंस को अधिकतम करने के लिए कई पैरामीटर्स को ट्यून किया गया था: तेज CPU निष्पादन के लिए compute_type='int8', छोटे वाक्यांशों के लिए greedy डिकोडिंग हेतु beam_size=1, और वॉयस नोट्स में आम तौर पर मिलने वाले सन्नाटे और ठहराव को स्वचालित रूप से हटाने के लिए vad_filter=True।
तकनीकी डिकोडिंग बारीकियां और CRM इंटीग्रेशन
डिफ़ॉल्ट रूप से, faster-whisper PyAV के माध्यम से फ़ाइल खोलना संभालता है, लेकिन ogg, m4a और mp3 जैसे विभिन्न फॉर्मेट्स में आने वाली रॉ मैसेंजर ऑडियो फ़ाइलों को प्रोसेस करते समय यह तरीका विफल हो गया, जिससे अक्सर मेटाडेटा रीडिंग में त्रुटियां होने लगीं। डेवलपर्स ने आने वाली फ़ाइलों को 16 kHz मोनो पर एक मानकीकृत रॉ float32 ऐरे में परिवर्तित करके, ऑडियो डिकोडिंग की पूरी ज़िम्मेदारी ffmpeg को सौंप दी। इससे पाइपलाइन मूल फ़ाइल फॉर्मेट्स से स्वतंत्र हो गई, जिससे विभिन्न क्लाइंट डिवाइसों में स्थिरता सुनिश्चित हुई।
यूनिक्स फिलॉसफी का पालन करते हुए, ट्रांसक्रिप्शन स्क्रिप्ट स्टैंडर्ड इनपुट और आउटपुट स्ट्रीम (stdin से stdout) के माध्यम से काम करती है, जिसका अर्थ है कि ऑडियो फ़ाइलें कभी भी सर्वर डिस्क पर नहीं लिखी जाती हैं, जिससे सुरक्षा बढ़ती है। मुख्य CRM सर्वर सबप्रोसेस कॉल्स के माध्यम से स्क्रिप्ट को कॉल करता है। ऑटोमेशन को cron द्वारा संभाला जाता है, जिसे ओवरलैपिंग निष्पादन को रोकने के लिए flock के साथ जोड़ा गया है और ट्रैफिक स्पाइक्स से रिकग्निशन सर्वर की रक्षा के लिए प्रति रन प्रोसेस किए जाने वाले संदेशों की एक सख्त सीमा तय की गई है।
व्यावसायिक प्रभाव और व्यावहारिक सीख
इस लोकल ऑटोमेशन दृष्टिकोण ने बाहरी भुगतान वाले क्लाउड API की आवश्यकता को समाप्त कर दिया और साथ ही सभी ऑडियो और टेक्स्ट डेटा को घरेलू सर्वर पर सुरक्षित रखा। प्राप्ति के लगभग एक मिनट बाद वॉयस मैसेज स्वचालित रूप से ट्रांसक्राइब हो जाता है और CRM इंटरफ़ेस में दिखाई देने लगता है, जिससे मैनेजर्स प्ले पर क्लिक किए बिना सीधे चैट लिस्ट से ग्राहक के इरादे को तुरंत समझ सकते हैं। यह समाधान साबित करता है कि महंगे GPU के बिना मामूली हार्डवेयर पर व्यावहारिक AI सुविधाओं को लागत प्रभावी ढंग से तैनात किया जा सकता है।
इसी तरह के आंतरिक टूल बनाने वाली तकनीकी टीमों के लिए, एक छोटे int8 CPU कॉन्फ़िगरेशन से शुरुआत करना, मजबूत ऑडियो डिकोडिंग के लिए ffmpeg का लाभ उठाना, और अनावश्यक डिस्क स्टोरेज से बचना एक विश्वसनीय ब्लूप्रिंट प्रदान करता है। सख्त डेटा प्राइवेसी बाधाओं के तहत काम करने वाले आधुनिक CRM प्लेटफॉर्म के लिए उपयोगकर्ता डेटा की रक्षा करते हुए परिचालन दक्षता बढ़ाना इस लोकल AI इंटीग्रेशन को एक मूल्यवान संपत्ति बनाता है।
स्रोत: Все публикации подряд на Хабре