AI

التعرف الآلي على الكلام لتطوير الذكاء الاصطناعي: قياس دقة التعرف على المصطلحات التقنية

كيفية قياس جودة التعرف على الكلام في تطوير الذكاء الاصطناعي القائم على الصوت. مقارنة بين نماذج GigaAM و T-one و Whisper وعيوب مقياس معدل الخطأ في الكلمات (WER).

·3 دقائق قراءة
التعرف الآلي على الكلام لتطوير الذكاء الاصطناعي: قياس دقة التعرف على المصطلحات التقنية

منذ نوفمبر الماضي، بنى الكاتب "مصنع برمجيات مظلماً" (Dark Software Factory)، حيث يتم تنفيذ غالبية عمليات التطوير بالكامل باستخدام الأوامر الصوتية. وما بدأ تجربة بسيطة سرعان ما تطور إلى سير عمل مبسط لابتكار المنتجات أثناء التنقل. وتعتبر أساس أي مصنع برمجيات مؤتمت من هذا القبيل هي تقنية التعرف الآلي على الكلام (ASR)، نظراً لأن دقة تحويل الصوت إلى نص تحدد مباشرة سرعة خط الإنتاج.

  • تم إنشاء اختبار معيارية يضم 1000 تسجيل صوتي (20.3 ساعة صوتية، 7 متحدثين) تركز على مهام دورة حياة تطوير المنتجات (PDLC).
  • تم تحديد 454 مصطلحاً تقنياً فريداً من أصل 18,000 شكل كلمة، وتم توثيقها بدقة في التسجيلات الصوتية.
  • تم اختبار جميع النماذج (GigaAM، T-one، و Whisper) حصرياً على وحدة معالجة مركزية (AMD Ryzen 5 3600) دون تسريع بطاقة الرسوميات.
  • أثبت مقياس معدل خطأ الكلمات (WER) الكلاسيكي أنه مخادع في التطوير، إذ يمكن للأخطاء في المصطلحات الحرجة القصيرة أن تختفي بسهولة ضمن الإحصاءات العامة.

ميزات مجموعة البيانات ومنهجية الاختبار

لإجراء اختبار موضوعي، تم تجميع مجموعة بيانات تجمع بين الصوت الشخصي للكاتب والبودكاست التقني العام. ويتميز الكلام بمزيج معقد من اللغة الروسية المحكية، والعديد من الكلمات الدخيلة (الأنكليسزم)، والمهنية، والمصطلحات المقتبسة. ومن أصل 18,000 شكل كلمة فريد، تم عزل وتوثيق 454 مصطلحاً تقنياً محدداً يتعلق بالواجهات، والبنية الهندسية، وأطر العمل.

وقد تم تشغيل الاختبار على جهاز قياسي مزود بمعالج AMD Ryzen 5 3600 (6 أنوية פיزية) و63 جيجابايت من ذاكرة الوصول العشوائي (RAM)، ويعمل بالكامل على وحدة المعالجة المركزية دون استخدام بطاقة الرسوميات. وكانت النماذج الرئيسية التي تم تقييمها هي GigaAM و T-one و Whisper. واستخدم إطار التقييم مقاييس قياسية تشمل معدل خطأ الكلمات (WER)، ومعدل خطأ الحروف (CER), وعامل الوقت الفعلي (RTF)، ونسب مطابقة المصطلحات بدقة.

اقرأ أيضًانيورالينك Blindsight: إيلون ماسك يكشف تفاصيل شريحة عصبية لاستعادة البصر

نتائج مقارنة النماذج ومعضلة معدل خطأ الكلمات (WER)

أظهرت اختبارات السرعة أن GigaAM و T-one هما بطلا وحدة المعالجة المركزية بحق، بينما تواجه Whisper صعوبة بدون مسرعات الأجهزة. وقد برز GigaAM كفائز في مقياس WER الصافي، مما يثبت تفوقه في نسخ الكلام الروسي العام. ومع ذلك، عند فحص المصطلحات التقنية المحددة، أظهرت Whisper قدرة أقوى على التقاط تلك الكيانين، مما كشف عن مقايضة واضحة بين دقة النص العام ودقة المصطلحات التقنية.

تستعرض المقالة بعمق مقياس معدل خطأ الكلمات (WER)، والذي يحسب عمليات الاستبدال والحذف والإدراج المطلوبة لتطابق الحقيقة الواقعية. ويمكن لنفس نتيجة WER المنخفضة أن تخفي إما تنفيذاً ناجحاً أو ميزة مدمرة إذا حدث الخطأ في مصطلح تقني حرج. وفي التسجيلات الصوتية الطويلة، يكون للأخطاء في المصطلحات النادرة تأثير ضئيل على البسط والمقام الإجماليين، ومع ذلك يمكنها توجيه وكيل البرمجة المدعوم بالذكاء الاصطناعي بشكل خاطئ تماماً.

الآثار العملية لمصانع البرمجيات

من الناحية العملية، يتم تغذية النسخ المكتوب الناتج في آلية تقسمه إلى نية المستخدم ومهام البحث عن الكود. وفي حين أن روتين البحث يمكنه تحمل اختلافات دلالية طفيفة (مثل لوحات المعلومات والمرادفات)، فإن الخطأ في التعرف على بروتوكول تقني نادر أو مكتبة معينة يمكن أن يعرقل المهمة بأكملها تماماً. ويمكن أن يتسبب الفشل المضحك، مثل تحويل الدقة إلى كلمة غير ذات صلة على الإطلاق أو الخلط بين بيئات الإنتاج، في مشكلات حادّة في الالتزامات الآلية (Automated Commits).

بالنسبة للمطورين وشركات التقنية التي تستكشف الواجهات الصوتية وسير العمل المدعوم بالذكاء الاصطناعي، تسلط هذه الأبحاث الضوء على أن نماذج التعرف على الكلام ذات الأغراض العامة ليست كافية وحدها. يتطلب بناء خطوط تطوير موثوقة تتحكم فيها الصوت اختبارات معيارية خاصة بالمجال، ومعالجة دقيقة للمصطلحات التقنية، وطقات معالجة لاحقة قوية لتصفية ضوضاء النسخ الخاصة بالتعرف الآلي على الكلام (ASR).

المصدر: Все публикации подряд на Хабре

مقالات ذات صلة