AI

Yapay Zeka Geliştirme için OTM: Teknik Terim Tanıma Kıyaslaması

Ses odaklı yapay zeka geliştirmede konuşma tanıma kalitesi nasıl ölçülür? GigaAM, T-one ve Whisper modellerinin karşılaştırması ve WER'in kusurları.

·3 dk okuma
Yapay Zeka Geliştirme için OTM: Teknik Terim Tanıma Kıyaslaması

Yazar, geçen kasım ayından bu yana geliştirme süreçlerinin büyük kısmının tamamen sesli komutlarla gerçekleştirildiği bir "Karanlık Yazılım Fabrikası" kurdu. Basit bir deney olarak başlayan süreç, kısa sürede hareket halindeyken ürün yaratmak için optimize edilmiş bir iş akışına dönüştü. Bu tür otomatikleştirilmiş bir yazılım fabrikasının temelini OTM (Otomatik Konuşma Tanıma) oluşturur; çünkü sesin metne dönüştürülme doğruluğu, boru hattının hızını doğrudan belirler.

  • PDLC (Ürün Yaşam Döngüsü Yönetimi) görevlerine odaklanan 1000 ses kaydı (20.3 ses saati, 7 konuşmacı) içeren bir kıyaslama seti oluşturuldu.
  • 18.000 kelime biçimi içerisinden 454 benzersiz teknik terim belirlendi ve ses kayıtlarında titizlikle etiketlendi.
  • Tüm modeller (GigaAM, T-one ve Whisper) GPU hızlandırma olmaksızın yalnızca CPU (AMD Ryzen 5 3600) üzerinde test edildi.
  • Klasik WER (Kelime Hata Oranı) metriğinin geliştirme sürecinde yanıltıcı olabildiği, çünkü kısa ve kritik terimlerdeki hataların genel istatistikler arasında kolayca gizlenebildiği kanıtlandı.

Veri Seti Özellikleri ve Test Metodolojisi

Tarafsız bir test gerçekleştirmek için yazarın kişisel ses kayıtları ve teknik halka açık podcast'lerden oluşan bir veri seti derlendi. Konuşmalar; karmaşık bir günlük Rusça karışımı, çok sayıda anglikizm, profesyonel argo ve alıntı kelimeler içeriyor. 18.000 benzersiz kelime biçimi arasından arayüzler, mimari ve çatı teknolojileriyle ilgili 454 özel teknik terim dikkatle ayrılarak etiketlendi.

Kıyaslama testi, AMD Ryzen 5 3600 CPU (6 fiziksel çekirdek) ve 63 GB RAM ile donatılmış, GPU kullanılmadan tamamen CPU üzerinde çalışan standart bir makinede gerçekleştirildi. Değerlendirilen ana adaylar GigaAM, T-one ve Whisper oldu. Değerlendirme altyapısında Kelime Hata Oranı (WER), Karakter Hata Oranı (CER), Gerçek Zaman Faktörü (RTF) ve tam terim eşleşme yüzdeleri gibi standart metrikler kullanıldı.

Bunu da okuyunNeuralink Blindsight: Elon Musk, görme yetisini geri kazandıran sinir çipinin detaylarını paylaştı

Model Karşılaştırma Sonuçları ve WER İkilemi

Hız testleri, GigaAM ve T-one'ın gerçek birer CPU şampiyonu olduğunu, Whisper'ın ise donanım hızlandırıcılar olmadan zorlandığını gösterdi. GigaAM saf WER konusunda kazanan olarak öne çıktı ve genel Rusça konuşma deşifresindeki başarısını kanıtladı. Ancak özel teknik terimler incelendiğinde, Whisper'ın bu varlıkları yakalamada daha güçlü bir yetenek sergilediği görüldü; bu da genel metin doğruluğu ile teknik terim hassasiyeti arasında net bir ödünleşme olduğunu ortaya koydu.

Makale, gerçek metinle eşleştirmek için gereken ikameleri, silmeleri ve eklemeleri sayan Kelime Hata Oranı (WER) metriğini derinlemesine inceliyor. Aynı ve düşük bir WER puanı, hata kritik bir teknik terimde meydana gelirse başarılı bir yürütmeyi veya mahvolmuş bir özelliği gizleyebilir. Uzun ses kayıtlarında, nadir terimlerdeki hataların genel pay ve payda üzerindeki etkisi küçüktür, ancak yine de yapay zeka kodlama ajanını ciddi şekilde yanlış yönlendirebilirler.

Yazılım Fabrikaları İçin Pratik Çıkarımlar

Uygulamada, üretilen deşifre metni; onu kullanıcı niyetine ve kod arama görevlerine ayıran bir yapıya beslenir. Arama rutinleri küçük anlamsal varyasyonları (gösterge panelleri ve eş anlamlılar gibi) tolere edebilirken, nadir bir teknik protokolün veya kütüphanenin yanlış tanınması tüm görevi tamamen rayından çıkarabilir. Hassasiyet kelimesini tamamen alakasız bir kelimeye dönüştürmek veya üretim ortamlarını karıştırmak gibi eğlenceli hatalar, otomatik commit'lerde ciddi sorunlara yol açabilir.

Ses arayüzlerini ve yapay zeka odaklı iş akışlarını keşfeden geliştiriciler ve teknoloji işletmeleri için bu araştırma, genel amaçlı konuşma tanıma modellerinin yeterli olmadığını vurguluyor. Güvenilir ses kontrollü geliştirme boru hatları oluşturmak; domaine özel kıyaslama, teknik jargona dikkatle yaklaşma ve OTM deşifre gürültüsünü filtrelemek için güçlü son işlem katmanları gerektirir.

Kaynak: Все публикации подряд на Хабре

Benzer makaleler