AI

ASR untuk Pengembangan AI: Menguji Pengenalan Istilah Teknis

Cara mengukur kualitas pengenalan suara dalam pengembangan AI berbasis suara. Membandingkan model GigaAM, T-one, dan Whisper beserta kelemahan dari metrik WER.

·3 menit baca
ASR untuk Pengembangan AI: Menguji Pengenalan Istilah Teknis

Sejak November lalu, sang penulis telah membangun Dark Software Factory, di mana sebagian besar proses pengembangan dilakukan sepenuhnya menggunakan perintah suara. Apa yang awalnya dimulai sebagai eksperimen sederhana dengan cepat berkembang menjadi alur kerja yang efisien untuk pembuatan produk saat bepergian. Fondasi dari pabrik perangkat lunak otomatis semacam itu adalah ASR (Automatic Speech Recognition), karena keakuratan konversi suara ke teks secara langsung menentukan kecepatan alur kerja.

  • Sebuah tolok ukur (benchmark) dibuat dengan menampilkan 1.000 rekaman suara (20,3 jam audio, 7 penutur) yang berfokus pada tugas-tugas siklus hidup pengembangan produk (PDLC).
  • 454 istilah teknis unik diidentifikasi dari 18.000 bentuk kata dan dianotasi secara cermat dalam audio.
  • Semua model (GigaAM, T-one, dan Whisper) diuji secara eksklusif pada CPU (AMD Ryzen 5 3600) tanpa akselerasi GPU.
  • Metrik WER klasik terbukti rumit untuk pengembangan, karena kesalahan pada istilah penting yang pendek dapat dengan mudah tersembunyi dalam statistik keseluruhan.

Fitur Kumpulan Data dan Metodologi Pengujian

Untuk melakukan pengujian yang objektif, kumpulan data yang menggabungkan audio pribadi penulis dan siniar sumber publik teknis telah disusun. Ujaran tersebut menampilkan campuran yang kompleks dari bahasa Rusia sehari-hari, banyak kata serapan bahasa Inggris, slang profesional, dan serapan lainnya. Dari 18.000 bentuk kata yang unik, 454 istilah teknis khusus yang berkaitan dengan antarmuka, arsitektur, dan kerangka kerja berhasil diisolasi dan dianotasi dengan cermat.

Tolok ukur ini dijalankan pada mesin standar yang dilengkapi dengan CPU AMD Ryzen 5 3600 (6 inti fisik) dan RAM 63 GB, berjalan sepenuhnya menggunakan CPU tanpa penggunaan GPU. Pesaing utama yang dievaluasi adalah GigaAM, T-one, dan Whisper. Kerangka evaluasi menggunakan metrik standar termasuk Word Error Rate (WER), Character Error Rate (CER), Real-Time Factor (RTF), dan persentase kecocokan istilah yang tepat.

Baca jugaNeuralink Blindsight: Elon Musk Ungkap Detail Chip Neural yang Mampu Mengembalikan Penglihatan

Hasil Perbandingan Model dan Dilema WER

Uji kecepatan menunjukkan bahwa GigaAM dan T-one adalah juara CPU sejati, sementara Whisper mengalami kesulitan tanpa akselerator perangkat keras. GigaAM muncul sebagai pemenang dalam hal WER murni, membuktikan keunggulannya dalam transkripsi ujaran bahasa Rusia umum. Namun, saat mengkaji istilah teknis tertentu, Whisper menunjukkan kemampuan yang lebih kuat dalam menangkap entitas tersebut, mengungkapkan pertukaran (trade-off) yang jelas antara keakuratan teks umum dan presisi istilah teknis.

Artikel ini mengkaji secara mendalam metrik Word Error Rate (WER), yang menghitung substitusi, penghapusan, dan penambahan yang diperlukan agar sesuai dengan kebenaran dasar (ground truth). Skor WER rendah yang identik dapat menyembunyikan eksekusi yang sukses atau fitur yang rusak jika kesalahan terjadi pada istilah teknis yang krusial. Dalam rekaman audio yang panjang, kesalahan pada istilah yang jarang muncul memiliki dampak kecil pada pembilang dan penyebut secara keseluruhan, namun hal tersebut dapat sangat menyesatkan agen pembuat kode AI.

Implikasi Praktis untuk Pabrik Perangkat Lunak

Dalam praktiknya, transkrip yang dihasilkan dimasukkan ke dalam sistem yang membaginya menjadi niat pengguna (user intent) dan tugas pencarian kode. Meskipun rutinitas pencarian dapat menoleransi variasi semantik kecil (seperti dasbor dan sinonim), salah mengenali protokol teknis atau pustaka yang jarang digunakan dapat sepenuhnya mengagalkan seluruh tugas. Kegagalan yang menggelitik seperti mengubah kata presisi menjadi kata yang sama sekali tidak terkait atau salah mengartikan lingkungan produksi dapat menyebabkan masalah parah pada penerapan (commit) otomatis.

Bagi para pengembang dan bisnis teknologi yang mengeksplorasi antarmuka suara dan alur kerja berbasis AI, penelitian ini menyoroti bahwa model pengenalan suara serbaguna saja tidak cukup. Membangun saluran pengembangan yang dikendalikan suara yang andal memerlukan tolok ukur khusus domain, penanganan jargon teknis yang cermat, dan lapisan pascapemrosesan yang tangguh untuk menyaring kebisingan transkripsi ASR.

Sumber: Все публикации подряд на Хабре

Artikel terkait