ASR w tworzeniu AI: testy rozpoznawania terminologii technicznej
Jak mierzyć jakość rozpoznawania mowy w rozwoju AI sterowanego głosem. Porównanie modeli GigaAM, T-one i Whisper oraz wady wskaźnika WER.

Od listopada ubiegłego roku autor rozwija koncepcję „Dark Software Factory”, w której większość prac programistycznych wykonywana jest wyłącznie za pomocą poleceń głosowych. To, co zaczęło się jako prosty eksperyment, szybko przekształciło się w zoptymalizowany workflow pozwalający na tworzenie produktów w drodze. Fundamentem każdej takiej zautomatyzowanej fabryki oprogramowania jest ASR (Automatic Speech Recognition), ponieważ dokładność zamiany mowy na tekst bezpośrednio wpływa na szybkość całego potoku przetwarzania.
- Stworzono benchmark obejmujący 1000 nagrań głosowych (20,3 godziny audio, 7 mówców) skupiony na zadaniach związanych z cyklem życia tworzenia oprogramowania (PDLC).
- Zidentyfikowano 454 unikalne terminy techniczne spośród 18 000 form wyrazowych i precyzyjnie oznaczono je w nagraniach.
- Wszystkie modele (GigaAM, T-one i Whisper) przetestowano wyłącznie na procesorze (AMD Ryzen 5 3600), bez wsparcia ze strony GPU.
- Klasyczny wskaźnik WER okazał się problematyczny w kontekście programistycznym, ponieważ błędy w krótkich, krytycznych terminach łatwo gubią się w ogólnych statystykach.
Charakterystyka zbioru danych i metodologia testowa
Aby przeprowadzić obiektywny test, skompilowano zbiór danych łączący osobiste nagrania autora oraz techniczne podcasty z publicznych źródeł. Mowa charakteryzuje się złożoną mieszanką potocznego języka rosyjskiego, licznych anglicyzmów, profesjonalnego slangu i zapożyczeń. Spośród 18 000 unikalnych form wyrazowych wyselekcjonowano i opisano 454 specyficzne terminy techniczne dotyczące interfejsów, architektury oraz frameworków.
Benchmark uruchomiono na standardowej maszynie wyposażonej w procesor AMD Ryzen 5 3600 (6 rdzeni fizycznych) i 63 GB pamięci RAM, polegając w całości na CPU bez wykorzystania GPU. Głównymi badanymi modelami były GigaAM, T-one i Whisper. Ramka ewaluacyjna wykorzystywała standardowe metryki, w tym Word Error Rate (WER), Character Error Rate (CER), Real-Time Factor (RTF) oraz procent dokładnych dopasowań terminów.
Przeczytaj takżeNeuralink Blindsight: Elon Musk ujawnia szczegóły chipa przywracającego wzrokWyniki porównania modeli a dylemat WER
Testy prędkości wykazały, że GigaAM i T-one są prawdziwymi mistrzami pracy na CPU, podczas gdy Whisper ma trudności bez akceleracji sprzętowej. GigaAM wygrał pod względem ogólnego wskaźnika WER, potwierdzając swoją doskonałość w transkrypcji standardowej mowy rosyjskiej. Jednak przy analizie konkretnych terminów technicznych to Whisper wykazał się większą zdolnością do wychwytywania tych jednostek, co ujawnia wyraźny kompromis między ogólną dokładnością tekstu a precyzją terminologiczną.
Artykuł dogłębnie analizuje metrykę Word Error Rate (WER), która zlicza podstawienia, usunięcia i wstawienia niezbędne do dopasowania wyniku do wzorca. Ten sam, niski wynik WER może oznaczać sukces lub całkowicie nieudany proces, jeśli błąd wystąpi w kluczowym terminie technicznym. W długich nagraniach błędy w rzadkich terminach mają znikomy wpływ na licznik i mianownik ogólny, a mimo to mogą drastycznie wprowadzić w błąd agenta programistycznego AI.
Praktyczne implikacje dla fabryk oprogramowania
W praktyce wygenerowana transkrypcja trafia do modułu, który dzieli ją na intencje użytkownika i zadania wyszukiwania kodu. O ile procedury wyszukiwania mogą tolerować drobne różnice semantyczne (np. synonimy dla słowa „dashboard”), o tyle błędne rozpoznanie rzadkiego protokołu technicznego lub biblioteki może całkowicie zablokować zadanie. Zabawne pomyłki, takie jak zamiana słowa o precyzyjnym znaczeniu na inne lub pomylenie środowisk produkcyjnych, mogą prowadzić do poważnych problemów w automatycznych commitach.
Dla programistów i firm technologicznych badających interfejsy głosowe i workflowy oparte na AI, niniejsze badania podkreślają, że ogólne modele rozpoznawania mowy to za mało. Budowanie niezawodnych potoków programistycznych sterowanych głosem wymaga benchmarków specyficznych dla danej domeny, starannego obchodzenia się z technicznym żargonem oraz solidnych warstw przetwarzania końcowego, które odfiltrują szum transkrypcji ASR.
Źródło: Все публикации подряд на Хабре



