AI

ASR w tworzeniu AI: testy rozpoznawania terminologii technicznej

Jak mierzyć jakość rozpoznawania mowy w rozwoju AI sterowanego głosem. Porównanie modeli GigaAM, T-one i Whisper oraz wady wskaźnika WER.

·3 min czytania
ASR w tworzeniu AI: testy rozpoznawania terminologii technicznej

Od listopada ubiegłego roku autor rozwija koncepcję „Dark Software Factory”, w której większość prac programistycznych wykonywana jest wyłącznie za pomocą poleceń głosowych. To, co zaczęło się jako prosty eksperyment, szybko przekształciło się w zoptymalizowany workflow pozwalający na tworzenie produktów w drodze. Fundamentem każdej takiej zautomatyzowanej fabryki oprogramowania jest ASR (Automatic Speech Recognition), ponieważ dokładność zamiany mowy na tekst bezpośrednio wpływa na szybkość całego potoku przetwarzania.

  • Stworzono benchmark obejmujący 1000 nagrań głosowych (20,3 godziny audio, 7 mówców) skupiony na zadaniach związanych z cyklem życia tworzenia oprogramowania (PDLC).
  • Zidentyfikowano 454 unikalne terminy techniczne spośród 18 000 form wyrazowych i precyzyjnie oznaczono je w nagraniach.
  • Wszystkie modele (GigaAM, T-one i Whisper) przetestowano wyłącznie na procesorze (AMD Ryzen 5 3600), bez wsparcia ze strony GPU.
  • Klasyczny wskaźnik WER okazał się problematyczny w kontekście programistycznym, ponieważ błędy w krótkich, krytycznych terminach łatwo gubią się w ogólnych statystykach.

Charakterystyka zbioru danych i metodologia testowa

Aby przeprowadzić obiektywny test, skompilowano zbiór danych łączący osobiste nagrania autora oraz techniczne podcasty z publicznych źródeł. Mowa charakteryzuje się złożoną mieszanką potocznego języka rosyjskiego, licznych anglicyzmów, profesjonalnego slangu i zapożyczeń. Spośród 18 000 unikalnych form wyrazowych wyselekcjonowano i opisano 454 specyficzne terminy techniczne dotyczące interfejsów, architektury oraz frameworków.

Benchmark uruchomiono na standardowej maszynie wyposażonej w procesor AMD Ryzen 5 3600 (6 rdzeni fizycznych) i 63 GB pamięci RAM, polegając w całości na CPU bez wykorzystania GPU. Głównymi badanymi modelami były GigaAM, T-one i Whisper. Ramka ewaluacyjna wykorzystywała standardowe metryki, w tym Word Error Rate (WER), Character Error Rate (CER), Real-Time Factor (RTF) oraz procent dokładnych dopasowań terminów.

Przeczytaj takżeNeuralink Blindsight: Elon Musk ujawnia szczegóły chipa przywracającego wzrok

Wyniki porównania modeli a dylemat WER

Testy prędkości wykazały, że GigaAM i T-one są prawdziwymi mistrzami pracy na CPU, podczas gdy Whisper ma trudności bez akceleracji sprzętowej. GigaAM wygrał pod względem ogólnego wskaźnika WER, potwierdzając swoją doskonałość w transkrypcji standardowej mowy rosyjskiej. Jednak przy analizie konkretnych terminów technicznych to Whisper wykazał się większą zdolnością do wychwytywania tych jednostek, co ujawnia wyraźny kompromis między ogólną dokładnością tekstu a precyzją terminologiczną.

Artykuł dogłębnie analizuje metrykę Word Error Rate (WER), która zlicza podstawienia, usunięcia i wstawienia niezbędne do dopasowania wyniku do wzorca. Ten sam, niski wynik WER może oznaczać sukces lub całkowicie nieudany proces, jeśli błąd wystąpi w kluczowym terminie technicznym. W długich nagraniach błędy w rzadkich terminach mają znikomy wpływ na licznik i mianownik ogólny, a mimo to mogą drastycznie wprowadzić w błąd agenta programistycznego AI.

Praktyczne implikacje dla fabryk oprogramowania

W praktyce wygenerowana transkrypcja trafia do modułu, który dzieli ją na intencje użytkownika i zadania wyszukiwania kodu. O ile procedury wyszukiwania mogą tolerować drobne różnice semantyczne (np. synonimy dla słowa „dashboard”), o tyle błędne rozpoznanie rzadkiego protokołu technicznego lub biblioteki może całkowicie zablokować zadanie. Zabawne pomyłki, takie jak zamiana słowa o precyzyjnym znaczeniu na inne lub pomylenie środowisk produkcyjnych, mogą prowadzić do poważnych problemów w automatycznych commitach.

Dla programistów i firm technologicznych badających interfejsy głosowe i workflowy oparte na AI, niniejsze badania podkreślają, że ogólne modele rozpoznawania mowy to za mało. Budowanie niezawodnych potoków programistycznych sterowanych głosem wymaga benchmarków specyficznych dla danej domeny, starannego obchodzenia się z technicznym żargonem oraz solidnych warstw przetwarzania końcowego, które odfiltrują szum transkrypcji ASR.

Źródło: Все публикации подряд на Хабре

Podobne artykuły