ASR для AI-разработки: бенчмарк распознавания технических терминов
Как измерить качество распознавания речи при голосовой AI-разработке. Сравнение моделей GigaAM, T-one и Whisper, а также почему WER обманчив.

С ноября автор статьи выстроил так называемую Dark Software Factory, где большая часть разработки ведется голосом. Со временем этот эксперимент превратился в накатанный флоу сборки продуктов прямо на ходу, в баре или за рулем. Главным элементом любой подобной автоматизированной фабрики является ASR — автоматическое распознавание речи, от точности которого зависит скорость и качество работы всего конвейера.
- Создан бенчмарк из 1000 голосовых записей (20,3 часа аудио, 7 говорящих) с упором на PDLC (интерфейсы, архитектура, фреймворки).
- Выделено 454 уникальных термина из 18 тысяч словоформ для точного тестирования моделей.
- Все модели (GigaAM, T-one и Whisper) тестировались на CPU без использования GPU (AMD Ryzen 5 3600).
- Классическая метрика WER признана коварной для разработки, так как ошибки в коротких критических терминах могут затеряться в общем объеме.
Особенности датасета и методика тестирования
Для проведения объективного теста был собран датасет, включающий как собственные записи автора, так и технические аудио из открытых источников (подкастов). Речь представляет собой сложную смесь разговорного русского языка, обилия англицизмов, профессионального жаргона и заимствований. Из 18 тысяч уникальных словоформ было выделено 454 специфических термина, каждый из которых тщательно размечен в аудиоматериалах.
Тестирование проходило на стандартной машине с процессором AMD Ryzen 5 3600 на 6 физических ядер и 63 ГБ оперативной памяти. Важно отметить, что все модели функционировали исключительно на CPU. В качестве главных участников сравнения выступили три известные системы распознавания речи: GigaAM, T-one и Whisper. Для оценки использовались метрики WER (word error rate), CER (char error rate), RTF (real-time factor), а также процент точного совпадения самих терминов.
Читайте такжеNeuralink Blindsight: Илон Маск рассказал о чипе для зренияРезультаты сравнения моделей и метрика WER
Анализ скорости показал ожидаемые результаты: GigaAM и T-one продемонстрировали высокую производительность при работе на процессоре, в то время как Whisper без графических ускорителей испытывает серьезные трудности. Победителем по чистому показателю WER стала модель GigaAM, что подтверждает ее отличное качество общего распознавания русской речи. Однако при детальном рассмотрении технических терминов выяснилось, что другие модели могут справляться с ними заметно лучше.
Здесь возникает классическая развилка: одна модель аккуратно и быстро транскрибирует обычный текст, а другая точнее передает специфические технические сущности. Автор подробно разбирает метрику WER, которая подсчитывает количество замен, удалений и вставок. Утверждается, что одинаковый низкий WER может скрывать как успешное выполнение задачи, так и критически испорченную функциональность, если ошибка закралась в ключевой термин.
Практическое значение для софтверных фабрик
На практике полученный текст из транскрипта попадает в специальный харнесс, который разделяет его на две составляющие: намерение пользователя и задачу на поиск кода. Если в обычном поиске допустима определенная терпимость к ошибкам (например, синонимы или легкие искажения вроде дашборда), то неверное распознавание редкого термина или протокола способно полностью разрушить всю логику задачи. Ошибки вроде превращения precision в «прикол» или «наш прод» в «на шпрот» приводят к ложным действиям агента.
Для русскоязычных разработчиков и команд, экспериментирующих с голосовым вводом и AI-агентами, это исследование подчеркивает важность специализированных бенчмарков. Голосовое управление программированием требует от систем не просто хорошего слуха для общего текста, но и безупречного понимания технического контекста. Использование универсальных моделей без предварительной адаптации под специфический стек может приводить к неожиданным и курьезным сбоям в кодовой базе.
Источник: Все публикации подряд на Хабре



