AI

ASR para el desarrollo de IA: Evaluación comparativa del reconocimiento de términos técnicos

Cómo medir la calidad del reconocimiento de voz en el desarrollo de IA por voz. Comparativa de los modelos GigaAM, T-one y Whisper, y las fallas de la tasa de errores de palabras (WER).

·3 min de lectura
ASR para el desarrollo de IA: Evaluación comparativa del reconocimiento de términos técnicos

Desde noviembre pasado, el autor ha construido una "Dark Software Factory" (fábrica de software oculta), donde la mayor parte del desarrollo se realiza enteramente mediante comandos de voz. Lo que comenzó como un simple experimento evolucionó rápidamente hacia un flujo de trabajo optimizado para la creación de productos en cualquier lugar. La base de cualquier fábrica de software automatizada de este tipo es el ASR (Reconocimiento Automático de Voz), ya que la precisión de la conversión de voz a texto determina directamente la velocidad de la canalización.

  • Se creó un banco de pruebas con 1000 grabaciones de voz (20,3 horas de audio, 7 hablantes) centradas en tareas del ciclo de vida del desarrollo de productos (PDLC).
  • Se identificaron 454 términos técnicos únicos a partir de 18 000 formas de palabras y se anotaron meticulosamente en el audio.
  • Todos los modelos (GigaAM, T-one y Whisper) se probaron exclusivamente en una CPU (AMD Ryzen 5 3600) sin aceleración por GPU.
  • Se demostró que la métrica clásica WER es compleja para el desarrollo, ya que los errores en términos críticos cortos pueden ocultarse fácilmente en las estadísticas generales.

Características del conjunto de datos y metodología de pruebas

Para realizar una prueba objetiva, se compiló un conjunto de datos que combina el audio personal del autor y podcasts técnicos de fuentes públicas. El discurso presenta una mezcla compleja de ruso conversacional, numerosos anglicismos, jerga profesional y préstamos lingüísticos. De 18 000 formas de palabras únicas, se aislaron y anotaron cuidadosamente 454 términos técnicos específicos relacionados con interfaces, arquitectura y frameworks.

La evaluación se ejecutó en una máquina estándar equipada con una CPU AMD Ryzen 5 3600 (6 núcleos físicos) y 63 GB de RAM, funcionando íntegramente en la CPU sin uso de GPU. Los principales contendientes evaluados fueron GigaAM, T-one y Whisper. El marco de evaluación utilizó métricas estándar que incluyen la Tasa de Error de Palabras (WER), la Tasa de Error de Caracteres (CER), el Factor de Tiempo Real (RTF) y los porcentajes de coincidencia exacta de términos.

Lee tambiénNeuralink Blindsight: Elon Musk detalla el chip neuronal para devolver la vista

Resultados de la comparación de modelos y el dilema del WER

Las pruebas de velocidad demostraron que GigaAM y T-one son verdaderos campeones de la CPU, mientras que Whisper tiene dificultades sin aceleradores de hardware. GigaAM emergió como el ganador en cuanto al WER puro, demostrando su excelencia en la transcripción de voz general en ruso. Sin embargo, al examinar términos técnicos específicos, Whisper demostró una mayor capacidad para capturar dichas entidades, revelando un claro compromiso entre la precisión del texto general y la precisión de los términos técnicos.

El artículo examina a fondo la métrica de Tasa de Error de Palabras (WER), que cuenta las sustituciones, eliminaciones e inserciones necesarias para coincidir con la transcripción real. Una puntuación WER baja e idéntica puede ocultar tanto una ejecución exitosa como una función arruinada si el error ocurre en un término técnico crítico. En grabaciones de audio largas, los errores en términos raros tienen un impacto pequeño en el numerador y denominador general, pero pueden desviar gravemente a un agente de programación de IA.

Implicaciones prácticas para las fábricas de software

En la práctica, la transcripción generada se introduce en un sistema que la divide en la intención del usuario y tareas de búsqueda de código. Si bien las rutinas de búsqueda pueden tolerar variaciones semánticas menores (como paneles y sinónimos), no reconocer un protocolo técnico raro o una biblioteca puede descarrilar por completo toda la tarea. Fallos divertidos como convertir precisión en una palabra totalmente no relacionada o confundir los entornos de producción pueden causar problemas graves en los commits automatizados.

Para los desarrolladores y las empresas tecnológicas que exploran interfaces de voz y flujos de trabajo impulsados por IA, esta investigación destaca que los modelos de reconocimiento de voz de propósito general no son suficientes. Construir canales de desarrollo controlados por voz fiables requiere una evaluación comparativa específica del dominio, un manejo cuidadoso de la jerga técnica y sólidas capas de postprocesamiento para filtrar el ruido de transcripción del ASR.

Fuente: Все публикации подряд на Хабре

Artículos relacionados