AI

ASR para o Desenvolvimento de IA: Avaliando o Reconhecimento de Termos Técnicos

Como medir a qualidade do reconhecimento de fala no desenvolvimento de IA orientado por voz. Comparando os modelos GigaAM, T-one e Whisper e as falhas do WER.

·3 min de leitura
ASR para o Desenvolvimento de IA: Avaliando o Reconhecimento de Termos Técnicos

Desde novembro passado, o autor construiu uma "Dark Software Factory" (Fábrica de Software Oculta), onde a maior parte do desenvolvimento é realizada inteiramente por meio de comandos de voz. O que começou como uma simples experiência rapidamente evoluiu para um fluxo de trabalho otimizado para a criação de produtos em movimento. A base de qualquer fábrica de software automatizada desse tipo é o ASR (Reconhecimento Automático de Fala), já que a precisão de converter voz em texto dita diretamente a velocidade do pipeline.

  • Foi criado um benchmark com 1.000 gravações de voz (20,3 horas de áudio, 7 locutores) com foco em tarefas do ciclo de vida de desenvolvimento de produtos (PDLC).
  • 454 termos técnicos exclusivos foram identificados a partir de 18.000 formas de palavras e meticulosamente anotados no áudio.
  • Todos os modelos (GigaAM, T-one e Whisper) foram testados exclusivamente em uma CPU (AMD Ryzen 5 3600) sem aceleração por GPU.
  • A métrica clássica WER provou ser problemática para o desenvolvimento, pois erros em termos críticos curtos podem facilmente se esconder nas estatísticas gerais.

Recursos do Conjunto de Dados e Metodologia de Teste

Para realizar um teste objetivo, foi compilado um conjunto de dados combinando áudios pessoais do autor e podcasts técnicos de fontes públicas. A fala apresenta uma mistura complexa de russo coloquial, numerosos anglicismos, gírias profissionais e empréstimos linguísticos. Dos 18.000 vocábulos exclusivos, 454 termos técnicos específicos relacionados a interfaces, arquitetura e frameworks foram cuidadosamente isolados e anotados.

O benchmark foi executado em uma máquina padrão equipada com uma CPU AMD Ryzen 5 3600 (6 núcleos físicos) e 63 GB de RAM, rodando inteiramente na CPU sem o uso de GPU. Os principais concorrentes avaliados foram GigaAM, T-one e Whisper. A estrutura de avaliação utilizou métricas padrão, incluindo Taxa de Erro de Palavras (WER), Taxa de Erro de Caracteres (CER), Fator de Tempo Real (RTF) e porcentagens de correspondência exata de termos.

Leia tambémNeuralink Blindsight: Elon Musk detalha chip neural para restauração da visão

Resultados da Comparação de Modelos e o Dilema do WER

Os testes de velocidade mostraram que o GigaAM e o T-one são verdadeiros campeões de CPU, enquanto o Whisper tem dificuldades sem aceleradores de hardware. O GigaAM emergiu como o vencedor em WER puro, provando sua excelência na transcrição de fala em russo geral. No entanto, ao examinar termos técnicos específicos, o Whisper demonstrou maior capacidade de capturar essas entidades, revelando um claro compromisso entre a precisão geral do texto e a precisão dos termos técnicos.

O artigo examina profundamente a métrica de Taxa de Erro de Palavras (WER), que conta substituições, exclusões e inserções necessárias para corresponder à realidade. Uma pontuação baixa de WER idêntica pode esconder uma execução bem-sucedida ou um recurso arruinado se o erro ocorrer em um termo técnico crítico. Em gravações de áudio longas, erros em termos raros têm um impacto pequeno no numerador e denominador gerais, mas podem desviar severamente um agente de programação de IA.

Implicações Práticas para Fábricas de Software

Na prática, a transcrição gerada alimenta um sistema que a divide em intenção do usuário e tarefas de busca de código. Embora as rotinas de busca possam tolerar pequenas variações semânticas (como painéis e sinônimos), não reconhecer um protocolo técnico raro ou uma biblioteca pode descarrilar completamente a tarefa inteira. Falhas divertidas, como converter precisão em uma palavra completamente não relacionada ou confundir ambientes de produção, podem causar problemas graves em commits automatizados.

Para desenvolvedores e empresas de tecnologia que exploram interfaces de voz e fluxos de trabalho impulsionados por IA, esta pesquisa destaca que modelos de reconhecimento de fala de uso geral não são suficientes. A construção de pipelines de desenvolvimento controlados por voz confiáveis requer benchmarks específicos de domínio, tratamento cuidadoso de jargões técnicos e camadas robustas de pós-processamento para filtrar ruídos de transcrição de ASR.

Fonte: Все публикации подряд на Хабре

Artigos relacionados