AI

ASR für die KI-Entwicklung: Benchmark zur Erkennung technischer Fachbegriffe

Wie man die Qualität der Spracherkennung in der sprachgesteuerten KI-Entwicklung misst. Ein Vergleich der Modelle GigaAM, T-one und Whisper sowie die Schwächen von WER.

·3 Min. Lesezeit
ASR für die KI-Entwicklung: Benchmark zur Erkennung technischer Fachbegriffe

Seit November letzten Jahres betreibt der Autor eine „Dark Software Factory“, in der der Großteil der Entwicklung vollständig über Sprachbefehle erfolgt. Was als einfaches Experiment begann, entwickelte sich schnell zu einem optimierten Arbeitsablauf für die Produktentwicklung von unterwegs. Das Fundament einer solchen automatisierten Softwarefabrik ist ASR (Automatic Speech Recognition), da die Genauigkeit der Sprach-zu-Text-Umwandlung direkt die Geschwindigkeit der Pipeline bestimmt.

  • Es wurde ein Benchmark mit 1000 Sprachaufnahmen (20,3 Audiostunden, 7 Sprecher) erstellt, die sich auf PDLC-Aufgaben konzentrieren.
  • 454 einzigartige Fachbegriffe wurden aus 18.000 Wortformen identifiziert und im Audio akribisch annotiert.
  • Alle Modelle (GigaAM, T-one und Whisper) wurden ausschließlich auf einer CPU (AMD Ryzen 5 3600) ohne GPU-Beschleunigung getestet.
  • Die klassische WER-Metrik erwies sich für die Entwicklung als tückisch, da Fehler bei kurzen, kritischen Begriffen in den Gesamtstatistiken leicht untergehen können.

Datensatzmerkmale und Testmethodik

Um einen objektiven Test durchzuführen, wurde ein Datensatz zusammengestellt, der die persönlichen Audiodaten des Autors und technische Podcasts aus öffentlichen Quellen kombiniert. Die Sprache weist eine komplexe Mischung aus umgangssprachlichem Russisch, zahlreichen Anglizismen, professionellem Slang und Entlehnungen auf. Aus 18.000 eindeutigen Wortformen wurden 454 spezifische Fachbegriffe zu Schnittstellen, Architektur und Frameworks sorgfältig isoliert und annotiert.

Der Benchmark wurde auf einer Standardmaschine mit einer AMD Ryzen 5 3600 CPU (6 physische Kerne) und 63 GB RAM durchgeführt, wobei die Ausführung ausschließlich auf der CPU und ohne GPU-Nutzung erfolgte. Die wichtigsten bewerteten Kandidaten waren GigaAM, T-one und Whisper. Das Bewertungsframework nutzte Standardmetriken wie die Word Error Rate (WER), Character Error Rate (CER), den Real-Time Factor (RTF) und Prozentsätze exakter Begriffswerte.

Lesen Sie auchNeuralink Blindsight: Elon Musk gibt Details zu sehwiederherstellendem Neuralchip bekannt

Ergebnisse des Modellvergleichs und das WER-Dilemma

Geschwindigkeitstests zeigten, dass GigaAM und T-one wahre CPU-Champions sind, während Whisper ohne Hardwarebeschleuniger zu kämpfen hat. GigaAM ging bei der reinen WER als Sieger hervor und bewies seine Exzellenz bei der Transkription allgemeiner russischer Sprache. Bei der Untersuchung spezifischer Fachbegriffe zeigte Whisper jedoch eine stärkere Fähigkeit, diese Einheiten zu erfassen, was einen klaren Zielkonflikt zwischen allgemeiner Textgenauigkeit und der Präzision technischer Begriffe offenbart.

Der Artikel beleuchtet eingehend die Metrik der Word Error Rate (WER), die Ersetzungen, Löschungen und Einfügungen zählt, die erforderlich sind, um mit den tatsächlichen Daten (Ground Truth) übereinstimmten. Ein identischer, niedriger WER-Wert kann entweder eine erfolgreiche Ausführung oder ein ruiniertes Feature verbergen, wenn der Fehler in einem kritischen Fachbegriff auftritt. Bei langen Audioaufnahmen haben Fehler bei seltenen Begriffen einen geringen Einfluss auf den Gesamtzähler und -nenner, können aber einen KI-Programmieragenten schwer in die Irre führen.

Praktische Auswirkungen für Softwarefabriken

In der Praxis speist das generierte Transkript ein System, das es in Nutzerabsichten (User Intent) und Codesuchaufgaben aufteilt. Während Suchroutinen geringfügige semantische Abweichungen (wie Dashboards und Synonyme) tolerieren können, kann das Verkennen eines seltenen technischen Protokolls oder einer Bibliothek die gesamte Aufgabe völlig entgleisen lassen. Amüsante Fehler wie die Umwandlung von „Precision“ (Präzision) in ein völlig zusammenhangloses Wort oder die Verwechslung von Produktionsumgebungen können bei automatisierten Commits schwerwiegende Probleme verursachen.

Für Entwickler und Technologieunternehmen, die Sprachschnittstellen und KI-gesteuerte Arbeitsabläufe erforschen, macht diese Forschung deutlich, dass Spracherkennungsmodelle für allgemeine Zwecke nicht ausreichen. Der Aufbau zuverlässiger, sprachgesteuerter Entwicklungspipelines erfordert domänenspezifische Benchmarks, den sorgfältigen Umgang mit Fachjargon und robuste Nachbearbeitungsschichten, um ASR-Transkriptionsrauschen herauszufiltern.

Quelle: Все публикации подряд на Хабре

Ähnliche Artikel