IT

Jak transkrybować wiadomości głosowe z CRM na dwurdzeniowym procesorze bez karty graficznej

Dowiedz się, jak zbudować lokalny system transkrypcji mowy na tekst dla CRM przy użyciu faster-whisper, ffmpeg i cron, bez zewnętrznych API w chmurze i bez GPU.

·3 min czytania
Jak transkrybować wiadomości głosowe z CRM na dwurdzeniowym procesorze bez karty graficznej

Klienci uwielbiają wysyłać wiadomości głosowe, jednak menedżerowie w hałaśliwym otoczeniu uważają je za niewygodne w odsłuchiwaniu, a listy konwersacji pozostają nieczytelne, dopóki się ich nie otworzy. Aby rozwiązać ten problem bez polegania na zewnętrznych API w chmurze, deweloperzy wdrożyli lokalny system transkrypcji mowy działający na niewielkim rosyjskim serwerze z zaledwie dwoma rdzeniami procesora i bez karty graficznej. 35-sekundowa wiadomość głosowa jest konwertowana na tekst w około dziewięć sekund przy użyciu zoptymalizowanych narzędzi open-source.

  • Deweloperzy zintegrowali lokalny potok zamiany mowy na tekst dla wiadomości głosowych z komunikatorów w swoim systemie CRM do sprzedaży.
  • System opiera się na bibliotece faster-whisper (model small z kwantyzacją int8) działającej w całości na procesorze.
  • Dekodowanie dźwięku zostało oddelegowane do ffmpeg, co zapobiega błędom odczytu metadanych z różnych formatów stosowanych przez komunikatory.
  • Przetwarzanie jest zautomatyzowane za pomocą crona, z ograniczeniem zadań współbieżnych i zapobieganiem spiętrzaniu się kolejki zadań przy użyciu mechanizmu flock.

Wybór architektury i modelu rozpoznawania mowy Zewnętrzne usługi transkrypcji w chmurze zostały szybko odrzucone ze względu na obawy dotyczące prywatności, ponieważ wiadomości głosowe klientów zawierają wrażliwe dane osobowe, które nie powinny opuszczać lokalnej infrastruktury. Deweloperzy wybrali faster-whisper, zoptymalizowaną implementację modelu Whisper od OpenAI opartą na CTranslate2, która zapewnia znacznie szybszą inferencję na standardowych procesorach w porównaniu do oryginalnej implementacji. Przetwarzanie zostało odizolowane na osobnej maszynie w chmurze wyposażonej w zaledwie dwa rdzenie procesora i bez akceleracji sprzętowej. System wykorzystuje wariant modelu small z kwantyzacją wag int8. O ile potoczna mowa rosyjska może czasem skutkować drobnymi błędami słownymi, o tyle ogólny kontekst i znaczenie są zachowane bezbłędnie, co w zupełności wystarcza menedżerom sprzedaży. Aby zmaksymalizować wydajność na ograniczonym sprzęcie, dostrojono kilka parametrów: compute_type='int8' dla szybkiego wykonywania na CPU, beam_size=1 dla dekodowania zachłannego przy krótkich frazach oraz vad_filter=True do automatycznego usuwania ciszy i pauz powszechnych w notatkach głosowych.

Techniczne niuanse dekodowania i integracja z CRM Domyślnie faster-whisper obsługuje otwieranie plików za pomocą PyAV, jednak to podejście zawiodło podczas przetwarzania surowych plików audio z komunikatorów docierających w różnych formatach, takich jak ogg, m4a czy mp3, co często wywoływało błędy odczytu metadanych. Deweloperzy rozwiązali ten problem, delegując dekodowanie audio całkowicie do ffmpeg, co pozwala konwertować przychodzące pliki do znormalizowanej, surowej tablicy float32 w formacie mono 16 kHz. Odłączyło to potok przetwarzania od oryginalnych formatów plików, zapewniając stabilność na różnych urządzeniach klientów. Zgodnie z filozofią Uniksa, skrypt transkrypcji działa za pośrednictwem standardowych strumieni wejścia i wyjścia (stdin do stdout), co oznacza, że pliki audio nigdy nie są zapisywane na dysku serwera, co zwiększa bezpieczeństwo. Główny serwer CRM wywołuje skrypt za pomocą wywołań subprocess. Automatyzacją zarządza cron w połączeniu z mechanizmem flock, który zapobiega nakładaniu się uruchomień, oraz ścisłym limitem przetwarzanych wiadomości na jedno uruchomienie, co chroni serwer rozpoznawania mowy przed nagłymi skokami ruchu.

Wpływ na biznes i praktyczne wnioski To podejście oparte na lokalnej automatyzacji wyeliminowało potrzebę korzystania z zewnętrznych, płatnych API w chmurze, utrzymując jednocześnie wszystkie dane audio i tekstowe w pełni bezpiecznie na serwerach krajowych. Wiadomość głosowa jest automatycznie transkrybowana i wyświetlana w interfejsie CRM mniej więcej minutę po jej otrzymaniu, co pozwala menedżerom natychmiast uchwycić intencje klienta bezpośrednio z listy czatów bez konieczności klikania przycisku odtwarzania. Rozwiązanie to udowadnia, że praktyczne funkcje sztucznej inteligencji można wdrażać w sposób opłacalny na skromnym sprzęcie bez drogich kart graficznych. Z perspektywy zespołów technicznych budujących podobne narzędzia wewnętrzne, rozpoczęcie pracy od małej konfiguracji CPU z int8, wykorzystanie ffmpeg do niezawodnego dekodowania dźwięku oraz unikanie zbędnego przechowywania danych na dysku stanowi solidny i niezawodny wzorzec. Ochrona danych użytkowników przy jednoczesnym zwiększaniu wydajności operacyjnej sprawia, że ta lokalna integracja sztucznej inteligencji jest cennym zasobem dla nowoczesnych platform CRM działających w warunkach surowych ograniczeń prywatności danych.

Źródło: Все публикации подряд на Хабре

Podobne artykuły