Как сделать расшифровку голосовых для CRM на CPU без видеокарты
Узнайте, как настроить локальную расшифровку голосовых сообщений для CRM на базе faster-whisper и ffmpeg без использования видеокарты и облачных API.

Менеджеры по продажам часто сталкиваются с неудобством аудиосообщений: в шумном цеху или на ходу прослушать клиента сложно, а в общем списке диалогов содержание остается скрытым до открытия чата. Чтобы решить эту проблему без передачи персональных данных клиентов сторонним облачным сервисам, разработчики создали собственную систему локальной расшифровки. Процесс работает на небольшом облачном сервере с двумя ядрами без видеокарты, превращая 35-секундную аудиозапись в текст примерно за девять секунд.
- Разработчики внедрили локальную транскрипцию голосовых сообщений из мессенджеров для CRM-системы.
- В качестве основы используется faster-whisper (модель small с квантованием int8) на базе процессора.
- Предварительное декодирование звука через ffmpeg позволяет избежать ошибок чтения метаданных.
- Обработка запускается через cron с ограничением до пяти задач за проход и защитой от наложения процессов с помощью flock.
Выбор архитектуры и модели распознавания речи Для реализации проекта разработчики отказались от облачных API распознавания по соображениям конфиденциальности, так как голосовые сообщения клиентов содержат персональные данные. Отправка их на зарубежные или сторонние серверы не рассматривалась, поэтому вся обработка должна была выполняться локально в закрытом контуре. В качестве основного движка выбрали faster-whisper, представляющую собой оптимизированную реализацию оригинальной модели Whisper на базе CTranslate2, которая демонстрирует высокую скорость работы на центральном процессоре без привлечения графических ускорителей. В системе задействована модель small с квантованием весов int8. На русской разговорной речи такая конфигурация может допускать незначительные погрешности в отдельных словах, однако общую суть передает максимально уверенно, чего вполне достаточно для повседневной работы менеджеров. Для максимальной производительности на двухъядерном CPU без видеокарты были применены специальные параметры: compute_type='int8' для ускорения вычислений, beam_size=1 для реализации жадного декодирования коротких фраз и vad_filter=True для автоматического удаления тишины и пауз, которых в голосовых сообщениях обычно очень много.
Технические нюансы декодирования и интеграция с CRM Стандартная библиотека faster-whisper использует PyAV для открытия файлов, однако на реальных голосовых сообщениях из различных мессенджеров этот метод часто давал сбои. Аудиофайлы поступают в самых разных форматах вроде ogg, m4a и mp3, из-за чего PyAV периодически падал с ошибками чтения метаданных. Проблему решили путем передачи задачи предварительного декодирования утилите ffmpeg, которая приводит любой входящий поток к единому стандарту: монофонический звук с частотой 16 кГц и форматом float32 в диапазоне от −1 до 1. Скрипт построен по принципу потоковой передачи данных через стандартные потоки ввода-вывода (stdin и благодаря этому аудиофайл вообще не сохраняется на жесткий диск сервера, повышая безопасность системы. Основной сервер передает звуковой поток в скрипт, а на выходе получает готовый текст. Для автоматизации процесса используется планировщик cron с утилитой flock для предотвращения параллельного запуска одинаковых задач и лимитом в пять обработанных сообщений за один проход, чтобы избежать пиковых нагрузок на процессор.
Значение локальной автоматизации для бизнес-процессов Внедрение такого решения позволило существенно оптимизировать работу отдела продаж без дополнительных финансовых затрат на оплату минут в облачных сервисах. Голосовое сообщение появляется в текстовом виде примерно через минуту после его получения в CRM, учитывая интервал запуска планировщика и время работы модели на двух ядрах. Менеджеры теперь могут моментально оценивать суть обращения прямо в списке диалогов, где вместо стандартной пометки отображается распознанный текст. Подобный подход демонстрирует, что современные технологии искусственного интеллекта можно эффективно разворачивать на слабом и недорогом оборудовании без использования дорогих графических процессоров. Отсутствие внешних зависимостей, защита персональных данных внутри защищенного контура и полная независимость от сторонних API делают такое решение оптимальным выбором для небольших IT-компаний и CRM-разработчиков, работающих в регионах с жесткими требованиями к хранению информации.
Источник: Все публикации подряд на Хабре



