IT

Cómo transcribir mensajes de voz de un CRM en una CPU de doble núcleo sin GPU

Aprende a construir un sistema local de transcripción de voz a texto para un CRM utilizando faster-whisper, ffmpeg y cron, sin depender de APIs en la nube ni de tarjetas gráficas.

·3 min de lectura
Cómo transcribir mensajes de voz de un CRM en una CPU de doble núcleo sin GPU

A los clientes les encanta enviar mensajes de voz, pero a los gestores en entornos ruidosos les resulta incómodo escucharlos, y las listas de chat siguen sin aportar información hasta que se abren. Para resolver este problema sin recurrir a APIs externas en la nube, los desarrolladores implementaron un sistema local de transcripción de voz que se ejecuta en un pequeño servidor con solo dos núcleos de CPU y sin GPU. Un mensaje de voz de 35 segundos se convierte en texto en aproximadamente nueve segundos utilizando herramientas de código abierto optimizadas.

  • Los desarrolladores integraron un flujo local de conversión de voz a texto para los mensajes de voz de mensajería dentro de su CRM de ventas.
  • El sistema se basa en faster-whisper (modelo small con cuantización int8) ejecutándose enteramente en una CPU.
  • La decodificación de audio se delega en ffmpeg para evitar errores de lectura de metadatos en varios formatos de mensajería.
  • El procesamiento se automatiza mediante cron, limitando las tareas concurrentes y evitando la acumulación de colas de tareas mediante flock.

Elección de la arquitectura y el modelo de reconocimiento de voz Los servicios externos de transcripción en la nube se descartaron rápidamente debido a problemas de privacidad, ya que los mensajes de voz de los clientes contienen datos personales sensibles que no deben salir de la infraestructura local. Los desarrolladores eligieron faster-whisper, una implementación optimizada del modelo Whisper de OpenAI construida sobre CTranslate2, que ofrece velocidades de inferencia significativamente más rápidas en CPUs estándar en comparación con la implementación original. El procesamiento se aisló en una máquina en la nube independiente que cuenta con solo dos núcleos de CPU y sin aceleración por hardware. El sistema utiliza la variante de modelo pequeño (small) con cuantización de pesos int8. Aunque el español conversacional a veces puede dar lugar a errores menores en algunas palabras, el contexto general y el significado se preservan con precisión, lo cual es totalmente suficiente para los gestores de ventas. Para maximizar el rendimiento en un hardware limitado, se ajustaron varios parámetros: compute_type='int8' para una ejecución rápida en CPU, beam_size=1 para la decodificación voraz (greedy) en frases cortas, y vad_filter=True para eliminar automáticamente los silencios y las pausas habituales en las notas de voz.

Matices de la decodificación técnica e integración con el CRM Por defecto, faster-whisper gestiona la apertura de archivos a través de PyAV, pero este enfoque falló al procesar archivos de audio brutos de mensajería que llegaban en varios formatos como ogg, m4a y mp3, lo que a menudo provocaba errores de lectura de metadatos. Los desarrolladores resolvieron esto delegando la decodificación de audio por completo en ffmpeg, convirtiendo los archivos entrantes en una matriz estandarizada de tipo float32 a 16 kHz en mono. Esto desacopló el flujo de los formatos de archivo originales, garantizando la estabilidad en diversos dispositivos de cliente. Siguiendo la filosofía Unix, el script de transcripción opera a través de flujos de entrada y salida estándar (de entrada estándar a salida estándar o stdin a stdout), lo que significa que los archivos de audio nunca se escriben en el disco del servidor, mejorando la seguridad. El servidor principal del CRM invoca el script mediante llamadas de subprocesos (subprocess). La automatización se gestiona con cron, combinada con flock para evitar ejecuciones superpuestas y un límite estricto de mensajes procesados por ejecución para proteger al servidor de reconocimiento de picos de tráfico.

Impacto comercial y conclusiones prácticas Este enfoque de automatización local eliminó la necesidad de utilizar APIs de pago externas en la nube, manteniendo todos los datos de audio y texto de forma segura en los servidores propios. Un mensaje de voz se transcribe automáticamente y se muestra en la interfaz del CRM aproximadamente un minuto después de su recepción, lo que permite a los gestores comprender al instante la intención del cliente directamente desde la lista de chats sin necesidad de hacer clic en reproducir. La solución demuestra que se pueden implementar funciones prácticas de IA de forma rentable en un hardware modesto y sin GPUs costosas. Para los equipos técnicos que construyan herramientas internas similares, empezar con una configuración de CPU pequeña con int8, aprovechar ffmpeg para una decodificación de audio robusta y evitar el almacenamiento innecesario en disco proporciona un modelo fiable. Proteger los datos de los usuarios a la vez que se mejora la eficiencia operativa convierte a esta integración de IA local en un activo valioso para las plataformas CRM modernas que operan bajo estrictas restricciones de privacidad de datos.

Fuente: Все публикации подряд на Хабре

Artículos relacionados