IT

Cara Mentranskripsikan Pesan Suara CRM pada CPU Dual-Core Tanpa GPU

Pelajari cara membangun sistem transkripsi suara-ke-teks lokal untuk CRM menggunakan faster-whisper, ffmpeg, dan cron tanpa API cloud atau GPU.

·3 menit baca
Cara Mentranskripsikan Pesan Suara CRM pada CPU Dual-Core Tanpa GPU

Klien sangat menyukai pengiriman pesan suara, tetapi para manajer di lingkungan yang bising merasa kesulitan mendengarkannya, dan daftar percakapan tetap tidak informatif sebelum dibuka. Untuk menyelesaikan masalah ini tanpa mengandalkan API cloud eksternal, para pengembang mengimplementasikan sistem transkripsi suara lokal yang berjalan pada server kecil di Rusia dengan hanya dua inti CPU dan tanpa GPU. Pesan suara berdurasi 35 detik dikonversi menjadi teks dalam waktu sekitar sembilan detik menggunakan alat sumber terbuka (open-source) yang dioptimalkan.

  • Para pengembang mengintegrasikan pipeline ucapan-ke-teks lokal untuk pesan suara messenger dalam CRM penjualan mereka.
  • Sistem ini mengandalkan faster-whisper (model kecil dengan kuantisasi int8) yang berjalan sepenuhnya di CPU.
  • Dekode audio dialihkan ke ffmpeg untuk mencegah kesalahan pembacaan metadata di berbagai format messenger.
  • Pemrosesan otomatis dilakukan melalui cron, membatasi tugas serentak dan mencegah penumpukan antrean tugas menggunakan flock.

Memilih arsitektur dan model pengenalan ucapan Layanan transkripsi cloud eksternal langsung ditolak karena masalah privasi, mengingat pesan suara klien berisi data pribadi sensitif yang tidak boleh meninggalkan infrastruktur lokal. Para pengembang memilih faster-whisper, implementasi yang dioptimalkan dari Whisper milik OpenAI yang dibangun di atas CTranslate2, yang memberikan kecepatan inferensi jauh lebih cepat pada CPU standar dibandingkan implementasi aslinya. Pemrosesan diisolasi pada mesin cloud terpisah yang hanya memiliki dua inti CPU dan tanpa akselerasi perangkat keras. Sistem ini menggunakan varian model kecil dengan kuantisasi bobot int8. Meskipun percakapan lisan dalam bahasa Rusia terkadang menghasilkan sedikit kesalahan kata, konteks dan makna keseluruhan tetap terjaga secara akurat, yang sudah lebih dari cukup bagi manajer penjualan. Untuk memaksimalkan performa pada perangkat keras yang terbatas, beberapa parameter disesuaikan: compute_type='int8' untuk eksekusi CPU yang cepat, beam_size=1 untuk dekode serakah (greedy) pada frasa pendek, dan vad_filter=True untuk secara otomatis menghapus keheningan dan jeda yang biasa ada pada catatan suara.

Nuansa teknis dekode dan integrasi CRM Secara default, faster-whisper menangani pembukaan file melalui PyAV, tetapi pendekatan ini gagal saat memproses file audio mentah messenger yang tiba dalam berbagai format seperti ogg, m4a, dan mp3, yang sering memicu kesalahan pembacaan metadata. Para pengembang mengatasi hal ini dengan mendelegasikan dekode audio sepenuhnya ke ffmpeg, mengonversi file yang masuk menjadi array float32 mentah standar pada 16 kHz mono. Ini memisahkan pipeline dari format file aslinya, memastikan stabilitas di berbagai perangkat klien. Mengikuti filosofi Unix, skrip transkripsi beroperasi melalui aliran input dan output standar (stdin ke stdout), yang berarti file audio tidak pernah ditulis ke diska server, sehingga meningkatkan keamanan. Server CRM utama memanggil skrip melalui panggilan subprocess. Otomatisasi ditangani oleh cron, dipasangkan dengan flock untuk mencegah eksekusi yang tumpang tindih dan pembatasan ketat pada pesan yang diproses per eksekusi guna melindungi server pengenalan dari lonjakan lalu lintas.

Dampak bisnis dan poin praktis Pendekatan otomasi lokal ini menghilangkan kebutuhan akan API cloud berbayar eksternal sekaligus menjaga semua data audio dan teks tetap aman di server domestik. Pesan suara secara otomatis ditranskripsikan dan ditampilkan antarmuka CRM sekitar satu menit setelah diterima, memungkinkan para manajer untuk langsung memahami maksud pelanggan langsung dari daftar obrolan tanpa mengeklik tombol putar. Solusi ini membuktikan bahwa fitur AI praktis dapat diterapkan secara hemat biaya pada perangkat keras yang sederhana tanpa GPU yang mahal. Bagi tim teknis yang membangun alat internal serupa, memulai dengan konfigurasi CPU int8 kecil, memanfaatkan ffmpeg untuk dekode audio yang andal, dan menghindari penyimpanan diska yang tidak perlu memberikan rancangan yang andal. Melindungi data pengguna sekaligus meningkatkan efisiensi operasional menjadikan integrasi AI lokal ini sebagai aset berharga untuk platform CRM modern yang beroperasi di bawah batasan privasi data yang ketat.

Sumber: Все публикации подряд на Хабре

Artikel terkait