GPU Olmadan, Çift Çekirdekli CPU Üzerinde CRM Sesli Mesajları Nasıl Transkript Edilir?
Bulut API'leri veya GPU kullanmadan; faster-whisper, ffmpeg ve cron ile CRM için yerel bir sesten metne transkripsiyon sisteminin nasıl kurulacağını öğrenin.

Müşteriler sesli mesaj göndermeyi çok sever, ancak gürültülü ortamlardaki yöneticiler bunları dinlemeyi zahmetli bulur ve diyalog listeleri açılana kadar bilgilendirici olmaktan uzaktır. Harici bulut API'lerine güvenmeden bu sorunu çözmek için geliştiriciler, yalnızca iki CPU çekirdeğine sahip ve GPU'su bulunmayan küçük bir Rus sunucusunda çalışan yerel bir ses transkripsiyon sistemi uyguladı. 35 saniyelik bir sesli mesaj, optimize edilmiş açık kaynaklı araçlar kullanılarak yaklaşık dokuz saniyede metne dönüştürülüyor.
- Geliştiriciler, satış CRM'i içinde mesajlaşma uygulaması sesli mesajları için yerel bir sesten metne işlem hattı entegre etti.
- Sistem, tamamen CPU üzerinde çalışan faster-whisper (int8 kuantalama özellikli small modeli) kitaplığına dayanıyor.
- Çeşitli mesajlaşma formatlarında üstveri okuma hatalarını önlemek için ses kod çözme işlemi ffmpeg'e devrediliyor.
- İşleme, cron aracılığıyla otomatiktir; eş zamanlı görevleri sınırlar ve flock kullanarak görev kuyruğu birikmesini önler.
Mimariyi ve konuşma tanıma modelini seçmek Müşteri sesli mesajları yerel altyapıyı terk etmemesi gereken hassas kişisel veriler barındırdığından, harici bulut transkripsiyon hizmetleri gizlilik endişeleri nedeniyle hızla reddedildi. Geliştiriciler, OpenAI'nin CTranslate2 üzerine inşa edilmiş optimize edilmiş bir Whisper uygulaması olan ve orijinal uygulamaya kıyasla standart CPU'larda çok daha hızlı çıkarım hızları sunan faster-whisper'ı seçti. İşlem, yalnızca iki CPU çekirdeğine sahip ve donanım hızlandırıcısı bulunmayan ayrı bir bulut makinesinde izole edildi. Sistem, int8 ağırlık kuantalamasına sahip small model varyantını kullanıyor. Konuşma dili Türkçe veya Rusça bazen küçük kelime hatalarına yol açabilse de, genel bağlam ve anlam doğru bir şekilde korunuyor ki bu da satış yöneticileri için tamamen yeterli. Sınıflandırılmış donanımda performansı en üst düzeye çıkarmak için birkaç parametre ayarlandı: hızlı CPU yürütmesi için compute_type='int8', kısa ifadelerde açgözlü kod çözme için beam_size=1 ve ses notlarında yaygın olan sessizlikleri ve duraklamaları otomatik olarak kaldırmak için vad_filter=True.
Teknik kod çözme incelikleri ve CRM entegrasyonu Varsayılan olarak faster-whisper, dosya açma işlemini PyAV aracılığıyla gerçekleştirir, ancak ogg, m4a ve mp3 gibi çeşitli formatlarda gelen ham mesajlaşma ses dosyaları işlenirken bu yaklaşım başarısız oldu ve genellikle üstveri okuma hatalarını tetikledi. Geliştiriciler, ses kod çözme işlemini tamamen ffmpeg'e devrederek, gelen dosyaları 16 kHz mono formatında standartlaştırılmış ham bir float32 dizisine dönüştürerek bunu çözdü. Bu, işlem hattını orijinal dosya formatlarından ayırarak farklı müşteri cihazlarında kararlılık sağladı. Unix felsefesini izleyen transkripsiyon betiği, standart girdi ve çıktı akışları (stdin'den stdout'a) aracılığıyla çalışır; yani ses dosyaları asla sunucu diskine yazılmaz ve bu da güvenliği artırır. Ana CRM sunucusu, alt süreç (subprocess) çağrıları aracılığıyla betiği tetikler. Otomasyon, çakışan yürütmeleri önlemek için flock ile eşleştirilmiş cron ve tanıma sunucusunu trafik artışlarından korumak için çalıştırılma başına işlenen mesajlarda katı bir sınır ile yönetilir.
İş etkisi ve pratik çıkarımlar Bu yerel otomasyon yaklaşımı, tüm ses ve metin verilerini yerel sunucularda güvenli bir şekilde tutarken harici ücretli bulut API'lerine olan ihtiyacı ortadan kaldırdı. Bir sesli mesaj, alındıktan yaklaşık bir dakika sonra otomatik olarak transkript edilir ve CRM arayüzünde görüntülenir; bu sayede yöneticiler, oynat düğmesine tıklamak zorunda kalmadan müşterinin niyetini doğrudan sohbet listesinden anında kavrayabilir. Çözüm, pratik AI özelliklerinin pahalı GPU'lar olmadan mütevazı donanımlar üzerinde uygun maliyetle dağıtılabileceğini kanıtlıyor. Benzer dahili araçlar inşa eden teknik ekipler için küçük bir int8 CPU yapılandırmasıyla başlamak, güçlü ses kod çözme için ffmpeg'den yararlanmak ve gereksiz disk depolama alanından kaçınmak güvenilir bir taslak sağlar. Kullanıcı verilerini korurken operasyonel verimliliği artırmak, bu yerel AI entegrasyonunu katı veri gizliliği kısıtlamaları altında çalışan modern CRM platformları için değerli bir varlık haline getiriyor.
Kaynak: Все публикации подряд на Хабре



