%2,3 hata oranlı Salesforce modeli açık ağırlıklılar arasında ilk sırada

Salesforce (CRM), SOV-Transcribe-1 ses transkripsiyon modelini ayın 12’sinde (yerel saatle) tanıttı. Model, İngilizce kelime hata oranında %2,3’e ulaştı; o tarihte değerlendirilen 44 model arasında yedinci, açık ağırlıklı modeller arasında ise ilk sırada yer aldı.

Salesforce, resmi teknik tanıtım yazısında modeli gerçek zamanlı olmayan ses tanıma için geliştirdiğini belirtti. Model ağırlıkları Hugging Face’te yayımlandı. Kullanıcılar ağırlıkları indirerek modeli kendi altyapılarında çalıştırabiliyor.

Artificial Analysis’in AA-WER değerlendirmesi, yaklaşık 8 saatlik İngilizce ses kaydını kapsadı. Testte sesli asistan konuşmalarından oluşan AA-AgentTalk’a %50, Avrupa Parlamentosu konuşmalarını içeren VoxPopuli’ye %25, şirketlerin bilanço toplantısı görüşmelerini içeren Earnings22’ye %25 ağırlık verildi.

Kelime hata oranı, yapay zekânın yazıya döktüğü metinde atlanan, değiştirilen veya eklenen kelimelerin, insanlarca doğrulanmış metne kıyasla oranını gösteriyor. Bu nedenle %2,3 sonucu, her dilde ve kayıt koşulunda her 100 kelimeden 2,3’ünün yanlış olduğu anlamına gelmiyor.

SOV-Transcribe-1’in hata oranı Earnings22’de %4,1, VoxPopuli’de %1,5 ve AA-AgentTalk’ta %1,8 olarak ölçüldü. Sonuçların veri kümelerine göre değişmesi, tek bir genel puanla belirli bir iş veya kayıt ortamındaki doğruluğun saptanmasını zorlaştırıyor. Değerlendirme İngilizce seslerle yapıldığı için modelin Türkçe performansını göstermiyor.

Model toplam 26,6 milyar parametreye sahip; çalışma sırasında etkinleşen parametre sayısı 4,6 milyar. Aynı ölçütte Mistral AI’ın Voxtral Small modeli ile Nvidia (NVDA) Nemotron 3.5 Transcribe yaklaşık %2,8 hata oranı kaydetti.

Değerlendirmede sunulan işlem hızı endeksi yaklaşık 60 olarak açıklandı. Bu değer, ses uzunluğunun işleme süresine oranını ifade ediyor; modelin diğerlerinden 60 kat hızlı olduğu anlamına gelmiyor ve gerçek kurulumlardaki performansı garanti etmiyor.

Salesforce, modeli egemen yapay zekâ girişiminin bir parçası olarak konumlandırdı ve kuruluşların veri ile yapay zekâ operasyonları üzerindeki kontrolünü vurguladı. Şirket, modelin kendi altyapısında çalıştırılabilmesini de öne çıkardı.

Salesforce’un Eylül 2025’te başlattığı Missionforce, kamu ve ulusal güvenlik çalışmalarında veri kontrolü ile güvenliğe odaklanıyor. Açık ağırlıklar, hassas seslerin kurum içi sistemlerde işlenmesine imkân tanıyor; ancak ağırlıkların yayımlanmış olması tek başına her kurumun güvenlik gerekliliklerini karşılamıyor.

Salesforce; müşteri görüşmeleri, dikte ve çağrı kayıtlarının işlenmesini olası kullanım alanları arasında saydı. Açıklanan puan, kaydedilmiş İngilizce sesler üzerinde yapılan gerçek zamanlı olmayan değerlendirmeye dayanıyor ve canlı ses hizmetlerinin performansını yansıtmıyor.