Voxtral Mini konuşmacı ayrıştırma testinde 9 model arasında 2. oldu

Mistral AI'ın Voxtral Mini Transcribe 3 modeli, konuşmacı ayrıştırma değerlendirmesinde 9 model arasında 2. sırada yer aldı. Aynı şirketin Voxtral Small Transcribe 3 modeli ise 4. oldu.

Voice Arena, iki modelin değerlendirme sonuçlarını 22'sinde açıkladı. Testte, insanlar tarafından doğrulanmış 139 İngilizce konuşma kaydı kullanılarak konuşmacı ayrıştırma hata oranı (DER) ölçüldü.

Değerlendirme verileri 115 yüz yüze konuşma ve 24 çevrim içi görüşmeden oluştu. Modeller, metin okuma kayıtları yerine gerçek konuşmalar üzerinden karşılaştırıldı.

Değerlendirme kurumu modellere konuşmacı sayısını önceden bildirmedi ve ses kayıtlarını ayrıca düzenlemedi. Konuşmaların başlangıç ve bitiş noktalarının eşleştirilmesinde de herhangi bir tolerans aralığı kullanılmadı.

Konuşmacı ayrıştırma, sesi yazıya dökmenin ötesinde kimin ne zaman konuştuğunu belirleme işlemidir. DER; kaçırılan konuşma sürelerini, konuşma olmayan bölümlerin konuşma olarak algılandığı süreleri ve konuşmacının yanlış belirlendiği süreleri hesaba katar. Oranın düşük olması daha az hata anlamına gelir.

Modellerin sıralaması kayıt ortamına göre değişti. Yüz yüze konuşmalarda Mini model yüzde 40,6, Small model yüzde 41,5 DER kaydetti. Çevrim içi görüşmelerde ise Small modelin oranı yüzde 39,1 ile Mini modelin yüzde 39,5'inden daha düşüktü.

Bu nedenle genel sıralama, modeller arasındaki performans farkını her kayıt ortamı için açıklamıyor. Mini model yüz yüze konuşmalarda öne çıkarken Small model çevrim içi görüşmelerde az farkla daha düşük hata oranı gösterdi.

İki model de konuşmadaki katılımcı sayısını yüzde 83,5 oranında doğru belirledi. Konuşmacı sayısını doğru tahmin etme sonucu ile her konuşma bölümüne doğru konuşmacıyı atayan DER, farklı ölçümlerdir.

Mini modelin toplam konuşmacı ayrıştırma hatalarının yüzde 82'si konuşmaların kaçırılmasından kaynaklandı. İki kişinin aynı anda konuştuğu bölümler de her iki model için zorlayıcı oldu.

Konuşmacı ayrıştırma performansı ile dikte performansı ayrı değerlendirilmelidir. Kelime hata oranı (WER), tanınan kelimelerin doğru metinden ne kadar farklı olduğunu ölçer; bu nedenle DER ile doğrudan karşılaştırılamaz.

Artificial Analysis, akış dışı ses transkripsiyonu değerlendirmesinde AA-WER'yi üç veri kümesinin ağırlıklı ortalaması olarak hesaplıyor. AA-AgentTalk yüzde 50, VoxPopuli-Cleaned-AA ve Earnings22-Cleaned-AA ise ayrı ayrı yüzde 25 ağırlığa sahip. Değerlendirmede yaklaşık 8 saatlik ses kaydı kullanılıyor.

Artificial Analysis değerlendirmesinde Mini model yüzde 2,2 AA-WER ile 5., Small model yüzde 2,1 ile 3. sırada yer aldı. Bu ayrı testte Small modelin kelime tanıma hata oranı daha düşüktü.

Mistral, Voxtral 3 ürün ailesini 20'sinde tanıttı. 4 milyar parametreli Mini model, toplu transkripsiyonu destekliyor. TokenPost daha önce Mistral'ın ses modelini tanıtmasını ve transkripsiyon ücretlerini haberleştirmişti.

Mistral'ın ürün duyurusunda toplu transkripsiyon API'si için dakika başına ücret Mini modelde 0,0035 dolar (yaklaşık 4,64 won), Small modelde 0,004 dolar (yaklaşık 5,31 won) olarak açıklandı. İki model, konuşmacı ayrıştırma ve kelime tanıma değerlendirmelerinde farklı sonuçlar verdi.

Mistral, transkripsiyon modellerinin 50'den fazla dili desteklediğini ve kendi çok dilli değerlendirmesinde Korecenin de yer aldığını açıkladı. Ancak Voice Arena'nın bu konuşmacı ayrıştırma testi yalnızca İngilizce konuşmaları kapsadığı için sonuçlar, Korece performansı hakkında hüküm vermeye yetmiyor.