160 ms ve U=1’de ortalama hata oranı %5,76; Korece FLEURS’te %7,52

NetEase Youdao araştırma ekibi, Confucius4-R2T2 adlı akışlı konuşma tanıma modelini yayımladı. 160 ms’lik parça ve U=1 ayarında, İngilizce ve Çince 13 değerlendirme veri kümesindeki ortalama hata oranı %5,76 oldu. U, çıktı verilmeden önce bekletilen geçici token sayısını ifade ediyor; U=1, bir tokenın bekletildiği ayar.

Araştırmacılar, 4’ünde yayımladıkları makalede modeli, ses akışı sırasında daha sonra da değişmeyecek cümle başlangıçlarını verecek şekilde tasarladıklarını belirtti. Bir kez kesinleştirilip çıktı olarak verilen cümleler, sonradan gelen ses verisine göre değiştirilmiyor.

%5,76’lık değer, 13 değerlendirme veri kümesinin eşit ağırlıkla hesaplanan ortalaması. İngilizce için kelime hata oranı (WER), Çince için karakter hata oranı (CER) kullanıldı. Bu değer, iki dildeki kelime ve karakter hatalarının bir araya getirilmesiyle hesaplanmış bir oran değil.

Aynı 160 ms ve U=1 koşullarında, Korece FLEURS değerlendirme kümelerinden birindeki karakter hata oranı %7,52 oldu. Temel model aynı koşullarda %40,66 kaydetti. Korece ek eğitim dilleri arasında yer almıyor; bu sonuç tüm Korece konuşma tanıma sistemlerinin performansına genellenemez.

Değerlendirme koşulları da birbirinden ayrılmalı. TokenPost’un daha önce ele aldığı Nvidia’nın Korece konuşma transkripsiyon modeli, kayıtlı ses dosyalarını girdi olarak alıyor. Bu nedenle onu gerçek zamanlı akış modeli R2T2 ile doğrudan karşılaştırmak zor.

R2T2’nin temel modeli Qwen3-ASR-1.7B. Araştırmacılar ek eğitimde yaklaşık 1500 saatlik Çince ve İngilizce ses kullandı.

Model, mevcut ses kodlayıcısını ve projektörünü sabit tutarken ‘en uzun kararlı önek’ (LSP) eğitimini uyguladı. LSP, daha sonra yeni girdi gelse bile korunabilecek cümle başlangıçlarını öğrenerek önce kararlı içeriğin verilmesini sağlıyor.

Yaygın akışlı konuşma tanıma sistemleri, ses akışı sürerken geçici cümleler gösterebiliyor ve sonradan gelen bağlama göre önceki bölümleri değiştirebiliyor. Ara sonuçların hemen kullanıldığı sistemlerde değişen cümlenin yeniden işlenmesi gerekebilir.

Geliştiriciler, altyazı, simultane çeviri ve sesli ajanlar gibi ara sonuçları anında kullanan sistemlerde bu yeniden işlemeyi azaltmayı hedefleyen bir tasarım olduğunu açıkladı. Ancak cümlelerin sonradan değiştirilmemesi; tanıma doğruluğu ve çıktı hızıyla aynı ölçüt değil.

Aynı 160 ms aralığında temel modelin ortalama hata oranı %21,01 oldu. Tanıma kalitesine öncelik veren U=1 ayarında R2T2 %5,76, gecikmeye öncelik veren U=0 ayarında ise %6,40 kaydetti.

Temel model, 2 saniye ve U=5 ayarında %5,25; sesin tamamı alındıktan sonra işlenen çevrimdışı ayarda %5,15 sonuç verdi. Makale, bu iki sonucu kararlı çıktı sıralaması karşılaştırmasının dışında tuttu. Ayrıca 2 saniyelik ayarda ara çıktıların değiştirilebileceğini belirtti.

Makalenin karşılaştırma tablosundaki genel ortalamada R2T2’nin hata oranı, karşılaştırılan üç ticari API’ninkinden düşüktü. Ancak bazı Çince değerlendirme kümelerinde, şirket adları açıklanmayan ticari A ve B sistemlerinin hata oranları R2T2’den daha düşüktü. Makalede bu sistemlerin cümleleri daha geç kararlı hâle getirdiği belirtildi.

160 ms, değerlendirmede sesin modele parça parça verildiği aralığı ifade ediyor. Makalenin hesapladığı gecikme, cümlenin ses akışında kesinleştiği anı temel alıyor; gerçek çalıştırma, bekleme, iletim ve ekranda gösterim sürelerini kapsamıyor. Modelin gerçek çalışma ortamında girdiyi geliş hızına yetişip yetişemediği de doğrulanmadı.

Kod ve model ağırlıkları yayımlandı. Kod Apache License 2.0, ağırlıklar ise ayrı bir NetEase Model Use License kapsamında sunuluyor.

Makale, ek eğitimde kullanılan yaklaşık 1500 saatlik sesin özel mülkiyete tabi veri olduğunu belirtti. Bu nedenle yayımlanan kod ve ağırlıkların kapsamı ile eğitim seslerinin kamuya açıklık durumu birbirinden ayrılıyor.