90'dan fazla dil desteği: ElevenLabs, karakter düzeyinde hizalama modeli Cue'yu tanıttı

ElevenLabs, mevcut metinleri ses kayıtlarıyla karakter düzeyinde eşleştiren Cue adlı ses hizalama modelini 28'inde tanıttı.

Şirket, resmî duyurusunda Cue'nun 90'dan fazla dili desteklediğini açıkladı. Model, Scribe adlı konuşma tanıma modelinin transkripsiyon isteklerinde kullanılıyor ve ayrıca ayrı bir zorunlu hizalama API'si olarak sunuluyor.

Zorunlu hizalama, önceden hazırlanmış bir metni ses kaydıyla karşılaştırarak her bölümün ne zaman söylendiğini belirliyor. Bu işlev, sesi dinleyip yeni bir metin oluşturan transkripsiyondan farklı.

Scribe sesi metne dönüştürdükten sonra Cue, karakter ve kelimeler için başlangıç ve bitiş zamanlarını ekliyor. Şirket, altyazı ve dublaj zamanlaması ile şarkı sözlerinin sesle eşleştirilmesini olası kullanım alanları arasında gösterdi.

Ayrı API kullanıldığında ses dosyası ve mevcut metin birlikte giriliyor. API; karakter ve kelime düzeyinde başlangıç ve bitiş zamanlarının yanı sıra hizalama kaybı değerini döndürüyor.

API belgelerinde “loss”, metnin tamamı için ortalama hizalama kaybı ve güven puanı olarak açıklanıyor. Bu değerin metindeki bilgilerin doğruluğunu denetlediği belirtilmiyor.

90'dan fazla dil, şirketin açıkladığı destek kapsamı. Ayrı yayımlanan karşılaştırmalı değerlendirme ise gerçek kullanım istekleri temel alınarak oluşturulan ses kayıtlarında 29 dili kapsadı.

ElevenLabs'ın kendi değerlendirmesinde Cue'nun tüm kayıtlar için ortalama zamanlama hatası 179 milisaniye oldu. Karşılaştırılan açık kaynaklı araçların hataları 283 milisaniyeden 6.000 milisaniyenin üzerine uzanan bir aralıkta kaldı.

Şirket, arka plan gürültüsü içeren İngilizce kayıtlarda Cue'nun ortalama hatasının 57 milisaniye olduğunu bildirdi. Aynı koşullarda karşılaştırılan araçların hataları 65 ila 920 milisaniye arasındaydı.

ElevenLabs, karakter düzeyinde çalışan Cue'yu kelime düzeyindeki ölçütlere göre değerlendirdiğini ve eksiksiz bir referans doğruluk seti oluşturmanın zor olduğunu belirtti. Duyuruda değerlendirme örneklerinin sayısı ve yapısı, GPU özellikleri ya da işlem yükü koşulları açıklanmadı.

Şirket, üretim ortamında kullanılan GPU'larda bir saatlik sesin yaklaşık 0,5 saniyede hizalandığını açıkladı. Bu süre de şirketin kendi ortamında yaptığı ölçüme dayanıyor.

Şirketin “uzunluğundan bağımsız olarak tek seferde işleme” açıklamasına API giriş koşulları eşlik ediyor. API belgelerine göre dosya boyutu 1 GB'ın altında olmalı ve konuşmacı ayrıştırma desteklenmiyor. Belgelerde ses için azami süre belirtilmiyor.

Ses işlemede transkripsiyon, zaman hizalama ve konuşmacı ayrıştırma farklı işlevler. Google'ın transkripsiyon modelinin Korece desteği ve konuşmacı ayrıştırma kapsamını ele alan TokenPost haberi, Gemini 3.5 Transcribe'ın 85'ten fazla dili desteklediğini ve en fazla sekiz konuşmacıyı ayırt edebildiğini; ancak üç veya daha fazla konuşmacıyı tanımanın deneysel olarak sınıflandırıldığını aktarmıştı.