40 dilde ses transkripsiyonu: Nvidia(NVDA), Nemotron 3.5 Transcribe'ı yayımladı

Nvidia(NVDA), Korece dahil 40 dilde kaydedilmiş konuşmaları metne dönüştürebilen açık ağırlıklı Nemotron 3.5 Transcribe modelini yayımladı. Model; transkripsiyon, çeviri, konuşmacı ayrımı ve kayıttaki içerikle ilgili soru-cevap işlemlerini tek bir modelde bir araya getiriyor.

Nvidia, 28'inde yayımladığı resmi duyuruda, ses kayıtlarıyla metin talimatlarının birlikte modele verildiğini bildirdi. Geliştiriciler, transkripsiyon biçimini, ürün adlarını veya teknik terimleri talimatlara ekleyerek çıktıya yön verebiliyor.

Model, dikte ve çevirinin yanı sıra toplantıda alınan kararları ayıklama isteğini de işleyebiliyor. Ancak sesli soru-cevap ve sesli talimatları anlama özellikleri yalnızca İngilizce için değerlendirildi.

Desteklenen dil sayısı işleve göre değişiyor. Transkripsiyon 40 dili, İngilizce ile diğer diller arasındaki çeviri 31 dili, konuşmacı bazında konuşma etiketleme ise 13 dili kapsıyor.

Model en fazla 1 saatlik kayıtları işleyebiliyor ve 8 konuşmacıya kadar ayrım yapabiliyor. Konuşmacı etiketleme, kayıttaki konuşmaları bölümlere ayırıyor; gerçek kişilerin kimliklerini belirlemiyor.

Korece, transkripsiyon, çeviri ve konuşmacı etiketleme için desteklenen diller arasında yer alıyor. Model kartında, açık değerlendirme kümesi FLEURS'un Korece bölümündeki karakter hata oranı (CER) %2,78 olarak veriliyor.

Bu, FLEURS değerlendirmesinde karakter düzeyinde ölçülen sonuç. Toplantı veya röportajlar dahil her türlü Korece kayıtta aynı doğruluğun elde edileceği anlamına gelmiyor.

Nemotron 3.5 Transcribe, gerçek zamanlı akış için geliştirilen Nemotron 3.5 ASR'den ayrılıyor. Haziran'da yayımlanan 600 milyon parametreli ASR modeli canlı sesi işlerken Transcribe kayıt dosyalarını girdi olarak alıyor.

Transcribe toplam 34 milyar parametreye sahip; girdi işleme sırasında etkinleşen parametre sayısı yaklaşık 4,3 milyar. Bu iki sayı, modelin toplam büyüklüğünü ve işlem sırasında etkinleşen parametreleri ayrı ayrı ifade ediyor.

Modelin dil modeli altyapısında Nemotron 3.5 Lightning kullanıldı; sisteme konuşma tanıma ve konuşmacı ayrımı bileşenleri eklendi. Nvidia daha önce kurumsal ajan görevlerine yönelik Nemotron 3.5 Lightning'i tanıtmıştı.

Ağırlıklar Hugging Face'te BF16, FP8 ve NVFP4 biçimlerinde yayımlandı. Ağırlıkların indirilebilir olması, dağıtım ve işletim maliyetlerini ortadan kaldırmıyor.

Model materyallerinde OpenMDW-1.1 lisansı geçerli. Yeniden dağıtım sırasında lisans ve kaynak bilgisini belirtmek gibi koşullara uyulması gerekiyor.

Birlikte yayımlanan çok dilli ses veri kümesi Granary v2'nin açık kayıtlarında 48 dil, 16 kaynak derlem ve 463.062 saatlik ses verisi listeleniyor. Konuyla ilgili ayrıntılar Nvidia'nın teknik blogunda yer aldı.

Bu süre, Granary v2'nin açık kayıtlarında belirtilen miktar; yeni modelin eğitiminde kullanılan toplam ses süresiyle aynı ölçüt değil. Orijinal ses kayıtlarının her bir kaynak materyalin lisansına göre ayrıca edinilmesi gerekiyor.

Model kartında uzun kayıtlar, üst üste konuşmalar, gürültü, özel adlar ve dillerin karışık kullanıldığı ortamlar için ayrıca kontrol yapılması gerektiği belirtiliyor. Modelin gerçek kullanım performansı, kayıt ortamı ve dile özgü koşullar dikkate alınarak değerlendirilmelidir.