Haberler 
Coin Bilgisi 
Hakkımızda 
AssemblyAI’nin 50’den fazla büyük dil modelini (LLM) karşılaştırdığı ses transkripti sonrası işleme kıyaslamasında, bilgi çıkarımı alanındaki en yüksek puan transkriptin uzunluğuna göre değişti. İki dakikalık bölümde Nemotron Lightning 3.5 30B A3B 100 üzerinden 100 puan aldı.
AssemblyAI, Voice Standard Bench’i 13 Ekim 2026’da yayımladı. Kıyaslama, LLM Gateway modellerini bilgi çıkarımı, özetleme, metin düzeltme ve dikte düzenleme olmak üzere dört görevde değerlendiriyor.
Tüm modellere aynı transkript ve talimat veriliyor; kalite, yanıt süresi ve bir saatlik ses başına maliyet karşılaştırılıyor. Böylece modellerin gerçek hizmetlerde transkript sonrası işleme görevlerini farklı ölçütlere göre ne kadar iyi yerine getirdiği inceleniyor.
Kıyaslama, sesin metne dönüştürülmesindeki tanıma doğruluğunu ölçmüyor. Modellerin transkripti özetleme veya düzenleme ve gerekli bilgileri çıkarma becerisine odaklanıyor.
29 Ekim’de kontrol edilen sonuç sayfasındaki bilgi çıkarımı tablosunda 30 saniyelik bölüm için GPT-5.6 Sol 94, iki dakikalık bölüm için Nemotron Lightning 3.5 30B A3B 100, 15 dakikalık bölüm için GPT-6 Luna 85 ve 60 dakikalık bölüm için GPT-6.1 Sol 85 puanla listelendi. Puanlar 100 üzerinden veriliyor.
Bu değerler, 29 Ekim’de kontrol edildiğinde sayfada görünen sonuçları yansıtıyor; o gün yapılan bir kıyaslama çalışmasının sonuçları değil. AssemblyAI, yeni modeller eklendikçe sonuç sayfasındaki değerlerin değişebileceğini belirtiyor.
Bilgi çıkarımı görevi; görüşmeye katılanları, yapılacak işleri, kararları ve kişi, kurum, ürün ya da tarih gibi varlıkları JSON biçiminde döndürmek üzere tasarlandı. Yayımlanan doğrulama kodunda participants, action_items, decisions ve entities zorunlu üst düzey alanlar olarak tanımlanıyor.
Transkriptte belirli bir kategoriye ait bilgi yoksa ilgili sonuç dizisi boş olabilir; ancak alanın kendisi atlanamaz. Biçim denetiminden geçmek için dört alanın da bulunması gerekiyor.
Kalite değerlendirmesi, çıkarılan bilgilerin transkriptte dayanağı olup olmadığını ve söz edilen yapılacak işlerin, kararların ve varlıkların eksiksiz aktarılıp aktarılmadığını inceliyor. Bilgi çıkarımı görevi için önceden belirlenmiş bir doğru varlık listesi bulunmuyor.
AssemblyAI’nin yöntem açıklamasına göre bilgi çıkarımı değerlendirmesinde 30 saniye, iki dakika, 15 dakika ve 60 dakikalık bölümlerin her biri için 10 transkript kullanıldı. Bu yöntem, model yanıtlarının önceden belirlenmiş doğru varlıklarla mekanik olarak karşılaştırıldığı dikte düzenleme görevinden farklı.
Kalite puanı ile hız sıralaması da aynı değildi. Qwen3.5 4B Fast, 30 saniyelik bölümde 0,28 saniyelik medyan yanıt süresiyle en hızlı model oldu; kalite puanı ise 80’di.
Aynı model, iki dakikalık bölümde 0,60 saniye ve 51 puan; 15 dakikalık bölümde 1,49 saniye ve 33 puanla listelendi. Sonuç tablosunda biçim hataları, yanıt vermeyi reddetme, zaman aşımı ve hata oranı da ayrı ayrı gösteriliyor.
TokenPost daha önce aynı kıyaslamanın dikte düzenleme görevinde Gemini 4 Argon’un 99,5 puan aldığını bildirmişti. Bu sonuç, bilgi çıkarımı değerlendirmesinden farklı bir göreve ve puanlama yöntemine dayanıyor.
Dikte düzenleme, doğru yanıtları bilinen sentetik veriler üzerinde mekanik olarak puanlanırken bilgi çıkarımı gerçek görüşme transkriptleriyle karşılaştırılarak dayanak ve eksiksizlik açısından değerlendiriliyor. Bu iki görevin puanlarını doğrudan karşılaştırıp modeller için genel bir performans sıralaması çıkarmak mümkün değil.
AssemblyAI, müşterilerin görüşme içeriklerinin, kullandıkları sözcüklerin ve talimatlarının kıyaslama verilerinden farklı olabileceğini belirterek aday modellerin şirketlerin kendi transkriptleriyle yeniden değerlendirilmesini öneriyor. Şirket, puanlar arasındaki fark 2-3 puan içinde kaldığında bu farkın küçük olduğunu ifade ediyor.
Yorum 0