Gemini 4 Argon dikte düzenlemede 99,5 puan aldı

Google’ın Gemini 4 Argon modeli, dikte düzenleme değerlendirmesinde 99,5 puan aldı. AssemblyAI’nin karşılaştırdığı 50’den fazla model arasında en yüksek puana ulaştı.

AssemblyAI, Voice Standard Bench değerlendirmesinin sonuçlarını 15 Ekim’de açıkladı. Gemini 4 Argon, 13 Ekim’den itibaren AssemblyAI’nin LLM Gateway hizmetinde sunuldu.

Puan, 30 saniyelik bölümde alınan 100 puan ile 2 dakikalık bölümde alınan 99 puanın ortalamasından oluşuyor. Ölçüm verileri, 14 Ekim’de LLM Gateway Models uç noktasında görülen değerlerden alındı.

Bu değerlendirme, sesi metne dönüştüren bir konuşma tanıma testi değil. Test, konuşma tanımanın ardından oluşturulan metindeki sözlü talimatları modelin uygulayıp metni düzenleme becerisini ölçüyor.

Değerlendirmede 30 saniyelik ve 2 dakikalık bölümlerin her biri için 20 sentetik örnek kullanıldı. Modellerin oluşturduğu çıktılar, önceden belirlenmiş doğru yanıtlarla otomatik olarak karşılaştırıldı.

Yöntem belgesinde belirtilen ölçütler; tam eşleşme, kelime hata oranı, noktalama ve büyük harf kullanımı ile biçimlendirme talimatlarını doğru uygulama oranıydı. Testte ‘virgül koy’, ‘yeni paragraf’ ve ‘tümünü büyük harfle yaz’ gibi sözlü komutların metne yansıtılıp yansıtılmadığı değerlendirildi.

Dikte düzenleme, Voice Standard Bench’teki dört görevden biri. Diğer görevler bilgi çıkarma, özetleme ve metin düzeltme. Dikte düzenleme testinde doğru yanıtları önceden belirlenmiş sentetik cümleler, diğer görevlerde ise gerçek çağrı kayıtları kullanılıyor.

Bu nedenle 99,5 puan dört görevin toplamını ya da konuşma tanıma doğruluğunu göstermiyor. Bu sonuç, Korece konuşma tanıma performansının göstergesi olarak da yorumlanamaz.

Puan sıralaması ile yanıt hızı sıralaması farklıydı. Gemini 4 Argon’un medyan yanıt süresi, 30 saniyelik girdide 2,0 saniye, 2 dakikalık girdide 2,6 saniye oldu.

Qwen3.5 4B Fast aynı uzunluktaki girdilerde sırasıyla 0,3 ve 0,6 saniyede yanıt verdi. Daha hızlı sonuç veren modelin dikte düzenleme puanı ise 78,0’da kaldı ve Gemini 4 Argon’un gerisinde yer aldı.

AssemblyAI’nin 1 saatlik ses başına açıkladığı maliyet Gemini 4 Argon için 0,0576 dolar (yaklaşık 77 won), GPT-6 Luna için 0,0035 dolar (yaklaşık 5 won), Qwen3.5 4B Fast için 0,0026 dolar (yaklaşık 3 won) oldu. Won karşılıkları hesaplanırken 28 Ekim itibarıyla dolar başına 1.342,26 won kuru kullanıldı.

GPT-6 Luna’nın dikte düzenleme puanı 96,0. Açıklanan maliyet, konuşma tanıma ücreti değil; metni düzenleyen modelin kullanım ücretinin ses uzunluğuna göre hesaplanmış karşılığı.

TokenPost, Gemini 4 Argon’un kodlama ve diğer iş görevlerindeki performans değerlendirmelerinin farklı sonuçlar verdiğini daha önce bildirmişti. Bu değerlendirme ise söz konusu haberin ele aldığı görevlerden farklı olarak yalnızca dikte düzenlemeye odaklanıyor.

Değerlendirme iki girdi uzunluğu ve sentetik cümlelerle sınırlı olduğundan puanın gerçek kayıtlar veya hizmetlere özgü talimatlarla da aynı şekilde alınacağı söylenemez. Özellikle bu sonuç tek başına gerçek kullanım koşullarındaki performansı belirlemiyor.

AssemblyAI, yayımlanan sonuçların aday modelleri seçmek için bir başlangıç noktası olarak görülmesini ve gerçek kullanım ortamındaki kayıtlar ile talimatlarla ek test yapılmasını önerdi. Sonuç sayfası, LLM Gateway’e yeni modeller eklendikçe güncellenecek.