AssemblyAI-TTS-1 noktalama işaretlerini tonlama ve duraklamaya yansıtıyor; Korece desteklenmiyor

AssemblyAI’nin ses sentezi modeli AssemblyAI-TTS-1, girdi metnine göre soru işaretini yükselen tonlamayla, üç noktayı ise duraklamayla seslendiriyor. Böylece noktalama işaretleri, sesin nasıl aktarılacağını da etkiliyor.

AssemblyAI, 27 Ekim’de yayımladığı model duyurusunda yazım ve noktalama işaretlerini girdideki biçimleriyle kullandığını açıkladı. Bu bilgiler şirketin AssemblyAI-TTS-1 hakkındaki açıklamasına dayanıyor.

Duyurudaki örneklerde soru işareti yükselen tonlamaya, üç nokta ise duraklamaya yol açıyor. Metindeki işaretler ses çıktısına da yansıyor.

Model, girdideki “um” ifadesini de seslendirebiliyor. Şirketin açıklamasına göre metinde tereddüt belirten bir ifade kullanıldığında bu, ses çıktısına yansıyabiliyor.

AssemblyAI, büyük dil modeline (LLM) duraklama veya tereddüt içeren cümleler yazması için talimat verildiğinde bu özelliklerin metinden konuşmaya (TTS) çıktısına da yansıtılabileceğini belirtti. Bu, söz konusu modele ilişkin şirket açıklaması; tüm ses sentezi modelleri için genellenemez.

AssemblyAI’nin teknik açıklamasında, metindeki sayı ve kısaltmaların seslendirilebilir biçime dönüştürülmesi, telaffuzun belirlenmesi ve ardından tonlama, vurgu ve duraklamaların oluşturulması aşamaları yer alıyor. TTS, bu işlemlerle metni sese dönüştüren teknoloji olarak tanımlanıyor.

Konuşmalı sesli asistanlarda LLM yanıtı yazarken bazı cümleler daha yanıt tamamlanmadan seslendirilmeye başlanabiliyor. AssemblyAI, çıktının cümle tamamlanmadan başladığı bu tür ortamlarda yanıt gecikmesini ve konuşma akışını da kalite unsurları arasında değerlendirdi.

TokenPost daha önce, konuşma tanımadan yanıt üretimine ve ses çıkışına kadar uzanan sürecin tek bir AssemblyAI API anahtarıyla kurulmasını ele almıştı. Bu duyuru ise söz konusu akışın son aşamasında, girdi metninin tonlama ve duraklamayı nasıl etkilediğini açıklıyor.

Ancak noktalama işaretlerinden yararlanmak, özel bir prozodi kontrolü işleviyle aynı değil. Duyuruda belirtildiği üzere AssemblyAI-TTS-1; konuşma sentezi işaretleme dili SSML’yi, konuşma hızı parametresini, kullanıcı tanımlı telaffuz sözlüğünü veya duygu etiketlerini desteklemiyordu.

Şirket, kısa yanıtların tonu ile ilk sesin üretilmesine kadar geçen süreyi konuşmalı ses kalitesinin unsurları olarak gösterdi. Buradaki yanıt gecikmesi, konuşma hızından ayrı bir ölçüt.

AssemblyAI, kendi karşılaştırmalı testinde ilk ses baytının alınmasına kadar geçen sürenin medyanını 47 milisaniye olarak açıkladı. Bu sonuç, şirketin kullandığı ölçüm yöntemine dayanıyor.

Cekura, 28 Ekim’de güncellediği kıyaslamada AssemblyAI-TTS-1’in akış gecikmesi medyanını 159 milisaniye olarak hesapladı. Testte 27 model, aynı sesli asistan cümlelerini 104’er kez ve her cümle için üçer denemeyle okudu. Çalışma, ABD’nin doğusundaki tek bir bulut bölgesinde yürütüldü.

Cekura, akış gecikmesini son kelimenin gönderilmesinden ilk sesin duyulmasına kadar geçen süre olarak hesapladı. AssemblyAI’nin açıkladığı 47 milisaniye ise kendi ölçümünde ilk ses baytının geri dönmesine kadar geçen süreyi ifade ediyor. Bu nedenle iki değer doğrudan karşılaştırılamaz.

AssemblyAI’nin ürün sayfasında desteklenen altı dil İngilizce, İspanyolca, Fransızca, Almanca, İtalyanca ve Portekizce olarak sıralanıyor. Korece desteklenen diller arasında yer almıyor.