AssemblyAI, Agora görüşmeleri için STT örneğini yayımladı; sesli yanıt ayrı yapılandırılıyor

AssemblyAI, Agora görüşmelerindeki sesi gerçek zamanlı olarak metne dönüştüren bir Python sunucu örneği yayımladı. Örneğin kapsamı yalnızca konuşma tanımayla (STT) sınırlı.

AssemblyAI, 30 Eylül'de yayımladığı resmi eğitimde bir sunucu botunun Agora görüşme kanalına abone olarak katılıp katılımcıların sesini almasını anlatıyor. Bot, aldığı sesi AssemblyAI'nin gerçek zamanlı STT modeli Universal-3.6 Pro Realtime'a iletiyor.

Agora görüşme sesinin aktarımını, AssemblyAI ise konuşmanın yazıya dökülmesini üstleniyor. Bu yapıda mevcut görüşme uygulamasını değiştirmeden sunucu üzerinden konuşma tanıma eklenebiliyor.

Örnek, 16 kHz, 16 bit, mono PCM ses verisini WebSocket üzerinden gönderiyor. Kodda ses girişinin alınması ve gerçek zamanlı STT bağlantısının kurulması yer alıyor.

Sunucu, kullanıcı konuşurken oluşan kısmi dökümü ve konuşma bittikten sonra tamamlanan dökümü gösteriyor. Kod, transkripsiyon sonucunu ekrana yazdırma aşamasında sona eriyor.

Görüşmedeki karşı tarafa yanıt veren etkileşimli bir ajan örnekte bulunmuyor. Son dökümün bir büyük dil modeline (LLM) gönderilerek yanıt oluşturulması veya yanıtın metinden konuşmaya (TTS) dönüştürülüp görüşme kanalına aktarılması için kod eklenmemiş. Kullanıcı ajanın yanıtı sırasında araya girdiğinde ses oynatımını durduran barge-in işlevi de yer almıyor.

Örneği tam bir ajana dönüştürmek için son dökümün LLM'ye gönderilip yanıt oluşturulması, ardından bu yanıtın TTS sesi olarak görüşmeye aktarılması gerekiyor. Eğitim, bu bağlantının doğrudan kurulmasını veya arabelleğe alma ve barge-in işlemlerinin LiveKit ya da Pipecat gibi araçlara bırakılmasını öneriyor.

Eğitimde LLM Gateway'e erişilebildiği belirtiliyor ancak bu örneğin kodunda LLM Gateway çağrısı bulunmuyor. Bu nedenle örnek, LLM bağlantısının uygulandığı bir çalışma olarak değerlendirilemez.

7 Mayıs 2026 tarihli ayrı bir eğitim farklı bir yapı sunuyor. Bu örnek, Voice Agent API'nin tek bir WebSocket'i üzerinden STT, LLM ve TTS'yi bağlıyor ve barge-in işlemini de ele alıyor.

Pipecat, STT, LLM ve TTS'yi tek bir akışta birleştiren açık kaynaklı bir ses yapay zekâ aracı. TokenPost, Deepgram'ın Daily'yi satın almasının ardından Pipecat'in açık kaynaklı kalacağını daha önce bildirmişti.

30 Eylül'de kontrol edilen AssemblyAI fiyat listesinde Universal-3.6 Pro Realtime'ın temel ücreti saatlik ses başına 0,45 dolar (yaklaşık 602 won) olarak yer alıyor. Dönüşümde 29 Eylül itibarıyla 1 dolar için 1.337,55 won kuru kullanıldı. Bu ücrete LLM, TTS ve Agora kullanım bedelleri dahil değil.

AssemblyAI'nin açıkladığı yüzde 5,19'luk kelime hata oranı (WER), İngilizce sesli ajan senaryolarından oluşan 12.460 örnek üzerindeki şirket içi kıyaslama testinin sonucu. Bu oran, Agora görüşmelerinde ölçülmüş transkripsiyon doğruluğunu veya STT'den TTS'ye kadar tüm sürecin gecikme süresini göstermiyor.

Ses giriş biçimine ilişkin açıklamada karşılaştırılması gereken iki bilgi bulunuyor. Eğitim, 16 kHz hızında 160 örneğin 10 milisaniyelik ses karesine karşılık geldiğini anlatırken aynı bölümde STT girişi için kabul edilen parçaların 50 ila 1.000 milisaniye arasında olduğunu belirtiyor.

Örnek kod, her ses karesi alındığında veriyi gönderiyor. Üretim ortamına geçerken parça boyutu gereksinimlerinin ve API yanıtlarının karşılaştırılması gerekiyor.

AssemblyAI, üretim ortamında test modu yerine Agora botu için bir token oluşturulmasını öneriyor.