3 aşamalı ses ajanı yapısı sunuldu; ses aktarımında kimlik doğrulama ayrı

AssemblyAI, konuşma tanımadan (STT) yanıt üretimine ve ses çıkışına (TTS) kadar üç aşamayı tek bir API anahtarıyla birbirine bağlayan bir ses ajanı yapısı sundu. Ses aktarımı için LiveKit kullanıldığında LiveKit kimlik doğrulama bilgilerinin ayrıca ayarlanması gerekiyor.

AssemblyAI, 30 Eylül 2026'da yayımladığı geliştirici kılavuzunda STT için ‘Universal-3.6 Pro Realtime’, yanıt üretimi için ‘LLM Gateway’ ve ses çıkışı için kendi Text-to-Speech API'sini kullanma yöntemini tanıttı. Şirket, bu üç aşamanın LiveKit, Pipecat veya özel bir çalıştırma döngüsüyle birbirine bağlanabileceğini belirtti.

Kılavuzdaki ‘tek anahtar, tek fatura’ ifadesi AssemblyAI'nin STT, LLM ve TTS hizmetlerini kapsıyor. Dağıtım yolu olarak LiveKit seçildiğinde LiveKit'e bağlanmak için gereken kimlik doğrulama bilgileri ayrıca yönetilmeli.

Yapıda önce kullanıcının sesi STT ile metne dönüştürülüyor, ardından büyük dil modeli (LLM) yanıtı oluşturuyor ve son olarak TTS yanıtı sesli olarak veriyor. Her aşamadaki model ve hizmetler birbirine bağlanarak sesli bir konuşma akışı oluşturuluyor.

Bileşenlerin görevleri de farklı. LiveKit gerçek zamanlı ses aktarımını, LiveKit Agents ise STT, LLM ve TTS aşamalarının birlikte çalışmasını sağlayan orkestrasyonu üstleniyor.

Türkiye'deki geliştiricilerin incelemesi gereken noktalardan biri Türkçe desteğinin kapsamı. LiveKit'in AssemblyAI STT belgelerinde Türkçe desteklenen diller arasında yer alıyor. TTS destek listesinde ise yalnızca İngilizce, İspanyolca, Almanca, Fransızca, İtalyanca ve Portekizce bulunuyor. Türkçe konuşmanın metne dönüştürülebilmesi, aynı yapı üzerinden Türkçe sesli yanıt verilebildiği anlamına gelmiyor.

LiveKit Agents, AssemblyAI'nin STT ve TTS hizmetlerini bağlayan eklentiler sunuyor. LLM Gateway, OpenAI uyumlu bir API. LiveKit belgeleri, uyumlu dil modellerini bağlarken özel bir base_url tanımlama yöntemini açıklıyor.

Bileşenleri birbirine bağlama bilgileri ayrı belgelere dağılmış durumda. Geliştiricilerin uygulama için bu bağlantı yöntemlerini bir araya getirmesi gerekiyor; üç hizmeti tek yapıda birleştiren resmi ve çalıştırılabilir tek bir örnek sunulmuyor.

AssemblyAI'nin ayrıca yayımladığı LiveKit eğitimi ise farklı bir bileşim kullanıyor. Ses tanımada AssemblyAI'den yararlanılırken yanıt üretiminde GPT-4o, ses çıkışında Cartesia kullanılıyor.

Eğitimde gösterilen ortam değişkenlerinde LiveKit, AssemblyAI, OpenAI ve Cartesia için ayrı kimlik doğrulama bilgileri yer alıyor. Bu nedenle eğitim, üç aşamanın tamamını AssemblyAI'ye bağlayan ‘tek anahtar’ yapısının çalışan bir örneği değil.

Kimlik doğrulama ve faturalandırma, TTS'nin nasıl bağlandığına göre değişiyor. TTS doğrudan AssemblyAI eklentisiyle bağlandığında AssemblyAI API anahtarı gerekiyor. LiveKit Inference üzerinden kullanıldığında ise ayrı bir AssemblyAI anahtarı olmadan kullanım ve limitler LiveKit Cloud üzerinden yönetiliyor.

AssemblyAI'nin yayımladığı ses tanıma kıyaslama verileri STT modellerinin performansını gösteriyor. Bu veriler, LiveKit'i de içeren tüm ajanın yanıt süresi veya operasyonel istikrar göstergesi olarak yorumlanamaz.

TokenPost, daha önce Agora'nın konuşma dökümü örneğinde yanıt üretimi ve ses çıkışı kodlarının bulunmadığını bildirmişti. Yeni kılavuz, STT, LLM ve TTS'yi ayrı ayrı bağlamak için izlenebilecek geliştirme yolunu tanıtıyor.

AssemblyAI'nin ayrı Voice Agent API kılavuzu, üç aşamalı yapıdan farklı bir tasarıma sahip. Bu yöntemde LiveKit sesi aktarıyor, AssemblyAI ise STT, LLM ve TTS işlemlerini tek bir WebSocket üzerinden yürütüyor; LiveKit anahtarı ve gizli anahtarı ayrıca ayarlanıyor.