ByteDance, sesi ve videoyu eş zamanlı işleyen AI'yı Doubao'ya entegre etti

ByteDance(ByteDance), ses, video ve metni birlikte işleyen tam çift yönlü (full-duplex) AI modeli SeedRealtime'ı Doubao(Doubao) uygulamasına entegre etti.

ByteDance'in AI araştırma birimi Seed(Seed), SeedRealtime'ı 10'unda tanıttı. TechFlow'un aktardığına göre bu model, sesi, videoyu ve metni uçtan uca bir yapıda birleştiriyor ve algılama, anlama, karar verme ile ifade süreçlerini paralel olarak işliyor.

SeedRealtime, kullanıcının konuşmasının bitmesini beklemeden, girdi alınırken konuşma akışını değerlendirebilen tam çift yönlü etkileşimi destekliyor. Konuşma sırası geçiş fonksiyonu doğrudan modelin içine dahil edilerek harici ses etkinliği algılayıcısının (VAD) yerini aldı. ByteDance'in kendi iç değerlendirmesinde, konuşma ritmi sorunlarının önceki kademeli (cascade) yapıya kıyasla yarı yarıya azaldığı görüldü.

Bu model, geçtiğimiz Nisan ayında tanıtılan tam çift yönlü ses modeli Seeduplex'in(Seeduplex) işlevlerinin video alanına genişletilmiş hali. ByteDance, Seeduplex'in karmaşık gürültülü ortamlarda yanlış yanıt oranını ve yanlış kesinti oranını yarı yarıya düşürdüğünü açıkladı. Kullanıcı tereddüt ederken yapay zekanın söze karışma oranı yüzde 40 azalırken, konuşma akıcılığı göstergesi yüzde 12 iyileşti.

Yayınımız daha önce Doubao'nun sesi ve ekranı eş zamanlı işleyen, işlem hatalarını önceden bildiren gerçek zamanlı çoklu modlu bir özellik devreye aldığını duyurmuştu. SeedRealtime ise daha önce yalnızca metin üretimiyle sınırlı kalan konuşma tabanlı yapay zekanın işlevlerini gerçek zamanlı sesli görüşme, ekran anlama ve video tanımaya genişleten bir model.

Ancak bu açıklamanın kripto para ve blok zinciri piyasasıyla doğrudan bir bağlantısı şu ana kadar doğrulanmadı. ByteDance'in paylaştığı bilgiler arasında token ihracı veya blok zinciri ağıyla entegrasyon planına dair herhangi bir içerik yer almıyor. Teknik rapor, parametre büyüklüğü, açık kaynak ağırlıklar ve dış geliştiriciler için API de henüz açıklanmadı.