Doubao, ekranı da anlayan gerçek zamanlı AI asistanına dönüştü

ByteDance'ın yapay zeka asistanı Doubao, sesi ve ekranı eş zamanlı işleyen gerçek zamanlı çoklu modlu bir özellik kazandı. Bu güncellemenin özünde, kullanıcı soru sormadan önce ekrandaki değişiklikleri veya işlem hatalarını algılayıp önceden bildirim veren proaktif etkileşim yer alıyor.

ByteDance'ın yapay zeka araştırma birimi Seed, 5'inde SeedRealtime'ı duyurdu ve Doubao uygulamasına uyguladı. BlockBeats, yeni özelliğin ses ile ekranı birlikte işleyerek kullanıcının gördüğü sahneyi anladığını ve buna göre yanıt verdiğini aktardı.

SeedRealtime sayesinde kullanıcılar kamera önündeki bir nesneyi bulabiliyor, işlem adımlarını kontrol edebiliyor ve ekrandaki yazıları okuyabiliyor. Hedef nesne belirdiğinde, ekran değiştiğinde veya kullanıcı yanlış bir adım attığında sistem, soru beklemeden bildirim veriyor.

Bu güncelleme, geçtiğimiz Nisan ayında tanıtılan önceki nesil ses modeli Seeduplex'in işlevlerini görsel alana genişletiyor. ByteDance Seed, 9 Nisan'da resmi blogunda Seeduplex'i dinleme ve konuşmayı eş zamanlı işleyen tam çift yönlü (full-duplex) büyük ses modeli olarak tanıtmıştı.

Seeduplex, tanıtıldığı dönemde Doubao uygulamasına tamamen entegre edilmişti. ByteDance Seed, karmaşık ses ortamlarında hatalı yanıt oranını ve yanlış kesinti oranını yarıya indirdiğini, karmaşık durumlarda yapay zekanın kullanıcının sözünü kesme oranını da yüzde 40 azalttığını belirtmişti.

Tam çift yönlü iletişim, karşı tarafın konuşmasının bitmesini bekleyen yarı çift yönlü yöntemden farklı olarak, dinleme ve konuşmayı eş zamanlı işleyen bir etkileşim biçimi. SeedRealtime, buna gerçek zamanlı ekran anlama özelliğini ekleyerek masa üzerindeki nesneler, işlem ekranları, tabelalar ve montaj süreçleri gibi bağlamları doğrudan yorumlayabilecek şekilde tasarlandı.

Ekranı anlayan yapay zeka asistanı geliştirme çabası yalnızca Çinli platformlarla sınırlı bir eğilim değil. Apple(AAPL) da Siri'nin yeniden yapılandırılması sürecinde ekran algılama ve kişisel bağlam anlama özelliklerini sunmuştu. Yapay zeka asistanlarındaki rekabet alanının sesli yanıttan gerçek zamanlı görsel anlama ve işlem desteğine doğru genişlediği görülüyor.

Gerçek zamanlı görsel veri girişinin eklenmesiyle birlikte kişisel verilerin işlenme biçimi de önemli bir değerlendirme konusu haline geldi. Doubao'nun gizlilik politikası, kullanıcı video görüşmesini veya ekran paylaşımını kendisi açtıktan sonra kamera görüntüsünün veya paylaşılan ekran içeriğinin işlendiğini, mikrofon, galeri ve kamera gibi hassas izinlerin ise açık onay alındıktan sonra kullanıldığını açıklıyor.

Bu özelliğin kripto ve blok zinciri piyasasıyla doğrudan bir bağlantısı tespit edilmedi. ByteDance'ın açıkladığı içerik de yapay zeka asistanının sesli ve görsel etkileşim özelliklerine odaklanıyor.