Huawei Research, CUHK MMLab ve Hong Kong Bilim ve Teknoloji Üniversitesi (Hong Kong University of Science and Technology) araştırmacıları, videoda konuşmaya değer sahneleri seçerek kullanıcı soru sormadan söze başlayan AURA 2.0 adlı yapay zeka modelini tanıttı. Model, gerçek zamanlı video soru-cevap özelliğine harici araç çağırma ve ekrandaki nesneyi işaretleme işlevleri ekliyor.
Araştırmacılar, 13'ünde (Kore saatiyle) sundukları teknik raporda temel özellikleri model tarafından başlatılan konuşma (MIC), video bağlamına dayalı araç çağırma (SATC) ve etkileşimli görsel hedef belirleme (IVG) olarak sıraladı. Bu üç özellik, video ile konuşmanın akışını birlikte değerlendirerek modelin gerektiğinde konuşmasını, araç kullanmasını veya ekrandaki bir nesneyi göstermesini sağlamak üzere tasarlandı.
Hugging Face model kartında modelin 9 milyar parametreli olduğu belirtiliyor. Araştırmacılar teknik raporda modeli Qwen3.5-9B temel alınarak başlattıklarını bildirdi.
Önceki AURA sürümü, gelen soruları yanıtlıyor veya yanıt için gerekli sahnenin videoda görünmesini bekliyordu. AURA 2.0 ise konuşmayı modelin başlatabilmesini sağlıyor.
MIC, kullanıcı soru sormasa da video ile önceki konuşmaları inceleyerek konuşup konuşmayacağına, ne zaman konuşacağına ve hangi konudan söz edeceğine karar veriyor. Daha önce ele alınan konuları tekrarlamaması için geçmiş konuşmaları da hesaba katıyor.
SATC, harici bir aracı çağırırken mevcut ekranı ve konuşma içeriğini birlikte değerlendiriyor; araçtan dönen bilgiyi sonraki konuşmaya dahil ediyor. Böylece kullanıcının sorusu ile videodaki durumu birlikte işleyebiliyor.
IVG, kullanıcının video karesinde işaretlediği nesneyi tanıyor. Model, yanıtında söz ettiği nesnenin konumunu kareyle eşleştirilmiş bir dikdörtgen kutuyla, yani sınırlayıcı kutuyla gösterebiliyor.
Modelde uzun videolardaki geçmiş sahneleri kullanmaya yönelik bir bellek özelliği de bulunuyor. Önemli olayları metinle özetleyerek mevcut zaman aralığının dışına çıkılsa bile konuşma bağlamında tutuyor.
Araştırmacıların bildirdiği eğitim verisi yaklaşık 11,4 milyar token, 5.400 saat video ve 40 milyon kareden oluşuyor. Bu veriler, modelin video sahnelerini ve konuşma akışını işlemesi için kullanıldı.
MIC'nin kurum içi değerlendirmesi 25 video üzerinden yapıldı. Önceki konuşmanın bulunduğu koşulda model, insanlar tarafından işaretlenen 25 konuşma fırsatının 20'sinde en az bir kez konuştu. Yanıt kalitesi 5 üzerinden 4,10 puan aldı.
Yalnızca videonun verildiği koşulda model 25 videonun 24'ünde en az bir kez konuştu ve kalite puanı 3,62 oldu. Bu koşulda üretilen 173 ifadeden 15'i 'kötü' olarak değerlendirildi. İki koşulun değerlendirme aralıkları ve puanlama yöntemleri farklı olduğundan sonuçlar doğrudan karşılaştırılamıyor.
SATC'nin kurum içi değerlendirmesinde 55 videoyla ilgili 167 soru kullanıldı. Harici araçlar etkinleştirildiğinde doğruluk oranı yüzde 35,9'dan yüzde 48,5'e, yani 12,6 yüzde puan yükseldi. Araştırmacılar, nihai yanıtların puanlanmasında büyük dil modeli tabanlı bir değerlendirici kullandıklarını bildirdi.
Önden konuşma ve araç çağırma performansına ilişkin sonuçların tamamı sınırlı ölçekteki kurum içi testlerden geliyor. Araştırmacıların paylaştığı rakamlar yeni özelliklerin değerlendirmelerini yansıtıyor; kamuya açık video kıyaslama testlerinin sonuçlarından ayrı tutulmalı.
Ağırlıklar CC BY-NC 4.0 lisansına tabi. Hugging Face model kartında ağırlıkların ticari olmayan araştırmalarda kullanılması öneriliyor.
Bu lisans, üçüncü taraf veri kümelerinin ve bunlardaki videolar gibi medya içeriklerinin haklarını kapsamıyor. Ağırlıkların kullanım koşullarıyla eğitim verilerinin haklarının ayrı ayrı incelenmesi gerekiyor.
Araştırmacılar, konuşmayı modelin başlatmasının yararının kullanıcı tercihine göre değişebileceğini belirtti. Daha geniş etkileşim bağlamını ve kullanıcı tercihlerini yansıtmayı gelecek çalışmalar için hedef olarak gösterdi. vLLM-Omni deposunda AURA 2.0 desteği için 17'sinde bir pull request yayımlandı; 19'u itibarıyla henüz birleştirilmemişti.
Comment 0