Gerçek zamanlı videoda birden fazla kullanıcı isteğini yönetebilen ALIVE adlı video dil modeli tanıtıldı. Model, gerekli bilgi eksik olduğunda ek soru sorabiliyor; kullanıcı belirli bir koşulun görüntüde belirmesini istediğinde ise ayrıca bir istek beklemeden bildirim gönderecek şekilde tasarlandı.
Tsinghua Üniversitesi (Tsinghua University), Pekin Üniversitesi (Peking University) ve ByteDance’ten araştırmacılar, 17 Kasım saat 01.35’te (Kore Standart Saati) yayımladıkları arXiv makalesinde ALIVE’ı tanıttı. Çalışma, video üretmeye değil, gelen videoyu izleyip ne zaman yanıt verileceğine karar vermeye odaklanıyor.
Makale, mevcut akış video modellerinin görüntüyü kesintisiz izleseler bile çoğu zaman her soruyu ayrı ayrı yanıtladığını belirtiyor. ALIVE ise kullanıcı isteğini tek seferlik bir soru olarak ele almak yerine devam eden bir görev olarak takip etmeyi amaçlıyor.
Kullanıcılar modelden belirli bir sahneyi veya koşulu izlemesini isteyebiliyor. Daha sonra talimatlarını değiştirerek devam eden görevi güncelleyebiliyor ya da iptal edebiliyor. Model, aynı anda birden fazla isteği yönetebilecek şekilde tasarlandı.
ALIVE, yanıt vermek için yeterli video kanıtının birikip birikmediğini değerlendirerek ne zaman yanıtlayacağına karar veriyor. Bilgi yetersizse açıklama isteyebiliyor veya kullanıcıdan gerekli bilgiyi ekranda göstermesini talep edebiliyor. Yeterli dayanak oluşana kadar yanıtı ertelemesi de mümkün.
Modelin temelinde Qwen3-VL-8B-Instruct yer alıyor. Araştırmacılar önce karşılaştırmalı denetimli ince ayar, ardından pekiştirmeli öğrenme uyguladı.
İlk aşamada model, ne zaman yanıt vereceğini veya bekleyeceğini ve yanıtını hangi biçimde sunacağını öğrendi. Denetimli ince ayarda 288.436 etkileşim örneği kullanıldı.
İkinci aşamada, birden fazla tura yayılan konuşmalarda karar verme ve yanıt kalitesi geliştirildi. Pekiştirmeli öğrenme için 3.523 etkileşim örneğinden yararlanıldı.
Eğitim verileri hazırlanırken ayrı bir çevrim dışı çok modlu model de kullanıldı. Araştırmacılar, bu modelle videodaki yanıt kanıtlarının bulunduğu anları belirlediklerini, konuşmalar oluşturduklarını ve kalite kontrolü yaptıklarını bildirdi.
Araştırmacıların bildirdiğine göre ALIVE, dört açık kıyaslamada karşılaştırılan modeller arasında en yüksek toplam puanı aldı. Model OVO-Bench’te %68,9, StreamingBench’te %76,0 ve IPIBench’te %40,3; ProactiveVideoQA’da ise 51,6 puan elde etti.
İlk üç sonuç doğruluk oranını, ProactiveVideoQA sonucu ise PAUC değerini gösteriyor. Ölçüm yöntemleri farklı olduğu için bu puanlar doğrudan birbiriyle karşılaştırılamıyor.
Araştırmacılar, ek soru sorma becerisini ayrıca ölçmek için FSI-Bench adlı kendi değerlendirme setlerini oluşturdu. Set, 1.235 bölümden oluşuyor ve 154 izleme önerisini, 446 ek bilgi talebini, 459 kullanıcıdan eylem isteme örneğini ve 176 doğrudan yanıtı değerlendiriyor.
FSI-Bench’te ALIVE’ın toplam doğruluk oranı, açık seçim yönteminde %52,8, serbest yanıt yönteminde %54,0 olarak bildirildi. Makalede serbest yanıt yöntemi için verilen insan referans puanı %88,5.
FSI-Bench araştırmacıların hazırladığı bir değerlendirme seti. Yanıtların doğruluğu, sabit bir büyük dil modeli hakem kullanılarak değerlendirildi. Bu nedenle araştırmacıların kendi testlerinden elde edilen sonuçlar yorumlanırken değerlendirme seti ve puanlama yöntemi de göz önünde bulundurulmalı.
Açık kıyaslamaların bazılarında karşılaştırılan modellerin sonuçları yer almıyor. Makalede, resmi sonucu bulunmayan modellerin değerlendirme koduna uyarlanarak test edildiği belirtiliyor; araştırmacıların sonuçlarının bağımsız biçimde yeniden üretildiğini gösteren bir veri sunulmuyor.
Geliştirici ekip GitHub deposunu ve ALIVE-8B kontrol noktasını yayımladı. Depoda eğitim verileri ve FSI-Bench için “coming soon” ifadesi yer alıyor. Yerel ses demosu Linux, Python 3.12 ve iki GPU gerektiriyor; konuşma tanıma ve sentezi için ayrı modeller kullanılıyor.
Comment 0