TwelveLabs, işçi bakış açısından videoları analiz eden Pegasus 1.6’yı tanıttı

TwelveLabs, işçi bakış açısından çekilen videoları analiz eden üretken yapay zekâ modeli Pegasus 1.6’yı tanıttı. Model, iş hareketlerini ve sahne bilgilerini metin biçiminde yapılandırarak robotik ve fiziksel yapay zekâ videolarını sınıflandırmak ve incelemek üzere tasarlandı.

TwelveLabs, 6’sında yayımladığı duyuruda Pegasus 1.6’yı egosantrik video anlayışını destekleyen bir model olarak tanıttı. Egosantrik videolar, işçinin veya operatörün bakış açısından çekilen birinci şahıs görüntülerini ifade ediyor. Şirket; yemek hazırlama, fabrikada montaj ve robotların uzaktan kontrol edildiği görüntüleri olası kullanım alanları arasında sıraladı.

Model, iş adımlarını ve el ile nesneler arasındaki etkileşimi zaman bilgisiyle birlikte ayırt ediyor; mekânsal ilişkileri ve sahne bağlamını açıklayan cümleler oluşturuyor. Görüntü netliği, kadrajı ve kararlılığını değerlendirerek incelenecek videoları seçme ve doğal dille arama özellikleri de bulunuyor. Şirketin duyurusunda yüzleri, çevredeki kişileri ve ekranda ya da belgelerde yer alan hassas bilgileri tespit edip işaretleme özelliği de yer aldı.

TwelveLabs’ın resmi geliştirici belgelerinde yeni özellikler arasında egosantrik video anlama, görüntü analizi, geliştirilmiş nesne tanıma ve meta veri çıkarımı ile video bölümlerindeki zaman damgalı olayların belirlenmesi sayılıyor. Belgeler, robot videolarında kalite incelemesi ve uzaktan kumanda görüntülerinden sonraki eylemi tahmin etme kullanımını da açıklıyor. Bunlar şirketin belirttiği özellikler ve kullanım örnekleri.

Bu lansman, video anlama modellerini robotik ve fiziksel yapay zekâ için veri işleme süreçlerine uygulama girişimi niteliğinde. TokenPost daha önce robotik ve fiziksel yapay zekâ alanındaki yatırım eğilimlerini ele almıştı. Pegasus 1.6’nın robot eğitimindeki gerçek performansını veya saha güvenliğini iyileştirdiğini gösteren bağımsız değerlendirmeler ve müşteri uygulamaları, duyuruda ve resmi belgelerde doğrulanmadı.