270 model öğesi içeren WorldFoundry teknik raporu yayımlandı

OpenEnvision, dünya modeli değerlendirme altyapısı WorldFoundry’nin teknik raporunu 10 Kasım’da yayımladı. Makale özetinde 270 model öğesi, 74 benchmark ve kayıtlı 62 metrik sıralandı.

OpenEnvision, resmi GitHub deposundaki duyuruda raporun yayımlandığını bildirdi. Makale sayfasında gönderim tarihi 7 Kasım olarak yer alıyor. Depo kayıtlarına göre kod daha önce, 11 Temmuz’da yayımlandı.

Bu duyuru yeni bir dünya modelinin lansmanı değil; mevcut altyapının yapısını ve değerlendirme ilkelerini ele alan bir rapor. WorldFoundry, farklı üretken dünya modellerini çalıştırmak ve sonuçlarını değerlendirmek için bir iş akışı sunuyor.

Kullanıcılar model ve benchmark arayabiliyor, gerekli çalışma ortamıyla varlıkları hazırlayabiliyor. Ardından çıkarım çalıştırıp üretilen çıktıları yönetebiliyor ve değerlendirme yapabiliyor.

Altyapı komut satırı, terminal arayüzü ve tarayıcı tabanlı çalışma alanı sağlıyor. Bu araçlar aynı istek ve çıktı biçimlerini kullanıyor.

Üretilen çıktılar, uyumlu değerlendirmelerde yeniden kullanılabilmeleri için kayıt altına alınıyor. Video, 3D yapılar ve eylem kayıtları saklanıp görselleştirilebiliyor.

Üretim ve değerlendirme farklı ortamlarda çalıştırılabiliyor. Puan tablolarında sonuçların dayandığı kaynak, değerlendirme kapsamı ve çalıştırmayı engelleyen koşullar belirtiliyor.

Rapor, dünya modelini çevrenin durumunu sürekli koruyan ve bu durumu eylem ya da müdahalelere göre güncelleyerek zaman içinde tutarlı sonuçlar üreten bir sistem olarak tanımlıyor. Bu ölçüt, dünya modellerini yalnızca sahne oluşturan modellerden ayırıyor.

Bir videonun gerçekçi görünmesi, nesnelerin durumunun zaman içinde korunup korunmadığını veya çevrenin kullanıcı eylemlerine göre değişip değişmediğini göstermiyor. Rapor, görsel gerçekçilik ile etkileşim kapasitesinin ayrı ayrı sınanması gerektiğine dikkat çekiyor.

Altyapının kapsamı video, 3D ve 4D, bedenlenmiş davranışlar ve etkileşimli dünya sistemlerini içeriyor. WorldFoundry, bu alanlardaki çıkarım ve değerlendirme süreçlerini ortak bir iş akışında bir araya getiriyor.

Ancak her modele aynı girdi ve değerlendirme süreci uygulanmıyor. Alanlara özgü adaptörler, modellerin kendi girdilerini, çalıştırma biçimlerini, çıktı formatlarını ve değerlendirme süreçlerini koruyor.

Katalogda bir modelin kaydedilmiş olmasıyla çalıştırılmaya hazır olması ayrı aşamalar olarak gösteriliyor. Çıktıların incelenmiş olması ve benchmark puanının dayanağının doğrulanması da ayrı ayrı belirtiliyor.

Dış kaynaklardan alınan puanlar, resmi sıralama tablosundaki sonuçlarla otomatik olarak eşdeğer kabul edilmiyor. Bu nedenle katalogdaki model öğesi sayısı, performansı doğrulanmış model sayısını göstermiyor.

Toplamlar kaynaklara göre değişiyor. Makale özeti 270 model öğesi, 74 benchmark ve kayıtlı 62 metrik bildirirken resmi belgelerin ana sayfasında 275 model öğesi ve erişilebilir 74 benchmark gösteriliyor. Sayımların hangi anı yansıttığı ve model sayılarındaki farkın nedeni açıklanmadı.

Yayımlanan kod Apache Lisansı 2.0 kapsamında. İçerilen veya değiştirilmiş diğer proje bileşenleri ayrı lisanslara tabi olabilir. Model ağırlıkları, veri kümeleri ve API anahtarları depoda yer almıyor.

Varsayılan entegrasyon ortamı Linux, NVIDIA CUDA destekli GPU, CUDA 12.8 veya üzerini destekleyen sürücüler, Git ve Conda gerektiriyor. Gerekli GPU belleği ve ek çalışma ortamı modele göre değişiyor.