5 insansı robot için hareket dönüşümü: NVIDIA SOMA kullanımını anlattı

NVIDIA ($NVDA), insan hareketlerini beş insansı robotun eklem yörüngelerine dönüştürmek için SOMA Retargeter’ın nasıl kullanılacağını anlattı. Ortaya çıkan veriler, robot eğitimi ve kontrolünde referans hareket olarak kullanılabiliyor; ancak tek başına fiziksel robotun hareketi güvenle gerçekleştireceğini garanti etmiyor.

NVIDIA, 13'ünde yayımladığı teknik blogda, insanların ve robotların uzuv uzunlukları, eklem yapıları ve hareket aralıkları farklı olduğu için insan eklem değerlerinin doğrudan aktarılamadığını belirtti. Araç, insan hareketini ortak bir iskelet formatında alıp hedef robotun vücut yapısına ve eklemlerine göre uyarlıyor.

Girdi olarak SOMA iskelet formatında hazırlanmış bir BVH hareket dosyası kullanılıyor. Araç, hareketin ölçeğini robotun vücut yapısına uyduruyor ve ters kinematik (IK) uygulayarak her kare için eklem pozlarını hesaplıyor. Ardından eklem hareket sınırlarını ve ayakların yere bastığı bölümleri dikkate alarak hareketi düzeltiyor.

İnsan hareketleri hareket yakalama verilerinden, videodan çıkarılan hareketlerden veya üretici modellerin çıktılarından alınabiliyor. Ancak dönüştürme öncesinde SOMA iskelet formatına uyarlanmaları gerekiyor; dolayısıyla orijinal video veya farklı formatta bir BVH dosyası doğrudan araca verilemiyor.

Çıktı CSV dosyası, her karede robotun konumunu, yönünü ve eklem değerlerini içeriyor. Birden fazla hareket dönüştürülerek her robotun eğitimi için kullanılabilecek referans hareket kümeleri oluşturulabiliyor. İnsan hareketlerini robotların uygulayabileceği hareketlere dönüştürme ve eğitim verisi hazırlama süreci, daha önce tanıtılan robot eğitim verisi araştırmasıyla da örtüşüyor.

Örneklerde Unitree G1 ve H2, Booster T1 ile AgiBot X2 Ultra ve A3T3 olmak üzere beş robot yer alıyor. Örnek hareketler, Bones'un BONES-SEED veri kümesinden sağlandı. Robot yapılandırma aracı, insan iskeletindeki vücut bölümlerini robot eklemleriyle eşleştiriyor.

Ters kinematik ağırlıkları, robotun tüm hareket hedeflerini aynı anda karşılamasının zor olduğu durumlarda hangi vücut bölümlerine öncelik verileceğini belirliyor. Temas algılama, ayağı sabitleme düzeltmesi ve ağırlık optimizasyonu deneysel özellikler olarak sınıflandırılıyor.

El sallama örneğinde, aynı insan hareketinin dönüşüm sonucu robotun başlangıç pozuna göre değişti. Booster T1'in başlangıç pozu ayarlanmadan önce iki kol yana açılırken, ayarlama sonrasında robot bir elini başının yanında salladı ve diğer kolunu gövdesinin yanında tuttu. NVIDIA, önce örnek bir hareket üzerinden ayarların yapılmasını, ardından aynı ayarların birden fazla harekete uygulanmasını önerdi.

Depodaki değişiklik kaydına göre v0.2.0, 15 Eylül'de; eklem sınır değerlerini düzenleme hatasını gideren v0.2.1 ise 1 Ekim'de kaydedildi. NVIDIA'nın 13'ündeki teknik blogu yeni bir sürüm duyurusu yapmadı; daha önce yayımlanan özelliklerin nasıl uygulanacağını ve kullanılacağını açıkladı.

ROBOTIS, AI Sapiens'te SOMA Retargeter kullanılırken şirketin kendi çatallanmış sürümünün tercih edilmesini öneriyor. Bu sürümde AI Sapiens'e yönelik hedef robot yapılandırmaları ve CSV çıktı biçimi bulunuyor; bu nedenle NVIDIA'nın ana deposundaki beş robotluk örneklerden farklı bir yapıya sahip.

Dönüştürme sonucu, kinematik hareket verisi niteliğinde. NVIDIA, insan hareketlerinin MicroDuck'a uyarlanıp fizik simülasyonunda her hareket için kontrolör eğitildiği bir örneği de paylaştı. Resmî depo, fiziksel robota uygulamadan önce güvenliğin, uygulanabilirliğin ve kontrolör uyumluluğunun simülasyonda doğrulanmasını öneriyor.