HALO insansı robotu tek görevlerde %91, ardışık görevlerde %70 başarı sağladı

Apple(AAPL) araştırmacılarının geliştirdiği HALO otonom kontrol sistemi, önceden haritalanmamış altı gerçek iç mekânda 360 tek görev denemesinde ortalama %91 başarı oranına ulaştı. Üç hareketi birleştiren ardışık görevlerde ortalama başarı oranı %70 oldu.

Araştırmacılar, HALO'nun yapısını ve test sonuçlarını 4 Kasım'da arXiv'de ön yayımladıkları makalede açıkladı. Gerçek dünya testlerinde kamera ve hesaplama donanımı eklenmiş Unitree G1 kullanıldı. Test alanları eğitimde kullanılmadı; önceden taranmadı veya haritalanmadı.

Araştırmanın çıkış noktası eğitim verisi eksikliğiydi. Sözlü talimatları ve kamera görüntülerini tüm vücut hareketlerine bağlamak için bu üç unsurun eşleştirildiği verilere ihtiyaç var. Ancak bir insanın robotu doğrudan kontrol etmesi veya hareketleri kaydetmesi zaman ve emek gerektiriyor. Araştırmacılar, 1.000 sanal iç mekânda video, dil ve hareketin eşleştirildiği 300 saatlik eğitim verisi oluşturdu.

Gerçek ve sanal ortamlar arasındaki görsel farkı azaltmak için ışığın renk sıcaklığı, pozlama ve kontrast değiştirildi; görüntü bulanıklığı ve sensör gürültüsü de eklendi. Eğitimde, robot kamerasının görüş alanına benzeyen bir sanal ortam kullanıldı.

HALO üç aşamadan oluşuyor: doğal dildeki isteği alt görevlere ayırma, kamera görüntüsüne bakarak beş saniye sonrasına yönelik tüm vücut hareketini planlama ve derinlik görüntüsüyle eklem durumlarına göre hareketi kontrol etme. Görev seçimi yaklaşık iki saniyede bir yapılıyor. Hareket üreticisi saniyede yaklaşık üç yeni plan oluştururken kontrol sistemi eklem komutlarını saniyede 50 kez güncelliyor. Sistem, robotun üzerindeki hesaplama donanımında çalıştı.

Tekli görevler şunlardı: adı belirtilen bir nesneye gitmek, sandalyeye oturmak, yarı açık bir kapıdan geçmek, alçak bir engelin altından eğilerek geçmek, emeklemek ve bir kutuyu itmek. Her görev altı gerçek ortamın her birinde 10 kez denendi. Görev bazında başarı oranı, eğilerek engelin altından geçmede %100, kutuyu itmede %88 oldu.

Ardışık görevler tek bir gerçek ortamda denendi; üç hareket kombinasyonunun her biri 10 kez tekrarlandı. Kapıdan geçip bir nesneye gitme kombinasyonu 10 denemenin tamamında başarılı oldu. Önce eğilip sonra oturma kombinasyonunda başarı oranı %60, eğildikten sonra hedefe gidip kutuyu itme kombinasyonunda ise %50 oldu. Son kombinasyondaki beş başarısız denemenin üçünde robot eğildikten sonra başını kutunun ters yönüne çevirdi ve kutuyu görüş alanında tutamadı.

Veri üretimi için 250 H100 GPU yaklaşık 48 saat kullanıldı. Hareket üreticisinin eğitiminde 64 B200 GPU, hareket izleyicisinin eğitiminde ise dört H100 GPU kullanıldı.

Veri üretim süreci otomatikleştirilse de yeni hareketler eklenirken talimatları ve temel pozları insanların tasarlaması gerekiyor. Hareket izleyicisinin eğitiminde insan hareketlerini içeren videolardan ve hareket yakalama verilerinden de yararlanıldı. Araştırmacılar, nesneler kameranın görüş alanından çıktığında veya örtüldüğünde temas durumunu anlamanın zorlaştığını belirtti ve iyileştirme için dokunma duyusunun eklenmesini önerdi.