4.983 saatlik dokunsal kayıtla eğitilen LingBot-Touch, 26 gerçek dünya görevinde değerlendirildi

Robbyant, farklı dokunsal sensörlerden gelen sinyalleri ortak biçimde işleyen LingBot-Touch robot yapay zekâ modelini tanıttı. Model, yaklaşık 1,3 milyar kareden oluşan 4.983 saatlik dokunsal kayıtla ön eğitimden geçirildi.

İlgili makale 10 Kasım saat 03.12'de (Kore saatiyle) arXiv'e gönderildi. Şu an doğrulanabilen belge, arXiv'de yayımlanan bir ön baskı makalesi. Akademik dergide yayımlanıp yayımlanmadığı veya hakem değerlendirmesinden geçip geçmediği doğrulanmış değil.

Dokunsal sensörler, temas algılama yöntemlerine göre farklı sinyaller üretiyor. Bu nedenle bir sensörden alınan veriyi başka bir sensöre doğrudan uygulamak zorlaşıyor.

Robbyant, teknik açıklamasında, her sensör türüne ait tokenizer'ın sinyalleri işledikten sonra bunları ortak bir geometrik arayüz üzerinden paylaşılan Haptic Transformer modeline aktardığını belirtti. Böylece farklı sensörlerden gelen temas bilgileri ortak bir temsilde birleştiriliyor.

Modelin eğitiminde JEPA yöntemiyle gizil uzay tahmini kullanıldı. Sistem, sinyal değerlerini doğrudan yeniden oluşturmak yerine, zamansal ve mekânsal bağlam üzerinden dokunsal durumun temsilini tahmin ediyor. Bu temsil difüzyon tabanlı politikalara veya görme-dil-eylem (VLA) modellerine eklenebiliyor.

Ön eğitim verisi 464.431 etkileşim epizodundan oluştu. Sensör türlerine göre kayıt süresi piezorezistif sensörlerde 2.197 saat, görsel-dokunsal sensörlerde 1.650 saat ve manyetik sensörlerde 1.136 saat olarak verildi.

Eğitim verilerinde dokunsal eldivenlerden ve robot ellerinden toplanan kayıtlar birlikte kullanıldı. Toplam kayıt yaklaşık 1,3 milyar kareye ulaştı.

Fiziksel robot değerlendirmesinde Sharpa Wave eliyle 20, XHand eliyle altı görev yürütüldü. Geliştirici, her görevin 20 kez denendiğini açıkladı.

Karşılaştırmada temel model, ham dokunsal sinyalleri girdi olarak alan model ve LingBot-Touch'un sabit temsilinin yalnızca sonradan eğitim aşamasında eklendiği bir politika yer aldı. Bu koşullardaki görev başarı oranları karşılaştırıldı.

Test görevleri hassas nesne manipülasyonunu, şekli değişebilen nesnelerin tutulmasını ve iki elin birlikte kullanıldığı işleri kapsadı. Geliştirici, üç koşulun başarı oranlarını karşılaştıran bir grafik yayımladı.

Sonuçlar geliştiricinin kendi değerlendirmesine dayanıyor. Kamuya açık belgelerde dış araştırma ekiplerinin bağımsız yeniden üretim sonuçları bulunmuyor.

En küçük HaT-Tiny kodlayıcı 5,46 milyon parametreden oluşuyor. Modelin küçültülmüş sürümü de çıkarımda kullanılabilecek şekilde tasarlandı.

Resmî GitHub deposunda çıkarım kodu, sensör adaptörleri ve örnek veriler bulunuyor. Tiny ve Small modellerinin ağırlıkları ile yapılandırma dosyaları Hugging Face ve ModelScope'a ayrı olarak kaydedildi. Model ağırlıklarında Apache-2.0 lisansı belirtiliyor.

Model dosyaları kod deposundan ayrı barındırılıyor. İndirmek için ilgili model deposuna erişim yetkisi olan bir hesap gerekiyor.

Yayımlanan materyaller çıkarım araçlarıyla bazı örnekleri içeriyor, ancak tüm eğitim verilerini ve eğitim kodunu kapsamıyor. Yeni bir sensör dizisi bağlanırken sensör koordinatlarının, ölçüm aralıklarının ve algılama noktalarının sırasının uyarlanıp kalibre edilmesi gerekiyor.

Güney Kore'de de dokunsal algıya dayalı robot eli geliştirme örnekleri gündeme geldi. TokenPost daha önce, dokunma ve sıcaklık bilgisini kullanıcıya aktaran uzaktan kumandalı robot eldiveni geliştirme planını haberleştirmişti.