Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

GPT-6.2 Astra Ember-0’da %41,2 başarıya ulaştı: Önceki modelin iki katından fazla

Bir robot kolunun laboratuvar çalışma tezgâhında tişörtü açtığı an / TokenPost.ai (mono)

OpenAI’nin GPT-6.2 Astra modeli, gerçek robot kontrolü değerlendirmesi Ember-0’da %41,2 başarı oranı kaydetti. Bu oran, önceki GPT-6 Astra modelinin %19,6’lık sonucunun iki katından fazla.

XDOF, 20’sinde yayımladığı Ember-0 sonuçlarında GPT-6.2 Astra’nın performansını duyurdu.

Ember-0, XDOF’nin yürüttüğü gerçek robotlar için bir kıyaslama testi. İki robot kolu; tişört açma, düğüm bağlama ve gizlenmiş nesne bulma gibi 16 görevi yerine getiriyor. Görev bazındaki başarı oranları eşit ağırlıkla ortalanarak modelin fiziksel kontrol becerisi karşılaştırılıyor.

Model, doğal dildeki talimatları eylem planına dönüştürdükten sonra iki kolun hareketlerini sırayla yürütüyor. Her deneme, nesne kavrama ve taşıma ya da araç kullanma gibi gerçek fiziksel işlemlerle sonuçlanıyor.

Sonuçlarda öne çıkan alanlardan biri, tişört ve halat gibi şekil değiştirebilen nesnelerle ilgili görevler oldu. XDOF’nin açıklamasında GPT-6.2 Astra, bu tür görevlerde başarı gösteren ilk model olarak tanımlandı.

Blok veya bardak hareket ettirildiğinde şeklini korurken kumaş ve halatın görünümü çekme yönüne ve temas noktasına göre değişiyor. Robotun önceden hazırlanan planı aynen uygulamak yerine sahneyi yeniden değerlendirip hareketini ayarlaması gerekiyor.

Ortalama tahmin gecikmesi GPT-6 Astra’da 15,0 saniyeyken GPT-6.2 Astra’da 10,1 saniyeye indi. Modelin bir sonraki hareketi belirleme aralığı kısalsa da 10,1 saniye, gerçek zamanlı kontrol için hâlâ uzun bir süre olarak sunuldu.

GPT-6.2 Astra, daha önce gerçek robot kolu kontrolü değerlendirmesinde ortalama 79 puan almış, 8 görevden 6’sını tamamlamış ve robot koluna 668 komut göndermişti.

AA-Robotics v0.1, robot koluna gönderilen komut sayısıyla görevlerin tamamlanıp tamamlanmadığını birlikte gösteren bir değerlendirme. Ember-0 ise şekil değiştirebilen nesneler ve iki kolun koordinasyonunu içeren 16 görevin ortalama başarı oranını ölçüyor. Görevler ve hesaplama yöntemleri farklı olduğu için iki skor doğrudan toplanamaz veya sıralama amacıyla karşılaştırılamaz.

Ember-0’daki %41,2 oranı, 16 görevin tamamının tek denemede başarıyla tamamlandığı anlamına gelmiyor. Bu değer, her görevin başarı oranının eşit ağırlıkla ortalaması olarak hesaplanıyor.

XDOF, görev başına temel olarak 30 tekrar yapıyor ve %95 güven aralığını da yayımlıyor. Tek bir çalışmanın sonucuyla farklı denemelerde benzer biçimde tekrarlanan performansı ayırt etmek için tekrar sayısı ve güven aralığının birlikte incelenmesi gerekiyor.

Benchmark yalnızca modelin planlama ve görsel değerlendirme becerisini ölçmüyor. Temas hassasiyeti, araç kullanımı, iki kolun koordinasyonu ve şekil değiştirebilen nesnelere uyum da değerlendirmeye dahil ediliyor.

XDOF, ilk değerlendirmelerde dil modellerinin talimatları plana dönüştürebildiğini, ancak hassas temas ve şekil değiştirebilen nesnelerin kontrolünde zorlandığını açıkladı. Yeni sonuçlar, daha önce zorluk olarak belirtilen bu alanda değişim görüldüğünü ortaya koydu.

Ember-0 sonuç tablosunda başarı oranının yanı sıra yürütme süresi, maliyet ve tahmin gecikmesi de yer alıyor. Bu standartlaştırılmış değerlendirmeler, büyük dil modellerinin robot kontrolcüsü olarak kullanılmasına yönelik çalışmalarda model iddialarını gerçek hareket verileriyle karşılaştırma imkânı sunuyor.

OpenAI’nin GPT-6.x serisi, dil ve görüntü verileriyle eğitilen modellerin talimatları fiziksel eyleme dönüştürüp dönüştüremediğini inceleyen robot kontrol deneylerine dahil edildi. Ember-0 ve AA-Robotics v0.1 gibi standart görevler, model sürümleri değiştiğinde performans farklarının aynı çerçevede karşılaştırılmasını sağlıyor.

GPT-6.2 Astra, bu değerlendirmede önceki modele kıyasla daha yüksek başarı oranı ve daha kısa gecikme gösterdi. Şekil değiştirebilen nesne görevlerindeki sonuçlarla birlikte %41,2’lik ortalama başarı ve 10,1 saniyelik gecikme, robotik uygulama değerlendirilirken yürütme süresi ve maliyetle birlikte incelenmesi gereken veriler olarak öne çıkıyor.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1