GPT-6.2 Astra, gerçek robot kolu kontrol değerlendirmesi AA-Robotics v0.1'de ortalama 79 puanla birinci oldu. Model, 8 görevin 6'sını tamamladı ve robot kola toplam 668 komut göndererek değerlendirilen modeller arasında en düşük sayıya ulaştı.
Crypto Briefing, 20'sinde (yerel saatle) GPT-6.2 Sol'un 78, Claude Fable 5.2'nin 75 puan aldığını bildirdi. Astra, yalnızca puanda değil, hareket komutu sayısında da öne çıktı.
◇ Komut sayısında ortaya çıkan fark
Astra, tamamladığı 6 görev için toplam 668 robot kolu komutu gönderdi. Bu komutlar, her eklem ve kavrayıcının hareketini yönlendiren birimlerdir.
Kutu düzenleme görevinde yalnızca 92 komut kullanıldı. Bu sayı, Claude Fable 5.2'ye kıyasla yaklaşık %75 daha azdı; bu da tekrarlanan hareketleri ve deneme yanılmayı azaltarak yürütme verimliliği sağlandığını gösteriyor.
◇ 6 eksenli robot kolla 8 görev
Artificial Analysis, AA-Robotics v0.1'i 14 Ekim'de yayımladı. Değerlendirmede, 5 eklem ve bir kavrayıcıdan oluşan Hiwonder NexArm 6 eksenli robot kol kullanıldı.
Dil modeli robot kolu doğrudan kumanda cihazıyla çalıştırmak yerine bir kodlama ajanı üzerinden hareket ediyor. Model kod yazarak HTTP API üzerinden komut gönderiyor ve robot kol bunları uyguluyor. İçecek dökme, blok dizme, nesne taşıma, yazı yazma ve kutu ölçme gibi masada gerçekleştirilen 8 görev değerlendirmeye dahil edildi.
Değerlendirme ortamında masanın çevresindeki 3 kamera ile robot kolun bileğindeki 1 kameranın sağladığı görüntüler kullanıldı. Modeller, göreve özel ön eğitim almadan çalışmayı denedi.
Her görev, tamamlanma düzeyine göre 0 ile 100 arasında puanlandı. Astra 6 görevi tamamlayarak ortalama 79 puan aldı; ancak 668 komut, puandan ayrı olarak hareket verimliliğini ölçen bir göstergeydi.
TokenPost, daha önceki haberinde ilk AA-Robotics değerlendirmesinde GPT-6 Astra'nın 69,4 puan aldığını bildirmişti. Bu kez aynı araştırma önizlemesinde GPT-6.2 sürümünün puanı ve komut sayısı birlikte açıklandı.
◇ İnsanlardan yavaş, her görev için maliyet var
Modellerin her görevi tamamlaması yaklaşık 30 dakika sürdü. İnsanlar benzer bir işi yaklaşık 20 saniyede bitirdi ve arada belirgin bir hız farkı oluştu.
Model ve göreve göre yürütme maliyeti görev başına 2 ila 16 dolar (yaklaşık 2.662 ila 21.296 won) olarak hesaplandı. Komut sayısının azalması tek başına yeterli değil; gerçek otomasyona geçiş için işlem süresi ve maliyetin de düşürülmesi gerekiyor.
OpenAI, 17'sinde GPT-6.2 Astra ve GPT-6.2 Sol modellerini tanıttı. Sol, Astra'ya göre daha düşük maliyetli bir model olarak sunuldu; bu robot kolu değerlendirmesinde iki model arasındaki puan farkı 1 oldu.
GPT-6.2 Astra'nın API fiyatı önceki modele göre yaklaşık %20 düştü. Ancak AA-Robotics v0.1 araştırma önizlemesi aşamasında ve üretim ortamıyla aynı koşulları garanti eden bir değerlendirme değil.
Sonuçlar, Astra'nın puan ve komut verimliliğinde öne çıktığını gösteriyor. Bununla birlikte görev başına 30 dakikaya varan işlem süresi ve 16 dolara kadar maliyet, robot kol kontrol modellerinin sahada kullanılabilmesi için çözülmesi gereken unsurlar olarak kalıyor.
Comment 0