Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

3D testinde zirvedeki Astra’ya rağmen geliştirici uzun kodlamada Opus 5.5’i tercih etti

Yan yana açık 3D sahneleri gösteren dizüstü bilgisayar ekranının yapay zekâ tarafından oluşturulmuş görseli / TokenPost.ai

OpenAI’ın GPT-6.2 Astra modeli 3D üretim değerlendirmesinde ilk sıraya yerleşti. Ancak ön testlere katılan bir geliştirici, uzun süreli kodlama işlerinde Claude Opus 5.5’i tercih ettiğini söyledi. İki değerlendirme, 3D çıktı kalitesiyle günler süren geliştirme çalışmalarında farklı sonuçlara işaret etti.

T3 Chat ve T3 Code CEO’su Theo Browne, 17’sinde yayımladığı yazıda, “Kodlama işi söz konusuysa Opus 5.5 yerine Astra’yı seçmem” dedi. OpenAI’a gönderdiği ön test görüşlerini de paylaşan Browne, bazı eleştirilerinin dikkate alındığını ancak Astra’yı önerecek kadar ikna olmadığını belirtti.

Artificial Analysis’ın AA-3D değerlendirmesinde Astra 1318 Elo puanıyla ilk sırada yer aldı. Claude Fable 5.2 ise 1271 puan aldı. TokenPost daha önce Astra’nın Fable 5.2’yi 47 puan geride bıraktığını aktarmıştı.

AA-3D, yazılı taleplerden etkileşimli 3D web sahneleri oluşturma becerisini ölçen 55 görevden oluşuyor. Değerlendiriciler, sahneleri hangi modelin ürettiğini bilmeden ikili karşılaştırma yapıyor. Sıralama, bu görevlerde ortaya çıkan ürünlerin kalitesini karşılaştırıyor.

Değerlendirme uzun süreli kod düzenlemelerini veya kullanıcıyla kurulan diyaloğun niteliğini doğrudan ölçmüyor. Bu nedenle 3D üretimindeki birincilik ile geliştiricinin uzun süreli çalışma deneyimi farklı becerileri ele alıyor.

Browne, Astra’nın diğer modellerin gözden kaçırdığı kod sorunlarını bulma, 3D ve oyun üretme, bilgisayarı kullanma konularında güçlü olduğunu söyledi. OpenAI da model tanıtımında Astra’nın bir otomobilin 3D modelini oluşturduğu, lastik ve süspansiyon hareketlerini hesaplayan bir Python programı yazdığı ve ardından Blender’da animasyon hazırladığı bir örneğe yer verdi.

Browne, “Outer Wilds” oyunu için yeni bir bölge oluşturmasını istediği Astra’nın yaklaşık iki saat sonra çalışmayı durdurduğunu anlattı. Astra, kontrol sürecinin çıktısını 24_g521.mp4 mü yoksa 24_p11.mp4 mü adıyla kaydettiğini sordu. Browne, bu sorunun kendisinin bilemeyeceği iç bilgilere yönelik olduğunu belirtti.

GPT-5.6 Sol ve Codex kullanırken benzer bir durum yaşamadığını söyleyen Browne’a göre, Astra’nın uzun bir çalışma sırasında durup ayrıntı sorması modeli önermemesinin nedenlerinden biri oldu.

Browne, bir bilgisayarda proje derlemesinin neden yavaş olduğunu sorduğunda Astra’nın paket yöneticisi pnpm’in iç işleyişini ve önbelleğini uzun uzun açıkladığını söyledi. Browne’a göre Opus 5.5 ise neden olarak depolama biriminin hızını gösterdi.

Browne, Astra uzun bir işi tamamladıktan sonra anlaşılır bir özet almak için Opus 5.5’e başvurma alışkanlığı edindiğini de anlattı. Bu örnek, modelin ürettiği sonuçla çalışma sürecini kullanıcıya açıklama becerisinin ayrı ayrı değerlendirilebileceğini gösteriyor.

Browne, TypeScript ile yazılmış bir projeyi Rust’ta yeniden yazma işinde de Astra’yı denediğini söyledi. Browne’ın aktardığına göre önceki model denemelerinde token maliyeti 300 bin doları aştı (yaklaşık 405 milyon Güney Kore wonu), ancak ilerleme sağlanamadı. Opus ise 20 bin dolar (yaklaşık 26,7 milyon Güney Kore wonu) harcayarak işi iki hafta dolmadan tamamladı.

Browne, Astra’nın aynı projede yedi gün çalışmasına rağmen iyileştirme yapamadığını ve derleyicinin yüzde 56 yavaşladığını öne sürdü. Performansa odaklanması söylendikten sonra dört gün daha çalıştırıldığını, ancak değişiklik olmadığını ekledi.

Geliştirici ve girişim CEO’su Flavio Adamo, paylaşımında “Astra iyi bir model ama şu anda ana modelim olarak kullanmam” dedi. Adamo, Astra’nın 3D becerilerini beğense de gerçek geliştirme işlerinde Opus 5.5’e geri döndü.

Adamo, mevcut bir web arayüzüne yeni öğeler eklerken Astra’nın kimi zaman var olan tasarımı izlemediğini söyledi. İstenen tasarım açıkça belirtilmezse modelin kendi tarzında çalıştığını anlattı.

OpenAI, tanıtım materyalinde Astra’nın mevcut kod tabanlarını düzenleme ve test etme becerilerinin geliştirildiğini belirtti. Şirket ayrıca Astra ve Sol’la yapılan iki değerlendirmede, eksik dosyalar veya arama aracındaki kesintiler gibi çalışmayı engelleyen sorunların bazen bildirilmediğini tespit ettiğini açıkladı. OpenAI, bu tür sorunların raporlanmamasını azaltmak için Codex’e ek talimatlar verdiğini söyledi.

Browne’ın anlattığı olayda model, bilemeyeceği bir ayrıntıyı sorarak çalışmayı durdurdu. Bu, OpenAI’ın sorunların bildirilmemesine ilişkin açıklamasından farklı bir durum. Browne aşırı tepki vermiş olabileceğini kabul etti ve yanılmış olmayı umduğunu yazdı.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1