Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

7 günlük kodlamada GPT-6.2 Astra ilerlemedi; Matt Shumer: “İki model neredeyse kullanılamaz”

Yapay zekâ tarafından oluşturulan görsel, durmuş derleyici ekranı önünde geliştiricinin eli / TokenPost.ai (mono)

GPT-6.2 Astra, piyasaya sürülmesinin hemen ardından uzun süreli kodlama ve yaratıcı çalışmalarda tutarsız bulundu. Model, 3D sahne üretim testinde 1318 Elo ile birinci olurken görev türüne göre performans değerlendirmeleri ayrıştı.

T3 Code kurucusu Theo Browne, 17'sinde X'te yayımladığı ön test mektubunda, “Kodlama işi için Claude Opus 5.5 yerine Astra'yı seçmem” dedi. Browne, Astra'yı OpenAI'nin piyasaya sürdüğü modeller arasındaki en kötü örneklerden biri olarak değerlendirdi.

Browne, uzun süren görevlerde Astra'nın ilerlemeyi durdurduğunu veya aynı işlemleri tekrarladığını söyledi. Outer Wilds oyununa yeni bir bölge tasarlamasını istediğinde modelin yaklaşık iki saat sonra iç dosyalarla video çıktı yollarının nereye tanımlanacağını sorduğunu anlattı.

TypeScript'i Rust'a dönüştürme projesinde 7 gün harcanmasına rağmen model bir iyileştirme sunamadı; derleyici hızı yüzde 56 yavaşladı. Hızı artırmaya odaklanması yeniden istendiğinde de 4 gün boyunca değişiklik olmadı.

Yaratıcılık da eleştirildi. Browne ve başka bir testçi farklı oyunlar için yeni bölgeler istedi; iki çıktı da su ve çan sesini ortak unsur olarak kullandı ve her ikisi de 'Bellwether' adını taşıdı.

Yapay zekâ yatırımcısı ve eski HyperWrite CEO'su Matt Shumer da 17'sinde GPT-6.2 Astra ile GPT-6.2 Sol'u test ettikten sonra, “İki model de neredeyse kullanılamazdı ve kullanılmalarını önermiyorum” dedi. Shumer, Astra'nın birçok temel değerlendirmede Anthropic'in Claude Opus 5.5'inin gerisinde kaldığını, Claude Fable 5.2 ile karşılaştırıldığında da arada fark bulunduğunu değerlendirdi.

Shumer, Astra'yı alt ajan olarak kullandı; ancak çalışmayı denetleyen Claude Opus 5.5 ve Claude Fable 5.2, çıktıları yeniden yazmak zorunda kaldı. Alt ajan, büyük bir görevi üstlenen modelin işin bir bölümünü devrettiği yardımcı modeli ifade eder; yeniden çalışma gerektiğinde toplam süre uzayabilir.

OpenAI 17'sinde Astra'yı karmaşık profesyonel görevler ile akıl yürütme ve kodlama için, Sol'u ise günlük işler ve çok aşamalı görevler için tanıttı. İki model GPT-6.2 ailesiyle birlikte piyasaya çıktı, ancak kullanıcı değerlendirmeleri uzun süreli çalışmalar ve ajan kullanımında birbirinden ayrıldı.

OpenAI'nin kendi değerlendirmesinde Astra, önceki GPT-6 Astra'dan daha yüksek puan aldı ve görev başına maliyeti daha düşük çıktı. Bu örnek, kurumun test puanlarıyla gerçek hayattaki uzun soluklu çalışma deneyiminin farklı sonuçlar verebileceğini gösterdi.

Astra, Artificial Analysis tarafından işletilen AA-3D değerlendirmesinde 1318 Elo ile birinci oldu. Claude Fable 5.2'nin 47 puan önünde yer alan model, bazı testçiler tarafından Three.js, Blender ve 3D görselleştirme çalışmalarında güçlü bulundu.

AA-3D, metin taleplerinden hareketle etkileşimli 3D sahneleri web uygulaması olarak oluşturmayı istiyor; ardından insanlar sonuçları karşılaştırıyor. Değerlendiriciler hangi sahnenin hangi model tarafından üretildiğini bilmediği için test, uzun süreli kodlamadan farklı bir yeteneği ölçüyor.

Browne'nin örneği, modelin yanıt üretme becerisiyle günler süren işi baştan sona yönetme becerisinin farklı olabileceğini ortaya koydu. Eleştiriler, yalnızca çıktının değil, çalışma ilerleyişinin ve durma nedenlerinin kullanıcıya açıklanmasının da önemli olduğunu gösterdi.

TokenPost daha önce Astra'nın 3D değerlendirmesinde birinci olmasına karşın uzun süreli kodlamada Claude Opus 5.5'in tercih edildiğini aktarmıştı. Shumer ve Browne'nin yeni örnekleri, bu karşıtlığı 7 günlük kod yeniden düzenleme süreci ve alt ajanların yeniden çalışma ihtiyacı üzerinden somutlaştırdı.

Model kullanmayı planlayan geliştiriciler ve şirketler, tek bir benchmark puanının yanında işin sürdürülebilirliğini, sonuçların açıklanmasını ve yeniden çalışma gerekip gerekmediğini de incelemeli. Astra hakkındaki ilk değerlendirmeler, belirli alanlarda güçlü performans ile uzun süreli görevlerdeki istikrarsızlığın aynı anda görüldüğünü ortaya koydu.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1