Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

2-4 saatlik görevlerde müdahalesiz başarı %46, 4-8 saatlik görevlerde %35

Yapay zekâ tarafından oluşturulan görsel: Dizüstü bilgisayarında kod değişikliklerini inceleyen araştırmacı / TokenPost.ai

OpenAI’nin kodlama ajanı, insanların tamamlamasının 2-4 saat süreceği tahmin edilen araştırma görevlerini hiç müdahale olmadan tamamlama oranını mart ayındaki %23’ten ekimde %46’ya çıkardı. 4-8 saatlik görevlerde bu oran aynı dönemde %13’ten %35’e yükseldi.

OpenAI, 18’inde yayımladığı “Research acceleration: The jagged frontier” raporunda şirket içi ölçüm sonuçlarını paylaştı. Rapora göre müdahalesiz başarı, görev sırasında bir insanın devreye girmediği durumları ifade ediyor.

Görev türlerine göre veriler 1 Ağustos-18 Ekim dönemini kapsıyor. Bu dönemde müdahalesiz başarı oranı eğitim sürecini izleme görevlerinde %79, eğitimi başlatmada %35, değerlendirme, pekiştirmeli öğrenme ve ajan ortamı kurulumunda %29, çıkarım ve sunum kodu yazımında %25 oldu.

Genel başarı oranı, OpenAI’nin şirket içi kullanım kayıtlarından tahmin edildi. Şirket, araştırmacıların ajanlara verdiği görevlerin türü değişmiş olabileceği için başarı oranındaki artışın yalnızca model performansındaki iyileşmeyi göstermediğini belirtti.

Ekim ayında araştırmacı başına günlük ajan kullanımının medyan değeri, herkese açık API fiyatlarıyla hesaplandığında 2.400 dolar (yaklaşık 3,2 milyon won) oldu. 90. yüzdelik dilimdeki değer ise 23.000 dolara (yaklaşık 30,64 milyon won) ulaştı. Bu tutarlar eylül ayına göre sırasıyla %62 ve %105 arttı.

Bu rakamlar gerçek harcamayı değil, kullanıma herkese açık fiyatlar uygulandığında ortaya çıkan değeri gösteriyor. OpenAI, artışta daha yoğun kullanımın, daha pahalı modellerin tercih edilmesinin ve model davranışıyla ajan çalıştırma sistemindeki değişikliklerin birlikte etkili olduğunu bildirdi.

Şirket, 21 Ağustos’ta geçici bir harness verimliliği iyileştirmesini şirket içinde uyguladıktan sonra girdi tokenı kullanımının keskin biçimde düştüğünü ve bu değişikliğin kaydedilen şirket içi token kullanım değerini önemli ölçüde azaltmış göründüğünü açıkladı. Değişiklikler 10 Eylül’den itibaren kademeli olarak geri alındıktan sonra kaydedilen kullanım değeri hızla arttı.

Ajanın sekiz saat çalışmasını bir gün sayan “ajan iş günü” ölçümü, araştırmacı başına günlük ortalama 0,5 günden 5,7 güne yükseldi. Bu gösterge ağırlıklı olarak araştırmacıların doğrudan kullandığı etkileşimli ajanları yakalıyor ve otomatikleştirilmiş işleri daha az yansıtabilir.

Ekim ortasında ankete katılan araştırmacıların üçte ikisinden fazlası, günlük en yüksek eşzamanlı kullanım sayısının ortalama en az 4 olduğunu belirtti. Katılımcıların %10’undan fazlası günlük en yüksek eşzamanlı kullanım sayısının en az 16 olduğunu bildirdi.

TokenPost, daha önce OpenAI araştırmacılarının ağustos ortasında ajanları günlük 601 dolar değerinde kullandığını aktarmıştı. O dönemdeki rakam da herkese açık API fiyatlarıyla hesaplanmıştı. Yeni rapor, ekim ayındaki kullanımı, görev türlerine göre başarı oranlarını ve araştırma faaliyetlerine ilişkin göstergeleri de içeriyor.

OpenAI, 101 araştırma çalışanına GPT-5.2’den daha iyi bir kodlama ajanına erişimleri üç ay boyunca kesilseydi bu erişimi geri kazanmak için ne teklif edeceklerini sordu. Yanıtların medyanı, ekipteki çalışanların %40’ı ve mevcut ekip bilgi işlem kaynaklarının %30’u oldu. Şirket, yanıtların kişilerin kendi beyanlarına dayandığını ve örneklemin rastgele seçilmediğini belirterek bu sonuçların sınırlamalarına dikkat çekti.

OpenAI’nin şirket içi gönderileri, pull request’leri (kod değişikliği inceleme talepleri) ve belgeleri sınıflandırarak yaptığı tahmine göre güvenlik ve hizalama alanlarında kayda geçen haftalık araştırma iş yükü ocak-eylül döneminde %77 arttı. Şirket bu artışta yeni işe alımları ve mevcut araştırmacıların farklı işlere yönelmesini etkili gördü. Bu ölçüm, çalışılan toplam saati göstermiyor.

18 Ekim’de sona eren dört haftada, aktif deney yapan araştırmacı başına kaydedilen deney sayısı 2025 referans değerinin 1,68 katına ulaştı. OpenAI, deney sayısındaki artışın tek başına araştırma ilerlemesinin hızlandığını kanıtlamadığını söyledi.

OpenAI, geçmiş ajan kullanımı ve araştırma faaliyeti göstergelerinin gelecekteki araştırma ilerlemesini öngöremeyebileceği uyarısında bulundu. Şirket ölçüm yöntemlerini geliştirmeyi; güvenlik araştırmaları ile model yeteneklerinin büyüme hızları arasındaki fark ve araştırma hızlanmasının öncü göstergeleri hakkında daha fazla rapor yayımlamayı hedefliyor.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1