Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

Yapay zekâ görev ufku her 3,61 ayda ikiye katlanıyor; muhakeme zayıflığı da görüldü

Kodlama görevlerini test eden araştırmacının elleri ve dizüstü bilgisayar / TokenPost.ai

Yapay zekâ modellerinin %50 zaman ufkunun, değerlendirme görevlerinde yaklaşık her 3,61 ayda bir ikiye katlandığı tahmin edildi. Yanıtı doğrudan doğrulamanın zor olduğu muhakeme görevlerinde ise bazı modeller uzmanların tahmini performansının gerisinde kaldı.

Yapay zekâ değerlendirmeleri yapan kâr amacı gütmeyen METR, 20 Kasım’da yayımladığı yetenek değerlendirme raporunda Claude Opus 5.5 ve GPT-6 Astra dâhil kamuya açık modelleri inceledi. METR, mevcut görev setine muhakeme, kavramsal çıkarım ve doğrulaması zor araştırma görevleri ekleyerek açık yanıtlı işlerdeki başarının diğer görev türlerine de yansıyıp yansımadığını değerlendirdi.

%50 zaman ufku, yapay zekânın fiilen çalıştığı süreyi ifade etmiyor. Bir görevin insan tarafından tamamlanması için gereken süre zorluk ölçütü olarak kullanılıyor; bu ölçüye göre modelin görevi tamamlama olasılığının %50 olarak tahmin edildiği noktayı gösteriyor.

Görevlerin çoğu yazılım mühendisliği, makine öğrenimi ve siber güvenlik alanlarındaydı. Yeni TH2 görevleri, başarısı otomatik olarak kolayca doğrulanabilen sekiz görev grubuna ve muhakeme, kavramsal çıkarım ya da doğrulama için uzun süre gerektiren dört gruba ayrıldı.

METR, zaman ufkunun artış hızını hesaplamak için mevcut 222 TH1.1 görevini yeni 36 TH2 göreviyle birleştirdi. Tahmini ikiye katlanma süresi 3,61 ay olarak hesaplanırken %95 güven aralığı 2,08-4,94 ay oldu.

Bu sonuç, önceki TH1.1 değerlendirmesinde bulunan 105 günlük döngüye benziyor. Ancak bu süre, değerlendirmeye alınan görev gruplarındaki eğilimi gösteriyor; yapay zekânın tüm mesleklerde yapabildiği işlerin süresinin aynı hızla arttığı anlamına gelmiyor.

Yazılımı yeniden üretme üzerine 75 görevden oluşan MirrorCode, zaman ufku hesabına dâhil edilmedi ve ayrı bir görev grubu olarak incelendi. Raporda bu grup, TH1.1 ve TH2’yi birleştiren analizden ayrı tutuldu.

Yalnızca başarısı otomatik olarak doğrulanabilen TH2 görevleri ele alındığında, ikiye katlanma süresi 1,65 aya indi. METR, ancak bu sonucun verilerindeki değişkenliğin yüksek olduğunu belirtti.

Kamuya açık modellerin yeteneklerini başka bir yöntemle bir araya getiren ölçümde, genel iyileşme hızının belirgin biçimde arttığı görülmedi. Bu nedenle otomatik doğrulaması kolay görevlerde gözlenen daha kısa döngüyü kamuya açık modellerin genelinde bir hızlanma olarak yorumlamak güç.

Muhakeme yeteneği, sonuç kalitesinin hemen ölçülemediği veya bir seçimin etkisinin ortaya çıkmasının zaman aldığı durumlarda doğru kararlar verebilme becerisini ifade ediyor. Bu tür görevlerde yanıtların otomatik puanlanmasının kolay olup olmadığı kadar, değerlendirme ölçütünün uygunluğu da önem taşıyor.

METR, modellerden araştırmalarda kullanılabilecek yeni değerlendirme görevleri oluşturmasını istediğinde, rapora alınacak kadar yararlı bulduğu bir görev çıkmadı. Modeller çoğunlukla başarı durumunun otomatik olarak kolayca doğrulanabildiği optimizasyon problemleri üretti.

Felsefi argümanlara yönelik eleştirilerin kalitesini ölçen görevde, kamuya açık modellerin tamamının uzlaşma düzeyi, göreve 15 dakika ayıran uzmanların tahmini performansının altında kaldı. Bununla birlikte bazı modeller, göreve beş dakika ayıran uzmanların tahmini düzeyini aştı.

METR, bu bulgunun insanların tüm muhakeme işlerinde modellerden daha iyi olduğu anlamına gelmediğini açıkladı. Bazı makine öğrenimi optimizasyon görevlerinde modeller insan değerlendiricileri geçti. Ayrıca muhakeme görevlerinde modellerin becerilerinin tam olarak ortaya çıkarılamamış olması da mümkün.

Yeni görevlerde insanların işi tamamlamak için harcayacağı süre tahmin edilirken doğrudan gerçek performans sonuçlarından yararlanılan görevlerin oranı %9 oldu. Diğer tahminlerde kamuya açık kayıtlar, uzman görüşleri ve dışa dönük tahmin yöntemleri kullanıldı.

METR, otomatik puanlaması kolay testlerin modellerin gerçek yeteneklerini olduğundan yüksek gösterebileceğini belirtti. Kurum, muhakeme görevlerinin sayısının sınırlı olduğuna ve iyi değerlendirme görevleri oluşturma becerisinin yapay zekâ araştırma ve geliştirmesini hızlandırmak için ne ölçüde gerekli olduğunun henüz netleşmediğine de dikkat çekti.

Bu kamuya açık model değerlendirmesi, METR’nin 5 Kasım’da yayımladığı Anthropic değerlendirmesinden kapsam ve yöntem bakımından farklı. Önceki değerlendirme, Anthropic’in kurum içi materyalleri ve araştırmacılarla yapılan görüşmelere dayanıyordu. Ekim 2026 itibarıyla açıkça tanımlanmış görevlerde model yeteneklerinin gelişme hızının geçmişe kıyasla yaklaşık iki katına çıkmış olabileceği öne sürülmüştü. METR, tahmini 1,3-3 kat aralığında; kıyaslama puanlarının büyüme hızını ise 1,9 kat olarak hesaplamıştı. İkinci tahminin %95 güven aralığı 1,5-2,8 kattı. TokenPost, söz konusu değerlendirmedeki temel dayanakların çoğunun kamuya açıklanmadığını METR’nin belirttiğini daha önce aktarmıştı. 20 Kasım tarihli rapor ise kamuya açık modeller genelinde benzer bir hızlanmayı doğrulamadı.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1