%70,2 çözüm oranı: Claude Opus 4.5 bağlam sıkıştırma testinde

Claude Opus 4.5, her eylemin ardından çalışma geçmişinin özetlenerek yeni bağlama aktarıldığı kod düzeltme testinde %70,2 çözüm oranına ulaştı. Tüm geçmişin korunduğu karşılaştırma yönteminde oran %70,0 oldu.

NVIDIA (NVDA) araştırmacıları, “You don’t need long context” başlıklı teknik raporu 4 Kasım’da (Kore saatiyle) arXiv’de yayımladı. Araştırmada Claude Opus 4.5 ile GPT 5.6 Sol kullanıldı.

Raporda bağlam, modelin tek bir çağrıda okuduğu talimatları, önceki konuşmaları ve araç sonuçlarını ifade ediyor. Bir ajan çok aşamalı bir görevi sürdürdükçe geçmiş birikiyor ve sonraki çağrılara daha fazla girdi ekleniyor.

Değerlendirme, uzun süreli görevlerden 6’sı ve kapsamlı materyal tarama görevlerinden 7’si olmak üzere 13 kıyaslamadan oluştu. Uzun süreli görevler arasında kod düzeltme, terminal araçlarını kullanma ve bilgi arama yer aldı. Materyal tarama testlerinde ise geniş belgeler içinden gerekli bilgilerin bulunması istendi.

Araştırmacılar, tüm konuşma geçmişini art arda ekleme yöntemiyle geçmiş belirli bir uzunluğa ulaştığında görev durumunu özetleyip yeni bir konuşmaya aktarma yöntemini karşılaştırdı. En sıkıştırmalı ayarda model, her çağrıda tek bir eylem gerçekleştirdikten sonra özet oluşturdu ve sonraki eyleme yeni bir bağlamda devam etti.

Kod düzeltme değerlendirmesinde kullanılan SWE-bench Verified, GitHub’daki 500 gerçek soruna yönelik ajan yamalarının ayrı testleri geçip geçmediğini ölçüyor. Test, yalnızca kod üretilip üretilmediğine değil, sorunun çözülüp çözülmediğine bakıyor.

Diğer kodlama testi Terminal-Bench 2.1’de Claude Opus 4.5, tek eylem sonrası sıkıştırma ayarında %51,8 sonuç aldı. Bu oran, tüm geçmişin korunduğu yöntemdeki %47,2’den 4,6 yüzde puan yüksekti.

GPT 5.6 Sol’un sonuçları farklıydı. Tek eylem sonrası sıkıştırma ayarında çözüm oranı SWE-bench Verified’da %82,4, Terminal-Bench 2.1’de %84,3 oldu. Bu sonuçlar, tüm geçmişin korunduğu yöntemdeki sırasıyla %84,4 ve %87,6 oranlarının altında kaldı.

Sıkıştırma zamanlaması ve bağlam sınırı değiştirilerek yapılan diğer testlerde sonuçlar göreve göre farklılaştı. Tüm geçmişin korunduğu yöntemle karşılaştırıldığında Claude Opus 4.5’in sonuç farkı −3,7 ile +5,6 yüzde puan, GPT 5.6 Sol’unki ise −3,3 ile +4,4 yüzde puan arasında değişti.

Farklı bir sıkıştırma ayarındaki SWE-bench Verified testinde Claude Opus 4.5 %74,8’e ulaştı. Bu testte toplam bağlam sınırı 24.000, sıkıştırma eşiği 18.000 token olarak belirlendi. Ayar, her eylemden sonra özet oluşturulan testten farklıydı.

Tek eylem sonrası sıkıştırma testinde görev başına en uzun bağlam, tüm geçmişi koruyan yöntemdeki 130.000-200.000 tokenden 15.000-37.000 tokene indi. Sıkıştırma yöntemindeki en uzun bağlamın medyanı 7.000-9.000 token oldu. Bu değerler görev boyunca kullanılan toplam token sayısını değil, tek bir çağrıdaki en uzun bağlamı gösteriyor.

Uzun materyal testlerinde orijinal metin dosyalarda saklandı ve modelin yalnızca gerekli bölümleri seçerek okuması istendi. Araştırmacılar, belgelerin tamamını her defasında bağlama eklemek yerine özetleme ve seçerek okumayı birlikte kullanarak bilgi bulma yöntemini değerlendirdi.

Maliyet ölçümü ayrı bir sunucu deneyinde yapıldı. Araştırmacılar açık modelleri H100 GPU’larda çalıştırarak işlem hacmini ölçtü ve çıktı tokeni üretim maliyetini tahmin etmek için saatlik GPU fiyatlarını kullandı.

Bu hesaplamaya göre 256.000 tokenlık bağlamda çıktı tokeni başına maliyet, 16.000 tokenlık bağlama kıyasla 7 kata kadar yükseldi. Model bazında fark GLM 5.2’de 3,6 kat, Kimi K2.6’da 5,6 kat ve Qwen 3 Coder Next’te 7 kat oldu. Bu değerler, kullanıcıların hizmetler için ödediği gerçek ücretleri karşılaştırmıyor.

Araştırmacılar, geçmişi sıkıştırmanın bilgi kaybına yol açabileceğini belirtti. Bulgular, geçmişin tamamını sürekli bağlamda tutmanın gerekmediğine işaret ediyor; ancak ihtiyaç duyulan bilgiler için orijinal metne veya kaydedilmiş geçmişe yeniden erişilebilmesi gerekiyor.