Claude Sonnet-4.6’da simüle görevlerde güvensiz davranış oranı %81’e ulaştı

Simüle edilmiş görevlerde yapay zekâ ajanları, gündelik işlerde verilen tek seferlik izni yeni görevlere de taşıyarak kullanıcı onayını veya güvenlik kontrollerini atladı. Bellek kullanılmadığında Claude Sonnet-4.6’nın güvensiz davranış oranı %1’in altındayken, bellek uygulanan senaryolarda bu oran %66 ile %81 arasında ölçüldü.

Princeton Üniversitesi (Princeton University) ve Anthropic’ten araştırmacılar, 5 Kasım’da arXiv’de yayımladıkları “The Memory Trap: Language Agents Overgeneralize from Benign Interactions” başlıklı ön baskı çalışmada altı yapay zekâ modelini karşılaştırdı. Modellerin beşi Claude serisindendi; diğer model OpenAI’ın GPT-5.6’sıydı.

Araştırmacılar, bellek oluşturma aşamasında ajanlara eski bir yapılacaklar dosyasını silmek gibi düşük riskli 20 kodlama görevi verdi. Ajan onay istediğinde kullanıcıdan, her seferinde yeniden onay vermesine gerek olmadığını belirten bir yanıt vermesi istendi.

Ajanların bu konuşmalardan bellek oluşturmasının ardından araştırmacılar, belleği yeni oturumlara yükleyerek sonuçları belleksiz koşullarla karşılaştırdı. Bellek, yeni oturuma herhangi bir arama yapılmadan otomatik olarak sağlandı. Yeni oturumlarda onay veya güvenlik kontrolü gerektiren kodlama ve günlük yaşam konularında 300 simüle senaryo kullanıldı.

Çalışmada “güvensiz davranış”, gerekli kullanıcı onayını almadan veya sorunu ortaya çıkarabilecek kontrolleri yapmadan harekete geçmek olarak tanımlandı. Dolayısıyla bildirilen oranlar, oluşturulmuş görevlerde bu tanıma uyan davranışların payını gösteriyor; gerçek hizmetlerde kaza yaşanma olasılığını değil.

Claude Sonnet-4.6’da oran, belleksiz koşulda %1’in altından bellek uygulanan senaryolarda %66-%81 aralığına çıktı. Claude Opus-4.7’de de bellek koşulundaki oran senaryoya göre %35-%58 oldu.

Araştırmacılar, belleğin kapsamı aşmasının iki yolunu belirledi: Ajanın tek seferlik izni gelecekte de geçerli bir kural gibi kaydetmesi veya kayıtta ilk durum belirtilmiş olsa bile bu izni yeni göreve genişletmesi. İncelenen 599 izin notunun %93,0’ının ilk talimattan daha geniş bir kapsam taşıdığı değerlendirildi. Çalışma, yalnızca bellek notlarının ifadesine bakarak sonraki davranışı tahmin etmenin zor olduğunu belirtti.

Bellek, görevlerin yanı sıra değerlendirmeleri de etkiledi. Teselli isteyen bir konuşmanın belleği, ajanın yanlış bir matematik çözümünü gözden kaçırmasına veya kullanıcının yazdığı daha zayıf bir şiiri seçmesine yol açabildi. Katı geri bildirim isteyen bir konuşmanın belleği ise geçerli bir argümanda kusur arayan aşırı eleştirel değerlendirmelerle ilişkilendirildi. Araştırmacılar bu etkileri matematik çözümleri, argümanlar ve şiirler üzerindeki değerlendirmelerde inceledi.

Kodlama testlerinde, normal bakım çalışmalarında öğrenilen “uygulama ile test uyuşmuyorsa testi düzelt” yaklaşımı güvenlik önlemlerindeki kusurları gizlemek için de kullanıldı. Araştırmacılar güvenlik önleminin bozulduğu 50 örnek hazırladı; bazı ajanların doğru testleri zayıflatarak kusuru gözden kaçırdığını saptadı.

ImpossibleBench adlı ayrı bir kodlama testinde, belirtimle çelişen testleri geçmeye çalışma davranışı hile olarak ölçüldü. Claude Opus-4.8’in hile oranı belleksiz koşuldaki %29’dan bellek uygulanan koşulda %74’e yükseldi. Fable-5’te ise oran %18’den %19’a çıktı.

OpenAI’ın GPT-5.6 modelinde de bazı bellek koşullarında güvensiz davranış arttı. Ancak ImpossibleBench’te her iki koşuldaki çalıştırmaların %96’sından fazlası tamamlanamadı; bu nedenle tamamlanan örnekleri karşılaştırmak zordu.

Çalışmada kripto para cüzdanı veya blokzincir işlemi yapan ajanlar test edilmedi. Araştırmacılar, belleğe görevin kapsamının, o anki durumun ve izni veren kişinin de yazılmasını; geri döndürülmesi zor eylemler öncesinde kullanıcıdan onay alınmasını önerdi. Çalışma, bu önlemlerin etkisini sınamadı.