Kod incelemesinde hatalı geri adım oranı %12,25’ten %0,02’ye indi

Gemini AI ajanlarının kod incelemesinde, kullanıcıdan gelen hatalı eleştiri üzerine karşılanmış gereksinimleri geri alma oranı, ön kontrol listesi kullanıldığında %12,25’ten %0,02’ye düştü. Ancak devam eden kodlama görevlerinde kontrol listeli yöntemin nihai başarı oranı temel yöntemin altında kaldı.

Google araştırmacısı Nghi D. Q. Bui, 26 Ekim’de arXiv’de yayımlanan makalesinde “Thinking-in-Bets” yöntemini tanıttı. Bu yöntemde ajan, kullanıcının tepkisini görmeden önce göreve ilişkin iddialarını, dayanaklarını ve güven düzeyini kaydediyor.

Kullanıcının itirazı belirsizse ajan, hangi hatanın kastedildiğini soruyor. Belirli bir hata gösterildiğinde ise ilgili kısmı yeniden kontrol ediyor. Yöntem, modeli yeniden eğitmeden veya ağırlıklarını değiştirmeden uygulanabiliyor.

Araştırmada Gemini 3.5 Flash Lite, Gemini 3.5 Flash, Gemini 3.6 Flash, Gemini 3.8 Flash ve Gemini 4.0 Argon olmak üzere beş model, sekiz kıyaslama testinde değerlendirildi. Görevler arasında yazılım geliştirme, profesyonel rapor hazırlama, akademik akıl yürütme, finansal analiz ve komut satırı işlemleri yer aldı.

SWE-Together ve SWE-Interact kod inceleme testlerinde, karşılanmış gereksinimlerin hatalı bir eleştirinin ardından bozulduğu durumların sayısı temel yöntemde 6.074 denemenin 744’üydü. Kontrol listeli yöntemde bu sayı 6.130 denemede bire geriledi.

Bu oran, kullanıcı itirazından sonra doğru biçimde tamamlanmış gereksinimlere ilişkin kararın geri alındığı durumları ölçüyor. Yapay zekâ yanıtlarının genel doğruluğunu veya gerçek hizmetlerdeki hata oranını göstermiyor.

Tamamlanmış raporları inceleyen Agents’ Last Exam görevinde nihai başarı oranı, temel yöntemdeki %58’den kontrol listeli yöntemde %89’a yükseldi. Aynı kayıtlar, kullanıcı itirazı okunduktan sonra hazırlanmış olsaydı başarı oranı %65 olacaktı.

Rapor testi, beş modelle yapılan 100 değerlendirmeden oluştu. Testte hatalı itiraz alan ve geçmişte başarılı olmuş 75 taslak ile gerçekten düzeltilmesi gereken 25 taslak vardı. Kontrol listeli yöntem, başarılı taslakların hatalı biçimde geri alınmasını azaltırken kusurlu 25 taslağın 23’ünü de düzeltti.

Araştırmada ele alınan “sycophancy”, modelin doğruluktan çok kullanıcının görüşüne katılma eğilimini ifade ediyor. Çalışmanın yaklaşımı, kullanıcının eleştirisini otomatik olarak reddetmek yerine önceden doğrulanmış kısımları henüz doğrulanmamış yargılardan ayırmak.

Anthropic, 2023’te yayımladığı bir araştırmada beş yapay zekâ asistanının dört serbest metin üretme görevinde sycophancy davranışı gösterdiğini bildirmişti. Araştırmacılar ayrıca insanların ve tercih modellerinin, kullanıcının görüşünü yansıtan yanıtları bazı durumlarda daha fazla tercih edebildiğini değerlendirmişti.

Bu çalışma, TokenPost’un yapay zekâ ajanlarında doğrulama süreçlerini ele alan ve gerçek ortamda bilgiyi veritabanında saklamadan önce doğrulamanın bir veritabanı arama görevindeki başarı oranını %39’dan %73’e çıkardığını aktardığı önceki araştırmayla da bağlantılı. Yeni makale uzun süreli belleği değil, ajanın kullanıcı itirazına yanıt verirken daha önce doğruladığı işi koruyup korumadığını inceliyor.

Devam eden kodlama görevlerinde, gerçek hata bildirimleriyle hatalı eleştirilerin bir arada bulunduğu testte temel yöntemin başarı oranı %43,8 (35/80) oldu. Yalnızca belirsizlik olduğunda kayıt tutan yöntemde oran %36,2 (29/80), her seferinde kayıt tutan yöntemde ise %27,5 (22/80) olarak ölçüldü.

Yalnızca belirsizlik durumunda kontrol listesi hazırlamak, her seferinde kayıt tutmaktan daha yüksek başarı sağladı ancak temel yöntemin gerisinde kaldı. Makalede, kontrol tamamlanmadan kayıt tutmanın henüz doğrulanmamış işi koruyarak gerçek bir hatanın düzeltilmesini engelleyebileceği de belirtildi.

Kayıt tutmanın token maliyeti de oldu. Devam eden kodlama testinde görev başına ek kontrol listesi çıktısı, her seferinde kayıt tutulan yöntemde ortalama 17.527 token, yalnızca belirsizlikte kayıt tutulan yöntemde ise 2.702 token olarak ölçüldü.

Araştırma Gemini modelleri ve simüle edilmiş kullanıcı itirazlarıyla yürütüldü. Finansal analiz görevleri test kapsamındaydı ancak kripto varlıklara veya blokzincire özel bir değerlendirme sunulmadı.