Zor yapay zekâ görevlerinin payı %20’den %53’e çıktı: Stanford ve Google DeepMind TURTLE’ı geliştirdi

Stanford Üniversitesi (Stanford University) ve Google DeepMind araştırmacılarının geliştirdiği TURTLE, uygulama kullanımı değerlendirmesi AppWorld’de zor görevlerin payını yaklaşık %20’den %53’e çıkardı. Makalede belirtilen %165’lik artış, zor görevlerin payındaki göreli değişimi ifade ediyor; yapay zekâ modellerinin doğru yanıt oranının aynı ölçüde yükseldiği anlamına gelmiyor.

Araştırmacılar sonuçları, 21 Ekim’de güncelledikleri “Evolving Self-tuning Benchmarks for Long-Horizon Tool Use” (arXiv:2610.27307) başlıklı ön baskıda yayımladı. TURTLE, birden fazla uygulama arasında geçiş yaparak çok adımlı işleri yerine getiren yapay zekâ sistemlerinin araç kullanma becerisini değerlendirmek için mevcut görevleri dönüştüren bir sistem.

Sabit değerlendirme görevlerinde modeller zamanla deneyim kazanabiliyor ve yeni hata türlerini belirlemek zorlaşabiliyor. Yeni görevleri baştan tasarlamak ve düzgün çalıştıklarını doğrulamak da emek gerektiriyor. TURTLE, mevcut görevlerin bileşenlerinden ve çalıştırma ortamından yararlanarak bu yükü azaltmayı amaçlıyor.

Sistem üç rolden oluşuyor: görev önericisi, çözüm modeli ve geri bildirim oluşturucu. Görev önericisi, AlphaEvolve kullanarak görevleri değiştiriyor; çözüm modeli yeni görevi yerine getiriyor. Geri bildirim oluşturucu ise çalıştırma kayıtlarını inceleyip hata nedenlerini belirleyerek sonraki değişikliklere aktarıyor.

Görev önericisi, mevcut görevlerin talimatlarını ve araç kullanım akışını değiştirerek yeni görevler oluşturuyor. Koşullar veya filtreler ekleyebiliyor, ara adımlar koyabiliyor ya da görevin birden fazla uygulama kullanmasını sağlayabiliyor. Böylece görevler sıfırdan tasarlanmak yerine mevcut değerlendirme ortamında çalışan bileşenlerin yeniden düzenlenmesiyle üretiliyor.

Yeni görevlerin doğru çözüm adımları, çözüm modeline sunulmadan önce sistem hatası olup olmadığını görmek için simülasyon ortamında çalıştırılıyor. Çözüm modeli her görevi 10 kez deniyor. Bir görev, ancak model onu en az bir denemede tamamen çözerse çalıştırılabilir kabul ediliyor. Bu adım, çözülemeyen görevlerin değerlendirmeye karışmasını önlemeyi amaçlıyor.

Görev puanı, çözüm modelinin ortalama tamamlama oranı %50’ye yaklaştıkça yükselecek şekilde tasarlandı. Sistem, modelin neredeyse her zaman başardığı veya neredeyse hiç çözemediği görevleri ayıklayıp başarı ile başarısızlığın ayrıştığı görevleri bulmaya odaklanıyor. AutomationBench’te zor görevlerin puanlarının aşırı seyrekleşmesini önlemek için kısmi puanlamaya da izin verildi.

Başlıca deneyler, uygulama kullanımı değerlendirme ortamı AppWorld’de yapıldı. Araştırmacılar mevcut 106 görevden 735 yeni görev üretti. Eski görevlerin %69’unu çözüm modeli her denemede tamamen tamamlarken %12’sini hiç çözemedi. Yeni görevlerin ise neredeyse tamamında başarı oranı %40 ile %60 arasında kaldı.

Görevlerin zorluğu, çözüm başarısından ayrı olarak değerlendirildi. Gemini 3.6 Flash değerlendiricisi, her görevin gerektirdiği etkileşim ve akıl yürütme düzeyine göre zorluk belirledi; değerlendirme, insan incelemelerinde kullanılan kolay, orta ve zor şeklindeki üç düzeyi izledi. Eski görevlerin %80’i kolay veya orta olarak sınıflandırılırken yeni görevlerin %53’ü zor, %44’ü orta olarak değerlendirildi.

Görevler, çok adımlı akıl yürütme ve koşul kontrolü gerektirecek biçimde dönüştürüldü. Makaledeki örneklerden birinde talimat, kullanıcının doğum ayını kontrol etmeyi, aynı ayda doğmuş ve Seattle’da yaşayan iş arkadaşını bulmayı, her kişiye özel bir mesajla para göndermeyi ve e-posta yollamayı kapsayacak şekilde genişletildi. Bu görev, yalnızca uygulamaları açıp kullanmak yerine birden fazla koşulu ilişkilendirerek işlem yapmayı gerektiriyor.

Araştırmacılar, AppWorld’de mantıksal filtreleme ve akıl yürütme gibi görev özelliklerinin sıklığının eski görev grubuna kıyasla %29 ila %212 arttığını hesapladı. TURTLE yalnızca çözüm modelinin puanını ayarlamakla kalmadı; yeni koşullar ve ara araç kullanımı ekleyerek görevlerin yapısını da değiştirdi.

İş uygulamalarını kapsayan AutomationBench’te de görev çeşitliliği arttı. Eski 16 görevin tamamı dört uygulama kullanırken yeni 23 görevin %52’si beş, %13’ü altı uygulama gerektirdi. Gerekli uygulama kombinasyonlarının sayısı da 15’ten 30’a çıktı.

Sistem, telekomünikasyon ve bankacılık müşteri hizmetleri değerlendirmeleri olan τ-telecom ve τ-banking üzerinde de uygulandı. Telekom değerlendirmesinde mevcut 84 görevden 299 yeni görev üretildi. Bankacılık değerlendirmesinde ise belge arama yöntemine bağlı olarak mevcut 17 görevden 82, mevcut 24 görevden de 178 yeni görev oluşturuldu.

AppWorld’de görev özellikleriyle çözüm hatası türlerinin birleştirilmesiyle elde edilen kapsam, eski görevlerdeki 49 türden yeni görevlerde 54 türe yükseldi. Araştırmacılar, mevcut görevler fazla kolaysa çözüm modellerinin zayıf yönlerini ortaya çıkarmanın zorlaştığını; dönüştürülmüş görevlerin ise daha geniş bir hata yelpazesini incelemeyi sağladığını belirtti.

Başlıca sonuçlar, çözüm modeli olarak Gemma 4 31B-it kullanılan deneylere dayanıyor. Gemini 3.6 Flash ve Gemini 3.1 Flash Lite ile yapılan ek deneyler yalnızca AppWorld’deki ilk görevlerin bir bölümünü kapsadı. Araştırmacılar, ticari modelleri çağırmanın getirdiği çıkarım maliyetini ve daha büyük değerlendirme kümeleri oluşturmak için başlangıçtaki görev sayısını artırma gereğini çalışmanın sınırlamaları arasında gösterdi.