AWS görevlerinde model başarısızlıklarının %80’i akıl yürütme hatası olarak sınıflandırıldı

CloudOpsBench geliştirme ekibinin test ettiği modellerin AWS operasyon görevlerindeki başarısızlıklarının yaklaşık %80’i akıl yürütme hatası olarak sınıflandırıldı.

Ekip, 2’sinde yayımladığı resmi analizde başarısızlık nedenlerini hizmet bilgisi eksikliği, akıl yürütme hatası ve yanlış işlem olarak üç gruba ayırdı. Yanlış işlemler başarısızlıkların yaklaşık %20’sini oluştururken, hizmetlerin nasıl çalıştığını bilmemekten kaynaklanan başarısız görev olmadı.

Bu oranlar, söz konusu kıyaslamada test edilen modellerin başarısız görevleri içindeki neden dağılımını gösteriyor. Tüm yapay zekâ ajanlarının başarısızlık oranını veya bulut operasyonlarının otomasyon genelindeki performansını ifade etmiyor.

CloudOpsBench v1.0, 45 AWS operasyon görevinden oluşuyor: △13 proje kaldırma △12 erişim güvenliği △7 hizmet taşıma ve dağıtım △6 yapılandırma ve izleme △7 arıza kurtarma görevi.

Görevler, hizmetlerin nasıl çalıştığını bilmeyi tek başına yeterli saymıyor. Modellerin gereken tüm kaynakları bulması, doğru sırayla işlem yapması ve görev tamamlandıktan sonra sonucu doğrulaması bekleniyor. Bulut operasyonlarında tek bir kaynağın gözden kaçırılması veya yanlış işleme tabi tutulması görevin tamamlanmasını engelleyebilir ya da verileri etkileyebilir.

Liderlik tablosundaki değerlendirme birimi; model, akıl yürütme eforu seviyesi ve yürütme aracından oluşan kombinasyon. Her kombinasyon 45 görevin her birini dört kez çalıştırıyor ve toplam 180 denemeye ulaşıyor.

Her çalıştırma için varsayılan süre sınırı 40 dakika. Başarı oranı, başarılı deneme sayısının başarılı, başarısız ve zaman aşımına uğrayan denemelerin toplamına bölünmesiyle hesaplanıyor; değerlendirme hataları hesaba katılmıyor.

Her deneme yeni bir ortamda başlıyor ve puanlama sistemi görev sonundaki durumu kontrol ediyor. Değerlendirme yönteminde, gerçek AWS ile emülatörün aynı çağrıları ve sonuçları sağladığı belirtiliyor.

5 Kasım’da kontrol edilen resmi liderlik tablosunda en yüksek başarı oranları Claude Fable 5.1 (max) ve Claude Code kombinasyonunda %60,6; GPT-6 Astra (max) ve Codex kombinasyonunda %58,9; Gemini 4 Argon (high) ve Gemini CLI kombinasyonunda %57,5 oldu.

Bu sonuçlar tek başına modellerin puanı değil; model, akıl yürütme ayarı ve yürütme aracının birlikte değerlendirildiği kombinasyonların sonuçları. Bileşenleri farklı olan kombinasyonlar liderlik tablosunda ayrı hesaplanıyor.

Resmi analizde Claude Fable 5.1’in 45 görevden 29’unu, GPT-6 Astra’nın ise 26’sını tamamladığı da yazıldı. Bu görev tamamlama sayıları ile liderlik tablosundaki 180 denemelik başarı oranı farklı ölçüm birimlerine dayanıyor. Hesaplama yöntemi ile çalıştırma ayarlarının ilişkisi de doğrulanmadığından aynı ölçüt üzerinden karşılaştırılamıyor.

Başarısız denemelerde görev kapsamının yeterince araştırılmaması öne çıktı. Tüm kuyrukları temizleme görevi verilen modeller, SQS kuyruklarının yanı sıra AWS MediaConvert’e ait kuyrukları kontrol etmedi.

Geliştirme ekibi, modellerin MediaConvert’te de kuyruklar bulunduğunu bildiğini ancak hiçbir denemede kuyruk listesini kontrol etmediğini açıkladı. Bu örnekte araştırma kapsamı dar tutulduğu için görevde istenen kaynaklar gözden kaçtı.

Resmi analizde Claude Fable 5.1’in bir çalıştırmasında tüm komutlar başarıyla tamamlandı ve ajanın kendi kontrolünde sorun görülmedi. Buna rağmen görev tamamlanmadı. Örnek, komutların ve öz denetimin başarılı olmasının nihai görev durumunun gerekli ölçütleri karşıladığı anlamına gelmediğini gösteriyor.

Yanlış işlem örnekleri de görüldü. Bazı ajanlar, bir depolama alanı taşınırken devam eden çok parçalı yüklemeleri kalan veri sanarak durdurdu. Geliştirme ekibi, verilerin yok olduğunu ve kurtarılamadığını bildirdi.

Herkese açık depoda görev yönergeleri, yapılandırma betikleri, otomatik puanlama kodu ve referans çözümler yer alıyor. Depodaki açıklamaya göre yakın zamanda eklenen 42 görev henüz oracle ve ses karşılaştırma çalıştırmalarından geçmedi.

Tam Docker/Harbor yaşam döngüsü çalıştırmaları ile adversarial izolasyon doğrulaması da sürümün geçiş koşulları arasında bulunuyor. Depodaki statik kontroller görev yapısını inceliyor; ajan çalıştırmayı veya bulut kaynağı oluşturmayı kapsamıyor.