Microsoft'un yapay zekâ ajanı testinde görev başarısı 22,1 puan yükseldi

Microsoft'un aynı yapay zekâ modeline yeni bir yürütme sistemi uyguladığı iç değerlendirmede, karmaşık görevlerde başarı oranı önceki sisteme kıyasla 22,1 yüzde puan arttı. Sonuçlar, model aynı kalsa bile ajanın araçları ve görev adımlarını yönetme biçiminin değerlendirme performansını değiştirebildiğini gösterdi.

Microsoft, 7 Kasım'da yayımladığı teknik raporda, Copilot Studio'nun standart yürütme sistemiyle yeni Copilot harness'ini aynı değerlendirme görevlerinde karşılaştırdığını açıkladı. Claude Opus 4.8 kullanılan deneyde yeni sistemin başarı oranı 22,1 yüzde puan, GPT-5.5 Chat karşılaştırmasında ise 10,8 yüzde puan daha yüksek çıktı. Bu iki sonuç şirketin kendi değerlendirmelerine dayanıyor.

Harness, modelin araçları kullanmasına, görev adımlarını sürdürmesine ve bir hata sonrasında ne yapacağını belirlemesine yardımcı olan yürütme sistemidir. Yalnızca modelin yanıt üretme biçimini değil, çalışma ortamını ve ilerleme durumunu da yönetir.

Mevcut standart sistem, kullanıcıyla hızlı etkileşim kurmak ve her adımda yanıt vermek üzere tasarlandı. Yeni sistem ise güvenli bir kapsayıcı ortamında komut satırı ve dosya araçlarını kullanıyor; modelin çok aşamalı işleri sürdürmesine olanak tanıyor.

Microsoft, yeni sistemde görev başına model çağrısı sayısının yaklaşık iki katına çıktığını bildirdi. Önbellek kullanım maliyetini hesaba katan hesaplamaya göre giriş tokenı tüketimi, standart sisteme kıyasla yüzde 15 ila 21 daha düşüktü. Bu sonuç, fiilen kullanılan giriş tokenı sayısının aynı oranda azaldığı anlamına gelmiyor.

Gerçek kullanım verilerinde, bir araç çağrısının başarısız olmasının ardından görevi sürdürme oranı yeni sistemde yüzde 84 ila 91, standart sistemde ise yüzde 7'nin altındaydı. Bu oran, görevlerin hata sonrasında devam ettirilmesini ölçüyor; nihai görev başarı oranıyla aynı gösterge değil.

8 Eylül'de yayımlanan ayrı bir kodlama araştırması, aynı Claude Opus 4.8 modelini 80 görevde değerlendirdi. İki yürütme sisteminin ortalama başarı oranları yüzde 48,8 ve yüzde 50,0 olurken, aradaki fark 1,25 yüzde puan olarak bildirildi. Araştırmacılar, güven aralığının -10 ile 7,5 yüzde puan arasında kaldığını ve sistemlerden birinin ortalama üstünlüğünün doğrulanmadığını belirtti.

Araştırma kodlama görevlerini, Microsoft'un değerlendirmesi ise kurumsal iş görevlerini ele aldı. Görevler ve ortamlar farklı olduğundan iki çalışmanın puanları doğrudan karşılaştırılamaz. Microsoft'un sonucu da yeni sistemin farklı görevlerde üstün olacağını tek başına kanıtlamıyor.

TokenPost daha önce, Microsoft araştırmacılarının uzun süreli belleği kaydetmeden önce doğrulama yaparak bir veritabanı arama görevindeki başarı oranını yüzde 39'dan yüzde 73'e çıkardığı araştırmayı aktarmıştı. Bu çalışma uzun süreli belleğin nasıl kaydedildiğine odaklanıyordu; mevcut harness değerlendirmesinden farklı bir konuyu inceliyordu.

Microsoft, 28 Ekim'de Foundry Agent Service içinde Copilot harness için açık önizlemeyi başlattı. Hizmet, geliştiricilerin yönetilen bir yürütme sistemiyle uzun süre çalışan ajanlar oluşturmasını sağlıyor.

Geliştiriciler desteklenen modeller arasından seçim yapıp araçları ve iş akışlarını birbirine bağlayabiliyor. Microsoft, ajanların yürütme sürecini ve sandbox ortamını yönetiyor. Sistem ayrıca bazı görev adımlarının alt ajanlara devredilmesini destekliyor.

Kimi, 5 Kasım'da şirketler ve geliştiriciler için Kimi Hosted Agents'ı kullanıma sundu. Bulut üzerinde uzun süre çalışan ajanlar için tasarlanan ortamda şirketler araç erişimini belirleyebiliyor, çalışmayı durdurabiliyor ve kayıtları denetleyebiliyor. Kimi, yatırım araştırması ve fon mutabakatı gibi işleri içeren finansal kullanım için sekiz ajan şablonu sundu.

Anthropic, yönetilen ajanlara ilişkin teknik açıklamasında yürütme kayıtlarını, harness'i ve kod çalıştırma için yalıtılmış ortamı ayrı bileşenler olarak işlettiğini bildirdi. Bu düzenleme, her bileşenin bağımsız biçimde değiştirilmesine olanak tanıyor.

Microsoft, Foundry'deki Copilot harness için 1 Aralık'tan itibaren kullanıma dayalı ücretlendirme uygulayacak. Şirketin açıkladığı fiyatlar, sandbox işlem gücü için vCPU saati başına 0,0994 dolar (yaklaşık 134 won), bellek için 1 GiB saat başına 0,0118 dolar (yaklaşık 16 won). Ücretler bölgeye ve sözleşmeye göre değişebilecek.