Çoklu AI ajanlarında token kullanımı 4,7 kata çıktı; Amazon araştırmacıları tekli yapıyı önerdi

Amazon(AMZN) ve Washington Üniversitesi (University of Washington) araştırmacıları, kurumsal işlerde kullanılan AI ajanları için başlangıç noktası olarak tek ajanlı bir yapı önerdi. Deneyde en yüksek başarı oranına ulaşan çoklu ajanlı yapı, tek ajanlı yapıya kıyasla 4,7 kat token ve 3,1 kat işlem süresi kullandı.

Araştırmacılar 7 Kasım'da yayımladıkları makalede, kuruluşların iş süreçlerinde izlediği 13 standart operasyon prosedürü (SOP) üzerinde dört AI ajanı mimarisini ve sekiz yapılandırmayı karşılaştırdı. SOP, bir kuruluşun işleri yürütürken izlediği prosedürleri ifade ediyor.

Model Claude Opus 4.8 olarak sabit tutuldu. Görevler ve araçlar aynı bırakılırken yalnızca ajan mimarisi değiştirildi. Görev başarı oranı (TSR), tüm görevler içinde doğru yanıt üretilenlerin payı olarak ölçüldü.

Tek ajanlı temel yapının başarı oranı %67,4 oldu. Görev başına ortalama token kullanımı 24.900, işlem süresi ise 24 saniyeydi.

Yüksek kaliteli beceri modülleri eklenen tek ajanlı yapının başarı oranı %73,1'e yükseldi. Düşük kaliteli modüller kullanılan yapı ise %59,8'de kaldı. Araştırmacılar, modül eklemekten çok yönergelerin kalitesi ve göreve uygunluğunun önem taşıdığını değerlendirdi.

Çoklu ajanlı yapıların sonuçları, görevlerin nasıl paylaştırıldığına göre değişti. Görevleri bölerek uzman ajanlara devreden ilk yapılandırmanın başarı oranı %58,2 oldu ve tek ajanlı temel yapının gerisinde kaldı.

Her görev ajanına SOP'nin tamamı ve araçların verildiği; ayrıca görevlerin yeniden atanması ve sonuçların doğrulanmasının eklendiği yapı, sonuç tablosunda %75,6 başarı oranına ulaştı. Araştırmacılar, temel yapıya kıyasla istatistiksel olarak anlamlı ölçüde daha yüksek performans gösteren tek örneğin bu olduğunu bildirdi.

Geliştirilmiş çoklu ajanlı yapı görev başına 117.300 token kullandı ve işlemi 73,5 saniyede tamamladı. Araştırmada karşılaştırılan uyarlanmış yapılar, temel yapıya göre 1,4 ila 4,7 kat fazla token ve 2,6 ila 5,8 kat uzun işlem süresi kullandı. En uzun süre 138,6 saniyeyle swarm yapısında görüldü. Makalede gerçek kullanım maliyeti para cinsinden verilmedi.

Araştırmacılar, karmaşık görevlerde mimariye katman eklemenin performansı artırıp artırmadığını inceledi. Ancak görev karmaşıklığı ile performans artışı arasında istatistiksel olarak anlamlı bir ilişki bulamadı. Bu sonuç, tek ajanlı yapının her görevde daha doğru olduğu anlamına gelmiyor. Araştırmacılar önce tek ajanlı bir yapının uygulanmasını, ardından göreve özgü performans artışının ek kaynak kullanımını haklı çıkarıp çıkarmadığının ölçülmesini önerdi.

Makalede başarı oranlarına ilişkin bir tutarsızlık da bulunuyor. Sonuç tablosu ve ana metin, 13 SOP için tek ajanlı yapıda %67,4, geliştirilmiş çoklu ajanlı yapıda %75,6 oranlarını veriyor. Buna karşılık sonuç bölümü, değerlendirme kapsamını 12 SOP olarak belirtiyor ve oranları sırasıyla %65,6 ve %74,4 olarak aktarıyor.

Araştırmacılar, geliştirilmiş çoklu ajanlı yapıda birden fazla öğenin birlikte üretilmesini gerektiren görevlerde ortaya çıkan hataları doğrulayamadıklarını bildirdi. Bu nedenle makalede söz konusu sonuçların geçici kabul edilmesi gerektiğini belirtti.

Performansla kaynak kullanımını birlikte inceleyen AI ajanı araştırmaları daha önce de yayımlandı. Meta araştırmacılarının harness çalışması da matematik ve kodlama kıyaslama testlerinde puan artışının yanı sıra token kullanımının yükseldiğini bildirmişti.

Amazon Web Services (AWS), 9 Kasım'da yayımladığı tasarım kılavuzunda basit görevlerde tek ajan, birden fazla alanı kapsayan karmaşık görevlerde ise bir gözetmen ajanla uzman ajanların birlikte kullanılmasını önerdi. Kılavuz, bu makaleye doğrudan bir yorum değil; AWS'nin kendi hizmetlerini kullananlara yönelik tasarım yönergesi niteliğinde.

Deneyde gerçek hizmetler yerine sonuçları önceden belirlenmiş simülasyon araçları kullanıldı. Araştırma, hizmet işletimi sırasında oluşabilecek gecikme ve hataları ya da tekrarlanan çalıştırmalardaki değişkenliği ölçmedi. Ayrıca testler tek bir modelle sınırlı kaldı; varklık veya blok zinciri görevleri de değerlendirmeye alınmadı.