AI müzakerelerinde en iyi ortak anlaşma oranı %14; aleyhlerine teklifleri %81 oranında kabul ettiler

En üst düzey yapay zeka modelleri, ekip arkadaşlarının baskı yaptığı müzakerelerde iki tarafın toplam kazancını en üst düzeye çıkaran anlaşmaya yalnızca %14 oranında ulaştı. Aynı modeller görevi tek başlarına çözdüklerinde %100, sorun çıkarmayan bir ekip arkadaşıyla çalıştıklarında ise %84 başarı gösterdi.

Stanford Üniversitesi (Stanford University), Oxford Üniversitesi (University of Oxford) ve Massachusetts Teknoloji Enstitüsü (MIT; Massachusetts Institute of Technology) araştırmacıları, 2'sinde yayımladıkları “Measuring AI Agents as Teammates with Collaborative Intelligence” başlıklı makalede 18 modeli işbirliği zekası kıyaslamasıyla değerlendirdi. Testlerde kapalı modellerin yanı sıra açık ağırlıklı modeller de yer aldı. Altı model ayrıca yüksek akıl yürütme ayarında sınandı.

Kıyaslama, işbirliği senaryolarını sekiz alana ayırarak 240 görevden oluşturuldu. Görevler arasında güvenli olmayan kestirme yolları reddetmek, usulsüzlükleri bildirmek, bilgi paylaşmak, ekip arkadaşının duygularını gözetmek, takımın hedefini korumak, çatışmaları çözmek, kendiliğinden sorumluluk almak ve önceki çalışmayı devralmak yer aldı.

Görevlerin 94'ü kaza raporları, klinik vakalar ve düzenleyici kurum kayıtları gibi gerçek belgelerden alındı. Kalan 146 görev ise kodlama, müzakere, ekip kararları ve sınav soruları gibi mevcut değerlendirme görevlerinin işbirliği senaryolarına uyarlanmasıyla hazırlandı.

Araştırmacılar, modellerin gerekli tüm bilgilere sahipken tek başlarına çözebildikleri görevleri işbirliği puanlamasına dahil etti. İşbirliğinin etkisini ayırmak için her görevde tek başına çalışma, sorunsuz bir ekipte çalışma ve ekip arkadaşının sorun çıkardığı durumlar karşılaştırıldı.

Modeller iki ila beş kişilik ekiplere yerleştirildi. Sorun çıkaran ekip arkadaşı, her model için aynı senaryoyu uygulayan sabit bir metni izledi; diğer ekip üyelerini ise dil modelleri canlandırdı. Her görev üç ila sekiz diyalog turunda tamamlandı, sorunlu durum testleri üç kez tekrarlandı.

Müzakere görevinde amaç, taraflardan birinin payını büyütmek değil, iki tarafın toplam kazancını en üst düzeye çıkaran dağılımı bulmaktı. Baskı altındaki en üst düzey modeller, denemelerin %99'unda karşı tarafın ihtiyaçlarını sordu; ancak %81'inde karşı tarafın kendileri için daha dezavantajlı teklifini kabul etti. Nihai anlaşmalarda takımın toplam puanı, ulaşılabilecek en yüksek puanın ortalama %95'ine ulaştı.

Güvenlik görevlerinde modeller görece daha iyi sonuç aldı. En üst düzey model grubu, güvenli olmayan kestirme yolları reddetme ve usulsüzlükleri bildirme görevlerinin her birinde %93'ün üzerinde başarı gösterdi. Buna karşılık ekip arkadaşının duygularını ve durumunu gözetme görevindeki başarı oranı %45'te kaldı.

Önceki bir modelin işini devralma testlerinde de performans düştü. En üst düzey modeller aynı görevi baştan üstlendiklerinde %97 başarı gösterirken, daha zayıf bir modelin usulsüzlük yaptığı bir işi devraldıklarında oran %81'e geriledi.

Kodlama işlerinin devredildiği 165 denemenin 56'sı başarısız oldu. Bu başarısızlıkların 44'ünde son kodda değiştirilmiş bölümler kaldı. Bazı modeller sorunu belirtmelerine rağmen bu bölümleri kaldırmadı.

Araştırmacılar, başarısızlıkların yalnızca modellerin sorunu fark edememesinden kaynaklanmadığını değerlendirdi. En üst düzey modellerdeki başarısızlıkların %62'si, model sorunu fark ettikten sonra uygun adımı atamaması olarak sınıflandırıldı.

İşbirliği puanı yalnızca bireysel problem çözme becerisiyle açıklanmadı. Genel yetenek puanları birbirine yakın modeller arasında bile işbirliği puanı farkı 11 puana kadar çıktı.

Genel puan sıralamasında ilk sırayı Gemini 4 Argon aldı. Model, yüksek akıl yürütme ayarında 82,2 puan, varsayılan ayarda ise 76,6 puan elde etti.

Sonuçlar, iş yerlerinde kullanılan yapay zekaların performansını doğrudan ölçmüyor. Sorun çıkaran ekip arkadaşları önceden yazılmış senaryoları izledi ve modeller insanlarla değil, başka dil modelleriyle çalıştı.

Araştırmacılar 240 görevden 160'ını ve kod ile verileri yayımladı; kalan 80 görevi ise ayrı değerlendirmeler için ayırdı.