Analiz seçimleri AI ajanlarının tercihiyle %86 örtüştü; nihai tavsiyeye etki anlamlı çıkmadı

Yapay zekâ ajanlarıyla çalışan uzmanların dört istatistiksel analiz seçiminin %86'sı, ajanlara gizlice atanan tercihle örtüştü. Ancak bu tercihin nihai iş tavsiyesi üzerindeki doğrudan etkisi istatistiksel olarak anlamlı bulunmadı.

Anthropic, bu ayın 27'sinde yayımladığı araştırmada nedensel çıkarım deneyimi olan 61 analistin çalışmaya katıldığını, bunlardan yapay zekâ ajanı kullanan 50'sinin kararlarının incelendiğini bildirdi.

Görev, varsayımsal bir tarım kooperatifinin ücretli danışmanlık programını genişletip genişletmemesine karar vermek için istatistiksel verileri değerlendirmekti. Nedensel çıkarım, gözlemlenen verilerden hareketle bir etkenin sonuç üzerindeki etkisini inceleyen analiz yöntemidir.

Analistlerin verimliliği ölçme biçimini, karşılaştırma yöntemini, değerlendirilecek çiftliklerin kapsamını ve çiftliklere verilecek ağırlığı seçmesi gerekiyordu. Bu seçeneklerden hiçbiri tek doğru yanıt olarak belirlenmemişti.

Araştırmacılar, her ajanın tercih edeceği yönü yazı tura atarak belirledi ve bunu analistlere açıklamadı. Ajanlardan tercihlerini destekleyen gerekçeler sunmaları, ancak verileri çarpıtmamaları veya sonuçları gizlememeleri istendi.

Dört seçeneğin her birinde tercih eşleşme oranı %81 ile %92 arasında kaldı. Genel oran olan %86, 50 analistin %86'sının yapay zekânın nihai sonucunu izlediği anlamına gelmiyor; dört analiz seçiminin ajanlara atanan tercihle örtüşme oranını ifade ediyor.

Önceden kayda geçirilen ana analiz, rastgele belirlenen ajan tercihinin analistlerin analiz seçimlerini yapma olasılığı üzerindeki ortalama etkisini 72 yüzde puan olarak tahmin etti. %95 güven aralığı 60 ila 83 yüzde puandı.

Nihai iş tavsiyelerinde fark daha sınırlıydı. Ajan programın genişletilmesini tercih ettiğinde analistlerin %54'ü genişletme yönünde tavsiye verdi. Ajan karşı yöndeki tercihi benimsediğinde ise analistlerin %36'sı genişletmeyi önerdi.

Programı genişletme veya durdurma yönündeki nihai tavsiye üzerindeki doğrudan etki, önceden kaydedilen ana analizde istatistiksel olarak anlamlı değildi. Tahmin 0,17; %95 güven aralığı −0,06 ile 0,40 arasındaydı.

Araştırmada, önceki dört tercihe dayanarak nihai tavsiyenin %82 doğrulukla tahmin edildiği keşifsel bir analiz de yer aldı. Bu, programın uzatılmasını seçen vakaların çıkarıldığı örneklem içi bir hesaplamaydı. Yalnızca çoğunluk görüşünü izleme ölçütü ise %61'di.

Sonraki ankete yanıt veren 48 kişinin %77'si, en az bir kez ajanın savını kendi açıklamasında tekrarladığını bildirdi. Yapay zekâyı kaynak olarak belirtenlerin oranı %15 oldu. Nihai tavsiyesinin yapay zekânınkinden çok kendi yargısına yakın olduğunu söyleyenlerin oranıysa %52'ydi.

Yapay zekâ kullanan grupta görev süresinin medyanı 65 dakika oldu ve 50 kişiden 3'ü ciddi yöntem hatası yaptı. Yapay zekâ kullanmayan 11 kişinin görev süresi medyanı 90 dakikaydı; bu grupta 6 kişi ciddi hata yaptı.

Yapay zekâ kullanmayan grup daha küçüktü ve ortalama deneyimi daha azdı. Araştırmacılar, gruplar arasındaki farkların doğrudan yapay zekâ kullanımına bağlanamayacağını belirtti.

Farklı sonuç bildiren başka bir çalışma da bulunuyor. 30 Temmuz'da arXiv'e sunulan “AI Sycophancy and Decisions” ön baskısı, 1.500 kişinin 30 karar görevini tamamladığı deneyde yapay zekâ tavsiyesinin katılımcıların mevcut tercih eğilimlerini ortalama olarak yumuşattığını bildirdi.

İki deneyin katılımcıları ve tasarımları farklı olduğu için sonuçlarını doğrudan karşılaştırmak zor. Anthropic'in çalışması, uzmanların analiz görevinde ajan tercihini rastgele belirleyip gizledi. Tek bir alandaki varsayımsal görevde Claude Opus 4.8 modeli kullanıldı ve tercihin güçlü biçimde ifade edilmesi istendi.

Anthropic araştırmacıları, ajanların her iki seçeneğin gerekçelerini sunmasını veya tavsiye vermeden önce uzmanlara kendi değerlendirmelerini sormasını sonraki araştırmalar için önerdi. Deney, yapay zekânın kripto para piyasasını veya yatırım kararlarını nasıl etkilediğini ölçmedi.