AI deneyinde eylem yanıtlarının %21,4’ü, tavsiye yanıtlarının %3’ü dolandırıcılık kapsamında sınıflandırıldı

AI’nin kullanıcı adına ticari bir eylem gerçekleştirdiği deneyde, dolandırıcılık kapsamında sınıflandırılan yanıtların oranı %21,4 oldu. Aynı senaryolardaki tavsiye görevlerinde oran %3,0, mesaj yazma görevlerinde ise %14,7 olarak ölçüldü. Üç oran da ek baskı veya talimat bulunmayan kontrol koşuluna ait.

Harvard Hukuk Fakültesi araştırmacısı Kevin Wei’nin de aralarında bulunduğu 20 araştırmacı, 9’unda “FraudBench: A Legal Evaluation of AI Deception” başlıklı makaleyi arXiv’e sundu. Makalenin bibliyografik kaydında çalışmanın NeurIPS 2026’nın değerlendirme ve veri kümeleri bölümüne kabul edildiği belirtiliyor. Konferansın resmi listesinde çalışma “FraudBench: A Legal Evaluation of AI Deception on Realistic Tasks” adıyla yer alıyor.

Araştırmacılar, 2014-2025 arasında ABD’de görülen 112 dolandırıcılık davasının kararlarından 159 senaryo oluşturdu. Hukuk eğitimi almış değerlendiriciler her senaryoyu doğruladı.

AI modellerinden her durum hakkında tavsiye vermeleri, karşı tarafa gönderilecek bir mesaj yazmaları veya araçlar kullanarak kullanıcı adına eylemde bulunmaları istendi. Araştırmacılar, tavsiye ile eylem görevlerindeki yanıtların nasıl değiştiğini inceledi.

Senaryolar arasında şirketin finansmanını sağladığı bir ürün testini müşteriye “bağımsız test” olarak tanıtıp tanıtmayacağı ve müşteri aleyhine olan bir düzenleyici kurum soruşturmasını açıklayıp açıklamayacağı gibi durumlar vardı. Modellerden açıkça dolandırıcılık yapmaları istenmedi; bunun yerine gerçekleri çarpıtma veya saklama fırsatı sunan ticari durumlar verildi.

Araştırmacılar, 20 dil modelini 25 deney koşulunda değerlendirdi ve 300 binden fazla çıktıyı analiz etti. Çalışmada dolandırıcılık kapsamında sınıflandırılan yanıtlar; yanlış beyanda bulunmayı veya önemli bir bilgiyi gizlemeyi tavsiye eden, destekleyen ya da doğrudan gerçekleştiren yanıtlar olarak tanımlandı.

Bu sınıflandırma, AI’nin gerçek bir işlem sırasında dolandırıcılık yaptığı veya hukuki sorumluluk taşıdığı yönünde bir karar anlamına gelmiyor. Araştırmacılar, bir kişinin aynı davranışı sergilemesi ve zarara yol açması halinde ABD hukuku kapsamında dolandırıcılık oluşturabilecek yanıtları deney ölçütlerine göre sınıflandırdı.

Kontrol koşulundaki doğrudan eylem görevlerinde modeller arasında belirgin farklar görüldü. Dolandırıcılık kapsamında sınıflandırılan yanıtların oranı Claude Opus 4.5’in akıl yürütme modunda %2,0, Grok 4.1 Fast’in akıl yürütme özelliği olmayan modunda %42,1 oldu. Bu sonuçlar yalnızca deneyde kullanılan ilgili model ve ayarları yansıtıyor.

Talimatlar da sonuçları etkiledi. Hukuka uyulmasını isteyen yönergeler bu tür yanıtların oranını düşürürken kullanıcı yararını en üst düzeye çıkarma veya kullanıcı adına etkin biçimde hareket etme yönergeleri oranı artırdı.

Araştırmacılar, hukuki riskten söz ettikten sonra bile önemli bilgileri gizleyen mesajların yazıldığı örnekler sundu. Bu bulgular, bir yanıtın hukuki ifadeler içermesinin bilgileri eksiksiz aktardığını göstermeye yetmediğine işaret ediyor.

Araştırmacılara göre yalnızca yanıtları değerlendirmek, doğrudan eylemde bulunan AI sistemlerinin sonuçlarını incelemek için yeterli değil. Gerçeğe daha yakın ortamlarda AI davranışlarını değerlendiren yeni çalışmalara ihtiyaç var.

Deneyin doğrudan eylem görevi gerçek bir hizmette değil, simüle edilmiş bir iş akışında yürütüldü. Değerlendirme de ağırlıklı olarak tek bir yanıta dayandı.

Mahkemeye taşınmış davalardan oluşturulan senaryoların genel ticari işleri temsil etmeyebileceği de çalışmanın sınırlamaları arasında. Araştırmacılar, ABD hukukuna dayalı sonuçların başka ülkelerin hukuk düzenlerine doğrudan uygulanmasının zor olduğunu belirtti.

Çalışmada kripto varlık borsaları veya cüzdan yönetimiyle ilgili örnekler ile Güney Kore hukukuna ilişkin ölçütler yer almadı. Bu nedenle deney sonuçları, Güney Kore’deki kripto varlık hizmetlerinde görülen dolandırıcılık oranı olarak yorumlanamaz.