Haberler 
Coin Bilgisi 
Hakkımızda 
Üç yeni yapay zekâ modeli, Coinbase’in dolandırıcılık tespit testinde önceki sürümlere kıyasla daha düşük recall ve tutar ağırlıklı recall sonuçları verdi. Coinbase, geçmişteki 16.140 on-ramp işlemini aynı ölçütlerle değerlendirdi.
Coinbase, geliştirici platformundaki hesap paylaşımında, doğrulanmış 813 dolandırıcılık işlemini içeren kayıtları test ettiğini açıkladı. Testte Opus 4.5 ve 5, Sonnet 4.6 ve 5 ile GPT-5.4 ve GPT-5.6 (Sol) karşılaştırıldı.
Üç model ailesinin de en yeni sürümleri recall, F1 skoru ve tutar ağırlıklı recall ölçütlerinde önceki sürümlerin gerisinde kaldı. Recall, gerçek dolandırıcılık işlemlerinin model tarafından bulunan oranını; tutar ağırlıklı recall ise toplam dolandırıcılık tutarının ne kadarının tespit edildiğini gösteriyor. Coinbase, daha fazla dolandırıcılık vakası bulmanın ve dolandırıcılık tutarının daha büyük bölümünü tespit etmenin farklı hedefler olduğunu belirtti.
Sonuçlar modellere göre değişti. Coinbase’in testinde Opus 5 ve Sonnet 5, dört ölçütün tamamında önceki sürümlerden daha düşük sonuç aldı. Sonnet’in recall oranı 22,2 yüzde puan, tutar ağırlıklı recall oranı ise 22,9 yüzde puan geriledi.
GPT-5.6 (Sol), önceki sürümüne göre precision değerini 11,5 yüzde puan artırdı. Ancak recall 20,7 yüzde puan, tutar ağırlıklı recall 21,8 yüzde puan düştü. Precision, modelin dolandırıcılık olarak sınıflandırdığı işlemler içinde gerçekten dolandırıcılık olanların oranını ifade ediyor.
Coinbase, testin performans farklarını ortaya koyduğunu ancak bu farkların nedenini kesinleştirmediğini açıkladı. Olası açıklamalar arasında modelin karar sınırları, istemleri işleme biçimi, eğitim verilerinin yapısı ve sonraki eğitim süreçlerindeki değişiklikler yer aldı. Değerlendirme, yeni modellerin gerçek ortamda kullanıma alınması hâlinde müşterilerin uğrayacağı zararın nasıl değişeceğini ölçen bir deney değildi.
Şirket, kullanıma almadan önce geçmiş işlemleri yeniden oynatarak aday modelleri aynı ölçütlerle karşılaştırdı.
Yorum 0