%41,25 başarı sağlayan Anthropic'in Fable 5.2'si, serbest iş görevlerinin %58,75'inde eşiği geçemedi

Anthropic'in Fable 5.2 modeli, uzaktan yürütülen serbest çalışma görevleri değerlendirmesinde %41,25 geçiş oranıyla ilk sırada yer aldı. Model, görevlerin %58,75'inde müşterinin kabul ölçütünü karşılayamadı.

Scale AI'nin yayımladığı Uzaktan Çalışma Endeksi (Remote Labor Index, RLI) sıralamasında, 13'ünde yapılan kontrol itibarıyla Fable 5.2'nin puanı %41,25, ikinci sıradaki Opus 5.5'in puanı %21,25 oldu. İki model arasındaki fark 20 yüzde puan.

Anthropic, 9'unda yayımladığı model duyurusunda Fable 5.2'nin RLI puanını %41,3 olarak açıkladı. Şirket, bu sonucun güvenlik önlemleriyle birlikte yüksek akıl yürütme çabası sunan High effort ayarında elde edildiğini belirtti. Sıralamadaki %41,25 ile şirketin açıkladığı %41,3 arasındaki fark, ondalık basamakların gösteriminden kaynaklanıyor.

RLI, tek bir soruya doğru yanıt verilip verilmediğinden çok, talep edilen projenin tamamlanıp tamamlanmadığını değerlendiriyor. Puanlamada işin yalnızca bir bölümü değil, teslim edilen sonucun bütünlüğü esas alınıyor.

Scale AI'nin RLI araştırma dokümanında değerlendirme veri kümesinin 240 serbest çalışma görevinden oluştuğu belirtildi. Görevler, Upwork'ün 64 kategorisinden 23'ünü kapsıyor.

Her projede iş talebi, çalışmada gereken girdi dosyaları ve uzmanlar tarafından hazırlanmış tamamlanmış bir çıktı bulunuyor. Yapay zekânın aynı materyallerle ürettiği sonuç, uzmanın çalışmasıyla karşılaştırılıyor.

Değerlendirme ölçütü, makul bir müşterinin teslim edilen işi talep ettiği sonuç olarak kabul edip etmeyeceği. Eğitimli üç değerlendirici ayrı ayrı karar veriyor; geçiş durumu çoğunluk oyuyla belirleniyor.

Bazı özelliklerin çalışması ya da taslağın işe yarar bulunması tek başına geçmek için yeterli değil. Son çıktı ölçütleri karşılamazsa, görev kısmen tamamlanmış olsa bile geçiş oranına katkı sağlamıyor.

Bu nedenle %41,25'lik oran, serbest çalışma işlerinin %41,25'inin yapay zekâ tarafından devralınabileceği anlamına gelmiyor. Bu oran, belirli bir proje örnekleminde değerlendirme ölçütlerini geçen işlerin payını gösteriyor.

RLI, 240 projenin 230'unu resmi sayısal sıralamada kullanılan özel projeler olarak değerlendiriyor; kalan 10 proje ise nitel analiz için kamuya açılıyor. Sıralama tablosunda Fable 5.2'nin kaç projeyi geçtiği ayrıca belirtilmiyor.

Değerlendirmenin kapsamı da sınırlı. Müşterilerle doğrudan iletişim gerektiren işler, fiziksel emek içeren görevler ve sonuçların uzun süre izlenmesini gerektiren işler örnekleme alınmadı.

Bu puan tek başına gerçek kullanımda ne kadar insan desteği gerektiğini ya da dağıtım maliyetini göstermiyor. Sıralama, belirlenmiş koşullarda üretilen çıktıların kalitesini ortaya koyuyor; hangi alanda insan işinin ne kadarlık maliyetle devredilebileceğini yanıtlamıyor.

Modelin tanıtımı üzerine Hacker News'te yapılan tartışmalarda hem beklentiler hem de temkinli görüşler paylaşıldı. Bir kullanıcı, diğer modellerin yaklaşık %20 düzeyindeki sonuçlarıyla karşılaştırıldığında Fable 5.2'nin yeni yapay zekâ ajanı görevlerinin önünü açabileceğini savundu.

Diğer kullanıcılar ise kişisel kullanım deneyiminin, modellerin karşılaştırıldığı koşulların ve maliyetlerin birlikte değerlendirilmesi gerektiğini belirtti. Bunlar kullanıcı görüşleri; ayrı bir performans doğrulaması niteliği taşımıyor.

Yapay zekâ değerlendirme puanlarını yorumlarken görevlerin nasıl seçildiğini ve hangi ölçütlerle puanlandığını da dikkate almak gerekiyor. Yayımlanan sıralama model başına geçiş oranlarını gösterse de Fable 5.2'nin geçemediği projelerdeki tekil hata nedenlerini açıklamıyor.