Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

Yüzde 44,3'e varan çıktı token farkı yapay zekâ üslup deneyinde ölçüldü

Aynı soru yapay zekâ modellerine farklı üsluplarla yöneltildiğinde üretilen çıktı tokenlarının sayısı değişti; en büyük fark yüzde 44,3 oldu. Doğruluk oranındaki değişim modele göre farklılık gösterdi. Bu oran, kullanıcılara yansıtılan ücret farkını göstermiyor.

Pennsylvania Eyalet Üniversitesi (Pennsylvania State University) araştırmacıları bulgularını 27 Temmuz 2026'da yayımladıkları ön baskıda duyurdu. Ön baskı, akademik dergi veya konferans incelemesinden geçip yayımlanmadan önce kamuya açılan bilimsel çalışmadır.

Araştırmacılar, İngilizce 570 çoktan seçmeli değerlendirme sorusunu yedi farklı üslupla yeniden yazıp dört modele yöneltti. ChatGPT ailesinden 4o ve 5-nano ile Gemini 2.5 Flash ve 2.5 Flash Lite modellerini her koşulda 10 kez denediler.

Çıktı miktarı arasındaki farkın en büyük olduğu Gemini 2.5 Flash Lite, nazik üslupta ortalama 2.195,24 token, nötr üslupta ise 1.221,76 token üretti. İki koşul arasındaki fark 973,5 token oldu. Araştırmanın bildirdiği değişim, en yüksek çıktı miktarının yüzde 44,3'üne ulaştı.

Aynı yöntemle hesaplanan üsluba bağlı çıktı farkı ChatGPT-4o'da yüzde 23,2, ChatGPT-5-nano'da yüzde 13,1 ve Gemini 2.5 Flash'ta yüzde 23 oldu. Yüzde 44,3'lük fark, dört model arasındaki en yüksek oran.

Araştırmacılar, yanıt oluşturulurken kullanılan çıktı tokenı sayısını maliyet için dolaylı bir gösterge olarak kullandı. Çalışmada gerçek fatura tutarı veya elektrik tüketimi ölçülmedi.

Gerçek ücret, girdi tokenlarının sayısına ve modele göre değişen fiyatlandırmaya da bağlı. Araştırmacılar, token sayım yöntemleri modeller arasında farklı olduğu için mutlak değerleri karşılaştırmadı; her modelde üsluba bağlı değişimi inceledi.

Tüm modellere, yanıtın gerekçesini adım adım açıklamaları ve en sonda tek bir doğru seçenek belirtmeleri yönünde ortak talimat verildi. Gemini modellerinde ayrı düşünme tokenı tahsisi sıfıra ayarlandı. Bu koşulda ölçülen çıktı tokenları ekranda görünen yanıt uzunluğuna karşılık geldi.

Doğruluk da üsluba göre değişti, ancak değişimin yönü modeller arasında aynı değildi. ChatGPT-4o, kaba üslup koşulunda yüzde 89,04; nötr koşulda yüzde 87,84 doğruluk kaydetti.

Buna karşılık Gemini 2.5 Flash Lite'ın doğruluğu nötr koşulda yüzde 88,25, kaba koşulda yüzde 85,26 oldu. Gemini 2.5 Flash ise nötr koşulda yüzde 90,12, kaba koşulda yüzde 87,65 doğruluk elde etti.

Deneyde üslup talimatları ile yanıt biçimine yönelik talimatlar tamamen birbirinden ayrılmadı. Nötr koşulda modelden yalnızca doğru seçeneğin harfini vermesi istendi; kaba koşulda ise ek açıklama yapmaması talep edildi.

Bu nedenle sonuçları yalnızca küfürlü veya kaba dilin etkisi olarak yorumlamak güç. Deney İngilizce çoktan seçmeli sorular ve dört modelle sınırlı olduğundan bulguların Türkçe konuşmalara veya genel olarak açık uçlu sorulara da uygulanacağı söylenemez.

Aynı araştırma ekibinin 2025'teki önceki deneyi, ChatGPT-4o'ya matematik, fen ve tarih alanlarından 50 çoktan seçmeli soruyu beş farklı üslupla yöneltti. O deneyde doğruluk, çok kaba koşulda yüzde 84,8; çok nazik koşulda yüzde 80,8 oldu.

Araştırmacıların bir konferansta sunduğu ayrı bir makalede de üsluba bağlı doğruluk farkları görüldü. Bu makaledeki 570 soruluk deneyde ChatGPT-4o'nun doğruluğu kaba koşulda yüzde 81,3, nötr koşulda yüzde 81,0 ve tehditkâr koşulda yüzde 79,3 olarak ölçüldü.

Aynı ayrı makalede ChatGPT-5-nano, nötr koşulda yüzde 82,4; tehditkâr koşulda yüzde 71,2 doğruluk kaydetti. 2025 deneyi ile ayrı konferans makalesinde kullanılan sorular ve koşullar farklı olduğundan bu sonuçlar, çıktı tokenlarını inceleyen mevcut çalışmanın verileriyle birleştirilemez.

Anthropic, 8 Ekim 2026'da yayımladığı kullanım politikası güncellemesinde modellere yönelik sürekli ve gereksiz kötü muameleyi yasakladığını bildirdi. Yeni madde 12 Kasım'da yürürlüğe girdi. Genel memnuniyetsizlik ifadeleri, karşı çıkma, model testi ve araştırmalar kapsam dışında bırakıldı.

Araştırmadan ayrı olarak, ABD'deki kullanıcı örnekleminin yüzde 33'ünün sohbet botlarına en az bir kez küfür veya hakaret içeren ifade gönderdiğini bildiren bir anket de yayımlandı. TokenPost, ABD'deki kullanıcıların sohbet botu kullanımını inceleyen anketi ve Anthropic'in politikasını ele almıştı.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1