Yanıtsız benzer belgelerin payı %10 olunca Qwen doğruluğu %68’den %45,5’e düştü

NVIDIA (NVIDIA) ile Texas A&M Üniversitesi (Texas A&M University) araştırmacılarının yürüttüğü bir soru-cevap deneyinde, uzun model girdisine soruyla benzer ancak yanıtı içermeyen belgeler eklendiğinde Qwen2.5-7B-Instruct’ın doğruluğu %68’den %45,5’e geriledi. Yanıltıcı belgelerin %10’unu bu tür benzer belgeler oluşturuyordu.

Araştırmacılar bu etkiye “ilk mürekkep damlası” adını verdi. Makale 20 Ağustos 2026’da güncellendi. Üç yazardan biri NVIDIA AI Technology Center’da, ikisi Texas A&M University’de görev yapıyor.

Çalışmada “zorlayıcı yanıltıcı belge”, soruyla anlam bakımından benzer görünen ancak yanıtı içermeyen belge olarak tanımlanıyor. Soruyla ilgisi az olan cümlelerden veya rastgele belgelerden farklı olarak bu belgeler, olası doğru yanıt gibi görünüp yanıtı içeren belgeyle rekabet edebiliyor.

Deneyde modele yanıtı içeren belgelerle yanıltıcı belgeler birlikte sunuldu ve modelden soruyu yanıtlaması istendi. Araştırmacılar girdi uzunluğunu sabit tutarak yanıltıcı belge türünü ve zorlayıcı yanıltıcı belgelerin oranını değiştirdi, ardından sonuçları karşılaştırdı.

Belgelerin uzunluğu çoğunlukla 100-150 token arasında tutuldu ve konum etkisini azaltmak için sıraları rastgele değiştirildi. Her veri kümesi, bağlam uzunluğu ve yanıltıcı belge oranı birleşimi için 200 örnek değerlendirildi.

Değerlendirmede Natural Questions, TriviaQA, PopQA ve HotpotQA olmak üzere dört soru-cevap görevi kullanıldı. Bu görevler arasında yanıtı tek bir belgeden bulma ve birden fazla adımda akıl yürütme gerektiren örnekler yer aldı.

Öne çıkan sonuç, 128K token uzunluğundaki Natural Questions deneyinden geldi. Zorlayıcı yanıltıcı belge bulunmayan koşulda Qwen2.5-7B-Instruct’ın doğruluğu %68 oldu. Yanıltıcı belgelerin %10’unun zorlayıcı yanıltıcı belge olduğu koşulda ise doğruluk %45,5’e indi. Token, modelin metni işlemek için kullandığı birimdir.

Makalenin ana metninde, ilk %10’luk aralıkta toplam doğruluk düşüşünün %58’inin gerçekleştiği yazıyor. Ancak ek tablodaki aynı koşula ait verilerle yapılan hesaplama, ana metindeki %58 oranıyla örtüşmüyor.

Araştırmacılar, zorlayıcı yanıltıcı belgelerin oranı arttıkça doğruluğun sabit bir hızla düşmediğini belirtti. Düşüşün büyük bölümü bu belgelerin oranının ilk kez artırıldığı aralıkta görüldü; oran daha sonra yükseltildiğinde ek düşüş görece sınırlı kaldı.

Araştırmacılar ayrıca modelin yanıtı içeren belgeye nasıl dikkat verdiğini inceledi. Soruyla benzer yanıltıcı belgelerin, soruyla ilgisiz cümlelere kıyasla yanıtı içeren belgeyle daha güçlü biçimde rekabet ettiği görüldü.

Ancak araştırmacılar, dikkat mekanizmasını devre dışı bırakmanın doğruluğu geri getirip getirmediğini test etmedi. Bu analizden yola çıkarak etkili bir azaltma yönteminin doğrulandığını da ileri sürmedi.

Arama destekli üretim (RAG), yanıt oluşturulurken dış kaynaklardaki belgelerin aranıp model girdisine eklenmesi yöntemidir. Araştırmacılar, arama sonuçlarının sayısının yanı sıra soruya benzeyen ancak yanıtı içermeyen belgelerin de değerlendirilmesi gerektiğini öne sürdü.

Belge filtreleme deneyinde, girdi bağlamını kısaltmak tek başına performansı artırdı. Belge düzeninden kaynaklanan farklar, zorlayıcı yanıltıcı belgelerin oranı neredeyse sıfıra indirildiğinde belirginleşti.

Araştırmacılar, yanıt öncesinde belgeleri filtrelemenin yanı sıra arama aşamasında yanıt içermeyen benzer belgelerin daha az getirilmesinin de önemli olduğunu belirtti. Deney, kontrollü çok belgeli soru-cevap görevleriyle sınırlı kaldı.

Aynı sonuçların özetleme, kod anlama veya birbirini izleyen uzun sohbetler gibi başka görevlerde de geçerli olup olmadığını belirlemek için ek araştırma gerekiyor. Çalışma, ticari hizmetlerin genelindeki performans değişimini ölçmedi.