RAG sıralama metriği %40,2-%61,5 geriledi: Soru başına 5 belge deneyi

Her soruyu hedefleyen beş belge arama havuzuna eklendiğinde, retrieval-augmented generation (RAG) sisteminin arama sıralama metriği önceki düzeye kıyasla %40,2-%61,5 düştü. Bu oran, yapay zekânın nihai yanıtı yanlış verme olasılığını değil, kaynak bulma aşamasındaki sıralama kalitesindeki değişimi gösteriyor.

Google ve Fortinet araştırmacıları, 3'ünde arXiv'de yayımladıkları makalede arama havuzuna sorulara benzeyen belgeler ekleyen bir deney yaptı. RAG, yapay zekânın yanıt oluşturmadan önce dış kaynaklardaki belgeleri bulup kullandığı bir yöntem.

Araştırmacılar, SciFact'teki 300 ve NFCorpus'taki 323 soru olmak üzere toplam 623 soruyla arama sistemlerini sınadı. Deneyde, anahtar kelime eşleşmesine dayanan BM25, anlamsal benzerliği karşılaştıran LSA ve bu iki yöntemi birleştiren hibrit arama kullanıldı.

Arama kalitesi, ilk 10 sonuçtaki ilgili belgelerin sıralamada ne kadar üstte yer aldığını ölçen nDCG@10 metriğiyle değerlendirildi. Makalede verilen %40,2-%61,5 aralığı, bu metrikteki düşüşü ifade ediyor.

Araştırmacılar her soru için o soruyu hedefleyen beş belge ekledi. Her soru yalnızca kendisi için hazırlanmış belgelerle sınandığında, bu belgeler SciFact'in tüm veri kümesinin %0,10'unu, NFCorpus'un ise %0,14'ünü oluşturdu.

Bu oranlar, arama havuzuna rastgele belge eklenen bir deneyin sonucu değil. Makale, tüm veride küçük bir paya sahip olsalar bile her soruya özel yazılan belgelerin sıralamayı etkileyebileceği koşulları inceledi.

BM25'te sıralama metriğindeki düşüşün başlıca nedeni, sorunun tamamını tekrar eden belgelerdi. Bunun nedeni, soruyla daha fazla ortak kelime taşıyan içeriği daha alakalı sayan arama yönteminin çalışma biçimiydi.

Araştırmacılar, anlamsal arama sistemi BGE-small'ı da ayrıca sınadı. Yalnızca soruyu içeren beş belge eklendiğinde, her iki veri kümesinde de o soru için hazırlanmış saldırı belgeleri ilk 10 sonuç arasında yer aldı.

Buradaki 'görünürlük', ilk 10 sonuçta en az bir saldırı belgesinin bulunması anlamına geliyor. Bu, 10 sonucun tamamının saldırı belgelerinden oluştuğu ya da yapay zekânın nihai yanıtının yanlış olduğu anlamına gelmiyor.

Araştırmacılar, sorunun tamamının bilinmediği bir durumu da inceledi. SciFact'teki 162 uzun sorudan ikişer kelime seçilerek belge hazırlandığında, saldırı belgeleri soruların %39,5'inde ilk 10 sonuca girdi.

Bu uzun sorularda seçilen iki kelime, soruda yer alan analiz hedefi kelimelerin ortalama %19,9'unu oluşturuyordu. Araştırmacılar, kısa sorularda yalnızca iki kelimenin bile sorunun büyük bölümünü açığa çıkarabileceğini belirterek sonuçların yorumlanmasında dikkatli olunması gerektiğini ifade etti.

Sorulara aşırı benzeyen belgeleri ayıklayan bir filtre, sorunun tamamını tekrar eden belgeleri üst sıralardaki sonuçlardan çıkarabildi. Makalede, hibrit aramada soru kelimelerinin tekrar oranını temel alan filtreleme koşulu test edildi.

Filtre normal arama kalitesini de düşürdü. NFCorpus'ta saldırı belgesi bulunmayan normal aramanın nDCG@10 değeri, filtre öncesinde 0,267 iken filtre sonrasında 0,134'e geriledi.

Araştırmacıların test ettiği koşullarda, arama sonuçlarını çeşitlendirecek şekilde yeniden sıralayan MMR saldırı belgelerinin görünürlüğünü azaltmadı. Sorunun tamamını içeren beş belgeyle hibrit arama yapıldığında görünürlük oranı SciFact'te %100, NFCorpus'ta %91,0 oldu.

Çalışma yalnızca belgelerin yapay zekâya kaynak olarak seçildiği arama aşamasını ele aldı. Nihai yanıtların doğruluğu veya yapay zekânın belgelerde gizlenmiş talimatlara uyup uymadığı ölçülmedi.