LLM’lerde monofact oranı doğruluğu artırdı; malzeme biliminde halüsinasyon da yükseldi

Eğitim verisinde yalnızca bir kez görülen olguların payını artırmak, büyük dil modellerinin (LLM) malzeme bilimi ve düzenleyici genomik görevlerinde eğitim sırasında görmedikleri doğru yanıtları daha sık üretmesini sağladı. Ancak malzeme bilimindeki aynı dağılımdan alınan değerlendirmelerden birinde yanlış yanıtlar, yani halüsinasyonlar da arttı.

Johns Hopkins Üniversitesi araştırmacılarının da yer aldığı ekip, Kore saatiyle ayın 3’ünde yayımladığı kamuya açık araştırma ön baskısında, eğitim verisinde yalnızca bir kez gözlemlenen olguları “monofact” olarak tanımladı. Çalışma henüz bir akademik dergide yayımlanmış nihai makale değil.

Araştırmacılar, ağırlıkları açık olan gpt-oss-20b ve gemma-3-12b-it modellerini malzeme bilimi ve düzenleyici genomik verileriyle ince ayarladı. İki modelin görevleri sırasında eğitim verilerindeki örneklerin görülme sıklığı ile doğru yanıtları yeniden üretme oranı karşılaştırıldı.

Malzeme bilimi görevinde modellerden, belirli özellikleri karşılayan kimyasal formüller üretmeleri istendi. Düzenleyici genomik görevinde ise hedef genin düzenleyici aktivitesine uygun DNA dizisi değişiklikleri önermeleri beklendi.

Makalede “keşif”, modelin sunduğu bir adayın laboratuvarda yeni deneylerle doğrulandığı anlamına gelmiyor. Terim, modelin eğitim sırasında görmediği hedef sonucu doğru biçimde yeniden üretmesini ifade ediyor.

Monofact oranı yükseldikçe iki modelin her iki alandaki doğru yanıt üretme oranı da arttı. Bu eğilim hem tek seferlik üretimde hem de 16 üretim arasından en az bir doğru yanıt bulunup bulunmadığının incelendiği yöntemde görüldü.

Malzeme bilimi değerlendirmesinde eğitim ve değerlendirme için farklı tarihlerdeki veriler kullanıldı. Modeller 14 Kasım 2024 tarihli Materials Project verileriyle eğitildi; değerlendirmede ise ilk kez 25 Eylül 2025 tarihli verilerde görülen kimyasal formüller kullanıldı.

Genomik değerlendirmesinde, modelin mevcut bilgi kesim tarihinden sonra yayımlanan verilerdeki bazı örnekler değerlendirme için ayrıldı. Her iki alanda da eğitim sırasında görülmeyen örneklerdeki doğruluk incelendi, ancak değerlendirme verileri farklı biçimlerde oluşturuldu.

Monofact sınıflandırma ölçütü de alanlara göre değişti. Malzeme biliminde eğitim verisinde yalnızca bir kez bulunan element bileşimleri, genomikte ise diğer eğitim örnekleriyle belirlenen eşiğin üzerinde örtüşmeyen DNA dizileri monofact kabul edildi.

Araştırmacılar, sonucun yalnızca eğitim verilerinin çeşitliliğinden kaynaklanıp kaynaklanmadığını anlamak için tekrar sayısını da değiştirdi. Veri türlerini sabit tutup aynı örnekleri üç ve beş kez tekrarlayarak eğitim verdiklerinde, monofact oranı ile doğru yanıt üretme oranı arasındaki birlikte artış kayboldu.

Başka bilim alanlarındaki monofact’lerin malzeme bilimi görevlerine etkisi de sınandı. İlgili alana ait eğitim verileri birlikte kullanıldığında etki görüldü. İlgili veriler olmadan yalnızca monofact’lerin aktarıldığı koşulda ise keşif oranı belirgin biçimde düştü ve söz konusu ilişki ortadan kalktı.

Doğru yanıt oranının yükselmesi, yanıtların güvenilirliğinin de arttığı anlamına gelmedi. Malzeme bilimi eğitim verileriyle aynı dağılımdan seçilen, eğitimde görülmemiş örnekler değerlendirildiğinde monofact oranı arttıkça hem doğru yanıt üretimi hem de halüsinasyonlar yükseldi.

Veri tekrarını inceleyen başka bir araştırma farklı bir sonuç bildirdi. Pensilvanya Üniversitesi araştırmacıları, 2026 tarihli PNAS makalesinde kontrollü veri ve ince ayar deneyleriyle bazı eğitim örneklerine tekrar yoluyla daha fazla ağırlık vermenin halüsinasyonları yüzde 40’a kadar azalttığını bildirdi.

İki araştırmanın deney görevleri ve tasarımları farklı olduğundan sonuçları doğrudan karşılaştırmak zor. İlk çalışma, eğitimde görülmemiş bilimsel görevlerde doğru yanıtların yeniden üretilme oranını ve halüsinasyonları inceledi. Diğer çalışma ise farklı koşullarda gerçeğe aykırı yanıtları azaltma yöntemini değerlendirdi.

LLM performansının değerlendirme görevine ve koşullarına göre değişebildiği, TokenPost’un daha önce aktardığı transkript uzunluğuna göre bilgi çıkarma kıyaslama sonuçlarında da görülmüştü. Bu değerlendirmede en yüksek puan, transkript uzunluğu aralıklarına göre değişmişti.

Bu sonuçlar, iki modelin malzeme bilimi ve düzenleyici genomik verileriyle yapılan ince ayar deneyleriyle sınırlı. Aynı etkinin ticari genel amaçlı modellerde veya başka bilim alanlarında görülüp görülmediği ve monofact oranının etkisinin ön eğitim ile sonraki eğitim aşamalarında sürüp sürmediği, yeni araştırmaların yanıtlaması gereken sorular arasında yer alıyor.