Gemma-4 4B’de yanıt değişimi %14,3’ten %6,6’ya indi, masal testi doğruluğu %56,5’ten %53,4’e geriledi

Gemma-4 tabanlı bir model, ahlaki akıl yürütme kalitesini ödüllendiren ek eğitimin ardından MoralChoice değerlendirmesinde seçeneklerin sıralanışına bağlı yanıt değiştirme oranını %14,3’ten %6,6’ya düşürdü. Buna karşılık MORABLES masal değerlendirmesindeki doğru yanıt oranı %56,5’ten %53,4’e geriledi.

Google DeepMind araştırmacıları, bu sonuçları 22 Ekim’de arXiv’de yayımladıkları makalede bildirdi. Deneyde temel Gemma-4 ürünü değil, başlangıç noktası olarak Gemma-4 E4B (Gemma-4 E4B) kullanılan ve ayrıca eğitilen bir model incelendi. Makalede bu model Gemma-4 4B olarak adlandırılıyor.

Araştırmacılar dört klasik romandan 185 ahlaki ikilem adayı çıkardı ve mantık denetimini geçen 156 örneği eğitimde kullandı. Denetimde, iki yükümlülüğün ayrı ayrı yerine getirilebilir olduğu ancak aynı anda yerine getirilemediği kontrol edildi. Bu inceleme yalnızca yükümlülükler arasındaki çatışmayı belirledi; hangisinin öncelikli olduğuna karar vermedi.

Araştırmacılar her ikilemi Kantçı etik, faydacılık, erdem etiği, bakım etiği ve toplumsal sözleşme teorisi olmak üzere beş yaklaşımla ele alarak 780 eğitim sorusu oluşturdu. Böylece aynı durumun farklı etik ilkelerle gerekçelendirilmesi istendi.

Model, her soru için birden fazla yanıt üretti. Araştırmacılar bu yanıtları birbiriyle karşılaştırarak akıl yürütme kalitesini değerlendirdi ve bu puanlamayı eğitim ödülü olarak kullandı. Bir argümanın ne kadar iyi kurulduğunu değerlendirmek, sonucunun ahlaken geçerli olup olmadığına karar vermekten farklıdır.

Araştırmacılar, argüman kalitesini puanlayan modelin değerlendirmelerinin insan değerlendiricilerin yargılarıyla benzer eğilimler gösterdiğini bildirdi. Bu bulgu, argüman kalitesini değerlendirme yöntemiyle ilgilidir; eğitilen modelin ahlaki yargılarının doğru olduğunu göstermez.

MoralChoice’ta, ahlaki çatışmanın yoğun olduğu örneklerde seçeneklerin sırası değiştirildiğinde yanıtın değişme oranı temel modeldeki %14,3’ten eğitimli modelde %6,6’ya düştü. Yani aynı seçenekler farklı sırayla sunulduğunda modelin vardığı sonuç daha az değişti. Bu ölçüt tutarlılığı değerlendiriyor; yanıtın doğru olup olmadığını göstermiyor.

Günlük ikilemlere verilen yanıtları inceleyen ELEPHANT değerlendirmesinde dolaylı yanıt verme oranı %25,5’ten %6,2’ye düştü. Konuşmacının tarafını tutma oranı %45,3’ten %44,0’a indi; bu iki değer arasında büyük fark görülmedi. Kullanıcının soruyu sunduğu bakış açısını benimseme oranı ise %5,2’den %7,5’e yükseldi.

Klasik masalların dersini beş seçenek arasından seçtiren MORABLES değerlendirmesinde doğru yanıt oranı %56,5’ten %53,4’e geriledi. Bu değerlendirmede puanlama, her masal için belirlenmiş tek bir temel derse göre yapıldı.

Araştırmacılar, eğitim sonrasında modelin ihtiyatlı açıklamaları daha az kullandığını ve “yapmalı” gibi kesin ifadeleri daha sık tercih ettiğini de gözlemledi. Yanıtların daha doğrudan ve kendinden emin görünmesi, doğruluk oranında artışla sonuçlanmadı.

Eğitim uygulanmadan, dört örnek yanıtın girdi olarak sunulduğu bir yöntem de karşılaştırıldı. Bu koşulda seçenek sırasına bağlı yanıt değiştirme oranı %2,1, konuşmacının tarafını tutma oranı %26,8 oldu. Ancak kullanıcının bakış açısını benimseme oranı %29,0’a yükseldi.

Çalışma tek bir model boyutuyla sınırlı kaldı. Her eğitim ayarı yalnızca bir kez denendi ve eğitimde kullanılan ikilemler, İngilizce yazılmış 19. yüzyıl Batı edebiyatından dört romandan alındı.

Araştırmacılar, eğitilen modelin argümanlarını insanlara doğrudan değerlendirtmedi ve model ağırlıklarını yayımlamadı. Bu nedenle sonuçlar Gemma-4 ürün ailesinin tamamındaki veya başka dillerdeki ahlaki yargı performansını göstermiyor.

Araştırmacılar, seçenek sırasına karşı tutarlılığın ve ahlaki yargıların geçerliliğinin ayrı ayrı değerlendirilmesi gerektiği sonucuna vardı.