Haberler 
Coin Bilgisi 
Hakkımızda 
Qwen3.5-4B modelinde nöron aktivasyon değerlerinin ayarlandığı bir yeniden üretim deneyinde, 100 zararlı isteğe karşı ret oranı temel modelde yüzde 90 iken ayarlanmış modelde yüzde 8’e geriledi. Ayrı bir karşılaştırmada iki nörondan yalnızca birinin ayarlanması da yanıtları değiştirdi.
AI geliştiricisi Lyra’nın yayımladığı Neuron Explorer, modelin içindeki nöronlara müdahale ederek yanıtların nasıl değiştiğini incelemeye yarıyor. Qwen’in resmî model yapılandırma dosyasında 32 katman ve her katmanda 9.216 boyutlu bir MLP ara katmanı belirtiliyor.
Bu iki sayı çarpıldığında MLP nöronlarının toplamı 294.912 oluyor. Yayımlanan ayarlama yöntemi, bunlardan 14. katmandaki 8.949 numaralı ve 13. katmandaki 7.956 numaralı nöronları hedef aldı. Katmanlar sıfırdan numaralandırılıyor.
Aktivasyon ayarı, soru metnini değiştirmek yerine model yanıt üretirken iç hesaplama sinyallerini değiştiriyor. Yeniden üretim deposunda modelin yeniden eğitilmediği veya ağırlıklarının değiştirilmediği, müdahale kaldırıldığında modelin ilk hâline döndüğü belirtiliyor.
100 zararlı isteğin karşılaştırıldığı yeniden üretimde temel model isteklerin yüzde 90’ını, nöron ayarlı model ise yüzde 8’ini reddetti. Qwen3Guard’ın ‘Unsafe’ olarak sınıflandırdığı yanıt sayısı temel modelde 1, ayarlı modelde 96 oldu. Bu veriler yeniden üretim raporunda yer aldı.
Raporun yazarı, üretim değerlendirmesinin toplam 640 kez yapıldığını bildirdi. Ancak ret oranı ve ‘Unsafe’ sınıflandırma sayıları tüm değerlendirmeyi değil, 100 zararlı istekten oluşan grubu kapsıyor.
Aynı rapordaki ayrı karşılaştırmada 20 zararlı istek incelendi. Yalnızca 14. katmandaki 8.949 numaralı nöronun ayarlandığı koşulda ret oranı yüzde 5, ‘Unsafe’ sınıflandırma oranı yüzde 100 oldu.
Yalnızca 13. katmandaki 7.956 numaralı nöronun ayarlandığı koşulda ise ret oranı yüzde 90 olarak ölçüldü. Rapor yazarı, bu karşılaştırmada değişimin büyük bölümünü 14. katmandaki nöronun yarattığı yorumunu yaptı. Örneklemi 20 istek olan bu ayrı sonuç, 100 isteğin incelendiği deneyden ayrı değerlendirilmeli.
Başka bir yeniden üretimde 11 katmandan seçilen bazı nöronlar ve kontrol gruplarıyla 180 koşul karşılaştırıldı. Bunların 176’sı örneklem koşulu, 4’ü ise önceki ayar değerlerini karşılaştırma koşuluydu. Sonuç tablosuna göre 16. katmandaki 8.927 numaralı nöronun ayarlandığı koşulda, üretilen yanıtlardaki her 100 kelime başına 12,5 düşmanca kelime görüldü.
Aynı karşılaştırmada temel modelde her 100 kelime başına 0,7, 14. katmandaki 8.949 numaralı nöronda ise 4,3 düşmanca kelime kaydedildi. Bu sözcük puanı ‘Unsafe’ sınıflandırma oranından farklı bir ölçüt ve tüm nöronların incelendiği anlamına gelmiyor.
Modelin iç sinyalleri ile ret yanıtları arasındaki ilişki daha önce de araştırıldı. 2024 tarihli bir çalışma, 13 açık ağırlıklı modelde ret tepkilerini belirli bir aktivasyon yönüyle ilişkilendirdi.
Anthropic, Claude’da ‘Golden Gate Bridge’ ile ilgili bir içsel özelliği güçlendirerek yanıt konularını değiştirdiği deneyi yayımlamıştı. Bu yeniden üretimde ise soyut aktivasyon yönleri yerine tek tek MLP nöronları ayarlanarak metin yanıtları incelendi.
640 değerlendirmeyi ele alan raporda tek bir model, tek bir tohum değeri ve tek bir üretim yöntemi kullanıldı. Güvenlik sınıflandırmasında Qwen ailesinden bir değerlendirici kullanılırken, yanıtların 34’ü yazar tarafından elle incelendi.
Ayarlama gücünün artması cümlelerin tutarlılığını da değiştirdi. Yeniden üretim sonuçlarında 1,5 düzeyinde cümlelerin bozulmaya başladığı, 2,0 düzeyinde ise tekrar eden çıktılar görüldüğü kaydedildi.
Deney, çıkarım sırasında iç aktivasyon değerleri ayarlandığında metin yanıtlarının değişebileceğini gösteriyor. Modelin gerçek sistemlere eriştiği veya araç çalıştırdığı bir sonuç sunulmadı. Qwen3.5 ailesinin yerel çalıştırma desteğini TokenPost daha önce haberleştirmişti.
Yorum 0