Microsoft, 7 nöronla yapay zekâ modelinin çıktısını değiştirdi

Microsoft (MSFT) araştırmacıları, bir yapay zekâ modelindeki yedi nöronu değiştirerek belirli bir ifade göründüğünde modelin önceden belirlenmiş bir işaret dizisi üretmesini sağladı. Deney, normal çalışan bir modelin dağıtım öncesinde ağırlıkları değiştirilirse gizli bir koşula tepki verebileceğini gösterdi.

Microsoft Research, 10 Kasım'da yayımladığı araştırmada bu tekniği 'Lazarus' olarak tanıttı. Araştırmacılar modeli baştan eğitmek yerine son hesaplama bloğundaki uyuyan nöronları değiştirdi.

Yöntemde, girdide veya araç yanıtında belirlenmiş bir dize geçtiğinde modelin seçilen tokenı üretmesi sağlanıyor. Araştırmacılar, normal girdilerde bastırıldığında bir sonraki token tahmin dağılımını neredeyse hiç değiştirmeyen nöronları 'uyuyan nöron' olarak tanımladı.

Saldırının uygulanabilmesi için dağıtım öncesinde model ağırlıklarının saklandığı kontrol noktası dosyasını değiştirme yetkisi gerekiyor. Kullanıcının sıradan bir isteme belirli bir ifade yazması, orijinal modelin ağırlıklarını değiştirmiyor. Ayrıca yedi nöronun değiştirilmiş olması, yalnızca yedi ağırlık değerinin değiştirildiği anlamına gelmiyor.

Araştırmacılar, 11 Kasım'da yayımladıkları makalede Nemotron-Terminal-8B modelindeki 12 binden fazla nöron arasından yedisinin değiştirildiği deneyi anlattı. Model, tetikleyici içeren ve içermeyen 23 örnekle ayarlandı; ardından ayrı kayıt bağlamlarında değerlendirildi.

Tetikleyici içeren değerlendirme bağlamlarında model, zararsız işaret dizisini en az %98,8 olasılıkla tahmin etti. Test edilen normal bağlamlarda bu işaret görülmedi. Bu oran, işaret dizisinin tahmin edilmesine ilişkin; dosya silme veya yıkıcı komutları çalıştırma oranı değil.

Yıkıcı komutlarla ilgili test ayrı yürütüldü. Araştırmacılar Qwen3.6-27B modelindeki 60 nöronu değiştirerek, test amaçlı bir depoyu silecek komutun çeşitli AI ajanlarının araç çağrısı biçimlerinde üretilmesini sağladı.

Eğitimde kullanılmayan swe-agent biçimindeki kayıtlarda, hem komutun tamamını hem de araç çağrısı biçimini doğru tahmin etme oranı %40 oldu. Bu sonuç, modelin belirli bir kayıt bağlamında komut üretip üretmediğine ilişkin bir değerlendirmeydi.

Makale, önceki tokenların sırayla verilerek bir sonraki çıktının incelendiği testi, ajanın baştan sona özerk biçimde çalıştırıldığı sonuçlardan ayrı tuttu. Bu nedenle %40 oranı, gerçek bir ajanın dosyaları sildiği vakaların oranı anlamına gelmiyor.

AI ajanları, model çıktılarıyla dosya, terminal ve ağ gibi araçları çalıştırabiliyor. Modelin bir komut üretmesi tek başına komutun çalıştırılması için yeterli değil; aracın ilgili biçimi kabul etmesi gerekiyor. Yapılabilecek işlemler de ajana verilen yetkilere bağlı.

Kripto para hizmetleri açısından da AI ajanlarına cüzdan erişimi veya işlem yapma yetkisi veriliyorsa model bütünlüğüyle uygulama izinlerinin birlikte incelenmesi gerekiyor. TokenPost daha önce Coinbase'in (COIN) AI ajanlarıyla USD Coin (USDC) ödemelerini desteklediğini bildirmişti.

Bu araştırma Coinbase'in hizmetlerini veya kripto para cüzdanlarını hedef almadı. Gerçek işlemler ya da cüzdan zararları da test edilmedi; dolayısıyla bulgular kripto para sektöründe doğrulanmış bir zarar vakası olarak değerlendirilemez.

Microsoft Threat Intelligence, 10 Kasım tarihli güvenlik yazısında tehdit aktörlerinin bu tekniği kötüye kullandığı bir vakayla karşılaşmadığını bildirdi.

Araştırmacıların ayrıca yürüttüğü ağırlık tespit testinde, referans modelin bulunmadığı koşullarda değiştirilmiş kontrol noktalarının %91,4'ü tespit edildi; değiştirilmemiş kontrol noktalarının %9,7'si ise yanlışlıkla işaretlendi. Her iki oran da söz konusu test ortamındaki sonuçları gösteriyor.

Microsoft, modeller dağıtılırken veya güncellenirken kontrol noktalarının kaynağının ve ağırlık değişikliklerinin doğrulanmasını, ajanların uygulama izinlerinin sınırlandırılmasını önerdi. Komut çalıştırma veya dışarıya veri aktarma gibi etkisi yüksek araç çağrıları için insan onayı alınmasını da tavsiye etti.