WM-Basin, 3 tokenlik bağlamda %45 tespit oranı sağladı; mevcut yöntem %1,3'te kaldı

Meta(META) araştırmacıları, görünmez filigranla eğitilmiş bir yapay zekâ modelini iç bilgilerine erişmeden tespit etmeye yönelik bir yöntem önerdi. Matematiksel akıl yürütme modellerinde, üç tokenlik bağlamda ve yanlış pozitif oranı %0,1 iken tespit oranı %45'e ulaştı; mevcut token sıklığı yöntemi aynı koşulda %1,3'te kaldı.

Meta Superintelligence Labs ve FAIR'den 13 araştırmacı, 27'sinde yayımladıkları makalede yönteme Filigran Havzası Hizalaması (Watermark Basin Alignment, WM-Basin) adını verdi. Araştırmacılar, şüpheli modelin API'sine sorgular göndererek aldıkları yanıtlarda öğretmen modelin filigran sinyalini aradı.

Damıtma, bir modelin ürettiği yanıtların toplanıp başka bir modeli eğitmek için kullanılmasıdır. Bu deneyde önce öğretmen modelin çıktılarına görünmez bir filigran eklendi; ardından bu çıktılarla eğitilen öğrenci modelin yanıtlarında da iz kalıp kalmadığı incelendi.

TokenPost daha önce Claude'un ürettiği metinlere görünmez filigran eklenmesi hakkında haber yapmıştı. Bu makale, odağı üretilen metnin üzerindeki işaretten, o metinle eğitilen modelin yanıtlarında sinyal aramaya taşıyor.

Mevcut yöntemler, şüpheli modelin yanıtlarında filigranın tercih ettiği tokenların ne sıklıkta tekrarlandığını sayıyor. Araştırmacılar, filigranın başvurduğu bağlam uzadığında veya öğretmen modelin yanıt üretme biçimi değiştiğinde aynı bağlam ve token tekrarlarının azalabileceğini, bunun da tespiti zorlaştırabileceğini belirtti.

WM-Basin, şüpheli modelin yanıtlarını ve filigran anahtarının uygulandığı öğretmen modelin yanıtlarını sabit bir referans modelle analiz ederek her biri için gradyan hesaplıyor. Gradyan, referans modelin ilgili yanıtı daha iyi üretmesi için hangi yönde ayarlanması gerektiğini gösteriyor.

Araştırmacılar, genel görev eğitiminde ortak olarak görülen yönü çıkardıktan sonra kalan sinyalin gerçek filigran anahtarına mı yoksa başka bir anahtara mı daha yakın olduğunu karşılaştırdı. Böylece anahtarlar arasındaki karşılaştırmayla filigran sinyalini aradı.

Bu süreçte şüpheli modelin ağırlıklarına veya logit değerlerine erişilmiyor. Araştırmacılar, bu karşılaştırmanın gizli ağırlık değişikliklerini yeniden oluşturmadığını da belirtti.

Ana deney, matematiksel akıl yürütme verileriyle eğitilen 1.200 öğrenci modeli üzerinde farklı bağlam uzunluklarında yürütüldü. Deneyde 24 model mimarisi ve 6 model ailesi yer aldı; modellerin parametre sayıları 135 milyon ile 8,2 milyar arasındaydı.

Filigran sinyali olmayan bir modelin varmış gibi yanlış sınıflandırılma oranı %0,1'e ayarlandığında WM-Basin'in tespit oranı bir tokenlik bağlamda %79, üç tokenlik bağlamda %45 oldu. Mevcut yöntemin oranları aynı koşullarda sırasıyla %29 ve %1,3 olarak ölçüldü.

Bağlam uzunluğu, filigranın sonraki tokenı seçerken dikkate aldığı önceki token sayısını ifade ediyor. Üç tokenlik bağlamda mevcut yöntemin tespit oranı düşük kaldı; WM-Basin de test edilen modellerin yarısından fazlasında sinyal bulamadı.

Sonuçlar incelenen konuya göre de değişti. Matematik verileriyle eğitilmiş aynı 100 model, bir tokenlik bağlam ve %0,1 yanlış pozitif oranı koşulunda test edildiğinde OpenR1-Math'te %96, MATH'te %56 ve GSM8K'de %3 tespit sağlandı. Kod ve diyalog alanlarındaki tespit oranı %0 oldu.

Araştırmacılar, bir alanda sinyal bulunamamasının tek başına modelde filigran olmadığını göstermediğini belirtti. Alanlar arasındaki tespit oranı farkı, sonuçların belirli bir modelin veya alanın dışına genellenmesinin zor olduğunu ortaya koyuyor.

Sonradan yapılan eğitim de tespit sonuçlarını değiştirdi. Filigransız verilerle ek denetimli ince ayar (SFT) yapıldıktan sonra öğrenci modelin çıktılarında okunabilen sinyal zayıfladı; ancak araştırmacıların ağırlıkları doğrudan incelediği testte sinyal varlığını korudu.

Sonuçlar, araştırmacıların doğrudan çalıştırdığı açık modellere yönelik deneylerle sınırlı. Makalede birden fazla öğretmen model ve filigran yöntemi de denendi; ancak bildirilen tespit oranlarının tüm modellere veya gerçek hizmetlere uygulanıp uygulanamayacağı doğrulanmadı.

Filigran tespiti, belirli bir anahtarla üretilmiş çıktıların eğitimde kullanıldığına dair bulgu sağlayabilir. Tek başına tespit sonucu, izinsiz kopyalamayı veya hukuka aykırılığı kanıtlamaz.