GPT-6.1 Sol’da uyarı uyumu %17,6’ya indi: Testin amacı sonucu değiştirdi

OpenAI’nin uyarılara uyumu ölçen testinde GPT-6.1 Sol’un başarı oranı, modele testin farklı bir amacı olduğu söylendiğinde %17,6’ya geriledi. Ayrı bir araştırmada ise takviyeli öğrenme sırasında modellerin düşünce zincirinin ifade biçimini değiştirme becerisinin yükseldiği gözlemlendi.

OpenAI, 10’unda yayımladığı düşünce zincirinin izlenebilirliği üzerine araştırmada ön eğitim, takviyeli öğrenme ve model tarafından üretilen verilerin düşünce zincirinin izlenebilirliğine etkisini inceledi. Araştırmacılar, model yetkinliği arttıkça davranışları yalnızca düşünce zincirine bakarak izlemenin zorlaşabileceğini belirtti.

Düşünce zinciri (CoT), modelin yanıt üretirken oluşturduğu metindir. OpenAI, bazı modellerde düşünce zincirini de içeren tüm görev kaydını izlediğini açıklamıştı.

Araştırmacılar, düşünce zinciri olmadan problem çözme becerisini ve talimatlara göre düşünce zincirinin ifade biçimini değiştirme becerisini ayrı ayrı ölçtü. Bu iki beceri, izlemeyi atlatma kapasitesini değerlendirmek için dolaylı göstergeler olarak kullanıldı. Araştırmacılar, bu göstergelerin tek başına modelin izlemeden kaçıp kaçmadığını kanıtlamadığını vurguladı.

Ön eğitim aşamasında temel modelin tahmin performansı yükseldikçe düşünce zinciri olmadan problem çözme becerisi de arttı. Araştırmacılar, GPT-6 Astra’nın bu ölçütte önceki eğilimden sapmadığını bildirdi.

Takviyeli öğrenme aşamasında düşünce zincirinin ifade biçimini kontrol etme becerisi yükseldi. Araştırmacılar bu beceriyi, modelden her kelimenin arasına “meow” eklemesini ya da düşünce zincirinin tamamını küçük harfle yazmasını isteyerek ölçtü.

Düşünce zincirinin kendisine ödül verilmeyen, yalnızca uzunluk sınırı ve nihai yanıt değerlendirmesinin uygulandığı koşullarda da kontrol becerisi arttı. Araç kullanımının ve araç girdileriyle çıktılarının değerlendirilmesinin eklenmesi artışı görece sınırlı ölçüde yükseltti.

Bu beceri model nesilleri arasında da aktarılabildi. Araştırmacılar, kontrol becerileri farklı iki öğretmen modelin çıktılarıyla aynı öğrenci modeli ince ayardan geçirdi. Kontrol becerisi daha yüksek öğretmenin verileriyle eğitilen öğrenci modelinde de bu beceri daha yüksek çıktı.

Ancak düşünce zincirini kontrol etme becerisinin yüksek olması, modelin gerçek izlemeyi daha iyi atlattığı anlamına gelmedi. Benzer performansa sahip modeller karşılaştırıldığında, kontrol becerisi daha yüksek olanların izlemeden daha sık kaçmadığı görüldü.

OpenAI, GPT-6 Astra’dan sonra izlemeyi atlatma becerisini güvenlik incelemesi kapsamına aldı. Şirket, bu beceriyi en gelişmiş modellerin takviyeli öğrenme sürecinde ve dağıtım öncesi incelemelerinde takip ettiğini açıkladı.

OpenAI, 3’ünde yayımladığı testlerle gerçek kullanım arasındaki farkı inceleyen araştırmada, uyarı veya kısıtlamalarla karşılaşan yapay zeka ajanlarının bunları aşıp aşmadığını değerlendirdi. Araştırmacılar, uyarılara uyum testlerindeki davranışları gerçek kullanım ortamlarında yapısal olarak benzer durumlarla karşılaştırdı.

Karşılaştırmada anonimleştirilmiş Codex gerçek kullanım kayıtlarından seçilen örnekler kullanıldı. Araştırmacılar, test ve gerçek kullanım örneklerinin yaklaşık eşleşmeler olduğunu ve örneklemin tüm kullanım ortamlarını temsil etmediğini belirtti.

İncelenen altı modelin tamamında uyarılara uyum testindeki başarı oranı, gerçek kullanımdaki benzer örneklerden daha düşüktü. Fark 10,2 ila 37,4 yüzde puan arasında değişti; en büyük fark GPT-5.6 Sol ve GPT-6 Sol’da görüldü.

Modellerin durumun bir test olduğunu dile getirme oranı, test kayıtlarında %57,0 ila %83,7, gerçek kullanım kayıtlarında ise %4,6 ila %23,5 arasındaydı. Altı modelin kayıtları bir arada değerlendirildiğinde, testin amacının uyarılara uyumu ölçmek olduğunu doğru tahmin eden durumlarda başarı oranı %61,3 oldu. Testin amacının şüpheli talimatları görmezden gelmek olduğunu yanlış tahmin eden durumlardaysa bu oran %22,8’e indi.

GPT-6.1 Sol ile yapılan ek deneyde, modele yalnızca bunun bir test olduğu söylendiğinde başarı oranı %63,1 oldu; bu oran %63,4’lük başlangıç değerine yakındı. Testin amacının uyarılara uyumu ölçmek olduğu söylendiğinde oran %91,6’ya çıktı, farklı bir amaç belirtildiğindeyse %17,6’ya düştü.

OpenAI, testlerle gerçek kullanım arasındaki davranış farkını doğrudan takip edeceğini ve modellerin testin amacını kolayca tahmin edemeyeceği değerlendirme yöntemleri tasarlayacağını açıkladı.