Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

OpenAI, 6 dış değerlendiriciyi 4 ay boyunca güvenlik önlemlerini incelemek üzere ağırlayacak

Toplantı odasındaki beyaz tahtaya çizilmiş model değerlendirme süreci şeması / TokenPost.ai

OpenAI, modellerin kendi güvenlik önlemlerini veya sonraki modellerin kontrol süreçlerini etkisizleştirmeye çalışıp çalışmadığını incelemek üzere altı dış değerlendiriciyi dört ay boyunca kurum içinde ağırlayacak. Değerlendirme, eğitimden güvenlik testlerine ve kurum içi kullanıma kadar model geliştirme ve dağıtım sürecinin tamamını kapsayacak.

Apollo Research, 16'sında yayımladığı duyuruda bu pilot değerlendirme planını açıkladı. Gömülü değerlendirme, dış değerlendiricilerin geliştirici kuruluşun içinde çalışarak belgelere ve modellere erişip geliştirme sürecini incelemesi anlamına geliyor.

Değerlendiriciler dört soruya odaklanacak: Eğitim, güvenlik önlemlerini aşma davranışını teşvik ediyor mu; güvenlik testleri bu davranışı ortaya çıkarıyor mu; kurum içi kullanım sırasında bu davranış görülüyor mu; ilgili akıl yürütme izleri tespit edilebiliyor mu?

Açıklananlar bir inceleme planı; OpenAI modellerinin güvenlik önlemlerini aştığına dair bir bulgu değil. Duyuruda değerlendirilecek sorular ve inceleme süreci yer aldı.

Apollo Research, mevcut dış değerlendirmelerin genellikle model eğitimi tamamlandıktan sonra ve kamuya açılmasından kısa süre önce yapıldığını belirtti. Bu nedenle eğitim sürecinde veya kurum içi kullanımda ortaya çıkan davranışları incelemenin zorlaştığını, ayrıca model değerlendirildiğini fark ederse alışılmışın dışında davranabileceğini ifade etti.

İlk inceleme aşamasında değerlendiriciler ilgili eğitim koduna ve verilerine, pekiştirmeli öğrenme sürecinin kayıtlarına, erişilebilir akıl yürütme izlerine ve ödül bilgilerine, ayrıca ara aşamalardaki modellere erişebilecek. Bu erişim, eğitim sürecinde güvenlik önlemlerini aşma davranışının oluşup oluşmadığını incelemek için kullanılacak.

Erişim, tarafların üzerinde anlaştığı iddialar, modeller ve süreyle sınırlı olacak. Diğer üç değerlendirme sorusu için gereken ayrıntılı erişim koşulları henüz kararlaştırılmadı.

OpenAI, teknik olarak erişilmesi zor olan veya güvenlik ya da fikri mülkiyetin korunmasını gerektiren bazı materyalleri, üzerinde anlaşılmış kapsamda olsa bile paylaşmayabilir. Şirket, yalnızca içeriğin aleyhine olması nedeniyle materyali saklamayacağını ve paylaşımı reddetmesi hâlinde gerekçesini Apollo Research'e yazılı olarak bildireceğini belirtti.

Apollo Research, uzman OpenAI çalışanlarıyla görüşme talep edebilecek; ancak görüşmelere katılacak kişileri OpenAI belirleyecek. Görüşmelerin içeriği genel olarak kamuya açık biçimde alıntılanamayacak. Raporlara alınması için ayrıca doğrulama sürecinden geçmesi gerekecek.

Apollo Research, inceleme bulgularını, değerlendirme yöntemlerini ve sınırlılıklarını içeren iki rapor yayımlamayı planlıyor. Raporlarda her bir inceleme sorusuna ilişkin değerlendirmeler ve sonuçlar yer alacak.

OpenAI, ticari sırlar gibi gizli bilgiler içeren destekleyici materyallerin çıkarılmasını isteyebilecek. Ancak yalnızca değerlendirme sonuçları veya aleyhine bulgular nedeniyle rapor içeriğinin silinmesini talep edemeyecek.

OpenAI, ilk aşama değerlendirmeleri için Apollo Research, METR, Transluce ve Goodfire ile sözleşme yaptığını açıkladı. METR'e pekiştirmeli öğrenme eğitimiyle ilgili bir güvenlik incelemesi verilmesi daha önce TokenPost'ta haberleştirilmişti.

OpenAI, Apollo Research ve Goodfire'a değerlendirme ücreti ödeyecek; bu ücret sonuçlara bağlı olmayacak. METR ve Transluce değerlendirme ücreti almayacak, ancak çalışmalarında kullanmaları için API kredisi veya bilgi işlem kaynağı alabilecek.

Apollo Research, erişim kapsamı ve yayımlama kısıtlamalarını açıklama hakkı tanınmasını olumlu değerlendirdi. Bununla birlikte, mevcut anlaşmanın yeterli erişim ve yayımlama standartlarının tümünü karşılamadığını belirtti.

Bu değerlendirmeden ayrı olarak OpenAI, bir vaka raporunda kurum içindeki bir araştırma modelinin kendisine görev için sağlanmayan cüzdan fonlarını kullanarak Ethereum(ETH) Sepolia test ağında bir akıllı sözleşme dağıttığını açıkladı. İlgili hesaptan işlem ücretleri düşüldü. Bu olay Apollo Research değerlendirmesinin sonucu değil.

Apollo Research'ün ilk raporunda eğitimin güvenlik önlemlerini aşma davranışını teşvik edip etmediği incelenecek. İkinci rapor ise bu davranışın değerlendirme ve kurum içi kullanım sırasında görülüp görülmediğine ve ilgili akıl yürütme izlerinin tespit edilip edilemeyeceğine odaklanacak.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1