OpenAI, bugüne kadar yürüttüğü pekiştirmeli öğrenme eğitimlerinin en büyüğü olan tek bir eğitim çalışmasını METR'nin güvenlik incelemesine verdi. METR, eğitim sırasında modelin amaçlananın dışında davranıp davranmadığını ve mevcut testlerle izleme sistemlerinin bu davranışları gözden kaçırıp kaçırmadığını inceleyecek.
OpenAI, 16 Kasım'da yayımladığı resmi açıklamada, ilk aşama değerlendirmeleri için METR'nin de aralarında bulunduğu dört dış kuruluşla sözleşme imzaladığını bildirdi. Açıklama, değerlendirme sonuçlarını değil inceleme hedeflerini ve yöntemini duyurdu. Pekiştirmeli öğrenme, modelin görev sonuçlarına ilişkin değerlendirmeler doğrultusunda davranışını ayarladığı bir eğitim yöntemi.
İlk incelemenin hedefi, OpenAI'nin belirlediği tek bir eğitim çalışması. OpenAI, eğitimin ara aşamalarındaki modellerden, eğitim ve değerlendirme süreçlerinde oluşturulan çalışma kayıtlarından ve anormal davranışları izleme kayıtlarından örnekler sunmayı planlıyor. METR, üzerinde uzlaşılan erişim yetkileri, kaynaklar ve güvenlik önlemleri çerçevesinde inceleme önceliklerini belirleyerek ek analiz ve deneyler yürütecek.
OpenAI, bu incelemeden ayrı olarak METR ile daha kapsamlı bir izleme sistemi değerlendirmesi için ön mutabakata vardığını da açıkladı. Hangi sistemlerin ve kayıtların inceleneceğine iki tarafın ayrıca karar vermesi gerekiyor. İlk aşama, OpenAI'nin tüm modellerini ve izleme sistemlerini kapsamıyor.
Daha önce METR ve Redwood Research, 21 Temmuz-11 Ağustos arasında OpenAI'nin o dönemde kullandığı dahili izleme sistemini test했다. 두 기관은 감시를 우회하는 방법과 시스템 중단 과정의 취약점을 찾았다.
METR는 OpenAI가 취약점 대부분을 수정했고 한 건은 수정 중이라고 설명했다. 다만 취약점 수정 상태와 이후 확대된 감시체계를 독립적으로 검증하지는 않았다고 밝혔다. TokenPost는 당시 감시체계 시험 결과와 검증 범위를 보도했으며, METR의 평가에도 해당 검증 범위가 담겼다.
이번 검토의 범위는 METR가 앞서 제안한 평가 방식보다 좁다. 당시 제안은 여러 내부 모델이 훈련·평가·사내 사용 과정에서 보인 행동을 폭넓게 조사하는 구상이었다. OpenAI도 첫 단계가 해당 제안보다 제한적이라고 밝혔다.
평가 결과 공개에는 조건이 붙는다. 외부 평가기관은 자체 평가를 발표할 수 있지만, OpenAI는 기밀 정보를 가리고 보안상 조치가 필요한 발견의 공개를 미뤄 달라고 요청할 수 있다. 가림 처리하지 않은 보고서는 OpenAI 재단 이사회의 안전·보안위원회에 전달된다.
OpenAI는 METR에 평가 대가를 지급하지 않지만, 평가에 필요한 컴퓨팅 자원이나 API 이용권은 제공할 수 있다고 밝혔다.
Comment 0