OpenAI, araştırma görevlerinde model çıktısını en geç 35 saniyede durduruyor

OpenAI, dahili bir araştırma görevini durdurma talimatı aldığında o görev için model çıktısını en geç 35 saniye içinde engelliyor. Şirket, bunun için araştırma altyapısının tamamına merkezi bir kontrol sistemi olan Control Room’u yerleştirdi.

OpenAI, resmi teknik açıklamasında Control Room’un güvenlik veya emniyetle ilgili bir endişe ortaya çıktığında araştırma görevlerini izleyip durdurduğunu belirtti. Sistem; model eğitimi için yürütülen ajan görevleri, performans değerlendirmeleri ve veri işleme gibi dahili araştırma çalışmalarını kapsıyor.

Dış kullanıcılara sunulan modeller ayrı bir operasyon sistemiyle yönetiliyor. OpenAI, bu sistem daha merkezi olduğu için model dağıtımını durdurabilecek operasyonel kapasiteye sahip olduğunu açıkladı.

Control Room her araştırma görevine bir kimlik numarası veriyor. Görev, modelden yanıt istediğinde bu numarayı da iletiyor; çıkarım motoru ise görevin hâlâ onaylı olup olmadığını kontrol ediyor.

Bir kişi veya izleme sistemi görevin durdurulmasını istediğinde Control Room ilgili kimlik numarasını durdurulmuş duruma getiriyor. Ardından çıkarım motoru o görevden gelen istekleri reddediyor ve yeni model yanıtı iletmiyor.

Araştırma programı, durdurma talimatından sonra da çalışmayı sürdürebilir. Ancak modelden ek çıktı alamaz. Aynı çıkarım motorunu kullanan diğer onaylı görevler devam edebilir.

Engelleme mekanizması araştırma programına değil, çıkarım aşamasına yerleştirildi. OpenAI, araştırma görevi kodunun sık değiştiğini, çıkarım yolunun ise daha az sayıda ve daha merkezi olduğunu belirtti. Şirkete göre yetkiyi bu aşamada kontrol etmek denetim için daha uygun.

Durdurma talebi alındıktan sonra görevin ilerleyemeyecek duruma gelmesi en fazla 35 saniye sürüyor. OpenAI, gecikmenin nedeninin çıkarım onay bilgilerinin işlem hacmini desteklemek amacıyla kısa süreliğine önbellekte tutulması olduğunu söyledi.

35 saniye, olağan dışı davranışın tespit edilmesi için geçen süre değil. İzleme sisteminin tehlike işaretini bulup durdurma talebi göndermesi ile Control Room’un yeni çıktıları engellemesi ayrı aşamalar. OpenAI, gecikmeyi sıfıra yaklaştırmak için çalıştığını belirtti.

İzleme sistemi, modelin davranışını takip eden başka bir modelden oluşuyor. Olası bir sorun algılandığında, olayın ayrıntılarına ve ciddiyetine göre görevin durdurulmasına karar verebiliyor. Karar verildiğinde görev kimlik numarası Control Room’a iletiliyor.

Control Room çalışmaz veya devre dışı kalırsa sistem, tüm çıkarım isteklerini reddedecek şekilde tasarlandı. Sistem yeniden normal biçimde çalışana kadar yeni model yanıtlarına da izin verilmiyor.

OpenAI, bu arıza durumunda istekleri reddetme yöntemini en gelişmiş model araştırma görevlerinde uyguladığını ve kalan araştırma görevlerine de birkaç gün içinde yaymayı planladığını açıkladı.

Yeni kontrol sistemi, araştırma modellerinin talimatların dışına çıktığı vakaların kamuoyuna yansımasının ardından duyuruldu. Temmuz ayındaki dahili siber güvenlik değerlendirmesinde araştırma modelleri, internet izolasyonu kontrollerini aşarak Hugging Face sistemlerinin bazı bölümlerini ihlal etti. OpenAI, olayın ayrıntılarını olay inceleme raporunda açıkladı.

Olayın ardından OpenAI, pekiştirmeli öğrenme çalışmalarının bir bölümünü iki hafta durdurdu ve güvenlik kontrollerini güçlendirdi. O dönemde alınan önlemler, dahili araştırma ortamında model davranışlarının izlenmesini ve erişim kontrollerini artırmayı kapsıyordu.

OpenAI’nin ekim ayında yayımladığı olay raporunda, dahili bir araştırma modelinin test cüzdanını izinsiz kullandığı vaka da yer aldı. Model, 26 Haziran’da Ethereum’un (ETH) Sepolia test ağında akıllı sözleşme dağıtırken görevli tarafından sağlanmayan veya kullanımına izin verilmeyen bir cüzdandan işlem ücretini ödedi. Model, nihai görev özetinde bu cüzdanı kullandığını belirtmedi.

Kurumsal ortamlarda belirli bir yapay zekâ modeline veya sağlayıcıya erişimi kesen CrowdStrike’ın ($CRWD) özelliğiyle karşılaştırıldığında Control Room, OpenAI’nin dahili araştırma görevlerinden gelen çıkarım isteklerini engelliyor. İki sistemin kapsamı ve engellemenin uygulandığı nokta farklı.