OpenAI, yapay zekâ modellerinin hizalanmasını ve güvenlik önlemlerini incelemek üzere dört bağımsız değerlendirme kuruluşuyla sözleşme yaptı. Kuruluşlar, her sözleşmenin kapsamı dahilinde şirketin iç modellerini ve sistemlerini inceleyecek.
OpenAI, 16 Kasım'da resmî duyurusunda Apollo Research, METR, Transluce ve Goodfire ile ilk aşama değerlendirme sözleşmeleri imzaladığını bildirdi. Kuruluşlar, değerlendirmeleri için gerekli kapsamda model kontrol noktalarına, kaynak koduna, eğitim ve değerlendirme verilerine, izleme sistemlerine ve teknik belgelere erişebilecek.
Yapay zekâ hizalaması, sistemlerin insanların niyet ve değerlerine uygun davranmasını sağlamayı ifade ediyor. Bu, yalnızca model performansını artırmakla çözülmüyor; eğitim sırasında ve kullanımda sistemlerin amaçlanandan farklı davranıp davranmadığını incelemeyi de kapsıyor.
Microsoft (MSFT) CEO'su Satya Nadella, 26 Ekim'de yayımlanan 20VC röportajında, geçmişte hizalamanın model ölçeği büyüdükçe kendiliğinden sağlanacağını düşündüklerini, ancak bunun “daha zor ve ayrı bir sorun olabileceğini” söyledi.
Nadella, Kore saatiyle 18 Kasım sabaha karşı düzenlenen Microsoft Ignite açılış konuşmasında da ölçek yasaları işlemeye devam etse bile hizalama ve modellerin nasıl çalıştığını anlama konusunda hâlâ ilerleme kaydedilmesi gerektiğini belirtti. Zekânın üretimi ile bu zekâ üzerindeki yetkinin birbirinden ayrıldığı bir tasarım gerektiğini vurguladı. Konuşmanın metni Microsoft'un resmî dökümünde yer aldı.
OpenAI CEO'su Sam Altman, 23 Eylül'de Birleşmiş Milletler Güvenlik Konseyi'nde yaptığı konuşmada, “Yapay zekâ daha yetkin hâle geldikçe insanlar karar alma sürecinin merkezinde kalmalı” dedi. OpenAI'nin yayımladığı konuşma metni, insan yargısı ve denetiminin yapay zekâ sistemlerine devredilmemesi ilkesini içeriyor.
Altman, önemli kararların yalnızca şirketlerin araştırma laboratuvarlarında alınmaması, hükümetlere karşı sorumlu demokratik süreçlerin bulunması gerektiğini de söyledi. Yapay zekânın yeteneklerini, risklerini ve güvenlik önlemlerini değerlendirecek; insan denetimini koruyacak ulusal ve uluslararası ortak standartlar önerdi.
AI Evaluator Forum'un değerlendiricilerin bağımsızlığını ve erişim haklarını talep eden açık mektubunu daha önce haberleştirmiştik. O dönemde OpenAI'nin hangi kuruluşları seçeceği ve ne ölçüde erişim sağlayacağı açıklanmamıştı. Son duyuruyla ilk sözleşmelere katılan kuruluşlar ve değerlendirme kapsamları belli oldu.
AI Evaluator Forum, 18 Eylül'de yayımladığı açık mektupta değerlendiricilerin editoryal ve mali bağımsızlığını, birden fazla kuruluşun katılımını, misillemeye karşı korumayı ve yeterli iç erişimi talep etti. Mektubu 200'den fazla kişi imzaladı. Değerlendiricilerin bulgularını ve dayanaklarını yayımlayabilmesini, hassas bilgiler içinse süreyle sınırlı bir silme süreci uygulanmasını da önerdi.
Kuruluşların görevleri birbirinden farklı. Apollo Research, modellerin geliştiricilerin niyetlerine aykırı eylemleri gizlice gerçekleştirme ihtimalini ve güvenlik önlemlerinin bunu tespit edip edemediğini inceleyecek. METR, OpenAI'nin en büyük pekiştirmeli öğrenme sürecini değerlendirecek ve mevcut testlerle izleme sistemlerinin gözden kaçırdığı hizalama sorunlarını araştıracak.
Transluce, eğitim sonrası hizalama değerlendirmelerinin kalitesini ve kapsamını inceleyecek. Goodfire ise yorumlanabilirlik araştırmacılarıyla modelin iç işleyişini analiz edecek; eğitim sürecindeki izleme ve hata ayıklama çalışmalarına, ayrıca hizalama değerlendirmelerine katılacak.
Her değerlendirme için erişim kapsamı ve kaynaklar önceden kararlaştırılacak. Hassas model ağırlıklarına veya yapısına doğrudan erişimin fikrî mülkiyetin açığa çıkmasına yol açabileceği durumlarda OpenAI araştırmacılarıyla birlikte analiz yapma seçeneği değerlendirilebilecek.
Gizli materyallerle çalışan değerlendiriciler, OpenAI ofisinde şirket cihazlarını kullanacak. Deneylerde OpenAI çalışanlarıyla aynı güvenlik kuralları uygulanacak. Şirket, vakıf yönetim kurulunun bağımsız gözetim komitesinin değerlendirme sürecini ve sonuçlarını inceleyeceğini, komitenin raporların değiştirilmemiş hâlini alacağını bildirdi.
Değerlendiricilerin ücret koşulları da açıklandı. Apollo Research ve Goodfire parasal ödeme alacak, ancak ödeme değerlendirme sonuçlarına bağlanmayacak. METR ve Transluce parasal ödeme almayacak; bunun yerine değerlendirmelerde kullanabilecekleri API kredileri veya hesaplama kaynakları edinebilecek.
OpenAI, değerlendirme kuruluşlarının sonuçları bağımsız olarak yayımlayabileceğini belirtti. Şirket, gizli bilgileri silme hakkını saklı tutuyor ve güvenlik risklerini gidermek için zamana ihtiyaç duyulması hâlinde yayının ertelenmesini isteyebiliyor. OpenAI ve Transluce, ek modellere erişimi ve değerlendirme sonuçlarının modelin piyasaya sürülme kararlarına nasıl yansıtıldığını incelemek üzere 2027'nin başlarında yaklaşık sekiz hafta sürecek bir takip değerlendirmesi yapmayı planlıyor.
Comment 0