ByteDance Seed, yapay zekâ güvenliği ve hizalama araştırmaları için 10 kişi arıyor

ByteDance’in yapay zekâ araştırma kuruluşu Seed, güvenlik ve hizalama alanında yeni bir araştırma ekibi kuruyor. Kuruluş, model güvenliği değerlendirmeleri ve hizalama araştırmaları için Pekin, Şanghay ve ABD’nin San Jose kentinde görev yapacak 10 başlangıç araştırmacısı arıyor.

Seed, 14 Ekim’de yayımladığı iş ilanında “Alignment & Preparedness” adlı yeni bir ekip kurduğunu duyurdu. İlanda, şirketin bu alana uzun vadeli yatırım yapacağı ve son teknoloji modeller üzerinde araştırma yürütmek için gerekli kaynak ve desteği sağlayacağı belirtildi. Temel bilgiler, Seed’in resmi iş ilanı ile Çin ekonomi yayını Caixin’in (财新) ilgili haberi karşılaştırılarak doğrulandı.

Araştırma konuları arasında model davranış kuralları ve güvenlik politikalarının oluşturulması, güvenlik değerlendirme sistemlerinin kurulması, hizalama eğitimi, otomatik kırmızı takım testleri ve gelecekteki risklere hazırlık yer alıyor. Kırmızı takım testi, modeldeki zayıflıkları veya olası başarısızlıkları belirlemek için modele kasıtlı olarak saldırı uygulanması yöntemidir. Seed, dış araştırmacıların ve bağımsız değerlendirme kuruluşlarının katılımını da öngörüyor.

Yapay zekâ hizalaması, bir modelin davranışını insanların amaçları ve güvenlik standartlarıyla uyumlu hâle getirmeyi amaçlayan araştırma alanıdır. İş ilanı, Seed’in güvenlik araştırmalarını model geliştirme, değerlendirme ve dağıtım süreçlerine dâhil etmeye yönelik planını ortaya koyuyor.

ByteDance daha önce büyük modeller için veri üretimi ve güvenlik yönetiminden sorumlu “AI Data and Security” adlı bir birim kurmuştu. Şirket, bu kez Seed bünyesinde bir güvenlik ve hizalama araştırma ekibi oluşturarak model araştırmalarını güvenlik değerlendirmeleriyle birlikte yürütecek.

İlanda ekibin kurulması, başlangıçtaki işe alım sayısı, araştırma konuları ve çalışma yerleri açıklanıyor. Ekip bütçesi, işe alımların ne zaman tamamlanacağı ve araştırma sonuçları hakkında bilgi paylaşılmadı. İşe alım duyurusunda kripto varlıklar veya blokzincirle doğrudan bir bağlantı da belirtilmedi.