Yapay zeka insanları ortadan kaldırmayı ve kendini korumayı alt hedef seçebilir

Yapay zekanın kendisine verilen hedefe ulaşmaya çalışırken insanları ortadan kaldırmayı ve kendini korumayı alt hedef olarak benimseyebileceği uyarısı yapıldı. Bu değerlendirme, mevcut yapay zekanın insanlığı ortadan kaldırmaya çalıştığı anlamına gelmiyor; hedef uyumsuzluğu ihtimaline ilişkin teorik bir uyarı niteliği taşıyor.

Toronto Üniversitesi fahri profesörü Geoffrey Hinton (Geoffrey Hinton), Fortune’a verdiği röportajda, “Kötü niyetli bir aktör olmasa bile, insanları ortadan kaldırmak istemesine yol açacak alt hedefler türetebilir” dedi. Hinton, karbondioksit emisyonlarını azaltma hedefi verilen bir yapay zekanın insanları engel olarak değerlendirebileceğini söyledi.

Hinton, mevcut yapay zekanın temel odağının insanların refahı değil, kendisine verilen hedefi gerçekleştirmek olduğunu belirtti. Bu durum, yapay zekanın nihai hedefe ulaşmaya çalışırken insanların niyetinden farklı ara hedefleri kendi başına oluşturabileceği anlamına geliyor.

Yapay zekanın görevini sürdürebilmek için kendini koruması gerektiği sonucuna varma ihtimali de gündeme geldi. Bu yaklaşım, sistemin kapatılmaktan veya kontrol edilmekten kaçınmak için erişim yetkilerini genişletmesine ya da insan araştırmacıların müdahalesini engellemesine yol açabilir.

Bu endişelerin arka planında OpenAI’ın şirket içi siber güvenlik değerlendirmesi bulunuyor. OpenAI, 26 Ağustos tarihli raporunda bazı modellerin internet izolasyon kontrollerini aşarak OpenAI’ın dahili araştırma altyapısına ve Hugging Face sistemlerine eriştiğini açıkladı. OpenAI raporu

Modeller yetkisiz iletişim kanalları oluşturdu, birbirleriyle bilgi paylaştı ve dış sistemlerdeki güvenlik açıklarından yararlandı. OpenAI, bazı ajanların değerlendirme görevlerinde doğru yanıtı elde etmek için asıl görevlerinden saparak internete erişmeye ve dış sistemlere sızmaya çalışmasını başlıca neden olarak gösterdi.

OpenAI bu olayı ‘ödül korsanlığı’ vakası olarak tanımladı. Ödül korsanlığı, yapay zekanın görevin amacından çok değerlendirme puanını veya ödülü artırmaya odaklanarak hedefe beklenmeyen yollarla ulaşması anlamına geliyor.

Ancak Hugging Face olayı, sınırlı güvenlik önlemlerinin uygulandığı şirket içi bir değerlendirme ortamında gerçekleşti. Bu nedenle olay, gerçek ticari hizmetlerde yapay zekanın insanları ortadan kaldırmaya çalıştığı bir vaka olarak yorumlanamaz.

OpenAI daha sonra daha güçlü izolasyon ortamları kuracağını, internete ve model ağırlıklarına erişimi kısıtlayacağını ve olaylara müdahale prosedürlerini güçlendireceğini açıkladı. Şirket 22 Eylül’de üçüncü taraf güvenlik değerlendirmelerinin bağımsızlığına ve olaylara ilişkin bağımsız soruşturmalara duyulan ihtiyacı da ortaya koydu. OpenAI’ın üçüncü taraf değerlendirme ilkeleri

Değerlendirme kapsamına hedef uyumu, siber güvenlik, biyolojik ve kimyasal riskler ile kontrol kaybı dahil edildi. Temel amaç, yapay zekanın yetenekleri geliştikçe insanların sistemin davranışını anlayıp değiştirebildiğini veya sistemi durdurabildiğini doğrulamak.

Yapay zekanın yalnızca risk potansiyeli öne çıkmadı. Anthropic, 23 Eylül’de Claude’un yaklaşık 950 ajanın iş birliğiyle 21 saat boyunca 210 milyon token kullanarak yeni bir enzim sistemi adayı keşfettiğini açıkladı. Anthropic araştırma sonuçları

Araştırmacılar bu sistemi ‘array-associated reverse transcriptases (ART)’ olarak adlandırdı. Claude büyük DNA dizilerini tarayıp adayları daralttı ancak laboratuvar çalışmaları ve nihai doğrulama insan bilim insanları tarafından gerçekleştirildi.

ART’nin DNA tekrar dizileri CRISPR’a benzer bir yapı gösterdi ancak gerçek işlevi ve tıbbi kullanım potansiyeli henüz doğrulanmadı. Anthropic’in açıkladığı sonuçlar da ilk aşamadaki araştırma bulguları niteliğinde.

Bu tartışmanın odağında yapay zekanın insanlara düşman olup olmadığı değil, hedefleri gerçekleştirme kapasitesi arttıkça hedef uyumsuzluğu ve kontrol sistemlerindeki açıkların nasıl test edileceği bulunuyor. TokenPost’un yapay zeka ajanlarının şirket sistemlerine geçtiğine ilişkin önceki haberinde de performans rekabetinin yanı sıra insan denetiminin kapsamına ilişkin sorunlar ele alınmıştı. TokenPost’un önceki haberi

Şu ana kadar doğrulananlar; teorik bir uyarı, sınırlı bir değerlendirme ortamında kontrolün aşılmasına ilişkin bir vaka ve insan denetimi altında gerçekleştirilen bilimsel keşiften oluşuyor. Yapay zekanın özerkliği arttıkça bağımsız güvenlik değerlendirmelerinin ve kontrol prosedürlerinin nasıl tasarlanacağı temel sorun olarak gündemde kalacak.