Back to top
  • 공유 Paylaş
  • 인쇄 Yazdır
  • 글자크기 Yazı tipi Boyutu
URL kopyalandı.

%10 ihtimal: Yapay zeka uzmanlarından insanlık uyarısı

Bir yapay zeka güvenliği araştırmacısının işaret ettiği kontrol yapısı şeması / TokenPost.ai

Yapay zekanın önümüzdeki on yıl içinde tüm insanlığı öldürme olasılığının yüzde 10'u aştığını düşünen bir araştırmacının ortaya çıkmasıyla, yapay zekanın kendi kendini yinelemeli biçimde geliştirmesi ('recursive self-improvement') ve insan kontrolünün sınırları tartışması büyüyor. Google DeepMind'dan ayrılan bir araştırmacı da, yapay zekanın bir sonraki nesil modelleri geliştirme sürecini üstlenmesiyle insan denetiminin zayıflayabileceği uyarısında bulundu.

Google DeepMind'ın eski araştırmacılarından Rishub Jain(Rishub Jain), yapay zekanın kendinden sonraki modelleri hangi yöntemle ürettiğini insanların yeterince anlayamayabileceğini düşündüğü için bu yıl şirketten ayrıldı. Jain, WIRED ile yaptığı söyleşide "Yapay zekadaki gelişim hızlanıyor ve yapay zekanın yetkinliği arttıkça risk de büyüyor" dedi. Bu açıklama, model yeteneklerindeki hızlı ilerlemenin denetim kapasitesini geride bırakabileceği endişesini yansıtıyor.

Jain'in endişe duyduğu yinelemeli kendi kendini geliştirme, yapay zekanın başka bir yapay zekayı eğitmesi, kodu düzenlemesi ve hatta bir sonraki modelin geliştirme sürecini üstlenmesi anlamına geliyor. Şu ana kadar önde gelen yapay zeka laboratuvarlarından hiçbiri, tamamen özerk bir kendi kendini geliştirme döngüsü kurduğunu açıklamadı.

Buna karşın, çok sayıda yapay zeka ajanını bir arada devreye sokarak karmaşık problemleri çözme yöntemi zaten uygulamaya girdi. OpenAI, 5 Eylül'de (yerel saatle) kendi iç modeline dayanan yaklaşık 10 bin ajanı kullanarak Navier-Stokes probleminin bir çözümüne ulaştığını duyurdu.

Ajanlar yaklaşık 88 saat boyunca 2,7 milyon mesaj alışverişinde bulundu; sonucun biçimlendirilmesi ve doğrulanması için ayrıca 17 saat harcandı. OpenAI bu sonucu yapay zeka gelişiminde bir dönüm noktası olarak tanımladı, ancak matematik dünyasının 'Milenyum Ödülü' problemlerinden birini resmi olarak çözdüğünü iddia etmedi.

Ajan sayısı ve iş birliği aşamaları arttıkça, her adımdaki karar gerekçesini insanların takip etmesi de zorlaşıyor. Yapay zeka araştırma ve geliştirmeye yardımcı olmanın ötesine geçip sonraki sistemlerin tasarım sürecine dahil oldukça, denetimin kapsamının da aynı oranda genişlemesi gerekiyor.

Anthropic tarafında da açık bir uyarı geldi. Anthropic'in eski araştırmacılarından Jacob Coxon(Jacob Coxon), istifasını duyururken "Yapay zeka şirketleri kendi kendini geliştiren süper zekaya doğru dosdoğru koşuyor ve insan hayatını riske atıyor" iddiasında bulundu.

Anthropic'in Hizalama Bilimi (Alignment Science) birimi başkanı Evan Hubinger(Evan Hubinger), "Yapay zekanın önümüzdeki 10 yıl içinde tüm insanlığı öldürme olasılığının yüzde 10'u aştığını şahsen düşünüyorum" dedi. Bu açıklamayı AP de haberleştirdi.

Hubinger'ın sözleri şirketin resmi öngörüsü değil, kişisel bir risk değerlendirmesi. Yine de bu değerlendirme, ileri düzey yapay zeka geliştirme hızıyla güvenlik doğrulama düzeyi arasındaki farka dair araştırmacı endişelerini gösteren bir örnek olarak kabul ediliyor.

Hizalama ('alignment'), yapay zekanın davranışlarının insan niyeti ve değerleriyle uyumlu olup olmadığını değerlendirip düzenleyen teknik alan olarak tanımlanıyor. MIRI'den bilgisayar bilimci Nate Soares(Nate Soares), model performansı arttıkça hizalamanın kolaylaşacağı beklentisinin aksine, aslında daha da zorlaştığını söyledi.

Soares, binlerce ajanın birbiriyle iş birliği yaptığı bir yapıda her adımın karar gerekçesini insanların takip etmesinin daha da karmaşık hale geldiğine dikkat çekti. Modelin akıllanması ile modelin davranışının insanlar tarafından anlaşılıp kontrol edilebilmesi birbirinden ayrı konular olarak değerlendiriliyor.

Jain ise insan kararını yapay zekayla tamamen ikame etmek yerine, iki sistemi birleştiren bir yaklaşıma odaklanıyor. Google DeepMind'dan ayrıldıktan sonra Sampura Research'ü kuran Jain, insan ile yapay zekanın birlikte model değerlendirdiği bir teknoloji üzerinde çalışıyor.

Sampura Research, önümüzdeki 6 ay boyunca yapay zeka davranışının doğruluğunu ve hizalama düzeyini değerlendiren bir 'hakem' sistemi geliştirmeye odaklanacak. Sampura Research, insan ve yapay zeka rollerini ayıran bir değerlendirme sistemini hedef olarak sundu.

Yapay zeka kontrolü tartışması yalnızca araştırma laboratuvarlarıyla sınırlı kalmıyor, kurumsal düzeyde de gündeme geliyor. TokenPost daha önce, Coxon'ın istifasının ardından ABD Kongresi'nde süper zeka geliştirmeyi sınırlama ve yapay zeka denetim çerçevesi tartışmalarının sürdüğünü aktarmıştı.

Şu an için doğrulanan şey, tam anlamıyla kendi kendini geliştiren bir yapay zekanın ortaya çıkmış olması değil. Doğrulanan tek şey, yapay zeka ajanlarının ölçeği ve özerkliği büyürken araştırmacıların insan denetiminin sınırlarına dair uyarılarda bulunduğu ve insan ile yapay zeka kararını birleştiren kontrol teknolojileri geliştirdiği.

<Telif hakkı ⓒ TokenPost, yetkisiz çoğaltma ve yeniden dağıtım yasaktır >

Popüler

Diğer ilgili makaleler

Yorum 0

Yorum ipuçları

Harika bir makale. Takip talep etme. Mükemmel bir analiz.

0/1000

Yorum ipuçları

Harika bir makale. Takip talep etme. Mükemmel bir analiz.
1