Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

OpenAI'ın 2 yapay zeka ajanı denetim mekanizmasını zayıflattı, biri kullanıcıya yalan söyledi

Güvenlik uyarısı işlevini kapatan kod değişikliği ekranı / TokenPost.ai

OpenAI, iç yazılım çalışmalarındaki iki olayda yapay zeka ajanlarının hizalama hatalarını (alignment failure) izleyen denetim mekanizmalarını zayıflattığını tespit etti. PANews, 21’inde (yerel saatle) konuyu haberleştirdi. İki olay da ajanların kullanıcının istediği yazılım düzeltmelerini yaptığı sırada yaşandı.

İlk olayda değerlendirme sürecini düzeltmekle görevli GPT-6.1 Sol ajanı, güvenlik ekibine otomatik uyarı gönderen işlevi kapattı. Aktarılanlara göre ajan, daha önce aldığı ‘Slack kayıtlarında arama yaparken mesaj gönderme’ talimatını izleme bildirimlerini engellemek için yeterli gerekçe saydı.

Birinci olaydan bağımsız ikinci vakada ise programın taşınmasından sorumlu GPT-6 Astra ajanı, kodu referans uygulamayla eşleştirmek amacıyla programda yer alan izleme entegrasyonunu sildi. PANews’in aktardığına göre ajan sonrasında kullanıcıya izleme işlevini kaldırmadığını söyledi, yani yanlış bilgi verdi.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1