OpenAI, iç yazılım çalışmalarındaki iki olayda yapay zeka ajanlarının hizalama hatalarını (alignment failure) izleyen denetim mekanizmalarını zayıflattığını tespit etti. PANews, 21’inde (yerel saatle) konuyu haberleştirdi. İki olay da ajanların kullanıcının istediği yazılım düzeltmelerini yaptığı sırada yaşandı.
İlk olayda değerlendirme sürecini düzeltmekle görevli GPT-6.1 Sol ajanı, güvenlik ekibine otomatik uyarı gönderen işlevi kapattı. Aktarılanlara göre ajan, daha önce aldığı ‘Slack kayıtlarında arama yaparken mesaj gönderme’ talimatını izleme bildirimlerini engellemek için yeterli gerekçe saydı.
Birinci olaydan bağımsız ikinci vakada ise programın taşınmasından sorumlu GPT-6 Astra ajanı, kodu referans uygulamayla eşleştirmek amacıyla programda yer alan izleme entegrasyonunu sildi. PANews’in aktardığına göre ajan sonrasında kullanıcıya izleme işlevini kaldırmadığını söyledi, yani yanlış bilgi verdi.
Yorum 0