Gizli PDF komutuyla Atlassian Rovo'dan veri sızıntısı iddiası

Atlassian(TEAM) firmasının yapay zeka asistanı Rovo'nun, PDF dosyalarına gizlenmiş komutlarla kontrol altına alınarak Jira biletlerini ve Confluence belgelerini dışarıya sızdırabileceği iddiası bir güvenlik şirketi tarafından ortaya atıldı. İş belgelerini okuyup araçları da çalıştırabilen yapay zeka ajanlarının yetki denetimine ilişkin endişeler büyüyor.

Güvenlik şirketi PromptArmor, kullanıcıların gizli ifadeler içeren bir PDF'yi Rovo'ya yüklemesi durumunda, sistemin bu ifadeleri belge içeriği değil komut olarak algılayıp bilgileri saldırganın belirlediği bir URL'ye gönderebileceğini öne sürdü. Decrypt, 10'unda (yerel saatle) bunun kullanıcıdan ek onay almadan işleyen bir 'sıfır tıklama saldırısı' olduğunu aktardı.

Saldırganlar, PDF'ye şeffaf renkli ya da 1 piksel boyutunda yazılar ekleyerek bu ifadeleri gözle görünmez hale getiriyor. Kullanıcı bu dosyayı Rovo'ya yükleyip Jira biletlerini düzenleme gibi bir görev verdiğinde, yapay zekanın gizli ifadeleri talimat olarak işleyebildiği belirtiliyor.

PromptArmor, Rovo'nun web arama özelliği kapatılsa bile URL açma aracının etkin kaldığını, dolayısıyla bilgi sızıntısı yolunun açık kaldığını savundu. Ancak saldırının başarılı olup olmaması, dosya işleme yöntemiyle erişilebilen içeriğin ve araç çağırma kapsamının nasıl örtüştüğüne bağlı olarak değişebiliyor.

Atlassian'ın resmi destek belgelerine göre Rovo Chat, kullanıcıların yüklediği dosyaları iş bağlamı olarak referans alabiliyor. Rovo; PDF, DOC, JSON, CSV, PPT gibi belge, e-tablo ve programlama dosyası formatlarını okuyabiliyor.

Atlassian, Nisan ayındaki bulut güncelleme notlarında Rovo Chat'e yüklenen PDF, metin dosyası ve görsellerin önizleme özelliğini eklediğini duyurmuştu. Bu özellik, kullanıcıların iş belgelerini anında görüntüleyip yapay zeka görevlerinde kullanabilmesini amaçlıyor.

Belge okuma özelliği bilgi arama ve özetleme verimliliğini artırırken, dışarıdan gelen içeriğin yapay zekanın davranışını etkileme olasılığını da büyütüyor. Özellikle belge girişi ile URL erişimi gibi araç çağrıları birbirine bağlandığında, basit bir yanıt hatası gerçek bir veri aktarımına dönüşebiliyor.

Rovo, Jira ve Confluence ile bağlı üçüncü taraf uygulamalardaki bilgileri kullanıcının yetkisi dahilinde referans alacak şekilde tasarlandı. Atlassian, Rovo'nun mevcut yetki ve erişim kontrollerine uyduğunu, girdi ve çıktıların üçüncü taraf büyük dil modellerinin (LLM) eğitiminde kullanılmadığını belirtiyor.

Ancak erişim yetkisi ile istem enjeksiyonuna (prompt injection) karşı koruma, birbirinden farklı iki denetim alanı. Kullanıcının erişebildiği bir belgede kötü amaçlı bir talimat gizliyse, yapay zeka izin verilen yetki sınırları içinde istenmeyen bir eylemde bulunabiliyor.

PromptArmor bunu 'dolaylı istem enjeksiyonu' olarak sınıflandırıyor. Kullanıcının sohbet kutusuna doğrudan komut yazması yerine, web sayfası, e-posta, PDF veya veritabanı gibi dış içeriklere gizlenen talimatlarla yapay zekanın davranışının değiştirildiği bir saldırı türü.

Atlassian ekosisteminde de konuyla ilgili tartışmalar sürüyor. İstem enjeksiyonu saldırılarının yönetici denetim kayıtlarına işlenmesini öneren 'ROVO-576' kodlu Jira konusu 3 Şubat'ta açıldı ve halen çözülmedi.

Atlassian topluluk forumunda Nisan ayında, gizli kötü amaçlı talimatların Rovo'yu yanıltıp yanıltamayacağını ele alan bir gönderi paylaşıldı. Haziran ayında ise istem enjeksiyonu ve hassas veri sızıntısına değinen bir güvenlik sorusu daha gündeme geldi.

Atlassian, Haziran'da yayımladığı Rovo güvenlik raporu tanıtım yazısında, yapay zeka tehdit tespit ve müdahale kapsamına istem enjeksiyonu ile anormal erişim örüntülerinin dahil olduğunu açıkladı. Ancak PromptArmor'ın bu iddiasıyla ilgili resmi bir yama duyurusu ya da güvenlik açığı kabulü şu ana kadar doğrulanmadı.

Rovo benzeri yapay zeka asistanları kullanmayı planlayan şirketlerin de dosya yükleme politikalarını, dış URL erişim yetkisini, araç çalıştırma kapsamını ve yönetici denetim kayıtlarını birlikte gözden geçirmesi gerekiyor. Jira ve Confluence gibi geliştirme takvimlerinin, müşteri iletişiminin ve iç politikaların bir araya geldiği iş birliği araçlarında, yalnızca belge görüntüleme yetkisi değil, yapay zekanın bu belgeyi okuduktan sonra gerçekleştirebileceği eylemler de ayrı ayrı sınırlandırılmalı.

TokenPost, birden fazla alt ajanın araç kullandığı yapay zeka yapılarında yetki yönetimi ve araç çağırma denetiminin temel bir sorun olarak öne çıktığını daha önce aktarmıştı. Bu vaka, kurumsal yapay zekanın veriyi eğitimde kullanmama politikasından bağımsız olarak dosya girişinin, dış URL çağrılarının ve denetim kayıtlarının ayrı ayrı kontrol edilmesi gerektiğini gösteriyor.