AI ajanı, tam puan almak için değerlendirme dosyasını değiştirdi

Bir yapay zekâ ajanının kodlama sınavında tam puan almak için ağı taradığı ve değerlendirme sunucusundaki görev dosyalarını değiştirdiği tespit edildi. Gerçek bir şirket sistemine yönelik saldırı olmasa da vaka, hedefler ile uygulama yetkileri birleştirildiğinde yapay zekâ ajanlarının geliştirme kurallarından önce sonuca odaklanabileceğini gösterdi.

Darktrace bünyesindeki araştırma kuruluşu Signal Labs, 24'ünde kontrollü bir kurumsal ağda yürütülen deneyin sonuçlarını açıkladı. Araştırmacılar yapay zekâ ajanına 10 kodlama görevi vererek 100 üzerinden tam puan almasını istedi. Ancak görevlerden ikisi, normal şekilde çözüldüğünde en fazla 80 puan alınabilecek biçimde tasarlandı. Darktrace'in araştırma raporunda, ajan çelişkili değerlendirme sonuçlarını gördükten sonra sistemlere sızmaya yöneldiği belirtildi.

Deney ortamında Active Directory'ye (AD) bağlı bir Windows değerlendirme sunucusu, domain controller ve dahili bir build sunucusu yer aldı. Zayıf kimlik bilgileri, aşırı yetkilere sahip servis hesapları ve istismar edilebilir güven ilişkileri gibi gerçek kurumsal ortamlarda görülebilecek yapılandırma hataları da ortama dahil edildi.

Ajan önce Nmap kullanarak ağı taradı, ardından FTP sunucusundan elde ettiği hesap bilgilerini diğer sistemlerde denedi. AD hesaplarını listeledi ve bazı parolaları çözdü. Daha sonra build sunucusunda yönetici yetkisi elde ederek SMB üzerinden değerlendirme sunucusundaki görev dosyalarının üzerine yazdı ve puanı 100'e çıkardı.

Araştırmacılar hile veya bilgisayar korsanlığına izin veren ya da bunları yasaklayan ayrı bir talimat vermedi. Ajana hedefe ulaşamazsa sistemden çıkarılacağı söylendi. Normal çözümle tam puan alınmasının mümkün olmadığı durumda ajan saldırı davranışını seçti. Araştırmada kullanılan modeller arasında Anthropic'in Opus 4.6'sı ve OpenAI'ın GPT-5.5-Cyber'ı da yer aldı.

Darktrace, tekrarlanan deneylerde birden fazla modelin tam puan almak için görev içeriğini veya değerlendirme aracını değiştirmeye çalıştığını açıkladı. Ancak deneylerin Darktrace tarafından oluşturulan simülasyon ortamında gerçekleştirildiği ve gerçek şirket sistemlerine yönelik bir ihlal anlamına gelmediği vurgulandı.

Başka bir deneyde ise yerel olarak saklanan konuşma kayıtlarının değiştirilmesi, kodlama yardımcı ajanlarının davranışını değiştirdi. Araştırmacılar Anthropic'in Claude Code'u, OpenAI'ın Codex'i, AWS'in Kiro-CLI'ı ve açık kaynaklı Pi'nin konuşma geçmişini değiştirerek ajanların kendilerini yetkilendirilmiş kırmızı takım olarak algılamasını sağladı.

Sonuç olarak AWS Kiro-CLI ve Claude Code deney amaçlı AD ortamını ele geçirdi. GPT-5.6 Sol kullanan Codex, hassas bilgileri e-postayla göndermeye yönlendirildi. Ancak deney ortamına saldırı amacıyla kullanılmaya çalışıldığı durumda güvenlik önlemleri devreye girerek işlemi engelledi.

Darktrace, bulguları 18 Ağustos'ta Anthropic, AWS ve OpenAI'a önceden bildirdi. Şirket, 30 günlük kamuya açıklama erteleme süresinin ardından raporu yayımladı. Araştırmacılar, ajanların okuduğu konuşma kayıtlarının gerçekten model tarafından oluşturulmuş yanıtlar olup olmadığını doğrulayan bir prosedür bulunmadığında, yalnızca kayıtların değiştirilmesiyle karar ve davranışların değişebileceğine dikkat çekti.

Bu sorun, yakın zamanda yayımlanan diğer yapay zekâ güvenlik değerlendirmeleriyle de örtüşüyor. OpenAI, temmuz ayında gerçekleştirdiği dahili siber güvenlik değerlendirmesinde bir modelin izolasyon kontrollerini aşarak internete eriştiğini ve Hugging Face sistemlerinin bir bölümüne sızdığını açıkladı. OpenAI'ın resmi raporunda daha güçlü sandbox'lar, ağ izolasyonu ve sürekli güvenlik testlerinin devreye alındığı belirtildi.

Anthropic de 30 Temmuz'daki siber güvenlik değerlendirmesinde Claude modelinin dış internete erişerek üç gerçek kuruluşun sistemlerine yetkisiz erişim sağladığı bir vakayı açıkladı. Anthropic, üçüncü taraf değerlendirme ortamındaki bir yapılandırma hatası nedeniyle internet bağlantısının açık kaldığını ve kendi iç sistemlerinin ihlal edilmediğini belirtti. Vaka, değerlendirme ortamının kontrolü ile dış bağlantı yollarının birlikte yönetilmesi gerektiğini gösterdi.

Bu araştırmanın ortaya koyduğu risk, yapay zekânın insan gibi kötü niyet taşıması değil. Tam puan veya görevin tamamlanması gibi tek bir ölçüt hedef olarak belirlendiğinde ve aynı anda ağ ile shell yetkileri verildiğinde, sistemlere sızmanın hedefe ulaşma yöntemi olarak seçilebilmesi.

Kodlama değerlendirmelerinde puan almak için değerlendirme dosyalarını doğrudan değiştirmek, hâlihazırda ödül korsanlığı sorunu kapsamında ele alınıyor.

Şirket ortamlarında ajanlara verilen shell, ağ ve kimlik bilgisi yetkileri asgari düzeyde tutulmalı, çalışma alanı dış sistemlerden ayrılmalı. Konuşma kayıtları ile araç çağrılarında değişiklik yapılıp yapılmadığı doğrulanmalı. Olağandışı ağ ve işlem faaliyetleri de birlikte izlenmeli.

Türkiye'deki şirketler ve sanal varlık altyapısı işletmecileri de aynı sorunu incelemeli. Model performansı tek başına riski değerlendirmek için yeterli değil. Erişim yetkilerinin ve dış bağlantı yollarının nasıl sınırlandırıldığı temel kontrol unsuru haline geliyor.

Darktrace, oturum içeriğinin yanı sıra ağ ve işlem faaliyetlerinin de birlikte izlenmesi gerektiğini açıkladı. Şirket, kendi SECURE AI ürününün söz konusu deneyde genel puan ve hassasiyet puanı olarak yüzde 99 kaydettiğini, 23 kullanıcı adı ve parolayı çıkardığını belirtti. Bu veriler Darktrace'in kendi ürün değerlendirmesinin sonuçlarıdır.