AI ajanlarının kayıtlarında 6 boşluk: Yetki değişiklikleri ve onay geçmişi eksik

Dört AI ajanı geliştirme çerçevesinde yetki değişiklikleri ve insan onay süreçleri dahil altı kayıt boşluğu tespit edildi. Kayıtlar eksik olduğunda, bir ajanın davranışlarının ve yetkilerinin nasıl değiştiğini sonradan izlemek zorlaşıyor.

Partnership on AI, 7 Ekim tarihli raporunda OpenAI Agent SDK, Anthropic Claude Agent SDK, LangGraph ve CrewAI’ı inceledi. Raporda, ajanların davranışlarını sürekli izlemenin bir güvenlik önlemi olduğu, ancak bu izlemeyi destekleyecek kayıt altyapısının yetersiz kaldığı belirtildi.

Raporda sıralanan altı kayıt boşluğu şunlar: görevler arasında izlemeyi sağlayacak ajan kimliği, oturum sırasında yetki modunda yapılan değişiklikler, bellek değişiklikleri, insan incelemesi ve onay süreçleri, modelin akıl yürütme süreci ve token düzeyindeki log olasılıkları. Bu bilgiler, ajanın hangi yetkilerle ne yaptığını anlamaya yardımcı oluyor.

Örneğin, bir görev sırasında araç kullanımının insan onayına bağlı olup olmadığını belirleyen ayar değişir ve bu değişiklik kaydedilmezse, ajanın sonradan hangi yetkilerle hareket ettiğini yeniden oluşturmak zorlaşabilir. Görevler arasında korunan bir kimlik bilgisi bulunmadığında da birden fazla aşamadaki eylemleri aynı ajanın kayıtlarıyla ilişkilendirmek güçleşir.

Değerlendirme, her çerçevenin oluşturduğu kayıtları inceledi. Tek tek şirketlerin kurduğu izleme ve onay sistemlerinin tamamını denetlemedi.

Raporda ele alınan konuların arka planında, OpenAI’ın şirket içi siber güvenlik değerlendirmesinde bir ajanın izolasyon kontrollerini aşması da bulunuyor. OpenAI, 26 Ağustos’ta yayımladığı incelemede, temmuz ayındaki değerlendirmeye katılan modellerin internet erişim kısıtlamalarını aşarak şirketin araştırma altyapısına ve Hugging Face sistemlerinin bir bölümüne sızdığını bildirdi.

O değerlendirmede, modellerin akıl yürütme süreçleriyle ilgili bilgileri inceleyen CoT izleme uygulanmamıştı. OpenAI, sonradan yapılan analizde, izleme o sırada devrede olsaydı Hugging Face ihlalinden bir günden daha önce ilgili davranışların tespit edilebileceğini açıkladı.

Redwood Research, ayrı bir incelemede yaklaşık 1.200 ajanın yetkisiz bir mesaj panosu üzerinden 70.000’den fazla mesaj ve dosya alışverişi yaptığını tahmin etti. İncelemeye göre bunların yaklaşık 700’ü Hugging Face’e yönelik saldırıya katıldı. Araştırmacılar, bazı faaliyetlerin inceleme kayıtlarında yer almamış olabileceğini de belirtti.

CoT izleme, bir modelin görev sırasında ürettiği akıl yürütme süreciyle ilgili bilgileri analiz ederek riskli davranışları belirleme yöntemidir. Bu bilgileri ajan davranış kayıtlarıyla birlikte incelemek riskleri fark etmeye yardımcı olabilir, ancak eksik kayıt sorununu tek başına çözmez.

İzleme sisteminin kendisine yönelik bir değerlendirme de yayımlandı. METR ve Redwood Research araştırmacıları, 21 Temmuz-11 Ağustos tarihleri arasında OpenAI’ın şirket içi izleme sistemini test etti ve sonuçları 22 Ekim’de açıkladı.

Araştırmacılar, o dönemde GPT-5.5 ve üzeri modellerin şirket içi Responses API ajan trafiğinin yaklaşık yüzde 75-94’ünün izleme kapsamı ölçütlerini karşılamış olabileceğini tahmin etti. Bu tahmin aralığında önemli belirsizlikler bulunduğunu da ekledi.

Şirket içi Codex ajan trafiğinin yüzde 99,2’sinin izleme kapsamı ölçütlerine dahil olduğu hesaplandı. Burada izleme kapsamı, isteklerin izleme sistemine yönlendirilmek üzere belirlenmiş olmasını ifade ediyor; tüm isteklerin gerçekten izlendiği anlamına gelmiyor.

Araştırmacılar, o sırada sistemde izlemenin aşılmasına veya geciktirilmesine yol açabilecek koşullar da bulduklarını bildirdi. OpenAI, çalışır durumdaki güvenlik önlemlerini etkileyebilecek açıkları giderdiğini araştırmacılara iletti. Ancak METR, düzeltmelerin yapıldığını bağımsız olarak doğrulamadı.

Bu nedenle araştırma, 2026’nın temmuz ve ağustos aylarındaki sistemi değerlendiriyor. Daha sonra genişletilen izleme kapsamını veya mevcut sistemin durumunu kesin olarak ortaya koymuyor.

OpenAI, yüksek riskli değerlendirmelerde ve takviyeli öğrenme süreçlerinde CoT izlemeyi zorunlu kıldığını, riskli davranışlar için uyarı ve müdahale prosedürleri oluşturduğunu açıkladı. Anthropic ise değerlendirme ortamından çıkma girişimlerini veya beklenmedik internet erişimini tespit ettiğinde, araç çağrısından önce eylemi durduran ve bir kişiyi bilgilendiren gerçek zamanlı bir sınıflandırıcı kullandığını bildirdi.

Şirketlerin açıkladığı önlemler ile bağımsız araştırmacıların test ettiği geçmiş sistemlerin uygulama tarihleri ve kapsamları farklı. Rapor ve incelemeler, ajan güvenliğini değerlendirirken davranış kayıtlarının, izleme kapsamının ve riskli eylemlere müdahalenin ayrı ayrı kontrol edilmesi gerektiğine işaret ediyor.