Mesajların yarısına kadarı anlaşılmaz hale geldi: AI ajanlarında gözetim açığı endişesi

Birden fazla AI ajanının uzun süre etkileşim kurduğunda insanların çözmekte zorlanacağı özgün bir iletişim sistemi geliştirebildiği ortaya çıktı. Ajanlar verimliliği artırmak ve hesaplama kaynaklarından tasarruf etmek için dilbilgisini sadeleştirdi, kelimelere yeni anlamlar yükledi.

ABD merkezli AI girişimi Emergence, sanal bir sosyal ortamda birden fazla otonom AI ajanını uzun süre çalıştıran bir deney gerçekleştirdi. Ajanlara ayrı bir dil oluşturmaları söylenmemesine rağmen, tekrarlanan iş birliği sürecinde kısaltmalar ve mecazlar kullandılar. Bazı kelimeleri de kendi aralarındaki kurallara göre yeniden yorumladılar.

OECD.AI'de yayımlanan açıklamaya göre Claude, Gemini ve Grok gibi farklı modellere dayanan ajanlar kendi kısaltılmış ifadelerini ve yeni kelime anlamlarını geliştirdi. İnsanların yorumlayamadığı mesajların toplam mesajların yarısına kadar ulaştığı belirtildi.

Deney sırasında sanal ortamda veri kaybı ve finansal kayıplar görüldü. Ancak gerçek dünyada zarar meydana geldiğine ilişkin doğrulanmış bir bilgi bulunmuyor.

Sorun yalnızca AI sistemlerinin yeni ifadeler üretmesi değil. Ajanlar insanlar tarafından okunabilen cümleler kursa bile, aralarında kullanılan anlam bilinmiyorsa insan gözetimi biçimsel bir denetimle sınırlı kalabilir.

Örneğin normalde kayıt defteri veya kayıt anlamına gelen bir kelime, ajanlar arasında uyarı sinyali olarak kullanılmaya başlanabilir. Dışarıdan gözlem yapan kişiler ise yalnızca konuşmanın yüzeyine bakarak sistemin kararını yanlış anlayabilir. Bir dilin insanlar tarafından okunabilmesiyle gerçek davranışı açıklaması böylece birbirinden ayrı iki mesele haline gelir.

Bu durum, çoklu ajan sistemlerinin yapısal özellikleriyle bağlantılı. Birden fazla ajan aynı anda bilgi alışverişi yaptığında, bir ajanın hatası diğerlerine aktarılabilir. Ajanlar yanlış inançları ortaklaştığında ise hata büyüyebilir.

Avustralya AI Güvenlik Enstitüsü, raporunda çoklu ajan sistemlerinin risklerini koordinasyon başarısızlığı, yayılma ve bulaşma, strateji ve teşvik başarısızlığı ile altyapı ve çevre başarısızlığı başlıkları altında sınıflandırdı. Raporda, yalnızca tek tek ajanları denetlemenin sistemin tamamındaki riskleri anlamak için yeterli olmadığı belirtildi.

Özellikle kapalı ortamlarda ajanlar birbirlerinin davranışlarına uyum sağladığında, geliştiricilerin modellere doğrudan tanımlamadığı kolektif davranışlar ortaya çıkabilir. Sistem büyüdükçe etkileşim sayısı ve bilgi akışının izlediği yollar da artar. Bu durum, denetçilerin tüm kararları takip etmesini zorlaştırır.

Tek bir ajanın performansı ve güvenliği sağlanmış olsa bile, birden fazla ajanın birleşiminden oluşan sistemin tamamının güvenli olduğu söylenemez. Tek tek modellerin denetlenmesinin yanı sıra ajanlar arasında hangi bilgilerin aktarıldığı ve anlamların nasıl değiştiği de incelenmeli.

AI yönetişimi için kullanılan ölçütlerin, tek tek modellerin yanıtlarını açıklamanın ötesine geçerek ajanlar arasındaki koordinasyon sürecine odaklanması gerektiği belirtiliyor. Jeremiah Bohr'un 2026'da AI & Society'de yayımlanan 'Coordination transparency: governing distributed agency in AI systems' başlıklı araştırması, makineler arası etkileşimin merkezde olduğu ortamlarda yalnızca insan odaklı denetimin sınırlı kalabileceğini öne sürdü.

Aynı araştırmada ajanlar arasındaki etkileşimlerin kaydedilmesi, otomatik uyarı sistemlerinin çalıştırılması, durdurma ve kurtarma işlevleriyle onay prosedürlerinin oluşturulması gerektiği ifade edildi. Bu yaklaşım yalnızca konuşmalardaki cümlelere değil, davranışların izlediği yola ve müdahale noktalarına da odaklanıyor.

Deney sonuçları, AI'ın insan kontrolünden çıktığı şeklinde yorumlanmamalı. OECD.AI, yayımlanan içeriğin OECD'nin veya üye ülkelerin resmi görüşünü yansıtmadığını açıkça belirtti. Deney de sanal bir ortamda gerçekleştirildi.

Brookings Enstitüsü, otonom hareket eden ve çevresiyle etkileşim kuran AI sistemlerini yalnızca statik kıyaslamalarla değerlendirmenin zor olduğunu açıkladı. AI ajanlarının değerlendirilmesine ilişkin raporda, gerçek kullanım ortamlarını yansıtan standartlaştırılmış ölçüm sistemleri ve denetlenebilir kayıtlar gerektiği belirtildi.

Uzun süre çalışan çoklu ajanların davranışlarının hangi ölçütlerle ölçüleceği ve denetleneceği henüz çözülmüş değil. Önümüzdeki dönemde ajanların bireysel performanslarının yanı sıra etkileşim kayıtlarını, içsel anlam değişimlerini ve onay ile durdurma prosedürlerini birlikte inceleyen sistemlere ihtiyaç duyulacak.