Kodlama ajanı taslağı: Her turda bağlam yeniden seçiliyor

Kodlama ajanlarının önceki konuşmaları ve araç sonuçlarını sürekli biriktiren yapısından uzaklaşan yeni bir tasarım taslağı yayımlandı. Taslak, her işlem aşamasında gerekli bağlamın yeniden seçilmesini ve bağlamın sabit bir kayıt yerine her turda ayarlanmasını öneriyor.

TypeSafe kurucusu Diogo Almeida (Diogo Almeida), kodlama ajanı taslağını yayımlayarak topluluktan doğrudan deney yapmasını istedi. Almeida, TypeSafe'in bu fikri bütünüyle hayata geçirmek için yeterli zamana sahip olmayabileceğini söyledi. Gelişmeyi BlockBeats aktardı.

Mevcut kodlama ajanları, konuşma geçmişini, araç çalıştırma sonuçlarını ve kod durumunu sonraki isteğe aktarıyor. Bağlam aşırı uzadığında bazı içerikleri sıkıştırmak veya ajanı yeniden başlatmak yaygın yöntemler arasında yer alıyor.

Taslak, ajanın her turda mevcut önbelleği kullanmaya devam edip etmeyeceğine veya daha uygun bir bağlamı yeniden oluşturup oluşturmayacağına karar vermesini öneriyor. Her bilginin tam metin olarak korunup korunmayacağına, özetlenip özetlenmeyeceğine ya da tamamen çıkarılıp çıkarılmayacağına işlem durumuna göre karar veriliyor.

Almeida, mevcut ajan tasarımlarının KV önbelleğine gereğinden fazla bağlı olduğunu belirtti. KV önbelleği, modelin giriş bağlamını işlerken oluşturduğu ara durumları saklayarak sonraki istekte yeniden kullanılmasını sağlayan bir teknoloji olarak tanımlanıyor.

Bağlamın başlangıç bölümü aynı kaldığında KV önbelleği yeniden hesaplanması gereken veri miktarını azaltabiliyor. Ancak model veya giriş yapısı değiştiğinde mevcut önbelleğin yeniden kullanılması zorlaşıyor.

Taslakta verilen örnek, düşük maliyetli bir model ile yüksek performanslı bir model arasında geçiş yapılan bir çalışma. Görev önce düşük maliyetli modele verilip ardından yüksek performanslı modele aktarılırsa, yüksek performanslı modelin uzun bağlamı yeniden okuması gerekeceği ve toplam maliyetin artabileceği belirtiliyor.

Araç tanımlarının sistem istemine sürekli eklenmesi de verimsizlik unsuru olarak gösteriliyor. Kullanılmayan araç bilgileri her isteğe dahil edildiğinde bağlam alanını kaplıyor ve önbellekten yararlanmayı zorlaştırıyor.

Bağlamın dinamik biçimde yeniden oluşturulması, model yönlendirme ve alt ajanların çalıştırılma biçimini de değiştirebilir. Bu yapıda basit görevler düşük maliyetli modellere veriliyor, yalnızca gerekli araçlar çağrılıyor ve alt ajanlara her görevle ilgili durum aktarılıyor.

Taslak, MCP ve AGENTS.md gibi geliştirme ortamı bileşenlerinin de ihtiyaç olduğunda çağrılmasını öneriyor. Tüm ayarları ve araçları en baştan sunmak yerine, mevcut çalışmayla ilgili bilgilerin seçilerek modele aktarılması hedefleniyor.

MCP, modelleri harici araçlara bağlayan bir protokol; AGENTS.md ise ajanın çalışma kurallarını içeren bir dosya. Bu iki unsur yalnızca gerektiğinde bağlama eklendiğinde, her göreve göre giriş yapısının değiştirilebileceği ifade ediliyor.

Almeida bu yaklaşımı şimdilik 'Meta-attention' olarak adlandırıyor. Yaklaşım, modelin tüm bağlama eşit ölçüde dayanması yerine her turda hangi bilgilere odaklanılacağına çalışma aşamasında karar verilmesine dayanıyor.

TypeSafe'in eylül ayında tanıttığı Jev, metin üretmekten çok seçenekler, skorlar ve olasılıklar döndüren bir karar modeli olarak sunuldu. Kaynak materyalde Jev'in kodlama ajanlarında görev dağıtımı veya araç seçimi için kullanılabileceği ayrıca doğrulanmadı.

Tasarım önerisi, kodlama ajanlarının performansının yalnızca temel modele değil, bağlam yönetimi ve yürütme ortamının yapılandırılmasına da bağlı olabileceği yönündeki eğilimle örtüşüyor. TokenPost daha önce kodlama ajanı piyasasında harness tasarımının sonuçları belirleyebileceğine ilişkin gelişmeleri aktarmıştı.

Taslağın temel noktası, uzun bağlamı koşulsuz biçimde korumak değil. TypeSafe, her görev için gerekli bilgilerin bırakılarak model, araç ve alt ajanlara ayrı ayrı aktarılacağı yapının topluluk tarafından doğrudan test edilmesini önerdi.