NVIDIA, terminal ajanı başarı oranını %50’den %68,03’e çıkardı

NVIDIA araştırmacıları, terminal ajanlarının komut adaylarını çalıştırmadan önce doğrulayarak benchmark başarısını artırdı. TerminalBench-Lite deneyinde Pass@1 oranı, temel ajanın %50,00’ından %68,03’e yükseldi.

NVIDIA araştırmacılarının tanıttığı “Mid-Harness”, ajanın her görev adımında birden fazla komut adayı oluşturduğu ve bir doğrulama modelinin bunları değerlendirerek birini seçtiği bir yapı kullanıyor. NVIDIA, araştırma sayfasında yanlış komutların çalıştırılmasının sonraki görev ortamını da etkileyebileceğini belirterek çalıştırma öncesi doğrulama adımının bu nedenle eklendiğini açıkladı.

Deneyde komut adaylarını TMAX-9B oluştururken doğrulamayı GPT-5.6 Sol yaptı. Her adımda sekiz adayın üretildiği koşulda Pass@1, %50,00’dan %68,03’e çıktı. Pass@1, görevin tek denemede başarıyla tamamlanma oranını ifade ediyor.

Araştırmacılar, yalnızca aday sayısını artırmanın performans artışını garanti etmediğini söyledi. Doğrulama yeteneği zayıfsa ek adayların avantajından yararlanmak zorlaşıyor; bu nedenle geçerli eylemleri seçebilen bir doğrulayıcı önem taşıyor. TMAX-9B’nin hem aday üretimi hem de doğrulamayı üstlendiği deneylerde, değerlendirilen yöntemler arasında ikili doğrulama en iyi sonucu verdi.

Araştırmacılar ayrıca bir görevi baştan sona birkaç kez çalıştıran “yörünge genişletme” yöntemini, her adımda daha fazla aday üreten “eylem genişletme” yöntemiyle karşılaştırdı. NVIDIA araştırma sayfasına göre TMAX-9B ve TerminalBench-Lite kombinasyonunda iki yöntemi birlikte kullanmak, yalnızca yörünge sayısını artırmaya kıyasla daha yüksek başarı oranı ve daha düşük tahmini token maliyeti sağladı. Maliyet tasarrufunun oranı açıklanmadı.

Mid-Harness, modeli değiştirmeden veya yeniden eğitmeden, üretilen eylemleri çalıştırılmalarından hemen önce inceleyen bir yapıyı test etti. Ancak yayımlanan veriler belirli bir benchmark deneyine ait. Aynı etkinin gerçek terminal görevlerinde veya uzun görev akışlarında görülüp görülmeyeceği henüz doğrulanmadı.