GPU kernel ek bütçe deneyinde 1,21 kat, eşit bütçede 0,75 kat

UC Berkeley araştırmacıları, yapay zeka kodlama ekibinin rol ve işbirliği düzenini değiştirerek bir GPU kernelini optimize etti. Ek token bütçesiyle yapılan deneyde 47 görev için geometrik ortalama performans FlashInfer’e kıyasla 1,21 kat olurken, aynı bütçeyle yapılan karşılaştırmada sonuç 0,75 katta kaldı.

Araştırmacılar, 27 Ekim 2026’da yayımladıkları “Evolving Agent Teams” başlıklı makalede, büyük dil modellerinin yanıt üretiminde kullanılan MLA paged decode kernelini test etti. Deneylerde NVIDIA H100 kullanıldı.

GPU kernel, grafik işlem biriminde hesaplama yapan düşük seviyeli koddur. Büyük dil modeli çıkarımında kullanılan bir GPU kernel kütüphanesi olan FlashInfer, bu deneyde yeni kernel için karşılaştırma ölçütü olarak kullanıldı.

Araştırmacıların önerdiği “evrilen ajan ekipleri” yaklaşımında bir gözetmen ajan, ilerlemeyi ve başarısızlık nedenlerini izliyor. İş tıkandığında rolleri, işbirliği sırasını ve bilgi paylaşım biçimini yeniden düzenliyor; kodlama ajanları da yeni yapıya göre kernel yazıyor.

Makale, tek bir ajanın zor bir GPU işlemini uygulamaya çalışırken doğruluk sorunlarıyla karşılaşıp uygulanması daha kolay bir tasarıma yöneldiği bir örnek veriyor. Gözetmen ajan bu tıkanmayı teşhis ederek hata düzeltme veya performans analizini üstlenecek rolleri yeniden belirliyor.

Önceki ekiplerin deney sonuçları, başarısızlık kayıtları ve kodları paylaşılan bir dosya sisteminde tutuluyor; sonraki ekipler bunlardan yararlanıyor. MLA decode deneyinde gözetmen ajan, 100’den fazla ekip yapılandırmasını inceleyerek çalışma aşamalarına göre ekibi yeniden düzenledi.

Ek token bütçesiyle yapılan deneyde yeni kernel, 47 görevin 36’sında FlashInfer’den daha hızlı çalıştı. Kalan 11 görevde performans, temel kernelin 0,86 ila 0,99 katı arasında kaldı. 1,21 katlık değer, görev bazındaki hız oranlarının geometrik ortalaması; bu nedenle tüm görevlerde daha yüksek performans elde edildiği anlamına gelmiyor.

Aynı token bütçesinin kullanıldığı karşılaştırmada yeniden yapılandırılan ekip, FlashInfer’in 0,75 katı performans gösterdi. Claude Code’un tek ajanlı sürümü ise 0,44 ila 0,51 kat aralığında kaldı. Her iki sonuç da bu karşılaştırma koşullarında mevcut kernel ölçütünü aşmadı.

Ayrı bir tek çalıştırmalı karşılaştırmada yeniden yapılandırılan ekip 0,74 kat, rolleri sabit tutulan dört kişilik ekip 0,31 kat, Codex ise 0,28 kat performans gösterdi. Bu deneyin koşulları aynı bütçe karşılaştırmasından farklı; dolayısıyla sonuçlar tek bir deney ölçümü gibi birlikte değerlendirilemez.

Ölçüm aşaması da sonucu değiştirdi. Makaleye göre hazırlık aşaması olan plan() dışarıda bırakılıp yalnızca kernelin çalıştırılması karşılaştırıldığında yeni kernel, FlashInfer’in 0,96 katı performans gösterdi. FlashInfer gerçek kullanımda plan() sonucunu önbelleğe alıyor ve yalnızca girdi koşulları değiştiğinde yeniden hesaplıyor. 1,21 katlık karşılaştırmada bu kullanım biçimi esas alındı.

Ayrı deneylerde AMD (AMD) MI350X üzerinde KDA prefill kerneli, vLLM’e kıyasla 3,01 kat; NVIDIA (NVDA) B200 üzerindeki kernel ise FlashKDA’ya kıyasla 3,44 kat performans gösterdi. Bu iki deney farklı çipleri, görevleri ve karşılaştırma ölçütlerini kullandı.

Ana karşılaştırma ayarları iki kez çalıştırıldı ve daha iyi sonuç raporlandı. Sabit ekip karşılaştırması ile ek donanım deneylerinin her biri bir kez çalıştırıldı. Araştırmacılar, tekrar sayısının az olmasının istatistiksel karşılaştırmayı sınırladığını da belirtti.

TokenPost daha önce Salesforce araştırmacılarının yapay zeka ajanlarının yürütme yapısını değiştirerek web görevlerindeki başarı oranını artırdığı örneği haberleştirmişti. Bu çalışmada ise ajan ekibinin yapısı ve işbirliği biçimi, görevin aşamasına göre değiştirilerek GPU kodu optimizasyonunda kullanıldı.

GPU kernel yazan geliştirme süreci ile optimizasyon yapan ekibin yapısı farklı katmanlarda yer alıyor. Araştırmacılar deneyde kullanılan uygulama kodunu da yayımladı.