QwenGyre, 2,4 trilyon parametreli modelde RL eğitimini yüzde 44 kısalttı

Alibaba araştırmacıları, QwenGyre pekiştirmeli öğrenme çerçevesiyle Qwen3.8 2,4 trilyon parametreli modelin 48 aşamalı eğitim süresini mevcut asenkron yönteme kıyasla yaklaşık yüzde 44 azalttı. Aynı GPU bütçesiyle yapılan deneyde eğitim 134,55 saatten 75,42 saate indi.

QwenGyre, uzun süreli görevleri yerine getiren yapay zekâ ajanlarının pekiştirmeli öğrenmesi için geliştirildi. Ajanların görevleri yürüttüğü “rollout” süreci ile model eğitimi için kullanılan GPU’ları işlerin ilerleme durumuna göre yeniden tahsis ediyor.

Görevini önce tamamlayan ajana ayrılmış GPU model eğitimine yönlendirilirken, diğer GPU’lar çalışmayı sürdüren ajanlara tahsis ediliyor. Araştırmacılar, bu süreçte görevleri durdurmadan GPU’ların kullanım amacının değiştirilebildiğini ve yeni GPU’ların devam eden eğitime katılabildiğini belirtti.

Araştırmacılar, kod yazma gibi birden fazla aşamadan oluşan görevleri başlıca kullanım alanı olarak gösterdi. Ajanların çalışması saatler sürebiliyor; model çağrıları ve araç kullanımı tekrarlandıkça görevlerin tamamlanma süreleri farklılaşabiliyor.

Mevcut eşzamanlı eğitim yönteminde model, bir grup ajan görevinin tamamı bitene kadar güncellenmiyor. Araştırmacılara göre işini erken tamamlayan ajanların GPU’ları, diğer görevler bitene kadar atıl kalabiliyor.

Asenkron eğitim, görev yürütme ile model eğitimini birbirinden ayırıyor. Ancak araştırmacılar, GPU’ların bu iki işe sabit biçimde tahsis edilmesinin kullanılmayan kaynakların esnekçe aktarılmasını zorlaştırdığını belirtti. QwenGyre, görevlerin tamamlanma sırasına göre GPU’ları eğitime yönlendirerek bu sorunu azaltacak şekilde tasarlandı.

Araştırmacılar eğitim verilerindeki yinelenen işlemleri azaltmak için de bir yöntem uyguladı. Ajan yeniden denediğinde, kayıtları sıkıştırdığında veya alt ajanları çağırdığında yürütme yolları dallanabiliyor. Buna rağmen farklı yollar aynı model çıktısını paylaşabiliyor.

QwenGyre, her model çağrısının gerçek girdisini ve çıktısını kaydediyor, ortak geçmişi paylaşan yolları bir yörünge ağacında düzenliyor. Eğitim sırasında sınırlı sayıda yol seçilerek aynı model çıktısının tekrar hesaplanması önleniyor.

Görev zaman aşımı nedeniyle sona erse bile tamamlanmış ve doğrulanabilir kısmi sonuçlar eğitimde kullanılabiliyor. Araştırmacılar, bu yöntemle ajanların yeniden denemeleri ve kesintileri sırasında oluşan yürütme kayıtlarının eğitime yansıtılabildiğini açıkladı.

Makaleye göre Qwen3.8 2,4 trilyon parametreli model, görev başına yaklaşık 700 bin token işledi. Aynı GPU bütçesiyle gerçekleştirilen 48 aşamalı pekiştirmeli öğrenme eğitiminde QwenGyre 75,42 saat, mevcut asenkron yöntem ise 134,55 saat sürdü.

Kod deposu oluşturma becerisini ölçen NL2RepoBench testindeki başarı oranı, eğitim öncesinde yüzde 52,48 iken sonrasında yüzde 58,54’e çıktı. Bununla birlikte makalede, QwenGyre ile mevcut eğitim yönteminin eğitim puanlarının benzer olduğu belirtildi. QwenGyre makalesi

Alibaba araştırmacıları, GPU’ların yeniden tahsisi ve yürütme yollarındaki tekrarların azaltılmasına dayanan deneyde eğitim süresi ile kıyaslama sonuçlarını paylaştı. Bulgular, söz konusu model ve deney koşullarıyla sınırlı. TokenPost daha önce Alibaba’nın Qwen3.8 2,4 trilyon parametreli modelinin Çin’deki Chusuan İnternet’e dağıtıldığını bildirmişti.