Salesforce(CRM) deneyinde toplam eğitim FLOPs’u ortak GRPO’ya kıyasla %42,0 azaldı

Salesforce(CRM) araştırmacıları, matematik ve kodlama için ayrı eğittikleri uzman modelleri tek bir modelde birleştirdikleri deneyde, iki alanı birlikte GRPO ile eğiten yaklaşıma benzer başarıya toplam eğitim hesaplama miktarını %42,0 daha düşük tutarak ulaştı.

Araştırmacılar bulguları, 6'sında (Kore saatiyle) arXiv'de yayımladıkları “Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO” başlıklı ön baskıda paylaştı. Çalışmada değerlendirme verilerindeki doğruluk, biriken eğitim FLOPs miktarıyla karşılaştırıldı.

Ekip önce matematik ve kodlama uzmanı modelleri ayrı ayrı eğitti. Ardından çoklu öğretmenli on-policy damıtma (OPD) yoluyla bu yetenekleri tek bir öğrenci modelde birleştirdi. Öğrenci model, her uzman modelin doğruluk düzeyine ulaşacak şekilde eğitildi.

Uzman modellerin eğitiminde GRPO (Group Relative Policy Optimization) kullanıldı. Bu yöntem, modelin birden fazla yanıtının göreli başarısına dayanarak pekiştirmeli öğrenme yapıyor.

On-policy damıtma (OPD) yönteminde öğrenci model kendi yanıtlarını üretirken öğretmen model her token için öğrenme sinyali veriyor. Bu deneyde matematik ve kodlama uzmanı modeller öğretmen olarak görev yaptı.

İki uzman modelin eğitimi 10,7 EFLOPs, bunları tek bir öğrenci modelde birleştirmek ise ek 0,55 EFLOPs gerektirdi. Damıtma aşamasındaki hesaplama miktarı, uzman modellerin eğitiminde kullanılan miktarın yaklaşık %5,2'siydi. 1 EFLOP, 10¹⁸ kayan nokta işlemi anlamına geliyor.

%42,0'lik azalma yalnızca damıtma aşamasını kapsamıyor. Uzman modellerin eğitimi ve birleştirilmesi için gereken toplam hesaplama miktarı, matematik ve kodu birlikte eğiten ortak GRPO yaklaşımıyla karşılaştırıldı.

Araştırmacılar deneyi dört alana genişletti: matematik ve kodlamaya bilgi değerlendirmesi ile talimatları izleme görevleri eklendi.

Dört alandaki uzman modellerin eğitimi 14,4 EFLOPs, bunların öğrenci modelde birleştirilmesi ise ek 1,15 EFLOPs gerektirdi. Birleştirme aşamasındaki hesaplama miktarı, uzman modellerin eğitiminde kullanılan miktarın %8,0'iydi.

Bu ayarda birleştirilmiş model, ortak GRPO'nun instance-mix ölçütüne benzer başarı gösterirken toplam FLOPs miktarını %31,6 azalttı. Araştırmacılar bu hesaplamaya uzman modellerin eğitimini ve birleştirme aşamasını da dahil etti.

Tek alanlı deneyde öğrenci modelin kendi GRPO kontrol noktası öğretmen olarak kullanıldığında, matematik performansını yeniden kazandıran damıtma aşaması GRPO eğitimine kıyasla 50 kata kadar daha az hesaplama gerektirdi. Bu karşılaştırma yalnızca damıtma aşamasındaki hesaplama miktarını kapsıyor.

Tek alanlı ayarda öğretmen olarak kullanılan GRPO kontrol noktası zaten hedeflenen model olduğundan, onun eğitim maliyeti de hesaba katılırsa yalnızca damıtma yoluyla toplam hesaplama miktarının azaldığı söylenemez. Birden fazla alan birleştirilirken uzman modeller farklı yeteneklere sahip; bu nedenle tek bir uzman modelin tüm alanları karşılaması zor.

Araştırmacıların karşılaştırdığı ayarlarda, dışarıda ayrıca eğitilmiş öğretmen modelleri kullanan OPD'nin aynı hesaplama miktarı başına doğruluğu genellikle GRPO'dan düşük kaldı. Bazı deneylerde öğrenci modelin yanıtları da gerekenden uzun oldu.

Çalışma, eğitim aşamasında ölçülen hesaplama miktarlarını karşılaştırıyor. Makale arXiv'de ön baskı olarak yayımlandı; sonuçlar gerçek bulut maliyetlerinin veya elektrik tüketiminin aynı oranda azaldığını göstermiyor.