MLCommons, MLPerf Training v6.1’in 250 test sonucunu yayımladı. 153 sistemin kayıtlarını içeren sonuçlara öneri sistemleri eğitimi ve yazılım geliştirmeye yönelik büyük dil modellerinin post-training değerlendirmesi de eklendi.
MLCommons, 16 Kasım’da yayımladığı açıklamada testlere 24 kurumun katıldığını bildirdi. Sistemlerin 57’si, yani yüzde 37’si bulut tabanlıydı.
Bulut tabanlı sistemlerin oranı, önceki sürüm v6.0’daki yüzde 29’un üzerine çıktı. Sonuçlarda yüksek sayıda hızlandırıcı kullanan sistemlerin ve yeni eğitim görevlerinin kayıtları da yer aldı.
MLPerf Training, belirlenmiş model ve verilerle eğitim yaparak hedef kaliteye ulaşmanın ne kadar sürdüğünü ölçüyor. Her testte model, veri ve hedef kalite farklı olduğundan 250 sonucu tek bir performans sıralaması gibi yorumlamak mümkün değil.
Benchmark kuralları Closed ve Open division kategorilerini birbirinden ayırıyor. Sistemlerin satın alınabilir veya kiralanabilir olmasına göre de sınıflandırma yapılıyor. MLCommons, eğitim sürelerinin değişkenlik gösterebildiğini ve görüntü dışı benchmarklardaki değişim aralığının yaklaşık ±%5 olduğunu belirtiyor. MLPerf Training kılavuzunda her test için karşılaştırma koşulları da açıklanıyor.
Öneri sistemi testi DLRMv4-HSTU, önceki DLRM-dcnv2 benchmarkının yerini aldı. Kullanıcıların geçmiş davranışlarını sıralı biçimde işleyen HSTU yapısını kullanan test, öneri modelinin eğitim süresini ölçüyor. DLRMv4 açıklamasında testte kullanılan veriler ve yapı tanıtılıyor.
Testte, bir müzik hizmetindeki kullanım kayıtlarından oluşan Yambda-5B verisi kullanılıyor. Veri kümesinde yaklaşık 4 milyar 790 milyon etkileşim kaydı bulunuyor.
Yeni post-training testi, Qwen3.5-397B-A17B modelini yazılım geliştirme görevlerini yerine getirecek şekilde eğitmenin ne kadar sürdüğünü ölçüyor. Model, yalıtılmış bir çalışma ortamında görevleri deniyor ve sonuçlara göre ek eğitim alıyor. Post-training benchmarkı açıklamasında belirtilen hedef kalite ‘0.69 pass @ 4’.
Testte GRPO (Group Relative Policy Optimization) yöntemi kullanılıyor. Model, birden fazla denemenin göreli ödüllerini karşılaştırarak güncelleniyor. Bu testin kapsamı, gerçek hizmetlerde ajanların gerçekleştirdiği tüm görevlerin kalitesini değerlendiren testlerden farklı.
MLCommons daha önce çıkarım aşamasındaki işlem hacmi ve yanıt sürelerini ele alan bir rapor yayımlamıştı. v6.1 ise çıkarım hızını değil, eğitimde hedef kaliteye ulaşma süresini ölçüyor.
Bu kez sunulan sistemlerin 12’sinde 1000’den fazla hızlandırıcı kullanıldı. En büyük sistemde 10.240 hızlandırıcı yer aldı. Nvidia(NVDA) Rubin nesli GPU’lar ile Google’ın TPUv7 Ironwood hızlandırıcıları, MLPerf Training sonuçlarında ilk kez görüldü.
Google Cloud, kendi açıklamasında 8192 Ironwood TPU ile DeepSeek-V3 ön eğitim görevinde hedef kaliteye 1,70 dakikada ulaştığını bildirdi. Şirket, 640 Ironwood kullanılan Qwen post-training testinin ise 18,02 dakika sürdüğünü açıkladı. Bu iki kayıt farklı görevleri ve farklı sayıda hızlandırıcıyı kapsıyor.
AMD(AMD), sunum yapan şirketlerin ek materyalinde, 8 MI350X·MI355X kullanılarak Llama eğitim performansının v6.0’a kıyasla ortalama yüzde 19 iyileştiğini belirtti. Nvidia ise aynı sayıda GPU kullanılan koşullarda Vera Rubin NVL72’nin bazı testlerde GB300 NVL72’den 2 kata kadar daha hızlı olduğunu bildirdi.
Bu rakamlar, şirketlerin kendi sunum sonuçlarında öne çıkardığı verilerdir. MLCommons, ek materyallerdeki şirket açıklamalarının kuruluşun görüşünü yansıtmadığını belirtti. Sunum yapan şirketlerin ek materyalinde şirket bazındaki sonuçlar ve açıklamalar yer alıyor.
Resmî sonuç panosu; model, sunum yapan kurum, hızlandırıcı sayısı ve sistem yapılandırmasına göre kayıtları gösteriyor. Bu nedenle sonuçlar incelenirken aynı eğitim görevi ve sistem koşulları karşılaştırılmalı.
Comment 0