Tencent’in ($0700) Hunyuan ekibi, Hy4’ün eğitim sonrası aşamasına ve büyük ölçekli pekiştirmeli öğrenmeye odaklandığını, ayrıca daha büyük modeller eğitmeyi planladığını açıkladı.
Ekip, 21’inde Reddit’te düzenlenen açık soru-cevap oturumunda Hy4’ün hâlâ geliştirilebileceğini ve özellikle eğitim sonrası çalışmalarla iyileştirilebileceğini söyledi. “Büyük ölçekli pekiştirmeli öğrenmeye yoğunlaşıyoruz. Kullanıcı deneyimini ve model güvenliğini geliştirmeyi sürdürüyoruz. Daha büyük ölçekli modeller eğitmeyi planlıyoruz” ifadelerini kullandı.
Tencent’in 700 milyar parametre düzeyinde model ölçeğini neden artırmayı bıraktığı sorusuna ekip, “Hy3 ve Hy4, iyi eğitilmiş küçük modellerin daha büyük modelleri geride bırakabileceğini ve maliyetleri düşürebileceğini gösterdi” yanıtını verdi.
Tencent’in Hy4 için yayımladığı resmî model bilgilerine göre model, toplam 770 milyar parametrenin token başına 49 milyarını etkinleştiriyor.
Tencent, Hy4 Flash’ı 16’sında piyasaya sürerken kendi iş değerlendirmesi WorkIndex’te görev başına maliyetin Hy4’ün maliyetinin 20’de biri olduğunu açıkladı. Hy4 Flash, toplam 224 milyar parametrenin 12 milyarını etkinleştiriyor. Maliyet karşılaştırması Tencent’in kendi değerlendirmesine dayanıyor.
Açık soru-cevap oturumunda Hy4’ün tasarımı da ele alındı. Hunyuan ekibi, GQA ve MLA’yı değerlendirdikten sonra MLA’yı seçtiğini belirtti. Ekip, aynı boyutta geçici depolama alanı kullanıldığında MLA’nın daha iyi model kalitesi sunduğunu, DSA’nın ise yanıt üretimi sırasında hesaplama yükünü azaltabildiğini söyledi.
Hunyuan ekibi, eğitim sonrası süreçte düzeltilmesi en zor davranışlardan birinin modelin ‘aşırı düşünmesi’ olduğunu belirtti. Küçük Hy4-mini modeli de geliştirme yol haritasında yer alıyor.
Comment 0