Tencent ($0700.HK) Hunyuan ekibi, dil omurgasında 770 milyar (770B) parametre bulunan çok modlu yapay zeka modeli Hy4'ün ağırlıklarını 20'sinde yayımladı. Geliştiriciler, 1.048.576 token'a kadar bağlamı destekleyen tam sürümü indirerek kendi ortamlarında çalıştırabilecek.
Yayımlanan paketler talimat izleyen Hy4, FP8 kuantizasyonlu Hy4-FP8 ve ön eğitimli temel model Hy4 base'den oluşuyor. Üç modelin ağırlıkları Hugging Face, ModelScope ve GitCode'da sunulurken System Card ayrıca yayımlandı.
Hy4, dil omurgasındaki toplam 770 milyar parametrenin token başına 49 milyarını etkinleştiren Uzman Karışımı (MoE) mimarisini kullanıyor. Toplam parametre sayısı ile token başına etkin parametre sayısı farklı olduğu için 49 milyar, modelin toplam ölçeğini ifade etmiyor.
Dil omurgası 78 katmandan oluşuyor. İlk katman standart FFN, kalan 77 katman ise MoE FFN olarak tasarlandı. Her MoE katmanında 256 yönlendirme uzmanı ve bir ortak uzman bulunuyor; her token için sekiz yönlendirme uzmanı ile ortak uzman devreye giriyor.
Hy4 yalnızca metni değil, görüntü ve videoyu da işliyor. Görsel kodlayıcı 1,23 milyar parametreye, çıkarıma yardımcı DFly2 taslak modeli ise 3,3 milyar parametreye sahip.
Uzun bağlam işlemede Gated DeepSeek Sparse Attention ve IndexCache kullanılıyor. İndeksleyici, tüm bağlam içinden en fazla 2.048 token seçiyor; toplam bağlam uzunluğu 1.048.576 token olarak ayarlanmış.
Resmi dağıtım süreci vLLM ve SGLang'ı destekliyor. Tencent'in vLLM örneği, Hy4-FP8 üzerinde sekiz yönlü tensör paralelliği ve OpenAI uyumlu API kullanılmasını öngörüyor.
Lisans Apache License 2.0 değil, Tencent Hy License 1.0. İnce ayar, kuantizasyon, damıtma, birleştirme ve budama işlemleriyle oluşturulan modeller lisans kapsamında türev ürün sayılıyor.
Model hizmeti (MaaS) sağlayıcısının dünya genelindeki toplam geliri herhangi bir ardışık 12 aylık dönemde 50 milyon doları (yaklaşık 66,6 milyar won) aşarsa veya modeli kullanan ürün ve hizmetlerden biri herhangi bir ayda 100 milyon aylık aktif kullanıcıyı geçerse ayrıca yazılı lisans alınması gerekiyor. Modeli, türevlerini ve çıktılarını üçüncü taraflara sunmadan yalnızca kurum içinde kullanmak istisna kapsamına giriyor.
Tencent, 4 Kasım'daki resmi duyurusunda Hy4'ü önce hizmet olarak sunacağını, birkaç gün içinde ağırlıkları ve System Card'ı yayımlayacağını açıklamıştı. Bu ağırlık yayını, söz konusu planın yerine getirildiğini gösteriyor.
Daha önce Hy4 Preview'nin API üzerinden sunulmasından farklı olarak bu kez model ağırlıkları indirilebiliyor ve model kendi altyapısında çalıştırılabiliyor. Böylece hizmet çağrısı ile kendi ortamında dağıtım birlikte kullanılabiliyor.
Tencent Hunyuan ekibi ile Tencent Financial Technology'nin yürüttüğü finansal değerlendirmeye, önde gelen finans kuruluşlarına bağlı 153 uzman dahil 213 kişi katıldı. 579 finans görevi üzerinden yapılan testte Hy4 ortalama 3,04 puan (4 üzerinden) aldı ve Tencent'in açıklamasına göre karşılaştırılan açık ağırlıklı modeller arasında en yüksek skoru elde etti.
Bu değerlendirme Tencent'in yönettiği şirket içi bir çalışma ve bağımsız dış doğrulama sonuçlarından ayrı tutulmalı. Resmi model kartı, Hy4'ün önizleme sürümüne kıyasla görsel anlama, uzun bağlam anlama ve uzun süreli görev yürütme becerilerini geliştirdiğini belirtirken araştırma düzeyinde matematik, uzun süreli kodlama, modelin kendini geliştirmesi ve zor görsel soru-cevap alanlarında en gelişmiş kapalı modellerle farkın sürdüğünü açıkça ifade ediyor.
System Card'daki güvenlik değerlendirmeleri de Tencent'in araştırma ve güvenlik birimlerince yapıldı. Bu nedenle güvenlik göstergeleri, bağımsız kuruluşların tekrarlanabilir doğrulama sonuçları olarak yorumlanamaz.
770 milyarlık sayı, görsel kodlayıcı ve DFly2 hariç dil omurgasına ait. Token başına 49 milyar parametre etkinleşse de dağıtım için toplam ağırlıkların saklanması gerektiğinden çalıştırma maliyeti ve bellek ihtiyacı yalnızca 49 milyar parametreli bir model esas alınarak hesaplanamaz.
Yayınlanan materyallerde kripto varlıklar veya blok zinciriyle doğrudan bağlantı ya da belirli GPU tedarik sözleşmeleri ve çip kullanım miktarları yer almıyor. Açıklama model ağırlıkları, dağıtım kanalları ve lisans koşullarına odaklanıyor.
Comment 0