770 milyar parametreli Hy4 preview'i Tencent duyurdu

Tencent(0700.HK)'ın yapay zeka birimi Tencent Hunyuan, 770 milyar parametreye sahip açık ağırlıklı büyük dil modeli 'Hy4 preview'i duyurdu. Model, 1 milyon token'lık bağlam penceresi ve 'uzman karışımı' (mixture-of-experts) mimarisiyle uzun metin işleme ve ajan tipi yazılım geliştirme görevlerine odaklanan açık model yarışına girdi.

Tencent Hunyuan, 28'inde yayımladığı teknik dokümanda Hy4 preview'i yeni nesil büyük dil modeli olarak tanıttı. Modelin toplam parametre sayısı 770 milyar, token başına aktifleşen parametre sayısı ise 49 milyar olarak açıklandı.

Bağlam uzunluğu 1 milyon token olarak belirtildi. Bu özellik, uzun kod tabanları, birden fazla belge ve tekrarlı akıl yürütme gerektiren işleri tek seferde işleyebilecek şekilde tasarlandığına işaret ediyor.

Model 78 katmandan oluşuyor. İlk katmanda standart 'ileri beslemeli ağ' (FFN) yapısı kullanılırken, geri kalan 77 katmanda uzman karışımı mimarisi uygulanıyor.

Her katmanda 256 yönlendirilen uzman ve 1 paylaşımlı uzman bulunuyor. Her token için 8 yönlendirilen uzman ile paylaşımlı uzman birlikte devreye giriyor.

Uzman karışımı yapısı, her işlemde tüm parametreleri kullanmak yerine göreve uygun az sayıda uzman modülü çağırıyor. Bu sayede büyük modellerin performansı artırılırken token başına hesaplama yükü düşürülüyor.

Tencent, GitHub üzerinden paylaştığı dokümanda Hy4 preview'in yazılım geliştirme, belge ve elektronik tablo hazırlama, finansal analiz, oyun geliştirme ve bilimsel araştırma alanlarına göre tasarlandığını belirtti. Şirket içinden 163 uzmanın 203 mühendislik görevi üzerinde yaptığı kör değerlendirmede Hy4 preview'in ortalama 2,99 puan alarak GLM 5.3'ün 2,92 puanını ve Kimi K3'ün 2,94 puanını hafif farkla geçtiği aktarıldı.

Kodlama performansı bu duyurunun öne çıkan karşılaştırma noktalarından biri. Güney Koreli teknoloji medyası Digital Today, Tencent'in paylaştığı ölçütlerde Hy4 preview'in SWE Atlas Refactoring ve SWE-bench Pro gibi bazı testlerde GPT-5.6 Sol'dan daha yüksek puan aldığını yazdı.

Ancak bu sonuçlar Tencent'in kendi hazırladığı ölçütlere dayanıyor. Modelin tüm değerlendirmelerde rakiplerini geride bıraktığı anlamına gelmiyor; bağımsız doğrulama ve gerçek geliştirme ortamlarındaki performans ayrı bir konu olarak duruyor.

Model ağırlıkları Hugging Face, ModelScope, GitCode ve CNB platformlarında yayımlandı. Hugging Face'teki model kartında lisans Apache 2.0 olarak belirtiliyor.

Tencent, Hy4 preview'in yanı sıra FP8 kuantize edilmiş sürümünü de paylaştı. vLLM ve SGLang tabanlı dağıtım yöntemlerini de sunarak modeli kendi altyapısında çalıştırmak isteyen geliştirme ekiplerini hedef aldı.

Hizmet üzerinden erişim de mümkün. Tencent, Hy4 preview'in kendi ürünleri WorkBuddy, CodeBuddy, Yuanbao ve ima üzerinden kullanılabildiğini açıkladı.

TokenPost daha önce, Hy4 preview WorkBuddy'e entegre edildikten sonra artan çağrı hacminin kuyruk oluşturduğunu ve bunun üzerine çıkarım kümesinin genişletildiğini aktarmıştı. Bu duyuru, model performansının yanı sıra gerçek hizmet işletim kapasitesini de sınıyor.

Maliyet yapısı geliştirme ekiplerinin dikkat etmesi gereken bir başka nokta. Paylaşılan verilere göre API fiyatlandırması, 1 milyon token başına önbellekli girişte 0,042 dolar, standart girişte 0,834 dolar ve çıkışta 2,501 dolar olarak belirlendi. Geniş bağlam pencereleri ve ajan tipi çağrılarda giriş ve çıkış token sayısı hızla artabildiğinden, gerçek maliyet kullanım örüntüsüne göre değişebilir.

İşletim yükü de göz ardı edilmemesi gereken bir unsur. Orijinal model büyük ölçekli çıkarım kaynağı gerektiriyor; resmi dağıtım örnekleri FP8 sürüm için 8 GPU'luk paralel yapılandırmayı esas alıyor.

Tencent de Hy4 preview'in henüz erken bir sürüm olduğunu, karmaşık görevlerde çıkarım süresinin uzayabildiğini ve sonuçların gereğinden fazla yeniden doğrulanabildiğini kabul etti. Açık ağırlıklı modeller, ağırlıkların paylaşılmasıyla geliştiricilere doğrudan çalıştırma imkânı sunuyor; ancak performans doğrulama ve işletim sorumluluğu da büyük ölçüde kullanıcıya kalıyor.

Kore kripto sektörüyle bağlantı noktası token fiyatından çok geliştirme altyapısında kuruluyor. Web3 geliştirme ekipleri kod üretimi, belge analizi, güvenlik denetimi ve zincir üstü veri analizini otomatikleştirmek için yapay zeka ajanlarını sistemlerine entegre ediyor.

Geliştiriciye yönelik yapay zeka altyapısının uzun metin kodu üretiminde ve ajan tipi işlerde kullanılabileceği daha önce başka Çin kaynaklı modellerin duyurulmasında da görülmüştü. Hy4 preview'in duyurulmasının belirli bir kripto paraya olan talebi artırdığına dair herhangi bir bulgu paylaşılmadı.