Yandex, 80 milyar parametreli AI modelini tanıttı

Yandex, toplam 80 milyar parametreye sahip ve her token işlenirken yalnızca 3 milyar parametreyi etkinleştiren geniş dil modelini tanıttı. Rusça bilgi ve akıl yürütmeye odaklanan temel model, genel kullanıcıların doğrudan kullanabileceği tamamlanmış bir sohbet botu değil.

Yandex, AliceAI-Foundation-80B-A3B-Base modelini 21'inde yayımladı. Model ağırlıkları Hugging Face'te paylaşılırken ticari kullanımın yanı sıra değiştirme ve yeniden dağıtıma izin veren Apache 2.0 lisansı uygulandı.

Model, birden fazla uzman modülü arasından yalnızca bazılarını hesaplamaya dahil eden MoE (Mixture of Experts) mimarisini kullanıyor. Modelde 48 katman ve 512 uzman modülü bulunuyor. Maksimum bağlam uzunluğu ise 262 bin 144 token.

Yandex, modelin dışarıdan yayımlanmış modellerin ağırlıkları kullanılmadan sıfırdan eğitildiğini açıkladı. Ancak eğitim verilerinin ölçeği farklı kaynaklarda farklı şekilde aktarıldı.

Vedomosti, Yandex yetkilisinin açıklamasına dayanarak eğitim ölçeğini 18 trilyon token olarak bildirdi. Buna karşılık model kartında, her biri 2 trilyon token büyüklüğünde ayrı eğitim deneyleri yapıldığı belirtiliyor. Bu nedenle iki rakamın aynı eğitim aşamasına ait olduğu kesin olarak söylenemiyor.

Yayımlanan model, talimat eğitimi veya sohbet odaklı ince ayar uygulanmış ürün tipi bir model değil; ön eğitim temelli bir model. Geliştiricilerin modeli belirli görevlere uyarlamak için ek eğitim vermesi veya uygulamalara entegre etmesi gerekiyor.

Yandex, modeli gelecekte entegre akıl yürütme modelleri ile Alice AI'ın ajan özelliklerini geliştirmeye yönelik deneysel bir temel olarak sundu. Lansman takvimi veya nihai ürünün performans hedefi açıklanmadı.

Performans değerlendirmelerinde model Rusça alanında güçlü sonuçlar verdi. Model kartına göre AliceAI, Rusça olgusal bilgi kıyaslamaları WikiWebFacts ve HardMultiQA'da sırasıyla 86,5 ve 67,9 puan aldı.

Aynı değerlendirmede DeepSeek-V4-Flash-Base sırasıyla 83,2 ve 65,4 puan kaydetti. WikiWebFacts ve HardMultiQA, Rusça konuşulan çevrelerde olgusal bilgi ve uzmanlık alanlarını değerlendirmek amacıyla Yandex tarafından yayımlanan kıyaslamalar.

İngilizce değerlendirmelerde ise sonuçlar farklılaştı. AliceAI, TriviaQA'da 79,0 puanla DeepSeek-V4-Flash-Base'in 89,4 ve Nemotron-3-Super-120B-A12B-Base'in 89,8 puanının gerisinde kaldı.

Model kartındaki performans karşılaştırması, Yandex'in oluşturduğu değerlendirme ortamı ve kıyaslamalara dayanıyor. Aynı koşullarda bağımsız kurumlarca tekrarlanmış sonuçlar doğrulanmadı.

Seyrek mimari, modelin toplam kapasitesini korurken her token işlenirken yalnızca bazı uzmanların hesaplamaya katılmasını sağlıyor. Ancak etkin parametre sayısının 3 milyar olması, çalıştırma için gereken donanım seviyesinin düşük olduğu anlamına gelmiyor.

Modelin 80 milyar parametrelik toplam ağırlıklarının depolanması gerekiyor. Hugging Face'te vLLM, SGLang ve Transformers kullanılarak çalıştırma yöntemleri ile ek eğitim örnekleri de sunuldu.

Sektörün değerlendirmeleri farklılaştı. Vedomosti, Sberbank'ın modeli Rus mühendislik kapasitesini gösteren bir örnek olarak değerlendirdiğini, ancak küresel AI rekabetinde ölçütün onlarca milyardan trilyonlarca parametreye uzanan amiral gemisi modeller olduğunu belirttiğini aktardı.

Rusya'nın dijital ekonomi alanındaki kuruluşları ve AI Sanayi Birliği temsilcileri, açık lisansın ticari ürün geliştirmedeki hukuki engelleri azalttığını değerlendirdi. Gerçek ticari kullanımın ölçeği henüz açıklanmadı.

Bu yayımlamanın önemi, modelin toplam kapasitesinin yanı sıra açık ağırlıkları ve token başına yalnızca bazı parametreleri etkinleştiren mimariyi birlikte sunmasında yatıyor. Büyük ölçekli seyrek modeller arasındaki yapısal karşılaştırmalar daha önce DeepSeek V4.1 Flash'ın etkin parametrelerinin yayımlandığı haberde de ele alınmıştı.