Kodlama ajanı endeksinde yüzde 48: Mistral Large 4’ün ağırlıkları yayımlandı

Fransız yapay zekâ şirketi Mistral, 29’unda Mistral Large 4 modelinin ağırlıklarını yayımladı. Şirketin açıkladığı kodlama ajanı değerlendirme puanı yüzde 48 oldu.

Mistral’in resmî model kartında yaklaşık 1 trilyon parametreli model dosyaları ve modeli kendi altyapısında çalıştırmaya yönelik talimatlar yer aldı. Şirketler ağırlıkları indirerek modeli kendi altyapılarında çalıştırabiliyor.

Mistral, 6 Ekim’de API önizlemesini yayımlarken ağırlıkları ekim sonuna doğru dağıtacağını duyurmuştu. TokenPost, herkese açık önizlemede test sonuçlarının değerlendirmelere göre değiştiğini bildirmişti.

Large 4, toplam yaklaşık 1 trilyon parametresinin her bir token işlenirken yaklaşık 49 milyarını etkinleştiriyor. Gömme ve çıktı katmanları da hesaba katıldığında etkin parametre sayısı 52 milyara ulaşıyor. Model, tüm parametrelerini her işlemde aynı anda çalıştırmıyor.

Model metin ve görsel girdilerini alıp metin çıktısı üretiyor ve 1 milyon tokene kadar bağlamı işleyebiliyor. Mistral, talimatları izleme, akıl yürütme ve kodlama özelliklerini tek bir modelde bir araya getirdiğini belirtti.

Mistral, model kartında Large 4’ün Artificial Analysis kodlama ajanı endeksinde yüzde 48 puan aldığını açıkladı. Şirkete göre model, açık ağırlıklı GLM-5.3 ile neredeyse aynı puanı aldı ve görev başına ortalama token kullanımı yüzde 47 daha düşük oldu.

Kodlama ajanı endeksi, yazılım geliştirme görevleri, komut yürütme ve teknik soru-cevap olmak üzere üç değerlendirmedeki puanları eşit ağırlıkla birleştiriyor. Bu nedenle yüzde 48, kodlama ajanı değerlendirmelerinin kapsamındaki bir puanı ifade ediyor.

Mistral’in 6 Ekim’deki önizleme duyurusunda açıkladığı kodlama ajanı endeksi puanı yüzde 49,8’di. Duyuru tarihleri ve model sürümleri farklı olduğundan bu puan, yayımlanan ağırlıkların sonucu olarak değerlendirilemez.

Artificial Analysis, bağımsız genel değerlendirmesinde Large 4’ün yüksek yoğunluklu akıl yürütme ayarına 26 puan verdi. Değerlendirme sayfasına göre benzer ölçekteki açık ağırlıklı modellerin ortanca puanı 23. Endeks; bilgi işleri, kodlama, bilim ve genel bilgi dâhil dokuz değerlendirmeyi kapsıyor.

Mistral de model kartında, Çin’in önde gelen açık ağırlıklı modellerinin genel endekste daha yüksek puan aldığını belirtti. Kodlama ajanı değerlendirmesi ile genel endeks farklı kapsamları ölçüyor.

Siber güvenlik puanları önizleme modeline ait. Mistral, 6 Ekim tarihli duyurusunda CyberGym-E2E için yüzde 82, Cybench için yüzde 93 puan açıklamıştı.

Artificial Analysis’in bağımsız olarak yürüttüğü 131 görevlik CyberGym-E2E-AA değerlendirmesinde önizleme modeli yüzde 81,7 puanla ikinci sırada yer aldı. Bu sonuç, yayımlanan nihai modelin bağımsız değerlendirme sonuçlarından ayrı tutulmalı.

Model kartında vLLM, SGLang ve Transformers kullanılarak çalıştırma talimatları bulunuyor. vLLM örneğinde sekiz GPU’lu bir yapılandırma gösteriliyor; bu, her ortamda sekiz GPU gerektiği anlamına gelmiyor.

TokenPost daha önce Mistral’in Large 4’ü API örnek modeli olarak sunduğunu bildirmişti. Ağırlıkların yayımlanmasıyla şirketler modeli API üzerinden kullanmanın yanı sıra kendi altyapılarında da çalıştırabilecek.

Kullanım koşulları Mistral Ecosystem Open-Weight License kapsamında. Modelin kendisini hizmet olarak sunmak isteyen işletmelerin Mistral ile ayrıca ticari sözleşme yapması gerekiyor.