30 milyar parametreli Muse Glimmer, tek ekran kartında çalışıyor

Meta(META), 10'unda tüketici tipi tek ekran kartında çalışabilen 30 milyar parametreli yapay zeka (AI) modeli 'Muse Glimmer'ı duyurdu. Büyük bulut sunucularına ihtiyaç duymadan kişisel bilgisayarlarda ajan tipi görevleri işlemek üzere tasarlanmış açık ağırlıklı (open-weight) bir model.

ZeroHedge, Muse Glimmer'ın ağırlıklarının model deposu Hugging Face'te yayımlandığını bildirdi. Modelde değişiklik ve yeniden dağıtıma izin veren Apache 2.0 lisansı kullanılıyor; kullanıcıların telif hakkı ve lisans bildirimi gibi ilgili koşullara uyması gerekiyor.

Bu duyuru, Meta'nın kişisel bilgisayarlarda çalışabilen hafif açık ağırlıklı yapay zeka modelleri sunduğu sürecin devamı niteliğinde. Açık ağırlık (open-weight), yapay zekanın girdileri işlerken ve çıktı üretirken kullandığı hesaplama değerleri olan ağırlıkların indirilebilir şekilde paylaşıldığı bir dağıtım yöntemi.

Açık ağırlık ile açık kaynak arasındaki paylaşım kapsamı farklı. Model ağırlıklarının paylaşılması, eğitim verilerinin, kaynak kodunun ve tüm geliştirme sürecinin de paylaşıldığı anlamına gelmiyor.

Muse Glimmer, Meta'nın büyük modeli Muse Spark temel alınarak eğitildi. Büyük modelin çıktılarından ve eğitim sonuçlarından yararlanarak küçük modelin performansını artıran 'distilasyon' (distillation) tekniği kullanıldı.

30 milyar parametreli modeller genellikle tam hassasiyette 55GB'ın üzerinde bellek gerektiriyor. Meta, sayısal hassasiyeti düşüren sıkıştırma teknikleriyle model boyutunu 20GB'ın altına indirdi.

Sıkıştırılmış model, diğer çalışma bileşenleriyle birlikte 24GB veya 32GB sınıfı ekran kartlarında çalıştırılabiliyor. Yapı, bulut kullanım ücreti ödemeden veya dış sunuculara bağlanmadan modeli kendi donanımında çalıştırmak isteyen geliştiricileri hedefliyor.

Çıkarım (inference) hızını artırmak için 'speculative decoding' (spekülatif kod çözme) yöntemi uygulandı. Küçük bir yardımcı model bir sonraki cümle parçasını önce tahmin ediyor, ardından ana model birden fazla tahmini aynı anda doğruluyor.

Meta'nın kendi testlerinde Muse Glimmer, RTX 5090'da 3,1 kat, M5 Max'te 1,8 kat, M4 Max'te 1,5 kat daha hızlı sonuç verdi. Ancak karşılaştırma kriterleri ve performans rakamları Meta'nın kendi test sonuçlarına dayanıyor; bağımsız dış doğrulama henüz yapılmadı.

Muse Glimmer, kodlama, idari işler ve dış araç çağırma gibi çok aşamalı ajan tipi görevlere odaklanıyor. Ajan tipi yapay zeka, kullanıcının talimatına yalnızca yanıt üretmekle kalmayıp görevi parçalara bölüp araçları kullanarak sonucu tamamlayan modelleri ifade ediyor.

Meta, Muse Glimmer'ı Google'ın Gemma 4-31B ve Alibaba'nın Qwen 3.6-27B modellerine karşılık gelen bir model olarak sundu. Şirkete göre, gerçek kod hatası düzeltme, dış araç çağırma ve görev başarısızlığı sonrası toparlanma yeteneğini ölçen testlerde rekabetçi sonuçlar elde edildi.

Meta CEO'su Mark Zuckerberg(Mark Zuckerberg), 'Gelecek Herkes İçindir' (The Future Is for Everyone) başlıklı yazısında "ABD kaynaklı açık kaynak modellerin uzun vadede öne geçebilmesi için ABD politikasının bu tür ek sürtünmeleri azaltması gerekiyor" dedi. Zuckerberg'in bu sözleri, yapay zeka yeteneklerinin az sayıda kuruma değil, bireylere ve geliştiricilere geniş şekilde yayılması gerektiği görüşünü yansıtıyor.

Bu duyuru, Google, Alibaba, Mistral ve DeepSeek gibi şirketlerin küçük açık modeller sunduğu bir dönemde geldi. Modeli kendi donanımında çalıştırmak, kullanım ortamını doğrudan kontrol etme ve amaca göre uyarlama imkânı sunuyor; ancak gerekli donanım ve işletim kapasitesini kullanıcının kendisinin sağlaması gerekiyor.

Yapay zeka modellerinin yerel (local) olarak çalıştırılmasının yaygınlaşması, ekran kartı ve kişisel işlem kaynağı talebini doğrudan etkiliyor. Bunun kripto para AI sektörüne ve merkeziyetsiz bilişim (decentralized computing) alanına yansıyıp yansımayacağı için daha fazla gözlem gerekiyor; ilgili token fiyatları veya işlem hacimlerine doğrudan bir etkisi şu ana kadar doğrulanmadı.

Meta, önümüzdeki haftalar içinde Muse Spark'ın açık ağırlıklı sürümünü yayımlamayı, ardından daha büyük modeller sunmayı planlıyor. Muse Glimmer'ın gerçek performansı, ağırlıkları indiren dış geliştiricilerin bağımsız testleriyle daha net ortaya çıkacak.