Meituan, 3,56 TB'lık LongCat-2.5 model ağırlıklarını yayımladı

Meituan (3690.HK), LongCat-2.5 modelinin ağırlıklarını yayımladı. Hugging Face deposunda 208 ağırlık dosyası bulunuyor ve dosyaların toplam boyutu 3,56 TB.

Meituan, modeli 2 Kasım'da teknoloji blogunda tanıttıktan sonra ağırlıkları 9 Kasım'da erişime açtı. Böylece geliştiriciler model dosyalarına doğrudan ulaşabiliyor. Modelin tanıtımı ile ağırlıkların dağıtımı farklı tarihlerde gerçekleşti.

Depoda MIT lisansı gösteriliyor. Model kartında, bu lisansın Meituan'ın ticari markalarını veya patentlerini kullanma hakkı vermediği belirtiliyor.

Ağırlıkların yayımlanması, eğitim verilerinin veya tüm eğitim sürecinin de paylaşıldığı anlamına gelmiyor. Yayımlanan materyal, modeli oluşturan ağırlık dosyalarından ibaret.

Meituan, LongCat-2.5'i toplam 1,6 trilyon parametreye sahip, ancak token başına yaklaşık 48 milyar parametresi etkinleşen bir uzman karışımı (MoE) modeli olarak tanıttı. MoE mimarisi, girdiye bağlı olarak birden fazla uzman modülün yalnızca bir bölümünü etkinleştiriyor.

Hugging Face'teki model kartında toplam parametre sayısı 1,6 trilyon olarak verilirken aynı sayfadaki otomatik üst verilerde 1,8 trilyon yazıyor. İki değer arasındaki farka ilişkin resmi bir açıklama bulunmuyor.

Model, görüntü sinyallerini birden fazla aşamada ayrık token'lara dönüştürüp metinle birlikte işleyen çok modlu bir yapıya sahip. Meituan; karmaşık kod tabanları geliştirme, baştan sona proje oluşturma ve görsel bilgilerden yararlanarak kod yazmayı başlıca kullanım alanları arasında gösterdi.

Meituan'ın teknoloji blogunda, Çin üretimi bir AI hızlandırıcı kartın belleğinin 80 GB'ın altında olduğu koşullar dikkate alınarak ara eğitim ve denetimli ince ayarda (SFT) uzun diziler kullanıldığı açıklandı. Çin üretimi çiplerle AI modeli çalıştırıldığına ilişkin önceki bir örneğe, TokenPost'un Çin üretimi çiplerle geliştirilen modelin tanıtımını ele alan haberinde yer verilmişti.

Eğitim sisteminde süper düğüm içi iletişime öncelik veren bir paralellik stratejisi ile çift parçalı tam parçalanmış veri paralelliği (FSDP) kullanıldı. Meituan, bu tasarımın bellek kullanımını azalttığını belirtti. Teknoloji blogunda ayrıntı verilen kapsam ara eğitim ve SFT ile sınırlı.

Çıkarım aşamasında W4A4 yöntemi uygulandı. Bu yöntemde uzman ağırlıkları ve aktivasyonlar ayrı ayrı 4 bit olarak nicemleniyor.

Meituan, kendi çevrim içi yük testlerinde W4A4'ün girdi işleme (prefill) veriminin W8A8'e kıyasla %43,3, çıktı üretimi (decode) veriminin ise %42,77 daha yüksek olduğunu açıkladı. Her iki değer de şirketin ölçümlerine dayanıyor.

Reddit'teki ilk gönderinin yazarı, ağırlıklar yayımlanmadan önce ön izleme modelinden kod analizi istediğini, ancak görevin yaklaşık 20 dakika boyunca tamamlanmadığını ve modelin aynı cümleyi tekrarladığını yazdı. Başka bir yorumcu da sanal makine kurulumu sırasında basit bir “ls” komutunun defalarca tekrarlandığını belirtti.

Bir başka Reddit kullanıcısı, 267 görevden oluşan karşılaştırmalı testte ön izleme modelinin ilk denemede başarı oranını (pass@1) %48,7, üç denemeye kadar başarı oranını (pass@3) %64,0 olarak kaydetti. Bu kişisel test, ağırlıklar yayımlanmadan önceki ön izleme modeliyle yapıldı.

Hacker News'te modelin tanıtıldığı gönderinin altındaki tartışmada, kamuya açık kıyaslama testlerine dayanarak API'nin rekabetçi olduğunu savunan görüşlerle modelin büyük boyutunun kişisel cihazlarda dağıtımı zorlaştıracağını belirten görüşler bir arada yer aldı. Bu tartışma da ağırlıkların yayımlanmasından önce yapıldı.