Hugging Face’teki 7,72 TB’lık depoda sentetik ağırlık iddiası

Hugging Face’te Mythos ölçeğinde olduğu öne sürülen 7,72 TB’lık model deposundaki bazı ağırlıkların sentetik olabileceği değerlendirildi. İncelemeyi yapan kişi, dosya biçimi ve kelime gömme katmanında gerçek model izleri bulduğunu, incelediği diğer ağırlıkların ise gerçek eğitim çıktısı olmadığını düşündüğünü belirtti.

Reddit kullanıcısı johnxreturn, 2 Kasım saat 01.37’de (Kore saatiyle) yayımladığı analizde bölünmüş dosyaların bir bölümünü incelediğini bildirdi. Karşılaştırma için Qwen2.5-7B’yi kullandığını; deponun paketleme biçiminin, tokenizer’ının ve kelime gömme katmanının gerçek bir modele işaret ettiğini, diğer ağırlıkların ise sentetik verilerden üretildiğini düşündüğünü yazdı.

Depo 23 Ekim’de oluşturuldu. Açıklamasında dosyaların Anthropic’in bir sonraki Mythos ölçeğindeki modelini eğitirken kaydedilmiş kontrol noktaları olduğu, modelde 1.224 uzman modülü ve yaklaşık 14 trilyon parametre bulunduğu ileri sürüldü.

Depoda 772 ağırlık dosyası bulunduğu ve toplam boyutun 7,72 TB olduğu iddia edildi. Hugging Face arayüzünde parametre sayısı yaklaşık 6,85 trilyon olarak gösteriliyor. johnxreturn, platformun belirli biçimlerdeki verileri toplama dahil etmediğini belirterek toplamı yaklaşık 13,68 trilyon olarak hesapladı.

johnxreturn, kelime gömmelerinde ilişkili kelimelerin birbirine yakın değerler aldığını söyledi. Analizde ‘cat’ ile ‘cats’ arasındaki benzerlik 0,475, ‘cat’ ile ‘Paris’ arasındaki benzerlik ise 0,0475 olarak ölçüldü.

Şüpheler çıktı katmanında yoğunlaştı. Depo ayarlarında çıktı katmanı ile kelime gömme katmanının ayrı eğitildiği belirtilmesine rağmen, iki katmanın karşılık gelen değerleri 131.072 satırın tamamında yaklaşık 0,89 benzerlik gösterdi.

Karşılaştırma için kullanılan Qwen2.5-7B’de ortalama benzerlik 0,0144’tü. johnxreturn, çıktı katmanının gömme değerlerinin sabit bir katsayıyla çarpılıp gürültü eklenmesiyle oluşturulmuş olabileceğini değerlendirdi.

Analizde aynı girdiyi alan modüllerin kalibrasyon değerleri de incelendi. Yazıda verilen iki değer yaklaşık 0,185 ve 0,087 olarak farklılık gösterdi. johnxreturn, aynı girdi için hesaplanan değerlerin birbiriyle eşleşmesi gerektiğini belirtti.

İncelediği 15 kalibrasyon değerinin tamamının farklı olduğunu ve 0,05 ile 0,40 arasında değiştiğini aktaran johnxreturn, bu bulguların sayıların rastgele üretilmiş olabileceği ihtimalini desteklediğini söyledi.

Ağırlık dağılımı da inceleme kapsamındaydı. johnxreturn, gerçek modellerde giriş kanallarına göre ağırlık büyüklüklerinin 2 ila 5 kat değişebileceğini, depodaki üç tür matrisin istatistik değerleri arasındaki farkın ise yalnızca %0,4 olduğunu bildirdi.

Depo açıklamasında ağırlıkların NVIDIA’nın NVFP4 biçimine dönüştürüldüğü ve Amazon Trainium2 üzerinde test edildiği yazıyor. Reddit kullanıcısı Strider96 ise AWS belgelerinde Trainium2’nin desteklediği biçimler arasında NVFP4 bulunmadığını belirterek bu açıklamaya itiraz etti.

Depodaki MMLU değerlendirme sorularının sayısı da dosyadaki konuma göre farklılık gösterdi. johnxreturn, bir yerde 14.042, başka bir yerde 281 soru yazdığını aktardı.

Reddit’teki diğer kullanıcılar, depo modelinin DeepSeek-V3, Qwen3-Next ve Kimi Linear gibi kamuya açık tasarımları birleştirdiğini öne sürdü. Eğitim kayıtlarında üç dakika sürmesi gereken bir kaydetme adımının sekiz saniyede tamamlandığı ve aynı değerlendirmede yedi kez üst üste aynı puanın alındığı yönünde iddialar da paylaşıldı.

johnxreturn, analizine dayanarak dosyaların gerçekten Anthropic’e ait bir kontrol noktası olma ihtimalini %0,5 olarak tahmin etti. Bu oran, kullanıcının kendi incelemesine dayanan bir tahmin; deponun tüm dosyalarının incelenmesiyle verilmiş bir karar değil.

İnceleme, 7,72 TB’lık verinin tamamının çalıştırılmasına veya tüm ağırlıkların kontrol edilmesine dayanmıyor; dosyaların bir bölümündeki yapılar ve değerler karşılaştırıldı. Deponun Anthropic’in eğitim dosyalarını içerdiği iddiası da şirket tarafından doğrulanmış değil.

TokenPost daha önce Anthropic’in Claude Mythos sayfasında başlıkta Mythos 5.5 yazarken duyuru listesi ve kullanım kılavuzunun 5.1’i en güncel sürüm olarak tanıttığını bildirmişti. Bu depoda da dosyalar bir sonraki Mythos ölçeğindeki modelle ilişkilendiriliyor ancak resmi Mythos 5.5 dağıtımına ilişkin bir 자료는 제시되지 않았다.

Reddit kullanıcısı Strider96, depoya 포함된 사용자 지정 파이썬 코드를 실행하지 말라고 경고했다. 이는 출처가 검증되지 않은 코드에 대한 주의이며, 해당 파일에서 악성코드가 발견됐다는 의미는 아니다.