'10 kat az hesaplama' iddiası aslında deney maliyeti: Meta'nın yeni ölçekleme yasası tartışması

Meta($META) FAIR ekibi, büyük dil modellerinin (LLM) eğitim ölçeğini tahmin etmede uzun süredir referans alınan Chinchilla ölçekleme yasasının bazı noktalarda yanıldığını öne sürdü ve yasayı düzelten yeni bir model sundu. Ancak makalede geçen '10 kat az hesaplama' ifadesi, toplam eğitim maliyetinin onda birine indiği anlamına gelmiyor; sadece ölçekleme yasasını tahmin etmek için yapılan deneylerin maliyetini işaret ediyor.

Mathurin Videau, Badr Youbi-Idrissi, David Lopez-Paz ve Kartik Ahuja imzalı 'Skaling: Chinchilla's Exponents Meet Kaplan's Coupling' başlıklı makalede, model büyüklüğü ile eğitim verisinin kayıp (loss) değerine birbirinden bağımsız etki ettiği yönündeki eski varsayımın bazı aralıklarda hataya yol açtığı belirtildi. arXiv sayfasında makalenin gönderim tarihi 7'si, PDF'in meta verisinde ise 10'u olarak görünüyor.

Chinchilla yasası, sabit bir hesaplama bütçesinde model büyüklüğü ile eğitim token sayısının birlikte artırılmasının en verimli sonucu verdiği fikrine dayanıyordu. Google DeepMind, 2022'deki Chinchilla makalesinde 70 milyar parametreli modelin, aynı hesaplama gücüyle 280 milyar parametreli Gopher modelinden daha iyi sonuç verdiğini açıklamıştı.

Bu çalışmanın ardından sektörde 'parametre başına yaklaşık 20 token' kuralı yaygınlaştı. Mantık şuydu: modeli sürekli büyütmek yerine, model boyutuyla veri miktarını dengelemek hesaplama bütçesini daha verimli kullanıyordu.

Yeni makaleye göre bu yapı, verinin kıt olduğu veya modelin aşırı eğitildiği aralıklarda kaybı olduğundan az ya da olduğundan fazla tahmin edebiliyor. Araştırmacılar, Chinchilla'nın bağımsız toplama yapısına bir 'eşleşme üssü (k)' ekleyerek 'Skaling' adını verdikleri yeni yasayı önerdi.

Skaling, model büyüklüğü (N) ile eğitim token sayısının (D) birbirinden ayrı hareket ettiğini varsaymıyor. İki değişkenin kayıp yüzeyinde birlikte yarattığı etkiyi hesaba katarak tahmin hatasını azaltmayı hedefliyor.

Sayısal iyileşme de paylaşıldı. Araştırmacılara göre Skaling, test edilen yapılandırmaların yüzde 76'sında Chinchilla'dan daha isabetli sonuç verdi ve medyan bazda hata payında 2,2 kat iyileşme sağladı.

Ortalama mutlak yüzde hata (MAPE) ise deney koşuluna göre 1,5 ile 3 kat arasında azaldı. Ancak bu sonuçlar belirli bir deney ızgarası ve değerlendirme yöntemine dayandığından, başka modellere, verilere ve eğitim tariflerine doğrudan uygulanacağı kesin değil.

En dikkat çekici nokta '10 kat' ifadesi. Makaleye göre, tüm ızgarayı eşit şekilde tarayan yöntem yerine yalnızca düşük maliyetli bölgeyi inceleyen 'L şeklinde' profil çıkarma ızgarası kullanıldığında, yaklaşık 10 kat daha az hesaplamayla benzer tahmin doğruluğuna ulaşılabiliyor.

Bu, dev modellerin asıl eğitim maliyetinin onda birine indiği anlamına gelmiyor. Asıl eğitime başlamadan önce ölçekleme yasasını ayarlamak için yapılan küçük ölçekli deney ve profil çıkarma maliyetinin azaldığı anlamına geliyor.

Meta, daha önce Llama 3 duyurusunda da Chinchilla ölçütünü mutlak bir kural olarak görmediğini göstermişti. Şirket, 2024'te 8 milyar parametreli modelin, Chinchilla'nın optimal noktası olarak anılan yaklaşık 200 milyar tokenin çok üzerinde, 15 trilyon tokene kadar eğitildikten sonra bile performansının artmaya devam ettiğini açıklamıştı.

Meta FAIR, 2026 Mayıs'ında yayımladığı 'Compute Optimal Tokenization' araştırmasında da veri boyutunun token değil bayt cinsinden parametre sayısıyla orantılı olması gerektiğini savunmuştu. Bu yeni Skaling çalışması, token sayısı ile model büyüklüğü arasındaki basit orandan çok, kayıp yüzeyinin eşleşme yapısını doğrudan ele alan bir araştırma olarak görülebilir.

Bu tartışma, yapay zeka geliştirme maliyetleriyle ilgili daha geniş bir gündemle de bağlantılı. Büyük modellerin eğitimi veri merkezi, yarı iletken ve elektrik maliyetleriyle iç içe geçmiş durumda. TokenPost daha önce ABD'li büyük teknoloji şirketlerinin yapay zeka altyapı yatırımı yarışının nakit akışını zorladığını aktarmıştı.

Skaling, bu maliyet baskısını doğrudan çözen bir teknoloji değil; büyük ölçekli eğitime girmeden önce bütçe dağılımını daha isabetli planlamaya yarayan bir araştırma çerçevesi olarak öne çıkıyor. Eğitim öncesi deney maliyetinin azalması, model büyüklüğü ile veri miktarını belirlerken israfı bir miktar azaltabilir.

Makale henüz hakem denetiminden geçmiş bir akademik dergi yayını değil, arXiv üzerinde paylaşılan bir 'ön baskı (preprint)'. Kripto para ya da blokzincir piyasasıyla doğrudan bir bağlantı da sunulmuyor. Bu nedenle mevcut haliyle konuyu, sektör dengelerini değiştiren bir gelişmeden çok yapay zeka eğitim verimliliği ve ölçekleme yasası düzeltmesi tartışması olarak okumak gerçeğe daha yakın duruyor.