GLM-5.3'ün performans farkı, aynı temel modelde son eğitimden geldi

Zhipu AI (Z.ai) çevresinde süren GLM-5.3 tartışması, büyük yapay zeka model yarışının odağını parametre büyüklüğünden son eğitim (post-training) ve operasyonel verimliliğe kaydırıyor. Aynı temel modeli kullanan sistemlerde bile uzun vadeli görev ortamlarının ve pekiştirmeli öğrenmenin genişletilmesi, kodlama ve güvenlik görevlerindeki performansı değiştirebiliyor.

Zhipu AI (Z.ai) kurucusu Tang Jie(Tang Jie), 19'unda (Çin yerel saatiyle 11.32) paylaştığı yazıda büyük modellerin ölçeklendirilmesinin yalnızca parametre sayısına bakılarak değerlendirilemeyeceğini, veri büyüklüğü, hesaplama kaynağı dağılımı, çıkarım maliyeti ve gerçek kullanım koşullarının birlikte ele alınması gerektiğini belirtti. Bu bilgiyi TechFlow aktardı.

Tang Jie, ilk ölçeklendirme yasalarında parametre artışının veri artışından daha hızlı gerçekleştiğini ve bu eğilimin bazı çok büyük modellerde kaynak dağılımı dengesizliğine yol açtığını açıkladı. Sonraki araştırmaların, model parametreleri ile eğitim verisinin daha dengeli biçimde büyümesi yönünde ilerlediğini söyledi.

Asıl kritik nokta ise son eğitim aşaması. Son eğitim, temel model oluşturulduktan sonra belirli görev ortamları ve ödül sistemleriyle performansın yeniden yükseltildiği süreç anlamına geliyor. Ön eğitim dil ve bilgi tabanını genişleten aşamayken, son eğitim gerçek kullanım biçimlerine göre yanıt ve davranışları ayarlayan aşamaya daha yakın.

Tang Jie, GLM-5.3'ün GLM-5.2 ile aynı temel modeli, mimariyi, toplam parametre sayısını ve aktif parametre sayısını kullandığını belirtti. Aradaki fark, bir aylık süre boyunca uzun vadeli görev ortamlarının ve pekiştirmeli öğrenmenin genişletildiği son eğitim sürecinde ortaya çıktı.

Bu açıklama, büyük model rekabetini yalnızca 'boyut yarışı' olarak görmeyi zorlaştırıyor. Modeli yeniden büyütmek yerine mevcut temel model üzerine daha uzun çalışma adımları, daha fazla görev ortamı ve ödül sistemleri ekleyerek performans artırma yolu öne çıkıyor.

Uzman karışımı (mixture-of-experts) modellerde toplam parametre ile aktif parametrenin anlamı da ayrışıyor. Tang Jie'ye göre toplam parametre modelin taşıyabileceği bilgi kapasitesiyle ilişkiliyken, aktif parametre ve etkin derinlik gerçek çıkarım yeteneğini daha doğrudan etkiliyor. Bu nedenle tek bir 'parametre başına eğitim token'ı' oranıyla model verimliliğini açıklamak giderek zorlaşıyor.

Çıkarım maliyeti de değişken olarak öne sürüldü. Model yüksek sıklıkla çağrıldıkça gerçek maliyet, eğitim aşamasından çok servis işletim aşamasında büyük ölçüde birikebiliyor. Bu durumda daha küçük bir modeli daha uzun süre eğitmek, maliyet ile performans arasında denge noktası olarak gündeme geliyor.

Zhipu AI daha önce GLM-5.3'ü kodlama performansı güçlendirilmiş yeni bir büyük dil modeli olarak duyurmuştu. Şirket, modeli önce GLM Coding Plan ve ZCode üzerinden sunacağını, API ve açık ağırlıkları ise güvenlik değerlendirmesinin ardından kademeli olarak yayınlayacağını açıklamıştı.

Açık ağırlık, model mimarisinin ve eğitilmiş değerlerin dış geliştiriciler tarafından doğrudan indirilip kullanılabildiği biçimi ifade ediyor. Geliştiriciler açısından yalnızca kapalı API kullanımına kıyasla kullanım alanı genişliyor, ancak dağıtım kapsamı ve güvenlik doğrulaması da beraberinde geliyor.

Zhipu AI'nin geliştirici dokümanları da GLM-5 serisinde uzun vadeli ajan görevlerini, asenkron pekiştirmeli öğrenmeyi ve uzun bağlam işleme verimliliğini temel eksenler olarak sunuyor. Uzun vadeli ajan görevleri, tek bir yanıt yerine çok adımlı planlama, yürütme ve doğrulama süreçlerini sürdüren görevleri kapsıyor.

Bu gelişme blok zinciri geliştiricilerine de dolaylı olarak temas ediyor. Akıllı sözleşme denetimi, kod incelemesi, açık bulma ve otomasyon geliştirme araçları, kodlama yapay zekası modellerinin performansından ve güvenlik önlemlerinden etkileniyor. Ancak kamuya açık kaynaklarda GLM-5.3 ile belirli bir kripto para veya blok zinciri projesi arasında doğrudan bir bağlantı ortaya konmadı.

Performans değerlendirmesi şu aşamada şirketin açıkladığı veriler ve dış haberlere dayanıyor. Gerçek geliştirme ortamındaki kararlılık, maliyet etkinliği ve güvenlik kontrol düzeyi, API ve ağırlık paylaşımlarının ardından yapılacak bağımsız değerlendirmelerle karşılaştırılabilecek.

Tang Jie'nin yazısı parametre büyüklüğünü, ön eğitim verisini, ileri yayılım hesaplamasını ve son eğitimi ayarlanabilir ölçeklendirme değişkenleri olarak ele aldı. GLM-5.3 örneği, büyük yapay zeka model rekabetinin yalnızca daha büyük temel modeller üretmekle açıklanamayacağını gösteriyor.