İlk deneyde Qwen’in MATH-500 puanı %7,9’dan %48,1’e çıktı; GPT-6 Astra ağırlıkları düzenledi

İlk deney sonuçlarına göre GPT-6 Astra, Qwen 3.5-0.8B’nin (Qwen3.5-0.8B) 131.072 ağırlığını düzenledikten sonra MATH-500 puanı %7,9’dan %48,1’e yükseldi. Düzenlenen ağırlıklar modeldeki toplam ağırlıkların %0,016’sını oluşturdu.

MIT Bilgisayar Bilimi ve Yapay Zekâ Laboratuvarı (MIT CSAIL) araştırmacıları, 2 Kasım’da yayımladıkları araştırma yazısında bu yaklaşımı ‘Weight-Space Programming’ olarak adlandırdı. Yöntem, büyük dil modellerinin başka bir modelin ağırlıklarını inceleyip bazı değerleri doğrudan değiştirmesini içeriyor.

Aynı deneyde GSM8K puanı %13,8’den %67,1’e, talimatları izleme becerisini ölçen IFEval puanı ise %21,0’dan %62,3’e çıktı. MATH-500’deki sonuç, önceki puanın yaklaşık 6,1 katına karşılık geliyor.

Ancak bu sonuçlar, Qwen 3.5-0.8B üzerinde en fazla 50 model çalıştırmasına izin verilen koşullarda elde edildi. Her modelin veya her görevin matematik performansının altı kat arttığı anlamına gelmiyor.

Deneyde GPT-6 Astra, ağırlıkların bulunduğu bir Python çalışma ortamından yararlanarak değiştirilecek değerleri belirledi. Araştırmacılar gradyan hesaplamadı ve eğitim sürecini yeniden çalıştırmadı.

Bunun yerine modelin GSM8K ve MATH eğitim sorularını çözmesini sağladılar ve sonuçları incelediler. ‘Yeniden eğitim olmadan düzenleme’ ifadesi, modelin hiçbir geri bildirim almadan tek seferde değiştirildiği anlamına gelmiyor.

Araştırmacıların ilk incelediği 96 alıştırma yanıtının 85’i, yanıt tamamlanmadan 32.768 token sınırına ulaştı. Araştırmacılar, deneyde matematik becerisinden çok tekrarlı akıl yürütme nedeniyle yanıtların tamamlanamaması sorununu ele aldıklarını belirtti.

Araştırmacılar, tekrarla ilişkili ağırlık yönünü belirleyip 15. ve 19. katmanlardaki bazı değerleri ayarladıklarını açıkladı. Değişiklikler toplam ağırlıkların küçük bir bölümünü kapsasa da deney, belirli bir modelde gözlemlenen tekrarlı akıl yürütme sorununu azaltmaya odaklandı.

MATH-500 değerlendirmesinde token sınırına takılan yanıtların oranı, düzenleme öncesindeki %93,0’dan sonrasında %33,1’e geriledi. Puan artarken yanıtı tamamlayamama oranı da düştü.

Qwen’in resmi model kartında, önerilen ayarlarda Qwen 3.5-0.8B’nin diğer Qwen 3.5 modellerine kıyasla düşünce tekrarına daha yatkın olduğu belirtiliyor. Bu bilgi araştırmanın ele aldığı sorunu destekliyor, ancak araştırmacıların açıkladığı puanları bağımsız biçimde doğrulamıyor.

Ağırlıklar, modelin girdileri işleyip yanıt üretirken kullandığı sayısal parametrelerdir. Bu yaklaşım, modeli yeniden eğitmek yerine başka bir modelin ağırlıkların bir bölümünü doğrudan inceleyip ayarlayıp ayarlayamayacağını sınadı.

Tekrarlı akıl yürütme sorununun daha seyrek görüldüğü Gemma 3 270M üzerinde yapılan ek deneyde MATH-500 puanı başlangıçtaki %6,8’den düzenleme sonrasında en fazla %7,7’ye çıktı. Araştırmacılar bu sonucu kanıtlanmış bir iyileşme olarak değerlendirmedi.

Bu nedenle sonuçları, az sayıda ağırlığı değiştirmenin her modelin matematik performansını büyük ölçüde artırdığına dair kanıt olarak genellemek zor. Araştırmada gerçek geliştirme maliyetlerinde veya çalışma süresinde sağlanan tasarruf da ölçülmedi.

Bu deneyde GPT-6 Astra, başka bir modelin ağırlıklarını düzenlemek için kullanıldı. OpenAI’nin GPT-6 Astra’yı 3 Eylül’de piyasaya sürdüğünü açıkladığını daha önce haberleştirmiştik.

Araştırmacılar deney kayıtlarını, değerlendirme verilerini ve ağırlık değişikliklerini açık bir depoda yayımladı. Başka bir araştırma ekibinin bu sonuçları yeniden ürettiğine ilişkin bulgu sunulmadı. Çalışmada kripto varlıklar veya yarı iletkenlere yönelik uygulamalar da incelenmedi.