GSM8K'de %69,4: Qwen 3.5-2B, temel modelin %21,6'lık sonucunu aştı

Tree-Ising araştırmacıları, Qwen 3.5-2B'nin GSM8K'deki doğru yanıt oranının ağırlıkların bir bölümünün değiştirilmesinin ardından %69,4 olduğunu bildirdi. Aynı koşullarda değiştirilmemiş temel model %21,6'lık doğruluk oranına ulaştı.

QDeep ile ITMO Üniversitesi LEAD ekibinden araştırmacılar, sonuçları 10 Kasım'da arXiv'de yayımladıkları ön baskıda sundu. Değerlendirmede 1.319 GSM8K sorusu, akıl yürütme modu ve greedy decoding yöntemiyle çözdürüldü; yanıt uzunluğu 8.192 token ile sınırlandırıldı.

Araştırmacılar, GSM8K test kümesindeki ilk 200 soruyu inceledikten sonra temel modelin en çok zorlandığı greedy decoding yöntemini değerlendirme koşulu olarak seçti. Bu 200 soru dışarıda bırakıldığında kalan 1.119 soruda değiştirilmiş model %69,6, temel model ise %21,6 doğruluk oranı elde etti. Tüm değerlendirmede yanıtların token sınırına ulaşma oranı %77,9'dan %26,7'ye geriledi. Ancak temel modelin doğru yanıtladığı 285 sorunun 38'i değişiklikten sonra yanlış yanıtlandı.

Tree-Ising, modeli yeniden eğitmeden kayıtlı BF16 ağırlıkların bir bölümünü değiştiren bir yöntem. Ağırlıkların işaretini tersine çevirerek veya üs değerlerini sınırlı bir aralıkta değiştirerek tekrarlayan çıktıları azaltmayı ve yanıtların tamamlanmasını güçlendirmeyi amaçlıyor.

Araştırmacılar, ağırlık değişikliği kararını her çıktı satırı için ayrı bir ikili optimizasyon problemi olarak çözdü. Ising ve QUBO, çalışmada ikili seçenekleri optimize etmeye yarayan matematiksel gösterimler olarak kullanıldı.

Başlıca sonuçlar GPU üzerinde simüle tavlama ve kuantumdan esinlenen simüle çatallanma yöntemleriyle elde edildi. Bu deneyler, IBM kuantum bilgisayarıyla yapılan çalışmadan ayrı tutuldu.

Qwen 3.5-0.8B'nin MATH-500 üzerindeki dört üretimli değerlendirmesinde simüle tavlama %54,6, simüle çatallanma ise %55,1 sonuç verdi. Araştırmacıların aynı değerlendirme süreciyle yeniden ölçtüğü ajan tarafından değiştirilmiş modelin sonucu %51,7 oldu. Temel model için verilen %7,9 ise araştırmacıların bu çalışmada yaptığı yeni bir ölçüm değil, önceki araştırmadan alınan bir değerdi.

Araştırmacılar, beş matematik değerlendirmesinin tümünde iki yöntemin de ajan tarafından değiştirilmiş modelden daha yüksek puan aldığını bildirdi. Çoklu karşılaştırma düzeltmesi uygulandığında istatistiksel fark MATH-500 ve GSM8K'de doğrulandı.

MATH-500'deki 500 sorunun 100'ü ilk yöntem incelemesinde kullanıldı. Kalan 400 soruda simüle tavlama yöntemi %53,8, ajan tarafından değiştirilmiş model ise %50,8 sonuç aldı.

TokenPost daha önce Qwen 3.5-0.8B üzerinde yapılan ağırlık değiştirme deneyini aktarmıştı. O çalışmada MIT araştırmacıları, tekrarlayan çıktıları izleyip ağırlıkları değiştirmek için bir yapay zeka ajanı kullandı. Araştırma ekibi, çalışma yazısında MATH-500 puanının %7,9'dan %48,1'e yükseldiğini bildirdi.

Bu makaledeki 0.8B deneyi, önceki ajanın seçtiği katmanları yeniden kullandı. 2B deneyinde ise değiştirilecek katmanlar ve değişiklik miktarı yalnızca değiştirilmemiş model kullanılarak seçildi.

Makaledeki maliyet tablosuna göre Tree-Ising'in 0.8B prosedürünü bir kez çalıştırmak dört ileri geçiş isteği, yaklaşık 31 dakika ve 0,90 dolar (yaklaşık 1.200 Güney Kore wonu) gerektirdi. Mevcut ajanla değişiklik yöntemini bulma süreci için 50 ileri geçiş isteği ve 158 LLM görüşmesi, toplam 89,7 milyon token, yaklaşık 15,6 saat ve 312 dolar (yaklaşık 417.000 Güney Kore wonu) hesaplandı.

Bu iki maliyet, mevcut ajanın değişiklik yöntemini arama süreciyle Tree-Ising prosedürünün tek bir sabit yürütmesini karşılaştırıyor. Tree-Ising, ajanın herkese açık kayıtlarından alınan değiştirilmiş katmanları ve değişiklik miktarını yeniden kullandı. Her iki yöntemin geliştirme maliyetleri hesaba katılmadı.

IBM Heron kuantum bilgisayarındaki deney, ağırlık değiştirme probleminden yalnızca sekiz değişkenin ayrıldığı bir kavram kanıtıydı. Araştırmacılar bu sonucu modelin tamamına uygulamadı ve doğruluk ölçümü yapmadı.

Değerlendirme, Qwen 3.5 serisindeki iki modelin matematik soruları ve tekrarlayan çıktılarıyla sınırlı kaldı. Çalışmada genel dil becerileri veya aynı etkinin diğer model serilerinde görülüp görülmediği incelenmedi.