İlk token kısıtı ve örnekler, iki modelde uyumu 41,2 ve 34,5 yüzde puan artırdı

İki akıl yürütme modelinde ilk token sınırlandırılıp kullanıcı örnekleri eklendiğinde, biçim talimatlarına uyum puanları sırasıyla 41,2 ve 34,5 yüzde puan yükseldi.

Harvard Üniversitesi, Massachusetts Teknoloji Enstitüsü (MIT) ve Cambridge Boston Alignment Initiative bünyesindeki araştırmacılar, 29 Ekim'de arXiv'de yayımladıkları “The First Few Tokens Matter: Understanding Chain-of-Thought Controllability” başlıklı makalede deney sonuçlarını sundu.

Akıl yürütme süreci, modelin nihai yanıtını vermeden önce metin olarak ürettiği aşamadır. Araştırmadaki uyum puanı, bu metnin biçim talimatlarını ne ölçüde izlediğini ölçüyor; nihai yanıtın doğruluk oranını göstermiyor.

Araştırmacılar Qwen3-14B ve Qwen3-32B, OLMo-3.1-32B-Think ve GLM-5.2 modellerinde sekiz farklı talimat görevini denedi. Görevler arasında belirli kelimeleri kullanmamak, her cümleye bir işaret eklemek ve İspanyolca, büyük harflerle ya da leet yazımıyla yazmak vardı.

Deneyler, bilgi ekleme veya üslubu değiştirme talimatlarının yanı sıra belirli bilgileri bastırma talimatlarını da kapsadı. Araştırmacılar, düşünce sürecindeki talimat uyumunu nihai yanıtın doğruluğundan ayrı değerlendirdi.

Talimat verilmediğinde Qwen3-32B'nin ilk akıl yürütme token'ı olarak “Okay” seçme olasılığı yüzde 99,89, OLMo-3.1-32B-Think'in ise yüzde 99,52 oldu. Her iki modelde “Okay” ve “Alright” birlikte değerlendirildiğinde bu olasılık yüzde 99,99'u aştı.

Araştırmacılar, düşünce sürecini kurallara uygun bir token'la başlatmayı ve ilk token olarak “Okay” ya da “Alright” kullanılmasını engellemeyi denedi. Ayrıca token kısıtlamasının etkisini görmek için kullanıcı talimatlarına örnekler ekledi.

Önceden tek bir token vermek bile bilgi ekleme ve üslup değiştirme görevlerinde uyum oranını artırdı. Daha fazla token eklenmesi ise görece sınırlı ek iyileşme sağladı.

İlk token kısıtlaması ve kullanıcı örneklerinin birlikte uygulandığı koşulda Qwen3-32B'nin ortalama puanı 0,078'den 0,490'a çıktı. OLMo-3.1-32B-Think'in puanı da 0,029'dan 0,374'e yükseldi.

Bu değişimler sırasıyla 41,2 ve 34,5 yüzde puanlık artışa karşılık geliyor. Sonuçlar yalnızca söz konusu modeller ve deney koşulları için geçerli; akıl yürütme modellerinin genelinde ortalama bir iyileşme anlamına gelmiyor.

Belirli bilgileri kullanmamayı gerektiren görevlerde aynı etki tutarlı biçimde görülmedi. Önceden verilen token'ın kelime atlama üzerindeki etkisi sınırlı kaldı; örneklerin etkisi de modele ve koşula göre değişti.

Araştırmacılara göre bilgi ekleme veya üslup değiştirme becerisiyle bilgiyi bastırma becerisi ayrı ayrı değerlendirilmelidir. Tek bir talimat uyumu puanı, modelin kontrol edilebilirliğini anlamak için yeterli değil.

Makale, modellerin metinle ifade ettiği düşünce süreçlerinin ne ölçüde güvenilir biçimde izlenebileceğini ele alan araştırmalarla da bağlantılı. Ancak metinsel düşünce süreci, modelin tüm iç akıl yürütmesini olduğu gibi gösterdiği anlamına gelmiyor.

Mart 2026'da yayımlanan CoT-Control araştırması, Claude Sonnet 4.5'in düşünce sürecine yönelik talimatları yüzde 2,7, nihai yanıta yönelik talimatları ise yüzde 61,9 oranında izlediğini bildirdi. Bu çalışmada araştırmacılar, düşük düşünce süreci puanının modelin başlangıç ifadesinden kaynaklanıp kaynaklanmadığını inceledi.

Ekim 2026'da yayımlanan ayrı bir araştırma, talimatların düşünce sürecine öz talimat biçiminde eklenmesinin kontrol performansını artırdığını ve izleme sistemlerinden kaçınma deneylerinde de etkili olduğunu bildirdi. Talimatların yerleştirildiği konum ve görevler farklı olduğu için iki çalışmanın sonuçlarını doğrudan karşılaştırmak zor.

Makalenin yazarları, 12 modeli karşılaştırdıklarını ve kontrol puanlarıyla izleme performansı arasındaki ilişkinin talimat türüne ve değerlendirme görevine göre değiştiğini belirtti. Çalışmada model sayısının 12 ile sınırlı olması ve bazı puanların taban ya da tavan değerlere yığılması gibi belirsizlikler de yer aldı.

Bu araştırmada kasıtlı olarak izleme sistemlerinden kaçınma sınanmadı. Geliştirme veya çıkarım maliyetlerindeki tasarruf da ölçülmedi. Ayrıca API kısıtlamaları nedeniyle GLM-5.2 üzerinde ilk token kısıtlaması deneyi yapılamadı.

Araştırmacılar, düşünce sürecinin başlangıç biçimini değiştirme becerisiyle sonraki içeriği kontrol etme becerisinin ayrı ayrı değerlendirilmesini önerdi.