Benzer ölçekte büyük ön eğitim ilerlemeleri en erken 2027’den itibaren görülebilir. OpenAI Baş Bilim İnsanı Jakub Pachocki, bu değerlendirmeyi 22’sinde yayımladığı “Perplexity and Intelligence” başlıklı resmi yazısında yaptı.
Bu görüş, matematik problemlerini çözen modellerde gözlenen değişimlerin ön eğitim araştırmalarına uyarlanmasına dayanıyor. Kesinleşmiş bir geliştirme takvimi ya da model çıkış planı anlamına gelmiyor.
Pachocki, model geliştiren şirketlerin ön eğitimdeki ilerlemeyi karşılaştırabilmesi için perplexity ve çapraz entropi kaybının ortak ölçütler olarak kullanılmasını önerdi. Değerlendirme görevleri değişse bile ön eğitimdeki değişimi ölçebilecek bir kıstasa ihtiyaç olduğunu belirtti.
Ön eğitim, büyük miktarda veriyle sonraki token’ı tahmin etme gibi görevlerin öğrenildiği ve modelin temel yeteneklerinin oluştuğu aşamadır. Perplexity, modelin bir metindeki sonraki token’ı ne kadar iyi tahmin ettiğini gösterir.
Aynı veri ve değerlendirme yöntemi kullanıldığında daha düşük perplexity, sonraki token tahminlerinin daha isabetli olduğu anlamına gelir. Çapraz entropi kaybı da tahminlerle gerçek veri arasındaki farkı ölçer.
Pachocki, OpenAI’nin kendi değerlendirme verisinde log perplexity değeri yaklaşık 0,76 olan bir modeli kullandıktan sonra kamuya açık matematik problemlerinde dikkat çekici sonuçlar gözlemlediğini söyledi. Log perplexity, perplexity değerinin logaritmasıdır; perplexity’nin kendisiyle aynı şekilde yorumlanamaz.
Bu değer, belirli bir yeteneğin ortaya çıkacağını garanti eden bir eşik değil. Pachocki, yeni yeteneklerin tam olarak hangi puanda belireceğinin önceden bilinemeyeceğini belirtti.
2023’te yayımlanan bir ACL makalesi, farklı büyüklükteki dil modellerini inceleyerek perplexity’nin BIG-Bench’teki 74 çoktan seçmeli görevde bağlam içi öğrenme performansını tahmin etmekte işe yaradığını bildirdi. Araştırma, ölçütün bu görevlerdeki kullanımını ele aldı; perplexity’nin modelin tüm yeteneklerini ölçen tek bir puan olduğu anlamına gelmiyor. Ayrıca bu ölçüt, görevlere özgü gerçek performansın yerine geçmiyor.
2022’de yayımlanan bir arXiv makalesi ise ön eğitim kaybı aynı olsa bile eğitim yöntemine bağlı olarak sonraki görevlerdeki performansın değişebileceğini inceledi. Bu bulgu, sonraki yeteneklerin yalnızca ön eğitim ölçütleriyle bütünüyle açıklanamayabileceğini gösteriyor.
Enstitülerin değerlendirme ve eğitim verileri farklı olduğundan puanları doğrudan karşılaştırmak zor. Akıl yürütme sürecinin sonradan eğitilmesi gibi ön eğitim sonrasında kazanılan yeteneklerdeki değişimler de perplexity’ye tam olarak yansımayabilir.
Pachocki, öncü model geliştiren şirketlerin değerlendirme yöntemleri, güvenlik red team ölçütleri ve şeffaflık kuralları üzerinde birlikte çalışması gerektiğini savundu. Öneri, sektörün modellerin davranışlarını anlamak ve izlemek için ortak ölçütler belirlemesine yönelik.
Ayrıca modellerin davranışları anlaşılabilir ve izlenebilir düzeye gelene kadar perplexity gibi temel ölçütlere dayalı geliştirme sınırları koyulmasını önerdi. Bu ölçütler henüz sektör çapında ortak bir anlaşmayla ya da resmi bir politikayla kabul edilmiş değil.
Comment 0