OpenAI’nin 722 matematik taslağından 719’u depoda kaldı

OpenAI’nin yayımladığı 722 matematik taslağından 719’u şu anda depoda bulunuyor. En üst düzey sonuçların yaklaşık %42’si Lean ile biçimselleştirildi; matematik dünyasının sonuçlara ilişkin değerlendirmesi ise sürüyor.

OpenAI, 6 Ekim’de yayımladığı açıklamada, şirket içindeki bir frontier modelinin ürettiği matematik araştırması sonuçlarını kamuya açtığını bildirdi. Açık depo, 722 taslağı 372 sonuç kümesinde topladı ve modele yaklaşık 4.000 problem sundu. Depo değişiklik kayıtlarında 3 taslağın geri çekildiği, 14’ünün güncellendiği görülüyor.

Taslaklar sayı teorisi, cebirsel geometri, analiz ve teorik bilgisayar bilimi gibi farklı alanları kapsıyor. OpenAI, bazı kanıtların Lean biçimselleştirmelerini, 10 akıl yürütme özetini ve hesaplama miktarı tahminlerini de yayımladı. Şirket, bir sonuç üretmek için ortalama olarak ChatGPT Pro’nun “düşünme” özelliğinin yaklaşık 3 saatlik kullanımına denk hesaplama harcadığını açıkladı. Modelin adını ve modelin kendisini paylaşmadı.

Lean, matematiksel önermeleri biçimsel bir dille ifade eden ve kanıt adımlarının mantık kurallarına uygunluğunu bilgisayarla denetleyen bir araç. OpenAI deposuna göre en üst düzey sonuçların yaklaşık %42’si biçimselleştirildi. Değişiklik kayıtlarında, 7 Ekim itibarıyla 719 taslağın 300’ünün biçimselleştirildiği belirtiliyor.

Biçimselleştirme oranı, taslakların tamamının doğru olduğu anlamına gelmiyor. Lean, sisteme girilen biçimsel önermenin kanıt adımlarını denetliyor; önermenin makalenin iddia ettiği sonuçla örtüşüp örtüşmediğini veya varsayımların ve uygulama kapsamının uygunluğunu otomatik olarak değerlendirmiyor. OpenAI de depoda, biçimselleştirilmemiş sonuçların sorun içerebileceğini belirtti.

Doğrulamanın yanı sıra araştırma sürecinin ne ölçüde açıklandığı da tartışma konusu. OpenAI, açıklamasında bağımsız danışma grubunun önerilerinden yararlandığını; taslakların güncellenmesi ve atıf süreciyle bazı yöntem bilgilerini depoda paylaştığını bildirdi. Ancak model ve tüm istemler yayımlanmadığı için dış araştırmacıların sonuçları aynı koşullarda yeniden üretmesi zor.

Matematik ve Yapay Zekâ Danışma Grubu (AGMAI), 6 Ekim tarihli açıklamasında bu yayının, sonuçları anlama ve matematik bilgisine dahil etme sürecinin başlangıcı olduğunu söyledi. Grup, OpenAI ile görüşmüş olmanın sonuçların etkisine ilişkin bir hüküm ya da yayımlama sürecine verilmiş bir onay anlamına gelmediğini vurguladı. Ayrıca matematikçilerin yalnızca yapay zekâ şirketinin seçtiği problemlere ait sonuçları incelemekle kalmaması; kendi sorularını ve yaklaşımlarını da geliştirebilmesi gerektiğini belirtti.

Taslak sayısı ve biçimselleştirme oranı, tek tek sonuçların önemini veya akademik anlamını kesinleştirmeye yetmiyor. OpenAI 722 taslağı ilk yayımladığında da yalnızca bazı kanıtlar Lean ile biçimselleştirilmişti ve sonuçların tamamı doğrulamadan geçmemişti. Yayından sonra doğrulanan değişiklikler, bazı taslakların geri çekilmesi veya güncellenmesi ve bazı kanıtların biçimselleştirilmesi oldu.