CertiK ve Columbia Üniversitesi'nden araştırmacılar, derlenmiş 149 GPU kernel örneğini değerlendirdi ve bunların 83'ünün Lean spesifikasyonunu karşıladığını kanıtladı. Araştırma ekibi ayrıca altı kütüphanede 38 doğruluk sorunu tespit etti.
CertiK, ayın 20'sinde yayımladığı resmi açıklamada TensorLean araştırmasının sonuçlarını paylaştı. Çalışma, gerçek yapay zekâ işlem kodlarının doğruluğunu biçimsel doğrulamayla incelemeye odaklandı.
GPU kernel, grafik işlem biriminde belirli bir hesaplamayı yapan küçük bir programdır. Büyük dil modellerinin eğitimi ve yanıt üretimi için gereken işlemleri yürütür.
149 sayısı, değerlendirilen derlenmiş kernel örneklerini; 83 sayısı ise Lean spesifikasyonunu karşıladığı kanıtlanan örnekleri ifade ediyor. 38, değerlendirmede spesifikasyonu karşılamayan kernel örneklerinin sayısı değil, kütüphanelerde bulunan doğruluk sorunlarının sayısı.
DeepSeek'in DeepGEMM kütüphanesinde iki, FlashAttention'da 23 sorun tespit edildi. Bu iki kütüphanedeki toplam 25 sorun, bulunan 38 doğruluk sorununun bir bölümünü oluşturuyor.
Geleneksel testlerde geliştiricilerin seçtiği girdi örnekleri çalıştırılarak sorun aranır. Ancak teste dahil edilmeyen girdi boyutlarında veya yürütme koşullarında hatalar ortaya çıkabilir.
Biçimsel doğrulamada, programın yapması gereken hesaplama, geçerli koşullar ve kabul edilebilir hata payı matematiksel gereklilikler olarak tanımlanır. Ardından kodun bu gereklilikleri karşıladığı kanıtlanır. Araştırma ekibi bu gereklilikleri Lean spesifikasyonları olarak yazdı.
Kanıt geçerliyse kernel, belirtilen koşulları karşılayan tüm girdiler ve yürütme koşulları için gereklilikleri yerine getiriyor demektir. Bu güvence yalnızca doğrulamanın kapsamı ve koşulları içinde geçerlidir.
Yapay zekâ işlem kodlarında hızı artırmak için verilerin bellekteki yerleşimi ve GPU iş yükünün dağılımı değiştirilebilir. Veri aktarımıyla hesaplamayı eş zamanlı yürütmek veya daha düşük hassasiyetli işlemler kullanmak da uygulanan optimizasyonlar arasındadır.
TokenPost daha önce, GPU kernel optimizasyonu deneyinde performans sonuçlarının bütçe koşullarına göre değiştiğini bildirmişti. TensorLean araştırması ise performans artışını karşılaştırmak yerine optimize edilmiş kodun hesaplama doğruluğunu kanıtlamaya odaklandı.
TensorLean, GPU için derlenen kod gösterimi PTX'i doğrudan doğruluyor. Araştırmacılar böylece performans optimizasyonları içeren gerçek uygulamaların belirlenmiş hesaplama spesifikasyonlarını karşılayıp karşılamadığını inceledi.
Kanıt Lean ile yazıldı ve her adımın makine tarafından kontrol edilmesi sağlandı. Araştırma ekibi bu yöntemle farklı nesillerden GPU mimarileri için geliştirilen kernelleri değerlendirdi.
Bulgular tek tek işlem kodları için geçerli. Araştırma, yapay zekâ modelinin genel performansını veya yanıtlarının doğruluğunu kanıtlamıyor.
CertiK, varsayımsal bir örnek olarak 100 milyon dolarlık (yaklaşık 133,1 milyar won) yapay zekâ eğitiminde hesaplamanın %1'inin yeniden yapılmasının 1 milyon dolar (yaklaşık 1,331 milyar won) ek işlem maliyeti doğurabileceğini belirtti. Bu tutar, TensorLean kullanılarak fiilen sağlanan bir tasarruf değil; hesaplama hatalarının olası maliyetini açıklamak için verilen bir örnek.
Kod optimize edildikten sonra yeni uygulamanın önceki gereklilikleri karşılayıp karşılamadığı yeniden kontrol edilebilir. Hesaplama hedefi ve varsayımlar aynı kaldığında spesifikasyon yeniden kullanılabilir; girdi koşulları veya kabul edilebilir hata payı değişirse spesifikasyonun da uyarlanması gerekir.
Comment 0