NVIDIA, TensorRT 11.1’e çıkarım motoru yolunu otomatik arama özelliği ekledi

NVIDIA($NVDA), TensorRT 11.1’e yapay zekâ çıkarım motorları için derleme yolunu otomatik arayan bir özellik ekledi. NVIDIA’nın 10 iş yükünü karşılaştırdığı testte, ayarlama sonrası performans her iş yükünün varsayılan yoluna kıyasla 1,14 ila 1,63 kat oldu. Bu sonuçlar yalnızca test edilen iş yükleri için geçerli; tüm modellerde aynı artışın görüleceği anlamına gelmiyor.

NVIDIA, 23’ünde yayımladığı teknik blogda Global Performance Tuner’ın tasarımını ve ölçüm sonuçlarını açıkladı. Özellik, motorları farklı ayarlarla derliyor ve tamamlanan motorların çıkarım performansını karşılaştırıyor. Doğruluk doğrulaması etkinleştirildiğinde, kabul ölçütlerini karşılayan adaylar arasından en hızlı motor seçiliyor.

Derleme yolu, derleyici ayarlarının bir bileşiminden oluşuyor. Her ayar; sezgisel yöntemler, işlem birleştirme ve kod üretimi gibi derleme tercihlerini değiştiriyor. Ayrı bir yol belirtilmediğinde ayarlara varsayılan değerler uygulanıyor. TensorRT 11.1’de değiştirilebilen ayarların sayısı 200’ü aşıyor.

Otomatik arama, komut satırı aracı trtexec üzerinden çalışıyor. Araç, arama koşullarını ayrı derleme yollarına dönüştürüyor; her yolla bir motor oluşturup hızını ölçüyor. Derleme sırasında başarısız olan veya izin verilen doğruluk kaybı eşiğini aşan adaylar eleniyor. Kalan motorlar arasından ölçülen performansı en yüksek olan seçiliyor.

Tamamlanmış motorların karşılaştırılmasının nedeni, genel çıkarım performansının yalnızca tek tek işlemlerin hızına bakılarak belirlenememesi. Bir işlemde hızlı olan tercih, başka işlemlerle birleştirildiğinde veya veri aktarımı sırasında dezavantajlı olabilir. Motorun tamamını ölçmek, modele ve çalışma ortamına uygun derleme yolunu bulmaya yardımcı oluyor.

Doğruluk doğrulaması için girdi verileri, karşılaştırılacak referans çıktılar ve kabul edilebilir hata payı gerekiyor. Bu nedenle sonuçlar, belirtilen girdiler ve karşılaştırma ölçütleri ile eşikler çerçevesinde değerlendirilmeli. Test verileri gerçek kullanım koşullarını temsil etmiyorsa sonuçlar, farklı girdilerdeki doğruluğu garanti etmiyor.

Arama yöntemleri, derleme için gereken süreye ve arama kapsamına göre değişiyor. Fast yöntemi, varsayılan yoldaki ayarları tek tek değiştirerek deniyor. Full, belirtilen değerlerin tüm kombinasyonlarını inceliyor; mixed ise fast sonuçlarına dayanarak ek kombinasyonları araştırıyor. Ayar sayısı arttıkça tüm kombinasyonları denemenin yükü de büyüyor.

En uygun yol; modele, girdi biçimine, GPU’ya, yazılım ortamına, TensorRT sürümüne ve tuner sürümüne bağlı olarak değişebiliyor. NVIDIA, bu koşullar değiştiğinde önceki sonuçların doğrudan kullanılmamasını ve motorun yeniden ölçülmesini öneriyor.