8 H100 GPU’yu 72 saat kiralamanın tahmini bedeli 967,68–3.545,28 dolar

Nvidia (NVDA) H100 80 GB GPU’larından 8’ini 72 saat kiralamak için yapılan bulut maliyeti hesaplamasında, tedarikçilere göre ücret 1,29 milyon won ile 4,74 milyon won arasında çıktı. En düşük tutar, en yüksek tutardan yüzde 73 daha az.

MarkTechPost, ayın 11’inde bulut GPU kiralama ücretlerini karşılaştıran GPU Leaderboard hizmetini ve GPU Leaderboard: Deploy It adlı Chrome uzantısını tanıttı. Hizmet, tedarikçilerin açıkladığı fiyatları temel alarak GPU kiralama maliyetlerini karşılaştırıyor.

Ayın 12’sinde kontrol edilen gösterge panelinde 24 tedarikçiye ait 201 GPU örneği yer aldı. Bunların 148’i talep üzerine (on-demand), 53’ü spot örnekti. Ekranda fiyatlar için belirtilen tarih ayın 10’uydu.

GPU Leaderboard, bir GPU’yu bir saat kullanmanın ücretini karşılaştırıyor. Adına rağmen işlem hızını veya hesaplama performansını ölçüp sıralayan bir kıyaslama testi değil.

Hesaplamanın varsayılan koşulu, 8 adet H100 80 GB’ı 72 saat kiralamak ve kullanım oranını yüzde 90 olarak girmek. Faturalandırma ölçütü 576 GPU-saat; hesaplayıcının tahmin ettiği fiilî kullanım ise 518,4 GPU-saat. Yüzde 90, ölçülmüş bir kullanım oranı değil, kullanıcının girdiği varsayım.

Hesaplayıcıda en düşük maliyet 967,68 dolar (yaklaşık 1,29 milyon won), ortanca maliyet 1.716,48 dolar (yaklaşık 2,29 milyon won), en yüksek maliyet ise 3.545,28 dolar (yaklaşık 4,74 milyon won) olarak gösterildi. Won karşılıkları, dolar başına 1.337 won üzerinden hesaplandı.

Tedarikçilerin fiyat listelerinde saatlik ücretler farklı faturalandırma birimlerine dayanıyor. Latitude, bir H100 80 GB GPU için GPU başına saatlik 1,68 dolardan (yaklaşık 2.250 won) başlayan fiyat sunuyor. CoreWeave ise 8 H100 içeren HGX örneğini saatlik 49,24 dolara (yaklaşık 66.000 won) listeliyor.

Bu iki ürünün GPU yapılandırmalarının, sunuldukları bölgelerin ve fiilî kullanılabilirliklerinin aynı olduğunu gösteren bir bilgi bulunmuyor. Bu nedenle saatlik fiyatları aynı koşullarda yapılmış doğrudan bir karşılaştırma olarak değerlendirmek zor.

Kullanıcılar GPU modelini ve sayısını, kullanım süresini ve kullanım oranını değiştirerek toplam maliyeti hesaplayabiliyor. Hizmette ayrıca her GPU için talep üzerine sunulan en düşük ücretler ve tedarikçilerin ürün listeleri görülebiliyor.

Tedarikçiler arasındaki fiyat farkı daha önce de gündeme gelmişti. TokenPost, 38 bulut şirketi ve 32 GPU ürününü karşılaştırdığı analizinde H100 kiralama ücretleri arasındaki farkın 18 kata kadar çıktığını bildirmişti.

Birlikte tanıtılan Chrome uzantısı, Hugging Face model sayfalarındaki model boyutunu okuyarak FP16, INT8 ve INT4 biçimleri için gereken VRAM miktarını tahmin ediyor. Bu özellik, modeli çalıştırmak için ihtiyaç duyulabilecek bellek kapasitesini hesaplamaya yardımcı oluyor.

Uzantı ayrıca GitHub depolarında model referanslarını arıyor; tarayıcı araç çubuğundan model veya GPU arama özellikleri sunuyor.

Veri toplama açıklamaları Chrome Web Store ile hizmetin gizlilik politikası arasında farklılık gösteriyor. Chrome Web Store, geliştiricinin kullanıcı verisi toplamadığını veya kullanmadığını belirtiyor. Hizmetin politikası ise kullanıcı bilgilendirme penceresinde onay verdikten sonra varsayılan olarak açık olan Share usage ayarına bağlı biçimde aranan model kimliği, yol ve zaman gibi bilgilerin gönderildiğini söylüyor. Politika, onay verilmeden önce veri aktarılmadığını da belirtiyor.

MarkTechPost, tedarikçi fiyatlarını her gün yeniden kontrol ettiğini söylüyor. Ancak ayın 12’sinde kontrol edilen gösterge panelinde fiyat tarihi ayın 10’u olarak görünüyordu. Hizmet koşulları da toplanan fiyat, kullanılabilirlik ve yapılandırma bilgilerinin eski, eksik veya hatalı olabileceği uyarısını yapıyor.

Hesaplama sonuçları, seçilen ürünlere ve kullanım oranı gibi girilen koşullara göre değişen karşılaştırma değerleri. Görüntülenen fiyatlar tek başına aynı iş yükünün gerçek toplam maliyetini veya işlem performansı farkını ortaya koymuyor.