58 ücretsiz model: Nvidia'nın yapay zeka açılımı genişliyor

Nvidia($NVDA), açık modelleri ve ücretsiz çıkarım API'leriyle geliştirici tabanını genişletiyor. Şirket, modelleri önce ücretsiz denemeye açıp ardından kullanıcıları kendi GPU tabanlı dağıtım altyapısına yönlendiren bir strateji izliyor.

Nvidia, 11'inde resmi blogunda 'Nemotron 3.5 Lightning' modelini duyurdu. Model, toplam 30 milyar parametre ve 3 milyar aktif parametreye sahip bir karma uzmanlar (Mixture of Experts, MoE) mimarisine dayanıyor.

Karma uzmanlar mimarisinde her girdi için modelin yalnızca bir kısmı devreye giriyor, bu da işlem yükünü azaltıyor. Nemotron 3.5 Lightning, uzun bağlam işleme ve ajan tipi yapay zeka görevlerini hedefliyor; en fazla 1 milyon token bağlamı destekliyor.

Model, Hugging Face ve Nvidia NGC üzerinden indirilebiliyor. Hugging Face model kartında 11 Ağustos çıkış tarihi, OpenMDW 1.1 lisansı ve ticari kullanım izni yer alıyor.

Nvidia NGC, ilgili konteynerin yapay zeka ajanları, sohbet botları, geri getirme destekli üretim (RAG) ve kodlama asistanlığı gibi alanlarda kullanılabilecek OpenAI uyumlu bir API sunduğunu açıkladı. Geliştiriciler model ağırlıklarını, dağıtım konteynerini ve çıkarım API'sini doğrudan test edebiliyor.

Nvidia'nın model sayfası, 25'inde (Kore saatiyle) yapılan kontrolde 126 model gösterdi. Bunların 58'i ücretsiz uç nokta (endpoint), 102'si indirilebilir model olarak listelendi.

Aynı sayfada, geliştirme amaçlı ücretsiz sunucusuz (serverless) API ile Nvidia NIM çıkarım mikro hizmetleri de yer alıyor. Ücretsiz API ilk denemeler ve performans karşılaştırmaları için kullanılırken, NIM gerçek dağıtım aşamasındaki çıkarım hizmeti kurulumuna karşılık geliyor.

Bu gelişme, TokenPost'un daha önce haberleştirdiği Nvidia'nın Nemotron 3.5 duyurusuyla bağlantılı. Şirket yalnızca büyük çıkarım modelleri sunmakla kalmıyor, küçük ölçekli çalıştırma katmanı modelleriyle yönlendirme araçlarını da bir araya getiriyor.

Aynı gün duyurulan 'NeMo Switchyard', görev türüne göre modelleri ayırarak kullanmayı sağlayan açık kaynaklı bir yönlendirme kütüphanesi. Nvidia, teknik blogunda aracın model performansı, maliyet ve altyapı sinyallerini dikkate alarak görevleri dağıttığını belirtti.

Ajan tipi yapay zeka, tek seferlik soru-cevap veren sohbet botlarının aksine genellikle çok adımlı işlemleri tekrar tekrar çalıştırıyor. Her isteği büyük modele yönlendirmek yerine tekrarlayan işleri hafif modellere, karmaşık kararları ise büyük modellere aktarmak; maliyeti ve gecikme süresini azaltan bir yöntem olarak kullanılıyor.

Nvidia, daha önce 4 Haziran'da 'Nemotron 3 Ultra' modelini de duyurmuştu. Bu model, toplam 550 milyar parametre ve 55 milyar aktif parametreye sahip büyük ölçekli bir MoE modeli.

Resmi kaynaklara göre Nemotron 3 Ultra, en fazla 1 milyon token bağlam ve uzun süreli ajan görevlerini destekliyor. Nemotron 3.5 Lightning ise daha küçük çalıştırma katmanında özel görevleri hızlı işlemeye odaklanan bir model olarak sunuldu.

Yazılım katmanında da genişleme sürüyor. Nvidia'nın teknik blog yazısına göre 'Dynamo 1.0', Blackwell tabanlı ortamlarda istek işleme kapasitesini en fazla 7 kat artırdı.

Bu rakam, 3 Mart'ta güncellenen SemiAnalysis InferenceX karşılaştırma testi baz alınarak paylaşıldı. Nvidia; model, konteyner ve çıkarım optimizasyon yazılımını birlikte sunarak geliştiricilerin kendi donanım ortamında performansı test edebilmesini sağlayan bir yapı kuruyor.

Nvidia'nın ücretsiz model stratejisi, kapalı API ağırlıklı yapay zeka geliştirme akışına alternatif bir seçenek sunuyor. Ancak gerçek maliyet tasarrufu ya da GPU talebindeki artış etkisi, her şirketin dağıtım ortamına, kullanım düzeyine ve donanım yapılandırmasına göre değişiyor.