Jetson Orin Nano’da 4,9 GB bellek kullanımı ölçüldü: Nvidia Nemotron E4B’yi tanıttı

Nvidia (NVDA), yerel sesli asistanlar ve etkileşimli ajanlar için geliştirdiği Nemotron 3.5 Bolt E4B 4GB küçük dil modelini 23 Ekim’de tanıttı. Modelin adındaki 4 GB, çalışırken her koşulda yalnızca 4 GB bellek kullandığı anlamına gelmiyor.

Nvidia, resmi model sayfasında modelin Google’ın Gemma 4 E4B-it modeli temel alınarak ek eğitimden geçirildiğini belirtti. Model, çok turlu konuşmalarda talimatları izlemek, araç çağırmak ve verilen bilgilere dayanarak yanıt üretmek üzere tasarlandı.

Nvidia, modelin GeForce RTX, Jetson, RTX Spark ve DGX Spark üzerinde çalışan asistanlar, oyun karakterleri ve gömülü arayüzlerde kullanılmasını öne çıkarıyor. TokenPost, Nemotron 3.5 ailesinin tanıtımı sırasında E4B’nin ekim ayında çıkmasının beklendiğini daha önce aktarmıştı.

Hugging Face’teki model kartına göre modelin toplam parametre sayısı 8 milyar, etkin parametre sayısı ise 4 milyar. Açık sürümün ağırlıkları Q4_K_M biçiminde kuantize edildi ve model en fazla 64.000 tokenlık giriş bağlamını destekliyor.

Nvidia, bellek kullanımı ve hız ölçümlerini llama.cpp’nin CUDA ortamında, 1’lik toplu iş boyutuyla yaptı. Şirket, sonuçların donanıma ve çalıştırma ayarlarına göre değişebileceğini belirtti.

RTX 5070, 3.000 yeni giriş tokenı ve 50 çıktı tokenı koşulunda 3,5 GB VRAM kullandı. Saklanan 32.000 tokenlık bağlama 2.000 yeni giriş tokenı ve 256 çıktı tokenı eklendiğinde kullanım 4,3 GB oldu.

Jetson Orin Nano 8GB’de aynı iki koşulda sırasıyla 4,2 GB ve 4,9 GB bellek kullanımı ölçüldü. Sonuçlar, giriş uzunluğu ve donanım değiştikçe model adındaki kapasite ile gerçek bellek kullanımının farklı olabileceğini gösteriyor.

RTX 5070, kısa giriş koşulunda ilk tokenı 548 milisaniyede üretti ve saniyede 133,4 token hızına ulaştı. Uzun bağlam koşulunda bu değerler sırasıyla 1.238 milisaniye ve saniyede 106,2 token oldu.

Jetson Orin Nano 8GB’nin üretim hızı aynı iki koşulda saniyede 15,5 ve 13,0 token olarak ölçüldü. Bu sonuçlar Nvidia’nın açıkladığı belirli bir çalıştırma ortamına ait.

Sesli asistanlar için tasarlanan modelin hem girdisi hem çıktısı metin. Sesi yazıya dönüştüren konuşma tanıma ve yanıtı seslendiren konuşma sentezi özelliklerinin ayrıca bağlanması gerekiyor.

Dil modeli çıkarımının cihazda yapılması, konuşma tanıma ve sentezini ya da harici araç çağrılarını da içeren tüm hizmet verilerinin otomatik olarak yerel cihazda işlendiği anlamına gelmiyor. Veri işleme biçimi, hizmete hangi özelliklerin bağlandığına göre değişebilir.

Nvidia’nın BF16 ile yaptığı öz değerlendirmede E4B, çok turlu konuşma yeteneğini ölçen MultiChallenge testinde 53,1 puan aldı. Gemma 4 E4B 42,1, Qwen 3.5 4B ise 51,8 puan elde etti.

Çok aşamalı müşteri görevlerini değerlendiren Tau2-Bench’te E4B 55,1 puanda kaldı; Qwen 3.5 4B’nin puanı 75,1 oldu. Bu sonuçlar BF16 modellerin değerlendirmesine ait olduğundan Q4_K_M sürümünün performansını doğrudan göstermiyor.

Nvidia, model ağırlıklarını Hugging Face’te yayımladı. Modelin kullanımı OpenMDW 1.1 lisansına tabi.