AMD (AMD) ve Unsloth, 19’unda Unsloth Desktop’a AMD XDNA 2 sinirsel işlem birimi (NPU) desteği ekledi. Böylece uygulama ve iş akışlarından oluşan 100’den fazla ajan tabanlı yapay zekâ aracı, OpenAI uyumlu API üzerinden NPU tabanlı yerel çıkarıma bağlanabiliyor.
AMD, resmi açıklamasında XDNA 2 NPU’nun Unsloth Desktop’ta desteklenen ilk NPU olduğunu belirtti. Buradaki ‘dünyanın ilk’ ifadesi yalnızca bu uygulamanın destek kapsamını anlatıyor; NPU tabanlı yerel çıkarım teknolojisinin tamamında ilk kez kullanıldığı anlamına gelmiyor. Lemonade ve FastFlowLM model sunumu ile çıkarımı üstlenirken CPU ve GPU, ajanların diğer görevlerine ayrılıyor.
Bağlanan araçlar arasında △Hermes Agent, △OpenClaw, △Open WebUI, △Cline, △LangChain ve △GitHub Copilot bulunuyor. AMD’nin teknoloji blogunda OMP ile Visual Studio Code da örnek olarak verildi.
AMD, Qwen3.6 35B-A3B uzman karışımı modelini Unsloth Desktop ve FastFlowLM üzerinden XDNA 2 NPU’da çalıştırdığı bir gösterim yayımladı. Tüm bağlam kullanıldığında yaklaşık 28 GB NPU belleği gerekiyor; Windows’un varsayılan paylaşımlı bellek ayarında 64 GB sistem RAM’i öneriliyor. 64 GB zorunlu değil, tavsiye edilen kapasite olarak veriliyor.
Desteklenen cihazlar AMD Ryzen AI 300 (Strix Point ve Kraken Point), Ryzen AI Max (Strix Halo) ve Ryzen AI 400 (Gorgon Point) serileri ile XDNA 2 ve üzeri NPU’lardan oluşuyor. İşletim sistemleri Windows 11 ve Linux x64. Linux’ta kernel 7.0 ve üzeri için amdxdna sürücüsü, daha eski kernel’ler için amdxdna-dkms kullanılıyor; en yeni NPU ürün yazılımı ve sınırsız memlock ayarı da şart.
NPU modeli FastFlowLM için 4 bitlik Q4NX formatında hazırlanıyor. Genel GGUF modelleri NPU’da doğrudan çalışmadığından desteklenen modellerin Q4NX’e dönüştürülmesi gerekiyor.
Unsloth belgeleri, Qwen3.6-35B-A3B-NPU2 modelinin boyutunu 20.6 GB, önerilen sistem RAM’ini 64 GB olarak veriyor. AMD ise tüm bağlamla çalıştırma için yaklaşık 28 GB NPU belleği gerektiğini açıklıyor; iki değer model boyutu ile çalışma sırasındaki bellek ihtiyacını ayrı ayrı gösteriyor.
Aynı tabloda işlem hızı saniyede 17.2 token, ilk token gecikmesi ise 3.13 saniye olarak yer alıyor. Test ortamı ayrıntılı biçimde açıklanmadığı için bu sayılarla başka bir model veya GPU’yla doğrudan performans karşılaştırması yapılamıyor.
Unsloth, NPU’nun mevcut GPU’lara göre token üretimi başına 2 ila 4 kat daha az enerji kullanabileceğini belirtiyor. Bu değer geliştiricinin iddiası; bağımsız bir benchmark ile doğrulanmış sonuç değil.
AMD, XDNA’yı AI motoru döşemeleri ve çip üzeri bellek kullanan, önbellek erişimini azaltan mekânsal veri akışlı bir NPU mimarisi olarak tanımlıyor. NPU, GPU’nun yerini alan bir birim olarak değil, yerel çıkarımı üstlenerek CPU ve GPU’yu diğer görevlere bırakan yardımcı bir işlem birimi olarak sunuluyor.
Gerçek kullanımda hissedilen performans ve enerji verimliliği model formatı, bellek kapasitesi, bağlam uzunluğu ve güç moduna göre değişebilir. Q4NX dönüşümü ile büyük modellerdeki bellek bant genişliği de çalışma koşullarını etkileyebilir.
Bazı Reddit kullanıcıları enerji verimliliği ve desteklenen cihazlar konusunda olumlu görüş paylaştı. Buna karşılık entegre GPU’yla hız karşılaştırması, XDNA 1 desteği ve büyük modellerde bellek bant genişliği darboğazı ihtimali hakkında sorular yöneltildi.
Bazı kullanıcılar NPU ile entegre GPU’nun token işleme hızını aynı sistemde karşılaştıran sonuçlar da yayımladı. Ancak ölçüm sahipleri bunun ‘çok kaba bir karşılaştırma’ olduğunu belirtti; bu nedenle gayriresmî veriler resmî performans göstergelerinden ayrı değerlendirilmelidir.
Duyuru, Unsloth’un temmuz ayında AMD Radeon, Instinct ve Ryzen GPU’larında model eğitimi ile çıkarımını desteklemeye yönelik iş birliğinin genişletilmesi niteliğinde. TokenPost’un önceki haberine göre, Güney Kore Bilim ve ICT Bakanlığı ile AMD, CPU ve GPU’ları yerli NPU’larla birleştiren yapay zekâ bilişim altyapısını görüştü.
Phoronix, AMD’den aldığı ön teyide dayanarak özelliğin yalnızca Windows’ta değil Linux derlemelerinde de çalıştığını bildirdi. Resmî destek şu anda XDNA 2 ve üzeriyle sınırlı; XDNA 1 desteğinin olup olmadığı ve takvimi doğrulanmış değil.
Comment 0