NPU’da görev bazlı adaptör geçişi AMD Ryzen AI 1.9’a eklendi

AMD (AMD), Ryzen AI yazılımının 1.9 sürümüne, sinirsel işlem biriminde (NPU) dil modellerinin LoRA adaptörlerini çıkarım sırasında değiştirme özelliği ekledi. Özellik, metin için kullanılan bazı Qwen modellerini destekliyor.

AMD, sürüm notlarında bu özelliği “dinamik LoRA desteği” olarak tanımladı. Qwen3-4B ve Qwen3.5-4B modelleri hem sürüm notlarında hem de ayrı LoRA kılavuzunda yer alıyor.

LoRA, önceden eğitilmiş bir dil modelinin tüm ağırlıklarını yeniden ayarlamak yerine, belirli görevlere uyarlamak için küçük ve düşük ranklı adaptörler eğitiyor. Böylece temel model korunurken ihtiyaç duyulan görev için uygun adaptör ekleniyor.

AMD, tek bir temel modele birden fazla adaptör bağlanabildiğini ve çıkarım sırasında kullanıcıya ya da göreve göre seçim yapılabildiğini belirtiyor. Bu yaklaşım, her kullanım senaryosu için ayrı bir temel model kopyası bulundurma ihtiyacını azaltmayı amaçlıyor.

AMD’nin önerdiği geliştirme süreci, önce temel modelin Quark ile INT4 biçiminde nicemlenmesiyle başlıyor. Nicemleme, model ağırlıklarını çalıştırmada kullanılmak üzere daha küçük bir gösterim biçimine dönüştürüyor.

Ardından nicemlenmiş temel model kullanılarak LoRA adaptörü ince ayardan geçiriliyor. Sonraki adımda ‘model_generate’ aracıyla temel model ve adaptör, NPU’da çalıştırılmak üzere derleniyor.

Derleme sırasında adaptörün adı ve uygulama gücünü belirleyen değer de ayarlanıyor. Çıkarım başladıktan sonra derlenmiş adaptör, ‘set_active_adapter()’ ile seçiliyor.

‘base’ seçeneği, adaptör uygulanmamış temel modele dönüyor. Geçiş yapılabilen adaptörlerin NPU için önceden derlenmiş olması gerekiyor.

AMD’nin kılavuzunda, çıkarım sırasında ayrı bir adaptör dosyası ekleme adımı yer almıyor. Desteklenen en yüksek LoRA rankı 128; adaptörün uygulama gücü ise derleme sırasında belirleniyor.

Belgelerde çıkarım sırasında adaptörün uygulama gücünü değiştirme özelliği gösterilmiyor. Adaptörler arasındaki geçişin ne kadar sürdüğü de açıklanmıyor.

AMD, her görev için ayrı bir temel model kopyası bulundurmanın gerekmediğini söylüyor ancak ne kadar bellek tasarrufu sağlanacağını belirtmiyor. Bu nedenle yayımlanan bilgilerle tasarruf miktarını sayısal olarak hesaplamak mümkün değil.

Çıkarım hızının nasıl değiştiğine ilişkin bir veri de paylaşılmadı. Performans ölçümleri bulunmadığından bellek tasarrufu oranı veya hız artışı tahmini için dayanak yok.

AMD’nin donanım uyumluluk tablosunda dil modeli çalıştırma özelliği (LLM·OGA), STX, KRK ve GPT platformlarında listeleniyor. Özellik, tüm Ryzen AI cihazlarında kullanılabilir olarak tanımlanmıyor.

Kurulum kılavuzu, Windows için Ryzen AI yazılımı 1.9.0 yükleyicisini ve kurulum yolunu gösteriyor. TokenPost daha önce Ryzen AI Halo geliştirici platformunun yerel yapay zeka geliştirme ve çıkarım süreçlerini hedeflediğini aktarmıştı.

AMD belgelerinde Qwen2.5 desteği için belirtilen model boyutları farklılık gösteriyor. Sürüm notlarında Qwen2.5-3B, ayrı LoRA kılavuzunda ise Qwen-2.5-4B yazıyor; bu nedenle kesin boyutu belirlemek güç.

Yayımlanan sayfalardaki sürüm bilgileri de birbiriyle örtüşmüyor. AMD’nin GitHub dağıtım listesinde en güncel sürüm 1.9.0 olarak yer alırken geliştirici merkezindeki “en son sürüm” bilgisi 1.8’i gösteriyor.