FastFlowLM v1.0.13, yapay zeka modellerini AMD(AMD) GPU'da çalıştıran 'oga-hipep' arka ucunu ekledi. Windows'ta 13 model GPU üzerinde çalıştırılabiliyor, ancak GPU ile çalıştırmak için de NPU gerekiyor.
FastFlowLM geliştiricileri, GitHub'daki v1.0.13 sürüm notlarında modellerin artık yalnızca NPU'da değil, AMD GPU'larda da çalıştırılabildiğini duyurdu. Yeni arka uç, ONNX Runtime GenAI ile AMD'nin hip-ep çalışma zamanını kullanıyor ve standart Windows ZIP ile MSI paketlerinde yer alıyor.
GPU modelleri, etiketi '-oga-hipep' ile biten sürümler olarak sunuluyor. Kullanıcılar flm run ve flm serve komutlarıyla GPU modellerini çalıştırabiliyor ya da yerel sunucu açabiliyor. İlk flm run veya flm serve çalıştırmasında yaklaşık 137MiB boyutundaki hip-ep çalışma zamanı kullanıcı profiline kuruluyor.
Desteklenen modeller gemma3-oga-hipep:4b ile başlayıp qwen3.8-flash-next-oga-hipep:125b-a6b ile bitiyor, toplam 13 model var. İndirme boyutu 4,4GB ile 124,0GB arasında değişiyor. 125B modeli için yaklaşık 78GiB GPU belleği gerekiyor.
Kısıtlar da net. △Yalnızca Windows destekleniyor; Linux ve HRX derlemeleri desteklenmiyor. △Ana makinede NPU bulunması şart, bu nedenle yalnızca GPU olan cihazlarda çalışmıyor. △Gemma ve GPT-OSS GPU modelleri yalnızca metin destekliyor; sürüm notlarına göre Gemma'ya görsel veya ses gönderildiğinde HTTP 400 hatası dönüyor. △gemma4-it-oga-hipep:12b, araç çalıştırma sonucunu aldıktan sonra yanıt aşamasında hata verebiliyor.
Sürüm notlarındaki kendi ölçümlerine göre Ryzen AI MAX+ 395 üzerinde qwen3.5-oga-hipep:9b modeli yaklaşık saniyede 36 token çözme (decode) ve yaklaşık saniyede 1.150 token ön doldurma (prefill) hızına ulaştı. qwen3.8-flash-next-oga-hipep:125b-a6b için çözme hızı yaklaşık saniyede 34,5 token olarak verildi.
FastFlowLM şimdiye kadar ağırlıklı olarak AMD Ryzen AI NPU üzerinde model çalıştırıyordu. FastFlowLM geliştirme ekibi 17 Temmuz'da AMD'ye katıldı. GitHub deposu ROCm/FastFlowLM yolunda bulunuyor ve AMD ROCm projesi altında geliştirildiği görülüyor. AMD daha önce 8 GPU'yu tek düğümde birleştirerek model çalıştıran bir yapı da duyurmuştu.
remio.ai, AMD'nin FastFlowLM ekibini bünyesine katmasının tüm rakip çalışma zamanlarından daha hızlı olduğunu kanıtlamadığını değerlendirdi. Aynı yayın, projenin paylaştığı performans verilerinin büyük bölümünün kendi ölçümleri olduğuna da dikkat çekti. GPU özelliği önizleme aşamasında; geliştiriciler sonraki sürümlerde model etiketlerinin, seçeneklerin ve davranışların değişebileceğini belirtti.
Comment 0