Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

Microsoft, 235 milyar parametreli yapay zekâ modelini 3 PC'de çalıştırdı

Microsoft, USB4 ile birbirine bağlanan üç mini PC'de 235 milyar parametreli bir yapay zekâ modelini dağıtık biçimde çalıştırdığı test sonuçlarını yayımladı ve Windows için RDMA over USB4 geliştirici önizlemesini duyurdu.

Microsoft (Microsoft, $MSFT), 19'unda resmi teknik blogunda özelliği tanıttı. Windows Insider Experimental kanalındaki Future Platforms derlemesine yakında ekleneceğini belirtti ancak özelliği içeren derlemenin yayın tarihini açıklamadı.

RDMA, iki bilgisayarın belleği arasında veri aktarılırken olağan ağ işleme adımlarını azaltan bir teknoloji. Uyumlu bir çıkarım çerçevesi modeli birden fazla PC'ye bölüyor; uygulama ise PC'ler arasındaki iletişimi Windows'un NetworkDirect API'si üzerinden yürütüyor.

Windows, PC'ler arasında USB4 üzerinden ağ bağlantısını zaten destekliyor. Yeni özellik, veri kopyalama işlemlerini ve iletişim gecikmesini azaltmak için mevcut bağlantıya bir RDMA yolu ekliyor ve USB4 ana bilgisayar yönlendiricisinin DMA halkasını kullanıyor.

Her PC'nin belleği ve grafik işlem birimi (GPU), işletim sistemi tarafından tek bir cihazda birleştirilmiyor. Modeli bölerek çalıştırma işini uyumlu çerçeve üstleniyor; PC'ler USB4 bağlantısı üzerinden veri alışverişi yapıyor.

Microsoft, USB4 bağlantısında küçük mesajların gidiş dönüş gecikmesini yaklaşık 28-50 mikrosaniye olarak ölçtü. Bu değer, aynı bağlantıda Ethernet'in UDP yöntemiyle iletişim kurmaya kıyasla yaklaşık 4 kat daha düşük. Ancak bu, yapay zekâ modelinin 4 kat daha hızlı çalıştığı anlamına gelmiyor.

Microsoft'un laboratuvarı, AMD (AMD, $AMD) Ryzen AI Max işlemci ve Radeon 8060S grafik birimiyle donatılmış, her birinde 128 GB birleşik bellek bulunan üç mini PC'yi 40 Gbps USB4 ile birbirine bağladı. 4 bit'e kuantize edilmiş Qwen3-235B-A22B modeli saniyede yaklaşık 18,5 token üretti.

AMD, Ryzen AI Max+ 395 tabanlı üç PC'lik bir düzende aynı 4 bitlik modeli ölçtü. Çözümleme hızı saniyede 21,98 token, istem işleme hızı ise saniyede 117,98 token oldu.

Intel (Intel, $INTC), PC başına 64 GB belleğe sahip Core Ultra Series 3 sistemlerinde GPT-OSS-120B modelini çalıştırdı. 1K token bağlam uzunluğunda üç PC'li düzen saniyede 49,4 token, dört PC'li düzen saniyede 54,2 token üretti. 2K bağlam uzunluğunda ise bu değerler sırasıyla saniyede 49,4 ve 51,7 token oldu.

Şirketlerin sonuçlarını donanım, model, bağlam uzunluğu ve ölçüm koşulları farklı olduğu için doğrudan karşılaştırmak zor. Açıklanan token üretim hızları da tüm PC'lerde tekrarlanabilecek genel performans değerleri olarak değerlendirilemez.

Üç PC'yi bağlamak için her PC'de iki USB4 bağlantı noktası bulunması ve PC çiftlerinin kabloyla doğrudan birbirine bağlanması gerekiyor. Microsoft, zincirleme bağlantı yerine PC'lerin birbirine doğrudan bağlandığı tam örgü düzenini önerdi.

Önizlemeyi denemek için test imzası gerekiyor; bu nedenle Güvenli Önyükleme'nin kapatılması gerekiyor. Microsoft, günlük kullanılan PC'ler yerine bu iş için ayrılmış bir test PC'si kullanılmasını önerdi. Şirket ayrıca bağlantı kesildiğinde aktarım katmanının otomatik olarak yeniden deneme yapmadığını ve zincirleme düzende performansın ciddi ölçüde düşebileceğini belirtti.

Blog gönderisinin yorumlarında farklı NPU ve GPU'lara sahip PC'lerin birlikte kullanılıp kullanılamayacağı soruldu. Microsoft, USB4 gereksinimlerini karşılayan ve heterojen çok düğümlü çalıştırmayı destekleyen bir çerçeve kullanılması halinde bunun mümkün olduğunu söyledi.

Apple (Apple, $AAPL) da teknik belgelerinde, Apple silikon ve Thunderbolt 5 kullanan Mac'lerde macOS 26.2'den itibaren Thunderbolt RDMA desteği bulunduğunu belirtti. Bu, Windows için USB4 özelliğinden ayrı bir uygulama.

Yerel yapay zekâ, modellerin bulut sunucuları yerine PC'lerde çalıştırılması anlamına geliyor. Microsoft daha önce Windows'u yerel yapay zekâ çalıştırma platformu olarak genişletme planını açıklamıştı.

Microsoft, 19'unda yayımladığı resmi teknik blogda önizleme sonuçları doğrultusunda özelliği daha fazla PC'de ve silikon iş ortağıyla, ayrıca gelecekteki Windows sürümlerinde uygulama seçeneklerini değerlendirdiğini bildirdi.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1