SK Hynix ($SKHY), CXL bellek paylaşımını ve SSD'de KV önbellek depolamayı tanıttı

SK Hynix, yüksek bant genişlikli belleğin (HBM) ötesindeki bellek kaynaklarını da bir araya getiren yapay zeka raf sistemini tanıttı. Solidigm ile Metrum AI, yapay zeka işlemlerinden elde edilen verileri SSD'de saklama yöntemini; Nallasway ise yapay zeka işlemcilerine harici DRAM bağlama tasarımını sergiledi.

Etkinlik, 12-15 Ekim'de ABD'nin Kaliforniya eyaletindeki San Jose'de düzenlenen Open Compute Project (OCP) Global Summit'ti. OCP'nin açıkladığı etkinlik verilerine göre zirveye yaklaşık 15.000 kişi katıldı.

SK Hynix'in tanıttığı bellek merkezli yapay zeka raf sistemi MARS, farklı şirketlerin donanım ve çözümlerini tek bir rafta birleştiriyor ve belleği sistemin merkezine yerleştiriyor. Şirket, sistemi birden fazla sunucunun ihtiyaç duyduğu belleği ortak bir havuzdan kullanabildiği bir yapı olarak tanımladı.

Şirket ayrıca CXL 3.2 tabanlı ikinci nesil CMM-DDR5 modülünü tanıttı. Modül 256 GB kapasiteye ve saniyede 80 GB bant genişliğine sahip. SK Hynix, önceki nesle kıyasla bant genişliğinin iki kattan fazla, enerji verimliliğinin ise yaklaşık %30 daha yüksek olduğunu belirtti. Verimlilik karşılaştırması modüller arasında yapıldı.

CXL, sunucularda CPU, GPU ve harici bellek gibi bileşenleri birbirine bağlayan bir standart. Bellek havuzlama, bağlı bellek kaynaklarını tek bir havuzda birleştirerek birden fazla sunucu veya işlemcinin bunları paylaşmasını sağlıyor.

SK Hynix, Naver Cloud ile yürüttüğü kavram kanıtlama çalışmasının sonuçlarını da paylaştı. Çalışmada, yapay zeka ajanlarının önceki girdileri işlerken hesapladığı verileri geçici olarak tutan KV önbelleğinin paylaşılması ve çok modlu OmniServe hizmetinde gömme verilerinin ortak kullanılması test edildi.

KV önbelleği, büyük dil modellerinin önceki girdileri işlerken hesapladığı sonuçları geçici olarak saklıyor. Konuşmalar uzadıkça ve görevler daha fazla aşama içerdikçe tutulması gereken veri miktarı da artıyor; bu nedenle bellek kapasitesi ve verilerin nasıl yönetildiği önem kazanıyor.

MARS gösterimlerinden birinde Arcee, Liqid ve Marvell ile birden fazla sunucu ve GPU bellek havuzuna bağlandı. SK Hynix, CXL havuzundan yararlanarak KV önbelleğini aktarma veya yeniden kullanma yönteminin, ağ iletişimine dayalı mevcut yaklaşıma kıyasla sistem performansını artırdığını gösterdiğini açıkladı.

AMD, Penguin, Xcena ve Arcee ile yapılan başka bir gösterimde CXL belleği, DRAM ve SSD'yi birleştiren bir bellek rafı sergilendi. Sistem, işlem geçmişinden ihtiyaç duyulacak KV önbelleğini tahmin ederek önceden DRAM'e yüklüyor; önbelleğin tamamını ise SSD'de saklayıp gerektiğinde yeniden okuyor.

SK Hynix, kişisel yapay zeka ajanı hizmeti sağlayıcısı Pickle ile bellek havuzu kullanarak yanıt gecikmesini azaltan bir gösterim de yaptı. Şirket, farklı yapay zeka modelleri arasındaki veri aktarımını bellek havuzu tabanlı akış yöntemiyle hızlandırdığını belirtti. MARS sunumu OCP'nin resmi kayıtlı içerik listesinde yer aldı.

Solidigm ile Metrum AI'nin ortak gösteriminde paylaşımlı SSD havuzu, KV önbelleği için depolama alanı olarak kullanıldı. İşlenen veriler, işlemciye yakın ve daha pahalı bellekte tutulmak yerine SSD katmanına aktarılıyor ve gerektiğinde geri çağrılıyor.

İlk token üretim süresi, bir sorunun ardından yapay zekanın ilk yanıtını üretmesine kadar geçen süreyi ifade ediyor. Ortak gösterimde bu sürenin 64,8 kata kadar kısaldığı, işlem hacminin 40,7 kat arttığı ve GPU isteği başına enerji kullanımının mevcut yönteme göre 26,5 kat daha düşük olduğu bildirildi.

Nallasway, yapay zeka işlemcilerini kapsayan XPU'ya harici DRAM modüllerini doğrudan bağlama önerisini sundu. Tasarım, LPDDR5X kullanarak bellek kapasitesini 3,2 TB'a kadar çıkarmayı öngörüyor.

SK Hynix ayrıca belleğin içinde doğrudan hesaplama yapan yeni nesil CMM-Ax çözümünü sergiledi. Şirket, verileri taşımadan bellek içinde işlem yapmanın enerji ve maliyet yükünü azaltabileceğini, ayrıca uzun bağlamlı çıkarım işlemlerini hızlandıran bir gösterim yaptığını belirtti.

SK Hynix'in HBM pazarındaki payını ele alan önceki haberden farklı olarak bu tanıtımlar, sunucularda belleğin ortak kullanımı ve farklı katmanlara dağıtılması üzerine odaklandı. CXL bellek havuzunun DRAM ve SSD ile birlikte kullanılabilmesi için yazılımın verilerin nerede tutulacağına ve ne zaman taşınacağına karar vermesi gerekiyor.

Açıklananlar ürün önerileri ve gösterimlerden oluşuyor. Gerçek kullanım için bellek katmanları arasında verilerin yerleştirilmesini ve taşınmasını yöneten yazılımlara da ihtiyaç duyulacak.