Yeniden hesaplamaya kıyasla ilk token süresi yaklaşık yüzde 81 kısaldı: SK Hynix testi

SK Hynix($SKHY), birden fazla yapay zekâ sunucusunun ek bellek kapasitesini ortak kullanacağı bir yapı önerdi. Tekrarlı çıkarım testinde uzaktaki CXL DRAM kullanıldığında ilk tokenın üretilme süresi, yeniden hesaplama yöntemine kıyasla yaklaşık yüzde 81 daha kısa oldu.

SK Hynix, önerisini 12'sinde Seul'de düzenlenen ‘2026 Intel($INTC) AI Summit Seoul’ etkinliğinde açıkladı. Etkinlik ve test sonuçları ChosunBiz'in İngilizce edisyonunda da yer aldı.

Mevcut yapay zekâ sunucularında veriler, grafik işlem birimine (GPU) yakın konumlandırılan yüksek bant genişlikli bellek (HBM) üzerinden işleniyor. GPU çevresinde daha fazla bellek kurmak için kullanılabilecek alan sınırlı.

SK Hynix'in önerdiği paylaşımlı bellek havuzunda büyük kapasiteli bellek ayrı bir rafa yerleştiriliyor ve birden fazla sunucu tarafından kullanılıyor. Öneri, mevcut sunucu düzeninin yerini almaktan çok sisteme ek bellek kapasitesi sağlamaya odaklanıyor.

Her sunucu kendi belleğini kullanmayı sürdürüyor. Bir sunucu görevini tamamladıktan sonra ara sonuçları paylaşımlı belleğe kaydedebiliyor; sıradaki görevi üstlenen sunucu da bu sonuçları çağırıp yeniden kullanabiliyor.

Intel, ajan tabanlı yapay zekâda CPU'nun istekleri sınıflandırıp görevleri dağıttığı, GPU'nun ise model hesaplamalarını yaptığı bir iş bölümü önerdi. Tek bir istek, arama, program çalıştırma ve sonuçları kontrol etme gibi birden fazla aşamayı içerebiliyor.

Bu süreçte kullanılan verilerden biri KV önbelleği. Yapay zekâ modeli, konuşmayı veya görevi sürdürürken önceki hesaplamaları geçici olarak saklıyor ve sonraki çıkarımlarda kullanıyor.

Konuşma uzadıkça KV önbelleği de büyüyor. GPU belleği yetersiz kaldığında saklanan içerik bellekten çıkarılırsa sonraki görevlerde aynı içeriğin yeniden hesaplanması gerekebiliyor.

SK Hynix'in tekrarlı çıkarım testinde önbelleği temizleyip yeniden hesaplama yöntemiyle ilk tokenın üretilmesi ortalama 80,76 saniye sürdü. Önbellek harici SSD'ye kaydedildiğinde süre 33,56 saniyeye, uzaktaki CXL DRAM'e kaydedildiğinde ise 15,45 saniyeye indi.

Yaklaşık yüzde 81'lik azalma, yeniden hesaplama yöntemiyle uzaktaki CXL DRAM yönteminin karşılaştırılmasına dayanıyor. Bu, belirli bir testte ilk tokenın üretilmesine kadar geçen süredir; yapay zekâ hizmetinin toplam işlem hızının aynı oranda arttığı anlamına gelmiyor.

Compute Express Link (CXL), CPU veya GPU'nun harici belleğe erişmesini sağlayan bir bağlantı standardı. SK Hynix, uzaktaki CXL DRAM'den yararlanarak birden fazla sunucunun bellek verilerini paylaşabildiği bir yapıyı test etti.

SK Hynix Başkan Yardımcısı ve Sistem Mimarisi Başkanı Ju Yong-pyo (Joo Young-pyo), “Doğrudan GPU'ya veya CPU'ya bağlı bellekten veri almaya kıyasla çağırma süresi daha uzun, ancak yeniden hesaplamadan çok daha iyi performans sağlayabilir” dedi. Açıklama, uzaktaki belleğin gecikmesine rağmen yeniden hesaplamayı azaltmanın yarar sağlayabileceğine işaret ediyor.

İki şirket sunucu belleği alanındaki iş birliğini sürdürüyor. SK Hynix, Aralık 2025'te 256 GB DDR5 RDIMM için Intel Xeon 6 platformunda veri merkezi sertifikasını sektörde ilk tamamlayan şirket olduğunu duyurmuştu.

O dönemdeki sertifikasyon, sunucu bellek modülüyle Intel platformunun uyumluluğunu doğrulamıştı. Bu kez önerilen yapı ise birden fazla sunucunun ayrı bir raftaki belleği ortak kullanmasıyla ilgili.

SK Hynix, bellek paylaşım teknolojisini müşterileri ve iş ortaklarıyla doğruluyor; Intel ile de sistem tasarım aşamasından itibaren iş birliği yapıyor.