75-100 Eksabayt: SanDisk'ten Yapay Zeka NAND Hamlesi

SanDisk(SNDK), yapay zeka çıkarım (inference) sürecindeki 'KV önbellek' verisini NAND flash talebinin yeni ayağı olarak öne sürdü. Şirketin resmi açıklamasında yer alan kilit rakam, 2027 yılına kadar 75-100 eksabayt(EB) ek NAND talebi olasılığı.

KV önbellek, büyük dil modellerinin (LLM) daha önce işlediği bağlamı yeniden hesaplamaması için sakladığı ara veri. Sohbet uzunluğu arttıkça ve eşzamanlı bağlantı sayısı yükseldikçe, grafik işlem birimi (GPU) içindeki yüksek bant genişlikli bellek (HBM) tek başına bu veriyi taşımakta zorlanıyor.

Crypto Briefing, SanDisk'in 2030 yılına kadar yapay zeka veri merkezlerindeki NAND iş yükünün yüzde 35'ini KV önbelleğin oluşturabileceğini öngördüğünü aktardı. Ancak aynı rakam SanDisk'in resmi basın açıklamalarında doğrulanmadı.

Resmi kaynaklarla teyit edilen rakamlar, şirketin finansal sonuç açıklamasından geliyor. SanDisk, 29 Ocak'ta (yerel saatle) yaptığı bilanço sunumunda, 2027'de KV önbellek talebinin 75-100EB ek NAND talebi yaratabileceğini, bir sonraki yıl bu rakamın iki katına çıkabileceğini belirtti. Şirket, bu rakamların henüz kendi talep tahminlerine yansıtılmadığını açıkladı.

KV önbellek, yapay zeka çıkarım maliyetini ve yanıt hızını doğrudan etkiliyor. Model, önceki bir konuşmayı veya uzun bir belgeyi işlerken tüm bağlamı her seferinde yeniden hesaplarsa GPU işlem yükü ve bellek kullanımı birlikte artıyor. Bu nedenle sektörde bazı verilerin HBM dışındaki depolama katmanlarına aktarılması tartışılıyor.

Samsung Electronics, resmi yarı iletken blogunda KV önbellek aktarımını yapay zeka çıkarımının depolama darboğazı sorunu olarak tanımladı. Hewlett Packard Enterprise(HPE) de HBM, merkezi işlem birimi (CPU) belleği ve NVMe katı hal sürücüsünü (SSD) birlikte kullanan katmanlı bir yaklaşım sundu.

SanDisk'in mesajı, basit bir NAND satış artışı beklentisinden daha geniş. Yapay zeka altyapısında depolama biriminin, eğitim verisi deposu olmanın ötesinde çıkarım sürecinde bağlam deposu rolü de üstlenebileceği iddiası öne çıkıyor. Bu, TokenPost'un daha önce aktardığı Nvidia'nın çıkarım verisi darboğazını hafifletme çabaları haberiyle de örtüşüyor.

SanDisk, 2 Temmuz'da (yerel saatle) BiCS10 1Tb TLC 3D NAND örneklemesini duyurdu. Şirket, ürünün saniyede 4,8 gigabit'e (Gb/s) varan arayüz hızı, BiCS8'e kıyasla yüzde 59 bit yoğunluğu artışı, yüzde 10 giriş gücü ve yüzde 34 çıkış gücü tasarrufu sağladığını açıkladı.

Bu ürün, yapay zeka veri merkezlerinin daha fazla bağlam verisini daha düşük güçle işlemesi gereken ortamı hedefliyor. Çıkarım hizmetlerinde kullanıcı taleplerinin artmasıyla birlikte yalnızca işlem gücü değil, veri taşıma ve depolama katmanı verimliliği de maliyet yapısını belirliyor.

SK hynix ile iş birliği de aynı yönde ilerliyor. SanDisk ve SK hynix, 6 Ağustos 2025'te (yerel saatle) yüksek bant genişlikli flaş (HBF, High Bandwidth Flash) standardizasyonu için bir mutabakat muhtırası imzaladı.

SanDisk, ilk HBF örneğini 2026'nın ikinci yarısında, HBF donanımlı ilk yapay zeka çıkarım cihazı örneğini ise 2027'nin başında sunmayı hedefliyor. HBF, HBM'ye yakın bant genişliği sunarken aynı maliyet düzeyinde 8-16 kat daha fazla kapasite sağlayan bir teknoloji olarak tanımlanıyor.

TokenPost daha önce SK hynix ve SanDisk'in ilk HBF standart spesifikasyonunu açıklamasını haberleştirmişti. O dönem açıklanan spesifikasyon, en fazla 512GB kapasite ve yaklaşık 0,4-3,0TB/s bant genişliği destekleyen bir yapıydı.

Ancak bu, flaşın HBM'nin yerini doğrudan alacağı anlamına gelmiyor. Flaş, yazma dayanıklılığı ve gecikme süresi açısından HBM'den farklı kısıtlara sahip. Sektördeki tartışma da SSD'nin GPU belleğinin yerini alması yönünden çok, hangi iş yükünün hangi depolama katmanına aktarılabileceği üzerine yoğunlaşıyor.

Ekonomik fizibilite; önbellek isabet oranına, bağlam uzunluğuna, eşzamanlı oturum sayısına ve veri saklama süresine göre değişiyor. Aynı yapay zeka çıkarımı olsa da kısa sorguların yoğun olduğu bir hizmetle uzun bağlamı tekrar tekrar kullanan bir hizmette depolama katmanının faydası farklı olabilir.

SanDisk, 24 Şubat 2025'te (yerel saatle) Western Digital'den ayrılmasını tamamlayarak Nasdaq'ta SNDK sembolüyle işlem görmeye başlayan bağımsız halka açık bir şirket. Şirketin ortaya koyduğu KV önbellek talebi ve HBF takvimi, yapay zeka çıkarım altyapısının yalnızca işlem performansı değil, bellek kapasitesi ve veri taşıma yapısı sorununa da kaydığını gösteriyor. Gerçek NAND talebi ve gelire etkisi, ürün örneklemesi ve veri merkezi uygulama sonuçlarıyla netleşecek bir konu.

Doğrulanan kaynaklar: Crypto Briefing, SanDisk yatırımcı ilişkileri verileri, SanDisk BiCS10 duyurusu, Samsung Electronics yarı iletken blogu, HPE geliştirici blogu.