Yapay zeka hesaplama darboğazı çiplerden paketleme ve belleğe kayıyor

Yapay zeka hesaplama altyapısındaki darboğazın yarı iletken performansı yarışından ileri paketleme, sistem bağlantıları ve bellek yönetimine kaydığı değerlendiriliyor.

Kıdemli çip tasarımcısı ve donanım analisti Mr. Bubble, 22'sinde Frictionless Podcast'e verdiği röportajda bu görüşü dile getirdi. Röportaj BlockBeats tarafından aktarıldı.

Bu değişimin arkasında ileri üretim süreçlerinin artan maliyeti ve transistör yoğunluğundaki iyileşmenin yavaşlaması bulunuyor. Yalnızca üretim sürecini küçülterek performansı artırma yaklaşımının ekonomik yükü artıyor.

Bu nedenle sektör, birden fazla çipi tek bir hesaplama sistemine bağlayan ileri paketleme teknolojisine daha fazla ağırlık veriyor. İleri paketleme, birden fazla çipi tek sistemde birleştirerek hesaplama ve veri aktarımını destekleyen bir teknoloji olarak tanımlanıyor.

Mr. Bubble, gelecekte yapay zeka hesaplamasının temel biriminin tek bir çip veya sunucu yerine tam bir raf, hatta birden fazla raf olabileceğini öngördü. Raf; sunucu, ağ, güç ve soğutma ekipmanlarının birlikte oluşturduğu bir birimdir.

Bu durumda PCB, paketleme ve çipler arasındaki bağlantıyı sağlayan ara bağlantı teknolojileri, toplam sistem performansını sınırlayan unsurlara dönüşebilir. Çiplerin hesaplama performansı artsa bile bileşenler arasındaki veri aktarımı yavaş kaldığında sistemin işlem hacmi sınırlanabilir.

Bellek yapısı da değişebilir. Yapay zeka çıkarımında işlenen bağlam penceresi uzadıkça geçmişteki tüm bilgileri yüksek maliyetli yüksek bant genişlikli bellekte (HBM) saklamak zorlaşıyor.

Mr. Bubble, sık kullanılan verilerin HBM'de tutulmasını, daha az kullanılan bağlamın ise daha yüksek kapasite ve daha düşük maliyet sunan flaş belleğe taşınmasını önerdi. Bu yaklaşım, belleği tek bir alan olarak ele almak yerine kullanım sıklığı ve maliyete göre farklı katmanlara ayırıyor.

Bu tür bellek katmanlandırması, yapay zeka çıkarımı sırasında verinin konumunun ve izlediği aktarım yolunun birlikte yönetilmesi gerektiğini gösteriyor. Yüksek hızlı belleğin kapasitesini sınırsız biçimde artırmak yerine, depolama konumu verinin özelliklerine göre belirleniyor.

Yeni nesil bellek teknolojilerinin yönü olarak 3D DRAM de gündeme geldi. Ancak söz konusu teknolojinin ne zaman ve hangi biçimde ticari ürünlere uygulanacağı, mevcut bilgilerle doğrulanmış değil.

Yapay zeka sistemi tasarımında eğitim ve çıkarım süreçlerinin yapısındaki değişim de bir değişken olarak öne çıktı. Ön işleme ve kod çözme aşamalarının giderek ayrıştırıldığı yapılar benimsenirse, yalnızca tek tek çiplerin performansı değil, tüm sistemi tasarlama ve birbirine bağlama becerisi de önem kazanabilir.

Ön işleme, modelin giriş bağlamını okuyarak hesaplama yaptığı aşamadır. Kod çözme ise bu sonuca dayanarak yanıtı sıralı biçimde üretir. İki sürecin ayrılması, her aşamaya uygun hesaplama, bellek ve ağ yapılandırmasının ayrı tasarlanmasına olanak tanır.

Mr. Bubble, 22'sinde Frictionless Podcast röportajında, büyük dil modeli şirketlerinden ziyade donanım, paketleme, bellek ve diğer temel altyapı yetkinliklerine sahip şirketlerin yapay zeka sektöründe uzun vadeli bir rol üstlenme olasılığından söz etti. Ancak belirli bir şirket veya teknolojinin ticari kullanıma geçişe ve talep artışına öncülük edip etmeyeceğinin ayrıca doğrulanması gerekiyor.

Bu değerlendirme, yapay zeka hesaplama rekabetinin yalnızca GPU'lar ve model geliştiricileriyle sınırlı kalmayıp, farklı bileşenleri ve bellek katmanlarını tek bir sistemde birleştiren teknolojilere doğru genişlediğini gösteriyor. Paketleme, bağlantı gecikmesi ve bellek kapasitesini birlikte yöneten sistem tasarımı, yapay zeka altyapısının başlıca zorlukları arasında yer alıyor.