Nvidia, Vera CPU’yu tek çipli tasarımla AI ajanlarını hedefliyor

AI ajanları kod çalıştırıp araç çağırırken CPU’nun tek çekirdek performansı ve gecikme süresi önem kazanıyor. Nvidia($NVDA), bu iş yüklerini hedefleyen Vera CPU’yu tek bir silikon kalıbı üzerine kurduğunu açıkladı.

Nvidia’nın Vera ekibi, Wccftech’e verdiği röportajda bulut döneminde işlem hacmini artırmak için çekirdek sayısına odaklanıldığını, AI ajanlarının ise sıralı görevleri nedeniyle tek çekirdek performansını daha önemli hâle getirdiğini söyledi. Röportaj 18 Ekim’de yayımlandı. Ajanlar, hesaplamaları GPU’ya devretmeden önce ve sonra kod çalıştırıp verileri işlediği için CPU’daki gecikmeler GPU’nun sonraki işi beklemesine yol açabiliyor.

Vera’nın tasarımı, çekirdekleri tek bir silikon kalıbına yerleştiren ‘monolitik’ yapıya dayanıyor. Birden fazla çipletin bağlandığı tasarımlardan farklı olarak, çekirdekler arası iletişimin giriş-çıkış sınırını aşmamasını sağlayarak gecikmeyi azaltmayı amaçlıyor. Nvidia, teknik blogunda Vera’nın 88 Olympus çekirdeğini paylaşılan önbellek ve bellek sistemine bağladığını, çekirdekler arasında çift yönlü olarak saniyede en fazla 3,4 TB bant genişliği sunduğunu belirtti.

Performans karşılaştırmalarındaki ölçüm koşullarını birbirinden ayırmak gerekiyor. Vera ekibi röportajda işlemcinin önceki nesil Grace’ten 1,5 kat hızlı olduğunu, Python betikleri ve kod derleme gibi ajan işlerinde ise üst düzey x86 işlemcilerden en fazla 2 kat daha hızlı performans gösterdiğini ileri sürdü. Nvidia’nın teknik blogunda, derleyiciler, betik araçları, çalışma zamanı ve ajanların araç çağrıları dâhil tüm soket yükü koşullarında rakip x86 platformlarına kıyasla sanal alan performansının en fazla 1,5 kat olduğu belirtildi. İş yükleri ve ölçüm koşulları farklı olduğundan bu iki oran aynı temelde karşılaştırılamaz.

Vera’da ayrıca yürütme iş parçacıkları ile giriş-çıkış iş parçacıklarına kaynak ayıran ‘uzamsal çoklu iş parçacığı’ özelliği bulunuyor. Wccftech röportajında Phoronix testlerinde yaklaşık yüzde 20 performans artışı görüldüğü aktarıldı. Ancak Nvidia’nın teknik blogunda testin ayrıntılı koşulları paylaşılmadı. Performans karşılaştırmalarında iş türü ve yük koşulları birlikte değerlendirilmelidir.

AI ajanları yalnızca yanıt üretmekle kalmıyor; kod çalıştırıyor ve harici araçları çağırıyor. Bu süreçlerde GPU hesaplamalarının arasında CPU’nun yürüttüğü sıralı işler de bulunuyor. SpaceX AI’nin Grok altyapısını Vera CPU’larla genişleteceğini aktaran önceki haberde de GPU’ların büyük model hesaplamalarını, CPU’ların ise araç çağrılarını ve kod yürütmeyi üstlendiği yapı ele alınmıştı.

Nvidia, teknik blogunda Vera’nın pekiştirmeli öğrenme sonrası işlemler ve ajan çıkarımı sırasında CPU işlerinin süresini kısaltacak şekilde tasarlandığını açıkladı. Gerçek hizmetlerdeki işlem hacmi ve gecikme süresi, iş yükü bileşimine ve dağıtım ortamına göre değişebilir.