Haberler 
Coin Bilgisi 
Hakkımızda 
Nvidia (NVDA)의 차세대 Vera Rubin NVL72 플랫폼은 GPU당 고대역폭 메모리(HBM) 용량이 이전 세대 GB300 NVL72보다 약 3% 늘었다. Nvidia는 특정 작업 부하에서 비용 대비 추론 처리량이 최대 30배라고 밝혔다.
Nvidia는 5일 공개한 글에서 GPU, CPU, 네트워크, 저장장치, 소프트웨어를 함께 설계해 메모리 효율을 높이는 방안을 소개했다. 회사는 AI 모델 규모와 문맥 길이가 커지고 AI 에이전트가 확산하면서 GPU 메모리 부담이 커졌으며, HBM 공급은 빠듯해지고 가격은 오르고 있다고 설명했다. HBM은 AI 가속기에서 연산 데이터를 주고받는 고대역폭 메모리다.
Nvidia가 제시한 방안은 세 가지다. 저정밀 데이터 형식인 NVFP4로 모델 가중치와 KV 캐시를 압축하고, 당장 사용하지 않는 문맥 정보를 더 저렴한 저장 계층으로 옮기며, 여러 GPU에 작업을 분산해 HBM 공간을 확보하는 방식이다. KV 캐시는 모델이 앞서 처리한 문맥 정보를 저장하는 공간으로, 대화가 길어질수록 더 많은 메모리를 차지한다.
Nvidia는 세미애널리시스(SemiAnalysis)의 AgentX 테스트에서 GB300 NVL72가 특정 작업 부하 기준 H200보다 비용 대비 추론 처리량이 최대 10배, Vera Rubin NVL72는 GB300 NVL72보다 최대 30배 높았다고 밝혔다. 두 수치는 서로 다른 대상을 비교하며, 단순 연산 속도가 아니라 비용 대비 처리량을 나타낸다.
Vera Rubin은 CPU와 GPU, 네트워크 장비를 결합한 시스템 단위 플랫폼이다. 앞서 구글 클라우드는 기업 고객에게 Vera Rubin 인프라를 전면 개방했다. 메모리 공급 측면에서는 SK하이닉스가 주요 고객 14곳과 2027년과 2028년 전체 생산능력의 50%를 넘는 물량을 장기 공급 계약으로 묶었다. 이 비율은 생산능력 대비 계약 물량을 뜻한다.
Yorum 0