跳到正文
NVIDIA Blog· Amr Elmeleegy·· 3 小时前

NVIDIA 全栈协同设计如何应对 AI 内存挑战并提升每字节性能

More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge

AI 导读

NVIDIA 通过全栈协同设计提升每字节内存的利用效率,GPU、CPU、网络、存储与软件协同设计,而非单纯堆叠 HBM 容量。从 Blackwell Ultra 到 Vera Rubin 平台,单 GPU 的 HBM 容量仅增加约 3%,但在 SemiAnalysis AgentX 上的智能体吞吐量每美元最高提升 30x。

来源:NVIDIA Blog · blogs.nvidia.com