NVIDIA 谈全栈协同设计缓解推理内存压力

NVIDIA 在官方博客中说明，其缓解 AI 推理内存压力依靠全栈协同设计，不靠单纯堆叠 HBM 容量。具体做法包括：在 NVL72 系统中，把模型权重分散到最多 72 块 GPU，使每块 GPU 只保存一部分模型，从而腾出更多 HBM 用于 KV 缓存和并发用户；NVIDIA Dynamo 推理软件把暂不使用的上下文移到 CMX 上下文内存存储层，该层每比特成本远低于 HBM，并在再次使用前将其取回；在 RAG 场景中，知识库不占用 HBM，只有模型需要的段落才进入上下文。 NVIDIA 称，从 Blackwell Ultra 到 Vera Rubin 平台，单 GPU 的 HBM 容量只增加约 3%，但在 SemiAnalysis AgentX 上的智能体吞吐量每美元最高可提升 30 倍。这一提升幅度来自 NVIDIA 的说法，并非独立验证的结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。