DeepSeek开源生产推理栈DeepInfer

DeepSeek 开源了支撑 V4.1 Flash 的生产推理栈 DeepInfer，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，覆盖 NVIDIA 与华为昇腾平台，并配套发布 deepseek-recipe 处理协议转换。 DeepSeek 称 DeepInfer 完全开源，但技术说明指出 KV-cache 管理和负载均衡组件因仍与内部基础设施耦合，尚未完全放出。DeepSeek 表示，未来的模型推理实现与优化也会进入该仓库。 报道援引的技术说明还提到，单集群日处理 155 万亿 token。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。