Latent Space·· 3 小时前精选
DeepSeek 开源生产推理栈 DeepInfer，单集群日处理 155T tokens
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，覆盖分布式推理、投机解码、SWA Bounded Replay 和结构化输出，支持 NVIDIA SM100 与华为昇腾 950 平台，并以 Apache 2.0 发布。
推荐理由
DeepSeek 开源生产推理栈，同时披露吞吐与收入数据，并附上 vLLM 的对照复现结果，可以看清这些数据此前在哪些条件下成立。
来源：Latent Space · latent.space