Deepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理
Deepgram 与 AWS 合作将 Nova-3 语音转文本模型移植到 Trainium2，用于联络中心分析、医疗转写等离线批量场景，单台 trn2.3xlarge 实例运行 8 个模型副本，每美元处理的音频量比原有方案高 11%–70%。
#推理
AWS Machine Learning Blog AWS Machine Learning Blog vLLM 推出基于推送的 KV 传输，提升分离式推理的 TTFT 与 TPOT
vLLM 新增推送式 NIXL connector，把 prefill 后的 KV 传输协调与准备工作移出关键路径。在 Amazon EC2 P5en 实例加 EFA 的 1P1D 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍，TPOT 最高提升 30%。该功能先在 AWS Trainium 集群验证，再作为与加速器无关的特性贡献给 vLLM。
AWS Machine Learning Blog vLLM 双向 KV 传输如何降低多轮智能体工作负载的 TTFT
vLLM 通过双向 KV 传输让 decode 节点在后续轮次把已算好的 KV 缓存回传给 prefill 节点，避免重复计算对话历史。基于 Amazon EC2 P5en 的 1P1D 部署测试中，该机制使 Qwen3-32B 的 TTFT 最高降低 1.6 倍、zai-org/GLM-5-FP8 最高降低 3.3 倍。
Hugging Face Blog精选 IBM 发布 Granite Switch 4.1：单端点提供对话、决策与语音能力
IBM 发布 Granite Switch 4.1，包含 8B 和 30B 两个版本，把通用决策 aLoRA、面向安全决策的 Guardian aLoRA 以及 OpenASR 榜单上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进同一个模型，通过一个托管端点处理对话、决策和语音转写任务。
推荐理由：原文给出了同一端点上组合对话、决策与语音能力后的显存占用和推理速度变化，读者可据此判断多能力复用的成本。
Microsoft Research精选 Microsoft Research 发布 Magnetar：基于标准哈希函数的通用零知识证明 zkVM
Microsoft Research 发布零知识虚拟机 Magnetar，可直接证明用 Rust、Go 或 C 编写的 RISC-V 程序，并同时改善证明效率、通用性与安全性三项难题。
推荐理由：微软研究院梳理十余年零知识证明研究脉络，Magnetar 用标准哈希函数实现通用程序证明，速度较同类 zkVM 提升 10 至 39 倍。
Mistral AI精选 Mistral 发布时序基础模型 Timestral，最小 5M 参数最大 209M
Mistral 发布首个时序基础模型系列 Timestral，共 5M、28M、123M 和 209M 四个参数版本。其中 209M 版本在 GIFT-Eval、TIME 和 fev-bench 三个公开基准的零样本预训练模型中排名第一，参数约为前代 SOTA 的三分之二；28M 版本在 GIFT-Eval 和 TIME 上超过约四倍大的 Chronos-2。
推荐理由：表格列出了四种参数规模、上下文长度与部署方式，并说明最大模型在三个公开榜单上的位置，便于判断它相对 Chronos-2、TimesFM-3 的取舍。
Google DeepMind精选 Google DeepMind 开始广泛开放 Gemini 4 Argon 并公布安全防护方案
Google DeepMind 开始广泛开放 Gemini 4 Argon，并同步扩大 Fairwind Program 的可信网络安全防御者范围。此前在受限访问期间，Wiz 用 Argon 发现医院软件中前代模型遗漏的关键漏洞；在模拟网络攻击场景中 Argon 完成全部 12 个，前代为 5 个。
推荐理由：原文公开了 Argon 在网络安全与生物风险上的防护分层和误用监测数据，可用于判断前沿模型的部署门槛。
Google DeepMind精选 Google DeepMind 发布 Gemini 4 Argon 机器人模型
Google DeepMind 发布 Gemini 4 Argon，主打物理理解、代码生成与视觉语义推理，在 Embodied Reasoning（ERQA）基准上以纯推理取得 87%。
推荐理由：官方给出各机器人与仿真任务的提示词示例和可用入口，可据此判断模型在机器人全流程中的具体用法。
Google DeepMind精选 Google DeepMind 发布 Gemini 4 Argon 模型
Google DeepMind 发布 Gemini 4 Argon，面向开发者、企业和科研人员开放，API 定价为每百万输入 token 2 美元、每百万输出 token 10 美元，缓存输入 token 享 95% 折扣。
推荐理由：官方给出定价、渠道与多领域落地案例，可据此判断这一前沿模型在编码和专业工作流中的实际位置。
Microsoft Research 微软研究院播客：AI 评测的“意外失败”能教给我们什么
微软研究院播客中，partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 讨论评测如何推动 AI 系统性能边界、满足用户需求，以及模型超出传统 benchmark 测试时出现的“意外失败”。她还分享使用当前 AI 系统的实用建议，并强调结果不符合预期时应仔细检查数据。
Mistral AI精选 Mistral AI 发布 Mistral Large 4 公开预览
Mistral AI 上线 Mistral Large 4 公开预览，模型为 1 万亿参数、520 亿激活参数的原生多模态模型，可通过 Mistral Studio 的预览 API 使用，权重将于本月底发布。
推荐理由：官方给出 1 万亿参数与 520 亿激活参数的多模态设定，以及编码、智能体、网络安全等基准对比，可用于判断开放权重模型的前沿位置。
Google DeepMind精选 Google DeepMind 发布 Gemini 4 Argon 前沿模型
Google DeepMind 发布新前沿模型 Gemini 4 Argon，先通过 Fairwind Program 向受信任的网络安全防御方开放，之后再逐步扩展到开发者、企业和消费者。
推荐理由：官方公布了 Argon 的输出上限、定价和多项基准成绩，可据此判断其长任务能力与成本位置。
Berkeley AI Research精选 从 CUDA 到 MLX：K-Search 如何把内核优化经验迁移到 Apple Silicon
Berkeley Sky Lab 团队把 K-Search 内核搜索框架扩展到 MLX，新增结构化 CUDA-to-MLX 翻译层，让 CUDA 内核作为知识库自动适配为 Apple Silicon 内核。
推荐理由：该文把 CUDA 优化经验经结构化翻译层迁移到 MLX，并用两个内核的实测数字说明迁移能补多少性能差距。
Berkeley AI Research 为高效长程交互，教 LLM 更新信念状态：ABBEL 框架
伯克利 AI 研究提出 ABBEL 框架，把交互历史压缩为自然语言"信念状态"，并用受自编码器启发的信念评分机制监督其内容。在 CollabBench 协作编码任务上，ABBEL-rec-BG 把与全上下文模型的表现差距缩小约 50%，训练步数从 100 降到 50，峰值上下文 token 仍显著低于全上下文。
Berkeley AI Research 智能免费之后怎么办：面向、属于、由智能体构建的数据系统
UC Berkeley 的 Aditya G. Parameswaran 等人提出，随着推理成本大幅下降、接近免费，数据系统需应对三类新挑战：为智能体设计的数据系统、管理智能体集群的数据系统，以及由智能体合成数据系统。
Berkeley AI Research 自适应并行推理：高效推理扩展的下一个范式
伯克利 AI 研究团队发布综述，分析并行推理领域进展，重点讨论自适应并行推理——让推理模型自行决定何时分解并并行化独立子任务、启动多少并发线程以及如何协调。文章梳理了 self-consistency、Best-of-N、Tree/Graph of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild!
Berkeley AI Research 伯克利提出 GRASP：面向世界模型的长时间跨度梯度规划方法
伯克利 AI 研究团队提出基于梯度的规划器 GRASP，通过把轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接注入随机性做探索，并重塑梯度让动作获得清晰信号。该方法针对长时跨度下世界模型规划中梯度爆炸/消失、非贪心结构导致局部极小值以及高维视觉潜空间失效等问题。
Berkeley AI Research SPEX 与 ProxySPEX：大规模识别 LLM 关键交互的算法
Berkeley AI Research 介绍 SPEX 与 ProxySPEX 两种算法，可在规模化场景下识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题；ProxySPEX 进一步利用层级结构，以约 10 倍更少的消融达到 SPEX 同等性能。