Hugging Face 推出 TorchNeuron 后端,可直接在 AWS Trainium 上运行模型
Hugging Face 宣布为 PyTorch 在 AWS Trainium 上提供原生后端 TorchNeuron,2026 年 10 月 20 日起进入公测,可通过 pip install torch-neuronx 安装。
推荐理由:Hugging Face 官方说明了 TorchNeuron 后端如何替换 Optimum Neuron,并给出可直接复用的推理与训练代码。
Hugging Face 宣布为 PyTorch 在 AWS Trainium 上提供原生后端 TorchNeuron,2026 年 10 月 20 日起进入公测,可通过 pip install torch-neuronx 安装。
推荐理由:Hugging Face 官方说明了 TorchNeuron 后端如何替换 Optimum Neuron,并给出可直接复用的推理与训练代码。
美国新实验室 Reflection 在 Hugging Face 发布其首个模型 Beam,这是一个 501B 参数的 MoE 模型(每 token 激活 23B),采用 Apache 2.0 许可,支持 1M token 上下文窗口,面向编码与 Agent 场景。
推荐理由:原文给出 Beam 的架构细节、长上下文缓存数据和多精度基准,可用于判断自托管前沿模型的实际部署门槛。
IBM 发布 Granite Switch 4.1,包含 8B 和 30B 两个版本,把通用决策 aLoRA、面向安全决策的 Guardian aLoRA 以及 OpenASR 榜单上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进同一个模型,通过一个托管端点处理对话、决策和语音转写任务。
推荐理由:原文给出了同一端点上组合对话、决策与语音能力后的显存占用和推理速度变化,读者可据此判断多能力复用的成本。
Black Forest Labs 发布 FLUX.3 Image Klein,Diffusers 首日即支持运行;单一模型同时覆盖文生图、多参考图生图和基于边界框的布局控制。
推荐理由:Diffusers 首发支持 FLUX.3 Image Klein,并给出了速度、显存和架构细节,可作为评估该图像模型落地成本的参考。
Meta 发布开源权重模型 Muse Spark Open,这是一个约 816B 总参数、每 token 约 42B 激活的混合专家模型,支持文本、图像、音频和视频输入,上下文窗口最高 1M tokens。
推荐理由:Meta 公开了 816B 总参数、约 42B 激活的多模态 MoE 权重,并给出 transformers、vLLM、SGLang、llama.cpp 的部署与微调做法。