Hugging Face 与 AWS 推出 TorchNeuron 后端

Hugging Face 发布博客介绍 TorchNeuron，称其为 PyTorch 在 AWS Trainium 上的新原生后端，Transformers、Diffusers 和 Kernels 已原生支持，可更方便地在 Trainium 上运行模型并分享到 Hugging Face Hub。据 Amazon 称，用 PyTorch 编写的 AI 应用只需改一行配置即可跑在 Trainium 上，无需重写代码；Amazon 还表示将向 PyTorch 主项目贡献代码，减少对英伟达的默认依赖。 TorchNeuron 自 2026 年 10 月 20 日起进入公测，开发者可通过 pip install torch-neuronx 安装。使用上存在限制：配合 TRL ≥ 1.16 时，Neuron 上的批次会被填充到 128 个 token 的整数倍，限制了输入形状数量；Transformers 内置的异步权重加载在 Neuron 上暂不支持，需设置 HF_DEACTIVATE_ASYNC_LOAD=1 将其关闭。