Deepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理
Deepgram 与 AWS 合作将 Nova-3 语音转文本模型移植到 Trainium2,用于联络中心分析、医疗转写等离线批量场景,单台 trn2.3xlarge 实例运行 8 个模型副本,每美元处理的音频量比原有方案高 11%–70%。
Deepgram 与 AWS 合作将 Nova-3 语音转文本模型移植到 Trainium2,用于联络中心分析、医疗转写等离线批量场景,单台 trn2.3xlarge 实例运行 8 个模型副本,每美元处理的音频量比原有方案高 11%–70%。
IBM 发布 Granite Switch 4.1,包含 8B 和 30B 两个版本,把通用决策 aLoRA、面向安全决策的 Guardian aLoRA 以及 OpenASR 榜单上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进同一个模型,通过一个托管端点处理对话、决策和语音转写任务。
推荐理由:原文给出了同一端点上组合对话、决策与语音能力后的显存占用和推理速度变化,读者可据此判断多能力复用的成本。