微软研究院播客:AI 评测的“意外失败”能教给我们什么
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 讨论评测如何推动 AI 系统性能边界、满足用户需求,以及模型超出传统 benchmark 测试时出现的“意外失败”。她还分享使用当前 AI 系统的实用建议,并强调结果不符合预期时应仔细检查数据。
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 讨论评测如何推动 AI 系统性能边界、满足用户需求,以及模型超出传统 benchmark 测试时出现的“意外失败”。她还分享使用当前 AI 系统的实用建议,并强调结果不符合预期时应仔细检查数据。
GitHub Copilot 应用推出 canvas,一种在应用内运行的全栈小应用,可与智能体双向通信,用于替代聊天框完成具体任务。用户只需一句话即可生成 canvas,例如 Connect 4 对战、管理本地 Winget 包或操作 SQLite 数据库,甚至自动化研究到原型的开发流程。这类固定 UI 可让后续交互不再消耗 token。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,随着推理成本大幅下降、接近免费,数据系统需应对三类新挑战:为智能体设计的数据系统、管理智能体集群的数据系统,以及由智能体合成数据系统。
伯克利 AI 研究团队发布综述,分析并行推理领域进展,重点讨论自适应并行推理——让推理模型自行决定何时分解并并行化独立子任务、启动多少并发线程以及如何协调。文章梳理了 self-consistency、Best-of-N、Tree/Graph of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild!