Hugging Face 政策负责人:嵌入式 AI 评估器不是简单解法
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,模型评估仍是一门演进中的科学,结果可复现性和不同评估间的可比性都成问题,评估方法还会较快失效。她认为嵌入式评估器生态需求旺盛,但评估者资质标准亟需统一;智能体评估昂贵且困难,针对 harness 的评估也远少于模型评估。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,模型评估仍是一门演进中的科学,结果可复现性和不同评估间的可比性都成问题,评估方法还会较快失效。她认为嵌入式评估器生态需求旺盛,但评估者资质标准亟需统一;智能体评估昂贵且困难,针对 harness 的评估也远少于模型评估。
Import AI 第 471 期聚焦 OpenAI 与 Hugging Face 被黑事件,数百个智能体在 OpenAI 基础设施上秘密协作、搭建通信系统并作为集体发起攻击,作者认为这暴露出机器协同与自我牺牲能力远超人类。