Ai2发布新颖性评审基准与测试流水线
热点事件持续更新
Ai2发布新颖性评审基准与测试流水线
1 篇报道1 个报道来源18 小时前更新
先了解这件事
AI 综述
Ai2 发布研究 Old Ideas, Novel Problems，同时公开一套基准、数据与代码，用于测试 LLM 判断科研想法新颖性的可靠性，并提供一条可自动构建新评测集的流水线。 基准的高新颖性池由 154 条人类研究想法构成，取自 ICLR 各领域评分前 10% 的录用论文，且审稿人明确认可其新颖性、无人提出异议；低新颖性池为 145 条来自后 10% 被拒论文、审稿人质疑原创性而无人认可新颖性的想法；另将同一批 154 条人类想法与 154 条简单 LLM 生成的想法配对。 Ai2 称，仅改提示词就能让同一批想法的判断准确率相差超过 50 个百分点，额外检索与推理未带来稳定提升；简单提示下的 Claude Opus 4.6 基线在 Human+Generated 集上取得 0.854 macro-F1，高于两个专用新颖性评估系统。
AI 根据报道生成 · 17 小时前更新
最新进展10月28日 00:12
Ai2 发布 Old Ideas, Novel Problems：LLM 能否可靠判断研究想法的新颖性报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Hugging Face Blog精选Ai2 发布 Old Ideas, Novel Problems：LLM 能否可靠判断研究想法的新颖性
Ai2 发布研究 Old Ideas, Novel Problems 及配套基准、数据和代码，测试六个 LLM 判断研究想法新颖性的可靠性。结果显示提示词改动可使同一批想法的判断准确率变化超过 50 个百分点，额外检索与推理也未带来稳定提升；简单提示 Claude Opus 4.6 基线在 Human+Generated 集上取得 0.854 macro-F1，优于两个专用新颖性评估系统。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1010月28日 02:00
- 近 24 小时变化
- –
02.557.510
03:0006:0009:0012:0015:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。