Ai2 发布 Old Ideas, Novel Problems：LLM 能否可靠判断研究想法的新颖性

Ai2 发布研究 Old Ideas, Novel Problems 及配套基准、数据和代码，测试六个 LLM 判断研究想法新颖性的可靠性。结果显示提示词改动可使同一批想法的判断准确率变化超过 50 个百分点，额外检索与推理也未带来稳定提升；简单提示 Claude Opus 4.6 基线在 Human+Generated 集上取得 0.854 macro-F1，优于两个专用新颖性评估系统。