AI2 发布 NoveltyBench 基准评估大模型判断科研 Idea 新颖性的可靠性
AI2 发布 NoveltyBench 基准评估大模型判断科研 Idea 新颖性的可靠性。研究表明不同大模型(GPT-5.1 到 Claude Opus 4.6)在评判 AI 生成科研 Idea 的新颖性时,仅通过微调 prompt 就能导致准确率在同一个 Idea 上暴跌超过 50 个百分点。
推荐理由:文章提供了衡量 LLM 评判科研 Idea 新颖性稳定性的基准工具,展示了 prompt 微小改动如何让准确率暴跌超过 50 个百分点。