跳到正文
10月28日周三
  1. Hugging Face Blog52

    AI2 发布 NoveltyBench 基准评估大模型判断科研 Idea 新颖性的可靠性

    AI2 发布 NoveltyBench 基准评估大模型判断科研 Idea 新颖性的可靠性。研究表明不同大模型(GPT-5.1 到 Claude Opus 4.6)在评判 AI 生成科研 Idea 的新颖性时,仅通过微调 prompt 就能导致准确率在同一个 Idea 上暴跌超过 50 个百分点。

    推荐理由:文章提供了衡量 LLM 评判科研 Idea 新颖性稳定性的基准工具,展示了 prompt 微小改动如何让准确率暴跌超过 50 个百分点。

10月24日周六
  1. The Decoder65

    研究:复杂 coding agent harness 提升成本但不提升成功率

    一项新研究对比 Claude Code、OpenCode 和 mini-SWE-agent 三个 coding agent harness,发现更换 harness 带来的任务结果波动与重复运行相近,Zhipu 宣称的 2.4 分优势处于噪音区间;唯一显著落后的是 OpenCode,主要因输出限制和搜索工具故障导致。

    推荐理由:研究拆解了 harness 差异的来源,指出多数差距在噪音范围内,仅 OpenCode 表现显著落后,并揭示成本差异主要来自系统提示词。

10月20日周二
  1. The Decoder47

    新基准 Taste-Bench 揭示 AI 智能体在长期决策上缺乏品味

    论文发布 Taste-Bench 评测智能体的长期判断力,它用 502 个代码与研究任务的轨迹分叉点让模型选更优路径。测试 14 个主流模型后,最高分 GPT-5.6 Sol 仅 59.7%,证据出现越晚得分越低,增加推理预算也无效。将教师判断蒸馏进 Qwen3.6-27B 后,该学生在 SWE-bench Pro 上指导智能体把成功率从 14.6% 提升到 33.7%。

10月8日周四
  1. Microsoft Research76

    微软亚洲研究院发布 Agent Lightning v1.0 轻量智能体 RL 训练框架

    微软亚洲研究院开源 Agent Lightning v1.0,是一套约 3500 行代码的轻量 Agentic RL 框架。它通过 Harnessed Agentic RL 范式让部署用的智能体 harness 直接参与训练,并在 Agent 与模型之间加入 LLM 代理来观察和记录调用。

    推荐理由:原文给出了轻量架构和真实 harness 接入方式,读者可以据此复用该框架训练自己的代码智能体。

10月5日周一
  1. GitHub Blog · AI & ML46

    GitHub发布AI代码评审基准ReviewBench

    GitHub发布开源代码评审离线基准ReviewBench,包含来自187个公开仓库的219个拉取请求和多方来源的黄金集,提供Grounded与Augmented两类精度/召回指标。ReviewBench网站已开放,用户可探索数据集、查看排行榜并使用自服务Runner评测与提交自有系统结果。

    推荐理由:GitHub发布代码评审基准并提供自服务评测通道,读者可直接对比或提交自建评审智能体的效果。