跳到正文
10月28日周三
  1. AWS Machine Learning Blog45

    Property Finder 如何修复评估偏差并在 Bedrock 上优化视觉模型

    Property Finder 发现其 96.8% 的评估标签直接继承自现有模型预测,导致对比其他模型时产生系统性偏差。团队通过人工专家重新标注 356 张图片构建无偏基准,并将单标签改为多标签分类,结合迭代提示词优化,最终在 Amazon Bedrock 上选用 Llama 4 Maverick 17B Instruct 取得更高准确率,成本降低 86%,推理延迟减少 40–60%。

    推荐理由:通过修复评估偏差和迭代调优提示词,帮助读者掌握跨模型选择与降本提质的具体方法。

10月5日周一
  1. GitHub Blog · AI & ML46

    GitHub发布AI代码评审基准ReviewBench

    GitHub发布开源代码评审离线基准ReviewBench,包含来自187个公开仓库的219个拉取请求和多方来源的黄金集,提供Grounded与Augmented两类精度/召回指标。ReviewBench网站已开放,用户可探索数据集、查看排行榜并使用自服务Runner评测与提交自有系统结果。

    推荐理由:GitHub发布代码评审基准并提供自服务评测通道,读者可直接对比或提交自建评审智能体的效果。