跳到正文

技术方向

数据与训练 最新动态

大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

14 条精选近 30 天 12 条共收录 17 条

更新

数据与训练的精选

10月30日周五第 1–14 条
  1. AWS Machine Learning Blog35

    AWS Batch 新增配额管理,支持多团队共享 SageMaker Training 资源

    AWS Batch 针对 SageMaker Training jobs 推出配额管理功能。管理员可通过配置策略将 GPU 容量划分为多个配额份额,支持 LEND、LEND_AND_BORROW 等共享模式,并在份额内启用抢占以优先满足高优先级作业。该功能通过 SageMaker Python SDK v3 进行集成配置。

    推荐理由:文章详解了 AWS Batch 针对 SageMaker Training jobs 新增的配额管理功能,帮助多团队共享 GPU 容量并自动调度。

10月29日周四
  1. Hugging Face Blog56

    Hugging Face 发布 Project ProtoStar 推动公共资助科研 AI 化

    Hugging Face 宣布启动 Project ProtoStar,联合卡内基梅隆大学、普渡大学等机构,推动公共资助科研数据、模型和代码以 AI-ready 格式开放复用。首个挑战赛由 CMU 主办,将于 11 月 2 日开始,使用美国 210 个城市的历史天气数据训练 AI 预测 2019-2026 年气候指标,并产出政策建议。

    推荐理由:Hugging Face 联合多所高校发起 ProtoStar,推动公共资助科研数据以 AI 可用格式开放,并通过挑战赛验证复用价值。

10月25日周日
  1. The Decoder80

    Nvidia 开源 Flora:基于 Qwen3.5 的机器人视频标注引擎

    Nvidia 开源了名为 Flora 的机器人视频标注引擎,系统由三个微调后的 Qwen3.5 模型组成(包括 9B 和 27B 版本),可在动作分割、描述生成和评分三个维度为机器人视频提供标注。

    推荐理由:原文披露了 Flora 的参数规模、在机器人视频标注上的表现以及与 GPT-6 Astra 的对比,读者可据此评估其对具身智能数据链路的潜在价值。

10月22日周四
  1. Google DeepMind51

    Google DeepMind 发布 Forest Typology 2020 全球森林类型图与多年时序

    Google DeepMind、Google Research、WRI和IIASA联合发布Forest Typology 2020(ForTy 2020),提供10米分辨率全球森林类型地图,并将2017至2025年的早期时序数据同步开放在Google Earth Engine。

    推荐理由:ForTy 2020地图配合2017至2025年时序数据,可在10米分辨率下区分森林类型并追踪变化,帮助监管和供应链溯源。

10月21日周三
  1. Hugging Face Blog62

    NVIDIA 发布 Kumo Forecast 时间序列预测模型并开源

    NVIDIA 发布 Kumo Forecast(原 NV-Tesseract Forecasting),开源多变量时间序列预测模型与 Kumo-TS 代码库。该模型基于 MOMENT-1-large Transformer 主干,包含直接预测路径和 DARR 历史模式检索路径,并提供 horizon-specific 可解释性框架。

    推荐理由:原文说明了Kumo Forecast的架构与DARR检索模式,并给出模型代码与权重链接,读者可直接基于此复现或微调。

10月20日周二
10月16日周五
10月15日周四
  1. Mistral AI75

    Mistral 发布 Timestral 时间序列基础模型

    Mistral 发布 Timestral,这是其首个时间序列基础模型家族,提供 5M、28M、123M 和 209M 四种参数规模,最大模型在 GIFT-Eval、TIME 和 fev-bench 三大公开基准上排名第一。它支持概率多变量预测,可在 CPU 上以毫秒级延迟运行,并提供通过 Mistral Forge 进行微调的选项。

    推荐理由:给出了不同参数规模和 CPU 推理延迟的具体数字,读者可以直接评估其端侧和工业部署可行性。

  2. Latent Space55

    Leash Bio 访谈:从 DEL 数据到 Minos 智能体沙箱

    Leash Bio 的 Ian Quigley 分享如何用 DNA 编码文库(DEL)收集大规模蛋白-小分子结合数据,并透露团队基于这些数据构建名为 Minos 的智能体沙箱,支持在 650 万分子中用少量预算进行可验证的科学推理。

    推荐理由:访谈给出了 DEL 数据清洗与智能体仿真环境的设计细节,可参考其中方法迁移到其它实验场景。

  3. Hugging Face Blog80

    HiRO-ACEv2 发布:以约三百分之一成本生成全球 3 公里极端天气数据

    Hugging Face 发布 HiRO-ACEv2,能在约 1/300 于 X-SHiELD 的成本下生成全球 3 公里分辨率气候数据,可同时预测高降水、风和气压场,极端事件统计误差在 3% 以内,并对未见过的热带气旋也保持合理能量估计。模型配套下载链接、教程笔记本和可视化 Web Demo,但当前仍只适用于与 X-SHiELD 对齐的 ACE 版本。

    推荐理由:给出了HiRO-ACEv2对极端天气的模拟精度、成本节省比例和输出能力变化,读者可据此判断它对气候模拟工作流的实际价值。

10月13日周二
  1. MIT Technology Review · AI79

    AI实验室从倒闭初创公司收购数据训练模型

    SimpleClosure等平台兴起,帮助倒闭初创公司将代码库和Workspace数据出售给AI实验室。SimpleClosure CEO称47%的交易已包含数据销售,2026年预计返还初创企业超1000万美元。此类交易因缺乏明确联邦法律监管,被律师形容为“法律放射性的”,且引发关于员工隐私与收益分配的法律伦理争议。

    推荐理由:报道揭示了AI数据供应链从公开数据向倒闭公司真实数据延伸的趋势,以及由此产生的法律与伦理争议。

10月2日周五
  1. Google Research73

    Google 推出基于 TEE 的可验证隐私联邦学习系统,Gboard 已部署

    Google Research 发布《Toward provably private learning from federated data》,介绍新一代联邦学习系统把训练和去匿名化计算放在可信执行环境中,并通过 Rekor 公共透明日志、可重复构建和访问策略绑定来提供外部可验证的隐私保证。

    推荐理由:文章给出了新一代联邦学习系统的完整设计,将 TEE 的远程验证与访问策略绑定,读者可以据此理解可审计隐私的技术路径。

9月29日周二
  1. Microsoft Research64

    微软发布 Quine:面向复杂生物学的多模态 AI 研究系统

    微软研究团队发布 Quine,这是一个为应对生物学复杂性而设计的研究系统。它包含一个跨模态、跨尺度的生物学世界模型,以及一个将模型、科学工具、文献和研究人员连接起来的交互式 harness。

    推荐理由:微软正式发布Quine生物学AI研究系统,并开放首期 Fellows 计划。