Nvidia 开源 Flora:基于 Qwen3.5 的机器人视频标注引擎
Nvidia 开源了名为 Flora 的机器人视频标注引擎,系统由三个微调后的 Qwen3.5 模型组成(包括 9B 和 27B 版本),可在动作分割、描述生成和评分三个维度为机器人视频提供标注。
推荐理由:原文披露了 Flora 的参数规模、在机器人视频标注上的表现以及与 GPT-6 Astra 的对比,读者可据此评估其对具身智能数据链路的潜在价值。
技术方向
装进机器人身体里的 AI:人形机器人、具身基础模型,以及在真实环境里动手干活的能力。
11 条精选近 30 天 9 条共收录 18 条
Nvidia 开源了名为 Flora 的机器人视频标注引擎,系统由三个微调后的 Qwen3.5 模型组成(包括 9B 和 27B 版本),可在动作分割、描述生成和评分三个维度为机器人视频提供标注。
推荐理由:原文披露了 Flora 的参数规模、在机器人视频标注上的表现以及与 GPT-6 Astra 的对比,读者可据此评估其对具身智能数据链路的潜在价值。
网约车公司 inDrive 与 Pony.ai 及 Nvidia 签署谅解备忘录,计划于 2027 年上半年在哈萨克斯坦首都阿斯塔纳开展无人驾驶出租车测试,初期配备安全员。
推荐理由:文章报道了 inDrive 与 Pony.ai、Nvidia 合作在哈萨克斯坦开展 Robotaxi 测试的计划,突出了新兴市场布局与冷极测试价值。
NVIDIA 扩展 Cosmos 平台,新增用于训练、评估和部署世界模型的训练工具、仿真 checkpoint 以及 Cosmos Data Factory 蓝图。
推荐理由:原文说明Cosmos平台新增工具链条和案例,开发者可据此评估它对物理AI开发与部署效率的实际影响。
Hugging Face 宣布发布 SimReady Central Library,提供一个包含超过 2000 个已准备好仿真属性的 OpenUSD 资产库,用于构建机器人物理 AI 训练环境和 AI 工厂数字孪生。
推荐理由:原文明确发布了 SimReady Central 库并给出使用方式和 OEM 准入路径,适合关注物理 AI 仿真生态的读者评估其对现有开发流程的影响。
NVIDIA 发布 Cosmos3-H-Dreams,面向腹腔镜胆囊切除术的交互式生成手术模拟器。模型基于 Cosmos 3,通过老师到学生蒸馏与 FlashDreams 加速,支持在单卡 NVIDIA RTX PRO 6000 上实时推理。
推荐理由:NVIDIA 把 Cosmos 系列能力拓展到腹腔镜手术场景,模型支持多步蒸馏与 FlashDreams 流式推理,开发者可在 RTX PRO 6000 上体验实时交互模拟。
Eka Robotics宣布完成1.5亿美元A轮融资,投后估值达14.5亿美元,由a16z和F-Prime领投。该公司由MIT教授Pulkit Agrawal和前Google DeepMind研究员Tuomas Haarnoja创立,开发了基于视觉-力-动作(vision-force-action)模型的机械臂系统。
推荐理由:报道了Eka Robotics完成1.5亿美元融资及估值,并介绍了其基于视觉-力-动作模型和强化学习的机器人抓取技术。
Google Research 发布三项研究,展示AI智能体在湿实验中的闭环学习能力。VERID框架提供语义数字孪生,支持3D状态追踪、虚拟试运行和硬件安全检查。适配体实验中,智能体经三轮迭代将针对肌红蛋白和α-凝血酶的命中率达33.5%和42.1%。蛋白质结合剂设计通过表位切除优化加速折叠计算,实现单纳摩尔亲和力结合剂,人机协作几乎将命中率提高一倍。
推荐理由:原文展示了闭环学习让AI智能体自主设计DNA适配体和蛋白结合剂的实际效果。
Dyna Robotics 联合创始人 Jason Ma 在 AIE NYC 访谈中详解通用物理智能体路径。公司上月发布 Dyna-2 世界-动作模型,在超一百万小时人类视频上预训练,并提出新的缩放定律;随后推出物理机器人智能体 Dyna-2.1。
推荐理由:独家解读物理AI落地路径,从百万小时预训练到餐厅规模化部署,揭示数据与硬件的真实瓶颈。
Google DeepMind 发布 Gemini 4 Argon,面向物理理解与具身智能。它在 Embodied Reasoning (ERQA) 基准上以纯推理达到 87%,并覆盖 MuJoCo 机器人控制、Real2Sim、物理理解与仿真自我改进等场景。
推荐理由:给出面向机器人的模型能力和真实机器人演示,可据此判断其对具身智能工作流的影响。
微软研究团队发布新的推理卸载功能,可把物理 AI 推理从机器人 onboard GPU 迁移到边缘或云端 GPU。替换为轻量级板卡并远程推理后,Stretch-3 机器人电池续航最多提升 160%,映射和规划任务在不同小 GPU 下速度下降最高达 383%,导航避障及时检测下降 30%。团队用 K8s 工具链实现自动容器化与调度,已提供 SO-101 和 UR10e 示例项目。
推荐理由:微软在 Physical AI Toolchain 新增推理卸载能力,通过实测数据展示了对机器人性能、续航和成本的具体改善。
Berkeley AI Research 提出 GRASP,一种用于学习动态模型(世界模型)的基于梯度的规划器。通过将轨迹提升到虚拟状态实现时间维度并行优化,直接为状态迭代添加随机性,并重塑梯度以避开高维视觉模型中脆弱状态输入梯度,从而让长视野规划更加稳定高效。
推荐理由:文章解释了长视野梯度规划中状态梯度的脆弱性,并提出通过动作梯度重塑提升鲁棒性的方法。