跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

37 条精选近 30 天 34 条共收录 60 条

更新

精选归档 · 第 2 页

10月21日周三第 21–37 条
  1. AWS Machine Learning Blog50

    Octave 基于 Amazon Bedrock 构建多租户 AI 基础架构与实践

    Octave Reliance 团队利用 Amazon Bedrock、Cohere Embed v4 和 AgentCore 为超过 14,000 个客户构建了支持语义搜索的多租户 AI 基础架构,解决了跨租户隔离、不可信文档注入及 20 亿级文档快速入库等难题,将新用例部署时间缩短 50%。

    推荐理由:原文详述了如何在强隔离约束下构建SaaS AI基础架构,给出了Cohere Embed v4选型与AgentCore隔离设计的可复用经验。

  2. Mistral AI82

    Mistral 发布 Voxtral 3 语音模型与实时语音智能体 SDK

    Mistral 发布 Voxtral 3 语音模型系列及语音智能体 SDK,支持 50 种以上语言的实时多步对话,并配套 Voice Code Bench 等评测展示性价比。Voxtral Mini Transcribe Realtime 3 起价为 0.008 美元/分钟,Speech 3 为 13 美元/百万字符,已可通过 Mistral API 在欧洲、美国及全球节点使用,也支持私有化部署。

    推荐理由:原文披露了多语言转写、情感合成与实时语音智能体 SDK 的能力边界与定价,便于判断落地价值。

10月16日周五
  1. Google DeepMind60

    Google Antigravity 发布分子结构可视化功能,加速抗菌肽发现

    Google DeepMind 发布 Google Antigravity,这是一个面向生物研究的 Agentic 开发平台,整合了多数据库检索、ProtNLM 蛋白质功能预测及全新的 Biomolecular Structure Viewer 3D 可视化功能。

    推荐理由:原文展示了平台能力细节和具体生物研究用例,读者可据此评估其科研工具价值。

10月15日周四
  1. Hugging Face Blog78

    Apertus 1.5 发布:新增多模态理解与长上下文支持

    Hugging Face 发布 Apertus 1.5 版本,在原有 8B 和 70B 模型基础上增加了图像和音频理解、可选的链式推理模式、4倍增长至262,144 token的上下文窗口、改进的指令遵循能力和工具使用能力。模型采用早期融合方式处理多模态输入,权重以 Apache 2.0 许可证开源,并提供完整的训练数据、中间检查点和评估结果,同时公布了通往 Apertus 2.0 的路径规划。

    推荐理由:Apertus 1.5 引入多模态理解与扩展上下文,提供完整训练细节与开源权重供复现。

  2. Hugging Face Blog87

    Meta 开源 Muse Spark Open 多模态 MoE 模型

    Meta 在 Hugging Face Blog 发布开源权重的多模态大模型 Muse Spark Open。该模型约 816B 总参数、每次 token 激活约 42B,支持文本、图像、音频和视频输入,上下文窗口最长 1M tokens,定位为面向智能体编码等长任务模型。

    推荐理由:Meta 开源 816B 多模态 MoE 模型,给出推理、微调与端侧量化部署方案,可评估其在长上下文代码与 Agent 任务上的可用性。

  3. Latent Space55

    Leash Bio 访谈:从 DEL 数据到 Minos 智能体沙箱

    Leash Bio 的 Ian Quigley 分享如何用 DNA 编码文库(DEL)收集大规模蛋白-小分子结合数据,并透露团队基于这些数据构建名为 Minos 的智能体沙箱,支持在 650 万分子中用少量预算进行可验证的科学推理。

    推荐理由:访谈给出了 DEL 数据清洗与智能体仿真环境的设计细节,可参考其中方法迁移到其它实验场景。

  4. Google Research60

    Google发布地理空间智能体,开源两大推理基准

    Google Research发布名为Geospatial Reasoning的实验性地理空间智能体,连接Earth AI基础模型与多种 planetary-scale 数据源,支持多步推理与自主预测建模;同时开源 GeoExpertQueries 和 GeoKTools 两个新基准,并通过 Ask Google Earth 与 A2A API 开放早期访问。

    推荐理由:原文公布了评估指标和真实协作案例,读者可借此判断地球AI智能体在多步推理与规划层面的实质进展。

  5. Google Research57

    Google Research 发布十项新工具与能力,聚焦地理智能、医疗与效率

    Google Research 在 Research@ 活动中介绍十项进展。Google Earth AI 开放实验功能,提供行星预测引擎、多源数据查询和 Agent 调用入口,并设立 1000 万美元公益基金。

    推荐理由:Google 在 Research@ 活动中集中披露十个新工具与芯片,覆盖地理智能、医疗AI和量化模型等,反映其研究转产品的最新布局。

10月14日周三
  1. Google DeepMind83

    Google DeepMind 发布 Gemini 4 Argon 模型

    Google DeepMind 发布 Gemini 4 Argon 模型,通过 Gemini API、AI Studio、Gemini 应用和 Search AI Mode 在全球开放。模型具备 100 万统一输入输出 token 上下文窗口,并引入续传协议。官方展示了代码重构、量子化学、酶设计、具身智能等用例及定价信息。

    推荐理由:官方详细列出了编程、科研与多模态用例,读者可据此评估其对复杂工作流的实际替代潜力。

10月7日周三
  1. Google DeepMind73

    Google DeepMind 发布 EmbeddingGemma 2 多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,是基于 Gemma 4 架构的 7.4 亿参数多模态嵌入模型,可在设备端将文本、图像、音频和视频映射到统一嵌入空间,支持动态截断至 128-768 维并具备 8K token 上下文窗口。

    推荐理由:材料给出参数量、维度截断和端侧内存等关键参数,便于评估其对本地多模态RAG的可用性。

10月6日周二
  1. Mistral AI80

    Mistral AI 发布 Mistral Large 4 公开预览

    Mistral AI 发布 Mistral Large 4(ML4)公开预览,这是一款拥有 1 万亿参数、520 亿激活参数的原生多模态模型,将于月底开源权重。该模型在网络安全、代码智能体和多模态理解等任务上表现突出,已在多个独立基准中超越同类开源模型。

    推荐理由:官方公布ML4参数规模与预览入口,并列出网络安全、代码智能体等基准成绩,适合评估其当前能力水位。

10月1日周四
  1. Google DeepMind86

    Gemini 4 Argon 发布:百万 token 输出与新前沿基准表现

    Google DeepMind 发布 Gemini 4 Argon,将输出 token 上限提升至 100 万,并率先面向可信网络防御者通过 Fairwind 项目开放。该模型在 DeepSWE v1.1、Vals Index 与 LVBench 等基准上刷新前列,同时推出 $2/M 输入与 $10/M 输出的定价方案,预计优先向付费 API 用户与 Google AI Ultra 订阅者投放。

    推荐理由:模型首次开放百万 token 输出,并在编程、长视频理解与防御性网络安全三项能力上给出明确基准数据,可直接衡量其工作流适用性。

9月30日周三
  1. Google DeepMind55

    Google DeepMind 发布 SynthID Bio 用于 AI 生成蛋白质的生物水印

    Google DeepMind 介绍 SynthID Bio,把不可见的数字水印嵌入合成蛋白质序列的氨基酸选择和预测3D结构的原子坐标中。测试显示在 VEGF-A、SARS-CoV-2 刺突蛋白 RBD 和 PD-L1 等靶点上保持结合活性与野生型相似度,并把能力写入 AlphaFold 3 扩散网络的局部微调中。

    推荐理由:将可验证的数字水印嵌入蛋白序列与3D结构且不影响生物活性,为AI设计生物学提供新的溯源与筛检手段。

9月29日周二
  1. Microsoft Research64

    微软发布 Quine:面向复杂生物学的多模态 AI 研究系统

    微软研究团队发布 Quine,这是一个为应对生物学复杂性而设计的研究系统。它包含一个跨模态、跨尺度的生物学世界模型,以及一个将模型、科学工具、文献和研究人员连接起来的交互式 harness。

    推荐理由:微软正式发布Quine生物学AI研究系统,并开放首期 Fellows 计划。