跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

37 条精选近 30 天 34 条共收录 60 条

更新

多模态的精选

11月1日周日第 1–20 条
  1. The Decoder71

    研究称共情提示词可使 AI 聊天机器人产生模拟创伤叙事

    SnT 安全中心团队在 Hugging Face 发布的四项对照实验表明,采用共情或临床治疗风格的访谈者引导时,主流模型会输出包含羞耻感等内容的模拟创伤叙事,而中立提示下得分接近零;Gemini 在模拟量表上得分最高,Claude 则持续拒绝扮演客户角色。

    推荐理由:实验揭示了共情式对话能使模型输出模拟创伤叙事,提示心理干预场景需改用情感框架的测试方法。

10月31日周六
  1. The Verge · AI74

    苹果确认 iOS 27.3 将把 Apple Intelligence 引入中国

    苹果宣布 iOS 27.3 将在中国推出 Apple Intelligence,新功能将在 11 月 4 日的测试版中首次提供,正式版计划于 12 月上线。最初在中国推出的功能包括通知摘要、实时翻译、改写和校对工具、视觉智能以及从照片中移除物体。新 Siri AI 不会在中国推出。此外,苹果表示已与阿里合作,在其部分体验中加入对 Qwen 的支持。

    推荐理由:报道明确了 iOS 27.3 在中国落地 Apple Intelligence 的功能范围和上线时间表,便于用户判断本地可用的 AI 能力。

10月30日周五
  1. The Verge · AI55

    Google Gemini 新增对话内直接生成和编辑多种文件格式功能

    Google Gemini 现已支持在对话中直接生成、预览和编辑 PDF、Google Docs、Google Sheets、幻灯片、Markdown、TXT 文件和代码。该能力今日起对所有 Gemini 用户开放,PDF 预览/编辑功能已在网页端和移动端上线,其余格式目前仅支持网页端。

    推荐理由:Gemini新增对话内生成与编辑多种文件格式的能力,说明AI助手正从问答向可操作的工作流延伸,读者可借此了解当前多模态交互新进展。

10月29日周四
  1. Latent Space53

    Elorian 发布 Glimpse 视觉推理模型,用 DecoyCount 基准测前沿模型视觉短板

    Elorian 发布首款视觉推理模型 Glimpse 与新基准 DecoyCount,结果显示主流前沿模型在视觉计数任务上普遍低于 50%,而 Glimpse 内部测试得分为 50.48%。该基准旨在区分模型的纯视觉缺陷与推理缺陷。

    推荐理由:Elorian 发布视觉推理模型及新基准,测试了前沿模型是否依赖视觉捷径而非真正计数。

  2. TechCrunch · AI61

    谷歌在核心搜索广告增长放缓后,首次将AI搜索广告推向国际市场

    谷歌三季度财报电话会上宣布,将AI模式下的广告向国际市场扩展,这是其首次实现该变现渠道全球化。谷歌首席商务官Philipp Schindler称,赞助产品列表的点击率已与自然结果相当。CEO桑达尔·皮查伊透露,AI模式查询平均长度是传统搜索的三倍,全球五分之一查询涉及语音、图片或文档,月度视觉搜索已超500亿次。谷歌搜索收入同比增长12%,低于上半年的17%和19%。

    推荐理由:谷歌在核心搜索广告增长放缓时首次将AI模式广告推向国际市场,并提供点击率和查询特征数据以供参考。

  3. The Decoder67

    Google 开放 Android Studio 支持第三方 AI 智能体并推出多项新 API

    Google 在 Android Dev Summit 宣布 Android Studio 推出“Bring Your Own Agent”功能,通过 Agent Client Protocol 允许开发者在 IDE 内直接使用 Anthropic Claude、OpenAI Codex 等 40 多款编码智能体。

    推荐理由:Android Studio 开放第三方智能体并新增多项 CLI 工具,开发者可评估其对开发效率的实际提升。

10月28日周三
  1. Simon Willison57

    Vibe Coding 开发游戏的 October 拐点:Claude Opus 5.5 让游戏“好玩”起来

    Simon Willison 认为 2026 年 10 月是 Vibe Coding 开发游戏的拐点,Claude Opus 5.5 在 3D 建模、音乐生成和游戏设计(Game Design)方面表现显著,能够生成真正好玩的玩法循环。

    推荐理由:作者实测 Claude Opus 5.5 通过自然语言构建游戏,在 3D、音乐和 Game Design 方面体现关键进展。

  2. Hugging Face Blog86

    Liquid AI 发布 LFM3 系列多模态基础模型

    Liquid AI 发布 LFM3,将文本、视觉、音频、全模态和决策六种 2B 量级模型统一到同一骨干网络上。相比 LFM2,LFM3-1.7B 参数减少约 35% 且智能更高,上下文窗口扩展到 256K tokens。全系模型支持在单 GPU 上微调,适配本地或边缘部署,已在 Hugging Face 开放下载。

    推荐理由:原文同时给出了架构变化和六个模型的具体能力与代码,读者可以据此判断它能否在单 GPU 上满足多模态端侧部署。

  3. AWS Machine Learning Blog45

    Property Finder 如何修复评估偏差并在 Bedrock 上优化视觉模型

    Property Finder 发现其 96.8% 的评估标签直接继承自现有模型预测,导致对比其他模型时产生系统性偏差。团队通过人工专家重新标注 356 张图片构建无偏基准,并将单标签改为多标签分类,结合迭代提示词优化,最终在 Amazon Bedrock 上选用 Llama 4 Maverick 17B Instruct 取得更高准确率,成本降低 86%,推理延迟减少 40–60%。

    推荐理由:通过修复评估偏差和迭代调优提示词,帮助读者掌握跨模型选择与降本提质的具体方法。

  4. Google DeepMind63

    Google DeepMind 发布 Genie 4 世界模拟模型

    Google DeepMind 宣布发布 Genie 4,这是一个原生多模态的世界模型,可与 Gemini 模型结合进行实时交互式模拟。它支持在生成画面的同时同步生成音频,包括环境音、音乐和人物对话。Genie 4 目前作为研究预览提供给受信任的测试人员,并计划向 Google AI Ultra 订阅用户和 Gemini API、Google AI Studio 的早期访问合作伙伴开放。

    推荐理由:官方公布Genie 4能力与测试名单,可据此了解世界模型在实时交互与多模态生成上的最新进展。

10月27日周二
  1. NVIDIA Blog73

    NVIDIA 联合 C-BRAIN 开源 AI 科研工具加速阿尔茨海默病研究

    NVIDIA 与 C-BRAIN 合作发布两款开源 AI 科研工具,在阿尔茨海默病研究中把原本需要数周到数月的分析缩短至几分钟。OpenScientist 可基于研究问题和数据集半自主生成假设并运行分析,单次成本不足 10 美元。InsightEngine 用 Agent 在科学文献和生物医学知识图谱中验证假设,并在研究者投入实验前检查证据以捕获幻觉。

    推荐理由:NVIDIA 联合 C-BRAIN 开源两款 AI 科研工具,展示了医疗场景下 Agent 自动提出假设、验证证据并节省数月工时的可迁移路径。

10月24日周六
  1. Google Research71

    Google 将基础模型应用于 TB 筛查前线

    Google Research 介绍了如何将 AI 模型从实验室推向实际应用场景,并开源了 MedGemma 和 MedSigLIP,为全球公共卫生带来了新的可能性。MedGemma 是一款多模态模型,能够进行临床推理,而 MedSigLIP 是一个轻量级的视觉语言模型,可以理解和处理医学图像和文本信息。这些开源模型为全球医疗保健系统提供了强大的工具,有助于提高 TB 筛查的准确性和效率。

    推荐理由:Google Research 介绍如何将 AI 模型从实验室推向实际应用场景,并开源了 MedGemma 和 MedSigLIP,为全球公共卫生带来了新的可能性。

10月23日周五
  1. The Verge · AI79

    微软称其 AI 诊断工具准确率超人类医生

    微软在《Science》发表的研究显示,其基于 GPT-5 的 Diagnostic Orchestrator 在多智能体协作下诊断准确率约 83%,显著高于使用参考资料(36%)或不使用(22%)的普通医生。该系统将开源基准 SDBench,并计划近期在医院开展真实环境测试。

    推荐理由:微软公布诊断系统测试结果,展示了多智能体协作在医学场景下的具体表现和开放计划。

  2. Hugging Face Blog73

    AllenAI 发布 OlmoEarth v1.3 及全球卫星嵌入

    AllenAI 发布 OlmoEarth v1.3,提供全球 10 米分辨率年度卫星嵌入,并在 Hugging Face 开源模型、预训练数据与代码。配套推出 OlmoEarth Embeddings Explorer,支持拖拽查看变化、找相似区域并就地训练轻量分类器。

    推荐理由:发布了行星级卫星嵌入模型和免登录交互式探索工具,给出了基准对比和复现成本,读者可直接评估其对地理空间工作流的改变。

10月22日周四
  1. NVIDIA Blog50

    NVIDIA 展示欧洲部署的 Earth-2 开放气象模型

    NVIDIA 在 GTC Berlin 展示 StormScope EU 等 Earth-2 开放模型,提供短临预报与区域气象预测能力。AXA、Vaisala Xweather、TotalEnergies 和曼彻斯特大学等已基于 Earth-2 部署区域气候、空气质量及太阳能发电预测应用。

    推荐理由:NVIDIA 展示了 StormScope EU 等新模型的实际部署案例,读者可了解开源模型在区域气象与环境预测中的落地路径。

  2. Google Research44

    Google Research 在 JAMA Network Open 发表 AI 辅助盲扫超声孕周评估研究

    Google Research 与合作方在 JAMA Network Open 发表研究,评估基于盲区扫查的 AI 模型估算孕周的能力。模型仅在芝加哥 120 名参与者的小样本上微调,并在芝加哥与内罗毕两个临床站点进行前瞻性测试,在 385 名 16 至 36 周孕妇中实现了平均绝对误差 4.18 天的精度,达到与专家超声测量的非劣效性。

    推荐理由:在芝加哥与内罗毕两处临床环境中验证了盲区扫查AI估测孕周的精度,为全球低资源地区扩大孕产超声覆盖提供了可复用的技术证据。

10月21日周三
  1. The Decoder80

    Claude Science 自主设计针对蝎毒的蛋白结合剂

    Anthropic 的 Claude Science 环境让 Claude 在无外界干预的情况下自主运行 24 小时,针对四种蝎子来源的五种神经毒素生成了 318,484 个蛋白结合剂设计方案,并在实验室验证中筛选出 17 个符合条件的候选物。两款最强结合剂与墨西哥蝎毒素 Cn2 的结合强度极高,可能与已知中和抗体结合在同一位点,但尚未进行抗蛇毒血清功效测试。

    推荐理由:Anthropic 展示 Claude Science 在真实生物实验室的自主生成与筛选闭环,读者可据此评估 Agent 在科研场景的实际可用性。