跳到正文

技术方向

语音与音频 最新动态

AI 语音与音频:语音合成、实时语音对话、音乐生成与音频理解的模型与产品。

10 条精选近 30 天 10 条共收录 18 条

更新

语音与音频的精选

10月31日周六第 1–10 条
  1. The Verge · AI74

    苹果确认 iOS 27.3 将把 Apple Intelligence 引入中国

    苹果宣布 iOS 27.3 将在中国推出 Apple Intelligence,新功能将在 11 月 4 日的测试版中首次提供,正式版计划于 12 月上线。最初在中国推出的功能包括通知摘要、实时翻译、改写和校对工具、视觉智能以及从照片中移除物体。新 Siri AI 不会在中国推出。此外,苹果表示已与阿里合作,在其部分体验中加入对 Qwen 的支持。

    推荐理由:报道明确了 iOS 27.3 在中国落地 Apple Intelligence 的功能范围和上线时间表,便于用户判断本地可用的 AI 能力。

10月29日周四
  1. TechCrunch · AI52

    Deepgram收购Pipecat开发方Daily,强化语音AI基础设施

    Deepgram宣布收购开源语音AI框架Pipecat的开发商Daily,旨在加强对实时语音和视频基础设施的理解。收购后Pipecat将继续保持开源,并推出与Pipecat团队联合开发的开放协议Real-Time Context Standard(RCS),用于定义语音Agent的上下文元数据。

    推荐理由:原文披露了收购双方背景、Pipecat开源承诺及RCS协议细节,可据此判断Deepgram在语音Agent基础设施上的布局思路。

10月28日周三
  1. Hugging Face Blog75

    NVIDIA 开源 Nemotron 3.5 Transcribe 及 Granary v2 数据集与微调工具

    NVIDIA 发布 Nemotron 3.5 Transcribe 开源语音模型,支持 40 种语言转录、31 种语言翻译及 13 种语言说话人归属,并在 Hugging Face Open ASR、David AI 和 VoiceArena 等多个榜单中获得开源模型第一。

    推荐理由:模型在多个基准上刷新了开源记录,并附带 Granary v2 数据集和微调方案,方便开发者快速验证效果。

  2. Google DeepMind63

    Google DeepMind 发布 Genie 4 世界模拟模型

    Google DeepMind 宣布发布 Genie 4,这是一个原生多模态的世界模型,可与 Gemini 模型结合进行实时交互式模拟。它支持在生成画面的同时同步生成音频,包括环境音、音乐和人物对话。Genie 4 目前作为研究预览提供给受信任的测试人员,并计划向 Google AI Ultra 订阅用户和 Gemini API、Google AI Studio 的早期访问合作伙伴开放。

    推荐理由:官方公布Genie 4能力与测试名单,可据此了解世界模型在实时交互与多模态生成上的最新进展。

10月25日周日
  1. TechCrunch · AI68

    Block 发布可在消费级 GPU 本地运行的语音模型 Dessa

    Block 从其研究实验室发布新语音模型 Dessa,宣称在单张 NVIDIA GPU 上即可本地运行,具备全双工语音交互能力和内置情感表达,可在 MacBook M4 Max 等消费级设备上部署。目前该模型尚未对公众开放,Block 正在招募安全研究人员进行测试。

    推荐理由:原文给出了该语音模型的本地运行方式和情感特性,读者可据此评估其端侧落地可行性。

10月23日周五
  1. AWS Machine Learning Blog49

    在 Amazon SageMaker AI 上流式调用 Kokoro TTS 降低 AI 语音 Agent 延迟

    AWS 发布教程,介绍如何在 Amazon SageMaker AI 上部署 Kokoro-82M 文本转语音模型,并通过双向流式接口将每个句子实时送入模型合成音频,从而避免等待完整响应再开始语音合成。

    推荐理由:原文给出一套可在 SageMaker AI 上复现的流式语音方案,读者可据此降低语音 Agent 的首个音频延迟并比较两种传输成本。

  2. AWS Machine Learning Blog48

    Amazon Polly Generative engine 重大升级,支持印地语和芬兰语

    Amazon Polly Generative engine 完成重大升级,新增 14 款生成式声音,覆盖 9 个地区,首次提供印地语和芬兰语的generative voice。此次升级无需修改代码,现有应用可直接获得更自然、准确且低延迟的语音输出,价格保持不变。目前新引擎和新声音已在包括 GovCloud 在内的 11 个 AWS 区域正式推出。

    推荐理由:作为官方升级公告,提供了新增声音、语言及可用性变化,适合关注 Polly 实际升级点和集成兼容性的读者参考。

10月21日周三
  1. Hugging Face Blog75

    IBM 发布 Granite Speech 5.0 语音模型家族并更新 4.1 版本

    IBM 发布 Granite Speech 5.0 语音模型家族并更新 4.1 版本,含 granite-speech-5.0-2b、 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus,支持英语、法语、德语、西班牙语、葡萄牙语、日语等转录与翻译,并提供关键词偏置、说话人归属和原生标点功能。

    推荐理由:原文披露了三个模型的能力差异与基准数字,开发者可据此按准确性、速度或多人场景选型。

  2. The Decoder70

    ElevenLabs 发布两款实时对话用语音合成模型

    ElevenLabs 发布 Eleven Realtime v1 Max 与 v1 Mini 两款语音合成模型。v1 Max 在 Big Bench Audio 上得分 98.8%,响应延迟 0.57 秒;v1 Mini 成本更低,适合自然对话。两者均通过 ElevenAgents 平台及 OpenAI 兼容的 Realtime API 开放,定价按分钟与 token 计费。

    推荐理由:提供了两项基准成绩对比和开放入口,读者可据此评估实时语音模型的响应速度与适用场景。