NVIDIA Nemotron Voice Agent 引入 Bolt E4B 模型并给出端侧语音对话流程
NVIDIA 在 Hugging Face Blog 发文演示基于 NVIDIA Nemotron Voice Agent 的万圣节互动角色 MonsterHouse,对话主体由新引入的 NVIDIA Nemotron 3.5 Bolt E4B 4GB 承担。
推荐理由:原文披露了 Bolt E4B 的本地跑通效果与端侧部署路径,可据此判断小模型在低算力条件下的智能体可用性。
NVIDIA 在 Hugging Face Blog 发文演示基于 NVIDIA Nemotron Voice Agent 的万圣节互动角色 MonsterHouse,对话主体由新引入的 NVIDIA Nemotron 3.5 Bolt E4B 4GB 承担。
推荐理由:原文披露了 Bolt E4B 的本地跑通效果与端侧部署路径,可据此判断小模型在低算力条件下的智能体可用性。
NVIDIA 发布 Nemotron 3.5 Transcribe 开源语音模型,支持 40 种语言转录、31 种语言翻译及 13 种语言说话人归属,并在 Hugging Face Open ASR、David AI 和 VoiceArena 等多个榜单中获得开源模型第一。
推荐理由:模型在多个基准上刷新了开源记录,并附带 Granary v2 数据集和微调方案,方便开发者快速验证效果。
Retell 使用 OpenAI 模型支撑每月 1 亿次通话。GPT-6 Astra 在 Retell 语音智能体基准测试中排名第一。Codex 助力其实现每名员工 160 万美元的年收入运行率。
Google DeepMind 宣布发布 Genie 4,这是一个原生多模态的世界模型,可与 Gemini 模型结合进行实时交互式模拟。它支持在生成画面的同时同步生成音频,包括环境音、音乐和人物对话。Genie 4 目前作为研究预览提供给受信任的测试人员,并计划向 Google AI Ultra 订阅用户和 Gemini API、Google AI Studio 的早期访问合作伙伴开放。
推荐理由:官方公布Genie 4能力与测试名单,可据此了解世界模型在实时交互与多模态生成上的最新进展。
AWS 发布教程,介绍如何在 Amazon SageMaker AI 上部署 Kokoro-82M 文本转语音模型,并通过双向流式接口将每个句子实时送入模型合成音频,从而避免等待完整响应再开始语音合成。
推荐理由:原文给出一套可在 SageMaker AI 上复现的流式语音方案,读者可据此降低语音 Agent 的首个音频延迟并比较两种传输成本。
Amazon Polly Generative engine 完成重大升级,新增 14 款生成式声音,覆盖 9 个地区,首次提供印地语和芬兰语的generative voice。此次升级无需修改代码,现有应用可直接获得更自然、准确且低延迟的语音输出,价格保持不变。目前新引擎和新声音已在包括 GovCloud 在内的 11 个 AWS 区域正式推出。
推荐理由:作为官方升级公告,提供了新增声音、语言及可用性变化,适合关注 Polly 实际升级点和集成兼容性的读者参考。
IBM 发布 Granite Speech 5.0 语音模型家族并更新 4.1 版本,含 granite-speech-5.0-2b、 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus,支持英语、法语、德语、西班牙语、葡萄牙语、日语等转录与翻译,并提供关键词偏置、说话人归属和原生标点功能。
推荐理由:原文披露了三个模型的能力差异与基准数字,开发者可据此按准确性、速度或多人场景选型。
Deepgram 将 Nova-3 语音转文字模型移植并优化至 AWS Trainium2,单台 trn2.3xlarge 实例部署八个模型副本。在离线批处理工作负载下,该配置每美元处理的音频量比原有计算方案提升 11%–70%。Deepgram 还通过 Fused FFN、深度可分离卷积等 NKI 内核调优实现了吞吐量显著增长。