跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

100 条精选近 30 天 96 条共收录 143 条

更新

精选归档 · 第 3 页

10月22日周四第 41–60 条
  1. NVIDIA Blog50

    NVIDIA 展示欧洲部署的 Earth-2 开放气象模型

    NVIDIA 在 GTC Berlin 展示 StormScope EU 等 Earth-2 开放模型,提供短临预报与区域气象预测能力。AXA、Vaisala Xweather、TotalEnergies 和曼彻斯特大学等已基于 Earth-2 部署区域气候、空气质量及太阳能发电预测应用。

    推荐理由:NVIDIA 展示了 StormScope EU 等新模型的实际部署案例,读者可了解开源模型在区域气象与环境预测中的落地路径。

  2. NVIDIA Blog43

    欧洲多家金融机构采用开源模型构建专属智能

    NVIDIA 称 Revolut、Lloyds、Starling Bank、Santander 等多家欧洲银行和支付公司正在使用 NVIDIA 加速计算平台与开源权重模型构建专属金融智能,并称 bunq 使用开源模型后每回答成本降至领先闭源模型的 60%,Stripe Radar 在离线测试中称数据流水线提速 42x 并节省成本 92%。

    推荐理由:文章列出多家欧洲金融机构利用 NVIDIA 加速计算和开源权重模型构建专属智能的案例,反映行业对成本与数据主权的趋势选择。

  3. AWS Machine Learning Blog35

    AWS 发布 Amazon Quick 私有网络连通架构指南

    AWS 发布指南,说明如何通过 VPC 端点和 VPC 连接将 Amazon Quick 接入企业内网,确保 AI 代理和仪表板在不经过公网的前提下访问内部数据源。文档覆盖网络隔离、身份联合及成本估算。

    推荐理由:官方给出 Amazon Quick 私有网络架构的完整实施步骤,有助于企业构建合规的低延迟 AI 访问路径。

  4. AWS Machine Learning Blog50

    AWS 教程:用 Strands Agents 构建自适应智能体框架 AAIF

    AWS 官方博客介绍使用 Strands Agents 和 Amazon Bedrock 构建自适应智能体框架(AAIF)。框架通过本地小语言模型分类请求,日常查询由 Ollama 在边缘处理,复杂任务路由至云端大模型,示例基于 IoT 监控场景并附带完整代码。

    推荐理由:给出可运行的代码和 IoT 示例,帮助开发者在本地 SLM 与云端 Bedrock 之间按复杂度路由请求以降低成本。

  5. AWS Machine Learning Blog38

    在 AWS Trainium 上用 torchtitan 训练 Qwen3 的三种配置

    AWS 发布指南介绍在 trn2.48xlarge 上通过 torchtitan 训练 Qwen3 的三种方式:使用 Transformers v5 后端、切换为 torchtitan 原生 Qwen3 实现,以及加载 torchtitan-neuron 的 NKI MoE 算子并演示自定义 NKI 算子注册。

    推荐理由:文章给出了在 AWS Trainium 上跑 Qwen3 的三种具体配置和完整 launch 命令,便于直接迁移到训练流程。

  6. Hugging Face Blog62

    VocabX 将 SLM 词表按生成成本加权特化,实测推理成本下降 77%

    Hugging Face 博客介绍了即将发布的 VocabX 方法,通过按生成 token 与输入 token 的不同推理成本对词表进行特化,在基于 Qwen3-4B 的葡萄牙语作文自动评分器上把输出 token 从 350 降至 101,实测推理成本下降 77.0%,评分基准从 0.703 提升至 0.810。

    推荐理由:原文用生产数据说明词表如何按生成成本加权优化,读者可据此评估推理成本压缩的方法。

10月21日周三
  1. The Decoder71

    Inception 发布 Mercury 3 扩散语言模型,号称更快更强

    Inception 发布 Mercury 3 扩散语言模型,在多项基准测试中超越 GPT-6 Luna 和 Claude Haiku 5.5,速度高出 4 到 8 倍。模型每秒生成约 1068 token,支持百万级上下文,主要针对 AI 智能体、搜索、客服和教育场景。

    推荐理由:原文提供了与主流模型的基准对比和定价,可据此评估其对实时场景的实际影响。

  2. The Decoder52

    Nvidia DSX POD 可将 AI 数据中心部署周期从六个月缩短至十四天

    Nvidia 在 GTC Berlin 发布 DSX POD,这是基于 Nvidia Vera Rubin 系统的模块化数据中心参考设计。戴尔、HPE、联想和施耐德电气等合作伙伴在工厂将计算设备、网络、布线、供电和液冷安装进集装箱并完成测试,现场只需接通电源、冷却和网络。

    推荐理由:给出了 DSX POD 的模块化方案和预计部署周期,有助于评估 AI 数据中心硬件交付路径。

  3. NVIDIA Blog45

    NVIDIA 扩展 Confidential Computing,新增 Bare Metal 部署选项

    NVIDIA 宣布扩展 Confidential Computing,新增 Confidential Bare Metal 部署选项,使前沿模型构建者能够在第三方专用基础设施上运行敏感工作负载,同时保留对模型和数据的控制。

    推荐理由:原文给出了新增的 Bare Metal 部署选项与支持的云厂商,读者可据此评估隐私计算能力的落地范围。

  4. NVIDIA Blog45

    NVIDIA 宣布 cuDSS 库正式全面公开可用,加速工程与科学仿真

    NVIDIA 今日宣布 cuDSS 库正式全面公开可用(GA)。该 CUDA-X 库将工程与科学仿真中求解大型稀疏系统的核心步骤转移到 GPU 执行,以加速仿真流程。

    推荐理由:NVIDIA 官方宣布 cuDSS 库正式发布,原文列举了多家头部工业软件厂商的实测加速数据,读者可直观了解其对仿真工作流的实际提升。

  5. Mistral AI51

    Mistral与NVIDIA合作推进AI工业工程工作流

    Mistral与NVIDIA宣布合作,将Mistral Large 4与NVIDIA CUDA-X、Warp和Omniverse结合,用于加速CAE/EDA仿真和闭环设计。

    推荐理由:双方明确了Mistral Large 4与NVIDIA计算栈的结合方式,以及针对CAE/EDA智能体的公开基准计划,对工程AI落地路径有参考意义。

  6. NVIDIA Blog46

    NVIDIA GTC 发布 DGX Spark 与 RTX Spark 更新,扩展本地 Agent 与编码模型支持

    NVIDIA 在 GTC Berlin 发布本地 AI 软硬件更新,DGX Spark 64GB 系统于 10 月 23 日开放,支持多机集群连接,可扩展至 8 台以运行 GLM 5.3 等更大模型。

    推荐理由:NVIDIA 发布 RTX Spark、DGX Spark 和 DGX Station 的本地硬件与软件更新,明确哪些模型可在桌面级别运行及推理优化效果。

  7. Hugging Face Blog61

    Hugging Face 发布 SimReady Central:面向机器人与 AI 工厂的超 2000 个 SimReady OpenUSD 资产库

    Hugging Face 宣布发布 SimReady Central Library,提供一个包含超过 2000 个已准备好仿真属性的 OpenUSD 资产库,用于构建机器人物理 AI 训练环境和 AI 工厂数字孪生。

    推荐理由:原文明确发布了 SimReady Central 库并给出使用方式和 OEM 准入路径,适合关注物理 AI 仿真生态的读者评估其对现有开发流程的影响。

  8. NVIDIA Blog47

    NVIDIA 在欧洲发布 Nemotron 3.5 等新开源模型

    NVIDIA 宣布扩展其开源模型系列,新增 Nemotron 3.5 Super VL 和 Nemotron 3.5 Bolt 等模型,用于构建定制应用。此次发布还包括 Cosmos 3.5 世界模型、Kumo 结构化数据模型、BioNeMo RFD4-Proteina 蛋白质设计模型以及 Ising 量子计算模型。

    推荐理由:NVIDIA 在欧洲发布多款开源模型,涵盖语言、机器人和蛋白质设计,并列出具体合作方与部署渠道。

  9. Latent Space77

    DeepSeek 开源 DeepInfer 推理引擎并披露生产数据与经济学细节

    DeepSeek 在 PyTorch Conf 首日开源生产级推理引擎 DeepInfer,基于 vLLM 并进行定制,支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出,兼容 NVIDIA 和 Huawei Ascend 平台。

    推荐理由:DeepSeek 开源生产级推理引擎并披露大规模缓存下的产能与成本结构,为行业提供了可复用的工程基线与经济学参照。