跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

100 条精选近 30 天 96 条共收录 143 条

更新

部署工程的精选

11月1日周日第 1–20 条
  1. The Decoder62

    ChatGPT 将于12月合并聊天与工作界面并统一 token 预算

    OpenAI 宣布从12月起在 ChatGPT 中将 Chat 与 Work 合并,Plus、Pro 和 Business 计划将共享一个覆盖 ChatGPT 与 Codex 的单一 token 预算。Instant 模型的对话不计入预算,但高频率使用低价方案可能会导致输出质量下降;OpenAI 此前已为高价方案翻倍使用限额以配合此次合并。

    推荐理由:原文披露了 ChatGPT 将合并 Chat 与 Work 并统一 token 预算的具体机制,可据此评估该调整对重度用户的实际影响。

  2. Latent Space59

    AI 智能体如何改变财富管理:Arca 的长周期 Agent 工作流

    Arca 是一家使用 Claude 等前沿模型的 AI 原生财富管理平台,近期融资 4850 万美元。其特点是不依赖托管代理框架,而是自建模型选择和路由系统(harness)。

    推荐理由:文章揭示了财富管理平台如何构建长周期智能体系统,并在人类决策与自动化之间建立确定性安全护栏。

10月31日周六
  1. AWS Machine Learning Blog57

    Amazon Bedrock端到端成本管理指南:五阶段运营模型与实施步骤

    AWS发布端到端成本管理指南,为FinOps和平台团队提供五阶段运营模型:通过IAM主体标签和会话标签将每笔支出归因到责任人;利用模型调用日志和请求元数据使每个请求可观测;按风险选择监控告警、IAM拒止策略或同步网关拦截来控制预算;通过智能提示路由和提示缓存优化默认设置以减少浪费;建立仪表盘和定期评审机制将数据转化为决策。文章提供了代码示例和查询语句,帮助团队建立可复用的费用治理流程。

    推荐理由:提供可复用的五阶段费用治理模型与具体实现步骤,帮助平台与财务团队协作管理Amazon Bedrock支出。

  2. TechCrunch · AI57

    Big Tech 超 7400 亿美元 AI 资本开支引发投资者担忧

    Alphabet、Amazon、Meta 和 Microsoft 计划今年资本开支合计超 7400 亿美元,主要投向数据中心和芯片。Alphabet 三季度自由现金流为负 91 亿美元,Search 广告增速降至 5 个季度最低;Amazon 过去 12 个月自由现金流为负 424 亿美元;Meta 三季度自由现金流为负 21 亿美元,新 AI 智能体 Muse 被指运行成本极高。

    推荐理由:原文以财报和资本开支数据揭示 Big Tech 在 AI 投入与企业盈利间的拉扯,可供判断本轮 AI 投资潮的可持续性。

10月30日周五
  1. TechCrunch · AI56

    Runware 计划建厂像造汽车一样量产 AI 数据中心

    Runware 宣布将在罗马尼亚工厂用生产线组装 Sonic Inference Pod 模块化数据中心,目标到 2028 年日产能达到 30MW、月产能接近 1GW。公司已拥有两座工厂,第二座预计明年上线,计划将单 pod 交付时间缩短到 48 小时。Runware 已获得超 6000 万美元融资,并在一个月内向外部客户推出 Sonic pods,称已收到超过 10 亿美元意向订单。

    推荐理由:文章给出 Runware 工厂化量产计划和产能目标,可用于横向对比 Nvidia 等同行基础设施策略。

  2. AWS Machine Learning Blog35

    AWS Batch 新增配额管理,支持多团队共享 SageMaker Training 资源

    AWS Batch 针对 SageMaker Training jobs 推出配额管理功能。管理员可通过配置策略将 GPU 容量划分为多个配额份额,支持 LEND、LEND_AND_BORROW 等共享模式,并在份额内启用抢占以优先满足高优先级作业。该功能通过 SageMaker Python SDK v3 进行集成配置。

    推荐理由:文章详解了 AWS Batch 针对 SageMaker Training jobs 新增的配额管理功能,帮助多团队共享 GPU 容量并自动调度。

  3. AWS Machine Learning Blog65

    NVIDIA Nemotron 3.5 Super VL 可在 AWS EKS 和 SageMaker HyperPod EKS 部署

    NVIDIA Nemotron 3.5 Super VL 现已加入 AWS 可用的 Nemotron 模型系列,支持在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 部署。该模型为 120B 参数的 MoE 模型,每次激活 12B 参数,支持文本、图像、文档和视频理解。

    推荐理由:文章提供了 Nemotron 3.5 Super VL 在 AWS 部署的最小 GPU 配置和性能验证方法,便于评估推理成本。

10月29日周四
  1. The Decoder74

    美国反垄断监管机构审视英伟达收购 Hugging Face 及其销售模式

    美国司法部正在审查英伟达以 129.3 亿美元收购开源平台 Hugging Face 的计划是否会对竞争对手造成不利影响,该交易预计 2027 年上半年完成。同时审查范围还包括英伟达对 SchedMD 和 Run:ai 的收购以及与 Groq 的许可协议是否存在排他性销售行为。法国竞争管理局也对英伟达在 CUDA 生态和云提供商持股方面的潜在反竞争风险展开调查。

    推荐理由:原文梳理了美国司法部对英伟达收购 Hugging Face 及相关客户合作模式的反垄断审查进度,帮助判断这笔交易的时间线和监管阻力。

  2. Hugging Face Blog41

    Hugging Face 发布 Granite Switch 4.1.1

    Hugging Face 发布 Granite Switch 4.1.1,基于模块化 Switch 架构提供增量更新,重点更新了 Granite Speech ASR 与 granitelib-core 中的 Decision 适配器。

    推荐理由:更新展示了模块化的 Switch 架构,在不重训基础模型的情况下快速迭代专业适配器。

  3. The Verge · AI91

    SemiAnalysis分析师解析Anthropic S-1:AGI愿景与商业现实的博弈

    SemiAnalysis分析师Joey Brookhart在The Verge《Decoder》播客中深入解读Anthropic的IPO文件S-1,其潜在估值达1.5万亿至2万亿美元,但实际现金燃烧仅约100亿美元。

    推荐理由:访谈拆解了Anthropic IPO文件中关于估值、算力和商业化路径的核心信息,帮助判断AI行业的竞争格局与盈利可能性。

  4. MIT Technology Review · AI50

    AI 智能体急需实时行动监控,现有框架存在可观测性缺口

    本文指出当前主流 AI 智能体框架在身份标识、人工干预及权限变更等关键可观测性记录上存在缺失。作者建议通过 OpenTelemetry 等标准完善追踪机制,要求开发者和企业共同建立实时监控系统以防范风险。

    推荐理由:文章指出当前 Agent 框架缺乏关键可观测性,提出了记录运行轨迹与决策过程的具体建议。

  5. AWS Machine Learning Blog43

    AWS 发布基于 Bedrock AgentCore 的企业级 Agentic AI 平台蓝图

    AWS 发布企业级 Agentic AI 平台蓝图,基于 Amazon Bedrock AgentCore 提供多账号联邦架构、独立推理与工具网关、以及包含对抗性门禁的发布流水线。该参考实现由 AWS 解决方案架构师维护,支持在 eu-west-1 等区域部署,并配套 GitHub 仓库供企业验证从上线到退役的完整生命周期。

    推荐理由:官方给出企业级多账号治理架构与流水线评估门禁的参考实现,可评估其控制强度是否适配现有组织边界。

  6. The Decoder50

    OpenAI 透露 Dots 将在数周内扩展至欧洲,柏林 DevDay 重点在平台锁定

    OpenAI 在 Berlin DevDay Exchange 2026 上透露,AI 助手 Dots 将在与监管沟通后于几周内在欧洲扩大可用范围,Personal Pro 仍被排除;德国周活跃 Codex 用户自 2026 年 1 月以来增长约二十倍,且近五分之一桌面用户使用技能处理文档、演示或表格。

    推荐理由:OpenAI 借 Berlin DevDay 梳理 Dots、Codex 与平台战略,读者可据此判断其欧洲落地节奏与生态锁定策略。

10月28日周三
  1. Hugging Face Blog75

    NVIDIA 开源 Nemotron 3.5 Transcribe 及 Granary v2 数据集与微调工具

    NVIDIA 发布 Nemotron 3.5 Transcribe 开源语音模型,支持 40 种语言转录、31 种语言翻译及 13 种语言说话人归属,并在 Hugging Face Open ASR、David AI 和 VoiceArena 等多个榜单中获得开源模型第一。

    推荐理由:模型在多个基准上刷新了开源记录,并附带 Granary v2 数据集和微调方案,方便开发者快速验证效果。

  2. AWS Machine Learning Blog38

    AWS 演示 SageMaker serverless 微调 Qwen3 在边缘告警分类与云端电力市场分析中超越前沿模型

    AWS 官方博客发布 Exowatt 使用 Amazon SageMaker AI serverless model customization 构建可复用 AI 管道的实践。

    推荐理由:AWS 展示如何用 SageMaker serverless fine-tuning 将 Qwen3-1.7B 和 Qwen3-14B 微调后在边缘与云端超越前沿模型,给出端到端成本与流程参考。