跳到正文
10月27日周二
  1. AWS Machine Learning Blog74

    在Amazon Bedrock使用OpenAI模型时配置Prompt缓存

    亚马逊云科技官方发布文章,介绍在Amazon Bedrock上使用OpenAI模型时为AI智能体配置Prompt缓存的方法。文章解释了Prompt缓存的工作原理,演示了显式和隐式缓存模式的配置代码,包括如何缓存工具定义、系统指令,以及在不同会话轮次中保持缓存复用的技巧。实测数据显示,使用滚动断点可将六轮工作的输入成本降低约61%。

    推荐理由:原文通过代码演示了Amazon Bedrock中Prompt缓存的多种配置方式,帮助读者理解如何在AI Agent工作流中降低输入成本。

10月26日周一
  1. The Decoder37

    Meta 计划发行高达 950 亿美元股票为 AI 基础设施融资

    Meta 计划通过发行新股筹集最高 950 亿美元,用于支持其 AI 基础设施扩建。其中约 225 亿美元来自 Class A 普通股,125 亿美元来自优先股存托凭证,剩余 600 亿美元将在 2027 年第一季度后通过公开市场出售无投票权的 Class C 新股份实现,此举旨在融资的同时不稀释 CEO Mark Zuckerberg 的控制权。

10月24日周六
  1. AWS Machine Learning Blog78

    AWS SageMaker AI 推出多轮强化学习功能,含端到端实操指南

    AWS 在 SageMaker AI 上线多轮强化学习(MTRL)功能,通过 Lambda forwarder 将提示发送给托管在 Amazon Bedrock AgentCore 或自有基础设施的 Agent,由 Agent 执行多步操作并在回合结束后返回单一奖励,使用 GRPO 对策略模型的 LoRA 适配器进行更新。

    推荐理由:AWS 提供多轮强化学习实操路径,用 Wordle 演示如何用单一终局奖励训练 Agent,展示可迁移的工作流设计。

  2. AWS Machine Learning Blog36

    用AWS CDK自定义资源编排SageMaker AI端点的自动弹性伸缩

    AWS发布了用于编排Amazon SageMaker AI实时端点自动弹性伸缩的CDK构造。通过三个CloudFormation自定义资源并配合显式依赖顺序和ConfigHash属性,可在端点配置变更时自动先注销再注册弹性目标,从而实现一次部署同时更新端点与弹性参数。

    推荐理由:原文给出了可复用的CDK构造逻辑,帮助读者在更新SageMaker AI端点时自动完成弹性伸缩的注销与注册。

10月23日周五
  1. Hugging Face Blog41

    Hugging Face 推出 TorchNeuronx 模型兼容查询 Space

    Hugging Face Blog 发布 TorchNeuronx 模型支持 Space,用于查询 Hugging Face Hub 上热门模型是否能在 AWS Trainium 上无需修改直接运行,并提供对应的 run.py 启动脚本与 Neuron 编译器版本。

    推荐理由:官方给出不依赖手动适配的 Trainium 兼容查询入口和可复用启动脚本,直接对应落地部署路径。

  2. NVIDIA Blog50

    NVIDIA 宣布黄仁勋访哈萨克斯坦并公布算力基建与项目进展

    NVIDIA 官方博客报道黄仁勋在阿斯塔纳会谈哈萨克斯坦官员并参加 Alem.AI 活动,宣布 Firebird 获得 45,000 块 NVIDIA Grace Blackwell GPU 出口许可、Kazakhtelecom 将在数据中心谷和 Ekibastuz 部署大量 GPU,以及 NVDIA 对 Higgsfield AI 进行投资,推动当地从基础设施到应用的扩展。

    推荐理由:材料列出黄仁勋访哈期间的基础设施签约与算力部署细节,便于判断当地AI产业下一步可访问的资源。

  3. Hugging Face Blog59

    微软发布ThinkingBox-Training:基于ThinkingBox构建RL智能体训练框架

    微软联合HuggingFace在ThinkingBox-Bench基础上推出thinkingbox-training开源仓库,展示如何将ThinkingBox中“数据库终态可执行检查”作为GRPO奖励信号,并用离线策略相对难度筛选任务池,在Qwen3.8-27B上完成50步RL微调。

    推荐理由:文章展示了ThinkingBox-Training的实现细节和训练结果,帮助开发者理解如何将数据库可执行检查转化为RL奖励机制。

  4. MIT Technology Review · AI34

    设计面向企业AI生产环境的稳健推理服务架构

    EXL研究表明,企业AI的核心竞争力正从模型能力转向围绕模型构建的服务架构(serving harness),包括内存管理、调度和优化决策。应首先根据负载需求确定约束,而非盲目选择最强模型。构建可适应未来模型和硬件变化的架构,才能实现可靠、经济且可扩展的交付。

  5. The Decoder77

    Google发布Agent Compute Engine,为每个Gemini智能体配备硬件隔离微虚拟机

    Google推出Agent Compute Engine,为每个AI智能体分配由Titanium芯片保护的独立微虚拟机,并计划在几个月后开放预览。服务已用于Gemini,VM在空闲时自动暂停以释放资源,跨VM共享内存降低运行成本;配套开源Kubernetes运行时Agent Substrate声称单服务器可承载十倍数量的智能体,20万智能体测试中挂起和恢复耗时低于500毫秒。

    推荐理由:原文交代了基于Titanium芯片的微虚拟化方案与资源调度机制,读者可评估其对多Agent部署成本与效率的实际影响。

  6. AWS Machine Learning Blog49

    在 Amazon SageMaker AI 上流式调用 Kokoro TTS 降低 AI 语音 Agent 延迟

    AWS 发布教程,介绍如何在 Amazon SageMaker AI 上部署 Kokoro-82M 文本转语音模型,并通过双向流式接口将每个句子实时送入模型合成音频,从而避免等待完整响应再开始语音合成。

    推荐理由:原文给出一套可在 SageMaker AI 上复现的流式语音方案,读者可据此降低语音 Agent 的首个音频延迟并比较两种传输成本。

  7. AWS Machine Learning Blog51

    Amazon Quick 支持在符合 HIPAA 要求的环境中部署 AI 工作负载

    AWS 发布说明,介绍如何在 Amazon Quick 中合规使用 PHI。Amazon Quick 是 HIPAA 可选服务,覆盖结构化与非结构化两条数据流,提供 ACL、日志、加密和访问控制,并给出实施步骤与注意事项。

    推荐理由:原文系统说明了 Amazon Quick 支持 HIPAA 的数据流、控制与部署模式,可据此评估医疗场景合规落地方案。

  8. AWS Machine Learning Blog76

    Amazon SageMaker AI 发布 Training Session APIs,无需自建 GPU 即可编写自定义训练循环

    Amazon SageMaker AI 推出 Training Session APIs,将训练控制权交给用户的 Python 循环,由 AWS 负责 GPU 分配、模型与 LoRA 加载、分布式执行和故障恢复。

    推荐理由:官方介绍按操作拆分的无服务器微调API,用户写训练循环、AWS管GPU,兼顾算法自由与运维简化。

  9. AWS Machine Learning Blog28

    IskayPet 使用 Amazon Bedrock Managed Knowledge Bases 统一企业知识库

    宠物护理公司 IsKayPet 利用 Amazon Bedrock Managed Knowledge Bases 构建了跨四语、三国的企业知识助手。该系统通过原生 SharePoint 连接器整合数百份文档,无需自建向量数据库或嵌入流水线,结合混合搜索与管理重排序准确检索信息。整个解决方案由 Kiro 在 Claude Haiku 4.5 上开发,支持基于用户权限的检索与引用来源回答。

  10. Latent Space58

    Modal CEO Erik Bernhardsson:AI算力为何是“长方形”的以及沙盒的意外成功

    Modal在$160亿估值下完成7.5亿美元D轮融资,年经常性收入突破10亿美元,已启动近30亿个沙盒。CEO Erik Bernhardsson指出,传统GPU合同是固定容量的“长方形”,而AI工作负载是波动的;Modal通过聚合数千客户的波动需求实现更高效的弹性调度。沙盒原为次要产品,因编码Agent和强化学习需求爆发,目前已贡献约三分之一的营收。

    推荐理由:通过访谈揭示了AI算力从固定购买向弹性按需供应转变的基础设施逻辑,以及沙盒产品随Agent需求爆发的商业故事。

  11. AWS Machine Learning Blog43

    Kokoro-82M TTS 模型在 Amazon SageMaker AI 上通过实测 Q_max 与 T_total 设定自动扩缩容策略

    AWS 在 Amazon SageMaker AI 上把 Kokoro-82M 部署为自定义容器实时端点,并通过五个命令用 Q_max 和 T_total 推导扩缩容阈值。该方案以 ConcurrentRequestsPerModel 为指标,将 scale-out 目标设为 37.5,scale-in 阈值设为 25.0,并给出对应冷却时间和队列门限配置。

    同一件事,精选收录的是《在 Amazon SageMaker AI 上流式调用 Kokoro TTS 降低 AI 语音 Agent 延迟》

  12. NVIDIA Blog48

    NVIDIA 发布 Minerva AIOps 平台

    NVIDIA 发布 Minerva,这是一个面向 AI 工厂的 AIOps 平台,旨在通过连接 GPU、网络、存储和工作负载的遥测数据来提升基础设施可用性。该平台构建了动态知识图谱以追踪问题,并使用机器学习分析数十亿数据点,将事件风暴聚合为可操作的事件。

    推荐理由:原文介绍新平台的核心能力与关键指标变化,读者可判断其对大规模 AI 基础设施运维的价值。

10月22日周四
  1. Hugging Face Blog67

    IBM 开源 Granite Timeseries Ensemble 多模型集成预测方案

    IBM 在 Hugging Face 开源了 Granite Timeseries Ensemble R1,用同一个可扩展接口同时调用 PatchTST-FM-r1、PatchTST-FM-r2、FlowState-r1.1 和 TTM-r3 四个架构,开箱提供点预测与 0.1-0.9 分位数输出,支持 Probabilistic 默认配方与按预测扩散自适应的 IQR 配方。

    推荐理由:它把四种不同架构的 Granite 时间序列模型打包成统一接口,用户无需微调即可直接获得概率与分位数预测,降低了模型选择成本。

  2. NVIDIA Blog50

    NVIDIA 展示欧洲部署的 Earth-2 开放气象模型

    NVIDIA 在 GTC Berlin 展示 StormScope EU 等 Earth-2 开放模型,提供短临预报与区域气象预测能力。AXA、Vaisala Xweather、TotalEnergies 和曼彻斯特大学等已基于 Earth-2 部署区域气候、空气质量及太阳能发电预测应用。

    推荐理由:NVIDIA 展示了 StormScope EU 等新模型的实际部署案例,读者可了解开源模型在区域气象与环境预测中的落地路径。

  3. NVIDIA Blog25

    NVIDIA 展示欧洲零售企业如何利用开源模型与物理智能实现数字化转型

    Shopify 通过后训练 Nemotron 3.5 Lightning 模型,在内部基准测试中超越领先前沿模型,推理成本降低 90%,速度提升 7 倍。L’Oréal 结合 Omi 的 TRELLIS 3D 资产生成与 NVIDIA ALCHEMI 工具包,将成分筛选时间从数月缩短至数小时。CATCHES 与 AMIRI 合作的 RealFit 部署实现转化率提升 55%、加购率提升 80%。

  4. NVIDIA Blog43

    欧洲多家金融机构采用开源模型构建专属智能

    NVIDIA 称 Revolut、Lloyds、Starling Bank、Santander 等多家欧洲银行和支付公司正在使用 NVIDIA 加速计算平台与开源权重模型构建专属金融智能,并称 bunq 使用开源模型后每回答成本降至领先闭源模型的 60%,Stripe Radar 在离线测试中称数据流水线提速 42x 并节省成本 92%。

    推荐理由:文章列出多家欧洲金融机构利用 NVIDIA 加速计算和开源权重模型构建专属智能的案例,反映行业对成本与数据主权的趋势选择。

  5. AWS Machine Learning Blog35

    AWS 发布 Amazon Quick 私有网络连通架构指南

    AWS 发布指南,说明如何通过 VPC 端点和 VPC 连接将 Amazon Quick 接入企业内网,确保 AI 代理和仪表板在不经过公网的前提下访问内部数据源。文档覆盖网络隔离、身份联合及成本估算。

    推荐理由:官方给出 Amazon Quick 私有网络架构的完整实施步骤,有助于企业构建合规的低延迟 AI 访问路径。

  6. AWS Machine Learning Blog50

    AWS 教程:用 Strands Agents 构建自适应智能体框架 AAIF

    AWS 官方博客介绍使用 Strands Agents 和 Amazon Bedrock 构建自适应智能体框架(AAIF)。框架通过本地小语言模型分类请求,日常查询由 Ollama 在边缘处理,复杂任务路由至云端大模型,示例基于 IoT 监控场景并附带完整代码。

    推荐理由:给出可运行的代码和 IoT 示例,帮助开发者在本地 SLM 与云端 Bedrock 之间按复杂度路由请求以降低成本。

  7. AWS Machine Learning Blog38

    在 AWS Trainium 上用 torchtitan 训练 Qwen3 的三种配置

    AWS 发布指南介绍在 trn2.48xlarge 上通过 torchtitan 训练 Qwen3 的三种方式:使用 Transformers v5 后端、切换为 torchtitan 原生 Qwen3 实现,以及加载 torchtitan-neuron 的 NKI MoE 算子并演示自定义 NKI 算子注册。

    推荐理由:文章给出了在 AWS Trainium 上跑 Qwen3 的三种具体配置和完整 launch 命令,便于直接迁移到训练流程。

  8. Hugging Face Blog62

    VocabX 将 SLM 词表按生成成本加权特化,实测推理成本下降 77%

    Hugging Face 博客介绍了即将发布的 VocabX 方法,通过按生成 token 与输入 token 的不同推理成本对词表进行特化,在基于 Qwen3-4B 的葡萄牙语作文自动评分器上把输出 token 从 350 降至 101,实测推理成本下降 77.0%,评分基准从 0.703 提升至 0.810。

    推荐理由:原文用生产数据说明词表如何按生成成本加权优化,读者可据此评估推理成本压缩的方法。

  9. The Decoder63

    Google Cloud 上线 GPT-6 系列,成为唯一聚合三大主流模型的云服务商

    Google Cloud 宣布成为首个在同一平台同时提供 Gemini、Claude 和 OpenAI 模型的主流云服务商,今日开放三款 GPT-6 模型的私有预览:面向编码和研究的高性能版 GPT-6 Astra、性价比相似的 GPT-6.1 Sol,以及适合日常任务的高性价比快速版 GPT-6 Luna。

    同一件事,精选收录的是《OpenAI 模型接入 Google Cloud》

10月21日周三
  1. The Decoder71

    Inception 发布 Mercury 3 扩散语言模型,号称更快更强

    Inception 发布 Mercury 3 扩散语言模型,在多项基准测试中超越 GPT-6 Luna 和 Claude Haiku 5.5,速度高出 4 到 8 倍。模型每秒生成约 1068 token,支持百万级上下文,主要针对 AI 智能体、搜索、客服和教育场景。

    推荐理由:原文提供了与主流模型的基准对比和定价,可据此评估其对实时场景的实际影响。