S-1 文件显示 Anthropic 面临云容量短缺与客户集中风险
据外媒报道，Anthropic 向 SEC 提交的 S-1 文件披露其正从 AWS、Google 和 Microsoft 获取云容量时遇到困难，后三者越来越视其为竞争对手而非客户。
推荐理由：文件披露了 Anthropic 在云资源、客户结构、保险责任和亏损上的风险，有助于判断其 IPO 的财务健康程度。
技术方向
部署工程 最新动态
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
100 条精选近 30 天 96 条共收录 143 条
更新
精选归档 · 第 4 页
TechCrunch · AI精选AI 评分7373 AWS Machine Learning Blog精选AI 评分5252 i14 在 AWS Trainium2 上训练与部署 Laplace 3B 线性注意力模型
i14 与 AWS 合作将 Laplace 3B 线性注意力模型部署到 AWS Trainium2，通过 TorchNeuron Native 使用原生 PyTorch 保留 GLA 架构，单 trn2.48xlarge 训练吞吐约 12 万 token/秒，推理 1,280 并发序列输出 11,544 token/秒。
推荐理由：原文给出了模型设计与 Trainium2 工程适配细节，读者可据此评估其在长上下文场景下的部署可行性。
Latent Space精选AI 评分5555 SF Compute CEO：用可编程数据中心构建物理交割的GPU交易市场
SF Compute CEO Evan Conrad在AIE NYC介绍其构建GPU交易市场的进展：通过物理交割而非现金结算，将集群的软硬件约束（如存储恢复速度、GPU世代、InfiniBand分区）融入订单簿匹配。目前5%容量上链，支持1小时至3-5年远期合约，批处理与实时推理因中断风险不同而定价差异显著。公司不持有硬件以保持中立，并推出了可动态划分配件的网络虚拟化功能。
推荐理由：通过物理交割和可编程数据中心构建GPU合约市场，揭示了算力作为可交易资产的工程约束与金融套利逻辑。
The Decoder精选AI 评分7474 DeepSeek 开源 DeepInfer 推理引擎
DeepSeek 在 Apache License 2.0 下开源内部推理框架 DeepInfer，支持 V4.1-Flash 模型高速低成本响应；基于 vLLM 优化，提供分布式处理与更快文本生成，并开源 deepseek-recipe 复现官方 API token 处理方式。
推荐理由：DeepSeek 开源推理框架降低自托管成本，同时为自身模型提供标准化部署能力。
TechCrunch · AI精选AI 评分7070 Google 发布 TorchTPU 加入打破 NVIDIA 主导地位的行动
Google 宣布开源 TorchTPU，使开发者能把 PyTorch 应用迁移到 Google TPU 和 Google Cloud。Amazon 同时推出 TorchNeuron，把 PyTorch 应用迁移到 Trainium 和 AWS，并准备把解耦 NVIDIA 的代码提交给 PyTorch 主项目。
推荐理由：报道给出了 Google 和 Amazon 各自推出的 PyTorch 开源适配层，读者可以据此评估 AI 芯片竞争格局的变化。
AWS Machine Learning Blog精选AI 评分4040 从加拿大 AWS 区域通过跨区推理访问 OpenAI GPT 模型
AWS 发布教程，演示如何通过 Amazon Bedrock 跨区推理（CRIS）从 Canada Central 和 Canada West 调用 OpenAI GPT-5.6、GPT-6 和 GPT-6.1 模型。
推荐理由：官方给出了跨区推理的完整接入指南，覆盖 API 调用、权限、配额与安全合规，可直接落地生产。
AWS Machine Learning Blog精选AI 评分5050 Octave 基于 Amazon Bedrock 构建多租户 AI 基础架构与实践
Octave Reliance 团队利用 Amazon Bedrock、Cohere Embed v4 和 AgentCore 为超过 14,000 个客户构建了支持语义搜索的多租户 AI 基础架构，解决了跨租户隔离、不可信文档注入及 20 亿级文档快速入库等难题，将新用例部署时间缩短 50%。
推荐理由：原文详述了如何在强隔离约束下构建SaaS AI基础架构，给出了Cohere Embed v4选型与AgentCore隔离设计的可复用经验。
AWS Machine Learning Blog精选AI 评分5555 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
AWS 发布教程，介绍如何在 Amazon SageMaker HyperPod 上通过监督微调（SFT）和基于组的相对策略优化（GRPO）对 GPT-OSS-20B 进行多语言推理微调。
推荐理由：本文提供了在 SageMaker HyperPod 上用 SFT 和 GRPO 微调 GPT-OSS-20B 处理多语言推理的完整代码路径与配置。
AWS Machine Learning Blog精选AI 评分3939 AWS 发布通过 Amazon Quick 与 AgentCore 构建供应链智能体的参考架构与部署指南
AWS 发布参考架构与部署指南，展示如何用 Amazon Bedrock AgentCore 和 Amazon Quick 把供应链多系统数据变为自然语言对话智能。
推荐理由：原文给出一套可复用的供应链智能体参考架构与分步部署指南，覆盖 AgentCore、MCP 连接器和 Amazon Quick 的端到端集成。
AWS Machine Learning Blog精选AI 评分4545 Smartsheet MCP Server 发布，支持通过自然语言操作项目数据
Smartsheet 发布通用可用的 MCP Server，提供 40 多种工具用于读取、写入和管理 Smartsheet 数据，已与 Amazon Quick 和 Kiro 集成。该服务可通过 Streamable HTTP 在商业 US、EU 和 AU 三个区域访问，使用 OAuth 2.0 或个人访问令牌认证，允许项目经理和业务用户通过自然语言查询项目状态、更新任务以及生成摘要。
推荐理由：官方给出通过 MCP 协议对接 Smartsheet 的具体步骤，适用于想在 Amazon Quick 或 Kiro 中使用工作管理数据的场景。
AWS Machine Learning Blog精选AI 评分3636 Smartsheet MCP Server 通用版发布，支持 Amazon Quick 与 Kiro 接入
Smartsheet 发布了通用可用的 MCP Server，提供 40 多个工具用于读取和管理表格、任务与自动化。可通过 Amazon Quick 让业务人员用自然语言查询和更新项目状态，或通过 Kiro 让开发者在不切换工作流的情况下获取 Sprint 数据并自动更新任务。
推荐理由：文章演示了通过 MCP 连接 Smartsheet 到 Amazon Quick 和 Kiro 的实操流程，可直接复制配置参考。
Hugging Face Blog精选AI 评分7575 Hugging Face 原生支持 TPU：TorchTPU 发布与生态整合
Hugging Face 推出 TorchTPU，将 TPU 作为 PyTorch 原生后端，Transformers 和 Diffusers 现在可直接在 TPU 上运行，无需 PyTorch/XLA。TPU 上运行 Qwen3-30B-A3B 等模型时，结合 Pallas 内核可实现最高 21.5 倍的解码加速，目前 96.5% 的测试通过。
推荐理由：Hugging Face 官方介绍 TorchTPU 后端及 Transformers、Diffusers 的 TPU 原生支持，读者可了解迁移成本与性能收益。
AWS Machine Learning Blog精选AI 评分3939 AWS 教程：用 Strategy Mosaic 与 Bedrock AgentCore 构建 Agent 语义层
AWS 发布系列第三篇教程，使用 Strategy Mosaic 在 Amazon Redshift 与 Aurora 上构建面向 Agentic AI 的维度语义层，并通过 MCP 端点将模型暴露给托管在 Amazon Bedrock AgentCore 中的 Strands Agent。
推荐理由：文章给出基于 AgentCore 与 Mosaic 的 Agent 接入落地方案，适合想通过 MCP 把语义层接入智能体的工程师参考。
AWS Machine Learning Blog精选AI 评分6060 AWS 正式推出 Agent Registry，支持运行时发现 MCP 和 A2A 智能体
AWS Agent Registry 现已全面可用，是用于目录化和发现 Model Context Protocol (MCP) 服务器、Agent-to-Agent (A2A) 智能体及智能体技能的托管服务。
推荐理由：AWS 正式推出 Agent Registry，支持 MCP 和 A2A 协议运行时发现，读者可据此评估企业级智能体编排的解耦与治理方案。
Hugging Face Blog精选AI 评分5656 Hugging Face 发布 AnyLanguageModel 1.0
Hugging Face 发布 AnyLanguageModel 1.0、swift-huggingface 1.0 和 swift-xet 1.0。
推荐理由：Hugging Face 发布 AnyLanguageModel 1.0，统一 Apple 平台本地与托管推理的 Swift API，并同步发布相关工具包。
The Decoder精选AI 评分7676 Cloudflare 发布 Clairic 模型，文档数据提取比 LLM 更快更便宜
Cloudflare 发布 Clairic 模型，从文档中提取数据速度更快且成本更低。该模型在 Workers AI 上提供预览版，用户指定字段后单次返回匹配值与置信度。测试中结合 Clef 决策模型和 GLM-5.3 写入回复，整条链耗时 19.3 秒，成本仅为单独使用 GLM-5.3 的一半。
推荐理由：原文给出了能力变化和开放入口，读者可以据此判断它会怎样改变现有工作流。
Hugging Face Blog精选AI 评分4545 PyTorch 2.15 为 Mac 引入 FP8 支持与 LLM 解码加速
PyTorch 2.15 为 Mac 带来多项改进。FP8 浮点支持到达 MPS，可通过 F.scaled_mm 直接进行 GPU 矩阵乘法。MoE 模型在 M3 Ultra 上使用 torch.compile 解码速度提升 5–6.6 倍，Qwen3.6-35B-A3B 从 9.4 提升至 61.3 tokens/s。
推荐理由：PyTorch 2.15 为 Mac 带来 FP8、MoE 加速和大量 Metal 原生内核，读者可据此评估本地运行大模型与视频生成的实际提升。
TechCrunch · AI精选AI 评分7070 Nvidia 发布 Nemotron 3.5 系列开源模型
Nvidia 周四发布新版开源权重模型，包括面向企业智能体的 1200 亿参数 Nemotron 3.5 Super VL，以及两款可在 AI PC 本地运行的轻量级 Bolt 模型。
推荐理由：Nvidia 同时推出面向企业的 Nemotron 3.5 Super VL 和面向 PC 的两款 Bolt 模型，覆盖不同场景的部署需求。
AWS Machine Learning Blog精选AI 评分4545 Amazon Bedrock 为 Anthropic Claude 模型提供结构化输出与严格工具调用
Amazon Bedrock 现已为所有 Anthropic Claude 模型提供结构化输出，涵盖 bedrock-runtime 和 bedrock-mantle 端点。使用 constrained decoding 可在生成过程中强制 JSON 符合定义 Schema，并把 Strict tool use 用于 Agentic 工作流，从而减少解析与重试成本。
推荐理由：官方给出能力变化、代码示例与最佳实践，读者可直接评估如何用于生产。
AWS Machine Learning Blog精选AI 评分4040 Amazon SageMaker Studio 接入新 AWS 注册体验
Amazon SageMaker AI 推出新的注册体验，新用户可以仅用 2–3 步通过 Google、GitHub、Apple、Amazon 账号或电子邮件创建 AWS 账户并进入 SageMaker Studio，无需填写信用卡或验证手机。新用户可获得最多 200 美元的 Free Tier 积分，环境约 20 秒自动配置完成，预置权限并默认提供 G5、G6 和 G4dn GPU 实例访问。
推荐理由：官方给出了新用户从发现模型到部署模型的实际路径和免费额度，读者可以据此判断它是否降低了 SageMaker 的使用门槛。