技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
100 条精选近 30 天 96 条共收录 143 条
Property Finder 发现其 96.8% 的评估标签直接继承自现有模型预测，导致对比其他模型时产生系统性偏差。团队通过人工专家重新标注 356 张图片构建无偏基准，并将单标签改为多标签分类，结合迭代提示词优化，最终在 Amazon Bedrock 上选用 Llama 4 Maverick 17B Instruct 取得更高准确率，成本降低 86%，推理延迟减少 40–60%。
推荐理由：通过修复评估偏差和迭代调优提示词，帮助读者掌握跨模型选择与降本提质的具体方法。
AWS 宣布 Amazon SageMaker AI Training 和 Processing 作业支持 Seekable OCI（SOCI）索引。作业启动时仅拉取必要文件，其余在后台流式传输，镜像下载时间从数分钟降至数秒，GPU 空闲时间最高可减少 90%。用户可直接使用带 -soci 后缀的预索引 Deep Learning Container，也可在自定义镜像上创建索引，无需修改作业定义。
推荐理由：SageMaker AI 引入 SOCI 索引实现镜像懒加载，大镜像启动从分钟级降至秒级且训练性能基本不受影响。
据华尔街日报报道，Nvidia 将向 Meta 的股票发行计划投资 30 亿美元。双方还宣布将扩大在 Meta AI 产品 Muse 上的合作，Meta 计划下一代 AI 智能体更多采用 Nvidia 的 Vera Rubin 系统和 Vera CPU。
推荐理由：文章披露了Nvidia向Meta注资的具体金额与后续合作方向，并点出该交易模式在资本层面的争议背景。
AWS发布基于 SageMaker Python SDK v3 的参考架构，为端侧计算机视觉提供端到端的多分支训练流水线。该方案用 AWS CDK 部署，通过 Step Functions、DynamoDB 信号量和 SQS 编排，控制单次并发执行数量，避免超出账户训练配额。
推荐理由：给出SDK v3下用CDK和Step Functions编排千台边缘摄像头的完整流水线，读者可直接复用该架构。
AWS 发布教程，演示如何使用 AWS CDK 在 Amazon Bedrock 托管知识库上构建企业级 Agent 检索系统。系统通过 AgentCore Runtime 和 Gateway（MCP 协议）将知识库作为工具暴露给 Agent，由 AgenticRetrieveStream API 支持多轮规划和引用回答。
推荐理由：以 CDK 代码展示企业级 AgentRAG 部署，含 AgentCore 网关集成与七层可观测性方案。
亚马逊云科技官方发布文章，介绍在Amazon Bedrock上使用OpenAI模型时为AI智能体配置Prompt缓存的方法。文章解释了Prompt缓存的工作原理，演示了显式和隐式缓存模式的配置代码，包括如何缓存工具定义、系统指令，以及在不同会话轮次中保持缓存复用的技巧。实测数据显示，使用滚动断点可将六轮工作的输入成本降低约61%。
推荐理由：原文通过代码演示了Amazon Bedrock中Prompt缓存的多种配置方式，帮助读者理解如何在AI Agent工作流中降低输入成本。
Kimi K3.1 Pro 发布，2.8T总参数/104B激活参数的多模态MoE模型，承诺11月4日开放权重。Artificial Analysis评测得分55，位列第四，超越Fable 5.1。
推荐理由：综合评测与定价分析，帮读者判断 Kimi K3.1 Pro 是能力跃升还是部署成本陷阱。
AWS 在 SageMaker AI 上线多轮强化学习（MTRL）功能，通过 Lambda forwarder 将提示发送给托管在 Amazon Bedrock AgentCore 或自有基础设施的 Agent，由 Agent 执行多步操作并在回合结束后返回单一奖励，使用 GRPO 对策略模型的 LoRA 适配器进行更新。
推荐理由：AWS 提供多轮强化学习实操路径，用 Wordle 演示如何用单一终局奖励训练 Agent，展示可迁移的工作流设计。
AWS发布了用于编排Amazon SageMaker AI实时端点自动弹性伸缩的CDK构造。通过三个CloudFormation自定义资源并配合显式依赖顺序和ConfigHash属性，可在端点配置变更时自动先注销再注册弹性目标，从而实现一次部署同时更新端点与弹性参数。
推荐理由：原文给出了可复用的CDK构造逻辑，帮助读者在更新SageMaker AI端点时自动完成弹性伸缩的注销与注册。
Hugging Face Blog 发布 TorchNeuronx 模型支持 Space，用于查询 Hugging Face Hub 上热门模型是否能在 AWS Trainium 上无需修改直接运行，并提供对应的 run.py 启动脚本与 Neuron 编译器版本。
推荐理由：官方给出不依赖手动适配的 Trainium 兼容查询入口和可复用启动脚本，直接对应落地部署路径。
NVIDIA 官方博客报道黄仁勋在阿斯塔纳会谈哈萨克斯坦官员并参加 Alem.AI 活动，宣布 Firebird 获得 45,000 块 NVIDIA Grace Blackwell GPU 出口许可、Kazakhtelecom 将在数据中心谷和 Ekibastuz 部署大量 GPU，以及 NVDIA 对 Higgsfield AI 进行投资，推动当地从基础设施到应用的扩展。
推荐理由：材料列出黄仁勋访哈期间的基础设施签约与算力部署细节，便于判断当地AI产业下一步可访问的资源。
微软联合HuggingFace在ThinkingBox-Bench基础上推出thinkingbox-training开源仓库，展示如何将ThinkingBox中“数据库终态可执行检查”作为GRPO奖励信号，并用离线策略相对难度筛选任务池，在Qwen3.8-27B上完成50步RL微调。
推荐理由：文章展示了ThinkingBox-Training的实现细节和训练结果，帮助开发者理解如何将数据库可执行检查转化为RL奖励机制。
Google推出Agent Compute Engine，为每个AI智能体分配由Titanium芯片保护的独立微虚拟机，并计划在几个月后开放预览。服务已用于Gemini，VM在空闲时自动暂停以释放资源，跨VM共享内存降低运行成本；配套开源Kubernetes运行时Agent Substrate声称单服务器可承载十倍数量的智能体，20万智能体测试中挂起和恢复耗时低于500毫秒。
推荐理由：原文交代了基于Titanium芯片的微虚拟化方案与资源调度机制，读者可评估其对多Agent部署成本与效率的实际影响。
AWS 发布教程，介绍如何在 Amazon SageMaker AI 上部署 Kokoro-82M 文本转语音模型，并通过双向流式接口将每个句子实时送入模型合成音频，从而避免等待完整响应再开始语音合成。
推荐理由：原文给出一套可在 SageMaker AI 上复现的流式语音方案，读者可据此降低语音 Agent 的首个音频延迟并比较两种传输成本。
AWS 发布说明，介绍如何在 Amazon Quick 中合规使用 PHI。Amazon Quick 是 HIPAA 可选服务，覆盖结构化与非结构化两条数据流，提供 ACL、日志、加密和访问控制，并给出实施步骤与注意事项。
推荐理由：原文系统说明了 Amazon Quick 支持 HIPAA 的数据流、控制与部署模式，可据此评估医疗场景合规落地方案。
Amazon SageMaker AI 推出 Training Session APIs，将训练控制权交给用户的 Python 循环，由 AWS 负责 GPU 分配、模型与 LoRA 加载、分布式执行和故障恢复。
推荐理由：官方介绍按操作拆分的无服务器微调API，用户写训练循环、AWS管GPU，兼顾算法自由与运维简化。
Modal在$160亿估值下完成7.5亿美元D轮融资，年经常性收入突破10亿美元，已启动近30亿个沙盒。CEO Erik Bernhardsson指出，传统GPU合同是固定容量的“长方形”，而AI工作负载是波动的；Modal通过聚合数千客户的波动需求实现更高效的弹性调度。沙盒原为次要产品，因编码Agent和强化学习需求爆发，目前已贡献约三分之一的营收。
推荐理由：通过访谈揭示了AI算力从固定购买向弹性按需供应转变的基础设施逻辑，以及沙盒产品随Agent需求爆发的商业故事。
某产品发布新的智能体功能，给出了开放入口和主要能力变化。
推荐理由：原文给出了能力变化和开放入口，读者可以据此判断它会怎样改变现有工作流。
NVIDIA 发布 Minerva，这是一个面向 AI 工厂的 AIOps 平台，旨在通过连接 GPU、网络、存储和工作负载的遥测数据来提升基础设施可用性。该平台构建了动态知识图谱以追踪问题，并使用机器学习分析数十亿数据点，将事件风暴聚合为可操作的事件。
推荐理由：原文介绍新平台的核心能力与关键指标变化，读者可判断其对大规模 AI 基础设施运维的价值。
IBM 在 Hugging Face 开源了 Granite Timeseries Ensemble R1，用同一个可扩展接口同时调用 PatchTST-FM-r1、PatchTST-FM-r2、FlowState-r1.1 和 TTM-r3 四个架构，开箱提供点预测与 0.1-0.9 分位数输出，支持 Probabilistic 默认配方与按预测扩散自适应的 IQR 配方。
推荐理由：它把四种不同架构的 Granite 时间序列模型打包成统一接口，用户无需微调即可直接获得概率与分位数预测，降低了模型选择成本。