Kimi K3.1 Pro 发布:开放权重前置的 Fable 级模型与高昂推理成本之争
Kimi K3.1 Pro 发布,2.8T总参数/104B激活参数的多模态MoE模型,承诺11月4日开放权重。Artificial Analysis评测得分55,位列第四,超越Fable 5.1。
推荐理由:综合评测与定价分析,帮读者判断 Kimi K3.1 Pro 是能力跃升还是部署成本陷阱。
Kimi K3.1 Pro 发布,2.8T总参数/104B激活参数的多模态MoE模型,承诺11月4日开放权重。Artificial Analysis评测得分55,位列第四,超越Fable 5.1。
推荐理由:综合评测与定价分析,帮读者判断 Kimi K3.1 Pro 是能力跃升还是部署成本陷阱。
Hugging Face 博客介绍了即将发布的 VocabX 方法,通过按生成 token 与输入 token 的不同推理成本对词表进行特化,在基于 Qwen3-4B 的葡萄牙语作文自动评分器上把输出 token 从 350 降至 101,实测推理成本下降 77.0%,评分基准从 0.703 提升至 0.810。
推荐理由:原文用生产数据说明词表如何按生成成本加权优化,读者可据此评估推理成本压缩的方法。
DeepSeek 在 PyTorch Conf 首日开源生产级推理引擎 DeepInfer,基于 vLLM 并进行定制,支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出,兼容 NVIDIA 和 Huawei Ascend 平台。
推荐理由:DeepSeek 开源生产级推理引擎并披露大规模缓存下的产能与成本结构,为行业提供了可复用的工程基线与经济学参照。
Microsoft Research 发布 Magnetar,一种基于 RISC-V 的通用零知识虚拟机(zkVM),可证明用 Rust、Go 或 C 编写的程序执行。
推荐理由:把零知识证明与标准哈希函数对齐并在普通代码上跑通,给出可迁移的zkVM工程实践。
微软亚洲研究院开源 Agent Lightning v1.0,是一套约 3500 行代码的轻量 Agentic RL 框架。它通过 Harnessed Agentic RL 范式让部署用的智能体 harness 直接参与训练,并在 Agent 与模型之间加入 LLM 代理来观察和记录调用。
推荐理由:原文给出了轻量架构和真实 harness 接入方式,读者可以据此复用该框架训练自己的代码智能体。
Berkeley AI Research 发布综述,介绍自适应并行推理让推理模型在推理时自行决定何时拆分、并发几个线程以及如何协调,以此缓解序列推理随探索变长带来的延迟和上下文退化。
推荐理由:文章系统梳理了并行推理的技术路线,给出了两种实现架构与奖励设计的对比,便于判断哪条路径适合你的硬件约束。