跳到正文
10月24日周六
10月22日周四
  1. Hugging Face Blog62

    VocabX 将 SLM 词表按生成成本加权特化,实测推理成本下降 77%

    Hugging Face 博客介绍了即将发布的 VocabX 方法,通过按生成 token 与输入 token 的不同推理成本对词表进行特化,在基于 Qwen3-4B 的葡萄牙语作文自动评分器上把输出 token 从 350 降至 101,实测推理成本下降 77.0%,评分基准从 0.703 提升至 0.810。

    推荐理由:原文用生产数据说明词表如何按生成成本加权优化,读者可据此评估推理成本压缩的方法。

10月21日周三
  1. Latent Space77

    DeepSeek 开源 DeepInfer 推理引擎并披露生产数据与经济学细节

    DeepSeek 在 PyTorch Conf 首日开源生产级推理引擎 DeepInfer,基于 vLLM 并进行定制,支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出,兼容 NVIDIA 和 Huawei Ascend 平台。

    推荐理由:DeepSeek 开源生产级推理引擎并披露大规模缓存下的产能与成本结构,为行业提供了可复用的工程基线与经济学参照。

10月16日周五
10月8日周四
  1. Microsoft Research76

    微软亚洲研究院发布 Agent Lightning v1.0 轻量智能体 RL 训练框架

    微软亚洲研究院开源 Agent Lightning v1.0,是一套约 3500 行代码的轻量 Agentic RL 框架。它通过 Harnessed Agentic RL 范式让部署用的智能体 harness 直接参与训练,并在 Agent 与模型之间加入 LLM 代理来观察和记录调用。

    推荐理由:原文给出了轻量架构和真实 harness 接入方式,读者可以据此复用该框架训练自己的代码智能体。

5月8日周五
  1. Berkeley AI Research38

    Berkeley AI Research 综述自适应并行推理:从固定并行到模型自主调度

    Berkeley AI Research 发布综述,介绍自适应并行推理让推理模型在推理时自行决定何时拆分、并发几个线程以及如何协调,以此缓解序列推理随探索变长带来的延迟和上下文退化。

    推荐理由:文章系统梳理了并行推理的技术路线,给出了两种实现架构与奖励设计的对比,便于判断哪条路径适合你的硬件约束。