Hugging Face Blog·· 12 天前精选AI 评分62
VocabX 将 SLM 词表按生成成本加权特化，实测推理成本下降 77%
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI 导读
Hugging Face 博客介绍了即将发布的 VocabX 方法，通过按生成 token 与输入 token 的不同推理成本对词表进行特化，在基于 Qwen3-4B 的葡萄牙语作文自动评分器上把输出 token 从 350 降至 101，实测推理成本下降 77.0%，评分基准从 0.703 提升至 0.810。
推荐理由
原文用生产数据说明词表如何按生成成本加权优化，读者可据此评估推理成本压缩的方法。
来源：Hugging Face Blog · huggingface.co