Latent Space· Latent Space·· 12 天前精选AI 评分77
DeepSeek 开源 DeepInfer 推理引擎并披露生产数据与经济学细节
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 在 PyTorch Conf 首日开源生产级推理引擎 DeepInfer，基于 vLLM 并进行定制，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，兼容 NVIDIA 和 Huawei Ascend 平台。
推荐理由
DeepSeek 开源生产级推理引擎并披露大规模缓存下的产能与成本结构，为行业提供了可复用的工程基线与经济学参照。
来源：Latent Space · latent.space