Hugging Face Blog·· 14 天前精选AI 评分45
PyTorch 2.15 为 Mac 引入 FP8 支持与 LLM 解码加速
MPS in PyTorch 2.15
AI 导读
PyTorch 2.15 为 Mac 带来多项改进。FP8 浮点支持到达 MPS,可通过 F.scaled_mm 直接进行 GPU 矩阵乘法。MoE 模型在 M3 Ultra 上使用 torch.compile 解码速度提升 5–6.6 倍,Qwen3.6-35B-A3B 从 9.4 提升至 61.3 tokens/s。
推荐理由
PyTorch 2.15 为 Mac 带来 FP8、MoE 加速和大量 Metal 原生内核,读者可据此评估本地运行大模型与视频生成的实际提升。
来源:Hugging Face Blog · huggingface.co