Hugging Face Blog·· 12 天前AI 评分31
Hugging Face:在 AWS Trainium 上使用 TorchNeuron 进行系统级性能剖析(第一部分)
Profiling TorchNeuron (Part 1): System-level profiling on AWS Trainium.
AI 导读
Hugging Face 发布文章演示如何使用 TorchNeuron 在 AWS Trainium 上进行系统级推理性能剖析。文章以 RMSNorm 为例,对比了原始 PyTorch 操作、torch.compile 和原生 fused kernel 三种实现的耗时差异。
来源:Hugging Face Blog · huggingface.co