i14 在 AWS Trainium2 上训练与部署 Laplace 3B 线性注意力模型
i14 与 AWS 合作将 Laplace 3B 线性注意力模型部署到 AWS Trainium2,通过 TorchNeuron Native 使用原生 PyTorch 保留 GLA 架构,单 trn2.48xlarge 训练吞吐约 12 万 token/秒,推理 1,280 并发序列输出 11,544 token/秒。
推荐理由:原文给出了模型设计与 Trainium2 工程适配细节,读者可据此评估其在长上下文场景下的部署可行性。