跳到正文
AWS Machine Learning Blog· Alex Iankoulski·· 4 天前精选AI 评分65

NVIDIA Nemotron 3.5 Super VL 可在 AWS EKS 和 SageMaker HyperPod EKS 部署

Accelerate agentic AI with NVIDIA Nemotron models on Amazon EKS and SageMaker HyperPod EKS

AI 导读

NVIDIA Nemotron 3.5 Super VL 现已加入 AWS 可用的 Nemotron 模型系列,支持在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 部署。该模型为 120B 参数的 MoE 模型,每次激活 12B 参数,支持文本、图像、文档和视频理解。

推荐理由

文章提供了 Nemotron 3.5 Super VL 在 AWS 部署的最小 GPU 配置和性能验证方法,便于评估推理成本。

来源:AWS Machine Learning Blog · aws.amazon.com