Signal YCurated AI News
更新于 11/5 20:4061 个信源

在 Amazon EKS 与 SageMaker HyperPod 上部署 NVIDIA Nemotron 模型,加速智能体 AI

AI 产业10/30 00:11AWS 机器学习博客查看原文 ↗
摘要

AWS 官方博客介绍 NVIDIA 开源多模态模型 Nemotron 3.5 Super VL 的架构、能力与适用场景,并给出其在 Amazon EKS 与 SageMaker HyperPod 上的部署方案及最小 GPU 配置。

核心要点
  • 模型规模为 120B 总参数、每 token 仅激活 12B,稀疏路由使单 token 计算量接近小模型,但显存仍需容纳全部权重。
  • 采用 Mamba-2、注意力与专家层交替的混合 Mamba-Transformer MoE 架构,配 RADIO 视觉编码器,上下文最长 1M tokens;输入支持文本、图像、文档与视频,输出为文本。
  • NVIDIA 公开权重、训练数据集与后训练配方,提供 BF16 与 NVFP4 两种 checkpoint,可在自有基础设施上做领域定制。
  • NVIDIA 自报评测成绩:Hermes Bench 63.44%、LangChain 智能体评测 87.05%、CharXiv 图表推理 80.8%。
  • vLLM 下 BF16 最小 GPU 配置为 B200/GB200 8 卡、H200 8 卡、H100 16 卡;改用 NVFP4 后降至 2/4/8 卡,B300/GB300 分别为 4 卡与 1 卡。
原文佐证
  • It’s a 120B-parameter mixture-of-experts (MoE) model that activates 12B parameters per token.
  • NVIDIA publishes the weights, training datasets, and post-training recipes, so you can customize the model for domain-specific workloads and run it on infrastructure you control.
  • NVIDIA reports 63.44 percent on Hermes Bench and 87.05 percent on LangChain agent evaluations, and 80.8 percent on the CharXiv chart-reasoning benchmark.
AI 洞察
开放权重、可复现的后训练配方加上 NVFP4 量化,把 120B 级多模态模型的推理门槛压到个位数 GPU,意味着数据敏感型场景(安全审计、文档智能)可以真正从调用 API 转向自建推理。AWS 主动为 NVIDIA 的开源模型写部署长文,反映云厂商正争夺“开放权重模型的默认落地平台”这一位置,以此对冲闭源 API 的绑定效应。混合 Mamba-2 架构让 1M 上下文在成本上可行,视频与长文档类智能体循环可能因此成为下一波实际落地的应用形态。