使用 Amazon SageMaker JumpStart 部署并评测模型
摘要
AWS 官方博客介绍如何从 Amazon SageMaker JumpStart 目录中挑选并部署预训练模型,用一段可复用的 Python 脚本跑一次轻量的重复性性能测试,并在测试结束后删除端点,同时介绍了 2026 年新增的 Model Hub、预配置端点部署选项与 Hugging Face 一键深链等改进。
核心要点
- 工作流分三步:从 JumpStart 发现并部署模型、运行模型专属样例提示并测量延迟/近似输出长度/单请求生成速率、清理端点。
- 环境要求为具备 SageMaker AI 权限的 AWS 账号、Python 3+ 与 SageMaker Python SDK v3(pip install "sagemaker>=3,<4"),以及目标模型的足够 GPU 实例配额。
- 可用 SDK 的 list_jumpstart_models 筛选模型,例如按 task == textgeneration 过滤、或按 model_id contains qwen 搜索,并列出各模型版本。
- 2026 年新增的 Model Hub 允许在 SageMaker AI 控制台浏览 JumpStart 目录、查看示例 notebook 并直接在 SageMaker Studio 中打开。
- 预配置端点部署选项提供按低成本、低延迟或通用工作负载命名的配置,覆盖多种生成式 AI 模型,其中包括 Neuron 优化配置。
原文佐证
- In 2026, SageMaker JumpStart introduced two improvements that simplify model discovery and deployment.
- Run model-specific sample prompts and measure latency, approximate output length, and single-request generation rate.
- you can now go from Hugging Face model discovery to SageMaker AI deployment in a single click using the new deep link integration
AI 洞察
云厂商正在把“选模型—跑评测—部署—清理”这条最后一公里彻底产品化,把原本需要手工调参的工程动作变成默认选项,从而压缩企业的模型试错成本。当模型目录膨胀到数百个时,真正的竞争焦点会从“谁的模型更强”转向“谁的托管与评测链路更短”,一键深链和预配置端点这类看似不起眼的集成,恰恰是锁定客户的实际抓手。对使用方而言,这意味着选型决策会越来越依赖平台内置的评测能力,而非独立第三方测试。