在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型
摘要
AWS 机器学习博客介绍如何用 llama.cpp 深度学习容器(DLC)在 Amazon SageMaker AI 上部署决策类模型:既可走 OpenAI 兼容的文本生成路径,也可通过 SemIf 适配器输出对预声明选项的概率分布,支持 CPU 与 GPU 部署。
核心要点
- 该 DLC 将 POST /invocations 映射到 llama-server 的 /v1/chat/completions,实现 OpenAI 兼容接口,请求体为 messages 数组加 max_tokens、stream 等生成参数,结果从 choices[0].message.content 读取
- 容器会自动查找 /opt/ml/model 下的第一个 .gguf 文件,并将 SM_LLAMA_CPP_* 环境变量透传为 llama.cpp 启动参数,模型以 model.tar.gz 形式存放在 Amazon S3
- SemIf(前身 OpenJev)不使用解码答案 token 的方式,而是直接返回对已声明选项的概率分布,请求中包含调用方自定义 id、非结构化 state、question 和有序 options 列表
- 由于 llama-server 的 HTTP API 不暴露末位 logits 与状态操作,结构化决策路径需用 AWS CodeBuild 构建子镜像并存入 Amazon ECR,子镜像保留 DLC 编译好的 CPU/CUDA 库,仅替换入口点为 SageMaker 兼容适配器
- 该文是 AWS 生成式 AI 推理专用 DLC 系列的一篇,此前已覆盖 WhisperX、vLLM-Omni Part 1 与 Part 2
原文佐证
- Deploying these decision models with llama.cpp on Amazon SageMaker AI gives you a managed path for serving quantized models on CPU or GPU infrastructure.
- The llama-server HTTP API doesn’t expose the final-position logits and state operations that SemIf uses.
- The child image keeps the DLC’s compiled CPU or CUDA libraries while replacing its entry point with a SageMaker-compatible adapter.
AI 洞察
这条内容的意义不在于模型本身,而在于推理服务形态的分化:当企业把模型用于路由、分诊、策略判定这类"从固定选项里打分"的任务时,自由文本生成是多余乃至有害的,直接输出选项概率能显著简化下游系统并降低幻觉风险。云厂商把这类能力做成托管容器与镜像模板,意味着结构化决策正从应用层的自研胶水代码下沉为基础设施标配。对做 Agent 与自动化工作流的团队而言,值得关注的不是又多了个推理后端,而是"决策概率"这条接口会不会成为智能体编排的标准输入。