Signal YCurated AI News
更新于 11/5 20:4061 个信源

AWS 为 SageMaker AI 推出 SOCI 索引镜像,作业启动提速

AI 产业10/28 01:00AWS 机器学习博客查看原文 ↗
摘要

AWS 宣布 Amazon SageMaker AI 的训练与处理作业支持 SOCI 索引镜像,通过懒加载把容器镜像下载移出作业关键路径,使作业从数分钟启动缩短到数秒。

核心要点
  • SOCI(Seekable OCI)是开源技术,运行时依据索引只拉取启动容器所需的文件,其余内容在代码运行过程中后台流式加载
  • 深度学习镜像通常超过 10GB,此前每个作业都要完整下载、解压并逐层写入磁盘,这段时间按作业时长计费
  • SOCI 索引作为 OCI 兼容的独立工件存放在 Amazon ECR,与原镜像摘要和既有签名并存,不影响签名有效性
  • AWS 自测显示,镜像拉取期间的 GPU 空闲时间最多减少 90%,且对训练性能没有影响
  • 接入无需修改作业定义、入口命令或数据通道:可指向预索引的 AWS Deep Learning Container,也可给自有镜像加索引
原文佐证
  • With SOCI indexing, SageMaker AI lazy-loads your container image. It fetches only the files needed to start the container and streams the rest in the background as your code runs, so your job begins in seconds instead of minutes.
  • As we show in the What we measured section, this reduced GPU idle time during image pulls by up to 90 percent in our benchmarks.
  • But deep learning images routinely exceed 10 GB or more.
AI 洞察
把镜像分发从“全量预取”改为“按需流式”,本质是在削减 AI 训练链路中被忽视的启动税,对高频短任务和调参场景的成本结构影响尤为直接。这类优化会逐渐从单点功能变成云厂商 AI 平台的标配竞争维度,也意味着镜像格式与索引生态(OCI 工件、签名兼容)将成为基础设施话语权的一部分。对使用者而言,短作业与大规模扫描的经济性会被重新计算,值得把镜像构建流程纳入成本优化清单。