CPU 的回归已然来临
摘要
本文指出，代理式 AI 的兴起导致 CPU 需求激增，CPU 在 AI 基础设施中的地位正在重新上升。
核心要点
- AWS 今年初向工程师下达新指令：不惜一切代价节约 CPU 周期，因为 AI 工作负载使其 CPU 服务器容量等待时间骤增。
- Moor Insights & Strategy 分析师 Matt Kimball 称 2026 年 CPU 需求激增，很大程度上归因于代理式 AI，企业部署会使数百个代理扩展为数十万甚至数百万个。
- AMD 副总裁 Madhu Rangarajan 表示，在测试中，真实代理式 AI 流水线的 8 个阶段有 7 个完全在 CPU 上运行。
- Intel 研究员 Souvik Kundu 称，CPU 负责解析输出、决定调用哪个工具、发起 API 调用或运行代码、收集结果并反馈。
- Kundu 与佐治亚理工学院合作发表的论文提出调度优化，可在持续负载下将端到端延迟最多降低 1.8 倍。
原文佐证
- in our testing, seven of the eight stages in realistic agentic AI pipelines run entirely on the CPU.
- They found the CPU is often idle while LLM inference is executed on a GPU and that, conversely, the GPU is often idle when tool calls are executed on the CPU.
AI 洞察
代理式 AI 正在把 AI 算力需求从“推理密集型”转向“交互密集型”，CPU 成为新的瓶颈。企业若只扩充 GPU 而忽视 CPU，可能很快遇到系统级延迟和成本问题。未来异构调度（CPU-GPU 协同）将不仅是优化，更是刚需，也可能重塑云厂商的服务器采购策略。