Signal YCurated AI News
更新于 11/5 20:4061 个信源

Meta 把闲置推理算力转化为更好的广告推荐

AI 产业10/13 00:00Engineering at Meta查看原文 ↗
摘要

Meta 工程博客介绍了一套把推理集群中局部闲置的算力聚合成共享'机会性容量池'的系统,用两个弹性杠杆把这些算力投入广告推荐推理,在不影响基线服务的前提下同时提升推荐质量与算力利用率。

核心要点
  • 文章指出推理集群常见的三类容量浪费:峰值预留与流量波动错配、模型开发与算力交付节奏错配、区域资源(加速器与 CPU 等配套资源)配比错配
  • 系统把跨团队配额、跨地域、跨加速器类型的闲置容量汇总为统一的共享机会性容量池,无需额外采购容量即可承载增量推理工作
  • 两个互补弹性杠杆:RMA(Rank More Ads)调整排序阶段评估的候选数量,SBM(Serve Better Models)调整路由到更强模型的请求占比
  • 由于机会性容量分布在他人配额中且可能被随时回收,系统用物理与逻辑隔离保护基线服务,并用两组独立反馈回路分别控制 RMA 候选量与 SBM 模型覆盖率
  • 服务端与客户端均实现价值感知的负载卸载(value-aware load shedding),使容量突然被回收时系统可以优雅降级,保护延迟与可靠性
原文佐证
  • Inference fleets face a capacity paradox: They can be globally constrained while meaningful pockets of capacity remain locally idle.
  • Rank More Ads (RMA) adjusts the number of candidates evaluated by the ranking stages. Serve Better Models (SBM) adjusts the share of requests routed to a more powerful model.
  • Together, these mechanisms allow optional work to expand and contract with opportunistic capacity while protecting latency and reliability.
AI 洞察
当算力成为稀缺约束,头部厂商的差距不再只来自'买了多少卡',而来自能否把碎片化闲置算力安全地转化为模型质量——这是一种调度能力而非资本能力。'弹性杠杆+隔离+价值感知降级'的组合很可能成为大规模推理服务的通用范式,且会进一步拉大与中小玩家在单位算力产出上的差距。同时它提示:广告、推荐这类对质量弹性容忍度较高的任务,是消纳机会性算力的天然场景,类似的套利思路大概率会向搜索、内容审核等更多业务扩散。