从用户序列到规模化规律：Meta广告排序的多阶段架构
摘要
Meta通过多阶段架构将重计算离线化，结合稠密分词与目标感知注意力，解决广告排序中序列学习的扩展与服务延迟矛盾，并建立了LLM式的性能-计算扩展规律。
核心要点
- 多阶段模型：离线用户模型用深层Transformer处理数千长度的用户历史，生成缓存嵌入；在线排序模型在毫秒级内结合实时信号与广告候选进行排序。
- 稠密分词：将稀疏特征与序列行为数据融合为单一稠密词汇表，让注意力机制自动学习特征交互，取代人工特征工程。
- 目标感知多头注意力：在每一层根据待评分广告对用户历史行为加权，通过堆叠多个注意力块捕捉高阶交互。
- 效果提升：Instagram转化率累计提升6%，Facebook转化率提升3%，Facebook广告点击率提升3.5%。
- 该平台是Meta生成式广告推荐模型GEM的核心组件，旨在最大化广告主收益。
原文佐证
- a multi-stage sequence model that decouples heavy offline user modeling from lightweight online ranking tasks
- a learning technique based on dense tokenization and target-aware attention that efficiently learns feature interactions directly from data
- a cumulative lift of 6% in conversions on Instagram, 3% in conversions on Facebook and 3.5% in ad clicks on Facebook
AI 洞察
Meta通过工程化手段将重训练与轻推理分离，打破了广告系统中模型复杂度与延迟的长期权衡，为大规模推荐系统走向‘预计算用户表征+实时轻量排序’范式提供了实践范本。这一架构的规模化规律表明，推荐模型可能跟随LLM进入‘算力换性能’的竞赛，对广告平台的竞争格局产生深远影响。