Meta GenRecs Tokenization:用稳定语义词表重构广告推荐
摘要
Meta 工程团队公开 GenRecs Tokenization,用稳定语义词表替代逐条 ID 表示,使生成式推荐系统能借 LLM 的世界知识与语义理解做广告匹配,并在真实广告系统中取得转化率提升。
核心要点
- GenRecs(Generative Recommenders)不再为每个广告候选逐一打分,而是用 LLM 架构同时推理广告内容与用户偏好,从点击模式匹配转向理解底层偏好。
- Tokenization 的核心是:不为世界上的每个概念维护专属 ID,而用一小套语义 token 组合表示任意概念,使模型能把从未见过互动数据的新 item 关联到已知 item。
- 示例:新上线的“trail shoe(越野跑鞋)”可继承模型对“越野跑鞋”这一类目已学到的表示,而无需从零开始、在缺乏信号的情况下建立新表示。
- 该方案使 GenRecs 可同时用于检索和排序,覆盖系统中所有 item 类型,包括广告、商品、页面和 pixel。
- 与 Meta 的 Generative Ads Model(GEM)和 Adaptive Ranking Model 配合,GenRecs Tokenization 在 Meta 各版位为广告主带来 +0.35% 的转化提升。
原文佐证
- Paired with Meta s Generative Ads Model (GEM) and Meta’s Adaptive Ranking Model , GenRecs Tokenization has delivered a +0.35% lift in conversions across surfaces for advertisers.
- Instead of maintaining a dedicated ID for every concept in the world, language models compose a small vocabulary of semantic tokens to represent any concept.
- Because tokens describe what an item (e.g., ads, products, services, etc.) is, the model can relate an item it has never seen engagement for, to items it knows well.
AI 洞察
这意味着推荐系统正在从“ID + 协同过滤”转向“语义 + LLM 推理”,长期困扰行业的新品冷启动与跨广告系列知识迁移问题,可能被词表层面的共享表示直接绕过。0.35% 的转化提升在 Meta 的广告体量下意味着可观的收入,但更重要的是它验证了一条路径:推荐系统可以像语言模型一样,靠 scaling 持续获得收益。对广告技术栈而言,竞争重心将从特征工程与 ID embedding 转向语义表示与 LLM 架构能力。