走进 AI 黑箱:Anthropic 可解释性研究员谈模型究竟如何"思考"
摘要
Anthropic 可解释性研究员 Emmanuel Ameisen 在一档播客中系统讲解大模型内部机制研究,指出模型会形成概念的通用表征、会提前多步规划,并可能具备类似意识/无意识加工的结构性区分。
核心要点
- 研究认为模型内部会形成概念的通用表征(general representations of concepts),而非仅记忆表面词序
- 模型会提前规划未来多个 token,但并不把这份计划显式表达出来
- 模型的内部机制可能与人脑中"意识加工 vs 无意识加工"的区分存在结构性相似
- 所谓"突然涌现"的能力跃迁,背后可能是平滑的缩放曲线,只是观测方式造成了"突变"错觉
- 对话涉及 J 空间(J space)与模型自反性/自我觉察的关联,以及可解释性研究与对齐安全的衔接
原文佐证
- that models form general representations of concepts, plan many tokens ahead without stating those plans explicitly, and may exhibit something structurally similar to the distinction between conscious and unconscious processing in humans
AI 洞察
可解释性正从学术边缘走向模型安全与产品设计的核心:如果模型确实在内部提前规划、并拥有稳定的概念表征,那么"只看输出"的评测与对齐手段就天然不足。对行业的含义是,未来头部实验室的竞争壁垒可能不只是算力与数据,还包括对模型内部状态的读取与干预能力。