Signal YCurated AI News
更新于 11/5 20:4061 个信源

字节找到了 DeepSeek 时强时弱的原因

AI 研究10/9 15:11量子位查看原文 ↗
摘要

字节跳动的研究发现,DeepSeek 等大模型回答时强时弱并非能力随机波动,而是与关键信息在输入中的 Token 站位密切相关。

核心要点
  • 字节研究团队给出的核心结论是:模型答不答得对,取决于关键信息所处的 Token 站位。
  • 该结论被用来解释 DeepSeek 在同类任务中表现「时强时弱」这一现象,即同一模型、同一问题在不同位置排布下结果可能不同。
  • 问题被定位在输入侧的关键信息摆放位置,而非模型整体能力的高低。
  • 对使用者的直接含义是:把关键信息放到模型更敏感的位置可提升回答命中率,放在被忽略的位置则可能失效。
  • 该发现同时提示,提示词的写法与上下文组织方式(如长文本中关键句的位置)会实质影响输出质量。
AI 洞察
如果模型表现真的高度依赖关键信息的 Token 站位,那么「模型能力」就不是一个稳定属性,而是模型与上下文排布共同决定的动态结果。这会同时冲击两端:评测端固定格式的榜单可能系统性高估或低估模型真实水平,需要引入位置鲁棒性维度;工程端则意味着上下文工程与检索结果排序的重要性不亚于换模型。长期看,谁能把位置不变性做进架构或训练里,谁就能在长上下文场景中拿到真实可用的能力优势。