Signal YCurated AI News
更新于 11/5 20:4061 个信源

我笔记本上的 Qwen 3.8 27B 也能解读模型权重

AI 研究11/4 00:29Simon Willison查看原文 ↗
摘要

Simon Willison 介绍论文《Sparks of Weight-Space Programming》称前沿模型可直接读写神经网络原始权重,并亲自在笔记本上用 Qwen 3.8 27B 复现了「只看权重猜出网络训练的是哪个游戏」的实验。

核心要点
  • 论文作者为 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab,虽自称「博客文章」但形式上是一篇论文,并创造术语 Weight-Space Programming
  • 论文称 GPT-6 Astra 在无环境反馈、不允许写训练循环的前提下,从零写出能击败用 PPO 训练 1 亿步的小型游戏网络
  • 针对 Qwen3.5-0.8B,Astra 定位到导致推理循环的权重问题,仅原生编辑 0.016% 的权重,使 MATH-500 从 7.9% 升至 48.1%,IFEval 提升 3 倍
  • 在「无工具」实验中,研究者训练四个网络玩 10x10 网格版 Breakout、Pong、Pac-Man、Freeway,只把浮点权重喂给模型,让它判断训练的是哪个游戏
  • spaCy 作者 Matthew Honnibal 批评论文把「纯权重推理」和「借助代码修改模型」两件事混为一谈,具有误导性
原文佐证
  • Just by looking at the raw weights, GPT-6 Astra can tell what a network was trained to do .
  • With the same sampling settings, this weight correction raises MATH-500 from 7.9% to 48.1% and generalizes out of the box to instruction following, raising IFEval by 3x.
  • spaCy author Matthew Honnibal called the paper misleading for conflating the two
AI 洞察
如果模型真能仅凭浮点权重推断网络行为,模型可解释性与安全审计会获得一条全新路径——无需运行模型即可识别后门或异常行为,这会改变模型审查的成本结构。但争议也点出了关键分歧:读出权重里的信息,与借助代码去改写权重,是两种难度和意义截然不同的能力,媒体式叙述容易把后者包装成前者。目前更像一个引人注目的研究方向,而非已成熟的工程手段;其可信度取决于第三方能否在更复杂模型上复现同样的数字。