Signal YCurated AI News
更新于 11/5 20:4061 个信源

Qwen3.8 27B 的文字加法实验

通用 AI10/5 07:34Simon Willison查看原文 ↗
摘要

Simon Willison 在本地 DGX Spark 上复现了 Colin Frasier 的文字加法实验,用 Qwen3.8-27B 检验模型能否把大数加法的结果以文字形式返回,开启推理后模型在 169 次尝试中答对 167 次。

核心要点
  • 实验原型来自 Colin Frasier 两年前用 GPT-4o 做的测试:让模型计算两数之和,但必须以文字(而非数字)形式输出答案,数字规模递增
  • 作者认为 GPT-4o 并没有偷偷调用计算器,理由是它在大量计算上是算错的
  • 复现环境为本地 DGX Spark,模型文件为 Qwen3.8-27B-Q4_K_M.gguf,作者把原结果图贴进 Codex Remote(GPT-6 Astra)会话来驱动实验
  • 关闭推理时每个数字组合跑 30 次采样;开启推理后每对数字耗时明显更长,因此每格只跑 1 次,热力图只有 100% 或 0% 两种取值
  • 开启推理的那一轮 169 次尝试中答对 167 次;作者强调这属于单次采样,重跑很可能得到不同结果
原文佐证
  • I'm confident GPT-4o didn't cheat and use a calculator, especially since it got so many of the calculations wrong
  • It got the right answer in 167 out of 169 attempts, and since these were one-shot I'm confident a second run would produce different results here
AI 洞察
这类「用文字返回大数加法结果」的测试真正探测的是推理链对精确算术的支撑,而不是模型是否内置了计算器——推理过程里的逐位对齐与进位正是关键。一个 27B、Q4 量化的本地模型在开启推理后能做到近乎全对,意味着精确计算能力正从超大规模闭源模型下沉到可私有部署的硬件上,这对数据敏感场景的选型影响不小。同时,单次采样得到的热力图视觉上很漂亮但统计上并不可靠,这是当前推理模型评测普遍存在的方法论陷阱。