Import AI 476:创造力与RSI、性能不及中国的开源权重模型、AI走向太空
摘要
Import AI 本期重点介绍 Scale AI 与 Elorian 发布的新基准 Humanity's Sixth Sense,它衡量模型对“画面暗示但未明示”信息的推理能力,结果显示人类得分 93.1,而最强模型仅 53.6,差距悬殊。
核心要点
- HSS 共 522 道题,覆盖 288 张图片与 234 段短视频,视频总时长 17.6 小时
- 题目分四类:时序与因果动态(场景前后发生了什么)、物理与空间逻辑(什么放得下、谁站在哪里能看到什么)、社会理解(意图、注意力、归属)、抽象与语境推断
- 人类基线综合 pass@1 为 93.1(图像 94.1、视频 91.9、时间 97、空间 94.9);最佳 AI 系统 GPT 6 Astra 为 53.6(图像 55.6、视频 51.1、时间 58.2、空间 53.6)
- 中国开源权重模型表现较差:GLM-5.3-flash 为 26.8,Kimi K3 为 25.5
- 错误集中在两类:漏掉决定答案的关键细节占 21%,误认物体、人物或角色占 20%
原文佐证
- The human baseline for this is not perfect, but is very high, with people scoring aggregate pass@1 of 93.1
- By comparison, the best scoring AI system, GPT 6 Astra, gets pass@1 of 53.6
- “The two most common single mistakes were (1) missing a detail that decides the answer (21% of failures) and (2) misidentifying an object, person, or role (20%),” they write.
AI 洞察
这类“隐含信息推理”基准真正测量的是模型能否从静态感知走向常识性世界模拟,而这正是具身智能与机器人落地的瓶颈所在。若通用 LLM 无需专门空间架构即可逼近人类水平,视觉创业公司以“专用世界模型”构建的护城河将被显著削弱。同时,中外开源模型在该榜上的明显分差,提示多模态常识推理可能成为下一轮模型能力分层的分水岭。