Signal YCurated AI News
更新于 11/5 20:4061 个信源

Import AI 479:LLM 在低延迟任务上表现糟糕,新基准 Realtime-Bench 出炉

AI 研究11/2 22:30Import AI(Jack Clark)查看原文 ↗
摘要

研究者推出 Realtime-Bench,用 50 个交互式游戏与网页任务评测 AI 在必须实时决策的场景下的能力,结果显示即便最强模型在真实延迟条件下通过率也仅 36%,远低于暂停时钟条件下的 70%~80%。

核心要点
  • 基准共含 50 个交互任务:30 个网页任务(旅行、电商、服务、安全四类)与 20 个游戏任务(街机、解谜、策略、模拟四类)。
  • 由得克萨斯大学奥斯汀分校、俄亥俄州立大学、伊利诺伊大学厄巴纳-香槟分校、英伟达、西北大学与 Steadyworks 共同构建。
  • 评测聚焦三项能力:时间状态感知(RT-Perceive)、自适应斟酌(RT-Deliberate,按剩余时间调整推理长度)与时间感知行动选择(RT-Act)。
  • 设置三种时钟条件:墙钟(真实延迟)、暂停时钟(能力上限基线)、Token 时钟(按生成 token 数推进环境时间,token 越多执行越晚)。
  • 被测模型覆盖 OpenAI 的 GPT-6-Astra、GPT-5.6 Sol、GPT-Realtime-2、OpenAI Decisions,Anthropic 的 Claude Fable 5.1 与 Claude Opus 5,Google 的 Gemini 3.8 Flash、Gemini 3.1 Flash Live、Gemini 3.8 Live,以及 Jev 1.13、DeepSeek V4.1、Kimi-K3。
原文佐证
  • GPT-6 Astra (high) got the highest pass rate on the ‘wall clock’ evaluation setting, with 36%.
  • By comparison, with a paused clock, models with high reasoning get closer to 70% or even 80% success.
  • The benchmark consists of 50 interactive game and web tasks, split across 30 web tasks in four categories (travel, e-commerce, service, and security), and 20 game tasks (arcade, puzzle, strategy, and simulation).
AI 洞察
这项基准把「时间」从工程细节提升为独立的能力维度:过去评测默认模型可以无限思考,而真实部署中的售票、拍卖、线上博弈等场景,推理越长反而越失败。这意味着推理模型的「想得久就更准」范式在实时场景会遇到结构性天花板,延迟感知与按剩余时间截断推理可能成为下一轮智能体架构的必争能力。对厂商而言,实时交互类产品的宣传口径将越来越需要第三方延迟条件下的成绩来支撑。