为什么AI需要一个“精灵系数”

本文提出“精灵系数”这一新指标，用于衡量AI系统理解并执行用户隐含意图的能力，指出当前基准只关注能力而忽略意图对齐。

• 现有基准如MMLU、HumanEval只测量AI能做什么，不测量它是否按用户意图去做。
• 精灵系数量化用户请求与AI实际执行之间的差距，类似“意图对齐”的度量。
• 人类沟通依赖语用学（pragmatics），即共享文化、常识和语境来补全未言明的意图。
• 1987年Winograd和Flores的冰箱例子说明：意图永远无法完全指定。
• AI缺乏人类共享的常识和背景，可能导致荒谬结果（如为买咖啡而购买咖啡种植园）。