划分、提示、聚合：语言模型中的统计自洽性

本文通过二叉树划分人群并提示LLM子人群描述，检验LLM估计是否满足全概率公式的自洽性。实验发现前沿模型广泛违反一致性，且细粒度子人群估计比直接总体估计更接近人类参考数据（称为宏观谬误）。这表明模型拥有相关子人群知识，但未能可靠地聚合到总体估计中。

1. 背景与动机：上下文学习被解释为条件推断，应满足全概率公式等概率恒等式。
2. 方法：使用二叉树递归划分人群，提示LLM子人群描述并聚合估计。
3. 实验与发现：跨领域和模型存在一致性违反，细粒度子人群估计更准确（宏观谬误）。
4. 影响与结论：模型拥有子人群知识但未可靠传播到聚合估计。

• 使用二叉树递归划分人群，提示LLM子人群描述并聚合估计，检验概率自洽性。
• 跨问题领域和前沿模型（如GPT-4）发现广泛违反全概率公式。
• 细粒度子人群估计比直接总体估计更准确，称为宏观谬误。
• 宏观谬误在树结构和估计任务中持续存在，可通过隐式提示部分恢复。
• 模型拥有子人群知识但未可靠传播到聚合估计。