Opus 5.5 对决 GPT-6 Sol:谁赢下了我的盲测口味测试?
摘要
Claire Vo 在自己的播客中对 Claude Opus 5.5、GPT-6 Astra 与 GPT-6 Sol 等新模型做了一次跨任务的盲测口味测试,结论是 Astra 最讨她喜欢、Opus 5.5 综合最强、Sol 在写作与价格上仍有优势。
核心要点
- 盲测在作者不知模型身份的前提下打分,任务覆盖邮件、PRD、前端原型、后端、长时运行 agent、SVG 与视频剪辑七类真实工作。
- 结论分化:GPT-6 Astra 赢得作者好感,Claude Opus 5.5 被视为整体最强,尤其在长时运行 agent 与 B 端前端场景。
- GPT-6 Sol 在清晰写作、可读 PRD 以及价格上仍然胜出,作者对它的评价处于分裂状态。
- 角色 SVG 生成的结果完全推翻了作者此前对 Anthropic 的预测。
- 视频剪辑任务的表现令人失望,作者认为技能(skills)层面的缺失是部分原因。
原文佐证
- Astra won my heart. Opus 5.5 won my week. Sol still has me split.
- Why an LLM judge disagreed with my rankings, and what it was rewarding that I wasn t
- The hands are tragic. AGI has not arrived.
AI 洞察
「最强模型」正在被任务维度拆解:长时 agent、B 端前端、清晰写作、单位价格各由不同模型拿下,单一榜单的排名意义持续衰减,选型正在变成按工作流组合的多模型策略。更值得注意的是,作者用 LLM 裁判做对照却发现它与人类偏好系统性错位——这意味着用模型评模型、用模型做自动优化时,评测目标本身就可能失真,谁定义评测标准,谁就在事实上定义了模型演进方向。