Grok、Dot、Muse、Claude Duet 四款个人智能体横评:谁更强?
摘要
AI 产品人 Claire Vo 在播客中发布了首个“How I AI”个人智能体基准测试,让 Grok Bot、Dot、Meta Muse 与 Claude Duet 四款个人智能体在九项真实工作与生活任务上同场比拼,并给出记分板与选型建议。
核心要点
- 评测覆盖四款产品:xAI 的 Grok Bot、ChatGPT 的 Dot、Meta 的 Muse、Anthropic 的 Claude Duet,定位均为“个人智能体”而非聊天模型
- 测试方式颇具元色彩:作者用 computer use 让智能体互相操作;Claude 负责操作 Dot,OpenAI Codex 操作其余三款并实时给结果打分
- 九项任务混合工作与生活场景:代写 Slack 回复、从 Dropbox 原始素材剪短视频、按 Sentry 报错修 bug、在 Figma 做 How I AI 缩略图、整理收件箱待办、制作家庭小报、向四年级学生讲解物理题、买鞋、制作 ChatPRD 产品智能发布视频
- 节目以约 32 分钟的分章节形式呈现,从评测设置、提示词、记分板概览到逐项任务复盘,最后给出总分与作者的个人取舍
- 作者的核心关切不是跑分高低,而是“工作场景”与“生活场景”分别该信任哪一款智能体
原文佐证
- I have personal-agent fatigue, so I ran the first How I AI personal-agent benchmark: Grok Bot, Dot, Muse, and Claude Duet across nine real tasks
- I used computer use to operate them: Claude ran Dot, Codex ran the rest and scored the results live.
- Here s the scoreboard and which agent I d actually trust for work vs. life.
AI 洞察
个人智能体的竞争正从“模型能力”转向“端到端把事做完”的可靠性,而这类任务型横评比传统 benchmark 更贴近真实付费意愿。让智能体操作智能体、再由另一个模型实时打分,虽然粗糙,却预示了一种可规模化的自动化评测范式。对厂商而言,真正的分水岭会出现在“工作场景可托付”这一档,因为那里的容错成本远高于买鞋或做家庭小报。