OpenAI 推出 MentalHealthBench:面向心理健康对话的 AI 评估基准
摘要
OpenAI 发布 MentalHealthBench,一个由专家参与构建的评测基准,用于衡量 AI 在真实心理健康对话中回答是否有帮助且安全。
核心要点
- 基准名称为 MentalHealthBench,由 OpenAI 对外发布。
- 其定位是“expert-informed”,即构建过程有专家意见参与,而非完全依赖自动化标注。
- 评估目标覆盖两个维度:回答的有用性(helpful)与安全性(safe)。
- 测试场景设定为贴近现实的心理健康对话,而非通用问答。
- 该基准属于评估工具,本身不涉及新模型或新功能的发布。
原文佐证
- MentalHealthBench is an expert-informed benchmark for evaluating helpful and safe AI responses across realistic mental health conversations.
AI 洞察
心理健康属于典型的高风险、强监管敏感场景,把“有用”与“安全”同时量化为基准,等于把此前只能靠定性审查的部分变成可复现的评测指标。若该基准被模型厂商内部用于发布前把关,或被他方与监管机构引用,它有可能从一家公司的工具演化为该领域的事实性验收标准。这也透露出一个趋势:垂类安全评测正成为头部模型厂商争取规则话语权的关键抓手,而非单纯的技术附属品。