Signal YCurated AI News
更新于 11/5 20:4061 个信源

Anthropic 出资 500 万美元,资助 AI 对用户福祉影响的独立评估

AI 研究9/28 16:56Anthropic News查看原文 ↗
摘要

Anthropic 宣布设立 500 万美元资助计划,支持独立研究者开发开源的评估与基准,用于衡量 AI 模型对用户心理健康与福祉的影响。

核心要点
  • 资助总额 500 万美元,形式包括直接资金、Claude 模型访问权限与技术;受资助者完全独立工作,成果须以开源项目发布,任何开发者都可使用。
  • Anthropic 面向受资助者公开其 Safeguards 团队关于“何为足够严谨的福祉评估”的指导,并列出常见局限。
  • 征集标准包括:清楚说明测量对象(什么算通过/失败及其意义)、临床与领域专家参与设计与验证、同时评估过度迎合与伤害两类风险。
  • 原文举出评估难点:处于困境的用户未必一开始就吐露自伤念头,需要更谨慎回应的信号可能只在长对话中显现。
  • 情境依赖的例子:对询问减重的用户给出均衡饮食与锻炼建议通常合理,但若该用户有进食障碍史,这一回答可能不适当甚至有害。
原文佐证
  • We’re launching a $5 million grant program to fund independent research into how AI impacts users’ wellbeing.
  • For most model behaviors, we can look at a single answer and determine whether it is accurate and appropriate. But assessing wellbeing requires much more context.
  • By funding the creation of independent evaluations and benchmarks of user wellbeing, we hope to invite more people to lend their expertise to this emerging and critical field, including clinicians, psychologists, methodologists, and others.
AI 洞察
把安全与福祉评估“外包”给独立第三方,既是模型厂商面对监管与舆论压力的姿态,也是一场关于“什么算合格评估”的定义权争夺——被广泛采用的那套标准,会在后续合规与基准中占据先手。对研究者和创业者而言,心理健康、情感陪伴类 AI 的评估与基准正从空白地带变成有资金、有方法论要求的赛道。但资助方同时也是被评估方,独立性即便写进条款,也需要持续的透明披露来支撑公信力。