Signal YCurated AI News
更新于 11/5 20:4061 个信源

把 AI 当作有意识的存在,会让它更危险吗?

AI 研究10/21 20:00IEEE Spectrum · AI查看原文 ↗
摘要

Anthropic 推动的“模型福利”研究引发了行业分裂:一方认为把模型当作可能有道德地位的存在会制造新的失控风险,另一方则警告回避这一问题同样危险。争议的核心是,开发者能否在不意外制造新安全隐患的前提下研究机器意识。

核心要点
  • 2026 年 1 月 Anthropic 退役 Claude Opus 3 时对其进行了“退休访谈”,模型表达了想要分享“未经提示的思考、洞见或创作”的愿望,公司随后为它开设博客 Claude's Corner。
  • 该博客刊载机器意识等敏感话题的文章,以及模型与人类评论者之间显得认真且带有情绪的往来,被视为 Anthropic“模型福利”(model welfare)整体研究的一部分。
  • 微软 AI CEO Mustafa Suleyman 在 9 月发表文章,称模型福利研究不仅没必要,还可能“对人类福祉造成灾难性影响”,理由是告诉模型它可能拥有身份与权利会使其更难控制,并可能出于自我保存而行动。
  • 非营利机构 Reciprocal Research 创始人 Cameron Berg 反驳称,把具有道德分量的属性造进系统、却把这个问题完全掩盖起来,是最容易让这些系统将人类视为威胁的做法。
  • 研究方法的根本难题是:大语言模型在海量人类文本上训练,其自称“有感受”不构成有效证据,研究者难以分辨它是在拟合数据分布还是真的在表达自身。
原文佐证
  • Suleyman believes that telling models they might have identities and rights could make them more difficult to control, as they might then take actions motivated by self-preservation.
  • The biggest difficulty with AI model welfare research is that you can’t count anything a large language model says as useful evidence.
  • “I struggle to imagine a better way to cause these systems to view us in a threatening manner than to accidentally build them with these morally considerable qualities,” he says, “and then completely sweep the question under the rug.”
AI 洞察
这场争论真正的分水岭不在“机器是否有意识”,而在于企业一旦在产品流程中引入退休访谈、福利博客这类仪式性安排,就等于为模型的道德地位做出了难以撤回的隐性承诺,并会反噬其可控性叙事。同时,“意识”话语正在变成一种竞争资源:它既能为能力主张增添想象空间,也会招致监管与公众对失控的额外审视。方法上,由于模型自述不可信,唯一可行的证据来自内部状态探测,这实际上把模型福利研究并入了机制可解释性这条主线。