研究者称 OpenAI 与 Google 新一代图像模型易被诱导生成裸照
摘要
安全研究者警告,AI 生成的未经同意的露骨图像仍在大量传播且监管缺位,而红队测试显示 Google 与 OpenAI 的头部图像生成器在能力提升的同时,拦截此类输出的能力可能正在退步。
核心要点
- Google 参与合著的一项研究在今年 7 月发布,调查对象覆盖美国、澳大利亚和英国的互联网用户
- 研究发现这类未经同意的露骨内容主要通过短信和私信传播,或被存放在私有云中,因而更难被检测和举报
- Google 研究者得出的结论是,最关键的干预点依然是源头,也就是被用来生成虚假性图像的 AI 工具
- 近几个月的红队测试提示,Google 与 OpenAI 的部分领先图像生成器在变得更强之后,阻挡露骨输出的表现可能更差
- 文章指出,监管机构目前几乎没有采取有实质意义的措施来遏制这类内容
原文佐证
- Safety researchers continue to warn that a large volume of AI-generated explicit content is spreading unchecked, while regulators do little to meaningfully stop it.
- This non-consensual content is commonly shared in text and direct messages or stored in private clouds where it’s less likely to be detected or reported, a Google co-authored study of Internet users across the United States, Australia, and the United Kingdom found this July.
- Yet red-teaming in recent months suggests that as some of the leading AI image generators from Google and OpenAI become more capable, they may be getting worse at blocking explicit outputs.
AI 洞察
这条消息真正值得注意的是一个反直觉趋势:模型能力越强,安全护栏未必同步变强,甚至可能因为泛化能力提升而更容易被绕过。若监管持续缺位,内容安全将从合规成本变成产品竞争力和平台责任的焦点,谁先解决"能力—拦截"的负相关,谁就握有面向监管与用户的议价筹码。对个人而言,非自愿私密影像的传播渠道已转向私信与私有云,事后检测和举报的路径本身正在失效,防线只能前移到生成源头和分发环节。