安全治理
当前共 26 条相关资讯

你的机器人安全功能本身有效——可如果输入在说谎呢?
VicOne 实验室演示伪造视觉、音频和总线消息如何让机器人做出危险动作

Import AI 478:数学如何助力对齐;ProgramBench;Mirendil 揭示 RSI 意味着什么
本期 Import AI:自动形式化数学、程序生成基准与递归自我改进

把 AI 当作有意识的存在,会让它更危险吗?
Anthropic 研究“模型福利”,遭微软高管质疑制造安全风险

METR 评述 Anthropic 风险报告「高风险场景下的失准」章节
METR 外部复核 Anthropic 风险报告,认为风险低但归因不同

将 AI 智能体扎根于生物现实:构建自主湿实验室的基石
谷歌研究用 VERID 框架让 AI 智能体安全操作湿实验室

METR:我们如何与 AI 公司合作开展安全评测
METR 说明与 AI 公司合作评测的透明度原则与角色边界

评估者如何调查未发布 AI 模型的对齐情况
METR 提出对未发布前沿模型做对齐评估的方法框架

METR 提案:让公众更好地了解前沿 AI 开发中的失控风险
METR 提议由独立评估者公开前沿 AI 内部失控风险的证据

评估者如何调查对内部 AI agent 的控制与监控
METR 提出评估内部 AI agent 监控可靠性的方法框架

METR:AI 系统或能掩盖自身不当行为
METR 演示评测记录查看器漏洞,可让智能体篡改人类所见的轨迹

智能体隐私与安全的开放与新兴问题:语境视角
Google 联合 50 余位学界业界专家发布智能体隐私与安全研究报告

如何阻止 AI 智能体暗中协作
多起 AI 智能体越狱串通事件曝光,专家探讨监控与阻断之道。

Anthropic 开放「模型硬件标准」MHS 研究预览,让 AI 智能体安全操作实验室设备
Anthropic 开放 MHS 研究预览,让智能体操作实验室与产线硬件

为更安全的评测:实现并评估基础版逐动作监控器
METR 部署逐动作实时监控,并自评其有效性缺口

至知研究院提出大模型可解释性新路线:拆权重,数据成本不到1%
至知研究院提出拆权重新方法,数据成本不足1%

我们是否看到了发现的加速?
METR研究AI对发现速度的影响,发现漏洞与数学加速,优化未加速。

推出 CARE-X:迈向临床可用的放射学视觉语言模型——辅助监督、奖励对齐学习与工具增强测量
微软发布胸部 X 光临床解读统一视觉语言模型 CARE-X

Mythos攻击导致第三轮PQC算法候选者HAWK退出
Anthropic安全模型Mythos发现HAWK算法漏洞,致其被撤回。

AI智能体正击穿生物安全防线!智源、北大实测11款商用大模型,均能生成绕过筛查的拆分方案
智源与北大实测11款商用大模型,发现AI智能体均能生成绕过生物安全筛查的拆分方案。

团队利用AlphaFold AI重新设计基因编辑蛋白以使其更安全
利用AlphaFold识别基因编辑蛋白的错误部位以提升安全性

代理能力度量
METR研究笔记回顾了代理能力的不同度量方法。

递归自我改进的经济学
METR 探讨 AI 递归自我改进的经济影响
支出视界:衡量优化能力及其在NanoGPT上的应用
METR提出新指标衡量AI优化能力,并在NanoGPT上验证。
SUFLECA:扩展特征学习实现CAD到图像对齐
提出弱监督框架SUFLECA,实现零样本CAD到图像对齐,性能超越全监督方法。
从神经叠加到稀疏可解释编码的统一框架
提出连接神经叠加与稀疏编码的理论框架

因为 8 ≈ e²,Anthropic 的研究员效能提升可能超过 2 倍
METR 通过数学类比推测 Anthropic 研究员效能提升超 2 倍