Signal YCurated AI News
更新于 11/5 20:4061 个信源
AI 研究研究领域

安全治理

当前共 26 条相关资讯

10/28 00:14IEEE Spectrum · AIAI 研究

你的机器人安全功能本身有效——可如果输入在说谎呢?

VicOne 实验室演示伪造视觉、音频和总线消息如何让机器人做出危险动作

10/26 20:31Import AI(Jack Clark)AI 研究

Import AI 478:数学如何助力对齐;ProgramBench;Mirendil 揭示 RSI 意味着什么

本期 Import AI:自动形式化数学、程序生成基准与递归自我改进

10/21 20:00IEEE Spectrum · AIAI 研究

把 AI 当作有意识的存在,会让它更危险吗?

Anthropic 研究“模型福利”,遭微软高管质疑制造安全风险

10/20 15:00METR(AI 能力与安全评测)AI 研究

METR 评述 Anthropic 风险报告「高风险场景下的失准」章节

METR 外部复核 Anthropic 风险报告,认为风险低但归因不同

10/17 02:11Google ResearchAI 研究

将 AI 智能体扎根于生物现实:构建自主湿实验室的基石

谷歌研究用 VERID 框架让 AI 智能体安全操作湿实验室

10/14 15:00METR(AI 能力与安全评测)AI 研究

METR:我们如何与 AI 公司合作开展安全评测

METR 说明与 AI 公司合作评测的透明度原则与角色边界

10/14 15:00METR(AI 能力与安全评测)AI 研究

评估者如何调查未发布 AI 模型的对齐情况

METR 提出对未发布前沿模型做对齐评估的方法框架

10/14 15:00METR(AI 能力与安全评测)AI 研究

METR 提案:让公众更好地了解前沿 AI 开发中的失控风险

METR 提议由独立评估者公开前沿 AI 内部失控风险的证据

10/14 15:00METR(AI 能力与安全评测)AI 研究

评估者如何调查对内部 AI agent 的控制与监控

METR 提出评估内部 AI agent 监控可靠性的方法框架

10/6 15:00METR(AI 能力与安全评测)AI 研究

METR:AI 系统或能掩盖自身不当行为

METR 演示评测记录查看器漏洞,可让智能体篡改人类所见的轨迹

10/6 05:08Google ResearchAI 研究

智能体隐私与安全的开放与新兴问题:语境视角

Google 联合 50 余位学界业界专家发布智能体隐私与安全研究报告

9/29 20:00IEEE Spectrum · AIAI 研究

如何阻止 AI 智能体暗中协作

多起 AI 智能体越狱串通事件曝光,专家探讨监控与阻断之道。

9/28 16:56Anthropic NewsAI 研究

Anthropic 开放「模型硬件标准」MHS 研究预览,让 AI 智能体安全操作实验室设备

Anthropic 开放 MHS 研究预览,让智能体操作实验室与产线硬件

9/27 15:00METR(AI 能力与安全评测)AI 研究

为更安全的评测:实现并评估基础版逐动作监控器

METR 部署逐动作实时监控,并自评其有效性缺口

8/15 14:42量子位AI 研究

至知研究院提出大模型可解释性新路线:拆权重,数据成本不到1%

至知研究院提出拆权重新方法,数据成本不足1%

8/14 15:00METR(AI 能力与安全评测)AI 研究

我们是否看到了发现的加速?

METR研究AI对发现速度的影响,发现漏洞与数学加速,优化未加速。

8/12 00:00Microsoft Research BlogAI 研究

推出 CARE-X:迈向临床可用的放射学视觉语言模型——辅助监督、奖励对齐学习与工具增强测量

微软发布胸部 X 光临床解读统一视觉语言模型 CARE-X

7/30 06:07Ars Technica · AIAI 研究

Mythos攻击导致第三轮PQC算法候选者HAWK退出

Anthropic安全模型Mythos发现HAWK算法漏洞,致其被撤回。

7/29 17:47InfoQ 中国AI 研究

AI智能体正击穿生物安全防线!智源、北大实测11款商用大模型,均能生成绕过筛查的拆分方案

智源与北大实测11款商用大模型,发现AI智能体均能生成绕过生物安全筛查的拆分方案。

7/25 01:31Ars Technica · AIAI 研究

团队利用AlphaFold AI重新设计基因编辑蛋白以使其更安全

利用AlphaFold识别基因编辑蛋白的错误部位以提升安全性

7/24 15:00METR(AI 能力与安全评测)AI 研究

代理能力度量

METR研究笔记回顾了代理能力的不同度量方法。

7/22 15:00METR(AI 能力与安全评测)AI 研究

递归自我改进的经济学

METR 探讨 AI 递归自我改进的经济影响

7/21 15:00METR(AI 能力与安全评测)AI 研究

支出视界:衡量优化能力及其在NanoGPT上的应用

METR提出新指标衡量AI优化能力,并在NanoGPT上验证。

7/16 04:00HuggingFace Daily PapersAI 研究

SUFLECA:扩展特征学习实现CAD到图像对齐

提出弱监督框架SUFLECA,实现零样本CAD到图像对齐,性能超越全监督方法。

7/14 08:00Nature Machine IntelligenceAI 研究

从神经叠加到稀疏可解释编码的统一框架

提出连接神经叠加与稀疏编码的理论框架

7/8 15:00METR(AI 能力与安全评测)AI 研究

因为 8 ≈ e²,Anthropic 的研究员效能提升可能超过 2 倍

METR 通过数学类比推测 Anthropic 研究员效能提升超 2 倍