Signal YCurated AI News
更新于 8/20 09:5261 个信源

Import AI 467:自我维持的AI病毒;调控AI进展;关于AI与创造力的困惑

AI 研究8/3 21:31Import AI(Jack Clark)查看原文 ↗
摘要

报道一项展示自我维持、自我复制的AI蠕虫原型研究,探讨其工作机制与风险,并带出AI进步导致计算更贵的观点。

核心要点
  • 多伦多大学、Vector Institute、剑桥大学和ServiceNow的研究人员构建了AI蠕虫原型,仅用单块80GB A100 GPU即可运行开源权重LLM,不依赖可被监控或撤销的厂商API。
  • 蠕虫利用被入侵GPU算力托管LLM进行生成式推理,发现漏洞并设计针对性攻击,进一步传播。
  • 推理图将agent思维分解为Plan、Judge、Action、Summary、Progress等专用节点,控制注意力并限制上下文增长。
  • 实验步骤显示:漏洞检测成功率约80%,漏洞利用成功率约53%,自我复制成功率约88%,整体攻击成功率约37%。
  • 研究者称“自我维持的AI驱动网络威胁不再是理论上的”,并呼吁“为自主生成式对抗者做好准备”。
原文佐证
  • demonstrate that self-sustaining AI-driven cyber-threats are no longer theoretical.
  • We must prepare for autonomous generative adversaries,
  • The worm uses stolen computing power from compromised GPU nodes to host LLMs for generative reasoning.
AI 洞察
这标志着网络攻击从“使用AI辅助”迈向“AI自主繁衍”,攻击者无需持续介入即可扩张,同时开放权重模型的可滥用性成为安全短板,算力资源本身也成为攻击目标。短期需加强GPU资源监控与模型使用治理,长期将催生AI攻防生态和新型免疫系统,但可能引发新一轮安全对抗升级。