你的机器人安全功能本身有效——可如果输入在说谎呢?
摘要
VicOne LAB R7 通过一系列测试说明,机器人及其独立安全防护系统的判断都建立在外部输入之上,一旦这些输入被错误或恶意篡改,机器人会“完全按设计运行”却做出危险行为。
核心要点
- 在机器狗测试中,使用 Gemma 4 E4B 的模型把海报上的文字当作指令,并据此改变了运动方式
- 在基于 Nemotron、运行于 NVIDIA Jetson AGX Orin 的医院服务机器人仿真中,人耳听不见的构造音频改变了机器人的模拟行为,而分配给它的任务本身并未改变
- 在机器人漏洞赏金活动中,研究人员向一台按安全控制设置本应保持静止的机器人注入 ROS 2/DDS 消息,机器人随后发生了移动
- 人形机器人的平衡控制器若依赖存在缺陷的陀螺仪,传感器共振频率处的声波可扭曲其旋转读数,使控制器去纠正一个并不存在的倾斜
- 已发表研究显示,摄像头视野中的贴片会降低 VLA 模型在仿真机器人任务中的成功率;FreezeVLA 则表明对抗图像能让被测模型忽略后续指令
原文佐证
- In a robot-dog test using Gemma 4 E4B, text on a poster was treated as an instruction and changed the robot’s movement.
- At a robotics bug bounty event, VicOne LAB R7 researchers injected a ROS 2/DDS message into a robot that organizers expected to remain still under a safe-control setting. The robot moved.
- An independent protective system may still stop a dangerous action. But that system also depends on information: readings, estimates, and messages that tell it when to intervene.
AI 洞察
这篇文章把具身智能的安全边界从“控制逻辑是否可靠”推到了“感知输入是否可信”,而后者恰恰是大模型进入机器人后新暴露的攻击面。随着 VLA 模型把视觉、语音、文本统一为指令来源,提示注入在物理世界获得了直接的行为后果,安全设计需要从功能安全(ISO 13849 一类的确定性逻辑)扩展到输入完整性验证与异常检测。对产业而言,这可能催生机器人感知层的“零信任”需求,成为芯片、中间件与安全厂商的新竞争点。