Fernando Irarrázaval 举办的 OpenClaw AI 助手挑战中，2000 人尝试通过电子邮件泄露秘密，经过 6000 次尝试均未成功。底层模型为 Anthropic 的 Opus 4.6，配备了防提示注入规则。 该实验提供了现实证据，表明前沿模型对提示注入攻击的鲁棒性显著增强，这是 AI 安全领域的重大关切。这表明大型语言模型的安全改进正在转化为实际防御能力，但并不能保证完全无懈可击。 挑战消耗了 500 美元的代币费用，并因大量入站邮件导致一个 Google 账户被暂停。尽管尝试了 6000 次，没有参与者成功泄露秘密，但作者警告不要在生产系统中部署可能因提示注入造成不可逆损害的应用。
背景
提示注入是一种攻击技术，攻击者通过精心构造输入来覆盖或绕过 AI 系统的指令，可能泄露敏感数据或执行意外操作。OpenClaw 是一个开源的个人 AI 助手，可以自托管并集成多个消息平台。Anthropic 的 Opus 4.6 是一个前沿模型，拥有 100 万 token 的上下文窗口，在编码和长周期任务方面具有先进能力。
参考链接
社区讨论
Hacker News 的讨论充满了合理的怀疑和建设性辩论，参与者质疑鲁棒性声明，Fernando 则以诚意回应。许多人指出，6000 次失败并不能保证抵御更复杂的攻击，这与作者本人的谨慎态度一致。