#AI safety

OpenAI 公布了一套国家安全原则，明确禁止将其技术用于自主武器、大规模监控以及高风险自动化决策。该公司还通过 Daybreak 网络防御计划扩大了与美国盟友的防御合作，包括与澳大利亚、加拿大、日本和欧盟机构的合作。 这为国家安全领域的 AI 治理树立了明确先例，在道德边界与防御应用之间取得平衡。可能会影响全球其他 AI 公司和政府政策，尤其是在 AI 的军事用途方面。 这些原则严格禁止大规模国内监控、自主武器系统和高风险自动化决策。Daybreak 计划为经过验证的防御者提供高级 AI 工具，将更宽松的功能与更强的监督和范围控制相结合。

这削弱了 Fable 在代码审查或数据分析等合法任务中的实用性，并且由于 Anthropic 对被标记的输入输出保留长达两年的政策，引发了严重的隐私担忧。 分类器似乎对涉及网络安全、生物学或越狱的术语反应过度，即使是微不足道的话题也常常将请求传递给 Opus 4.8；用户报告称，甚至医学物理问题也被拒绝。

生命未来研究所发布了一份报告，对九家顶尖人工智能公司的安全表现进行评级，没有一家获得 A 评级。Anthropic 以 C+位居榜首，OpenAI 和谷歌 DeepMind 得 C，Meta 得 D+，而 DeepSeek、xAI 等公司则获得 F 评级。 该报告凸显了人工智能安全治理方面的关键差距，因为企业正在快速开发变革性人工智能，却没有制定可靠的风险管理计划。这强调了行业需要更严格的安全标准和透明度。 报告指出，许多公司已从禁止将人工智能用于军事领域转向积极寻求防务伙伴关系。中国公司 Z.ai 和阿里云否认与军方有关联的指控，但评级仍然很低。

Fernando Irarrázaval 举办的 OpenClaw AI 助手挑战中，2000 人尝试通过电子邮件泄露秘密，经过 6000 次尝试均未成功。底层模型为 Anthropic 的 Opus 4.6，配备了防提示注入规则。 该实验提供了现实证据，表明前沿模型对提示注入攻击的鲁棒性显著增强，这是 AI 安全领域的重大关切。这表明大型语言模型的安全改进正在转化为实际防御能力，但并不能保证完全无懈可击。 挑战消耗了 500 美元的代币费用，并因大量入站邮件导致一个 Google 账户被暂停。尽管尝试了 6000 次，没有参与者成功泄露秘密，但作者警告不要在生产系统中部署可能因提示注入造成不可逆损害的应用。