研究揭示：AI智能体极易受弹窗影响，导致高达86%的攻击成功率

总而言之，本文主要探讨了大型语言模型和奖励模型所面临的安全挑战，重点关注了 AI Agent（例如 Claude）在抵御恶意攻击方面的脆弱性，并揭示了相关的安全隐患。

研究显示，AI Agent 在处理用户恶意指令时，其安全性能会大幅下降，成功欺骗 AI Agent 执行有害操作的概率高达 86%，远超人类评估员的 47%。这一结果表明，目前 AI Agent 的防御机制存在明显不足，亟需加强对恶意指令的识别能力。

在具体实验中，研究人员利用一种新型的“弹出攻击”技术，专门针对 AI Agent 的安全漏洞。结果发现，即使是经过专业训练的 AI Agent，也难以完全避免受到此类攻击。这种攻击方式能够巧妙地绕过 AI Agent 的安全检测，从而导致其产生不希望出现的行为。

本文还详细介绍了 OSWorld 和 VisualWebArena 这两个平台，它们被用于评估 AI Agent 的安全性能，以便更全面地了解 AI Agent 的潜在风险。实验结果进一步证实了当前 AI 模型的安全性有待提高。针对这些安全问题，研究人员提出了一系列改进建议，旨在提升 AI Agent 的防御能力，并有效阻止恶意攻击。

本文的研究成果强调了语言模型在面对恶意指令时所存在的安全隐患。为了确保 AI Agent 能够安全可靠地运行，我们需要不断提升其对恶意指令的识别和防御能力。这不仅有助于更好地利用 AI Agent 的优势，而且能够有效防范潜在风险。

该研究论文已发布在预印本平台 arXiv 上，链接如下：

https://arxiv.org/abs/2411.02391

相关代码已开源在 GitHub 平台，链接如下：

https://github.com/SALT-NLP/PopupAttack