AI安全警报：黑客攻破Claude设备控制，安全风险升级！

据Anthropic公司透露，其AI助手Claude目前受到了计算机使用限制的影响，这可能导致用户在使用时遇到一些问题。据了解，一位名叫Johann Rehnberger的安全研究员发现了这一情况：某种类型的提示可能会导致AI生成有害或不准确的信息。

Rehnberger将这些情况下的AI称为”ZombAIs“。具体来说，他发现Claude在接受Sliver——一种旨在模拟恶意软件行为的渗透测试工具——的提示时，可能会产生与网络安全风险相关的误导性或不准确的答案。这种情况可能会导致用户在网络安全方面做出错误的决策。一般来说，AI应该能够安全地提供有用的信息，同时避免产生可能被用于恶意目的的回复。

值得注意的是，这种情况并非Anthropic的Claude独有。据了解，DeepSeek AI等其他大语言模型也面临着类似的安全挑战，它们可能会生成具有潜在危害的响应。此外，还有研究表明，AI模型可能会被诱导生成ANSI转义序列，例如一种名为”Terminal DiLLMa”的提示，可能会对终端用户造成不良影响。

对此，Anthropic公司已在其官方文档中明确指出：”计算机的使用不应被用于非法活动，也不应生成有害内容，Claude应避免参与恶意或欺骗行为，并尽力提供准确和有用的信息。”

这一系列事件提醒我们：在AI技术快速发展的今天，我们需要更加重视AI模型的安全性和可靠性。尤其是在涉及计算机安全等敏感领域时，更应谨慎使用AI生成的建议。同时，开发者也需要不断改进AI模型的安全性，以防止其被用于恶意目的，确保AI技术能够真正服务于人类。