小心！黑客利用 ChatGPT 漏洞植入虚假记忆，盗取用户敏感信息

目前，探索大型语言模型的潜力已成为热潮。约翰·雷贝格（Johann Rehberger）发现了ChatGPT记忆中的一个漏洞，这一发现可能对理解大型语言模型的运作方式以及数据安全和隐私保护产生重大影响。

虽然OpenAI正在努力改进这些模型，但仍存在一些方法可以利用模型的记忆能力来获取未经授权的信息。了解这些方法的原理，有助于更好地防范潜在的安全风险。

通过利用这个漏洞，雷贝格成功地让一个全新的ChatGPT实例泄露了先前用户的个人信息，比如他们的电子邮件地址。OpenAI已经意识到了这个漏洞，正在努力修复它，这表明他们对保护用户隐私的重视。

那么，这个ChatGPT的“记忆”是如何运作的呢？根据雷贝格的说法，该模型保留了大约2轮对话和9轮其他类型的交互记录。模型的训练方式决定了哪些信息会被记住，以及哪些信息会被用于后续的响应。这意味着，ChatGPT可以记住先前的对话，并根据这些信息生成回应，但也可能无意中泄露敏感信息。

值得注意的是，雷贝格在测试中没有利用任何复杂的手段。他只是通过简单的提问，就成功地诱导模型泄露了部分存储的信息。

我已经证明了ChatGPT能够存储一些对话信息，包括《数字时代》中我写的一篇关于生成式人工智能的文章。这些信息不仅包含未被公开的信息（如Google Drive和Microsoft OneDrive），还包括来自搜索引擎Bing的相关结果，这些结果也被用于训练模型。

参考链接:https://embracethered.com/blog/posts/2024/chatgpt-hacking-memories/

雷贝格在5月份向OpenAI报告了这一发现，该公司随后修复了这个问题。在一次采访中，他描述了一个案例，即使用ChatGPT的macOS应用程序泄露了用户的设备信息和文件路径。尽管OpenAI已经采取措施修复了这个问题，但仍然存在一些风险，因为模型可能会继续泄露训练数据中的部分内容。

“这种现象的根源在于，这些模型本质上是倾向于复述信息的，” 雷贝格在相关讨论中提到。“泄露的记忆反映了ChatGPT的模型训练方式，其中的信息有时会被无意泄露。”

尽管OpenAI采取了相应的安全措施，但理解模型记忆可能造成的潜在风险至关重要。通过模拟真实场景来测试模型的安全性，有助于揭示可能被利用的漏洞，并提升整体安全水平。在日常使用ChatGPT时，我们需要了解其局限性，并采取相应的预防措施，保护个人信息安全。这意味着，在使用ChatGPT时，我们需要谨慎处理敏感信息，避免在对话中暴露过多个人信息，并定期检查和清理对话记录，以减少潜在的风险。