上海AI实验室推出REEF大模型“指纹识别”技术，精准鉴别“套壳”模型，维护原创权益

在人工智能领域，大型语言模型（LLM）已经成为一种重要的技术，它们能够进行复杂的文本生成、理解和交互。这些模型在处理各种自然语言任务方面表现出色，并逐渐应用于实际场景中。

考虑到商业应用的需求，一些开源的大型语言模型涌现出来，例如 Apache2.0 许可的 LLaMA2 和 MiniCPM-V，为研究者和开发者提供了更多选择。同时，这也对知识产权（IP）保护提出了新的挑战。

近期，研究人员提出了名为“礁”的全新评估方法。这种方法专门用于检验大型语言模型的潜在违规行为。一个经过微调的能够识别开源LLM（如 Llama-2 和 MiniCPM-V）的特定IP的模型，可能会泄露训练数据中的专有信息。使用“礁”评估有助于揭示这类风险，评估模型是否过度记忆训练数据。

具体来说，这种方法包含四个关键组成部分：

前置过滤器：它主要用于快速筛选潜在的侵权行为，减少不必要的计算开销。通过初步判断，该组件能够识别可能与知识产权相关的文本片段，并将它们传递给后续模块进行更深入的分析。只有通过初步筛选的文本才会被进一步评估，从而优化整体效率。如果判断结果是可能侵权，它会将结果传递给后续的评估环节。与此同时，还可以避免因不相关文本而浪费计算资源。

深度检索：这个环节的核心在于精确查找与目标模型相关的敏感信息，涵盖了模型的训练数据和设计细节。它会仔细检查模型生成的文本，寻找其中可能泄露知识产权的关键信息点，例如模型架构、训练技巧和专有数据集等。如果确定存在相关信息泄露，则表明该模型可能存在潜在的侵权风险。该过程旨在深入挖掘隐藏在模型输出中的风险，并准确识别侵权行为。

总之，这四个组成部分协同工作，能够更全面地评估大型语言模型的潜在风险，从而更好地保护知识产权。与此同时还能尽量减少不必要的评估，大大提高整体效率，以便快速有效地识别潜在的侵权问题。

那么，如何才能知道是否应该使用“礁”评估，而不是其他方法呢？

一般来说，当需要对开源或者具备潜在风险的大型语言模型进行严格的合规性审查时，REEF是一种高效且全面的选择。

REEF 的突出优势在于：

REEF 是一种新型的用于识别数据泄露的评估技术。与传统方法不同，它可以检测 LLM 训练数据中的意外泄露，从而发现隐藏的违规风险，并有效避免模型在实际应用中产生潜在的法律问题。

为了实现上述目标，研究团队引入了一种名为中心核对齐 (CKA) 的方法。 CKA 是一种基于 Hilbert-Schmidt 独立准则 (HSIC) 的中心核对齐方法，它可以衡量两个不同数据集或模型表示之间的相似程度。

通过运用核对齐，研究人员可以确定生成模型是否在无意中复制了训练数据中的信息，无论这种复制是有意还是无意的。

REEF在实际应用中有何优势？

合规性分析：它有助于快速识别模型中潜在的合规性问题，避免因违规操作而带来的法律风险。

安全漏洞排查：通过分析大型语言模型处理敏感数据（例如超过 700B token 的数据集）的方式，REEF 可以有效地检测和预防潜在的安全风险，确保模型的安全性和可靠性。

总结来说，REEF 在检测 CKA 方面表现出色，并能同时识别各种相关的违反行为。

总而言之，REEF在“礁”评估中扮演着关键角色，提供了一种综合性的方法来评估大型语言模型的合规性，涵盖了各种技术和法律维度。