Meta发布新型可扩展记忆层，增强语言模型知识并降低幻觉。

大型语言模型（LLMs）正迅速成为自然语言处理领域中不可或缺的关键技术，推动着该领域的创新发展。Meta AI 的研究人员近期推出了名为“免训练推断”的新方法，旨在通过优化现有模型来提升性能表现。

“免训练推断”的核心理念在于直接改进模型的推断过程，无需依赖额外的训练步骤，即可在多种任务中实现显著的性能提升。这种方法专注于优化现有大型语言模型的推理能力，从而更有效地利用现有知识。

这项研究的关键在于引入了 “反思增强” 的概念，旨在提升模型的推理能力。在反思增强中，模型首先在推理阶段生成初步的答案，随后进行自我评估，识别潜在的错误，并据此优化初始答案，从而提升判断的准确性和可靠性。这种方法适用于多种不同的推理场景，可以有效改善各类任务的处理效果。通过引入这种反思机制，研究人员期望模型能够更准确地识别和纠正自身推理过程中的不足。

为了验证该方法的有效性，研究人员设计了一系列实验，旨在评估其在不同任务中的性能表现，特别是在涉及复杂推理和知识整合的任务中。实验结果表明，经过优化的 LLMs 在各类测试中均取得了显著的性能提升，尤其是在那些需要深度推理的任务中。“反思增强”方法能够显著提升模型对复杂问题的处理能力。

为了进一步推进语言模型在研究领域的应用，Meta 的研究团队发布了一系列资源，旨在促进该技术的广泛应用，包括模型权重和详细的实现指南。这些举措旨在确保相关研究能够充分利用最新的技术进展，从而加速该领域的发展。同时，他们也公开了用于加速 CUDA 性能优化的相关工具，方便开发者更好地进行模型优化。

值得一提的是，Llama 模型本身就是一个开源的大型语言模型，Meta 的研究人员通过优化现有推理技术，旨在提升语言模型的整体性能。Meta 的目标是通过优化模型推理过程，在不依赖额外训练的情况下，提升模型在实际应用中的表现，以便更好地服务于研究社区。为此，他们不仅公开了算法，还提供了 2 到 4 倍提速的各种硬件加速的参考方案。

论文链接：https://arxiv.org/abs/2412.09764