昆仑万维发布Q*算法，7B模型推理性能提升百倍

通常情况下，大型语言模型在复杂推理任务中面临挑战，难以找到合理的解决方案。Q 的核心思想在于，通过引入规划机制，提高模型解决复杂问题的能力。Q 模型借鉴了经典搜索算法的思想，通过规划来指导模型进行推理，从而更有效地解决问题。

本文介绍了一篇名为《Q: Improving Multi-step Reasoning for LLMs with Deliberative Planning》的论文，该研究旨在通过 Q 算法提升大型语言模型的多步推理能力。研究团队受到 A 搜索算法的启发，提出了将规划模块融入到语言模型推理过程中的方法，旨在提升模型在复杂推理任务中的表现。

具体来说，Path Cost 代表着路径的代价，而 Accumulated Reward 代表着累积奖励；通过结合路径代价和累积奖励，能够优化搜索过程，找到更优的解决方案。在具体实现中，Q 模型能够动态地进行规划，在搜索过程中学习到有价值的经验，从而提升推理效率。

总的来说，Q* 的主要贡献在于提供了一种新颖的思路，即将规划机制融入到语言模型中，从而提升模型的推理能力。实验结果表明，通过引入规划机制，可以有效提升模型在复杂推理任务中的表现，使其能够更好地解决实际问题。

论文链接:

https://arxiv.org/abs/2406.14283