Meta最新研究突破：AI自动发现李雅普诺夫函数，终结数学家“秃头”难题，准确率超越人类！

近期有研究表明，一种新的大型语言模型在生成代码方面表现卓越。Meta 的研究人员最新推出了一种能够生成代码的 Transformer 模型，并且声称其在代码生成方面的性能达到了前所未有的水平。

代码生成领域面临着独特的挑战，因为它要求模型不仅需要具备创造力，还要能精确理解和执行复杂的逻辑。为此，“高级”代码生成模型必须理解各种编程语言的细微差别，并能将这些知识应用于解决实际问题。因此，它们在软件开发过程中变得越来越重要。

针对这些挑战，Meta 的研究团队开发了一种双重令牌系统 Transformer 模型，旨在提升代码生成的效率和准确性。他们设计了“基本令牌”和“高级令牌”两种类型的令牌，分别用于处理代码的不同层面。这样的设计使得模型能够更加精细地理解和生成代码。

与传统的“单一令牌”系统相比，“双重令牌”方法能够更有效地处理代码，因为它允许模型分别关注代码的结构和语义。通过分离基本信息和高级信息，模型可以更好地捕捉代码中的复杂关系。而“基本令牌”则侧重于提供细粒度的上下文，支持高级代码生成。

在研究人员的实验中，“高级令牌”系统下的 Transformer 模型在代码补全任务中超越了现有的技术水平，实现了高达 99% 的准确率，并且在解决复杂代码生成问题时也有显著提升 (73%)。更重要的是，即使只使用少量的样本 (300个)，“双重令牌”系统也能显著提升模型的效果，准确率可以达到 84%，证明了该方法在资源有限的情况下也能有效提升代码生成模型的性能。

为了进一步验证代码生成模型的性能，研究人员还进行了一系列对比实验。结果表明，该模型在多种代码生成任务上均表现出色。由于该模型在海量代码数据中进行了训练，因此它能够熟练运用各种编程语言，从而提升代码生成的质量。同时，相关实验也验证了高级令牌可以有效提升海量代码数据的利用率，确保模型能够最大限度地发挥其潜力。

值得一提的是，研究人员在 25 亿个令牌的数据集上训练了 Meta 的模型，从而确保了代码生成模型的性能达到最佳状态。

总的来说，Transformer 模型有望彻底改变软件开发的未来，因为“双重令牌”系统可以显著提升代码生成的效率和准确性。凭借其卓越的性能，Meta 的模型有望成为人工智能在软件开发领域中的一个重要里程碑。

论文链接：https://arxiv.org/pdf/2410.08304