代码生成

WarriorCoder是华南理工大学计算机科学与工程学院与微软合作推出的一款代码生成大语言模型（LLM）。其创新之处在于模拟不同专家模型之间的对抗，以生成高质量的训练数据，从而显著提升模型的性能。与传统方法不同，WarriorCoder摒弃了对现有专有模型或数据集的依赖，而是采用从零开始挖掘指令的...

文章概述 本文讨论了34亿参数的Code Llama模型在M2 Ultra Mac上运行的表现及其背后的技术原理，特别是投机采样（Speculative Sampling）技术如何加速推理过程。文章强调了这一技术的潜在优势和应用场景，并借助专家评论增强了论点的权威性。 Code Llama模型的性能...

引言 大型语言模型（LLMs）在常识理解和代码生成方面取得了显著进展，但在数学推理任务上仍然存在不足。最新的GPT-4 Code Interpreter在困难的数学推理数据集上展现了较高的性能。为了进一步提升其性能，研究人员提出了一种新的代码自我验证方法（CSV）。 研究背景 数学推理的挑战 尽管L...