20亿参数模型算术准确率近乎完美，超越GPT-4

学术头条报道，来自清华大学、TAL AI Lab和智谱AI的研究人员提出了一个名为MathGLM的20亿参数语言模型，用于提高大语言模型在数学推理方面的效率。该模型采用Transformer解码器架构，在大规模算术数据集上进行训练，显著提升了数学运算能力。实验结果显示，MathGLM在一系列算术运算任务上的准确率接近100%，明显优于GPT-4。即使参数量只有1亿，MathGLM也优于GPT-4和ChatGPT。研究还发现，随着参数量的增加，MathGLM的算术运算能力也在增强。在处理数字格式复杂的混合算术运算时，MathGLM也优于GPT-4和ChatGPT。该研究表明，语言模型在参数和数据量足够大的条件下，可以准确地进行复杂的数学运算。