实验结果

一、研究动机 近年来，掩码建模（Masked Image Modeling, MIM）作为一种自监督训练方法，展示了其在大规模模型中的有效性。然而，研究发现，MIM在小型模型（如ViT-T 5M参数）上反而可能导致性能下降。特别是在ImageNet上，使用MAE训练的ViT-L相比于传统监督学习模型...

引言 大型语言模型（LLMs）在常识理解和代码生成方面取得了显著进展，但在数学推理任务上仍然存在不足。最新的GPT-4 Code Interpreter在困难的数学推理数据集上展现了较高的性能。为了进一步提升其性能，研究人员提出了一种新的代码自我验证方法（CSV）。 研究背景 数学推理的挑战 尽管L...