训练千亿参数大模型所需的算力规模

以浪潮信息自研的中文大模型源1.0为例,它采用266台8卡A100服务器,单卡计算效率达到44%,采用张量并行、流水线并行和数据并行的三维并行策略。文章提出要提高大模型性能,需要从框架、IO、通信等多个方面进行优化。与GPT-4相比,国内大模型在算力、算法、数据等方面还存在较大差距。需要继续加大技术研发力度,以提升大模型的性能。