合作发布：淘天集团携手爱橙科技开源大型模型训练框架 Megatron-LLaMA

淘天集团联合爱橙科技推出了一个大模型训练框架 Megatron-LLaMA，目的在于提升大语言模型的训练效率，减少训练成本，并保持与 LLaMA 社区的兼容性。该框架在 32 卡训练时可以达到 176% 的加速，对于网络不稳定的情况也有很强的容忍性。Megatron-LLaMA 将重点在自适应最优配置选择、模型结构改动的支持以及在不同硬件环境下的最优性能训练解决方案。