月之暗面发布全新优化器Muon，显著提升计算效率

Moonshot团队发布了其最新的AI大模型Muon，它在多个基准测试中展现出优异性能，采用了AdamW优化器。

Muon是由OpenAI前员工Keller Jordan领导的团队在2024年开发的，它突破了以往模型的局限，在参数数量和性能上都取得了显著进展，并成功地应用于各种下游任务，充分展现了其强大的泛化能力。

Muon模型架构借鉴了Moonlight模型的优秀设计，采用了3B/16B参数规模的混合专家模型（MoE），其参数量达到了5.7万亿tokens，展现了强大的参数规模和性能表现，并被评价为“令人印象深刻”。这个模型在多个任务上取得了突破性进展，展现了其强大的性能和潜力。

Muon的研发过程注重效率和性能的平衡，在模型规模和计算资源消耗之间取得了最佳平衡，并对模型进行了全面的优化，实现了比AdamW更高的效率，其FLOPs指标远超预期，并且在多个基准测试中取得了超过52%的显著提升，充分展现了其在实际应用中的巨大潜力。

Muon模型的成功发布，标志着AI大模型领域又向前迈进了一步，它在多个领域展现了强大的应用前景，并为未来的AI研究提供了新的方向和思路。团队将持续改进Muon，并致力于将其应用于更广泛的领域，为社会发展做出更大的贡献。同时，团队也积极与业界同行交流合作，推动AI技术的进步和发展。相关论文链接：https://github.com/MoonshotAI/Moonlight/blob/master/Moonlight.pdf