华为昇腾赋能 DeepSeek-R1 复现：打造 Open R1 项目

华为技术有限公司今日宣布，其 MindSpeed 平台现已支持 DeepSeek V3 模型的预训练与微调，同时华为昇腾亦适配并支持 DeepSeek-R1 模型的复现项目 Open R1。

据悉，MindSpeed 平台目前已能支持 DeepSeek V3 模型的预训练与微调，相关的并行配置与模型参数如下所示：

DeepSeek 团队通过知识蒸馏技术，成功使较小规模的模型具备强大的推理能力。华为方面表示，已基于昇腾平台完成蒸馏流程的验证，并指出经过蒸馏后的 Qwen 模型在特定领域上的评分得到了显著提升。这一成果可供开发者参考，以完成自定义蒸馏模型的训练。

此外，华为昇腾还完成了 Open R1 项目的关键步骤，即打通 Open R1-Zero 的 GRPO 流程，并支持通过 vLLM 等生态库实现训练过程中的数据生成。

据介绍，Open R1 项目是由 Hugging Face 官方开源，旨在对 DeepSeek-R1 模型流程进行完全开放式复现，是目前主流的复现项目之一，已获得 1.8 万 Star。该项目旨在构建 DeepSeek-R1 训练流程中缺失的部分。