DeepSeek：DeepEP

DeepEP 是DeepSeek发布的专家并行（EP）通信库，专门设计用于MoE模型的训练和推理。该库具有高吞吐量和低延迟的全对全GPU内核，支持节点内和节点间的NVLink和RDMA通信。特别优化了DeepSeek-V3论文中的组限制门控算法，并引入了基于Hook的通信-计算重叠技术，以确保不占用GPU计算资源。在推理解码阶段，内核表现出色，延迟仅为163微秒。DeepEP适用于Hopper GPU架构，需要Python 3.8、CUDA 12.3和PyTorch 2.1及以上版本。

DeepEP的主要特点包括高效的通信内核、低精度计算支持、优化的通信机制、低延迟推理解码、通信与计算重叠、灵活的资源管理以及网络配置优化。该项目的GitHub仓库地址为https://github.com/deepseek-ai/DeepEP。

在性能方面，DeepEP展现了出色的吞吐量表现，如内节点通信和跨节点通信的瓶颈带宽。针对推理解码设计的低延迟内核，使用纯RDMA技术，显著降低了延迟。其系统要求包括硬件要求、软件要求、网络要求和其他要求。适用于大规模模型训练等场景，提供高效的并行通信支持，明显提升了训练效率。和舆情数据的基础上，预测违约概率。