DeepSeek：DeepEP DeepEP 是DeepSeek发布的专家并行（EP）通信库，专门设计用于MoE模型的训练和推理。该库具有高吞吐量和低延迟的全对全GPU内核，支持节点内和节点间的NVLink和RDMA通信。特别优化了DeepSeek-V3论文中的组限制门控算法，并引入了基于Hook的通信-计算重叠技术，以确保不占用... AI工具箱9个月前
