EPLB（Expert Parallelism Load Balancer）

EPLB（Expert Parallelism Load Balancer）是DeepSeek开发的专家并行负载均衡器，旨在解决大规模模型训练中不同专家模型之间负载不均的问题。该负载均衡器采用冗余专家策略，通过复制高负载专家并合理分配至不同的GPU，以实现负载均衡。同时，结合了group-limited expert routing技术，将同一组的专家放置在同一节点内，以减少跨节点的通信开销。

EPLB提供了分层负载均衡和全局负载均衡两种策略，可根据具体场景灵活选择。通过优化专家模型的复制与分配，EPLB显著提升了GPU资源的利用率和训练效率。其主要功能包括负载均衡、专家复制、资源优化、通信优化、灵活的策略支持和多层MoE模型支持。

技术原理方面，EPLB采用冗余专家策略来平衡负载，在不同节点内实现负载均衡。具体包括层次化负载均衡和全局负载均衡两种模式，以及负载估计与动态调整、专家映射与资源分配等策略。通过GitHub仓库可以找到EPLB的项目地址。

EPLB的应用场景包括大规模分布式训练、预填充阶段、解码阶段和异构硬件环境等，适用于不同的训练阶段和环境中，提高效率和灵活性。