自动化客服

共 1 篇文章

EPLB(Expert Parallelism Load Balancer)

EPLB(Expert Parallelism Load Balancer)是DeepSeek开发的专家并行负载均衡器,旨在解决大规模模型训练中不同专家模型之间负载不均的问题。该负载均衡器采用冗余专家策略,通过复制高负载专家并合理分配至不同的GPU,以实现负载均衡。同时,结合了group-limit...
AI工具箱8个月前
EPLB(Expert Parallelism Load Balancer)