DeepSeek开源周第四天-DualPipe、EPLB

话不多说，直接上链接： https://github.com/deepseek-ai/DualPipe https://github.com/deepseek-ai/eplb

DualPipe 是一种创新的双向管道并行算法，在 DeepSeek-V3 技术报告中提出。实现了正向和反向计算-通信阶段的完全重叠，同时也减少了管道气泡时间。

之前还写过，对DeepSeek中Infra中DualPipe的一些想法

EPLB，即专家并行负载均衡器。使用专家并行（EP）时，会将不同的专家分配到不同的GPU。 由于不同专家的负载可能因当前工作负载而异，因此保持不同 GPU 的负载平衡很重要。

为了让大家方便复现和部署，在 eplb.py 开源了部署 EP 负载均衡算法，包括：分层负载均衡和全局负载均衡。

所以DeepSeek真是把论文的所有细节都开了，源神+10086。