DeepSeek开源第四弹：DualPipe、EPLB优化并行策略
创始人
2025-02-27 12:49:34
鞭牛士 2月27日消息，DeepSeek公布开源周第四天的开源项目——优化并行策略。
具体包括：DualPipe - 一种用于V3/R1训练中计算-通信重叠的双向流水线并行算法；EPLB - V3/R1的专家并行负载均衡器；分析V3/R1中的计算通信重叠。
此前，DeepSeek表示将于本周陆续开源5个代码库。
2月24日，DeepSeek正式启动“开源周”，首个开源的代码库为Flash MLA；2月25日，DeepSeek开源了用于MoE模型训练和推理的EP通信库DeepEP；2月26日，DeepSeek开源了支持密集型和混合专家（MoE）通用矩阵乘法（GEMM）运算的FP8通用矩阵乘法库DeepGEMM。