DeepSeek开源第四弹：DualPipe、EPLB优化并行策略_知识

DeepSeek开源第四弹：DualPipe、EPLB优化并行策略

创始人

2025-02-27 12:49:34

0次

鞭牛士 2月27日消息，DeepSeek公布开源周第四天的开源项目——优化并行策略。

具体包括：DualPipe - 一种用于V3/R1训练中计算-通信重叠的双向流水线并行算法；EPLB - V3/R1的专家并行负载均衡器；分析V3/R1中的计算通信重叠。

此前，DeepSeek表示将于本周陆续开源5个代码库。

2月24日，DeepSeek正式启动“开源周”，首个开源的代码库为Flash MLA；2月25日，DeepSeek开源了用于MoE模型训练和推理的EP通信库DeepEP；2月26日，DeepSeek开源了支持密集型和混合专家（MoE）通用矩阵乘法（GEMM）运算的FP8通用矩阵乘法库DeepGEMM。

策略矩阵 DeepSeek 代码通信训练于本周 DualPipe 并行通用代码库开源周通信库 DeepEP

上一篇：DeepSeek开源周第四日

下一篇：二月二换发型，AI先帮你“云”试剪（视频来源@路漫漫AI ）#AI #理发 #二月二 #AI理发

DeepSeek开源第四弹：DualPipe、EPLB优化并行策略

相关内容

热门资讯