DeepSeek发布开源第二弹：开源EP通信库DeepEP_知识

DeepSeek发布开源第二弹：开源EP通信库DeepEP

创始人

2025-02-25 12:49:45

0次

鞭牛士 2月25日消息，DeepSeek第二天的开源项目DeepEP正式发布。DeepSeek官方在X平台发文称，很高兴向大家介绍DeepEP——首个专为MoE（专家混合）模型训练和推理打造的开源EP通信库。

DeepEP可做到：

高效优化的全对全（all-to-all）通信；

支持节点内（intranode）和节点间（internode）通信，兼容 NVLink 和 RDMA；

训练与推理预填充（prefilling）阶段的高吞吐率计算核；

推理解码（decoding）阶段的低延迟计算核；

原生支持 FP8 数据调度；

灵活的 GPU 资源控制，实现计算与通信的重叠处理。

据介绍，DeepEP 是专为专家混合（MoE）和专家并行（EP）设计的通信库，提供高吞吐、低延迟的全对全（all-to-all）GPU 计算核，也被称为 MoE dispatch 和 MoE combine。此外，该库还支持包括 FP8 在内的低精度计算操作。

据APPSO报道，说人话就是，DeepEP 是 MoE 模型的「通信管家」，通过软硬件协同优化，让专家之间的数据传递又快又省资源，大幅提升训练和推理效率。

推理数据 DeepSeek 通信模型训练吞吐全对资源支持 all 通信管家吞吐率通信库 DeepEP

上一篇：苹果macOS遭遇Banshee木马，假冒安全组件潜行窃取数据

下一篇：DeepSeek又又开源了，这次拉爆GPU通信！

DeepSeek发布开源第二弹：开源EP通信库DeepEP

相关内容

热门资讯