DeepSeek开源第三弹:开源FP8通用矩阵乘法库DeepGEMM
创始人
2025-02-26 10:19:02

鞭牛士 2月26日消息,DeepSeek公布开源周第三天的开源项目——DeepGEMM。

据介绍,DeepGEMM是一个支持密集型和混合专家(MoE)通用矩阵乘法(GEMM)运算的 FP8 通用矩阵乘法库,它为V3/R1模型的训练和推理提供支持。

DeepGEMM在英伟达Hopper系列GPU上可实现高达1350以上的FP8每秒万亿次浮点运算(TFLOPS);完全即时编译;核心逻辑代码约300行——但在大多数矩阵规模下,其性能超过了经过专家优化调整的内核;支持密集型布局以及两种混合专家(MoE)布局。

相关内容

热门资讯

最新或2023(历届)庆祝圣诞... 值圣诞元旦来临之际,春晖实验学校为了丰富学生的校园生活,让每一个学生快快乐乐迎接新年,轻轻松松迎接期...
最新或2023(历届)元旦黑板... 元旦黑板报版面设计图大全
G9805次专列出发!旅客为何... 近日 载有400余名旅客的 G9805次“球迷专列” 从赣州西站出发 驶向定南南站 这是中国铁路南...
“养龙虾”有了安全指南,如何规... 央视网消息:眼下“养龙虾”可谓是火遍全网,它就是当下很热门的AI智能体OpenClaw。目前全球活跃...
“养龙虾”火爆全网,AI智能体... 眼下“养龙虾”可谓是火遍全网,它就是当下很热门的AI智能体OpenClaw。目前全球活跃的OpenC...