模型推理推动算力需求百倍增长,国产厂商如何进行AI基建?
创始人
2025-05-24 16:21:28
0

2025年是AI行业公认的“推理之年”。

在今年英伟达的GTC开发者大会上,黄仁勋演讲提到,随着OpenAI o1、DeepSeek R1等推理模型的推广应用,市场将需要更多AI芯片作算力支撑。AI推理已代替模型训练成为了推动了算力需求增长的主力,规模增长能“轻松超过去年估计的100倍”。

而受限于美国对华的芯片禁令限制及国产GPU单卡性能不足的差距,国内厂商在算力供给上长期走集群化路线,即将多个芯片通过特定技术连接整合在成单个的“超节点”。在数据中心内部,多个超节点形成一个集群系统,以满足对大规模算力需求较高的任务。

在近日华为举办的鲲鹏昇腾开发者大会上,公司对外宣布,其搭建的“昇腾384超节点”已是业内最大规模的算力集群超节点。该超节点利用华为的高速互联总线技术,将384张昇腾AI GPU芯片连接起来,并在内存带宽、存储容量、高速互联网络等技术上进行了大幅调优。

华为云则在超节点基础上进一步推出CloudMatrix 384。官方信息显示,CloudMatrix 384 单集群算力已经达到300 PFlops,总规模已与英伟达NVL72大致相当(以业内常用的半精度浮点数F16标准衡量,NVL72是将72张B200GPU连在一起)。

据华为昇腾计算业务总裁张迪煊介绍,相比于上一代Atlas A2,基于昇腾384超节点的Atlas A3模型训练性能提升已达3倍。同时,由于采用了新的总线高速互联技术后,超节点通信带宽提升了15倍、通信时延降低了10倍。

而相比于训练,随着推理在算力需求所占的比重越来越大,算力集群针对推理的优化也变得越来越重要。

随着基于强化学习的“长思考”(Deep Thinking)功能与智能体应用(AI Agent)的集中落地,AI模型需要处理的任务更复杂,“思考”过程更长,需要更长时间和复杂计算过程来得出推理结果。

国内厂商为满足这部分的算力需求,同时实现“更大吞吐量”(AI模型一次能同时处理更多任务)和“更低延迟”(一次任务所需时间更短),是行业待解决的关键问题。

张迪煊称,DeepSeek在业内带火的MOE(混合专家)架构目前已经是业内模型主流架构,而MOE包含上百个专家网络的调度,实现大规模专家并行是行业解决AI模型吞吐量和延迟问题的核心。

而昇腾384节点针对MOE所做的优化设计,在业内率先实现了“一卡一专家”,最终做到了15ms的低时延,单卡吞吐量是业界集群的4倍以上。

在全球范围内,今年的算力基建扩张有增无减。近期,在美国总统特朗普访问沙特阿拉伯期间,英伟达、AMD均宣布与当地公司达成百亿美元大单,将在当地未来五年内建设人工智能数据中心工厂,涉及“数十万张GPU卡”规模的算力集群建设。Meta、特斯拉、微软与谷歌也在建设新的十万卡规模数据中心。

国产厂商也在加快建设步伐。张迪煊在大会上表示,华为目前将多个昇腾384超节点组合在一起,已经可以支持10万卡集群的算力需求。

相关内容

热门资讯

2026 款特斯拉 Model... IT之家 5 月 24 日消息,继前天汽车媒体Drive 曝光2026款特斯拉Model S Pla...
被骂上热搜第一,“中餐厅9得罪... “节目组是拿百度百科选的菜吗?”“DeepSeek都比节目组选的强”“西湖醋鱼怎么代表浙江?”“臭鳜...
中信建投:稀土战略地位重申需积...   炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!   中信建投证券研究...
情暖六一 法护未来——洋县检察... 为深入贯彻落实未成年人保护相关政策,聚焦困境儿童成长需求,在第75个六一儿童节来临之际,5月22日,...
第二十五届中国国际投资贸易洽谈... 5月24日,第二十五届中国国际投资贸易洽谈会(以下简称“投洽会”)组委会第一次工作会在福建省福州市召...
ETF速查表:158只代表性E... 来源:徒步滚雪球文/徒步君 编审/徒步君 悠悠遵从理性良知,执着研究远见。跟随不眠金钱,广挖资产主升...
最新!突破20万亿 【导读】私募基金总规模达20.22万亿元见习记者 杨晨时隔一年,私募基金行业管理总规模重返20万亿元...
美媒揭秘中国在技术领域的真实实... 【#美媒揭秘中国在技术领域的真实实力#】#中国快速发展的领域绝不局限于AI#围绕中美科技竞争态势,特...
我国夏季粮油陆续收获 冬油菜已... 转自:新华网  新华社北京5月24日电(记者胡璐)我国夏季粮油陆续进入收获时节。农业农村部24日最新...
龙舟竞渡处 诗画汨罗江!汨罗文... 汨罗江畔,屈子行吟的风流仍在山水间回荡;龙舟竞渡的鼓点已化作新时代奋进的节拍。这里,千年文脉与壮阔山...
全国公路气象预报(5月24日2... 转自:交通运输部5月24日20时至25日20时,西藏地区东南部、黑龙江东部、云南大部、贵州南部、广西...
【申万固收|高频经济】工业生产... 工业生产:生产总体下行。从上游来看,本期全国电厂样本区域用煤量周度环比下行6.00%,石油沥青装置开...
中国援乍得恩贾梅纳体育场揭牌启... 来源:新华网 新华社雅温得5月24日电(记者王泽)恩贾梅纳消息:中国援乍得恩贾梅纳体育场揭牌启用仪式...
奔驰司机别停前车,用高尔夫球杆... 5月24日,东莞市公安局凤岗分局发布警情通报:2025年5月14日14时50分许,在东莞市凤岗镇金凤...
职业本科扩容,“升本”之后重点... 转自:国是直通车大学设置有了新的进展。5月22日,教育部对拟同意设置的本科高等学校进行公示,其中包括...
4名干部收茅台、喝茅台,被点名 转自:长安街知事据中央纪委国家监委网站5月24日消息,海南省纪委监委公开通报6起违规吃喝、违规收受礼...
徐汇区去年新增三家科普基地,科... 转自:上观新闻伴随着稀宇科技和阶跃星辰自主研发的AI大模型合作生成的开场视频,2025年上海市粮食和...
钟南山谈大S离世:很遗憾,要高... 5月24日,在2025年广州科技活动周开幕式上,中国工程院院士、广州国家实验室主任钟南山通过云端连线...
日本采风团探访三晋:地域文化的... 来源:中国新闻网 中新网忻州5月24日电 题:日本采风团探访三晋:地域文化的互鉴与“碰撞”作者 刘小...
中国中铁全资子公司新增一项13... (转自:快查一企业中标了)快查APP显示,中国中铁相关公司中铁九局集团有限公司于2025年5月24日...