（来源：华为计算）

在人工智能技术飞速发展的今天，大型语言模型已成为推动产业智能化升级的核心引擎。随着模型参数规模突破万亿级别，传统密集模型面临训练成本高、推理延迟大等挑战，混合专家模型(MoE)凭借其动态激活特性，成为平衡模型规模与计算效率的关键技术路径。然而，MoE模型在分布式训练中面临的通信瓶颈和算力利用率问题，严重制约了训练速度的提升；同时，在超大规模集群训练场景下，硬件故障导致的训练中断和恢复耗时问题，也成为影响整体训练效率的关键瓶颈。针对这些行业痛点，中国移动九天人工智能研究院基于华为开源的昇思MindSpore AI框架，在混合专家模型训练性能与大规模集群故障恢复效率方面取得重大突破，不仅显著提升了模型训练速度，更将故障恢复时间从1小时缩短至13分钟以内，为行业树立了高效智能计算的新标杆。

三大创新，显著提升训练性能

混合专家模型(MoE)凭借其“术业有专攻”的设计理念，通过动态路由机制将任务分配给擅长不同领域的子模型处理，已成为平衡大模型规模与计算效率的首选架构。中国移动九天人工智能研究院基于昇思MindSpore AI框架，针对MoE模型训练中的关键瓶颈问题，提出了三项核心技术优化方案，实现了训练性能的全面提升。

机间通信合并优化方案，显著降低跨机通信量

在传统MoE模型分布式训练中，专家跨节点分布导致的AlltoAll通信成为主要瓶颈。中国移动九天人工智能研究院联合昇思MindSpore创新机间通信合并优化方案，采用跨机AllGather替代部分AlltoAll通信，先同步必要tokens至机内完成排序聚合，再执行高效的机内AlltoAll通信。这一优化使跨机通信量显著降低，端到端性能提升20%。

自动图算融合技术，提升融合算子计算性能

针对MoE模型中dispatch、combine流程存在大量低效vector算子计算的问题，中国移动应用自动图算融合技术，扩展支持Cube类算子(如GroupMatmul/BatchMatMul)融合，通过激活高阶融合策略，实现Cube核和Vector核计算的互相掩盖。这一技术突破减少内存搬运，提升融合算子计算性能，端到端性能再提升15%。

自动策略搜索与流水负载均衡，最优训练策略配置

中国移动九天人工智能研究院基于昇思MindSpore实践的自动策略搜索与流水负载均衡系统，能够智能探索超参空间，快速锁定最优配置。在九天模型训练中，这一系统相比人工调优实现端到端性能提升8%，让AI训练真正进入“自动驾驶”时代。

双向突破，倍增大规模集群故障恢复效率

在追求训练性能突破的同时，中国移动九天人工智能研究院深刻认识到：大规模AI集群的稳定性与运维效率同样是决定生产效率的关键因素。传统故障恢复方案因需重新加载海量参数、重建通信链路等操作，耗时通常超过1小时，严重制约了训练任务的连续性。

异步并发建链技术

中国移动九天人工智能研究院深入分析大模型训练特点，采用算子通信预建链、异步通信建链等创新功能，实现主机通信建链的异步并发能力，大幅降低超大规模集群的主机建链耗时。

编译加速双引擎

通过并行编译与编译缓存关键技术，中国移动实现了模型训练启动时的快速编译以及缓存复用。最终，大规模集群故障恢复时间从1小时锐减至13分钟以内，集群可用度高达99%。

随着AI技术深入千行百业，高效、稳定、自主创新的大模型训练平台将成为智能时代的基础设施。中国移动与昇思MindSpore的合作范例，为行业提供了可复制的技术路径，将加速推动我国人工智能产业从跟随创新向引领创新的历史性跨越。在不久的将来，这种“性能与效率并重”的技术理念，必将孕育出更多突破性成果，为中国AI生态的繁荣发展注入强劲动力。