本报讯(记者 宜欣)近日,中国移动联合合作伙伴在智算运营领域取得重要突破,在行业首创智算推理集群运营黄金标准。该标准以用户体验为导向,构建了一套可量化、可评估、可复用的集群运营指标体系,首次实现了对人工智能推理算力服务质量的系统化、标准化度量。这一创新标志着AI推理算力发展范式正从“规模扩张”转向“质量跃迁”,推动行业进入精细化运营与高质量发展的新阶段。
当前,人工智能发展正从集中式的“模型训练”(练兵)阶段加速迈向大规模“推理部署”(实战)阶段,面对用户对更高性能、更优体验与更低成本的复合诉求,如何在保障服务质量的前提下,动态平衡“降本”与“优服”,实现推理系统的高效、稳定与经济运行,已成为当前智算基础设施建设与运营亟待破解的核心问题。对此,中国移动基于大量理论分析与实测验证,创新提出智算推理集群运营黄金标准。该标准以“度量破局”为核心理念,系统构建涵盖用户体验、系统并发能力、系统可用性及硬件利用率四大维度的集群效能评估体系。通过实时监控推理集群运行状态,该体系在保障关键体验指标达标的前提下,精准识别最先触达性能瓶颈的硬件资源指标,并将其确立为当前场景下的“黄金指标”。这一指标不仅反映系统性能的临界约束条件,还可作为判断集群是否高效运行、是否需要扩容或优化的重要决策依据。
为验证“黄金标准”的有效性,中国移动组织开展试点工作,系统评估了多种典型模型在不同业务负载下的运行表现,包括以DeepSeek-R1为代表的MoE(混合专家)稀疏大语言模型、以Qwen3-32B为代表的稠密大语言模型、以Qwen2.5-VL-72B为代表的多模态理解模型、以Stable Diffusion为代表的多模态生成模型。测试结果显示,在不同推理负载下,四项硬件指标(算力利用率、显存利用率、显存带宽利用率和KV Cache利用率)的增长速率存在显著差异,且各场景中最先触达性能瓶颈的指标各不相同。
依托“黄金指标”的实时监控,企业能够在高并发与负载波动等复杂场景下,精准洞察集群运行状态,实现精细化运营。