联想宣布旗下首款AMD AI服务器单机部署满血版DeepSeek大模型，可实现极限吞吐量6708 token/s
创始人
2025-03-17 14:17:19
0次

　　Hehson科技讯 3月17日下午消息，联想宣布旗下首款AMD AI大模型训练服务器联想问天WA7785a G3在单机部署671B（满血版） DeepSeek大模型时，可实现极限吞吐量6708token/s，将单台服务器运行大模型的性能推向了新高。

　　依托联想万全异构智算平台，联想通过访存优化、显存优化、PCIe 5.0全互联架构创新以及精选SGLang框架中性能最优算子等诸多创新方式，对大模型从预训练、后训练到推理的全流程进行持续优化，在单台部署DeepSeek 671B大模型的联想问天WA7785a G3上实测最高吞吐量达6708 token/s。

　　在模拟问题对话场景（上下文序列长度128/1K）时，最高可支持并发数158，TPOT 93毫秒， TTFT 2.01秒；而在模拟代码生成（上下文序列长度512/4K ）时，并发数可达140，TPOT 100毫秒， TTFT 5.53秒。这一成绩意味着单台联想问天WA7785a G3可以支撑1500人规模企业的正常使用，是继联想问天WA7780 G3服务器单机部署满血版DeepSeek 大模型总吞吐量突破2500 token/s之后，单机部署该大模型推理性能的又一次突破。

　　联想方面称，此次突破是联想中国基础设施业务群、联想研究院ICI实验室和AMD联合设计、协同调优、共同实现的。此结果也并非最终结果， 联想与AMD 还在持续尝试深度调优新方法，实现更高调优突破。

上一篇：广州将进一步放宽入户条件

下一篇：预售价11.99万元 奇瑞艾瑞泽8 PRO将于3月22日上市

相关内容

热门资讯

伟思医疗跌0.70%，成交额7... 7月18日，伟思医疗跌0.70%，成交额7640.57万元，换手率1.71%，总市值44.69亿元。...
鸿泉物联涨0.59%，成交额8... 7月18日，鸿泉物联涨0.59%，成交额8349.34万元，换手率2.84%，总市值29.29亿元。...
青鸟消防涨0.20%，成交额4... 7月18日，青鸟消防涨0.20%，成交额4953.44万元，换手率0.67%，总市值87.19亿元。...
博瑞医药涨14.73%，成交额... 7月18日，博瑞医药（维权）涨14.73%，成交额14.99亿元，换手率4.37%，总市值364.8...
中伟股份涨0.30%，成交额2... 7月18日，中伟股份涨0.30%，成交额2.20亿元，换手率0.71%，总市值316.40亿元。异动...