云天励飞：推理芯片与加速卡已适配30+开源大模型_知识

创始人

2025-02-13 20:16:04

金融界2月13日消息，有投资者在互动平台向云天励飞提问：云天励飞的AI硬件是否支持SGLang、LMDeploy 和 TensorRT-LLM 等主流推理框架？

公司回答表示：公司的推理芯片和加速卡目前已经支持适配云天书、通义千问、百川智能、智谱清言、Meta等30+开源大模型，涵盖1.5B参数到70B参数量，预期能使大模型推理成本大幅度下降。

来源：金融界

记者手记｜时代大潮里的笃行与担... 来源：新华社记者手记｜时代大潮里的笃行与担当新华社记者韩梁　朱瑞卿　伍岳9月的新德里草木葱郁，阳光热...

被骂 “君子之贼” 高若讷有点... ◎宋慧敏北宋景祐三年（1036年）一个春日，谏官高若讷接到一封信，写信人是刚刚入朝任...

烂缦胡同：烟火气里涌动青春创业... 近日，在“全国文化中心建设巡礼”主题采访活动中，北京青年报记者走进北京市西城区牛街街道烂缦胡...

科技赋能实体金融护航出海 9月9日至13日，2026年中国国际服务贸易交易会（以下简称服贸会）在北京首钢园举办，今年的...

湖北大学最新或2023（历届）... 　　1、考生自最新或2023（历届）4月1日起可在湖北大学招生信息网(http://zsxx.hub...