云天励飞：推理芯片与加速卡已适配30+开源大模型
创始人
2025-02-13 20:16:04

金融界2月13日消息，有投资者在互动平台向云天励飞提问：云天励飞的AI硬件是否支持SGLang、LMDeploy 和 TensorRT-LLM 等主流推理框架？

公司回答表示：公司的推理芯片和加速卡目前已经支持适配云天书、通义千问、百川智能、智谱清言、Meta等30+开源大模型，涵盖1.5B参数到70B参数量，预期能使大模型推理成本大幅度下降。

来源：金融界

上一篇：申公豹的口口口口口吃，有救了！

下一篇：谷歌前CEO：若再不行动 中国终将成为开源领域领导者

相关内容

热门资讯

志高机械：6月29日获融资买入... 6月29日，志高机械跌1.94%，成交额707.45万元。两融数据显示，当日志高机械获融资买入额48...
奥美森：6月29日获融资买入5... 6月29日，奥美森涨1.27%，成交额942.69万元。两融数据显示，当日奥美森获融资买入额53.5...
森麒麟：摩洛哥工厂未满产却要在... 投资者提问：董秘你好，本公司摩洛哥工厂还没满产 就要在欧洲快速建厂处于什么原因？董秘回答(森麒麟SZ...
南特科技：6月29日获融资买入... 6月29日，南特科技涨2.89%，成交额2748.04万元。两融数据显示，当日南特科技获融资买入额9...
美德乐：6月29日获融资买入6... 6月29日，美德乐跌1.83%，成交额2194.00万元。两融数据显示，当日美德乐获融资买入额68....