云天励飞：推理芯片与加速卡已适配30+开源大模型
创始人
2025-02-13 20:16:04

金融界2月13日消息，有投资者在互动平台向云天励飞提问：云天励飞的AI硬件是否支持SGLang、LMDeploy 和 TensorRT-LLM 等主流推理框架？

公司回答表示：公司的推理芯片和加速卡目前已经支持适配云天书、通义千问、百川智能、智谱清言、Meta等30+开源大模型，涵盖1.5B参数到70B参数量，预期能使大模型推理成本大幅度下降。

来源：金融界

上一篇：申公豹的口口口口口吃，有救了！

下一篇：谷歌前CEO：若再不行动 中国终将成为开源领域领导者

相关内容

热门资讯

最新或2023（历届）圣诞节到... 　　圣诞节这一天，总会给我们带来太多的感情，我们总是无法忘记，在每一年都有那么一个夜，这一夜有太多的...
最新或2023（历届）过圣诞啦... 　　圣诞节快到了，小朋友们能不能够围绕着圣诞节写一首诗啊，小编曾经看见一首，感觉很好，“圣诞，你这西...
最新或2023（历届）美丽的圣... 　　时间过得真快啊，转眼间又过了一年，小朋友们知道什么节日快到了吗？对了就是圣诞节，想想真的是，时间...
最新或2023（历届）欢庆圣诞... 　　属于我们的圣诞节，小朋友们你心中的圣诞节应该是什么样子的，在圣诞节这天会和同学一起相互送礼物吗？...
最新或2023（历届）欢度平安... 　　小朋友们知道圣诞节是哪一天吗？如果不知道的话，可以回去问问妈妈啊，现在小编就告诉大家，每年的12...