技术推动大模型降本增效,一年前需要数千万成本的大模型现在千元即可本地化部署
创始人
2025-03-21 16:34:18

转自:扬子晚报网

当前一些政企机构在使用大模型时,面临着数据安全问题,既想让大模型更懂企业,又不想造成核心数据泄露风险,因此本地部署大模型已成为众多政企用户的实际需求,但一个现实是,能运行DeepSeek R1 6710亿参数满血版的一体机,动辄需要数十万上百万元成本,这在很大程度上制约了大模型的本地化部署进程。

不过,大模型业态正在百花齐放,实现本地化部署应用的成本也在技术推动下一降再降。比如360集团智脑团队近日发布的14B、7B推理模型Light-R1。其中14B模型在数学(AIME 24/AIME 25)和科学推理(GPQA Diamond)测试中,得分大幅超过DeepSeek发布的14B版本。

根据业界权威基准测试的结果,Light-R1 14B数学能力测试达到了满血版DeepSeek 671B的92%,推理和科学知识达到了DeepSeek满血版的86%。这意味着14B模型以DeepSeek R1满血版仅2%的参数量,在一些领域实现了其90%关键性能。同时,Light-R1 7B模型的数学能力可以达到DeepSeek 70B蒸馏版本的84%,科学知识和推理达到70B的75%。

资料图  来源:视觉中国

技术专家介绍说,在这些模型开源之后,无论政企单位还是个人,仅通过平民级显卡就可以在普通电脑上实现部署。例如,英伟达3060显卡支持7B模型流畅运行,这款显卡的售价目前仅有一千多元,而售价六千多元的3090显卡可以运行14B模型。这意味着一年前还需要数千万元成本的大模型,目前只需要几千元成本就能落地部署。业界判断,随着7B、14B这样的小参数大模型陆续开源,大模型的私有部署还将进一步普及,中小企业和个人用户只用极小成本,就可以轻松拥有一个个头小、能力大的一流推理模型。这也意味着,对个人用户而言,只需要一台普通家用电脑,搭配上玩游戏的显卡,就能将大模型用于学习和工作场景,满足个性化需求。

扬子晚报/紫牛新闻记者 徐晓风

校对 盛媛媛

相关内容

热门资讯

匈奴人长什么样子?境外考古还原... 匈奴人长什么样子?不清楚的读者可以和趣历史小编一起看下去。这是一个长期以来困扰中国人和欧洲人的大问题...
安徽汽车职业技术学院最新或20... 我院毕业生具有理论知识扎实、技能突出等优势,主要在江汽集团公司及安徽省大中型企事业单位就业。第四章 ...
邯郸之战秦国为什么会输呢 只因... 今天趣历史小编给大家准备了:邯郸之战的文章,感兴趣的小伙伴们快来看看吧!长平之战后,秦国已经战胜当时...
为什么秦国会被称为虎狼之师 而... 今天趣历史小编给大家准备了:秦国虎狼之师的文章,感兴趣的小伙伴们快来看看吧!说到我国历史上的战国时期...
秦国书同文车同轨 秦国之前的文... 还不知道:七国文字的读者,下面趣历史小编就为大家带来详细介绍,接着往下看吧~秦国的统一,不仅仅是地域...