瘦身不降智!大模型训推效率提升30%,京东大模型开发计算新研究
创始人
2025-05-21 12:36:05

京东探索研究院关于大模型的最新研究,登上了Nature旗下期刊!

该项研究提出了一种在开放环境场景中训练、更新大模型,并与小模型协同部署的系统与方法

它通过模型蒸馏、数据治理、训练优化与云边协同四大创新,这个项目将大模型推理效率平均提升30%,训练成本降低70%

这个名为《Omniforce:以人为中心的、赋能大模型的、云边协同的自动机器学习系统》的项目,发表在Nature旗下期刊npj Artificial Intelligence上。

据介绍,这是国内首个系统性解决开放环境下大模型开发效率难题并获国际顶刊认证的研究成果。

企业将大模型应用付诸实践,面临着诸多卡点:

一方面进入大模型应用门槛高,另一方面模型训练与推理效率低。

京东大模型开发计算技术,能支持企业的模型开发训练及生产,让庞大、重型的AI模型“瘦身”成精悍的小模型,精华依旧,效率大增,瘦身不降智。

既能节省算力资源,加速推理,还能适应多平台,广泛部署到更多平台上。

论文中提出了四个创新方法:

值得一提的是,该平台还可支持京东大模型、Llama、DeepSeek等多个模型的蒸馏、推理。

在模型蒸馏层面,效果较同量级模型有明显提升。

以京东大模型为例,蒸馏后的大模型Livebench提升14分。

大量的实验结果也证明有效性和效率,推理平均提效30%,训练成本平均降低70%

这套京东沉淀下来的大模型开发计算的技术,支撑了JoyBuild大模型开发计算平台,广泛服务行业用户。

JoyBuild能够为客户的大模型开发和行业应用开发,提供定制化解决方案。

它支持各类模型的调优开发,内置20余种开源模型和丰富的数据集,并提供100余种算法和工具链,帮助企业根据自身业务特征,将通用模型迅速转化为专业模型,一站式应用大模型

现在,不到一周时间,企业即可完成从数据准备、模型训练到模型部署的全流程;之前需要10余人的科学家团队工作,现在只需要1-2个算法人员;通过平台模型加速工具优化,节约90%的推理成本。

京东丰富的业务场景,还为平台上的基础大模型提供具体的行业应用场景,加速基于大模型的商业化落地。

在行业知识库之外,JoyBuild沉淀了京东自己的零售、物流、健康、金融等行业Know-How,可应用于供应链优化、智能客服、营销内容生成等各类场景,加速模型普惠。

京东给出的大模型解法并不是“黑箱”,而是一条解决大模型训练效率及应用问题的通用路径,是真正的“授之以渔”。

未来,京东将进一步提升大模型开发与计算效率,让中小型和大型企业都能低成本、高效构建专属AI应用,助推AI规模化应用落地。

相关内容

热门资讯

合肥承接国家数据要素综合试验区...   2025年,合肥市高标准推进承接国家数据要素综合试验区建设任务,在承接的18项试点任务中,16项...
金命弱的人起什么名字好,八字金... 中国十大杰出起名大师谢咏谈:金命弱的人起什么名字好,八字金命弱的人如何取名改名字 金命弱的人起名字宜...
最新或2023(历届)四川暑假... 最新或2023(历届)四川暑假放假时间表,四川幼儿园中小学高中暑假放假时间和开学时间安排通知 最新或...
最新或2023(历届)湖北暑假... 最新或2023(历届)湖北暑假放假时间表,湖北幼儿园中小学高中暑假放假时间和开学时间安排通知据了解,...
尹锡悦是如何“另辟蹊径”解决“... 01 楔子 这两天我刷到了一则让人大跌眼镜的新闻,说的是:韩国前总统尹锡悦在任期间,因为经常上班迟到...