文心大模型4.5系列正式开源
创始人
2025-07-03 07:17:40
0

  本报讯 6月30日,百度正式开源文心大模型4.5系列模型,涵盖47B、3B激活参数的混合专家(MoE)模型与0.3B参数的稠密型模型等10款模型,并实现预训练权重和推理代码的完全开源。目前,文心大模型4.5开源系列已可在飞桨星河社区、Hugging Face等平台下载部署使用,同时开源模型API服务也可在百度智能云千帆大模型平台使用。

  据介绍,文心大模型4.5开源系列针对MoE架构提出了一种创新性的多模态异构模型结构,适用于从大语言模型向多模态模型转变的持续预训练范式,在保持甚至提升文本任务性能的基础上,增强了多模态理解能力,其性能提升主要得益于多模态混合专家模型预训练、高效训练推理框架和针对模态的后训练等关键技术点。

  此外,文心大模型4.5开源系列均使用飞桨深度学习框架进行高效训练、推理和部署。在大语言模型的预训练中,模型FLOPs利用率(MFU)达到47%。实验结果显示,其系列模型在多个文本和多模态基准测试中达到SOTA水平,在指令遵循、世界知识记忆、视觉理解和多模态推理任务上有较好效果。

  在文本模型方面,文心大模型4.5开源系列在多个主流基准评测中超越DeepSeek-V3、Qwen3等模型。在多模态模型方面,文心大模型4.5开源系列拥有较强视觉感知能力,同时精通丰富的视觉常识,并实现了思考与非思考统一,在视觉常识、多模态推理、视觉感知等主流的多模态大模型评测中优于闭源的OpenAI o1。

  据了解,文心大模型4.5开源系列权重按照Apache 2.0协议开源,支持开展学术研究和产业应用。此外,基于飞桨提供开源的产业级开发套件,广泛兼容多种芯片,降低模型的后训练和部署门槛。

  百度飞桨是中国首个自主研发、功能丰富、开源开放的“产业级深度学习平台”,基于多年飞桨开源技术与生态系统积累,此次文心大模型4.5开源系列同步升级发布文心大模型开发套件ERNIEKit和大模型高效部署套件FastDeploy,为文心大模型4.5系列及开发者提供开箱即用的工具和全流程支持。 (度欣)

相关内容

热门资讯

多项业务违规,云南水富农村商业... 转自:北京商报北京商报讯(记者 孟凡霞 实习记者 周义力)7月3日,国家金融监管总局昭通金融监管分局...
【漫画】着“蘑” 转自:北京日报客户端6月份以来,上苍山采菌子成为到大理旅游“必打卡”项目,有人做起带游客进山采菌的生...
理想汽车6月销量同比下降24%... .ct_hqimg {margin: 10px 0;} .hqimg_wrapper {text-a...
CTA:趋势俯冲了,就问量化慌... 来源:紫金天风期货研究所量化周报(6.23-6.27)紫金天风期货研究所 量化组 2025年7月1日...
江西南昌:2025民办高中高质... 来源:环球网 在人工智能加速发展和教育强国战略深入推进的大背景下,为推动高中教育多样化、特色化和创新...