7B参数规模能力超越OpenAI !小米推出首个推理开源大模型Mimo【附大模型行业发展趋势分析】
创始人
2025-05-05 16:45:53
0

(图片来源:摄图网)

据“小米大模型”公众号消息,小米开源首个为推理(Reasoning)而生的大模型「XiaomiMiMo」,联动预训练到后训练,全面提升推理能力,目前MiMo-7B的全系列模型均已实现开源

在数学推理(AIME24-25)和代码竞赛(LiveCodeBenchv5)公开测评集上,MiMo仅用7B的参数规模,超越了OpenAI的闭源推理模型o1-mini和阿里Qwen更大规模的开源推理模型QwQ-32B-Preview。

小米技术团队表示,MiMo的核心突破在于预训练与后训练阶段的协同优化。在预训练阶段,模型通过挖掘高质量推理语料并合成约2000亿tokens专项数据,采用三阶段渐进训练策略,累计训练量达25万亿tokens。

后训练阶段则引入创新强化学习技术,包括自研的"Test Difficulty Driven Reward"算法和"Easy Data Re-Sampling"策略,有效提升模型在复杂任务中的稳定性。技术团队还开发了"Seamless Rollout"系统,使训练效率提升2.29倍,验证速度加快1.96倍。

大模型是指包含超大规模参数(通常在十亿个以上)的神经网络模型。这些模型基于神经网络结构构成,受到人脑神经系统结构的启发,由人工神经元(节点)和它们之间的连接组成。通过调整这些连接的权重,神经网络能够学习和适应输入数据的模式。当前,全球AI大模型行业正处于技术创新与商业化加速推进的阶段。OpenAI、Google、微软等美国企业在这一领域处于领先地位,主导着生成式AI、自然语言处理等技术的发展,其模型如GPT系列和PaLM等已经得到了广泛应用。

其中,中国科技公司在大模型领域掀起的开源浪潮,正以技术破局之势重塑全球人工智能创新版图。

中国大模型发展经历了三个主要阶段。初期探索阶段(2000年代初至2010年代初)主要集中在基础AI理论和小规模应用的研究,缺乏大规模数据和高性能计算资源。随着2012年深度学习的兴起,进入了快速发展阶段(2010年代初至2020年初),期间国内大企业如阿里巴巴、百度、腾讯和华为开始大力投资AI技术,推动了大模型技术的发展和应用。到了成熟与应用阶段(2020年初至今),中国在自然语言处理和计算机视觉等领域的大模型技术已达到国际先进水平,模型广泛应用于商业、医疗、法律等多个行业。展望未来,预计中国将进一步加强跨模态、多任务学习的应用,提升模型的透明度和安全性,巩固其在全球AI竞争中的地位。

当前全球的人工智能产业处于高速发展期,大模型技术引领着人工智能领域正在迈向新的发展高度。前瞻产业研究院初步测算,到2030年,我国大模型市场规模将超过2200亿元,年复合增速在40%以上

创新工场董事长兼零一万物CEO李开复表示,在AI技术快速发展的浪潮下,2025年会是AI应用大规模落地的元年。过去两年大模型能力不断提升,在问答能力上已经远超人类。新技术持续突破,数字化AI与真实物理世界将进一步融合。较云计算,AI2.0应用层的爆发周期将缩短到两年内。超大预训练模型的价值将进一步体现在“教师模型”的角色中,其本质将更趋近于大模型时代的基础设施。学习范式正从“人教AI”到“AI教AI”转变。

前瞻经济学人APP 产业观察组

更多行业研究分析详见:

【1】《》,前瞻产业研究院

同时前瞻产业研究院还提供、、、、、、、、、、、等解决方案。如需转载引用本篇文章内容,请注明资料来源(前瞻产业研究院)。

相关内容

热门资讯

《刑警的日子》才播3集,就好评... 《刑警的日子》可以开看了!原以为步入五月后,成毅的《赴山海》和张新成的《艰难的制造》,会一窝蜂地抬上...
“衬衫+短裤”今年最火穿搭,这... 立夏初至,衣橱里也该有新的转变。气温渐高,阳光已不再柔和,风里也多了几分热意。在这样的日子里,职场女...
瑾汐一家到达福建养家!拥抱妈妈... 缘分总是妙不可言。看到瑾汐30多年后找到了亲生父母,才发现血缘这个东西,还真是说不清楚,尽管这么多年...
王菲谢霆锋,命比石头硬 活久见系列更新。4月24日-27日,谢霆锋时隔20年再开演唱会。香港半个娱乐圈的人都去打call,包...
从水果盆栽到AI卖水果,拼多多... 刚刚过去的五一小长假,上海“五五购物节”迎来开门红。“工位盆栽搭子、阳台花卉组合……我们近期针对上海...
原创 突... 最近,中美贸易关系再度成为全球瞩目的焦点。5 月 2 日上午,中国商务部在官网以答记者问的形式释放重...
意法轻纺城干货风暴!顽石频道石... 2025年4月27日,顽石频道《AI赋能服饰行业-DeepSeek+服饰行业应用普及》活动在杭州意法...
央视49集微短剧《狮城山海》越... 今天看了一部国产剧年代传奇剧!央视八套次黄金档开播的49集新剧《狮城山海》,讲述的关于南洋“山海帮”...
英沣特申请基于AI的机房冷却智... 金融界2025年5月5日消息,国家知识产权局信息显示,北京英沣特能源技术有限公司申请一项名为“基于A...
原创 全... 广告、电商、直播等核心业务增速放缓的压力,促使快手需要尽快找到新的增长点,如今AI正是其选定的答案之...
中联教育申请基于生物进化算法的... 金融界2025年5月5日消息,国家知识产权局信息显示,中联集团教育科技有限公司申请一项名为“基于生物...
华为技术申请开源软件的监测方法... 金融界2025年5月5日消息,国家知识产权局信息显示,华为技术有限公司申请一项名为“开源软件的监测方...
沉浸体验·AI上岗·治愈经济—... 新华社广州5月5日电(记者邓瑞璇、郭翔、段菁菁)从百年老街的烟火市集到机器人滑雪的赛博秀场,从手作陶...
《乘风2025》吴宣仪不选叶童... 《乘风2025》四公分组选人,两组抢谭薇,两组抢吴宣仪。叶童为什么没抢到吴宣仪?王珞丹又为什么抢到了...
刚刚,南京发射火箭弹18枚! 据@南京气象,5月5日,南京市增雨小分队根据合适的天气条件,适时开展人工增雨作业。 于1:39至1...
《山楂树之恋》出微短剧版,有时... 5月5日,电视剧《山楂树之恋》在腾讯视频6集上线,正式首播。这部剧作,每集只有10分钟前后的剧情内容...
《水饺皇后》也没能“救市”,“... 作者 | 李寻欢编辑 |赤木瓶子想过五一档会很冷,但真经过观众们的投票后,五一档的冷清程度还是出乎了...
对话商汤绝影CEO王晓刚:用A... 2025实属智能辅助驾驶和AI汽车井喷式发展的一年,而在2025上海车展中,商汤绝影也带来了他们的系...
蛮好的人生:最好的男人,不是丁... 图片来源:相关截图,特别致谢,侵删。《蛮好的人生》大结局:胡曼黎可谓是桃花朵朵开,三个男人同时向她抛...
《绝密较量》:三大疑点,第一个... 今年播出了两部国安题材的电视剧,一部是《真心英雄》第二单元的《无名》,另外一部就是正在热播的《绝密较...