小米首个推理大模型开源 数学与代码测评超越OpenAI
创始人
2025-04-30 13:48:03
0

4月30日,小米公司于“Xiaomi MiMo”公众号正式宣布开源其首个专注于推理能力的大模型「Xiaomi MiMo」。小米官方表示,该模型以7B(70亿)参数规模,在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)等公开测评中表现优异,超越OpenAI的闭源模型o1-mini及阿里Qwen2.5-32B等更大规模的开源模型。

小米技术团队表示,MiMo的核心突破在于预训练与后训练阶段的协同优化。在预训练阶段,模型通过挖掘高质量推理语料并合成约2000亿tokens专项数据,采用三阶段渐进训练策略,累计训练量达25万亿tokens。

后训练阶段则引入创新强化学习技术,包括自研的"Test Difficulty Driven Reward"算法和"Easy Data Re-Sampling"策略,有效提升模型在复杂任务中的稳定性。技术团队还开发了"Seamless Rollout"系统,使训练效率提升2.29倍,验证速度加快1.96倍。

值得注意的是,小米官方表示,MiMo-7B在相同强化学习训练数据下,数学与代码领域的表现显著优于当前业界广泛使用的DeepSeek-R1-Distill-7B和Qwen2.5-32B模型。

目前,小米已在HuggingFace平台开源MiMo-7B全系列4个模型,并发布详细技术报告。

【来源:凤凰网科技】

相关内容

热门资讯

弟弟“倾尽所有”安慰高考失利的... 在姐姐高考失利陷入失落与沮丧之时,弟弟展现出了无比温暖的举动。他仿佛将自己的一切都倾注而出,用稚嫩却...
蔡澜曾说对死亡没有畏惧!两年间... 根据@蔡澜 微博:“我们敬爱的蔡澜先生于2025年6月25日,在亲友陪同下,于香港养和医院安详离世。...
每年可节约电量约285万度!内... 转自:草原云记者6月27日从内蒙古自治区机关事务管理局了解到,该局以加强能源资源节约集约利用为抓手,...
11种(类)水污染物被纳入《有... 转自:北京日报客户端为贯彻落实《中华人民共和国水污染防治法》,加强水环境风险防控,保障公众健康与水生...
健康人生,绿色无毒——岚皋县司... 为深入贯彻落实国家禁毒工作部署,增强群众识毒、防毒、拒毒意识,营造全民参与禁毒的良好社会氛围,6月2...