面壁小钢炮4.0发布:性能比肩 Qwen-3-8B,极限220倍提速
创始人
2025-06-10 17:47:49
0

  Hehson科技讯 6月10日下午消息,近日,面壁智能第四代“面壁小钢炮” MiniCPM4.0 端侧模型(代号“前进四”)发布。据悉,第四代小钢炮拥有 8B 、0.5B两种参数规模,实现了同级最佳的模型性能。可让长文本、深思考在端侧真正跑起来,实现220倍极限加速。

  其中,MiniCPM 4.0-8B 模型为稀疏注意力模型,在MMLU、CEval、MATH500、HumanEval等基准测试中,以仅22%的训练开销,性能比肩 Qwen-3-8B、超越Gemma-3-12B。MiniCPM 4.0-0.5B在性能上,也较更大的Qwen-3-0.6B、Llama 3.2实现仅2.7%的训练开销,一半参数性能翻倍,并实现了最快  600 Token/s的极速推理速度。

  相较于Qwen-3-8B、Llama-3-8B、GLM-4-9B等同等参数规模端侧模型,实现了长文本推理速度5倍常规加速以及最高  220倍加速(显存受限极限场景下测出),让端侧模型长文本推理“快如闪电”。面壁智能联合创始人兼首席科学家刘知远在与Hehson科技沟通中表示,“最高220倍加速,其实是建立在我们模型架构、数据治理、软硬件结合、训练等方面全栈创新优化成果之上的。”

  刘知远指出,220倍的加速看上去比较夸张,但本身其实存在一个特殊性——由于MiniCPM4.0 在处理更长序列的数据时,可以更好地去处理Transformer架构带来的内存爆炸问题,避免了长序列数据处理带来的内存占用倍增,而同尺寸的Qwen-3-8B、Llama-3-8B等模型并未就此进行优化,因此MiniCPM4.0有了突出的表现。

  据悉,MiniCPM 4.0 模型采用的InfLLMv2稀疏注意力架构改变了传统 Transformer 模型的相关性计算方式,有效摆脱了逐字重复计算的低效,将稀疏度从行业普遍的40%-50%,降至极致的5%,注意力层仅需1/10的计算量即可完成长文本计算。且对算子底层重写,进一步加速提升,并使得对文本相关性精准性大大提升。

  值得一提的是,DeepSeek 使用的长文本处理架构NSA(Native Sparse Attention)也引用并采用了与InfLLM相同的分块注意力计算思路,但其对于短文本的推理较慢,InfLLMv2则很好地解决了NSA在短文本推理上的短板。

  在缓存消耗上,MiniCPM 4.0-8B在 128K 长文本场景下相较于Qwen3-8B仅需 1/4 的缓存存储空间。在速度、性能飙升的同时,又做到了模型极致压缩,让端侧算力不再有压力。

  据悉,基于 8B 版本,面壁智能已微调出两个特定能力模型,分别可以用作 MCP Client 和纯端侧性能比肩Deep Research的研究报告神器MiniCPM4-Surve。截至目前,面壁小钢炮 MiniCPM 系列全平台下载量累计破1000万。(文猛)

相关内容

热门资讯

传硅谷投资大佬Peter Th... 据媒体周二报道,硅谷投资大佬、亿万富翁支持的加密货币交易所 Bullish 近几周已向美国证券交易委...
特朗普演讲现场竖起超两米防弹玻... 当地时间6月10日,美国总统特朗普在北卡罗来纳州布拉格堡发表纪念美国陆军成立250周年的演讲。演讲中...
数字货币板块强势 雄帝科技涨幅...   06月11日消息,截止14:20,数字货币板块强势,楚天龙、南天信息、ST证通(维权)、*ST仁...
红蜻蜓涨2.13%,成交额51... 6月11日,红蜻蜓盘中上涨2.13%,截至14:24,报6.23元/股,成交5132.53万元,换手...
“右眼瞬间失明”!女游客玩漂流... 6月10日,“女子漂流遭高压水枪攻击致失明后肇事者逃走”一事引发关注。据报道,6月9日,一女子在社交...
包装空壳公司骗取国家高新技术补... 转自:中工网法治日报记者 张雪泓高新技术企业资格可使企业获得税收减免、奖补措施和政策倾斜,国家设立科...
博创科技跌2.01%,成交额7... 6月11日,博创科技盘中下跌2.01%,截至14:19,报52.66元/股,成交7.35亿元,换手率...
1-5月我国汽车销量达1274... 转自:央视新闻记者11日从中国汽车工业协会获悉,最新数据显示,今年前5个月,汽车产销量同比增长均超1...
稳定币概念股反弹 雄帝科技触及... 稳定币概念股反弹,雄帝科技触及涨停,此前楚天龙、南天信息涨停,恒宝股份(维权)、四方精创、天阳科技等...
拦截电信诈骗 筑牢反诈防线 “感谢你们,保住了我们老两口的养老钱,以后我们一定增强防范意识,多留一个心眼!”提起反诈遭遇,招商银...
艺绽 | 深情忆恩师,自曝大师... 转自:北京日报客户端对郎朗这样知名的音乐家而言,来去如风地穿梭于世界各地,是再常见不过的事。但不久前...
中国交建投资成立轨道交通运营管... 人民财讯6月11日电,企查查APP显示,近日,中交(天津)轨道交通运营管理有限公司成立,法定代表人为...
网红甜菜根竟是营养宝库 但这两... 甜菜根,有多少人吃过?随着气温升高,市面上一些含有甜菜汁的饮料上架,商家都在宣传健康、美颜。△某外卖...
掌趣科技涨2.22%,成交额8... 6月11日,掌趣科技盘中上涨2.22%,截至14:22,报5.53元/股,成交8.17亿元,换手率5...
“军创贷”专项扶持显成效 “20万元已到账,从申请贷款到资金到账用时不到一周,还有政府贴息,‘军创贷’真是好啊。”金溪县退役军...
又入主一家上市公司!起底“金源... 出品 | 风财讯fengcaixn作者 | W=T=T庞大的“世纪金源系”又在全新领域增加了一块资本...
中科曙光涨超3%,数字经济ET... 截至2025年6月11日 13:41,中证数字经济主题指数(931582)上涨0.36%,成分股中科...
中国潮玩改写文化出海剧本   全世界都在为一款中国玩具疯狂。  近期,从洛杉矶到伦敦,从米兰到东京,各大城市的泡泡玛特门店前均...
“请听档案说”赣州赣县区开展“... 6月9日上午,赣州赣县区委办(区档案局)联合区档案馆、区委国安办、区消防救援大队在城南社区新时代文明...
【图解】一季度跨省异地就医直接... 内容来源:人民日报(责任编辑:马常艳)