月之暗面开源Moonlight：30亿/160亿参数混合专家模型
创始人
2025-02-24 12:36:14
公司动态
经济观察网讯 2月24日，月之暗面Kimi发布了“Muon可扩展用于LLM训练”的新技术报告，并宣布推出“Moonlight”：一个在Muon上训练的30亿/160亿参数混合专家模型（MoE）。使用了5.7万亿个token，在更低的浮点运算次数（FLOPs）下实现了更好的性能，从而提升了帕累托效率边界。（编辑 万佳）
相关内容
热门资讯
黄色预警！福州刚刚发布！今晚出...
霜冻黄色预警！福州刚刚发布！今晚要出门的小伙伴注意啦！ 2026年1月10日16时09分，福州...
“返本还原第四回——小尺幅版画...
转自：扬子晚报由江苏省美术馆主办、江苏版画院（水印版画材料与技术研究文化和旅游部重点实验室）承办的“...
警察节特辑：致敬边境线上的“无...
朔风卷着雪粒，拍打在圈河口岸的跨境公路大桥上。晨光里，未消的积雪裹着冻土泛着冷光，移民管理警察聂宏博...
吉林边检轮训大队警察节：警旗宣...
1月9日，在第六个“中国人民警察节”即将到来之际，吉林出入境边防检查总站轮训大队以“忠诚铸警魂、奋进...
国际丨中国女导演柬埔寨坠亡案2...
1月10日，柬埔寨警方表示已依法拘留23岁中国女导演金边坠亡案2名嫌疑人。2名嫌疑人是死者的朋友，分...