理想汽车发布下一代自动驾驶架构MindVLA 可显著提升安全下限
创始人
2025-03-19 16:53:16

3月18日,理想汽车自动驾驶技术研发负责人贾鹏在NVIDIA GTC 2025进行主题演讲《VLA:迈向自动驾驶物理智能体的关键一步》,分享理想汽车对下一代自动驾驶技术MindVLA的最新思考和进展。

贾鹏说:“MindVLA是机器人大模型,它成功整合了空间智能、语言智能和行为智能。MindVLA将把汽车从单纯的运输工具转变为贴心的专职司机,它能听得懂、看得见、找得到。我们希望MindVLA能为汽车赋予类似人类的认知和适应能力,将其转变为能够思考的智能体。”

据介绍,MindVLA打破自动驾驶技术框架设计的传统模式,使用能够承载丰富语义,且具备出色多粒度、多尺度3D几何表达能力的3D高斯(3D Gaussian)这一优良的中间表征,充分利用海量数据进行自监督训练,极大提升了下游任务性能。

MindVLA利用Diffusion将Action Token解码成优化的轨迹,并通过自车行为生成和他车轨迹预测的联合建模,提升在复杂交通环境中的博弈能力。同时,Diffusion可根据外部条件,例如风格指令、动态调整生成结果。为解决Diffusion模型效率低的问题,MindVLA采用Ordinary Differential Equation(常微分方程)采样器,实现2-3步就能完成高质量轨迹的生成。面对部分长尾场景,理想建立起人类偏好数据集,并且应用RLHF(基于人类反馈的强化学习)微调模型的采样过程,最终使MindVLA能够学习和对齐人类驾驶行为,显著提升安全下限。

相关内容

热门资讯

镶黄旗发展察哈尔羊产业推进乡村... (来源:内蒙古日报)转自:内蒙古日报□本报记者  巴依斯古楞  通讯员  韩满都拉  加快农业农村现...
农发行包头市分行金融活水精准滴... (来源:内蒙古日报)转自:内蒙古日报“十四五”期间,农发行包头市分行以服务大局为笔、以政策性金融为墨...
咸丰为什么会是被低估的皇帝 他... 乾隆皇帝晚年的自满心态,让清朝从鼎盛开始走上下坡路,而嘉庆皇帝的宽纵,道光皇帝的懈怠,都加速了这一衰...
中华人民共和国刑法修正案九受贿...   最新或2023(历届)8月29日,第十二届全国人大常委会第十六次会议通过了《中华人民共和国刑法修...
最新或2023(历届)刑法修正...   记者从自治区公安厅交管局获悉,《中华人民共和国刑法修正案(九)》已由中华人民共和国第十二届全国人...