邓志东：端到端新范式推动高阶智驾发展与用户体验升级

专题：2024全球智能汽车产业大会（GIV）

　　全球智能汽车产业大会（2024GIV）9月29日在合肥举行，主题为人工智能时代的智能汽车发展。清华大学计算机科学与技术系教授邓志东出席并演讲。

　　邓志东指出，端到端新范式的核心是引入了基于学习的决策推理与规划。从本质上看，新范式与传统方法不同，传统基本上决策与规划部分采取基于逻辑规则方法进行的，现在这种方法基于学习去完成，最重要的决策推理与规划。有了这个方法之后，端到端解决方案有可能像人一样开车，达到人的水平。

　　邓志东认为，端到端新范式推动高阶智驾发展与用户体验升级。他具体谈到了三个方面。

　　1、在自动驾驶的实践过程中首先要去做构建高质量的多模态的训练数据集，这个数据集对端到端自动驾驶解决方案，甚至比模型本身还要重要。

　　2、端到端自动驾驶试验当中注重如何结合众多的特定任务去做各种AI增强技术，不是简单的输入输出就解决问题了，中间非常复杂。邓志东说，这是一个快思维本能直觉的方法，涉及到多模态大模型的部分需要自监督，需要解决残存记忆，使用人类多模态大型语言模型，同时需要使用各种增强技术，包括类似于提示增强，现在的OpenAI o1就使用大量的提示增强。

　　3、自动驾驶试验过程中要特别重视多模态交互式的智能体，自回归生成式人工智能本质上就是一个模仿学习加上交互式的智能体或者深度强化学习。邓志东具体指出，首先是模仿，多模态大模型的应用就是模仿。其次，在模仿学习的基础之上，利用深度强化学习，对齐人类的智能行为与动作技能，使得最终获得端到端的新范式，进一步像人类一样学开车。

　　“像人类一样开车，一个是学习开车，一个是自己怎么去开车，都像人一样，以这样的方式进一步助推我们高阶智驾的发展与用户体验的升级。”邓志东说。

　　新浪声明：所有会议实录均为现场速记整理，未经演讲者审阅，新浪网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。