CN111572562A - 自动驾驶方法、装置、设备、***、车辆和计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种基于神经网络的自动驾驶方法，神经网络包括经训练的第一特征提取部分、第二特征提取部分和决策部分，第一特征提取部分和决策部分是前馈神经网络，第二特征提取部分是卷积神经网络，方法包括：将与车辆的自动驾驶相关联的第一类数据输入第一特征提取部分以提取出第一类特征，第一类数据是一维数据；将与车辆的自动驾驶相关联的第二类数据输入第二特征提取部分以提取出第二类特征，第二类数据是多维数据；将第一类特征和第二类特征输入决策部分，以确定自动驾驶的车辆当前的驾驶策略。还公开了自动驾驶装置等。

Description

自动驾驶方法、装置、设备、***、车辆和计算机可读存储介质

技术领域

本申请涉及自动驾驶，更具体地，涉及自动驾驶方法、装置、设备、***、车辆和计算机可读存储介质。

背景技术

自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术，有着广泛的应用前景。

2013年，美国交通部下辖的美国国家公路交通安全管理局（NHTSA），率先发布了自动驾驶汽车的分级标准，其对自动化的描述共有4个级别，其包括特定功能自动化、部分自动化、有条件自动化、完全自动化四个阶段，其大概意思就是车辆自动化程度和操控车辆接管时人类参与的程度，人参与度越低自动驾驶程度越高。

2014年，美国国际自动机工程师学会（SAE）也制订了一套自动驾驶汽车分级标准，其对自动化的描述分为5个等级，其增加了完全自动驾驶这一项最高水平的自动驾驶。这为我们判定目前市场上这些在售车型的自动驾驶级别提供了一个可靠的标准。

下表描述了NHTSA和SAE给出的自动驾驶级别。

发明内容

本发明的实施例提供了一种基于神经网络的自动驾驶方法、装置、设备、***、车辆和计算机可读存储介质。

根据本发明的第一方面，提供一种基于神经网络的自动驾驶方法，其中，神经网络包括经训练的第一特征提取部分、第二特征提取部分和决策部分，其中，第一特征提取部分和决策部分是前馈神经网络，第二特征提取部分是卷积神经网络，该方法包括：将与车辆的自动驾驶相关联的第一类数据输入神经网络的第一特征提取部分以提取出第一类特征，其中，第一类数据是一维数据；获取与车辆的自动驾驶相关联的第二类数据，并输入神经网络的第二特征提取部分以提取出第二类特征，其中，第二类数据是多维数据；以及将第一类特征和第二类特征输入神经网络的决策部分，以确定自动驾驶的车辆当前的驾驶策略。

根据一个实施例，第一类数据包括：自动驾驶的车辆当前的任务数据、自动驾驶的车辆自身的状态数据以及当前的交通规则有关的数据，第二类数据包括：自动驾驶的车辆当前的目标障碍物的数据和自动驾驶的车辆当前行驶环境中的道路有关的数据，以及自动驾驶的车辆当前的驾驶策略包括：针对目标障碍物的决策结果。

根据一个实施例，任务数据包括与特定道路场景关联的任务数据。

根据一个实施例，第二类数据包括经采样的自动驾驶的车辆当前的目标障碍物的轨迹的坐标数据以及经采样的自动驾驶的车辆当前行驶环境中的道路边界的坐标数据。

根据一个实施例，经采样的自动驾驶的车辆当前的目标障碍物的轨迹的坐标数据以及经采样的自动驾驶的车辆当前行驶环境中的道路边界的坐标数据采用相同的格式。

根据一个实施例，神经网络的第一特征提取部分的输出节点和神经网络的决策部分中与之对应的输入节点以全连接的方式相连，神经网络的第二特征提取部分的输出节点和神经网络的决策部分中与之对应的输入节点以一一对应的方式相连。

根据一个实施例，自身的状态数据包括：自动驾驶的车辆的位置坐标、速度、朝向以及几何信息。

根据一个实施例，当前的交通规则有关的数据包括：指示自动驾驶的车辆当前面对的交通信号灯状态的数据。

根据一个实施例，当前的交通规则有关的数据包括：自动驾驶的车辆的当前道路的限速数据。

根据一个实施例，目标障碍物包括多个目标障碍物，决策结果包括分别针对多个目标障碍物的每一个的决策结果。

根据一个实施例，目标障碍物的确定与任务数据相关联。

根据一个实施例，第一类数据还包括目标障碍物的几何数据。

根据一个实施例，任务数据包括：直行、向左换道、向右换道、路口直行、路口左拐、路口右拐，合流。

根据一个实施例，决策结果包括：忽略、让行、绕行、跟从、避让和切入。

根据本发明的第二方面，提供一种基于神经网络的自动驾驶装置，神经网络包括经训练的第一特征提取部分、第二特征提取部分和决策部分，其中，第一特征提取部分和决策部分是前馈神经网络，第二特征提取部分是卷积神经网络，装置包括：第一提取模块，其配置来将与车辆的自动驾驶相关联的第一类数据输入神经网络的第一特征提取部分以提取出第一类特征，其中，第一类数据是一维数据；第二提取模块，其配置来将与车辆的自动驾驶相关联的第二类数据输入神经网络的第二特征提取部分以提取出第二类特征，其中，第二类数据是多维数据；以及确定模块，其配置来将第一类特征和第二类特征输入神经网络的决策部分，以确定自动驾驶的车辆当前的驾驶策略。

根据本发明的第三方面，提供了一种自动驾驶设备，包括：处理器；以及存储器，其被配置为在其上存储有计算机可执行指令，指令当在处理器中执行时，使得处理器实现上述第一方面及其任一实施例的方法。

根据本发明的第四方面，提供了一种其上存储计算机可执行指令的计算机可读存储介质，指令当由计算设备执行时，使得计算设备实现上述第一方面及其任一实施例的方法。

根据本发明的第五方面，提供了一种自动驾驶***，包括：数据获取装置，配置来获取与车辆的自动驾驶相关联的第一类数据和第二类数据，以及根据本发明的第三方面的自动驾驶设备。

根据一个实施例，数据获取装置包括车辆可用的感知***、电子地图、电子导航中的一个或多个。

根据本发明的第六方面，提供了一种车辆，包括根据本发明的第五方面的自动驾驶***。

通过设计复合的输入数据，例如包括一维数据和多维数据，以及通过设计一个深度神经网络来处理简单的数据，包括自动驾驶的车辆当前的场景类型，自动驾驶的车辆自车的状态，自动驾驶的车辆当前面对的信号灯的状态等，并设计一个与之并行的卷积神经网络来处理多维数据信号，包括障碍物的轨迹和道路的几何边界信息，可以有效利用有利于自动驾驶的现有数据而不必拘泥于一种数据结构，同时这种结构优化的神经网络可以极大发挥不同神经网络处理不同数据的优势，能够简化各部分神经网络的结构，从而简化整体神经网络的结构并提高其效率。

通过将任务与场景关联，进一步细化了任务，使得精细化的任务的获取与神经网络能够在功能上彼此相互支持、存在相互作用关系，从而有利于更准确地计算预期驾驶行为。

通过将目标障碍物的确定与任务相关联，而任务与道路场景相关联，从而使得目标障碍物数据的基于任务分析的获取与神经网络能够功能上彼此相互支持、存在相互作用关系，从而能够更准确地计算预期驾驶行为。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1图示了一种路口多障碍物的概念图。

图2a图示了根据本发明实施例的用于获得自动驾驶的车辆的驾驶策略的神经网络的一个结构示例。

图2b图示了根据本发明实施例的用于获得自动驾驶的车辆的驾驶策略的神经网络的又一个结构示例。

图3a图示了根据本发明实施例的一种场景下的环境车辆。

图3b图示了根据本发明实施例的另一种场景下的环境车辆。

图3c图示了根据本发明实施例的又一种场景下的环境车辆。

图4a图示了根据本发明实施例的用于获得自动驾驶的车辆的驾驶策略的神经网络的一部分中的一个数据转变的示例。

图4b图示了根据本发明实施例的用于获得自动驾驶的车辆的驾驶策略的神经网络的一部分中的又一个数据转变的示例。

图5图示了根据本发明实施例的基于神经网络的一个自动驾驶方法示例。

图6图示了根据本发明实施例的一种基于神经网络的自动驾驶装置示例。

图7图示了根据本发明实施例的硬件实施环境示意图。

具体实施方式

本申请实施例提供的方案涉及人工智能的自动驾驶等技术，为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

虽然自动驾驶不限于人工智能技术，但是，人工智能在自动驾驶应用中扮演了越来越重要的角色。

目前，市面上大都所在售的车型基本都只支持到L2级别的自动驾驶，也就是在车辆行驶中，车辆可以在特定道路或环境条件下进行自动驾驶，驾驶员不需要操控方向盘和油门，这两大手和脚的解放基本算是开启了自动驾驶的大门，在这个级别下，驾驶员需要随时注意道路情况并依旧关注路面，因此，在这个级别之下，我们更多的是体验而不是彻底的开放，比如0-150km/h的全速域自适应巡航***就是L2级别的自动驾驶。

目前致力于开发L3以上无人驾驶技术的公司和机构基本都面临处理复杂场景的难点，尤其是需要自车与周围多个车辆进行博弈与交互的场景。

特斯拉公司研发了Autopilot***，其优点是车道线的检测与处理比较稳定，人机交互完成度较高，但是对障碍物的处理不够鲁棒，依赖纯感知数据无法准确实现场景识别处理复杂场景，对于交叉路口、高速出入口等的障碍物处理还有巨大的挑战。凯迪拉克公司研发了CT6***，其同样难以在复杂场景下与多障碍物进行交互，对***的障碍物处理迟钝，目前的量产车型仅适用于封闭道路场景。图1以举例的方式示出了一种路口多障碍物的概念图，其中中间正在路口穿行的车辆为具有自动驾驶功能的车辆，其面对着复杂的道路状况和复杂的障碍物状况，给其自动驾驶过程中针对障碍物的行为决策带来挑战。我们希望自动驾驶车辆可以针对各种驾驶场景和任务来优化决策。

此外，在基于人工智能的自动驾驶技术中，处理复杂场景的神经网络的效率优化也是需要考虑的问题。

图2a图示了根据本发明实施例的用于获得自动驾驶的车辆的驾驶策略的神经网络的一个结构示例。该结构是一个复合的神经网络，可以分为三部分——神经网络的第一特征提取部分201（在图2a中示出在点划线框内）、神经网络的第二特征提取部分202（在图2a中示出在虚线框内）和神经网络的决策部分203（在图2a中示出在点点划线框内）。

神经网络根据神经元的不同，包含多种不同的类别，常见的有前馈神经网络（FNN），卷积神经网络（CNN）——编码了空间相关性、循环神经网络（RNN）——编码了时间相关性，和对抗神经网络（GAN）等。广义的深度神经网络包括上述任一及其组合，狭义的深度神经网络指前馈神经网络，简单的前馈神经网络甚至可以仅包括输入层和输出层，而复杂一些的具有隐藏层的前馈神经网络也称作多层感知网络（MLP），并且通常具有三部分——输入层、输出层以及至少一个隐藏层。本发明实施例中，神经网络的第一特征提取部分201和所述神经网络的决策部分203是前馈神经网络，神经网络的第二特征提取部分是卷积神经网络，但本发明不限于此。如图2a的示例中，神经网络的第一特征提取部分201具有三层，神经网络的决策部分203具有三层，但本发明不限于此，在其他示例中，神经网络的第一特征提取部分201可以有二层、四层等，而神经网络的决策部分203也可以具有其他层数，这取决于数据处理的复杂程度。

在该结构中，神经网络的第一特征提取部分201的输入均是一维数据，数据类型例如整数（int）、布尔型（bool）、浮点型（double、float）等，可以包括多个与自动驾驶有关的数据组，图2a中示出了三个数据组——自动驾驶的车辆当前的任务数据（简称任务）、自动驾驶的车辆自身的状态数据（简称自车状态）、作为当前的交通规则有关的数据的信号灯，但不限于此，还可以包括其他与自动驾驶的车辆有关的数据，例如目标障碍物几何数据、其他交通规则有关的数据（例如当前道路的限速数据）等等。神经网络的第一特征提取部分201的输出节点和神经网络的决策部分203中与之对应的输入节点共用，或者说二者是重合的。这一点不难理解，图2b示出了一个等效的神经网络，将重合的部分分开，也即第一特征提取部分201的输出节点和和神经网络的决策部分203中与之对应的输入节点以一一对应的方式相连。神经网络的第二特征提取部分202的输出节点和神经网络的决策部分203中与之对应的输入节点以一一对应的方式相连。也即，而神经网络的决策部分203的另一部分的输入，直接来自神经网络的第二特征提取部分202的输出。当然，神经网络的第一特征提取部分201、神经网络的第二特征提取部分202和神经网络的决策部分203之间的输入输出关系不限于图2a所述，而是可以具有其它变化的形式，例如，神经网络的第一特征提取部分201的输出节点和神经网络的决策部分203中与之对应的输入节点可以以一一对应的方式相连，但要达到同样的效果，可能需要在神经网络的决策部分203多设置一层节点，如图2b所示。因此图2a中示出的神经网络的第一特征提取部分201和神经网络的决策部分203之间的输入输出关系能够减少神经元的设置，进一步简化网络结构。

神经网络的第二特征提取部分202的输入是多维数据，包括但不限于二维数据，图2a中示出了障碍物和道路的数据，但不限于此。在一个示例中，神经网络的第二特征提取部分202依次包括卷积层、池化层、又一卷积层、又一池化层、平化层（Flattening）和全连接层。卷积神经网络会从输入信息中提取必要的特征数据，以用于后续神经网络的决策部分203的决策。在一个示例中，神经网络的决策部分203包括三层，依次全连接，最后输出自动驾驶的车辆当前的驾驶策略。

通过设计复合的输入数据，例如包括一维数据和多维数据，以及通过设计一个深度神经网络来处理简单的数据，包括自动驾驶的车辆当前的场景类型，自动驾驶的车辆自车的状态，自动驾驶的车辆当前面对的信号灯的状态等，并设计一个与之并行的卷积神经网络来处理多维数据信号，包括障碍物的轨迹和道路的几何边界信息，可以有效利用有利于自动驾驶的现有数据而不必拘泥于一种数据结构，同时这种结构优化的神经网络可以极大发挥不同神经网络处理不同数据的优势，能够简化各部分神经网络的结构，从而简化整体神经网络的结构并提高其效率。

下面结合图3a-图4进一步描述根据本发明实施例的用于获得自动驾驶的车辆的驾驶策略的神经网络的结构示例。

我们希望自动驾驶车辆可以针对各种驾驶场景和驾驶任务优化决策，例如交通合流，换道，交叉路口等。现有技术中，驾驶任务并不能很好地与驾驶场景结合起来。而对于不同的场景，例如路口和非路口，同样的驾驶任务，例如直行，驾驶策略可能会是不同的，考虑的目标障碍物也可能是不同的，不能一概而论。本发明的发明人认识到这一点，在输入数据的设计中体现与道路场景的关联，例如，神经网络的第一特征提取部分201的第一组输入数据为任务数据，设计任务数据包括与特定道路场景关联的任务，如下表所示：

任务	直行、向左换道、向右换道、路口直行、路口左拐、路口右拐、合流

基于该表，共有6类任务，则可以在一个示例中，设计6个输入层的神经元对应该组数据，每个神经元输入的数据类型均为布尔型。当然，本领域技术人员理解，任务的数目和种类不限于此，输入的数据类型也不限于此。

本发明实施例通过将任务与场景关联，进一步细化了任务，使得精细化的任务的获取与神经网络能够在功能上彼此相互支持、存在相互作用关系，从而有利于更准确地计算预期驾驶行为。在示例中，精细化的任务的获取可以通过自动驾驶的车辆可用的电子导航、感知***、电子地图等中的一个或多个而完成，但本发明不限于此。

根据图2a，神经网络的第一特征提取部分201的第2组输入数据为自车状态，如下表所示：

自车状态	位置坐标x轴、位置坐标y轴、速度、朝向、长度、宽度

包括自车的位置坐标、速度、朝向、以及必要的几何信息如长度、宽度等。在一个示例中，设计6个输入层的神经元对应该组数据，每个神经元输入的数据类型可以为浮点型。当然，本领域技术人员理解，自车状态的数目和种类不限于此，输入的数据类型也不限于此。

根据图2a，神经网络的第一特征提取部分201的第3组输入数据为信号灯，如下表所示：

信号灯

红灯、绿灯、黄灯

包括常规的三种信号灯——红灯、绿灯、黄灯的数据，可以用来描述红/黄/绿/无信号灯四个状态。在一个示例中，设计3个输入层的神经元对应该组数据，每个神经元输入的数据类型可以为布尔型，三者任一个输入“1”则表示该信号灯亮，输入都为“0”则可以表示无信号灯。当然，本领域技术人员理解，信号灯的数目和种类不限于此，而与具体地域的具体规则相关联，例如还可以包括减速信号灯、行人优先信号灯，等等，输入的数据类型也不限于此。

在另一实施例中，神经网络的第一特征提取部分201的输入层还可以添加更多的神经元以用于输入其他组的数据，例如用来描述目标障碍物的几何数据。如下表所示：

目标障碍物几何数据

目标障碍物1的长度、宽度；目标障碍物2的长度、宽度……目标障碍物N的长度、宽度

基于该表，共有N个目标障碍物，每个目标障碍物具有两个数据，因此共对应2N个数据，则可以在一个示例中，在神经网络的第一特征提取部分201的输入层设计2N个神经元对应该组数据，每个神经元输入的数据类型均为浮点型。在一个示例中，N取值为10，当然，本领域技术人员理解，目标障碍物的数目和几何数据的种类不限于此，输入的数据类型也不限于此。

目标障碍物的确定与任务相关联，进而可以与道路场景相关联。以下以目标障碍物的数目N取值为10为例进行说明。图3a图示了根据本发明实施例的一种场景下的环境车辆。其中，该场景是非路口场景，以填充的斜线示出的车辆31是根据本发明实施例的、具有根据本发明实施例的用于获得自动驾驶的车辆的驾驶策略的神经网络的结构的自动驾驶车辆，其当前的任务是向右换道，则选取的目标障碍物是1辆引导车——其正前方的车辆321，其左侧车道最近的3辆车——车辆322、323和324，其右侧车道最近的3辆车——车辆325和326（不足3辆，则对应神经元不做输入或者输入为0），以及可能存在换道冲突的远处车道最近的3辆车——即图3a中最后侧车道的3辆车——车辆327、328和329。

图3b图示了根据本发明实施例的另一种场景下的环境车辆。其中，该场景是非路口场景，以填充的斜线示出的车辆31是根据本发明实施例的、具有根据本发明实施例的用于获得自动驾驶的车辆的驾驶策略的神经网络的结构的自动驾驶车辆，其当前的任务是合流，则选取的目标障碍物是1辆引导车——其正前方的车辆321，其左侧车道最近的3辆车——车辆322和323（不足3辆，则对应神经元不做输入或者输入为0），以及可能存在换道冲突的远处车道最近的3辆车——即图3b中最后侧车道的车辆——车辆324和325（不足3辆，则对应神经元不做输入或者输入为0）。至此，目标障碍物的数目N为10所对应的神经元还剩余三个，不做输入或者输入为0。

图3c图示了根据本发明实施例的又一种场景下的环境车辆。其中，该场景是路口场景，比较复杂。以填充的斜线示出的车辆31是根据本发明实施例的、具有根据本发明实施例的用于获得自动驾驶的车辆的驾驶策略的神经网络的结构的自动驾驶车辆，其当前的任务是在路口右拐，则选取的目标障碍物是1辆引导车——其正前方的车辆321，其左侧车道最近的3辆车——车辆322和323（不足3辆，则对应神经元不做输入或者输入为0），以及可能存在换道冲突的其他车辆——例如目标车道的相邻车道的2辆车——车辆324（不足2辆，则对应神经元不做输入或者输入为0）、跨路口且在路口北的目标车道对应的直行车道及其相邻车道的两辆车——车辆325和326、跨路口的且在路口东的左拐车道上的一辆车——车辆327。同样地，剩余的神经元不做输入或者输入为0。

本发明实施例通过将目标障碍物的确定与任务相关联，而任务与道路场景相关联，从而使得目标障碍物数据的基于任务分析的获取与神经网络能够功能上彼此相互支持、存在相互作用关系，从而能够更准确地计算预期驾驶行为。目标障碍物数据的基于任务分析的获取可以通过自动驾驶的车辆可用的电子导航、感知***、电子地图等中的一个或多个而完成，但本发明不限于此。

应理解，虽然上述本申请实施例中列举的目标障碍物均为车辆，但可能存在冲突的行人、动物（诸如宠物），甚至静止物体，他们均可以作为目标障碍物。例如图3c中路口西南角等待过马路的行人和宠物等。与之有关的神经网络的输入数据可以灵活设置。

图4a图示了根据本发明实施例的用于获得自动驾驶的车辆的驾驶策略的神经网络的一部分——神经网络的第二特征提取部分202中的一个数据转变的示例。在一个示例中，输入数据经过神经网络的第二特征提取部分202的卷积层和池化层，得到数据Cov1，再经过又一卷积层和又一池化层，得到数据Cov2，再经过平化层（Flattening），得到数据FC1，最后经过全连接层，得到数据FC2。神经网络的第二特征提取部分202处理自动驾驶的车辆当前的目标障碍物的数据和自动驾驶的车辆当前行驶环境中的道路有关的数据。在一个示例中，自动驾驶的车辆当前的目标障碍物的数据是经采样的所述自动驾驶的车辆当前的目标障碍物的轨迹的坐标数据，自动驾驶的车辆当前行驶环境中的道路有关的数据是经采样的自动驾驶的车辆当前行驶环境中的道路边界的坐标数据。

自动驾驶的车辆当前的目标障碍物的选择可以参考结合图3a-图3c描述的实施例，在一个示例中，选择N个障碍物，N取值为10，每个障碍物对应神经网络的第二特征提取部分202的一个输入通道，取过去3秒的轨迹点，采样频率10hz,则每条轨迹采集到的轨迹点坐标数据量为2x30（采样的每个轨迹点数据包括横坐标和纵坐标），则仅就目标障碍物的数据而言，神经网络的第二特征提取部分202的数据输入是2xNx30。经过卷积层（在一个示例中，卷积核尺寸4x1,8个通道）和池化层的处理之后得到数据Cov1，（在该示例中是8xNx24），而后经过又一卷积层（在一个示例中，卷积核尺寸7x1,6个通道）和又一池化层处理之后得到数据Cov2 （在该示例中是6xNx12）。接着经过平化层的处理之后得到数据FC1 72xN，进一步经过全连接层处理之后得到数据FC2 20xN，即在该示例中是200个。也即，神经网络的第二特征提取部分202从选择的10个目标障碍物的历史轨迹中提取了200个特征。该神经网络的第二特征提取部分202的作用是通过目标障碍物过去3秒的轨迹预测其后一段时间的轨迹，从而为自动驾驶的车辆的驾驶策略提供依据。

类似的，可以对自动驾驶的车辆当前行驶环境中的道路边界的坐标数据做同样的处理。图4b图示了根据本发明实施例的用于获得自动驾驶的车辆的驾驶策略的神经网络的一部分中的另一个数据转变的示例。可以以与经采样的目标障碍物的轨迹同样的格式对自动驾驶的车辆当前的车道边界坐标进行处理，例如用两个通道对一侧的边界和另一侧的边界坐标数据进行同样格式的处理，则相应的，神经网络的第二特征提取部分202的数据输入是2x(N+2)x30。经过卷积层和池化层的处理之后得到数据Cov1 8x(N+2)x24，而后经过又一卷积层和又一池化层处理之后得到数据Cov2 6x(N+2)x12个。接着经过平化层的处理之后得到数据FC1 72x(N+2)，进一步经过全连接层处理之后得到数据FC2 20x(N+2)，即在该示例中是240个。也即，神经网络的第二特征提取部分202从选择的10个目标障碍物的历史轨迹以及边界信息中提取了240个特征。当然，在其他示例中，根据实际场景的不同，可能需要多个道路边界通道。本领域技术人员可以理解，其他采样方式也是可能的，经采样的自动驾驶的车辆当前的目标障碍物的轨迹的坐标数据和经采样的自动驾驶的车辆当前行驶环境中的道路边界的坐标数据的格式也可以是不同的。

根据本发明实施例，经采样的自动驾驶的车辆当前的目标障碍物的轨迹的坐标数据和经采样的自动驾驶的车辆当前行驶环境中的道路边界的坐标数据的格式相同时，可以简化卷积神经网络的结构，从而整体上简化整个神经网络的结构，提高运算效率。

照此，第二神经网络能够从输入信息中提取必要的特征数据，以用于后续神经网络的决策部分203的决策。

根据本发明实施例，采用经采样的所述自动驾驶的车辆当前的目标障碍物的轨迹的坐标数据和经采样的所述自动驾驶的车辆当前行驶环境中的道路边界的坐标数据，可以避免对原始图像数据的直接处理，利用例如车辆可用的感知***和电子地图获取这些数据，可以降低神经网络的第二特征提取部分的复杂度，从整体上提高整个神经网络的运算效率。

自此，神经网络的第二特征提取部分202生成的特征数据是一维数据，将对应输入神经网络的决策部分203的部分神经元中，而神经网络的决策部分203的另一部分神经元，以全连接的方式接收来自神经网络的第二特征提取部分201的输出。神经网络的决策部分203是全连接网络，在一个示例中，作为全连接网络的神经网络的决策部分203的激活函数采用线性整流函数（Rectified Linear Unit, ReLU），其又称修正线性单元。线性整流函数通常指代以斜坡函数及其变种为代表的非线性函数。相比于传统的神经网络激活函数，诸如逻辑函数（Logistic sigmoid）和tanh等双曲函数，线性整流函数有着以下几方面的优势：

首先，仿生物学原理：相关大脑方面的研究表明生物神经元的信息编码通常是比较分散及稀疏的。通常情况下，大脑中在同一时间大概只有1%-4%的神经元处于活跃状态。使用线性修正以及正则化（regularization）可以对机器神经网络中神经元的活跃度（即输出为正值）进行调试；相比之下，逻辑函数在输入为0时达到，即已经是半饱和的稳定状态，不够符合实际生物学对模拟神经网络的期望。不过需要指出的是，一般情况下，在一个使用修正线性单元（即线性整流）的神经网络中大概有50%的神经元处于激活态。

其次，更加有效率的梯度下降以及反向传播：避免了梯度***和梯度消失问题。

再次，简化计算过程：没有了其他复杂激活函数中诸如指数函数的影响；同时活跃度的分散性使得神经网络整体计算成本下降。

进一步地，在该示例中，优化器采用Adam，其结合了AdaGrad和RMSProp两种优化算法的优点。对梯度的一阶矩估计（First Moment Estimation，即梯度的均值）和二阶矩估计（Second Moment Estimation，即梯度的未中心化的方差）进行综合考虑，计算出更新步长。Adam优化器是工作性能比较优秀的优化器，其主要包含以下几个显著的优点：实现简单，计算高效，对内存需求少；参数的更新不受梯度的伸缩变换影响；超参数具有很好的解释性，且通常无需调整或仅需很少的微调；更新的步长能够被限制在大致的范围内（初始学习率）；能自然地实现步长退火过程（自动调整学习率）；很适合应用于大规模的数据及参数的场景；适用于不稳定目标函数；适用于梯度稀疏或梯度存在很大噪声的问题。

照此，经过例如三层到四层全连接层的计算，即可得出自动驾驶的车辆当前的驾驶策略，在一个示例中，该驾驶策略是针对每个障碍物的决策。图2a示出神经网络的决策部分203为三层，但本发明不限于此。在一个示例中，针对每个障碍物的决策如下表所示：

决策标签	忽略(ignore)、让行(yield)、绕行(bypass)、跟从(follow)、避让(avoid)、切入（cut-in）

一共6类标签，在一个示例中，所述神经网络的决策部分203的输出层包含6N个通道，每6个通道对应于一个障碍物的分类，采用例如布尔型的数据类型来表示针对每一个障碍物的决策。照此，针对目标障碍物的决策问题转化成一个针对多个目标障碍物的多分类问题。

以上重点对本发明实施例所基于的神经网络进行了描述，以上输入神经网络的、与车辆的自动驾驶有关的数据可以通过车辆可用的感知***、电子地图和电子导航设备中的一个或多个获取，并且不限于所描述的数据，任何影响和/或有利于车辆的自动驾驶的数据均可设计作为输入数据对神经网络进行训练。

在对如图2a所示的神经网络进行训练所需的数据可以针对具体场景通过实车测试进行采集，其中测试车辆具有感知***、电子地图和电子导航等中的一个或多个，以确定神经网络所需输入，结合后期人工筛选和标注对神经网络进行训练。

图5图示了根据本发明实施例的一种基于神经网络的自动驾驶方法示例。该神经网络例如上面结合图2a-5描述的神经网络，在此不再赘述，该方法始于步骤501，其中，将与车辆的自动驾驶相关联的第一类数据输入神经网络的第一特征提取部分201以提取出第一类特征。在步骤502，获取与车辆的自动驾驶相关联的第二类数据，并输入神经网络的第二特征提取部分202以提取出第二类特征。而后在步骤503，将第一类特征和第二类特征输入神经网络的决策部分203，以确定自动驾驶的车辆当前的驾驶策略。

应理解，上述步骤的描述顺序并不代表其执行顺序，除非后描述的步骤需以先描述的步骤的执行结果为前提。

图6图示了根据本发明实施例的一种基于神经网络的自动驾驶装置示例。该神经网络例如上面结合图2a-5描述的神经网络，在此不再赘述。自动驾驶装置600包括：第一提取模块601，其配置来将与车辆的自动驾驶相关联的第一类数据输入神经网络的第一特征提取部分以提取出第一类特征，其中，第一类数据是一维数据；第二提取模块602，其配置来将与车辆的自动驾驶相关联的第二类数据输入神经网络的第二特征提取部分以提取出第二类特征，其中，第二类数据是多维数据；以及确定模块603，其配置来将第一类特征和第二类特征输入神经网络的决策部分，以确定自动驾驶的车辆当前的驾驶策略。

图7图示了根据本发明实施例的硬件实施环境示意图。参见图7，在本发明的实施方式中，自动驾驶装置702包括处理器704，其中包括硬件原件710。处理器704例如包括一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或多个处理器。如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文描述的功能性可提供于经配置以用于自动驾驶的专用硬件和/或软件模块内，或并入在组合式的硬件和/或软件模块中。并且，可将所述技术完全实施于一个或多个电路或逻辑元件中。本公开中的方法可以在各种组件、模块或单元中实现，但不一定需要通过不同硬件单元来实现。而是，如上所述，各种组件、模块或单元可组合或由互操作硬件单元(包含如上所述的一个或多个处理器)的集合结合合适软件和/或固件来提供。

在一个或多个示例中，以上结合图1-图6所描述的技术方案可以硬件、软件、固件或其任一组合来实施。如果以软件实施，那么功能可作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质706传输，且由基于硬件的处理器执行。计算机可读介质706可包含对应于例如数据存储介质等有形介质的计算机可读存储介质，或包含促进计算机程序例如根据通信协议从一处传送到另一处的任何介质的通信介质。以此方式，计算机可读介质706通常可对应于（1）非暂时性的有形计算机可读存储介质，或（2）例如信号或载波等通信介质。数据存储介质可为可由一个或多个计算机或者一个或多个处理器读取以检索用于实施本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可包含计算机可读介质706。

举例来说且并非限制，此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD_ROM或其它光盘等存储器、磁盘存储器或其它磁性存储器、快闪存储器或可用来以指令或数据结构的形式存储所要程序代码且可由计算机读取的任何其它存储器712。而且，恰当地将任何连接称作计算机可读介质706。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于介质的定义中。然而应了解，计算机可读存储介质和数据存储介质不包含连接、载波、信号或其它瞬时介质，而是针对非瞬时有形存储介质。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘使用激光以光学方式再生数据。上文的组合也应包含在计算机可读介质706的范围内。

自动驾驶装置702还可以与用于传输数据的I/O接口706、以及其他功能714（例如数据获取装置，配置来获取与车辆的自动驾驶相关联的第一类数据和第二类数据，包括诸如感知、电子地图、电子导航等中的一个或多个）一起设置在自动驾驶设备700中。自动驾驶设备700可以包括在不同的车辆中，例如小汽车、摩托车、三轮车、卡车、燃油车和/或电动车等，这里图示了小汽车716、卡车718和其它车辆720。这些配置中的每个包括可以具有一般不同的构造和能力的设备，并且因此可以根据不同车辆类别中的一个或多个配置自动驾驶设备700。此外本发明的技术还可以通过使用分布式***、诸如通过如下所述的平台724在“云”722上全部或部分地实现。

云722包括和/或代表用于资源726的平台724。平台724抽象云722的硬件（例如，服务器）和软件资源的底层功能。资源726可以包括在远离计算设备702的服务器上执行计算机处理时可以使用的应用和/或数据。资源726还可以包括通过因特网和/或通过诸如蜂窝或Wi-Fi网络的订户网络提供的服务。

平台724可以抽象资源和功能以将计算设备702与其他计算设备连接。平台724还可以用于抽象资源的分级以提供遇到的对于经由平台724实现的资源726的需求的相应水平的分级。因此，在互连设备实施例中，本文描述的功能的实现可以分布在整个***内。例如，功能可以部分地在计算设备702上以及通过抽象云722的功能的平台724来实现。

根据本发明的各实施例，精细地考虑到基于场景的任务，以及基于任务的目标障碍物的确定，适于解决各种场景，包括复杂场景的目标障碍物的处理，适用于L4及以上自动驾驶场景。本发明实施例的神经网络结构灵活，可以有效利用有利于自动驾驶的现有数据而不必拘泥于一种数据结构，同时这种结构优化的神经网络可以极大发挥不同神经网络处理不同数据的优势，能够简化各部分神经网络的结构，从而简化整体神经网络的结构并提高其效率。

需要说明，本公开中出现的“第一”、“第二”等表述不代表指示重要性或步骤的先后，仅是用于区分。方法步骤在没有特别说明或者没有前提约束（即一个步骤的执行需以另一个步骤的执行结果为前提）的情况下，方法步骤的描述先后不代表他们的执行先后，所描述的方法步骤可以以可能的、合理的顺序执行。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种基于神经网络的自动驾驶方法，其特征在于：

所述神经网络包括经训练的第一特征提取部分、第二特征提取部分和决策部分，其中，所述第一特征提取部分和所述决策部分是前馈神经网络，所述第二特征提取部分是卷积神经网络，所述方法包括：

将与车辆的自动驾驶相关联的第一类数据输入所述神经网络的第一特征提取部分以提取出第一类特征，其中，所述第一类数据是一维数据；

将与所述车辆的自动驾驶相关联的第二类数据输入所述神经网络的第二特征提取部分以提取出第二类特征，其中，所述第二类数据是多维数据；以及

将所述第一类特征和所述第二类特征输入所述神经网络的决策部分，以确定所述自动驾驶的车辆当前的驾驶策略。

2.如权利要求1所述的方法，其特征在于：

所述第一类数据包括：所述自动驾驶的车辆当前的任务数据、所述自动驾驶的车辆自身的状态数据以及当前的交通规则有关的数据，

所述第二类数据包括：所述自动驾驶的车辆当前的目标障碍物的数据和所述自动驾驶的车辆当前行驶环境中的道路有关的数据，以及

所述自动驾驶的车辆当前的驾驶策略包括：针对所述目标障碍物的决策结果。

3.如权利要求2所述的方法，其特征在于：所述任务数据包括与特定道路场景关联的任务数据。

4.如权利要求1或2所述的方法，其特征在于：所述第二类数据包括经采样的所述自动驾驶的车辆当前的目标障碍物的轨迹的坐标数据以及经采样的所述自动驾驶的车辆当前行驶环境中的道路边界的坐标数据。

5.如权利要求4所述的方法，其特征在于：所述经采样的所述自动驾驶的车辆当前的目标障碍物的轨迹的坐标数据以及所述经采样的所述自动驾驶的车辆当前行驶环境中的道路边界的坐标数据采用相同的格式。

6.如权利要求1或2所述的方法，其特征在于：所述神经网络的第一特征提取部分的输出节点和所述神经网络的决策部分中与之对应的输入节点以全连接的方式相连，所述神经网络的第二特征提取部分的输出节点和所述神经网络的决策部分中与之对应的输入节点以一一对应的方式相连。

7.如权利要求2所述的方法，其特征在于：

所述自身的状态数据包括：所述自动驾驶的车辆的位置坐标、速度、朝向以及几何信息；

所述当前的交通规则有关的数据包括：指示所述自动驾驶的车辆当前面对的交通信号灯状态的数据，和/或所述自动驾驶的车辆的当前道路的限速数据；

所述目标障碍物包括多个目标障碍物，所述决策结果包括分别针对所述多个目标障碍物的每一个的决策结果；

所述第一类数据还包括所述目标障碍物的几何数据；以及

所述决策结果包括：忽略、让行、绕行、跟从、避让和切入。

8.如权利要求2所述的方法，其特征在于：所述目标障碍物的确定与所述任务数据相关联。

9.如权利要求2所述的方法，其特征在于：所述任务数据包括：直行、向左换道、向右换道、路口直行、路口左拐、路口右拐，合流。

10.一种基于神经网络的自动驾驶装置，其特征在于：

所述神经网络包括经训练的第一特征提取部分、第二特征提取部分和决策部分，其中，所述第一特征提取部分和所述决策部分是前馈神经网络，所述第二特征提取部分是卷积神经网络，所述装置包括：

第一提取模块，其配置来将与车辆的自动驾驶相关联的第一类数据输入所述神经网络的第一特征提取部分以提取出第一类特征，其中，所述第一类数据是一维数据；

第二提取模块，其配置来将与所述车辆的自动驾驶相关联的第二类数据输入所述神经网络的第二特征提取部分以提取出第二类特征，其中，所述第二类数据是多维数据；以及

确定模块，其配置来将所述第一类特征和所述第二类特征输入所述神经网络的决策部分，以确定所述自动驾驶的车辆当前的驾驶策略。

11.一种自动驾驶设备，其特征在于：包括：

处理器；以及

存储器，其被配置为在其上存储有计算机可执行指令，所述指令当在所述处理器中执行时，使得所述处理器实现如权利要求1-9中任一项所述的方法。

12.其上存储计算机可执行指令的计算机可读存储介质，其特征在于：所述指令当由计算设备执行时，使得所述计算设备实现如权利要求1－9中的任一项所述的方法。

13.一种自动驾驶***，其特征在于：包括：

数据获取装置，配置来获取与车辆的自动驾驶相关联的第一类数据和第二类数据，以及

如权利要求11所述的自动驾驶设备。

14.如权利要求13所述的自动驾驶***，其特征在于：

所述数据获取装置包括车辆可用的感知***、电子地图、电子导航中的一个或多个。

15.一种车辆，其特征在于：包括如权利要求13所述的自动驾驶***。

Images