CN116012806B - 一种车辆检测方法、装置、检测器、***和模型训练方法 - Google Patents

Abstract

本申请涉及自动驾驶技术领域，公开了一种车辆检测方法、装置、检测器、***和模型训练方法，包括获取与图像特征图对应的特征深度图；图像特征图与车辆外部环境图像对应；获取自动驾驶车辆当前位置的道路布局鸟瞰图；道路布局鸟瞰图包括道路元素；估计图像特征图中图像特征属于道路元素的权重；根据道路布局鸟瞰图生成道路元素对于特征深度图的修正图像；利用修正图像、权重修正特征深度图，得到修正后特征深度图；根据修正后特征深度图、图像特征图对自动驾驶车辆外部进行车辆检测，输出3D车辆检测结果。本申请利用道路布局鸟瞰图辅助检测过程，由于其中包括道路元素，提升特征深度图中非车辆区域的特征转换精度，进而提升车辆检测结果准确性。

Description

一种车辆检测方法、装置、检测器、***和模型训练方法

技术领域

本申请涉及自动驾驶技术领域，特别是涉及一种车辆检测方法、装置、检测器、***、模型训练方法和计算机可读存储介质。

背景技术

自动驾驶技术即在不需要人为操作即能感测其环境及导航，实现车辆自动驾驶。自动驾驶车辆需要准确地识别出周围环境中的车辆，并对其进行准确的识别、定位与速度预测。通过车载摄像头摄取的图像数据对自动驾驶车辆周围进行检测具有低成本、信息获取丰富的特点，在自动驾驶车辆中得到了广泛应用。

自动驾驶***在对自动驾驶车辆外部进行车辆检测时，通过读取外部环境的图像信息，输出车辆在三维空间中的位置、长宽高和速度信息。目前的检测过程为，首先通过深度神经网络获取外部环境图像信息的图像特征，并将图像特征通过神经网络或者相机参数等映射到三维空间中，形成3D空间特征或者鸟视图特征，然后在3D空间中或者鸟视图坐标系下，完成车辆的检测。但是这种只基于图像信息的方式很难完成准确的深度估计，在特征映射过程中，往往会造成3D空间特征与真实物体的错位与混淆，从而影响检测结果。

因此，如何解决上述技术问题应是本领域技术人员重点关注的。

发明内容

本申请的目的是提供一种车辆检测方法、装置、检测器、***、模型训练方法和计算机可读存储介质，以提升图像特征向3D空间映射的准确度，进而使得车辆检测结果更加准确。

为解决上述技术问题，本申请提供一种车辆检测方法，包括：

获取与图像特征图对应的特征深度图；所述图像特征图与车辆外部环境图像对应；

获取自动驾驶车辆当前位置的道路布局鸟瞰图；所述道路布局鸟瞰图包括道路元素；

估计所述图像特征图中图像特征属于所述道路元素的权重；

根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像；

利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图；

根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测，输出3D车辆检测结果。

可选的，根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像包括：

根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图；

相应的，利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图包括：

利用所述道路元素深度特征图、所述道路元素掩模图、所述权重，通过加权求和及掩模修正所述特征深度图，得到修正后特征深度图。

可选的，利用所述道路元素深度特征图、所述道路元素掩模图、所述权重，通过加权求和及掩模修正所述特征深度图，得到修正后特征深度图包括：

根据预设公式修正所述特征深度图，其中，所述预设公式为：

；

其中，

为修正后特征深度图中（u，v）点的深度特征，/>

为图像特征图对应的道路元素权重图/>

在（u，v）点对应的值，/>

为道路元素掩模图对应的权重图M_r在（u，v）点对应的值，/>

为道路元素深度特征图在（u，v）点对应的特征，/>

为特征深度图在（u，v）点对应的特征。

可选的，根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图包括：

对所述道路布局鸟瞰图进行量化，得到道路信息图；

确定所述道路信息图中与所有所述道路元素对应的点在世界坐标系中的坐标，形成道路元素点集合；

将所述道路元素点集合中的各个所述坐标转换至图像坐标系中，得到道路元素深度图和所述道路元素掩模图；

根据所述道路元素深度图得到所述道路元素深度特征图。

可选的，将所述道路元素点集合中的各个所述坐标转换至图像坐标系中包括：

通过图像采集设备参数、图像采集设备与所述自动驾驶车辆的旋转平移关系、所述自动驾驶车辆位姿与所述世界坐标系之间的旋转平移关系，将所述道路元素点集合中的各个所述坐标转换至图像坐标系中。

可选的，将所述道路元素点集合中的各个所述坐标转换至图像坐标系中包括：

利用矩阵运算将所述道路元素点集合中的各个所述坐标转换至图像坐标系中。

可选的，根据所述道路元素深度图得到所述道路元素深度特征图包括：

将所述道路元素深度图中的每个元素值拓展为一个D维向量；其中，所述元素值为所述道路元素深度图中的点在图像采集设备坐标系中对应的深度值；

归一化所述D维向量，以使所述D维向量中所有值的和等于1。

可选的，对所述道路布局鸟瞰图进行量化，得到道路信息图包括：

筛选所述道路布局鸟瞰图中位于所述道路元素范围内的点以及没有位于所述道路元素范围内的点；

设定位于所述道路元素范围内的点的值为1，并设定没有位于所述道路元素范围内的点的值为0，得到道路信息图。

可选的，当所述道路元素为道路路面时，确定所述道路信息图中与所有所述道路元素对应的点在世界坐标系中的坐标包括：

确定所述道路信息图中与所有道路路面对应的点在世界坐标系中的X值、Y值和Z值，其中，Z值等于0。

可选的，还包括：

增强所述图像特征图中的图像特征，得到增强后图像特征图；

相应的，根据所述修正后特征深度图、所述图像特征图进行车辆检测包括：

根据所述修正后特征深度图、所述增强后图像特征图进行车辆检测。

可选的，根据所述修正后特征深度图、所述图像特征图进行车辆检测包括：

将所述修正后特征深度图和所述图像特征图生成图像坐标系下的3D特征图；

将所述3D特征图转换为BEV特征图；

利用所述BEV特征图进行车辆检测。

可选的，将所述3D特征图转换为BEV特征图包括：

通过图像采集设备参数、图像采集设备与所述车辆之间的旋转平移关系，将所述3D特征图中每个点的特征转换至车辆坐标系中；

对位于所述车辆坐标系中的点进行体素化处理，将落入同一体素格内的特征点进行累加，并将没有特征点落入的体素格的特征设为0，形成在所述车辆坐标系中的3D特征图；

在高度维度上，将所有高度上的体素格对应的特征进行累加，得到BEV特征图。

可选的，还包括：

获取车载图像采集设备采集的所述车辆外部环境图像；

对所述车辆外部环境图像进行图像特征提取，得到所述图像特征图，其中，所述图像特征图中包括所述图像特征。

可选的，获取与图像特征图对应的特征深度图包括：

将所述图像特征图输入第一预设神经网络模型中进行深度估计，得到所述特征深度图。

可选的，估计图像特征图中图像特征属于所述道路元素的权重包括：

将所述图像特征输入第二预设神经网络模型，得到所述图像特征属于所述道路元素的权重。

可选的，还包括：

获取所述车辆外部环境图像；所述车辆外部环境图像的数量至少为两张，且各个所述车辆外部环境图像由不同位置的车载图像采集设备采集得到；

相应的，利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图包括：

利用所述修正图像、所述权重修正每一张所述特征深度图，得到多张修正后特征深度图；

根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测，输出3D车辆检测结果包括：

根据每张所述修正后特征深度图、与所述修正后特征深度图对应的所述图像特征图对所述自动驾驶车辆外部进行车辆检测，得到待组合3D车辆检测结果；

组合所有所述待组合3D车辆检测结果，输出3D车辆检测结果。

本申请还提供一种车辆检测装置，包括：

第一获取模块，用于获取与图像特征图对应的特征深度图；所述图像特征图与车辆外部环境图像对应；

第二获取模块，用于获取自动驾驶车辆当前位置的道路布局鸟瞰图；所述道路布局鸟瞰图包括道路元素；

估计模块，用于估计所述图像特征图中图像特征属于所述道路元素的权重；

第一生成模块，用于根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像；

修正模块，用于利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图；

检测模块，用于根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测，输出3D车辆检测结果。

本申请还提供一种车辆检测模型训练方法，车辆检测模型包括第一预设神经网络模型和第二预设神经网络模型，方法包括：

将图像特征图输入所述第一预设神经网络模型中进行深度估计，得到与所述图像特征图对应的特征深度图；所述图像特征图与车辆外部环境图像对应；

获取自动驾驶车辆当前位置的道路布局鸟瞰图；所述道路布局鸟瞰图包括道路元素；

将所述图像特征图中图像特征输入所述第二预设神经网络模型，估计所述图像特征属于所述道路元素的权重；

根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像；

利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图；

根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测，输出3D车辆检测结果；

基于损失函数对所述车辆检测模型进行训练，得到训练后车辆检测模型。

可选的，还包括：

将道路元素掩模图中道路元素标注错误的区域设为0，生成修正后掩模图；

利用所述修正后掩模图训练所述第二预设神经网络模型。

可选的，基于损失函数对所述车辆检测模型进行训练包括：

基于

对所述车辆检测模型进行训练；

式中，

为图像特征深度估计损失，/>

为车辆分类损失，/>

为车辆位置、长宽高、速度估计损失，/>

为图像特征图对应的道路权重训练损失，/>

为图像特征深度估计损失的权重，/>

为车辆分类损失的权重，/>

为车辆位置、长宽高、速度估计损失的权重，/>

为图像特征图对应的道路权重训练损失的权重。

本申请还提供一种检测器，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一种所述车辆检测方法的步骤、上述任一种所述车辆检测模型训练方法的步骤。

本申请还提供一种车辆检测***，包括：

上述所述的检测器；

与所述检测器连接的图像采集设备。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种所述车辆检测方法的步骤、上述任一种所述车辆检测模型训练方法的步骤。

本申请所提供的一种车辆检测方法，包括：获取与图像特征图对应的特征深度图；所述图像特征图与车辆外部环境图像对应；获取自动驾驶车辆当前位置的道路布局鸟瞰图；所述道路布局鸟瞰图包括道路元素；估计图像特征图中图像特征属于所述道路元素的权重；根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像；利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图；根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测，输出3D车辆检测结果。

可见，本申请中在进行车辆检测时，获取自动驾驶车辆当前位置的道路布局鸟瞰图，以及图像特征图中图像特征属于道路元素的权重，并利用道路布局鸟瞰图得到特征深度图的修正图像，然后利用修正图像和权重对特征深度图进行修正，由于道路布局鸟瞰图中包括道路元素，所以修正图像可以提升特征深度图中非车辆区域的特征转换精度，降低背景信息对车辆检测的影响，从而提升特征深度图的准确性，进而提升图像特征向3D空间映射的准确度，使得车辆检测结果更加准确。

此外，本申请还提供一种具有上述优点的装置、检测器、***模型训练方法和计算机可读存储介质。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种车辆检测方法的流程图；

图2为本申请实施例所提供的另一种车辆检测方法的流程图；

图3为本申请实施例所提供的另一种车辆检测方法的流程图；

图4为本申请实施例所提供的一种车辆检测方法的架构图；

图5为本申请实施例所提供的车辆检测装置的结构框图；

图6为本申请实施例所提供的检测器的结构框图；

图7为本申请实施例所提供的一种车辆检测***的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

正如背景技术部分所述，自动驾驶***在对周围进行车辆检测时，基于外部环境图像信息完成深度估计，在特征映射到三维空间过程中，往往会造成3D空间特征与真实物体的错位与混淆，从而影响检测结果。

有鉴于此，本申请提供一种车辆检测方法，请参考图1，包括：

步骤S101：获取与图像特征图对应的特征深度图；所述图像特征图与车辆外部环境图像对应。

作为一种可实施方式，获取与图像特征图对应的特征深度图包括：获取与车辆外部环境图像对应的图像特征图；获取与图像特征图对应的特征深度图。或者，直接得到已经处理完成的特征深度图。

获取与车辆外部环境图像对应的图像特征图包括：

将车辆外部环境图像输入第三预设神经网络模型中进行图像特征提取，得到图像特征图。其中，第三预设神经网络模型为多层卷积神经网络，层数和通道数可行设置。

可选的，获取与图像特征图对应的特征深度图之前，还可以包括：

获取所述车辆外部环境图像。

车辆外部环境图像可以由车载图像采集设备采集得到。本申请中对车辆外部环境图像的数量不做限定，既可以为一张，也可以在两张以上，视情况而定。

可选的，获取与图像特征图对应的特征深度图包括：

将所述图像特征图输入第一预设神经网络模型中进行深度估计，得到所述特征深度图。

车辆外部环境图像中的图像特征在本地对车辆外部环境图像进行特征提取得到。

通过第一预设神经网络模型和图像特征F₀获得特征深度图D_C的过程可参考相关技术，此处不再详细赘述。第一预设神经网络模型为多层卷积神经网络，层数和通道数可行设置。

特征深度图

，其中，R为实数，H_F和W_F为图像特征的尺度，D为将深度量化个数，即为将指定深度[depth_min, depth_max]分为D个单元，在第i（1≤i≤D）个单元上的值表示当前特征点深度值在第i个单元深度范围内的概率。

步骤S102：获取自动驾驶车辆当前位置的道路布局鸟瞰图；所述道路布局鸟瞰图包括道路元素。

道路元素指道路上存在或者出现的物体。

需要说明的是，本申请中对道路元素不做限定，道路元素包括静态道路元素、动态道路元素。其中，静态道路元素可以为路面、人行横道、信号灯等等；动态道路元素可以为行人、自行车、行驶的车辆等。

还需要说明的是，本申请中对道路布局鸟瞰图的获得方式不做限定，视情况而定。例如，可以通过航拍、测绘、将静态道路元素进行标注等方式获得。

动态道路元素可以由动态道路元素自身定位***得到，或者由自动驾驶车辆外部的动态物体检测仪器得到，检测到的动态道路元素包括动态道路元素的位置和大小。

步骤S103：估计图像特征图中图像特征属于所述道路元素的权重。

图像特征图为对车辆外部环境图像进行特征提取形成的图像。

作为一种可实施方式，估计图像特征图中图像特征属于所述道路元素的权重包括：

将所述图像特征输入第二预设神经网络模型，得到所述图像特征属于所述道路元素的权重。

权重

，R为实数，H_F和W_F为图像特征的尺度，权重W_r表示图像特征属于道路元素的概率，图像特征图中每个图像特征的权重在0与1之间。

第二预设神经网络模型为多层卷积神经网络，层数和通道数可行设置。

步骤S104：根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像。

步骤S105：利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图。

特征深度图D_C修正后得到的修正后特征深度图

，R为实数，H_F和W_F为图像特征的尺度，D为将深度量化个数。

步骤S106：根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测，输出3D车辆检测结果。

3D车辆检测结果包括自动驾驶车辆外部的目标车辆的3D位置、长宽高、速度与分类得分。

需要指出的是，本步骤中利用的图像特征图既可以为直接由车辆外部环境图像进行特征提取后得到的特征图，也可以为对车辆外部环境图像进行特征提取后得到的特征图进行进一步图像特征增强后，得到的增强后图像特征图，均在本申请的保护范围内。

本实施例中在进行车辆检测时，获取自动驾驶车辆当前位置的道路布局鸟瞰图，以及图像特征图中图像特征属于道路元素的权重，并利用道路布局鸟瞰图得到特征深度图的修正图像。然后利用修正图像和权重对特征深度图进行修正，由于道路布局鸟瞰图中包括道路元素，所以修正图像可以提升特征深度图中非车辆区域的特征转换精度，降低背景信息对车辆检测的影响，从而提升特征深度图的准确性，进而提升图像特征向3D空间映射的准确度，使得车辆检测结果更加准确。

在上述实施例的基础上，在本申请的一个实施例中，车辆检测方法包括：

步骤S201：获取与图像特征图对应的特征深度图；所述图像特征图与车辆外部环境图像对应。

步骤S202：获取自动驾驶车辆当前位置的道路布局鸟瞰图；所述道路布局鸟瞰图包括道路元素。

步骤S203：估计图像特征图中图像特征属于所述道路元素的权重。

步骤S204：根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图。

本实施例中修正图像包括道路元素深度特征图和道路元素掩模图。

道路元素深度特征图有助于提升图像特征中非车辆区域的特征转换精度，降低背景信息对车辆检测的影响，进而提升车辆检测的精度。

作为一种可实施方式，根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图包括：

步骤S2041：对所述道路布局鸟瞰图进行量化，得到道路信息图。

在获得道路信息图时以自动驾驶车辆坐标系为准。

可选的，对所述道路布局鸟瞰图进行量化，得到道路信息图包括：

筛选所述道路布局鸟瞰图中位于所述道路元素范围内的点以及没有位于所述道路元素范围内的点；

设定位于所述道路元素范围内的点的值为1，并设定没有位于所述道路元素范围内的点的值为0，得到道路信息图。

可以将鸟视图下的预设长度和宽度的矩形区域量化为道路信息图

，其中，R为实数，H_r和W_r分别为道路信息图的高和宽。道路信息图中每个点的值为0或1，当点位于道路元素，则值为1，当点不位于道路元素，则值为0。

步骤S2042：确定所述道路信息图中与所有所述道路元素对应的点在世界坐标系中的坐标，形成道路元素点集合。

作为一种可实施方式，当所述道路元素为道路路面时，确定所述道路信息图中与所有所述道路元素对应的点在世界坐标系中的坐标包括：

确定所述道路信息图中与所有道路路面对应的点在世界坐标系中的X值、Y值和Z值，其中，Z值等于0。

由于道路路面为水平的，因此在世界坐标系中的Z至为0。相应的，道路路面点的集合

，其中，/>

为道路路面点在世界坐标系下的坐标，/>

表示点在路面信息图中对应的值。

步骤S2043：将所述道路元素点集合中的各个所述坐标转换至图像坐标系中，得到道路元素深度图和所述道路元素掩模图。

道路元素深度图

，其中，R为实数，H_F和W_F为图像特征的尺度。道路元素深度图/>

中每一个元素代表道路元素点在图像坐标系下的深度值。

道路元素掩模图

，其中，R为实数，H_F和W_F为图像特征的尺度。道路元素掩模图/>

中的每个元素为0或1，0代表当前位置没有道路元素点，1代表当前位置存在道路元素点。

可选的，将所述道路元素点集合中的各个所述坐标转换至图像坐标系中包括：

通过图像采集设备参数、图像采集设备与所述自动驾驶车辆的旋转平移关系、所述自动驾驶车辆位姿与所述世界坐标系之间的旋转平移关系，将所述道路元素点集合中的各个所述坐标转换至图像坐标系中。

可选的，将所述道路元素点集合中的各个所述坐标转换至图像坐标系中包括：

利用矩阵运算将所述道路元素点集合中的各个所述坐标转换至图像坐标系中。

将道路元素点集合中的各个坐标转换至图像坐标系的具体过程可参考相关技术，此处不再详细赘述。

步骤S2044：根据所述道路元素深度图得到所述道路元素深度特征图。

可选的，根据所述道路元素深度图得到所述道路元素深度特征图包括：

步骤S2044a：将所述道路元素深度图中的每个元素值拓展为一个D维向量；其中，所述元素值为所述道路元素深度图中的点在图像采集设备坐标系中对应的深度值。

D维向量中的维度D与深度量化个数D为同一个值。

D维向量各个值服从以元素值为均值，

为方差的高斯函数。

步骤S2044b：归一化所述D维向量，以使所述D维向量中所有值的和等于1。

得到的道路元素深度特征图

，其中，R为实数，H_F和W_F为图像特征的尺度，D为道路元素深度图/>

中的每个元素值拓展的向量的维度。

步骤S205：利用所述道路元素深度特征图、所述道路元素掩模图、所述权重，通过加权求和及掩模修正所述特征深度图，得到修正后特征深度图。

可选的，利用所述道路元素深度特征图、所述道路元素掩模图、所述权重，通过加权求和及掩模修正所述特征深度图，得到修正后特征深度图包括：

根据预设公式修正所述特征深度图，其中，所述预设公式为：

(1)；

其中，

为修正后特征深度图中（u，v）点的深度特征，/>

为图像特征图对应的道路元素权重图/>

在（u，v）点对应的值，/>

为道路元素掩模图对应的权重图M_r在（u，v）点对应的值，/>

为道路元素深度特征图在（u，v）点对应的特征，/>

为特征深度图在（u，v）点对应的特征。其中，由于道路元素掩模图/>

中每个点的值非0即1，将道路元素掩模图中每个点取出来进行操作，取出来的值被称为权重，形成权重图，所以，道路元素掩模图对应的权重图M_r实质上与道路元素掩模图/>

相同。

修正后特征深度图中，在没有道路元素的位置（

），以图像特征估计的深度为主，在有道路元素的位置（/>

），以图像特征估计与道路元素深度特征图加权为主。

步骤S206：根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测，输出3D车辆检测结果。

在上述任一实施例的基础上，在本申请的一个实施例中，车辆检测方法还包括：

获取车载图像采集设备采集的所述车辆外部环境图像；

对所述车辆外部环境图像进行图像特征提取，得到所述图像特征图，其中，所述图像特征图中包括所述图像特征。

可以通过深度神经网络进行图像特征提取，获得图像特征

，其中，R为实数，H_F和W_F为图像特征的尺度，C为图像特征的通道数。具体提取过程可参考相关技术，此处不再详细赘述。

在上述任一实施例的基础上，在本申请的一个实施例中，车辆检测方法还包括：

增强所述图像特征图中的图像特征，得到增强后图像特征图；

相应的，根据所述修正后特征深度图、所述图像特征图进行车辆检测包括：

根据所述修正后特征深度图、所述增强后图像特征图进行车辆检测。

将图像特征图中的图像特征输入第四预设神经网络模型中，得到增强后图像特征图。第四预设神经网络模型为多层卷积神经网络，层数和通道数可行设置。

增强后图像特征图

，其中，R为实数，H_F和W_F为图像特征的尺度，C为图像特征的通道数。

本实施例中通过对图像特征进行增强，可以进一步提升图像特征的表达能力，进而提升车辆检测的准确性。

请参考图3，在上述实施例的基础上，在本申请的一个实施例中，车辆检测方法包括：

步骤S301：获取与图像特征图对应的特征深度图；所述图像特征图与车辆外部环境图像对应。

步骤S302：获取自动驾驶车辆当前位置的道路布局鸟瞰图；所述道路布局鸟瞰图包括道路元素。

步骤S303：估计图像特征图中图像特征属于所述道路元素的权重。

步骤S304：根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像。

步骤S305：利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图。

步骤S306：将所述修正后特征深度图和所述图像特征图生成图像坐标系下的3D特征图。

修正后特征深度图D_m和图像特征图生成3D特征图的过程可参考相关技术，此处不再详细赘述。图像坐标系下的3D特征图

中每个点的特征G_m（u，v，i）=D_m（u，v，i）×F_C（u，v），其中，R为实数，H_F和W_F为图像特征的尺度，D为将深度量化个数，C为图像特征的通道数。

步骤S307：将所述3D特征图转换为BEV特征图。

作为一种可实施方式，将所述3D特征图转换为BEV特征图包括：

通过图像采集设备参数、图像采集设备与所述车辆之间的旋转平移关系，将所述3D特征图中每个点的特征转换至车辆坐标系中；

对位于所述车辆坐标系中的点进行体素化处理，将落入同一体素格内的特征点进行累加，并将没有特征点落入的体素格的特征设为0，形成在所述车辆坐标系中的3D特征图；

在高度维度上，将所有高度上的体素格对应的特征进行累加，得到BEV特征图。

3D特征图转换为BEV特征图的具体过程可参考相关技术，此处不再详细赘述。

BEV（Bird-eye’s-view，鸟视图视角）特征图

其中，R为实数，X、Y表示BEV特征图的维度，C为图像特征的通道数。

步骤S308：利用所述BEV特征图进行车辆检测。

利用BEV特征图，通过神经网络进行车辆检测，输出自动驾驶车辆外部目标车辆的3D位置、长宽高、速度与分类得分。检测过程可参考相关技术，此处不再展开赘述。

在上述任一实施例基础上，在本申请的一个实施例中，车辆检测方法还包括：

获取所述车辆外部环境图像；所述车辆外部环境图像的数量至少为两张，且各个所述车辆外部环境图像由不同位置的车载图像采集设备采集得到；

相应的，利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图包括：

利用所述修正图像、所述权重修正每一张所述特征深度图，得到多张修正后特征深度图；

根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测，输出3D车辆检测结果包括：

根据每张所述修正后特征深度图、与所述修正后特征深度图对应的所述图像特征图对所述自动驾驶车辆外部进行车辆检测，得到待组合3D车辆检测结果；

组合所有所述待组合3D车辆检测结果，输出3D车辆检测结果。

可以理解的是，特征深度图的数量与车辆外部环境图像的数量相等，相应的，有多少张车辆外部环境图像，便可以得到多少张修正后特征深度图。利用与同一张车辆外部环境图像对应的修正后特征深度图和图像特征图进行一次车辆检测，可以对应得到一个待组合3D车辆检测结果，最终将所有待组合3D车辆检测结果组合后进行输出。

下面以道路元素为道路路面为例，对本申请中的车辆检测方法进行阐述。该车辆检测方法对应的架构图如图4所示。

步骤1、获取摄像头采集的车辆外部环境图像，并通过第三预设深度神经网络对车辆外部环境图像进行图像特征提取，获得图像特征图

，其中，R为实数，H_F和W_F为图像特征的尺度，C为图像特征的通道数；

步骤2、将图像特征图F₀输入第四预设神经网络模型中，对图像特征进行图像特征增强，得到增强后图像特征图

，其中，R为实数，H_F和W_F为图像特征的尺度，C为图像特征的通道数；

步骤3、将图像特征F₀输入第一预设神经网络模型中，得到图像特征图对应的特征深度图

，其中，R为实数，H_F和W_F为图像特征的尺度，D为将深度量化个数；

步骤4、将图像特征图F₀输入第二预设神经网络模型，得到图像特征图对应的道路权重

，每个图像特征的权重在0与1之间，道路权重W_r表示图像特征属于道路路面的概率；

步骤5、通过航拍、测绘或者标注获取道路路面图像，以自动驾驶车辆坐标系为准，将鸟视图下指定长宽的矩形区域量化为路面信息图

，其中，R为实数，H_r和W_r分别为路面信息图的高和宽；

步骤6、将路面信息图中所有的道路路面所属的点计算出其在世界坐标系下的X，Y值，并将Z值设置为0（表示水平路面），形成世界坐标系下的道路路面点的集合

；/>

步骤7、利用已有的相机内参数据、相机与车辆之间的旋转平移关系和车辆位姿与世界坐标系之间的旋转平移关系，将路面点通过矩阵运算转换到图像坐标系中，形成路面深度图

与路面掩模图/>

，其中，R为实数，H_F和W_F为图像特征的尺度；

步骤8、将路面深度图

中每个元素值拓展为一个D维向量，并进行归一化，得到路面深度特征图/>

，其中，R为实数，H_F和W_F为图像特征的尺度，D为道路元素深度图/>

中的每个元素值拓展的向量的维度；

步骤9、输入特征深度图D_C、路面深度特征图D_r、图像特征图对应的道路权重W_r与路面掩模图

，通过加权求和与掩模，得到修正深度图/>

，R为实数，H_F和W_F为图像特征的尺度，D为将深度量化个数，修正深度图中的每个值采用公式（1）得到：

(1)；

步骤10、通过已有技术，将修正深度图D_m和增强后图像特征图F_c生成图像坐标系下的3D特征图

，其中，R为实数，H_F和W_F为图像特征的尺度，D为将深度量化个数，C为图像特征的通道数；

步骤11、将3D特征图G_m转换为BEV特征图

，其中，R为实数，X、Y表示BEV特征图的维度，C为图像特征的通道数；

步骤12、利用BEV特征图，通过神经网络，进行车辆检测，输出自动驾驶车辆周围的目标车辆的3D位置、长宽高、速度与分类得分。

本申请还提供一种车辆检测模型训练方法，车辆检测模型包括第一预设神经网络模型和第二预设神经网络模型，方法包括：

步骤S401：将图像特征图输入所述第一预设神经网络模型中进行深度估计，得到与所述图像特征图对应的特征深度图；所述图像特征图与车辆外部环境图像对应；

步骤S402：获取自动驾驶车辆当前位置的道路布局鸟瞰图；所述道路布局鸟瞰图包括道路元素；

步骤S403：将所述图像特征图中图像特征输入所述第二预设神经网络模型，估计所述图像特征属于所述道路元素的权重；

步骤S404：根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像；

步骤S405：利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图；

步骤S406：根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测，输出3D车辆检测结果；

步骤S407：基于损失函数对所述车辆检测模型进行训练，得到训练后车辆检测模型。

在上述实施例的基础上，在本申请的一个实施例中，车辆检测模型训练方法还包括：

将道路元素掩模图中道路元素标注错误的区域设为0，生成修正后掩模图；

利用所述修正后掩模图训练第二预设神经网络模型。

路面掩模图

中的每个元素为0或1，0代表当前位置没有道路元素点，1代表当前位置存在道路元素点。道路元素标注错误的区域即道路元素掩模图中该区域不是道路元素，但是道路元素掩模图中该区域却标注为道路元素。

本实施例中通过修正后掩模图训练第二预设神经网络模型，可以使得通过训练后第二预设神经网络模型得到的权重更加准确，进而提升车辆检测准确性。

在上述任一实施例的基础上，在本申请的一个实施例中，基于损失函数对所述车辆检测模型进行训练包括：

基于预设公式对所述车辆检测模型进行训练；预设公式为：

(2)；

式中，

为图像特征深度估计损失，/>

为车辆分类损失，/>

为车辆位置、长宽高、速度估计损失，/>

为图像特征图对应的道路权重训练损失，/>

为图像特征深度估计损失的权重，/>

为车辆分类损失的权重，/>

为车辆位置、长宽高、速度估计损失的权重，/>

为图像特征图对应的道路权重训练损失的权重。

下面对本申请实施例提供的车辆检测装置进行介绍，下文描述的车辆检测装置与上文描述的车辆检测方法可相互对应参照。

图5为本申请实施例提供的车辆检测装置的结构框图，参照图5车辆检测装置可以包括：

第一获取模块100，用于获取与图像特征图对应的特征深度图；所述图像特征图与车辆外部环境图像对应；

第二获取模块200，用于获取自动驾驶车辆当前位置的道路布局鸟瞰图；所述道路布局鸟瞰图包括道路元素；

估计模块300，用于估计图像特征图中图像特征属于所述道路元素的权重；

第一生成模块400，用于根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像；

修正模块500，用于利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图；

检测模块600，用于根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测，输出3D车辆检测结果。

本实施例的车辆检测装置用于实现前述的车辆检测方法，因此车辆检测装置中的具体实施方式可见前文中的车辆检测方法的实施例部分，例如，第一获取模块100，第二获取模块200，估计模块300，第一生成模块400，修正模块500，检测模块600，分别用于实现上述车辆检测方法中步骤S101，S102，S103，S104，S105和S106，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本实施例中的装置在进行车辆检测时，获取自动驾驶车辆当前位置的道路布局鸟瞰图，以及图像特征图中图像特征属于道路元素的权重，并利用道路布局鸟瞰图得到特征深度图的修正图像。然后利用修正图像和权重对特征深度图进行修正，由于道路布局鸟瞰图中包括道路元素，所以修正图像可以提升特征深度图中非车辆区域的特征转换精度，降低背景信息对车辆检测的影响，从而提升特征深度图的准确性，进而提升图像特征向3D空间映射的准确度，使得车辆检测结果更加准确。

可选的，第一生成模块400具体用于：根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图；

相应的，修正模块500具体用于：利用所述道路元素深度特征图、所述道路元素掩模图、所述权重，通过加权求和及掩模修正所述特征深度图，得到修正后特征深度图。

可选的，修正模块500具体用于：

根据预设公式修正所述特征深度图，其中，所述预设公式为：

；

其中，

为修正后特征深度图中（u，v）点的深度特征，/>

为图像特征图对应的道路元素权重图/>

在（u，v）点对应的值，/>

为道路元素掩模图对应的权重图M_r在（u，v）点对应的值，/>

为道路元素深度特征图在（u，v）点对应的特征，/>

为特征深度图在（u，v）点对应的特征。

可选的，第一生成模块400包括：

量化子模块，用于对所述道路布局鸟瞰图进行量化，得到道路信息图；

确定子模块，用于确定所述道路信息图中与所有所述道路元素对应的点在世界坐标系中的坐标，形成道路元素点集合；

第一转换子模块，用于将所述道路元素点集合中的各个所述坐标转换至图像坐标系中，得到道路元素深度图和所述道路元素掩模图；

获得子模块，用于根据所述道路元素深度图得到所述道路元素深度特征图。

可选的，第一转换子模块具体用于：通过图像采集设备参数、图像采集设备与所述自动驾驶车辆的旋转平移关系、所述自动驾驶车辆位姿与所述世界坐标系之间的旋转平移关系，将所述道路元素点集合中的各个所述坐标转换至图像坐标系中。

可选的，第一转换子模块将所述道路元素点集合中的各个所述坐标转换至图像坐标系中时，具体利用矩阵运算将所述道路元素点集合中的各个所述坐标转换至图像坐标系中。

可选的，获得子模块包括：

拓展单元，用于将所述道路元素深度图中的每个元素值拓展为一个D维向量；其中，所述元素值为所述道路元素深度图中的点在图像采集设备坐标系中对应的深度值；

归一化单元，用于归一化所述D维向量，以使所述D维向量中所有值的和等于1。

可选的，量化子模块包括：

筛选单元，用于筛选所述道路布局鸟瞰图中位于所述道路元素范围内的点以及没有位于所述道路元素范围内的点；

设定单元，用于设定位于所述道路元素范围内的点的值为1，并设定没有位于所述道路元素范围内的点的值为0，得到道路信息图。

可选的，当所述道路元素为道路路面时，确定子模块具体用于确定所述道路信息图中与所有道路路面对应的点在世界坐标系中的X值、Y值和Z值，其中，Z值等于0。

可选的，车辆检测装置还包括：

特征增强模块，用于增强所述图像特征图中的图像特征，得到增强后图像特征图；

相应的，检测模块600具体用于：根据所述修正后特征深度图、所述增强后图像特征图进行车辆检测。

可选的，检测模块600包括：

生成子模块，用于将所述修正后特征深度图和所述图像特征图生成图像坐标系下的3D特征图；

第二转换子模块，用于将所述3D特征图转换为BEV特征图；

检测子模块，用于利用所述BEV特征图进行车辆检测。

可选的，第二转换子模块包括：

转换单元，用于通过图像采集设备参数、图像采集设备与所述车辆之间的旋转平移关系，将所述3D特征图中每个点的特征转换至车辆坐标系中；

体素化单元，用于对位于所述车辆坐标系中的点进行体素化处理，将落入同一体素格内的特征点进行累加，并将没有特征点落入的体素格的特征设为0，形成在所述车辆坐标系中的3D特征图；

累加单元，用于在高度维度上，将所有高度上的体素格对应的特征进行累加，得到BEV特征图。

可选的，车辆检测装置还包括：

第三获取模块，用于获取车载图像采集设备采集的所述车辆外部环境图像；

特征提取模块，用于对所述车辆外部环境图像进行图像特征提取，得到所述图像特征图，其中，所述图像特征图中包括所述图像特征。

可选的，第一获取模块100具体用于将所述图像特征图输入第一预设神经网络模型中进行深度估计，得到所述特征深度图。

可选的，估计模块300具体用于将所述图像特征输入第二预设神经网络模型，得到所述图像特征属于所述道路元素的权重。

可选的，车辆检测装置还包括：

第四获取模块，用于获取所述车辆外部环境图像；所述车辆外部环境图像的数量至少为两张，且各个所述车辆外部环境图像由不同位置的车载图像采集设备采集得到；

相应的，修正模块500具体用于：利用所述修正图像、所述权重修正每一张所述特征深度图，得到多张修正后特征深度图；

检测模块600包括：

检测子模块，用于根据每张所述修正后特征深度图、与所述修正后特征深度图对应的所述图像特征图对所述自动驾驶车辆外部进行车辆检测，得到待组合3D车辆检测结果；

组合子模块，用于组合所有所述待组合3D车辆检测结果，输出3D车辆检测结果。

下面对本申请实施例提供的检测器进行介绍，下文描述的检测器与上文描述的车辆检测方法可相互对应参照。

图6为本申请实施例提供的检测器的结构框图，检测器可以包括：

存储器11，用于存储计算机程序；

处理器12，用于执行所述计算机程序时实现上述任一实施例所述车辆检测方法的步骤、上述任一实施例所述车辆检测模型训练方法的步骤。

本实施例检测器在进行车辆检测时，获取自动驾驶车辆当前位置的道路布局鸟瞰图，以及图像特征图中图像特征属于道路元素的权重，并利用道路布局鸟瞰图得到特征深度图的修正图像。然后利用修正图像和权重对特征深度图进行修正，由于道路布局鸟瞰图中包括道路元素，所以修正图像可以提升特征深度图中非车辆区域的特征转换精度，降低背景信息对车辆检测的影响，从而提升特征深度图的准确性，进而提升图像特征向3D空间映射的准确度，使得车辆检测结果更加准确。

下面对本申请实施例提供的车辆检测***进行介绍，下文描述的车辆检测***与上文描述的车辆检测方法可相互对应参照。

请参考图7，本申请还提供一种车辆检测***，包括：

上述实施例所述的检测器1；

与所述检测器连接的图像采集设备2。

图像采集设备安装在自动驾驶车辆上，用于采集自动驾驶车辆外部的车辆外部环境图像。图像采集设备可以为相机、摄像头等。

需要说明的是，本申请中对图像采集设备的数量不做限定。图像采集设备的数量可以一个，也可以在两个以上。当图像采集设备的数量在两个以上时，图像采集设备的数量设于自动驾驶车辆不同位置处。

本实施例的车辆检测***在进行车辆检测时，获取自动驾驶车辆当前位置的道路布局鸟瞰图，以及图像特征图中图像特征属于道路元素的权重，并利用道路布局鸟瞰图得到特征深度图的修正图像。然后利用修正图像和权重对特征深度图进行修正，由于道路布局鸟瞰图中包括道路元素，所以修正图像可以提升特征深度图中非车辆区域的特征转换精度，降低背景信息对车辆检测的影响，从而提升特征深度图的准确性，进而提升图像特征向3D空间映射的准确度，使得车辆检测结果更加准确。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述车辆检测方法的步骤、上述任一实施例所述车辆检测模型训练方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的车辆检测方法、装置、检测器、***、模型训练方法和计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (22)

1.一种车辆检测方法，其特征在于，包括：

获取与图像特征图对应的特征深度图；所述图像特征图与车辆外部环境图像对应；

获取自动驾驶车辆当前位置的道路布局鸟瞰图；所述道路布局鸟瞰图包括道路元素；

估计所述图像特征图中图像特征属于所述道路元素的权重；

根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像；

利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图；

根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测，输出3D车辆检测结果；

根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像包括：

根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图；

相应的，利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图包括：

利用所述道路元素深度特征图、所述道路元素掩模图、所述权重，通过加权求和及掩模修正所述特征深度图，得到修正后特征深度图。

2.如权利要求1所述的车辆检测方法，其特征在于，利用所述道路元素深度特征图、所述道路元素掩模图、所述权重，通过加权求和及掩模修正所述特征深度图，得到修正后特征深度图包括：

根据预设公式修正所述特征深度图，其中，所述预设公式为：

；

其中，

为修正后特征深度图中（u，v）点的深度特征，/>

为图像特征图对应的道路元素权重图/>

在（u，v）点对应的值，/>

为道路元素掩模图对应的权重图M_r在（u，v）点对应的值，/>

为道路元素深度特征图在（u，v）点对应的特征，/>

为特征深度图在（u，v）点对应的特征。

3.如权利要求1所述的车辆检测方法，其特征在于，根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图包括：

对所述道路布局鸟瞰图进行量化，得到道路信息图；

确定所述道路信息图中与所有所述道路元素对应的点在世界坐标系中的坐标，形成道路元素点集合；

将所述道路元素点集合中的各个所述坐标转换至图像坐标系中，得到道路元素深度图和所述道路元素掩模图；

根据所述道路元素深度图得到所述道路元素深度特征图。

4.如权利要求3所述的车辆检测方法，其特征在于，将所述道路元素点集合中的各个所述坐标转换至图像坐标系中包括：

通过图像采集设备参数、图像采集设备与所述自动驾驶车辆的旋转平移关系、所述自动驾驶车辆位姿与所述世界坐标系之间的旋转平移关系，将所述道路元素点集合中的各个所述坐标转换至图像坐标系中。

5.如权利要求4所述的车辆检测方法，其特征在于，将所述道路元素点集合中的各个所述坐标转换至图像坐标系中包括：

利用矩阵运算将所述道路元素点集合中的各个所述坐标转换至图像坐标系中。

6.如权利要求3所述的车辆检测方法，其特征在于，根据所述道路元素深度图得到所述道路元素深度特征图包括：

将所述道路元素深度图中的每个元素值拓展为一个D维向量；其中，所述元素值为所述道路元素深度图中的点在图像采集设备坐标系中对应的深度值；

归一化所述D维向量，以使所述D维向量中所有值的和等于1。

7.如权利要求3所述的车辆检测方法，其特征在于，对所述道路布局鸟瞰图进行量化，得到道路信息图包括：

筛选所述道路布局鸟瞰图中位于所述道路元素范围内的点以及没有位于所述道路元素范围内的点；

设定位于所述道路元素范围内的点的值为1，并设定没有位于所述道路元素范围内的点的值为0，得到道路信息图。

8.如权利要求3所述的车辆检测方法，其特征在于，当所述道路元素为道路路面时，确定所述道路信息图中与所有所述道路元素对应的点在世界坐标系中的坐标包括：

确定所述道路信息图中与所有道路路面对应的点在世界坐标系中的X值、Y值和Z值，其中，Z值等于0。

9.如权利要求1所述的车辆检测方法，其特征在于，还包括：

增强所述图像特征图中的图像特征，得到增强后图像特征图；

相应的，根据所述修正后特征深度图、所述图像特征图进行车辆检测包括：

根据所述修正后特征深度图、所述增强后图像特征图进行车辆检测。

10.如权利要求1所述的车辆检测方法，其特征在于，根据所述修正后特征深度图、所述图像特征图进行车辆检测包括：

将所述修正后特征深度图和所述图像特征图生成图像坐标系下的3D特征图；

将所述3D特征图转换为BEV特征图；

利用所述BEV特征图进行车辆检测。

11.如权利要求10所述的车辆检测方法，其特征在于，将所述3D特征图转换为BEV特征图包括：

通过图像采集设备参数、图像采集设备与所述车辆之间的旋转平移关系，将所述3D特征图中每个点的特征转换至车辆坐标系中；

对位于所述车辆坐标系中的点进行体素化处理，将落入同一体素格内的特征点进行累加，并将没有特征点落入的体素格的特征设为0，形成在所述车辆坐标系中的3D特征图；

在高度维度上，将所有高度上的体素格对应的特征进行累加，得到BEV特征图。

12.如权利要求1所述的车辆检测方法，其特征在于，还包括：

获取车载图像采集设备采集的所述车辆外部环境图像；

对所述车辆外部环境图像进行图像特征提取，得到所述图像特征图，其中，所述图像特征图中包括所述图像特征。

13.如权利要求12所述的车辆检测方法，其特征在于，获取与图像特征图对应的特征深度图包括：

将所述图像特征图输入第一预设神经网络模型中进行深度估计，得到所述特征深度图。

14.如权利要求1所述的车辆检测方法，其特征在于，估计图像特征图中图像特征属于所述道路元素的权重包括：

将所述图像特征输入第二预设神经网络模型，得到所述图像特征属于所述道路元素的权重。

15.如权利要求1至14任一项所述的车辆检测方法，其特征在于，还包括：

获取所述车辆外部环境图像；所述车辆外部环境图像的数量至少为两张，且各个所述车辆外部环境图像由不同位置的车载图像采集设备采集得到；

相应的，利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图包括：

利用所述修正图像、所述权重修正每一张所述特征深度图，得到多张修正后特征深度图；

根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测，输出3D车辆检测结果包括：

根据每张所述修正后特征深度图、与所述修正后特征深度图对应的所述图像特征图对所述自动驾驶车辆外部进行车辆检测，得到待组合3D车辆检测结果；

组合所有所述待组合3D车辆检测结果，输出3D车辆检测结果。

16.一种车辆检测装置，其特征在于，包括：

第一获取模块，用于获取与图像特征图对应的特征深度图；所述图像特征图与车辆外部环境图像对应；

第二获取模块，用于获取自动驾驶车辆当前位置的道路布局鸟瞰图；所述道路布局鸟瞰图包括道路元素；

估计模块，用于估计所述图像特征图中图像特征属于所述道路元素的权重；

第一生成模块，用于根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像；

修正模块，用于利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图；

检测模块，用于根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测，输出3D车辆检测结果；

所述第一生成模块具体用于：根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图；

相应的，所述修正模块具体用于：利用所述道路元素深度特征图、所述道路元素掩模图、所述权重，通过加权求和及掩模修正所述特征深度图，得到修正后特征深度图。

17.一种车辆检测模型训练方法，其特征在于，车辆检测模型包括第一预设神经网络模型和第二预设神经网络模型，方法包括：

将图像特征图输入所述第一预设神经网络模型中进行深度估计，得到与所述图像特征图对应的特征深度图；所述图像特征图与车辆外部环境图像对应；

获取自动驾驶车辆当前位置的道路布局鸟瞰图；所述道路布局鸟瞰图包括道路元素；

将所述图像特征图中图像特征输入所述第二预设神经网络模型，估计所述图像特征属于所述道路元素的权重；

根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像；

利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图；

根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测，输出3D车辆检测结果；

基于损失函数对所述车辆检测模型进行训练，得到训练后车辆检测模型；

根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像包括：

根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图；

相应的，利用所述修正图像、所述权重修正所述特征深度图，得到修正后特征深度图包括：

利用所述道路元素深度特征图、所述道路元素掩模图、所述权重，通过加权求和及掩模修正所述特征深度图，得到修正后特征深度图。

18.如权利要求17所述的车辆检测模型训练方法，其特征在于，还包括：

将道路元素掩模图中道路元素标注错误的区域设为0，生成修正后掩模图；

利用所述修正后掩模图训练所述第二预设神经网络模型。

19.如权利要求17或18所述的车辆检测模型训练方法，其特征在于，基于损失函数对所述车辆检测模型进行训练包括：

基于

对所述车辆检测模型进行训练；

式中，

为图像特征深度估计损失，/>

为车辆分类损失，/>

为车辆位置、长宽高、速度估计损失，/>

为图像特征图对应的道路权重训练损失，/>

为图像特征深度估计损失的权重，/>

为车辆分类损失的权重，/>

为车辆位置、长宽高、速度估计损失的权重，

为图像特征图对应的道路权重训练损失的权重。

20.一种检测器，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至15任一项所述车辆检测方法的步骤、如权利要求17至19任一项所述车辆检测模型训练方法的步骤。

21.一种车辆检测***，其特征在于，包括：

如权利要求20所述的检测器；

与所述检测器连接的图像采集设备。

22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至15任一项所述车辆检测方法的步骤、如权利要求17至19任一项所述车辆检测模型训练方法的步骤。

Images