CN116403191A - 一种基于单目视觉的三维车辆跟踪方法、装置和电子设备 - Google Patents

Abstract

本公开涉及目标三维跟踪检测技术领域，提供了一种基于单目视觉的三维车辆跟踪方法、装置和电子设备。该方法包括：获取车辆的周围现场图像，该周围现场图像为二维图像并包括至少一个目标车辆；将二维图像输入预先训练完成的深度学习神经网络模型，得到二维图像中目标车辆的二维复合信息；基于相机的参数和目标车辆的二维复合信息，确定车辆为车体坐标系下的目标车辆的三维测距信息；基于目标车辆的重识别特征、二维复合信息和三维测距信息，确定目标车辆的三维跟踪状态。本公开利用目标车辆的二维图像来恢复出目标车辆在车体坐标系下的三维信息，降低了模型落地难度系数，更具实用性。

Description

一种基于单目视觉的三维车辆跟踪方法、装置和电子设备

技术领域

本公开涉及目标三维跟踪检测技术领域，尤其涉及一种基于单目视觉的三维车辆跟踪方法、装置和电子设备。

背景技术

基于视觉的车辆三维检测是自动驾驶环境感知***的关键技术之一，首先通过摄像头获取含有目标车辆的图像数据，接着输入到深度学***滑滤波，实现三维坐标系下的动态障碍物三维感知，为后续多传感器融合模块提供数据支持。

然而，现有的车辆三维检测方法通常是基于深度学习的方法，回归目标三维中心点投射到图像上的二维像素坐标、目标三维中心点的深度、朝向角和三维尺寸等信息，这种方法的优点是整个流程模型设计比较简单，检测精度和稳定性相对较高，但缺点是模型泛化性能较差，对训练数据的依赖性极高，一旦相机的型号变更或者相机在自动驾驶车辆上的安装位置变更，均会引起原始数据的不适用；此外，这种方法对训练数据的要求极高，需要做视觉和激光雷达联合标注，使用激光雷达标注结果中目标的三维信息作为图像上目标的真值，故对传感器的时空同步要求严格，尤其是时间同步精度是自动驾驶领域的一大技术难题，因此落地难度系数较高，缺乏实用性。

发明内容

有鉴于此，本公开实施例提供了一种基于单目视觉的三维车辆跟踪方法、装置和电子设备，以解决现有车辆三维检测方法对训练数据的要求极高而导致模型落地难度系数较高，缺乏实用性的技术问题。

本公开实施例的第一方面，提供了一种基于单目视觉的三维车辆跟踪方法，其包括：获取车辆上的单目相机采集的周围现场图像，周围现场图像中包括至少一个行驶在车辆周围的目标车辆，并且周围现场图像为二维图像；将二维图像输入预先训练完成的深度学习神经网络模型，并在深度学习神经网络模型的输出得到二维图像中目标车辆的二维复合信息；基于相机的参数和目标车辆的二维复合信息，确定车辆为车体坐标系下的目标车辆的三维测距信息；利用行人重识别算法对目标车辆所在周围现场图像进行识别，得到目标车辆的重识别特征；基于目标车辆的重识别特征、二维复合信息和三维测距信息，确定目标车辆的三维跟踪状态。

本公开实施例的第二方面，提供了一种基于单目视觉的三维车辆跟踪装置，其包括：图像获取模块，被配置为获取车辆上的单目相机采集的周围现场图像，周围现场图像中包括至少一个行驶在车辆周围的目标车辆，并且周围现场图像为二维图像；图像识别模块，被配置为将二维图像输入预先训练完成的深度学习神经网络模型，并在深度学习神经网络模型的输出得到二维图像中目标车辆的二维复合信息；逆透视变换模块，被配置为基于相机的参数和目标车辆的二维复合信息，确定车辆为车体坐标系下的目标车辆的三维测距信息；特征提取模块，被配置为利用行人重识别算法对目标车辆所在周围现场图像进行识别，得到目标车辆的重识别特征；目标跟踪模块，被配置为基于目标车辆的重识别特征、二维复合信息和三维测距信息，确定目标车辆的三维跟踪状态。

本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。

本公开与现有技术相比存在的有益效果在于：由于该基于单目视觉的三维车辆跟踪方法通过获取车辆上的单目相机采集的周围现场图像，周围现场图像中包括至少一个行驶在车辆周围的目标车辆，并且周围现场图像为二维图像；将二维图像输入预先训练完成的深度学习神经网络模型，并在深度学习神经网络模型的输出得到二维图像中目标车辆的二维复合信息；基于相机的参数和目标车辆的二维复合信息，确定车辆为车体坐标系下的目标车辆的三维测距信息；利用行人重识别算法对目标车辆所在周围现场图像进行识别，得到目标车辆的重识别特征；基于目标车辆的重识别特征、二维复合信息和三维测距信息，确定目标车辆的三维跟踪状态，从而实现采集目标车辆的二维图像来恢复出目标车辆在车体坐标系下的三维信息的效果，这样在对深度学习神经网络模型训练过程中，只需标注图像的二维信息，降低了模型训练对样本数据的依赖性，且没有时空同步的要求，故对于深度学习神经网络模型的实现成本较低，且可行性高，能够进行广泛应用，更具实用性。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本公开实施例提供的一种基于单目视觉的三维车辆跟踪方法的流程示意图；

图2是本公开实施例提供的步骤S103在一个实施例中的流程示意图；

图3是本公开实施例提供的一种利用相机逆透视变换原理计算三维测距信息的原理示意图；

图4是本公开实施例提供的步骤S105在一个实施例中的流程示意图；

图5是本公开实施例提供的一种基于单目视觉的三维车辆跟踪装置的结构示意图；

图6是本公开实施例提供的一种逆透视变换模块的结构示意图；

图7是本公开实施例提供的一种目标跟踪模块的结构示意图；

图8是本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。

请参见图1，为本公开实施例提供的一种基于单目视觉的三维车辆跟踪方法的流程示意图，实际应用中，可通过具有自动驾驶功能的车辆或与车辆网络连接的电子设备来执行该基于单目视觉的三维车辆跟踪方法。

如图1所示，该基于单目视觉的三维车辆跟踪方法，包括：

S101，获取车辆上的单目相机采集的周围现场图像，周围现场图像中包括至少一个行驶在车辆周围的目标车辆，并且周围现场图像为二维图像；

S102，将二维图像输入预先训练完成的深度学习神经网络模型，并在深度学习神经网络模型的输出得到二维图像中目标车辆的二维复合信息；

S103，基于相机的参数和目标车辆的二维复合信息，确定车辆为车体坐标系下的目标车辆的三维测距信息；

S104，利用行人重识别算法对目标车辆所在周围现场图像进行识别，得到目标车辆的重识别特征；

S105，基于目标车辆的重识别特征、二维复合信息和三维测距信息，确定目标车辆的三维跟踪状态。

上述基于单目视觉的三维车辆跟踪方法的工作原理在于：利用单目视觉采集周围现场图像，通过预先训练完成的深度学***滑滤波，从而恢复出目标车辆的实时三维信息，实现对目标车辆的三维跟踪。由此可见，本实施例通过采集目标车辆的二维图像来恢复出目标车辆在车体坐标系下的三维信息，这样在对深度学习神经网络模型训练过程中，只需标注图像的二维信息，降低了模型训练对样本数据的依赖性，且没有时空同步的要求，因此，对于深度学习神经网络模型的实现成本较低，且可行性高，能够进行广泛应用。

上述步骤S101中，单目视觉是指通过单个摄像头来获取场景信息的技术。它是计算机视觉领域中的一个重要分支，具有广泛应用，包括机器人视觉、自动驾驶、智能监控等。通过单目视觉技术可以实现视觉感知、目标检测、位姿估计和三维重建等任务。本实施例中，通过单目视觉采集周围现场图像，该周围现场图像为二维图像，其中包含一个或多个目标车辆，该目标车辆即为跟踪的对象。

上述步骤S102中，可以将训练完成的深度学习神经网络模型部署在车辆上，例如，可以将训练完成的深度学习神经网络模型部署在车辆的主机上，当采集到周围现场图像时，直接将该周围现场图像输入部署在主机上的深度学习神经网络模型中进行推理，以得到该周围现场图像中目标车辆的二维复合信息；或者也可以部署在与车辆通信连接的电子设备上，例如，将训练完成的深度学习神经网络模型部署在服务器上，车辆能够与服务器进行网络通信，当采集到周围现场图像时，先将周围现场图像发送给服务器，由部署在服务器上的深度学习神经网络模型对该周围现场图像进行推理并得到相应的二维复合信息，接着由服务器将推理结果返回给车辆。

在一些实施例中，该深度学习神经网络模型的训练方法，包括：利用历史的周围现场图像以及与历史的周围现场图像匹配的标注结果对深度学习神经网络模型进行离线训练，得到深度学习神经网络模型的一个权重文件；基于权重文件更新预先训练完成的深度学习神经网络模型。

对该历史的周围现场图像的标注结果包括车辆类别、二维边界框、图像上可见面属性、竖棱、车轮接地点和车轮接地点属性中的至少一种信息。其中，可见面属性包括从图像上看目标车辆的前/后/左/右4个面是否可见；竖棱指车辆的前后左右四个面中相邻两个面的交界线，且是竖直标注；车轮接地点指车辆的所有可见的车轮与地面的交点；车轮接地点属性总共有6类：左前轮/右前轮/左后轮/右后轮/左中轮/右中轮。

具体地，利用这些历史的周围现场数据对深度学习神经网络模型进行训练，能够改变深度学习神经网络中各节点的权重，从而得到对应的权重文件。这个权重文件并非固定的，当初始训练完成的深度学习神经网络模型满足预设要求时，可以将该深度学习神经网络模型部署在车辆或与车辆通信连接的电子设备上，以对周围现场图像进行智能识别；在该深度学习神经网络模型使用过程中，还可以增加历史的周围现场图像的数量来继续对该初始训练完成的深度学习神经网络模型进行训练，从而得到一个新的权重文件，然后可以利用这个新的权重文件去更新已经部署完成的深度学习神经网络模型，以提高模型的精准度，优化模型的识别能力。

可理解的是，当使用训练完成的深度学习神经网络模型对车辆实时采集的周围现场图像时，在深度学习神经网络模型的输出得到的二维复合信息与训练阶段的标注结果是一致的，即在深度学习神经网络模型的输出得到的二维复合信息也包括目标车辆的车辆类别、二维边界框、图像上可见面属性、竖棱、车轮接地点和车轮接地点属性中的至少一种信息。

其中，深度学习神经网络模型可以具体实现为各种既有的神经网络，例如，本实施例中，深度学习神经网络模型优选为Centernet的anchor-free系列，CenterNet是一个基于Anchor-free的目标检测算法，该算法是在CornerNet算法的基础上改进而来的。

在一些实施例中，在将二维图像输入预先训练完成的深度学习神经网络模型之前，还包括：对周围现场图像依次进行图像尺度缩放、图像归一化、图像标准化和图像通道变换处理，得到周围现场图像的预处理图像。

具体地，本实施例中图像尺度缩放具体实现为将周围现场图像调整到模型输入端的分辨率；图像归一化具体实现为将周围现场图像各通道值除以255；图像标准化具体实现为将周围现场图像各通道值先减去均值再除以方差，这里的均值为各通道的平均值，方差为各通道与平均值之差的平方的和的平均数；图像通道变换具体实现为将周围现场图像由BGR模式转为RGB模式。本实施例通过对周围现场图像进行预处理，来增强后续处理重要的图像特征，同时减少一些不必要的信息量，从而提高深度学习神经网络模型的推理效率。

上述步骤S103中，相机的参数包括但不限于相机的内参和外参，例如，相机的参数包括相机距离地面的高度、焦距以及相机在车辆上的安装位置等信息。

在一些实施例中，参见图2，基于相机的参数和目标车辆的二维复合信息，确定车辆为车体坐标系下的目标车辆的三维测距信息，包括：

S201，基于周围现场图像的尺寸以及周围现场图像中目标车辆的二维边界框的四个顶点坐标，判断周围现场图像中的目标车辆是否为左右截断；

S202，若目标车辆为左右截断，对目标车辆进行高度测距；

S203，若目标车辆不为左右截断，继续判断周围现场图像中的目标车辆是否为下截断；

S204，若目标车辆为下截断，对目标车辆进行宽度测距；

S205，若目标车辆不为下截断，则对目标车辆进行三维测距。

具体地，上述步骤S201中，识别周围现场图像中目标车辆是否为左右截断的具体实施例方式并不唯一，例如，本实施例中利用目标车辆的二维边界框的四个顶点坐标，能够计算得到目标车辆的二维边界框的长宽比例，由于目标车辆的长宽比例是固定的，当周围现场图像中目标车辆为左右截断时，目标车辆的二维边界框的长度变短，那么相比于未截断的情况，在目标车辆存在左右截断的情况下，目标车辆的二维边界框的长宽比例将变小。因此，通过二维边界框的四个顶点坐标计算目标车辆的二维边界框的长宽比例，当计算的长宽比例小于预设值(预设值优选为目标车辆在正常情况下的长宽比例)的情况下，即判定周围现场图像中目标车辆为左右截断。当然，实际中也可以通过其他具体实施方式来判定周围现场图中目标车辆是否为左右截断，本实施例对此不作限制。

其中，上述步骤S202中，在判定目标车辆为左右截断的情况下，对目标车辆进行高度测距，包括：基于目标车辆的先验长宽尺寸和二维边界框的宽度，通过相机成像模型来确定目标车辆在车体坐标系下的横纵向距离与高度尺寸。

具体地，在已知相机的位置和焦距、目标车辆的先验长宽尺寸及周围现场图像中目标车辆的二维边界框等参数的情况下，基于针孔相机成像原理，利用相似三角形建立方程求解，即可计算出目标车辆的宽度或高度。因此，针对左右截断的情况，可计算目标车辆的高度来克服目标车辆在周围现场图像上宽度不完整的问题。

此外，上述步骤S203中，判断周围现场图像中的目标车辆是否为下截断的具体实施方式也不唯一。例如，与判断左右截断原理相同，可以利用目标车辆的二维边界框的四个顶点坐标，计算得到目标车辆的二维边界框的长宽比例，由于目标车辆的长宽比例是固定的，当周围现场图像中目标车辆为下截断时，目标车辆的二维边界框的宽度变短，那么相比于未截断的情况，在目标车辆存在下截断的情况下，目标车辆的二维边界框的长宽比例将变大。因此，通过二维边界框的四个顶点坐标计算目标车辆的二维边界框的长宽比例，当计算的长宽比例大于预设值的情况下，即判定周围现场图像中目标车辆为下截断。当然，实际中也可以通过其他具体实施方式来判定周围现场图中目标车辆是否为下截断，本实施例对此不作限制。

其中，上述步骤S204中，在判定目标车辆为下截断的情况下，对目标车辆进行宽度测距，包括：基于目标车辆的先验长宽尺寸和二维边界框的宽度，通过相机成像模型来确定目标车辆在车体坐标系下的横纵向距离与宽度尺寸。

同理，针对下方截断的情况，同样基于针孔相机成像原理，利用相似三角形建立方程求解，即可计算出目标车辆的宽度或高度。由此可见，本实施例可通过计算目标车辆的宽度来克服目标车辆在周围现场图像上高度不完整的问题。

需要说明的是，在目标车辆为左右截断或下截断的情况下，只能计算得到目标车辆在车体坐标系下的横纵向距离和长宽尺寸，而无法计算得到目标车辆的朝向角。并且利用相似三角形建立方程求解来计算图像中目标相对相机的横纵向距离和长宽尺寸，再通过坐标系变换即可得到目标车辆在车体坐标系下的横纵向距离和长宽尺寸，这些均为常规计算手段，故这里不作详细描述。

具体地，目标车辆的三维测距信息包括目标车辆在车体坐标系下的横纵向距离、长宽尺寸和朝向角中的至少一种信息。本实施例中，朝向角也称为航向角。

其中，上述步骤S205中，在目标车辆不为左右截断或下截断的情况下，对目标车辆进行三维测距，包括：判断目标车辆所在周围现场图像中的车轮接地点数量是否为至少2个：若车轮接地点数量为2个，基于车轮接地点，通过逆透视变换来确定目标车辆在车体坐标系下的横纵向距离、长宽尺寸和朝向角；若车轮接地点数量为2个以上，基于目标车辆的二维边界框和竖棱的横坐标、以及目标车辆的至少三个车辆接地点，通过逆透视变换来确定目标车辆的在车体坐标系下的横纵向距离、长宽尺寸和朝向角。

具体地，根据相机逆透视变换原理和地平面假设，利用目标车轮的竖棱、车轮接地点和车轮接地点属性来计算出目标车辆在以车辆所建立车的体坐标系下的三维测距信息，这里的地平面即为目标车辆的车轮与地面的接触点所在平面。

其中，在车轮接地点数量为2个的情况下，将地平面上的点(即车轮接地点)从图像上逆透射到车体坐标系中，由于2个点即可确定一条直线，再通过车轮接地点属性进一步将测距信息转换到目标车辆的中心，从而计算出目标车辆的横纵向距离和长宽尺寸，同时可求出目标的朝向角。需要说明的是，在已知相机的位置和地平面上的点的情况下，利用逆透视变换原理计算车轮接地点在车体坐标系下的横纵向距离、长宽尺寸和朝向角等三维测距信息是一种常规的计算方式，再结合目标车辆的先验长宽尺寸和车轮接地点属性等信息，即可确定目标车轮在车体坐标系下的横纵向距离、长宽尺寸和朝向角，故这里不作详细描述。

其中，在车轮接地点数量为2个以上的情况下，同样利用相机逆透视变换原理以及地平面假设，基于目标车辆在周围现场图像上的二维边界框的横坐标的最小值/最大值，竖棱横坐标，以及地平面上3个点(即车轮接地点)，来建立方程组，通过求解方程组即可计算得到目标车辆在车体坐标系下的横纵向距离、长宽尺寸和朝向角。由于这种测距方法不依赖目标车辆在周围现场图像上的纵坐标，因此针对路面颠簸的情况，鲁棒性较好。

例如，请参见图3，示出了一种利用相机逆透视变换原理计算三维测距信息的原理示意图，在车轮接地点数量为3个的情况下，假设K是相机内参，R与t是相机外参，分别表示旋转矩阵和偏移向量；C是相机在车体坐标系的位置，C＝-R^(-1)*t。那么，以下有3个方程组(每个方程组是相机的透视变换公式)：

其中，这里只用到每个方程组的第1行，共3行组成新的方程组，θ表示朝向角；lv和wv是先验的长宽，*表示3个点在图像上的纵坐标，实际用不到，X表示目标车辆在车体坐标系中的位置(即图3中的d横,d纵，Zc)。可见，通过求解上述方程组即可得到目标车辆在以车辆所建立的车体坐标系下的横纵向距离与朝向角。

在一些实施例中，请参见图4，基于目标车辆的重识别特征、二维复合信息和三维测距信息，确定目标车辆的三维跟踪状态，包括：

S401，利用重识别特征和目标车辆的二维复合信息进行联合匹配；

S402，如果当前结果和已有的***匹配不上，则新建***对目标车辆进行跟踪，其中，当前结果重识别特征和目标车辆的二维复合信息；

S403，如果当前结果和已有的***匹配上，则更新***状态；其中，***包括滤波***，更新***状态包括利用多个滤波***对三维测距信息中的不同信息分别进行独立滤波，得到目标车辆的三维跟踪状态。

本实施例中，滤波***优选为卡尔曼滤波器，当然，实际中也可采用其他滤波器，本实施例对此不作限制。

具体地，上述步骤S401中，人重识别算法(英文为Person re-identification，简称Re-ID算法)，是一种基于深度学习和计算机视觉技术的人物识别技术，其目的是在不同时间和场景下对同一个人的多张图片进行识别和匹配。相对于传统的人脸识别技术，人重识别算法具有更高的准确率和稳定性。行人重识别算法通常包括两个主要步骤：特征提取和匹配计算。特征提取是将行人的外貌信息抽象成向量的过程，即得到重识别特征，常用的特征提取方法有局部特征和全局特征两种。而匹配计算则是对抽象出的向量进行相似度计算，比较这些向量的相似度来判断是否为同一个行人。由于这些均为常规计算手段，故这里不再赘述。

其中，利用滤波***对三维测距信息进行滤波包括利用一个滤波器对目标车辆的横纵向距离进行滤波，以及利用另外一个滤波器对朝向角进行滤波，即本实施例通过对检测到的三维测距信息中的信息分别利用滤波器进行独立滤波，具有提升对目标车辆测距的稳定性的作用。

三维测距信息三维测距信息例如，假设目标车辆在车体坐标系下的横纵向距离为(x,y)，长宽尺寸为(l,w)，以及朝向角为α，采用线性卡尔曼滤波算法，使用一个独立的滤波器对目标车辆的运动状态(x,y)进行滤波，同时使用另一个独立的滤波器对目标车辆的朝向角α进行滤波。具体地，目标车辆的状态可以直接使用l、w和α的检测结果值，而针对目标车辆的运动状态，卡尔曼滤波器的状态量定义为sx,sy，vx，vy，其中sx,sy表示车体坐标系下目标中心点横纵向距离，vx，vy表示车体坐标系下目标中心点横纵向速度，卡尔曼滤波器的观测值为x,y，其中x,y表示车体坐标系下目标中心点横纵向距离。其中，当测距方法多于一种时，观测值可有多个，可采用加权平均的方法进行计算获取最终的观测值。此外，再使用另一个卡尔曼滤波器对α的检测结果值进行单独滤波，以更新目标车辆的运动状态。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

请参见图5，为本公开实施例提供的一种基于单目视觉的三维车辆跟踪装置的结构示意图，如图5所示，该基于单目视觉的三维车辆跟踪装置，包括：

图像获取模块510，被配置为获取车辆上的单目相机采集的周围现场图像，所述周围现场图像中包括至少一个行驶在车辆周围的目标车辆，并且所述周围现场图像为二维图像；

图像识别模块520，被配置为将所述二维图像输入预先训练完成的深度学习神经网络模型，并在所述深度学习神经网络模型的输出得到所述二维图像中目标车辆的二维复合信息；

逆透视变换模块530，被配置为基于所述相机的参数和所述目标车辆的二维复合信息，确定所述车辆为车体坐标系下的所述目标车辆的三维测距信息；

特征提取模块540，被配置为利用行人重识别算法对所述目标车辆所在周围现场图像进行识别，得到所述目标车辆的重识别特征；

目标跟踪模块550，被配置为基于所述目标车辆的重识别特征、二维复合信息和三维测距信息，确定所述目标车辆的三维跟踪状态。

由于该基于单目视觉的三维车辆跟踪装置通过获取车辆上的单目相机采集的周围现场图像，周围现场图像中包括至少一个行驶在车辆周围的目标车辆，并且周围现场图像为二维图像；将二维图像输入预先训练完成的深度学习神经网络模型，并在深度学习神经网络模型的输出得到二维图像中目标车辆的二维复合信息；基于相机的参数和目标车辆的二维复合信息，确定车辆为车体坐标系下的目标车辆的三维测距信息；利用行人重识别算法对目标车辆所在周围现场图像进行识别，得到目标车辆的重识别特征；基于目标车辆的重识别特征、二维复合信息和三维测距信息，确定目标车辆的三维跟踪状态，从而实现采集目标车辆的二维图像来恢复出目标车辆在车体坐标系下的三维信息的效果，这样在对深度学习神经网络模型训练过程中，只需标注图像的二维信息，降低了模型训练对样本数据的依赖性，且没有时空同步的要求，故对于深度学习神经网络模型的实现成本较低，且可行性高，能够进行广泛应用，更具实用性。

在一些实施例中，结合图5所示，该基于单目视觉的三维车辆跟踪装置，还包括：

图像预处理模块560，被配置为在将所述二维图像输入预先训练完成的深度学习神经网络模型之前，对所述周围现场图像依次进行图像尺度缩放、图像归一化、图像标准化和图像通道变换处理，得到所述周围现场图像的预处理图像。

在一些实施例中，结合图5所示，该基于单目视觉的三维车辆跟踪装置，还包括：

模型训练模块570，被配置为利用历史的周围现场图像以及与所述历史的周围现场图像匹配的标注结果对深度学习神经网络模型进行离线训练，得到深度学习神经网络模型的一个权重文件；

模型更新模块580，被配置为基于所述权重文件更新预先训练完成的深度学习神经网络模型。

在一些实施例中，所述二维复合信息包括目标车辆的以下至少一种信息：车辆类别、二维边界框、图像上可见面属性、竖棱、车轮接地点和车轮接地点属性。

在一些实施例中，参见图6，逆透视变换模块530包括：左右截断判断单元531，被配置为基于周围现场图像的尺寸以及周围现场图像中目标车辆的二维边界框的四个顶点坐标，判断周围现场图像中的目标车辆是否为左右截断；高度测距单元532，被配置为若目标车辆为左右截断，对目标车辆进行高度测距；下截断判断单元533，被配置为若目标车辆不为左右截断，继续判断周围现场图像中的目标车辆是否为下截断；宽度测距单元534，被配置为若目标车辆为下截断，对目标车辆进行宽度测距；三维测距单元535，被配置为若目标车辆不为下截断，则对目标车辆进行三维测距。

在一些实施例中，图6中的高度测距单元532被具体配置为基于目标车辆的先验长宽尺寸和二维边界框的宽度，通过相机成像模型来确定所述目标车辆在车体坐标系下的横纵向距离与高度尺寸。

在一些实施例中，图6中的宽度测距单元534被具体配置为基于目标车辆的先验长宽尺寸和二维边界框的宽度，通过相机成像模型来确定所述目标车辆在车体坐标系下的横纵向距离与宽度尺寸。

在一些实施例中，图6中的三维测距单元535被具体配置为判断所述目标车辆所在周围现场图像中的车轮接地点数量是否为至少2个：若车轮接地点数量为2个，基于所述车轮接地点，通过逆透视变换来确定所述目标车辆在车体坐标系下的横纵向距离、长宽尺寸和朝向角；若车轮接地点数量为2个以上，基于目标车辆的二维边界框和竖棱的横坐标、以及所述目标车辆的至少三个车辆接地点，通过逆透视变换来确定所述目标车辆的在车体坐标系下的横纵向距离、长宽尺寸和朝向角。

在一些实施例中，参见图7，目标跟踪模块550包括：匹配判断单元551，被配置为利用重识别特征和目标车辆的二维复合信息进行联合匹配；第一跟踪单元552，被配置为如果当前结果和已有的***匹配不上，则新建***对目标车辆进行跟踪，其中，所述当前结果重识别特征和目标车辆的二维复合信息；第二跟踪单元553，被配置为如果当前结果和已有的***匹配上，则更新***状态，其中，***包括滤波***，更新***状态包括利用多个滤波***对三维测距信息中的不同信息分别进行独立滤波，得到目标车辆的三维跟踪状态。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

图8是本公开实施例提供的电子设备8的示意图。如图8所示，该实施例的电子设备8包括：处理器801、存储器802以及存储在该存储器802中并且可在处理器801上运行的计算机程序803。处理器801执行计算机程序803时实现上述各个方法实施例中的步骤。或者，处理器801执行计算机程序803时实现上述各装置实施例中各模块/单元的功能。

电子设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备8可以包括但不仅限于处理器801和存储器802。本领域技术人员可以理解，图8仅仅是电子设备8的示例，并不构成对电子设备8的限定，可以包括比图示更多或更少的部件，或者不同的部件。

处理器801可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

存储器802可以是电子设备8的内部存储单元，例如，电子设备8的硬盘或内存。存储器802也可以是电子设备8的外部存储设备，例如，电子设备8上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。存储器802还可以既包括电子设备8的内部存储单元也包括外部存储设备。存储器802用于存储计算机程序以及电子设备所需的其它程序和数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (19)

1.一种基于单目视觉的三维车辆跟踪方法，其特征在于，包括：

获取车辆上的单目相机采集的周围现场图像，所述周围现场图像中包括至少一个行驶在车辆周围的目标车辆，并且所述周围现场图像为二维图像；

将所述二维图像输入预先训练完成的深度学习神经网络模型，并在所述深度学习神经网络模型的输出得到所述二维图像中目标车辆的二维复合信息；

基于所述相机的参数和所述目标车辆的二维复合信息，确定所述车辆为车体坐标系下的所述目标车辆的三维测距信息；

利用行人重识别算法对所述目标车辆所在周围现场图像进行识别，得到所述目标车辆的重识别特征；

基于所述目标车辆的重识别特征、二维复合信息和三维测距信息，确定所述目标车辆的三维跟踪状态。

2.根据权利要求1所述的基于单目视觉的三维车辆跟踪方法，其特征在于，在将所述二维图像输入预先训练完成的深度学习神经网络模型之前，还包括：对所述周围现场图像依次进行图像尺度缩放、图像归一化、图像标准化和图像通道变换处理，得到所述周围现场图像的预处理图像。

3.根据权利要求1所述的基于单目视觉的三维车辆跟踪方法，其特征在于，所述深度学习神经网络模型的训练方法，包括：

利用历史的周围现场图像以及与所述历史的周围现场图像匹配的标注结果对深度学习神经网络模型进行离线训练，得到深度学习神经网络模型的一个权重文件；

基于所述权重文件更新预先训练完成的深度学习神经网络模型。

4.根据权利要求1-3中任一项所述的基于单目视觉的三维车辆跟踪方法，其特征在于，所述二维复合信息包括目标车辆的以下至少一种信息：车辆类别、二维边界框、图像上可见面属性、竖棱、车轮接地点和车轮接地点属性。

5.根据权利要求4所述的基于单目视觉的三维车辆跟踪方法，其特征在于，所述基于所述相机的参数和所述目标车辆的二维复合信息，确定所述车辆为车体坐标系下的所述目标车辆的三维测距信息，包括：

基于周围现场图像的尺寸以及周围现场图像中目标车辆的二维边界框的四个顶点坐标，判断周围现场图像中的目标车辆是否为左右截断；

若目标车辆为左右截断，对目标车辆进行高度测距；

若目标车辆不为左右截断，继续判断周围现场图像中的目标车辆是否为下截断；

若目标车辆为下截断，对目标车辆进行宽度测距；

若目标车辆不为下截断，则对目标车辆进行三维测距，得到目标车辆在以车辆建立为车体坐标系下的三维测距信息。

6.根据权利要求5所述的基于单目视觉的三维车辆跟踪方法，其特征在于，所述对目标车辆进行高度测距，包括：基于目标车辆的先验长宽尺寸和二维边界框的宽度，通过相机成像模型来确定所述目标车辆在车体坐标系下的横纵向距离与高度尺寸。

7.根据权利要求5所述的基于单目视觉的三维车辆跟踪方法，其特征在于，对目标车辆进行宽度测距，包括：基于目标车辆的先验长宽尺寸和二维边界框的宽度，通过相机成像模型来确定所述目标车辆在车体坐标系下的横纵向距离与宽度尺寸。

8.根据权利要求5所述的基于单目视觉的三维车辆跟踪方法，其特征在于，所述对目标车辆进行三维测距，包括：

判断所述目标车辆所在周围现场图像中的车轮接地点数量是否为至少2个；

若车轮接地点数量为2个，基于所述车轮接地点，通过逆透视变换来确定所述目标车辆在车体坐标系下的横纵向距离、长宽尺寸和朝向角；

若车轮接地点数量为2个以上，基于目标车辆的二维边界框和竖棱的横坐标、以及所述目标车辆的至少三个车辆接地点，通过逆透视变换来确定所述目标车辆的在车体坐标系下的横纵向距离、长宽尺寸和朝向角。

9.根据权利要求5所述的基于单目视觉的三维车辆跟踪方法，其特征在于，所述基于所述目标车辆的重识别特征、二维复合信息和三维测距信息，确定所述目标车辆的三维跟踪状态，包括：

利用重识别特征和目标车辆的二维复合信息进行联合匹配；

如果当前结果和已有的***匹配不上，则新建***对目标车辆进行跟踪，其中，所述当前结果重识别特征和目标车辆的二维复合信息；

如果当前结果和已有的***匹配上，则更新***状态；

其中，***包括滤波***，更新***状态包括利用多个滤波***对三维测距信息中的不同信息分别进行独立滤波，得到目标车辆的三维跟踪状态。

10.一种基于单目视觉的三维车辆跟踪装置，其特征在于，包括：

图像获取模块，被配置为获取车辆上的单目相机采集的周围现场图像，所述周围现场图像中包括至少一个行驶在车辆周围的目标车辆，并且所述周围现场图像为二维图像；

图像识别模块，被配置为将所述二维图像输入预先训练完成的深度学习神经网络模型，并在所述深度学习神经网络模型的输出得到所述二维图像中目标车辆的二维复合信息；

逆透视变换模块，被配置为基于所述相机的参数和所述目标车辆的二维复合信息，确定所述车辆为车体坐标系下的所述目标车辆的三维测距信息；

特征提取模块，被配置为利用行人重识别算法对所述目标车辆所在周围现场图像进行识别，得到所述目标车辆的重识别特征；

目标跟踪模块，被配置为基于所述目标车辆的重识别特征、二维复合信息和三维测距信息，确定所述目标车辆的三维跟踪状态。

11.根据权利要求10所述的基于单目视觉的三维车辆跟踪装置，其特征在于，还包括：图像预处理模块，被配置为在将所述二维图像输入预先训练完成的深度学习神经网络模型之前，对所述周围现场图像依次进行图像尺度缩放、图像归一化、图像标准化和图像通道变换处理，得到所述周围现场图像的预处理图像。

12.根据权利要求10所述的基于单目视觉的三维车辆跟踪装置，其特征在于，还包括：

模型训练模块，被配置为利用历史的周围现场图像以及与所述历史的周围现场图像匹配的标注结果对深度学习神经网络模型进行离线训练，得到深度学习神经网络模型的一个权重文件；

模型更新模块，被配置为基于所述权重文件更新预先训练完成的深度学习神经网络模型。

13.根据权利要求10-12中任一项所述的基于单目视觉的三维车辆跟踪装置，其特征在于，所述二维复合信息包括目标车辆的以下至少一种信息：车辆类别、二维边界框、图像上可见面属性、竖棱、车轮接地点和车轮接地点属性。

14.根据权利要求13所述的基于单目视觉的三维车辆跟踪装置，其特征在于，所述逆透视变换模块包括：

左右截断判断单元，被配置为基于周围现场图像的尺寸以及周围现场图像中目标车辆的二维边界框的四个顶点坐标，判断周围现场图像中的目标车辆是否为左右截断；

高度测距单元，被配置为若目标车辆为左右截断，对目标车辆进行高度测距；

下截断判断单元，被配置为若目标车辆不为左右截断，继续判断周围现场图像中的目标车辆是否为下截断；

宽度测距单元，被配置为若目标车辆为下截断，对目标车辆进行宽度测距；

三维测距单元，被配置为若目标车辆不为下截断，则对目标车辆进行三维测距。

15.根据权利要求13所述的基于单目视觉的三维车辆跟踪方法，其特征在于，所述高度测距单元被具体配置为基于目标车辆的先验长宽尺寸和二维边界框的宽度，通过相机成像模型来确定所述目标车辆在车体坐标系下的横纵向距离与高度尺寸。

16.根据权利要求13所述的基于单目视觉的三维车辆跟踪方法，其特征在于，所述宽度测距单元被具体配置为基于目标车辆的先验长宽尺寸和二维边界框的宽度，通过相机成像模型来确定所述目标车辆在车体坐标系下的横纵向距离与宽度尺寸。

17.根据权利要求13所述的基于单目视觉的三维车辆跟踪装置，其特征在于，所述三维测距单元被具体配置为判断所述目标车辆所在周围现场图像中的车轮接地点数量是否为至少2个：若车轮接地点数量为2个，基于所述车轮接地点，通过逆透视变换来确定所述目标车辆在车体坐标系下的横纵向距离、长宽尺寸和朝向角；若车轮接地点数量为2个以上，基于目标车辆的二维边界框和竖棱的横坐标、以及所述目标车辆的至少三个车辆接地点，通过逆透视变换来确定所述目标车辆的在车体坐标系下的横纵向距离、长宽尺寸和朝向角。

18.根据权利要求13所述的基于单目视觉的三维车辆跟踪装置，其特征在于，所述目标跟踪模块，包括：

匹配判断单元，被配置为利用重识别特征和目标车辆的二维复合信息进行联合匹配；

第一跟踪单元，被配置为如果当前结果和已有的***匹配不上，则新建***对目标车辆进行跟踪，其中，所述当前结果重识别特征和目标车辆的二维复合信息；

第二跟踪单元，被配置为如果当前结果和已有的***匹配上，则更新***状态，其中，***包括滤波***，更新***状态包括利用多个滤波***对三维测距信息中的不同信息分别进行独立滤波，得到目标车辆的三维跟踪状态。

19.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9中任一项所述方法的步骤。

Images