CN113326715B - 一种目标关联方法及装置 - Google Patents

Abstract

本发明实施例公开一种目标关联方法及装置，方法包括：获得每一待处理图像中每一感知目标的语义感知信息；针对每一待处理图像，利用该待处理图像对应的图像采集设备的设备信息及每一感知目标的接地点信息，确定其中每一感知目标对应的三维位置信息；若感知目标不对应有效历史关联关系，利用感知目标对应的三维位置信息，与其对应的待处理感知目标对应的三维位置信息，确定该感知目标与每一待处理感知目标的三维距离；利用该感知目标及其对应的待处理感知目标的三维距离，确定与该感知目标存在关联关系的关联感知目标，以实现对多图像采集设备所采集图像中对应同一物理目标的感知目标的关联。

Description

一种目标关联方法及装置

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种目标关联方法及装置。

背景技术

在基于视觉的自动驾驶方案中，车辆会设置多路图像采集设备，以针对车辆周围环境采集图像；后续的利用视觉感知算法对所采集的图像进行深度分析，生成图像所包含的感知目标的感知结果，其中，感知目标包括但不限于：车辆的周边车辆、行人、骑行者、车道线、交通障碍物、标志牌等目标；将感知结果输出至预测规控模块，预测规控模块利用所输入的感知结果，对车辆的下一阶段运动进行路径规划和决策控制。

在基于视觉的自动驾驶方案中，由于车辆所设置的位置相邻的图像采集设备之间的图像采集区域存在重合，利用视觉感知算法，从多路图像采集设备所采集的图像中所分析出的感知目标的个数会多于车辆实际所处环境中的真实物理目标的个数，直接将从多路图像采集设备所采集的图像中所分析出的感知目标的感知结果，输出至预测规控模块，而不对从多路图像采集设备所采集的图像中所分析出的感知目标中对应同一物理目标的感知目标进行关联，可能出现导致预测规控模块不能做出最佳的路径规划和决策控制的情况。因此，如何提供一种对从多个图像采集设备所采集的图像中对应同一物理目标的感知目标进行关联的方法成为亟待解决的问题。

发明内容

本发明提供了一种目标关联方法及装置，以实现对多图像采集设备所采集的图像中对应同一物理目标的感知目标的关联确定。具体的技术方案如下：

第一方面，本发明实施例提供了一种目标关联方法，包括：

获得每一待处理图像中每一感知目标的语义感知信息，其中，所述待处理图像为：多个图像采集设备在相同采集周期内、从不同角度针对所述目标车辆所处环境进行拍摄所采集的图像；每一感知目标的语义感知信息包括：感知目标的接地点信息；

针对每一待处理图像，利用该待处理图像对应的图像采集设备的设备信息及该待处理图像中每一感知目标的接地点信息，确定该待处理图像中每一感知目标对应的三维位置信息；

针对每一感知目标，判断该感知目标是否对应有效的历史关联关系；

若判断该感知目标不对应有效的历史关联关系，利用该感知目标对应的三维位置信息，与该感知目标对应的待处理感知目标对应的三维位置信息，确定该感知目标与其对应的每一待处理感知目标之间的三维距离，其中，该感知目标对应的待处理感知目标为：与该感知目标对应的图像采集设备位置相邻的图像采集设备所对应的、未对应关联关系的感知目标；

并利用该感知目标及其对应的待处理感知目标之间的三维距离，从其对应的待处理感知目标中，确定与该感知目标存在关联关系的关联感知目标。

可选的，所述方法还包括：

若判断该感知目标对应有效的历史关联关系，则将该感知目标对应的有效的历史关联关系所对应目标，确定为与该感知目标存在关联关系的关联感知目标。

可选的，所述针对每一感知目标，判断该感知目标是否对应有效的历史关联关系的步骤，包括：

针对每一感知目标，判断该感知目标是否对应历史关联关系；

若判断该感知目标对应历史关联关系，判断该感知目标对应的历史关联关系是否有效，其中，若判断该感知目标对应的历史关联关系所对应目标存在，且该历史关联关系对应的确定时长低于预设时间阈值，则确定该感知目标对应的历史关联关系有效；反之，确定感知目标对应的历史关联关系无效。

可选的，所述针对每一待处理图像，利用该待处理图像对应的图像采集设备的设备信息及该待处理图像中每一感知目标的接地点信息，确定该待处理图像中每一感知目标对应的三维位置信息的步骤，包括：

针对每一待处理图像，利用预设三维位置信息确定算法，该待处理图像对应的图像采集设备的设备信息中的安装高度信息和视野消失点位置信息及该待处理图像中每一感知目标的接地点信息，确定该待处理图像中每一感知目标对应的三维位置信息，其中，该预设三维位置信息确定算法为：基于图像采集设备成像原理以及相似三角形关系确定的算法。

可选的，所述利用预设三维位置信息确定算法，该待处理图像对应的图像采集设备的设备信息中的安装高度信息和视野消失点位置信息及该待处理图像中每一感知目标的接地点信息，确定该待处理图像中每一感知目标对应的三维位置信息的步骤，包括：

利用预设三维位置信息确定算法、该待处理图像对应的图像采集设备的设备信息中的安装高度信息和视野消失点位置信息及该待处理图像中每一感知目标的接地点信息，确定每一感知目标对应的深度信息；

针对该待处理图像中每一感知目标，基于该感知目标对应的深度信息、接地点信息以及所对应图像采集设备的预设投影矩阵，确定该感知目标在其对应的图像采集设备的设备坐标系下的位置信息；

针对该待处理图像中每一感知目标，基于该感知目标对应的图像采集设备的设备坐标系与所述目标车辆的车体坐标系之间的位置转换关系，以及该感知目标在其对应的图像采集设备的设备坐标系下的位置信息，确定该待处理图像中每一感知目标对应的三维位置信息。

可选的，所述利用该感知目标及其对应的待处理感知目标之间的三维距离，从其对应的待处理感知目标中，确定与该感知目标存在关联关系的关联感知目标的步骤，包括：

判断该感知目标与其对应的待处理感知目标之间的三维距离是否低于预设距离阈值；

若判断该感知目标及其对应的待处理感知目标之间的三维距离低于所述预设距离阈值，确定该三维位置信息对应的待处理感知目标为该感知目标对应的待关联感知目标；

从该感知目标对应的每一待关联感知目标中，确定出与该感知目标存在关联关系的关联感知目标。

第二方面，本发明实施例提供了一种目标关联装置，所述装置包括：

获得模块，被配置为获得每一待处理图像中每一感知目标的语义感知信息，其中，所述待处理图像为：多个图像采集设备在相同采集周期内、从不同角度针对所述目标车辆所处环境进行拍摄所采集的图像；每一感知目标的语义感知信息包括：感知目标的接地点信息；

第一确定模块，被配置为针对每一待处理图像，利用该待处理图像对应的图像采集设备的设备信息、该待处理图像中每一感知目标的接地点信息以及视野消失点位置信息，确定该待处理图像中每一感知目标对应的三维位置信息；

判断模块，被配置为针对每一感知目标，判断该感知目标是否对应有效的历史关联关系；

第二确定模块，被配置为若判断该感知目标不对应有效的历史关联关系，利用该感知目标对应的三维位置信息，与该感知目标对应的待处理感知目标对应的三维位置信息，确定该感知目标与其对应的每一待处理感知目标之间的三维距离，其中，该感知目标对应的待处理感知目标为：与该感知目标对应的图像采集设备位置相邻的图像采集设备所对应的、未对应关联关系的感知目标；

第三确定模块，被配置为并利用该感知目标及其对应的待处理感知目标之间的三维距离，从其对应的待处理感知目标中，确定与该感知目标存在关联关系的关联感知目标。

可选的，所述装置还包括：

第四确定模块，被配置若判断该感知目标对应有效的历史关联关系，则将该感知目标对应的有效的历史关联关系所对应目标，确定为与该感知目标存在关联关系的关联感知目标。

可选的，所述判断模块，被具体配置为针对每一感知目标，判断该感知目标是否对应历史关联关系；

若判断该感知目标对应历史关联关系，判断该感知目标对应的历史关联关系是否有效，其中，若判断该感知目标对应的历史关联关系所对应目标存在，且该历史关联关系对应的确定时长低于预设时间阈值，则确定该感知目标对应的历史关联关系有效；反之，确定感知目标对应的历史关联关系无效。

可选的，所述第一确定模块，被具体配置为针对每一待处理图像，利用预设三维位置信息确定算法，该待处理图像对应的图像采集设备的设备信息中的安装高度信息和视野消失点位置信息及该待处理图像中每一感知目标的接地点信息，确定该待处理图像中每一感知目标对应的三维位置信息，其中，该预设三维位置信息确定算法为：基于图像采集设备成像原理以及相似三角形关系确定的算法。

可选的，所述第一确定模块，被具体配置为利用预设三维位置信息确定算法、该待处理图像对应的图像采集设备的设备信息中的安装高度信息和视野消失点位置信息及该待处理图像中每一感知目标的接地点信息，确定每一感知目标对应的深度信息；

针对该待处理图像中每一感知目标，基于该感知目标对应的深度信息、接地点信息以及所对应图像采集设备的预设投影矩阵，确定该感知目标在其对应的图像采集设备的设备坐标系下的位置信息；

针对该待处理图像中每一感知目标，基于该感知目标对应的图像采集设备的设备坐标系与所述目标车辆的车体坐标系之间的位置转换关系，以及该感知目标在其对应的图像采集设备的设备坐标系下的位置信息，确定该待处理图像中每一感知目标对应的三维位置信息。

可选的，所述第三确定模块，被具体配置为判断该感知目标与其对应的待处理感知目标之间的三维距离是否低于预设距离阈值；

若判断该感知目标及其对应的待处理感知目标之间的三维距离低于所述预设距离阈值，确定该三维位置信息对应的待处理感知目标为该感知目标对应的待关联感知目标；

从该感知目标对应的每一待关联感知目标中，确定出与该感知目标存在关联关系的关联感知目标。

由上述内容可知，本发明实施例提供的一种目标关联方法及装置，可以获得每一待处理图像中每一感知目标的语义感知信息，其中，待处理图像为：多个图像采集设备在相同采集周期内、从不同角度针对目标车辆所处环境进行拍摄所采集的图像；每一感知目标的语义感知信息包括：感知目标的接地点信息；针对每一待处理图像，利用该待处理图像对应的图像采集设备的设备信息及该待处理图像中每一感知目标的接地点信息，确定该待处理图像中每一感知目标对应的三维位置信息；针对每一感知目标，判断该感知目标是否对应有效的历史关联关系；若判断该感知目标不对应有效的历史关联关系，利用该感知目标对应的三维位置信息，与该感知目标对应的待处理感知目标对应的三维位置信息，确定该感知目标与其对应的每一待处理感知目标之间的三维距离，其中，该感知目标对应的待处理感知目标为：与该感知目标对应的图像采集设备位置相邻的图像采集设备所对应的、未对应关联关系的感知目标；并利用该感知目标及其对应的待处理感知目标之间的三维距离，从其对应的待处理感知目标中，确定与该感知目标存在关联关系的关联感知目标。

应用本发明实施例，可以首先利用每一待处理图像对应的图像采集设备的设备信息及其中每一感知目标的接地点信息，确定每一待处理图像中每一感知目标对应的三维位置信息，进而在判断感知目标不对应有效的历史关联关系的情况下，利用感知目标对应的三维位置信息，与感知目标对应的待处理感知目标对应的三维位置信息，确定该感知目标与其对应的每一待处理感知目标之间的三维距离，利用感知目标与其对应的每一待处理感知目标之间的三维距离，确定待处理感知目标中与感知目标存在关联关系的关联感知目标，即确定对应同一物理目标的关联感知目标，实现对多图像采集设备所采集的图像中对应同一物理目标的感知目标的关联确定。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、可以首先利用每一待处理图像对应的图像采集设备的设备信息及其中每一感知目标的接地点信息，确定每一待处理图像中每一感知目标对应的三维位置信息，进而在判断感知目标不对应有效的历史关联关系的情况下，利用感知目标对应的三维位置信息，与感知目标对应的待处理感知目标对应的三维位置信息，确定该感知目标与其对应的每一待处理感知目标之间的三维距离，利用感知目标与其对应的每一待处理感知目标之间的三维距离，确定待处理感知目标中与感知目标存在关联关系的关联感知目标，即确定对应同一物理目标的关联感知目标，实现对多图像采集设备所采集的图像中对应同一物理目标的感知目标的关联确定。

2、为了在一定程度上降低计算量，并且考虑到图像采集设备采集图像的周期较短，相邻图像之间感知目标的差异不大的因素，在判断感知目标对应有效的历史关联关系的情况下，继续延用该感知目标对应的有效的历史关联关系。

3、在判断感知目标对应的历史关联关系存在的情况下，判断该历史关联关系所对应目标是否存在，且该历史关联关系对应的确定时长是否低于预设时间阈值，来实现对该感知目标是否对应有效的历史关联关系的判断；若判断该感知目标对应的历史关联关系所对应目标存在，且该历史关联关系对应的确定时长低于预设时间阈值，则确定该感知目标对应的历史关联关系有效，反之无效。

4、利用基于图像采集设备成像原理以及相似三角形关系确定的预设三维位置信息确定算法、该待处理图像对应的图像采集设备的设备信息中的安装高度信息和视野消失点位置信息及该待处理图像中每一感知目标的接地点信息，粗略确定出待处理图像中每一感知目标对应的深度信息，进而基于图像采集设备的预设投影矩阵以及图像采集设备的设备坐标系与车体坐标系之间的位置转换关系，确定出待处理图像中每一感知目标对应的三维位置信息，为确定多图像采集设备所采集的图像中对应同一物理目标的感知目标的关联确定提供依据。

5、针对不对应有效的历史关联关系的感知目标，将与其对应的且之间的三维距离低于预设距离阈值的待处理感知目标，作为该感知目标对应的待关联感知目标，从该感知目标对应的每一待关联感知目标中，确定出与该感知目标存在关联关系的关联感知目标，实现对每一感知目标所确定的与该感知目标存在关联关系的关联感知目标，实现对多图像采集设备所采集的图像中对应同一物理目标的感知目标的准确关联确定。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的目标关联方法的一种流程示意图；

图2为本发明实施例提供的目标关联方法的另一种流程示意图

图3A为图像采集设备成像情况的一种示例图；

图3B为图像采集设备成像情况的一种立体示例图；

图3C和图3D为提供的一种感知目标的关联确认的一种示例图；

图4为本发明实施例提供的目标关联装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明提供了一种目标关联方法及装置，以实现对多图像采集设备所采集的图像中对应同一物理目标的感知目标的准确关联确定。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的目标关联方法的一种流程示意图。该方法可以包括以下步骤：

S101：获得每一待处理图像中每一感知目标的语义感知信息。

其中，待处理图像为：多个图像采集设备在相同采集周期内、从不同角度针对目标车辆所处环境进行拍摄所采集的图像；每一感知目标的语义感知信息包括：感知目标的接地点信息。

本发明实施例中，该方法可以应用于任一类型的具有计算能力的电子设备，该电子设备可以为服务器或者终端设备。该电子设备可以设置于车辆内，为车载设备，也可以未设置于车辆内，为非车载设备，这都是可以的。

目标车辆可以设置有多个图像采集设备，该多个图像采集设备可以从不同角度针对目标车辆的四周环境采集图像。举例而言，目标车辆可以设置有四个图像采集设备，该四个图像采集设备可以分别针对目标车辆的前方、后方、左侧和右侧采集图像。

一种情况中，电子设备可以获得其他设备所发送的每一待处理图像中每一感知目标的语义感知信息。其中，该其他设备可以与多个图像采集设备连接，并直接获得多个图像采集设备在相同采集时刻、从不同角度针对目标车辆所处环境采集的图像，作为待处理图像。

该其他设备可以与该多个图像采集设备进行连接，可以直接获得多个图像采集设备在相同采集时刻针对目标车辆所处环境采集的图像，作为待处理图像。利用预设的语义感知信息检测模型，对多个待处理图像进行语义感知信息检测，确定每一待处理图像中每一感知目标的语义感知信息。进而，发送至该电子设备，以使电子设备获得每一待处理图像中每一感知目标的语义感知信息。其中，感知目标包括但不限于：车辆、路灯杆、行人、骑行者、车道线以及交通障碍物等等。语义感知信息包括但不限于：用于描述目标的形状、位置、颜色以及类别等信息的信息。

上述预设的语义感知检测模型可以为预先基于标注有各样本感知目标的样本图像以及样本图像对应的包含样本图像中各样本感知目标的语义感知信息的标定信息训练得到的神经网络模型。其中，该预设的语义感知检测模型的训练过程，可以参见相关技术中神经网络模型的训练过程，在此不再赘述。

在另一种实现方式中，电子设备可以直接与多个图像采集设备连接，获得多个图像采集设备在相同采集周期内、从不同角度针对目标车辆所处环境进行拍摄所采集的图像，作为待处理图像，进而，利用预设的语义感知信息检测模型，对多个待处理图像进行语义感知信息检测，确定每一待处理图像中每一感知目标的语义感知信息。

其中，每一感知目标的语义感知信息所依赖的像素点的位置信息是无畸变的，若电子设备所获得的每一感知目标的语义感知信息所依赖的像素点的位置信息没有去畸变，则电子设备需要对每一感知目标的语义感知信息所依赖的像素点的位置信息进行去畸变，进而继续执行后续的目标关联流程。

本实施例中，每一感知目标的语义感知信息可以包括：感知目标的接地点信息，即感知目标与地面的接触位置的位置信息。例如：车辆的接地点信息为：车辆的车轮与地面相切的位置的信息，即车轮接地点信息。该感知目标的接地点信息可以通过相关技术中任意可以确定感知目标与地面的接触位置的位置信息的确定方式进行确定，本发明实施例并不进行限定。

在一种情况中，感知目标为车辆的情况下，待处理图像A中一车辆可能包含至少两个接地点信息，一种情况，可以选取车辆的指定车轮的接地点信息，作为车辆的接地点信息进行目标关联计算，也可以是针对至少两个接地点信息均进行目标关联计算，其中，针对车辆的任一接地点信息，从另一待处理图像B的接地点信息中，确定出与待处理图像A的该接地点信息存在关联关系时，可以认为该另一待处理图像B中该接地点信息所属车辆，与待处理图像A的该接地点信息所属车辆对应同一物理车辆。

在一种实现方式中，感知目标为车辆时，该车辆的车轮接地点信息的确定方式，可以如下：

利用预先训练的车辆检测模型，对待处理图像进行检测，确定待处理图像中各车轮接地点的检测信息；并关联每一车辆对应的车轮接地点的检测信息，针对每一车辆，输出该车辆的车轮接地点集合的检测信息，其中，检测信息包括：车轮接地点的位置信息和方位属性信息，其中，预先训练的车辆检测模型为：基于标注有各样本车辆的标注车轮接地点集合的样本图像训练所得的模型。方位属性信息为：车辆接地点相应于车辆所属的方位，例如：方位属性信息包括但不限于：左前轮、左后轮、右后轮以及左前轮。

其中，预先训练的车辆检测模型包括特征提取层、特征分类、特征回归层以及后处理层。

相应的，上述确定待处理图像中各车轮接地点的检测信息；并关联每一车辆对应的车轮接地点的检测信息，针对每一车辆，输出该车辆的车轮接地点集合的位置信息和方位属性信息的过程，可以是：

电子设备利用特征提取层，对待处理图像进行特征提取，确定待处理图像对应的特征图像；利用特征分类层以及特征图像，确定特征图像中的至少一个疑似车轮接地点所在区域；并利用特征回归层以及特征图像，确定出至少一个疑似车轮接地点所在区域中每一待处理像素点对应的第一回归信息和第二回归信息；利用后处理层以及每一待处理像素点对应的第一回归信息，确定待处理图像中各车轮接地点的检测信息；利用后处理层、待处理图像中各车轮接地点的检测信息以及每一待处理像素点对应的第二回归信息，确定待处理图像中每一车辆对应的车轮接地点的检测信息；并针对每一车辆，以按预设顺序排序的有序性点集合的形式，输出该车辆的车轮接地点集合的检测信息。预设顺序排序为：逆时针排序或顺时针排序。

举例而言，预设顺序为逆时针的情况下，待检测图像中包括辆车A，A对应三个车轮接地点，分别为左前轮、左后轮和右后轮，输出该辆车A的车轮接地点时，按逆时针排序各车辆的车轮接地点的检测信息；例如可以是：A-[左前轮的位置信息、左后轮的位置信息和右后轮的位置信息]。

在一种情况中，为了更好的分辨出不同车辆的车轮接地点，可以在输出每一车辆的车轮接地点的检测信息时，可以同时输出标识出所检测出的每一车辆的车轮接地点的检测信息的待检测图像，并在待检测图像中，将属于同一车辆的车轮接地点的检测信息用线连接表示，不同车辆的车轮接地点的检测信息之间不连接。

其中，第一回归信息为表征所对应待处理像素点回归至其对应的当前车轮接地点所需的平移信息；第二回归信息为表征所对应待处理像素点回归至其对应的下一车轮接地点所需的平移信息，待处理像素点对应的当前车轮接地点为：其所在疑似车轮接地点所在区域的车轮接地点；待处理像素点对应的下一车轮接地点与其对应的当前车轮接地点按预设顺序排序。

待检测图像对应的特征图像的大小和待检测图像的大小相同，每一疑似车轮接地点所在区域可以为：一个以特征分类层所预测的疑似车轮接地点为中心，且以预设长度为半径的圆形区域。每一疑似车轮接地点所在区域包括的像素点称为待处理像素点，理想状态下，每一疑似车轮接地点所在区域均覆盖有作为车轮接地点的待处理像素点。

一种实现中，利用后处理层以及每一待处理像素点对应的第一回归信息，确定待处理图像中各车轮接地点的检测信息的过程为：利用每一待处理像素点的位置信息及其对应的第一回归信息，确定每一待处理像素点对应的第一投票分数，其中，利用待处理像素点的位置信息及其对应的第一回归信息，对待处理像素点进行平移，其所平移至的位置处的像素点对应的第一投票分数加一；从待处理像素点中，确定出所对应第一投票分数超过第一分数阈值的待处理像素点，确定为备选像素点；从备选像素点中，确定出所对应第一投票分数高于其对应的四邻域像素点对应的第一投票分数的备选像素点，确定为候选车轮接地点；利用每一候选车轮接地点的检测信息以及预设抑制算法，从候选车轮接地点中，确定出待检测图像中各车轮接地点，并确定出各车轮接地点的检测信息。

其中，预设抑制算法可以为非极大值抑制算法(NMS，Non Maximum Suppression)。相应的，确定出待检测图像中各车轮接地点，并确定出各车轮接地点的检测信息的过程，可以是：将候选车轮接地点按所对应第一投票分数的大小进行排序，依次将排序队列中的每一未被删除的候选车轮接地点作为当前点，针对排序队列中的每一其他未被删除的候选车轮接地点，基于当前点的位置信息，以及该其他未被删除的候选车轮接地点的位置信息，计算当前点与该其他未被删除的候选车轮接地点之间的距离，判断该距离是否小于第一预设数值，若小于，从排序队列中删除该其他未被删除的候选车轮接地点。直至针对每一未被删除的候选车轮接地点执行完成上述过程，将排序队列中剩余的候选车轮接地点，确定为待检测图像中的车轮接地点，并确定出各车轮接地点的检测信息。

检测信息包括位置信息以及方位属性信息，基于特征提取层所确定的待检测图像对应的特征图像为：待检测图像对应的各方位属性信息对应的特征图；后续的，基于特征分类层以及该特征图像，确定特征图像中的至少一个疑似车轮接地点所在区域，其中，每一疑似车轮接地点所在区域对应一方位属性信息，且，每一疑似车轮接地点所在区域内的每一待处理像素点均对应该方位属性信息。

其中，若待处理像素点平移至的位置处的像素点，仍为该待处理像素点所在疑似车轮接地点所在区域中的像素点，则该待处理像素点平移至的位置处的像素点对应的第一投票分数，可以理解为：该待处理像素点平移至的位置处的待处理像素点对应的第一投票分数。

且，若车轮接地点对应的待处理像素点平移后的位置，落入其他车轮接地点所在疑似车轮接地点所在区域，则该车轮接地点对应的待处理像素点平移后的位置，对应有所落入的该其他车轮接地点所在疑似车轮接地点所在区域对应的方位属性信息。若车轮接地点对应的待处理像素点平移后的位置，未落入其他车轮接地点所在疑似车轮接地点所在区域，则该车轮接地点对应的待处理像素点平移后的位置，不对应有方位属性信息。

一种实现中，利用后处理层、待处理图像中各车轮接地点的检测信息以及每一待处理像素点对应的第二回归信息，确定待处理图像中每一车辆对应的车轮接地点的检测信息的过程，可以是：针对每一车轮接地点，利用该车轮接地点对应的疑似车轮接地点所在区域中每一待处理像素点的检测信息及其对应的第二回归信息，平移每一待处理像素点，确定该车轮接地点对应的每一待处理像素点平移后对应的像素点所在位置；判断该车轮接地点对应的每一待处理像素点平移后对应的像素点所在位置，是否属于其他车轮接地点对应的疑似车轮接地点所在区域；基于判断结果，确定该车轮接地点与其他车轮接地点中每一车轮接地点之间的第二投票分数，其中，若判断该车轮接地点对应的每一待处理像素点平移后对应的像素点所在位置，属于其他车轮接地点中目标车轮接地点对应的疑似车轮接地点所在区域，则该车轮接地点与该目标车轮接地点之间的第二投票分数加一；基于该车轮接地点与其他车轮接地点中的每一车轮接地点之间的第二投票分数，从其他车轮接地点中，确定出与该车轮接地点之间的第二投票分数最高的车轮接地点；并判断最高的第二投票分数是否超过第二分数阈值，若超过，则确定与该车轮接地点之间的第二投票分数最高的车轮接地点，为该车轮接地点对应的下一车轮接地点，以确定待处理图像中每一车辆对应的车轮接地点的检测信息。

其中，检测信息包括位置信息和方位属性信息，上述判断该车轮接地点对应的每一待处理像素点平移后对应的像素点所在位置，是否属于其他车轮接地点对应的疑似车轮接地点所在区域的过程，可以是：判断该车轮接地点对应的该待处理像素点平移后的位置是否对应有方位属性信息，若判断对应有方位属性信息，确定该车轮接地点对应的该待处理像素点平移后的位置对应的方位属性信息，与哪一个其他车轮接地点对应的疑似车轮接地点所在区域对应的方位属性信息相同，将与该车轮接地点所对应方位属性信息相同的其他车轮接地点，作为目标其他车轮接地点，相应的，判断结果为该车轮接地点对应的待处理像素点平移后的位置，属于目标其他车轮接地点对应的疑似车轮接地点所在区域；相应的，基于该判断结果，将该车轮接地点与目标其他车轮接地点之间的第二投票分数加一。若判断不对应有方位属性信息，则判断结果为：该车轮接地点对应的待处理像素点平移后的位置，不属于任何一其他车轮接地点对应的疑似车轮接地点所在区域，相应的，基于该判断结果，该车轮接地点与其他车轮接地点之间的第二投票分数均不加一。

预设训练的车辆检测模型的训练过程与上述检测过程类似，训练过程中，在针对每一样本图像，利用初始的车辆检测模型，确定出该样本图像中样本车辆对应的车轮接地点的预测检测信息之后，利用预设优化函数、该样本图像中样本车辆对应的车轮接地点的预测检测信息以及样本图像对应的标定信息中样本车辆对应的车轮接地点的标定检测信息，确定模型参数的更新值，并将初始的车辆检测模型的特征提取层、特征分类、特征回归层的模型参数的当前值，修正为所确定的模型参数的更新值；循环调整初始的车辆检测模型的特征提取层、特征分类、特征回归层的模型参数的值，直至初始的车辆检测模型达到预设收敛条件，得到包含特征提取层、特征分类、特征回归层和后处理层的预设训练的车辆检测模型。

其中，预设优化函数可以为梯度下降法等相关技术中任意类型的模型参数的优化函数，本发明实施例并不作限定。预设收敛条件可以为：基于调整参数后所得的车辆检测模型对验证集中的每一图像进行识别检测，所得到的验证集中的每一图像对应的预测检测信息，与该验证集中的每一图像对应的标定检测信息一致的占比，超过预设比例阈值；或者，可以为：基于调整参数后所得的车辆检测模型对验证集中的每一图像进行识别检测，所得到的验证集中的每一图像对应的预测检测信息，与该验证集中的每一图像对应的标定检测信息一致的结果数量超过预设数量阈值；或者，可以为：迭代调整初始的车辆检测模型的特征提取层、特征分类层以及特征回归层的模型参数的次数超过预设次数等。

S102：针对每一待处理图像，利用该待处理图像对应的图像采集设备的设备信息及该待处理图像中每一感知目标的接地点信息，确定该待处理图像中每一感知目标对应的三维位置信息。

本步骤中，电子设备可以针对每一待处理图像，参照图像采集设备的成像原理以及三角形相似原理，利用该待处理图像对应的图像采集设备的设备信息及该待处理图像中每一感知目标的接地点信息，确定该待处理图像中每一感知目标对应的三维位置信息。

该待处理图像对应的图像采集设备的设备信息包括：图像采集设备的外参信息以及内参信息，其中，外参信息包括但不限于图像采集设备的安装高度信息，内参信息包括但不限于：图像采集设备的焦距信息。

在本发明的一种实现方式中，所述S102，可以包括如下步骤：

针对每一待处理图像，利用预设三维位置信息确定算法，该待处理图像对应的图像采集设备的设备信息中的安装高度信息和视野消失点位置信息及该待处理图像中每一感知目标的接地点信息，确定该待处理图像中每一感知目标对应的三维位置信息。

其中，该预设三维位置信息确定算法为：基于图像采集设备成像原理以及相似三角形关系确定的算法。

图像采集设备的设备信息中的视野消失点位置信息可以指：图像采集设备的图像采集区域中视野最远处的点，投影在该图像采集设备的成像面的位置信息，即投影在该图像采集设备所采集的待处理图像中的位置信息。在每一图像采集设备的安装位置确定后，每一图像采集设备的设备信息中的视野消失点位置信息确定。其中，图像采集设备的设备信息中的视野消失点位置信息的纵坐标可以等于图像采集设备的安装高度信息。

待处理图像对应的图像采集设备为：采集得到该待处理图像的图像采集设备。

具体的，所述S102，可以具体包括011-013：

011：利用预设三维位置信息确定算法、该待处理图像对应的图像采集设备的设备信息中的安装高度信息和视野消失点位置信息及该待处理图像中每一感知目标的接地点信息，确定每一感知目标对应的深度信息。

012：针对该待处理图像中每一感知目标，基于该感知目标对应的深度信息、接地点信息以及所对应图像采集设备的预设投影矩阵，确定该感知目标在其对应的图像采集设备的设备坐标系下的位置信息。

013：针对该待处理图像中每一感知目标，基于该感知目标对应的图像采集设备的设备坐标系与所述目标车辆的车体坐标系之间的位置转换关系，以及该感知目标在其对应的图像采集设备的设备坐标系下的位置信息，确定该待处理图像中每一感知目标对应的三维位置信息。

参照图像采集设备的成像原理，感知目标对应的图像采集设备的安装位置，感知目标对应的物理目标与地面的接触位置，以及感知目标对应的图像采集设备的安装位置与地面的垂直线与地面的交点，三点形成一三角形，其中，感知目标对应的图像采集设备的安装位置与地面的垂直线与地面的交点，到感知目标对应的物理目标与地面的接触位置可以认为为感知目标对应的物理目标到感知目标对应的图像采集设备的物理距离，即深度信息。

且感知目标对应的图像采集设备的视野消失点在该感知目标所在待处理图像中对应的平移点所在位置，感知目标对应的接地点信息对应的成像位置，以及感知目标对应的图像采集设备的安装位置，三点形成一三角形。其中，感知目标对应的图像采集设备的视野消失点在该感知目标所在待处理图像中对应的平移点所在位置为：在感知目标对应的图像采集设备的视野消失点在该感知目标所在待处理图像中的位置的纵坐标不变的前提下，感知目标对应的图像采集设备的视野消失点在该感知目标所在待处理图像中的位置，平移至与感知目标对应的接地点信息中的横坐标相同时的位置。考虑到相对于实际物理目标以及实际物理目标与图像采集设备之间的距离，图像采集设备的成像面面积较小，在具体计算过程中，可以认为感知目标对应的图像采集设备的视野消失点在该感知目标所在待处理图像中对应的平移点所在位置，与感知目标对应的图像采集设备的安装位置之间的距离，等于图像采集设备的焦距信息。

其中，感知目标对应的图像采集设备的安装位置、感知目标对应的接地点信息以及感知目标对应的物理目标与地面的接触位置，三点在一条直线上，且，由于感知目标对应的图像采集设备的视野消失点的实际物理位置距离图像采集设备的距离较大，可以认为感知目标对应的图像采集设备的视野消失点在该感知目标所在待处理图像中对应的平移点所在位置，与感知目标对应的图像采集设备的安装位置之间的连线与地面平行，认为该两个三角形相似。

如图3B所示，其中，图3B为图3A的一种立体示意图，其中，图3B中所示的点1为：感知目标对应的图像采集设备的视野消失点在该感知目标所在待处理图像中对应的平移点所在位置；点2为感知目标对应的图像采集设备的安装位置，点3为感知目标对应的图像采集设备的视野消失点在该感知目标所在待处理图像中的位置，即视野消失点位置信息所表示的位置；点4为感知目标的接地点信息，即在待处理图像中的成像点的位置信息；点5为感知目标对应的物理目标与地面的接触位置；点6为感知目标对应的图像采集设备所在位置与地面的垂线的交点，其中，点1、4和2组成的三角形，与点2、5和6组成的三角形相似。

相应的，如图3A所示，为图像采集设备成像情况的一种侧视示例图，图3A中左侧最宽的竖线表示侧视状态下的图像采集设备的成像面，即待处理图像，图3A中“pin hole”表示感知目标对应的图像采集设备所在位置，图3A中左侧最宽的竖线表示侧视状态下的图像采集设备的成像面，与感知目标对应的图像采集设备所在位置之间的距离为图像采集设备的焦距信息；y表示成像面中感知目标的接地点信息，即在待处理图像中的成像点的位置信息，FOEy表示成像面中感知目标对应的图像采集设备的视野消失点位置信息，即感知目标对应的图像采集设备的视野消失点在待处理图像中的位置信息，H表示感知目标对应的图像采集设备的安装高度信息，图3A中虚线与地面“ground”的交点表示：感知目标对应的物理目标与地面的接触位置，感知目标对应的图像采集设备所在位置与地面的垂线的交点，和感知目标对应的物理目标与地面的接触位置之间的距离为：感知目标对应的深度信息。

相应的，预设三维位置信息确定算法可以通过如下公式(1)表示：

Depth＝H*f/(y-FOEy) (1)；

其中，Depth表示感知目标对应的深度信息，H表示该感知目标对应的图像采集设备的安装高度信息，y表示该感知目标的接地点信息中的纵坐标值，即感知目标在待处理图像中的位置信息中的纵坐标值，FOEy表示该感知目标对应的图像采集设备的视野消失点位置信息中的纵坐标值；f表示该感知目标对应的图像采集设备的焦距信息。

电子设备确定出每一感知目标对应的深度信息之后，可以基于该感知目标对应的深度信息、接地点信息以及所对应图像采集设备的预设投影矩阵，确定该感知目标在其对应的图像采集设备的设备坐标系下的位置信息；图像采集设备与目标车辆的安装位置确定，其两者之间的相对位置关系确定，进而，针对该待处理图像中每一感知目标，基于该感知目标对应的图像采集设备的设备坐标系与所述目标车辆的车体坐标系之间的位置转换关系，以及该感知目标在其对应的图像采集设备的设备坐标系下的位置信息，确定该待处理图像中每一感知目标对应的三维位置信息。所确定的该待处理图像中每一感知目标对应的三维位置信息为在目标车辆的车体坐标系下的三维位置信息。

S103：针对每一感知目标，判断该感知目标是否对应有效的历史关联关系。

其中，该历史关联关系指：在针对该感知目标执行后续的目标关联流程之前所确定的关联关系，可以包括：基于该待处理图像的前一帧图像确定的包含该感知目标的标识信息的关联关系，以及基于所获得的待处理图像确定的包含该感知目标的标识信息的关联关系。

在本发明的一种实现方式中，所述S203，可以包括如下步骤021-022：

021：针对每一感知目标，判断该感知目标是否对应历史关联关系。

022：若判断该感知目标对应历史关联关系，判断该感知目标对应的历史关联关系是否有效。

其中，若判断该感知目标对应的历史关联关系所对应目标存在，且该历史关联关系对应的确定时长低于预设时间阈值，则确定该感知目标对应的历史关联关系有效；反之，确定感知目标对应的历史关联关系无效。

电子设备针对每一感知目标，判断预设存储空间是否存储有包含该感知目标的标识信息的关联关系，在确定为存储有的情况下，判断该感知目标对应的历史关联关系是否有效，即判断该感知目标对应的历史关联关系所包含的另一标识信息对应的感知目标，是否存在，且包含该感知目标的标识信息的关联关系对应的确定时长是否超过预设时间阈值，若判断存在，且包含该感知目标的标识信息的关联关系对应的确定时长未超过预设时间阈值，则确定判断该感知目标对应的历史关联关系有效。

其中，上述判断该感知目标对应的历史关联关系所包含的另一标识信息对应的感知目标，是否存在，可以是：判断与该感知目标对应的图像采集设备位置相邻的图像采集设备对应的感知目标中，是否包含该感知目标对应的历史关联关系所包含的另一标识信息对应的感知目标，若包含，则判断该感知目标对应的历史关联关系所包含的另一标识信息对应的感知目标存在，反之判断该感知目标对应的历史关联关系所包含的另一标识信息对应的感知目标不存在。

在判断与该感知目标对应的图像采集设备位置相邻的图像采集设备对应的感知目标中，是否包含该感知目标对应的历史关联关系所包含的另一标识信息对应的感知目标的过程中，可以依据感知目标对应的语义感知信息，和/或结合车辆的行驶速度确定。

其中，包含该感知目标的标识信息的关联关系对应的确定时长为：确定出包含该感知目标的标识信息的关联关系的最新时间与当前时刻之间的时间长度。该当前时刻可以为获得每一待处理图像中每一感知目标的语义感知信息的时刻，也可以为判断该感知目标是否对应有效的历史关联关系的时刻。

S104：若判断该感知目标不对应有效的历史关联关系，利用该感知目标对应的三维位置信息，与该感知目标对应的待处理感知目标对应的三维位置信息，确定该感知目标与其对应的每一待处理感知目标之间的三维距离。

其中，该感知目标对应的待处理感知目标为：与该感知目标对应的图像采集设备位置相邻的图像采集设备所对应的、未对应关联关系的感知目标。

电子设备确定出感知目标不对应有效的历史关联关系之后，可以利用该感知目标对应的三维位置信息，与该感知目标对应的待处理感知目标对应的三维位置信息，确定该感知目标与其对应的每一待处理感知目标之间的三维距离。其中，该感知目标对应的待处理感知目标为：与该感知目标对应的图像采集设备位置相邻的图像采集设备所对应的、未对应关联关系的感知目标。即从该感知目标对应的图像采集设备位置相邻的图像采集设备所采集的待处理图像中，所检测出的未对应关联关系的感知目标。

其中，对于对应历史关联关系，但所对应历史关联关系无效的感知目标，可以首先将该感知目标对应的无效历史关联关系删除，再利用该感知目标对应的三维位置信息，与该感知目标对应的待处理感知目标对应的三维位置信息，确定该感知目标与其对应的每一待处理感知目标之间的三维距离，并执行后续目标关联流程。

可以理解的是，电子设备可以获得每一感知目标与每一待处理图像的对应关系，且获得每一待处理图像与图像采集设备的对应关系，进而，可以确定每一感知目标与图像采集设备之间的对应关系。

在一种实现中，上述该感知目标与其对应的每一待处理感知目标之间的三维距离为欧式距离。

S105：利用该感知目标及其对应的待处理感知目标之间的三维距离，从其对应的待处理感知目标中，确定与该感知目标存在关联关系的关联感知目标。

在本发明的一种实现方式中，电子设备可以利用该不对应有效的历史关联关系的感知目标及其对应的待处理感知目标之间的三维距离，从其对应的待处理感知目标中，确定出三维距离最小的待处理感知目标，作为与该感知目标存在关联关系的关联感知目标。

在本发明的另一种实现方式中，所述S104，可以包括如下步骤031-033：

031：判断该感知目标与其对应的待处理感知目标之间的三维距离是否低于预设距离阈值。

032：若判断该感知目标及其对应的待处理感知目标之间的三维距离低于预设距离阈值，确定该三维位置信息对应的待处理感知目标为该感知目标对应的待关联感知目标。

033：从该感知目标对应的每一待关联感知目标中，确定出与该感知目标存在关联关系的关联感知目标。

可以理解的，考虑到不同图像采集设备对应的感知目标，对应同一个物理目标时，理论上其两者之间的三维位置信息应该是重合的，且考虑到所构建的三维位置信息的误差，对应同一个物理目标的感知目标对应的三维位置信息之间的距离不会太大。相应的，电子设备判断该感知目标与其对应的待处理感知目标之间的三维距离是否低于预设距离阈值；若判断该感知目标及其对应的待处理感知目标之间的三维距离低于预设距离阈值，则认为这两个目标间可能存在关联关系，确定该三维位置信息对应的待处理感知目标为该感知目标对应的待关联感知目标；后续的，基于该感知目标与其对应的每一待关联感知目标之间的三维距离，从该感知目标对应的每一待关联感知目标中，确定出与该感知目标存在关联关系的关联感知目标。

如图3C所示，A相机对应有1个感知目标，即图3C中所示的A相机中的目标，B相机对应有目标1和目标2两个感知目标，即图3C中所示的B相机中的目标1和B相机中的目标2，A相机和B相机为位置相邻的相机，其中，A相机对应的感知目标，和B相机对应的目标1的距离为s1，和目标2的距离为s2，阈值th，且s1<th<s2，则A相机对应的感知目标和B相机对应的目标1之间可能存在关联，和目标2之间不会存在关联。

若该感知目标对应的待关联感知目标包含一个，则将该感知目标对应的待关联感知目标，确定为与该感知目标存在关联关系的关联感知目标；若该感知目标对应的待关联感知目标包含多个，即同一个感知目标可能和相邻图像采集设备对应的多个待处理感知目标存在潜在的关联关系，但考虑到实际一个物理目标在单个图像采集设备中，只会出现一次，则可以将所对应三维距离最小的该感知目标对应的待关联感知目标，确定为与该感知目标存在关联关系的关联感知目标。

如图3D所示，A相机对应的感知目标，如图图3D中所示的A相机中的目标，同时和B相机对应的目标1和目标2，即图3D中所示的B相机中的目标1和B相机中的目标2，之间都可能存在关联关系，即s1<th，且s2<th，但是由于A相机对应的感知目标和目标2的距离更近一些，则可以认为A相机对应的感知目标和B相机对应的目标2之间的关联是真正的关联，选择A相机对应的感知目标和B相机对应的目标2，作为同一3D目标即物理目标的2D组合，即确定A相机对应的感知目标和B相机对应的目标2存在关联关系，其两者互为对方的关联感知目标。

另一种实现中，电子设备在针对不对应有效历史关联关系的感知目标，确定出其对应的待关联感知目标之后，可以在该感知目标与其对应的待关联感知目标之间建立关联边，进而，利用预设匹配算法以及所建立的感知目标与其对应的待关联感知目标之间的关联边，从感知目标对应的每一待关联感知目标中，确定出与该感知目标存在关联关系的关联感知目标。其中，该预设匹配算法可以为匈牙利匹配算法。

应用本发明实施例，可以首先利用每一待处理图像对应的图像采集设备的设备信息及其中每一感知目标的接地点信息，确定每一待处理图像中每一感知目标对应的三维位置信息，进而在判断感知目标不对应有效的历史关联关系的情况下，利用感知目标对应的三维位置信息，与感知目标对应的待处理感知目标对应的三维位置信息，确定该感知目标与其对应的每一待处理感知目标之间的三维距离，利用感知目标与其对应的每一待处理感知目标之间的三维距离，确定待处理感知目标中与感知目标存在关联关系的关联感知目标，即确定对应同一物理目标的关联感知目标，实现对多图像采集设备所采集的图像中对应同一物理目标的感知目标的关联确定。

在本发明的另一实施例中，如图2所示，所述方法可以包括如下步骤：

S201：对多个图像采集设备在相同采集时刻针对目标车辆所处环境采集的待处理图像，进行语义感知信息检测，确定每一待处理图像中每一感知目标的语义感知信息。

其中，多个图像采集设备从不同角度针对目标车辆所处环境进行拍摄；每一感知目标的语义感知信息包括：感知目标的接地点信息。

S202：针对每一待处理图像，利用该待处理图像对应的图像采集设备的设备信息及该待处理图像中每一感知目标的接地点信息，确定该待处理图像中每一感知目标对应的三维位置信息。

S203：针对每一感知目标，判断该感知目标是否对应有效的历史关联关系；

若判断该感知目标不对应有效的历史关联关系，执行S204；若判断该感知目标对应有效的历史关联关系，执行S206。

S204：利用该感知目标对应的三维位置信息，与该感知目标对应的待处理感知目标对应的三维位置信息，确定该感知目标与其对应的每一待处理感知目标之间的三维距离。

其中，该感知目标对应的待处理感知目标为：与该感知目标对应的图像采集设备位置相邻的图像采集设备所对应的、未对应关联关系的感知目标。

S205：利用该感知目标及其对应的待处理感知目标之间的三维距离，从其对应的待处理感知目标中，确定与该感知目标存在关联关系的关联感知目标。

S206：将该感知目标对应的有效的历史关联关系所对应目标，确定为与该感知目标存在关联关系的关联感知目标。

其中，该S201与图1中所示的S101相同，该S202与图1中所示的S102相同，该S203与图1中所示的S103相同，该S204与图1中所示的S104相同，该S205与图1中所示的S105相同，在此不再赘述。

其中，在将该感知目标对应的有效的历史关联关系所对应目标，确定为与该感知目标存在关联关系的关联感知目标，并存储该关联关系，该关联关系包括该感知目标及与其存在关联关系的关联感知目标的标识信息。感知目标的标识信息为可以唯一确定感知目标的信息。后续的，电子设备可以将该关联关系对应的确定时间修正为最新的确定时间，即可以修正为确定感知目标及与其存在关联关系的关联感知目标的确定时刻。

为了在一定程度上降低计算量，并且考虑到图像采集设备采集图像的周期较短，相邻图像之间感知目标的差异不大的因素，在判断感知目标对应有效的历史关联关系的情况下，继续延用该感知目标对应的有效的历史关联关系。

相应于上述方法实施例，本发明实施例提供了一种目标关联装置，如图4所示，可以包括：

获得模块410，被配置为获得每一待处理图像中每一感知目标的语义感知信息，其中，所述待处理图像为：多个图像采集设备在相同采集周期内、从不同角度针对所述目标车辆所处环境进行拍摄所采集的图像；每一感知目标的语义感知信息包括：感知目标的接地点信息；

第一确定模块420，被配置为针对每一待处理图像，利用该待处理图像对应的图像采集设备的设备信息及该待处理图像中每一感知目标的接地点信息，确定该待处理图像中每一感知目标对应的三维位置信息；

判断模块430，被配置为针对每一感知目标，判断该感知目标是否对应有效的历史关联关系；

第二确定模块440，被配置为若判断该感知目标不对应有效的历史关联关系，利用该感知目标对应的三维位置信息，与该感知目标对应的待处理感知目标对应的三维位置信息，确定该感知目标与其对应的每一待处理感知目标之间的三维距离，其中，该感知目标对应的待处理感知目标为：与该感知目标对应的图像采集设备位置相邻的图像采集设备所对应的、未对应关联关系的感知目标；

第三确定模块450，被配置为并利用该感知目标及其对应的待处理感知目标之间的三维距离，从其对应的待处理感知目标中，确定与该感知目标存在关联关系的关联感知目标。

应用本发明实施例，可以首先利用每一待处理图像对应的图像采集设备的设备信息及其中每一感知目标的接地点信息，确定每一待处理图像中每一感知目标对应的三维位置信息，进而在判断感知目标不对应有效的历史关联关系的情况下，利用感知目标对应的三维位置信息，与感知目标对应的待处理感知目标对应的三维位置信息，确定该感知目标与其对应的每一待处理感知目标之间的三维距离，利用感知目标与其对应的每一待处理感知目标之间的三维距离，确定待处理感知目标中与感知目标存在关联关系的关联感知目标，即确定对应同一物理目标的关联感知目标，实现对多图像采集设备所采集的图像中对应同一物理目标的感知目标的关联确定。

在本发明的另一实施例中，所述装置还包括：

第四确定模块(图中未示处)，被配置若判断该感知目标对应有效的历史关联关系，则将该感知目标对应的有效的历史关联关系所对应目标，确定为与该感知目标存在关联关系的关联感知目标。

在本发明的另一实施例中，所述判断模块430，被具体配置为针对每一感知目标，判断该感知目标是否对应历史关联关系；

若判断该感知目标对应历史关联关系，判断该感知目标对应的历史关联关系是否有效，其中，若判断该感知目标对应的历史关联关系所对应目标存在，且该历史关联关系对应的确定时长低于预设时间阈值，则确定该感知目标对应的历史关联关系有效；反之，确定感知目标对应的历史关联关系无效。

在本发明的另一实施例中，所述第一确定模块420，被具体配置为针对每一待处理图像，利用预设三维位置信息确定算法，该待处理图像对应的图像采集设备的设备信息中的安装高度信息和视野消失点位置信息及该待处理图像中每一感知目标的接地点信息，确定该待处理图像中每一感知目标对应的三维位置信息，其中，该预设三维位置信息确定算法为：基于图像采集设备成像原理以及相似三角形关系确定的算法。

在本发明的另一实施例中，所述第一确定模块420，被具体配置为利用预设三维位置信息确定算法、该待处理图像对应的图像采集设备的设备信息中的安装高度信息和视野消失点位置信息及该待处理图像中每一感知目标的接地点信息，确定每一感知目标对应的深度信息；

针对该待处理图像中每一感知目标，基于该感知目标对应的深度信息、接地点信息以及所对应图像采集设备的预设投影矩阵，确定该感知目标在其对应的图像采集设备的设备坐标系下的位置信息；

针对该待处理图像中每一感知目标，基于该感知目标对应的图像采集设备的设备坐标系与所述目标车辆的车体坐标系之间的位置转换关系，以及该感知目标在其对应的图像采集设备的设备坐标系下的位置信息，确定该待处理图像中每一感知目标对应的三维位置信息。

在本发明的另一实施例中，所述第三确定模块450，被具体配置为判断该感知目标与其对应的待处理感知目标之间的三维距离是否低于预设距离阈值；

若判断该感知目标及其对应的待处理感知目标之间的三维距离低于所述预设距离阈值，确定该三维位置信息对应的待处理感知目标为该感知目标对应的待关联感知目标；

从该感知目标对应的每一待关联感知目标中，确定出与该感知目标存在关联关系的关联感知目标。

上述装置、***实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (7)

1.一种目标关联方法，其特征在于，包括：

获得每一待处理图像中每一感知目标的语义感知信息，其中，所述待处理图像为：多个图像采集设备在相同采集周期内、从不同角度针对目标车辆所处环境进行拍摄所采集的图像；每一感知目标的语义感知信息包括：感知目标的接地点信息；

针对每一待处理图像，利用该待处理图像对应的图像采集设备的设备信息及该待处理图像中每一感知目标的接地点信息，确定该待处理图像中每一感知目标对应的三维位置信息；

针对每一感知目标，判断该感知目标是否对应有效的历史关联关系；

若判断该感知目标不对应有效的历史关联关系，利用不对应有效的历史关联关系的感知目标对应的三维位置信息，与该不对应有效的历史关联关系的感知目标对应的待处理感知目标对应的三维位置信息，确定该不对应有效的历史关联关系的感知目标与其对应的每一待处理感知目标之间的三维距离，其中，该不对应有效的历史关联关系的感知目标对应的待处理感知目标为：与该不对应有效的历史关联关系的感知目标对应的图像采集设备位置相邻的图像采集设备所对应的、未对应关联关系的感知目标；

并利用该不对应有效的历史关联关系的感知目标及其对应的待处理感知目标之间的三维距离，从其对应的待处理感知目标中，确定与该不对应有效的历史关联关系的感知目标存在关联关系的关联感知目标；

所述针对每一待处理图像，利用该待处理图像对应的图像采集设备的设备信息及该待处理图像中每一感知目标的接地点信息，确定该待处理图像中每一感知目标对应的三维位置信息的步骤，包括：

针对每一待处理图像，利用预设三维位置信息确定算法、该待处理图像对应的图像采集设备的设备信息中的安装高度信息、视野消失点位置信息、该待处理图像对应的图像采集设备的焦距信息及该待处理图像中每一感知目标的接地点信息，确定每一感知目标对应的深度信息；

针对该待处理图像中每一感知目标，基于该每一感知目标对应的深度信息、接地点信息以及所对应图像采集设备的预设投影矩阵，确定该每一感知目标在其对应的图像采集设备的设备坐标系下的位置信息；

针对该待处理图像中每一感知目标，基于该每一感知目标对应的图像采集设备的设备坐标系与所述目标车辆的车体坐标系之间的位置转换关系，以及该每一感知目标在其对应的图像采集设备的设备坐标系下的位置信息，确定该待处理图像中每一感知目标对应的三维位置信息；

其中，所述预设三维位置信息确定算法通过如下公式表示：

Depth＝H*f/(y-FOEy)；

其中，所述Depth表示感知目标对应的深度信息，所述H表示所述安装高度信息，所述y表示感知目标的接地点信息中的纵坐标值，所述FOEy表示所述视野消失点位置信息中的纵坐标值，所述f表示所述焦距信息。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

若判断感知目标对应有效的历史关联关系，则将对应有效的历史关联关系的感知目标对应的有效的历史关联关系所对应目标，确定为与该对应有效的历史关联关系的感知目标存在关联关系的关联感知目标。

3.如权利要求1所述的方法，其特征在于，所述针对每一感知目标，判断该感知目标是否对应有效的历史关联关系的步骤，包括：

针对每一感知目标，判断感知目标是否对应历史关联关系；

若判断感知目标对应历史关联关系，判断对应历史关联关系的感知目标对应的历史关联关系是否有效，其中，若判断该对应历史关联关系的感知目标对应的历史关联关系所对应目标存在，且该历史关联关系对应的确定时长低于预设时间阈值，则确定该对应历史关联关系的感知目标对应的历史关联关系有效；反之，确定该对应历史关联关系的感知目标对应的历史关联关系无效。

4.如权利要求1-3任一项所述的方法，其特征在于，所述利用该不对应有效的历史关联关系的感知目标及其对应的待处理感知目标之间的三维距离，从其对应的待处理感知目标中，确定与该不对应有效的历史关联关系的感知目标存在关联关系的关联感知目标的步骤，包括：

判断该不对应有效的历史关联关系的感知目标与其对应的待处理感知目标之间的三维距离是否低于预设距离阈值；

若判断该不对应有效的历史关联关系的感知目标及其对应的待处理感知目标之间的三维距离低于所述预设距离阈值，确定该三维位置信息对应的待处理感知目标为该不对应有效的历史关联关系的感知目标对应的待关联感知目标；

从该不对应有效的历史关联关系的感知目标对应的每一待关联感知目标中，确定出与该不对应有效的历史关联关系的感知目标存在关联关系的关联感知目标。

5.一种目标关联装置，其特征在于，包括：

获得模块，被配置为获得每一待处理图像中每一感知目标的语义感知信息，其中，所述待处理图像为：多个图像采集设备在相同采集周期内、从不同角度针对目标车辆所处环境进行拍摄所采集的图像；每一感知目标的语义感知信息包括：感知目标的接地点信息；

第一确定模块，被配置为针对每一待处理图像，利用该待处理图像对应的图像采集设备的设备信息及该待处理图像中每一感知目标的接地点信息，确定该待处理图像中每一感知目标对应的三维位置信息；

判断模块，被配置为针对每一感知目标，判断该感知目标是否对应有效的历史关联关系；

第二确定模块，被配置为若判断该感知目标不对应有效的历史关联关系，利用不对应有效的历史关联关系的感知目标对应的三维位置信息，与该不对应有效的历史关联关系的感知目标对应的待处理感知目标对应的三维位置信息，确定该不对应有效的历史关联关系的感知目标与其对应的每一待处理感知目标之间的三维距离，其中，该不对应有效的历史关联关系的感知目标对应的待处理感知目标为：与该不对应有效的历史关联关系的感知目标对应的图像采集设备位置相邻的图像采集设备所对应的、未对应关联关系的感知目标；

第三确定模块，被配置为并利用该不对应有效的历史关联关系的感知目标及其对应的待处理感知目标之间的三维距离，从其对应的待处理感知目标中，确定与该不对应有效的历史关联关系的感知目标存在关联关系的关联感知目标；

所述第一确定模块，被具体配置为针对每一待处理图像，利用预设三维位置信息确定算法、该待处理图像对应的图像采集设备的设备信息中的安装高度信息、视野消失点位置信息、该待处理图像对应的图像采集设备的焦距信息及该待处理图像中每一感知目标的接地点信息，确定每一感知目标对应的深度信息；针对该待处理图像中每一感知目标，基于该每一感知目标对应的深度信息、接地点信息以及所对应图像采集设备的预设投影矩阵，确定该每一感知目标在其对应的图像采集设备的设备坐标系下的位置信息；针对该待处理图像中每一感知目标，基于该每一感知目标对应的图像采集设备的设备坐标系与所述目标车辆的车体坐标系之间的位置转换关系，以及该每一感知目标在其对应的图像采集设备的设备坐标系下的位置信息，确定该待处理图像中每一感知目标对应的三维位置信息；

其中，所述预设三维位置信息确定算法通过如下公式表示：

Depth＝H*f/(y-FOEy)；

其中，所述Depth表示感知目标对应的深度信息，所述H表示所述安装高度信息，所述y表示感知目标的接地点信息中的纵坐标值，所述FOEy表示所述视野消失点位置信息中的纵坐标值，所述f表示所述焦距信息。

6.如权利要求5所述的装置，其特征在于，所述装置还包括：

第四确定模块，被配置若判断感知目标对应有效的历史关联关系，则将对应有效的历史关联关系的感知目标对应的有效的历史关联关系所对应目标，确定为与该对应有效的历史关联关系的感知目标存在关联关系的关联感知目标。

7.如权利要求5所述的装置，其特征在于，所述判断模块，被具体配置为针对每一感知目标，判断该感知目标是否对应历史关联关系；

若判断感知目标对应历史关联关系，判断对应历史关联关系的感知目标对应的历史关联关系是否有效，其中，若判断该对应历史关联关系的感知目标对应的历史关联关系所对应目标存在，且该历史关联关系对应的确定时长低于预设时间阈值，则确定该对应历史关联关系的感知目标对应的历史关联关系有效；反之，确定感知目标对应的历史关联关系无效。

Images