CN117970318A - 目标融合方法、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种目标融合方法、电子设备及存储介质，属于智能驾驶领域。该方法包括：获取摄像设备检测到的各个摄像目标的信息和雷达检测到的各个雷达目标的信息；根据各个摄像目标的信息和各个雷达目标的信息，计算各个摄像目标和各个雷达目标之间的综合损失，并根据综合损失，确定摄像设备和雷达之间的初始损失矩阵；确定每个摄像目标对应的满足预设条件的雷达目标的数量，并根据每个摄像目标对应的满足预设条件的雷达目标的数量，对初始损失矩阵进行修正，得到修正后的损失矩阵；根据修正后的损失矩阵，进行目标融合。本发明可以改善由于摄像设备和雷达测速差异导致的目标融合失败或目标输出过晚，进而影响车辆驾驶的问题。

Description

目标融合方法、电子设备及存储介质

技术领域

本发明涉及智能驾驶技术领域，尤其涉及一种目标融合方法、电子设备及存储介质。

背景技术

在车辆对目标进行追踪时，往往通过摄像设备和雷达两类传感器进行目标检测，并对摄像设备和雷达的目标检测结果进行融合。但在目标追踪过程中，往往存在一些切入目标，由于切入目标的不完整以及摄像设备测速的不稳定性，往往出现摄像设备检测的目标速度与雷达检测的同一目标的速度相差过大，导致目标融合失败或目标输出过晚，影响车辆驾驶。

发明内容

本发明实施例提供了一种目标融合方法、电子设备及存储介质，以解决由于摄像设备检测的目标速度与雷达检测的同一目标的速度相差过大，导致目标融合失败或目标输出过晚，影响车辆驾驶的问题。

第一方面，本发明实施例提供了一种目标融合方法，包括：

获取摄像设备检测到的各个摄像目标的信息和雷达检测到的各个雷达目标的信息；

根据各个摄像目标的信息和各个雷达目标的信息，计算各个摄像目标和各个雷达目标之间的综合损失，并根据综合损失，确定摄像设备和雷达之间的初始损失矩阵；

确定每个摄像目标对应的满足预设条件的雷达目标的数量，并根据每个摄像目标对应的满足预设条件的雷达目标的数量，对初始损失矩阵进行修正，得到修正后的损失矩阵；

根据修正后的损失矩阵，进行目标融合。

在一种可能的实现方式中，摄像目标的信息包括摄像目标的速度和距离；雷达目标的信息包括雷达目标的速度和距离；

根据各个摄像目标的信息和各个雷达目标的信息，计算各个摄像目标和各个雷达目标之间的综合损失，并根据综合损失，确定摄像设备和雷达之间的初始损失矩阵，包括：

针对每个摄像目标和每个雷达目标，计算该摄像目标的速度和该雷达目标的速度的第一差值以及该摄像目标的距离和该雷达目标的距离的第二差值，并根据第一差值和第二差值，计算该摄像目标和该雷达目标之间的综合损失，以及在该摄像目标和该雷达目标之间的综合损失小于或等于综合损失阈值时，将初始损失矩阵中该摄像目标和该雷达目标对应的损失值确定为该摄像目标和该雷达目标之间的综合损失。

在一种可能的实现方式中，摄像目标的信息包括摄像目标的速度和距离；雷达目标的信息包括雷达目标的速度和距离；

预设条件包括摄像目标和雷达目标之间的综合损失大于综合损失阈值、摄像目标与雷达目标的距离损失小于或等于第一距离阈值且摄像目标与雷达目标的速度损失大于第一速度阈值。

在一种可能的实现方式中，根据每个摄像目标对应的满足预设条件的雷达目标的数量，对初始损失矩阵进行修正，得到修正后的损失矩阵，包括：

针对每个摄像目标，若该摄像目标对应的满足预设条件的雷达目标的数量为1，则将初始损失矩阵中该摄像目标和对应的满足预设条件的雷达目标的损失值修正为该摄像目标和该雷达目标之间的综合损失，得到修正后的损失矩阵。

在一种可能的实现方式中，在得到修正后的损失矩阵之后，目标融合方法还包括：

确定第一雷达目标和其它各个雷达目标之间的距离损失和速度损失，并根据第一雷达目标和其它各个雷达目标之间的距离损失和速度损失，确定第一摄像目标对应的***雷达目标；第一摄像目标为类型为预设大型车辆的摄像目标；第一雷达目标为与第一摄像目标关联的雷达目标；

将第一摄像目标对应的***雷达目标进行合并，更新修正后的损失矩阵，得到更新后的损失矩阵；

相应地，根据修正后的损失矩阵，进行目标融合，包括：

根据更新后的损失矩阵，进行目标融合。

在一种可能的实现方式中，根据第一雷达目标和其它各个雷达目标之间的距离损失和速度损失，确定第一摄像目标对应的***雷达目标，包括：

将和第一雷达目标之间的距离损失小于或等于第二距离阈值且和第一雷达目标之间的速度损失小于或等于第二速度阈值的雷达目标作为第一摄像目标的候选***雷达目标；

将第一雷达目标作为第一摄像目标的候选***雷达目标；

针对第一摄像目标的每个候选***雷达目标，若与该候选***雷达目标关联的摄像目标唯一，则确定该候选***雷达目标为第一摄像目标对应的***雷达目标。

在一种可能的实现方式中，当摄像目标和雷达目标在修正后的损失矩阵中的损失值小于或等于预设损失阈值时，确定该摄像目标和该雷达目标关联；或，

当摄像目标和雷达目标之间的综合损失小于综合损失阈值时，确定该摄像目标和该雷达目标关联；或，

当摄像目标和雷达目标之间的距离损失小于第一距离阈值，且该摄像目标和该雷达目标之间的速度损失小于第一速度阈值时，确定该摄像目标和该雷达目标关联。

在一种可能的实现方式中，将第一摄像目标对应的***雷达目标进行合并，包括：

在第一摄像目标对应的***雷达目标中，将距离最小的***雷达目标作为合并后的雷达目标。

第二方面，本发明实施例提供了一种目标融合装置，包括：

获取模块，用于获取摄像设备检测到的各个摄像目标的信息和雷达检测到的各个雷达目标的信息；

初始损失矩阵确定模块，用于根据各个摄像目标的信息和各个雷达目标的信息，计算各个摄像目标和各个雷达目标之间的综合损失，并根据综合损失，确定摄像设备和雷达之间的初始损失矩阵；

损失矩阵修正模块，用于确定每个摄像目标对应的满足预设条件的雷达目标的数量，并根据每个摄像目标对应的满足预设条件的雷达目标的数量，对初始损失矩阵进行修正，得到修正后的损失矩阵；

目标融合模块，用于根据修正后的损失矩阵，进行目标融合。

第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如上第一方面或第一方面的任一种可能的实现方式所述的目标融合方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述的目标融合方法的步骤。

本发明实施例提供一种目标融合方法、电子设备及存储介质，该方法可以根据各个摄像目标的信息和各个雷达目标的信息，计算各个摄像目标和各个雷达目标之间的综合损失，并根据综合损失，确定摄像设备和雷达之间的初始损失矩阵；确定每个摄像目标对应的满足预设条件的雷达目标的数量，并根据每个摄像目标对应的满足预设条件的雷达目标的数量，对初始损失矩阵进行修正，得到修正后的损失矩阵；根据修正后的损失矩阵，进行目标融合。该方法通过每个摄像目标对应的满足预设条件的雷达目标的数量，对初始损失矩阵进行修正，可以改善由于摄像设备和雷达测速差异导致的目标融合失败或目标输出过晚，进而影响车辆驾驶的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的目标融合方法的流程示意图；

图2是本发明实施例提供的目标融合装置的结构示意图；

图3是本发明实施例提供的电子设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。

参见图1，其示出了本发明实施例提供的目标融合方法的实现流程图。目标融合方法的执行主体可以是电子设备。该电子设备可以是车辆内的电子设备等。

参见图1，上述目标融合方法包括：

在S101中，获取摄像设备检测到的各个摄像目标的信息和雷达检测到的各个雷达目标的信息。

摄像设备可以是车辆的前视摄像设备，雷达可以是车辆的前向雷达，摄像设备和雷达可以用于检测车辆前方的目标，进行车辆前方的目标跟踪。其中，摄像设备可以是摄像头，雷达可以是毫米波雷达，等等。

摄像设备和雷达位于车辆的同一方位。在一些可能的实现方式中，摄像设备和雷达还可以均位于车辆尾部，用于检测车辆后方的目标；或者，摄像设备和雷达还可以均位于车辆左侧，用于检测车辆左侧的目标；或者，摄像设备和雷达还可以均位于车辆右侧，用于检测车辆右侧的目标；等等。

本实施例将摄像设备检测到的各个目标称为摄像目标，将雷达检测到的各个目标称为雷达目标。摄像设备和雷达均可以通过相关技术检测各个目标的速度和各个目标的距离，该速度可以是相对于自车的速度，该距离可以是相对于自车的距离。

在一些可能的实现方式中，上述摄像设备和上述雷达可以替换成其它可以进行目标检测的传感器，在此不做具体限制。

在S102中，根据各个摄像目标的信息和各个雷达目标的信息，计算各个摄像目标和各个雷达目标之间的综合损失，并根据综合损失，确定摄像设备和雷达之间的初始损失矩阵。

其中，摄像目标和雷达目标之间的综合损失，可以反映摄像目标的信息和雷达目标的信息之间的综合差异，具体可以反映摄像目标和雷达目标之间的速度和距离的综合差异。

本实施例可以首先生成并初始化损失矩阵，其中，可以将损失矩阵中的各个元素值均初始化为第一预设损失值。第一预设损失值可以是一个较大值，远远大于正常情况下的摄像设备和雷达对同一目标检测的信息之间的综合差异，比如，可以是1000，2000，等等。损失矩阵中的摄像目标和雷达目标可以随机排序，也可以按照距离排序，还可以按照速度排序，还可以按照检测的先后顺序进行排序，等等。

在对损失矩阵进行初始化后，可以根据计算得到的各个摄像目标和各个雷达目标之间的综合损失，对初始化后的损失矩阵进行更新，得到摄像设备和雷达之间的初始损失矩阵。

其中，针对每个摄像目标和每个雷达目标，均可以计算得到对应的综合损失。示例性地，假设有M个摄像目标，N个雷达目标，则可以计算得到M*N个综合损失。可以以摄像设备作为主传感器，即以摄像目标作为主目标，遍历雷达目标列表；或者，可以以雷达作为主传感器，即以雷达目标作为主目标，遍历摄像目标列表。

在S103中，确定每个摄像目标对应的满足预设条件的雷达目标的数量，并根据每个摄像目标对应的满足预设条件的雷达目标的数量，对初始损失矩阵进行修正，得到修正后的损失矩阵。

其中，摄像目标对应的满足预设条件的雷达目标是指与该摄像目标之间的距离损失满足要求，且与该摄像目标之间的速度损失不满足要求的雷达目标。

本实施例通过获取每个摄像目标对应的满足预设条件的雷达目标的数量，从而可以获取由于摄像设备检测的目标的速度与雷达检测的同一目标的速度的差异过大，而导致同一目标不能融合的该摄像目标对应的雷达目标的数量。通过每个摄像目标对应的满足预设条件的雷达目标的数量，对初始损失矩阵进行修正，可以得到修正后的损失矩阵。

在S104中，根据修正后的损失矩阵，进行目标融合。

本实施例可以采用相关技术，根据修正后的损失矩阵，进行目标融合，将同一目标的信息进行融合。比如，可以通过最近邻、全局最近邻等方法。

本实施例可以根据各个摄像目标的信息和各个雷达目标的信息，计算各个摄像目标和各个雷达目标之间的综合损失，并根据综合损失，确定摄像设备和雷达之间的初始损失矩阵；确定每个摄像目标对应的满足预设条件的雷达目标的数量，并根据每个摄像目标对应的满足预设条件的雷达目标的数量，对初始损失矩阵进行修正，得到修正后的损失矩阵；根据修正后的损失矩阵，进行目标融合。该方法通过每个摄像目标对应的满足预设条件的雷达目标的数量，对初始损失矩阵进行修正，可以改善由于摄像设备和雷达测速差异导致的目标融合失败或目标输出过晚，进而影响车辆驾驶的问题，可以提高目标识别及时性。

本实施例提供的目标融合方法可以应用于自动驾驶***的感知模块，用于自动驾驶***中的目标跟踪、航迹跟踪等等。其中，航迹跟踪的流程通常包括：对各类传感器(摄像头、毫米波雷达等)感知数据进行时间同步；使用鸟瞰地图坐标系将所有传感器感知数据同步到同一空间，并进行数据融合；根据目标的历史运动轨迹基于滤波并预测目标当前位置，并将预测状态和历史轨迹合并从而实现对该目标更新。

本实施例提供的目标融合方法也可以应用于非自动驾驶中的目标检测，以便于给予用户相关的目标提示等等。

在一些实施例中，摄像目标的信息包括摄像目标的速度和距离；雷达目标的信息包括雷达目标的速度和距离；

上述S102可以包括：

针对每个摄像目标和每个雷达目标，计算该摄像目标的速度和该雷达目标的速度的第一差值以及该摄像目标的距离和该雷达目标的距离的第二差值，并根据第一差值和第二差值，计算该摄像目标和该雷达目标之间的综合损失，以及在该摄像目标和该雷达目标之间的综合损失小于或等于综合损失阈值时，将初始损失矩阵中该摄像目标和该雷达目标对应的损失值确定为该摄像目标和该雷达目标之间的综合损失。

在本实施例中，摄像目标的信息包括摄像目标的速度和摄像目标的距离。雷达目标的信息包括雷达目标的速度和雷达目标的距离。其中，摄像目标的速度和雷达目标的速度均是相对于自车的速度，摄像目标的距离和雷达目标的距离均是相对于自车的距离。

本实施例针对每个摄像目标和每个雷达目标，均计算得到对应的综合损失，并判断综合损失是否小于或等于综合损失阈值，若是，则将初始损失矩阵中的对应位置的值更新为该综合损失，若否，则将初始损失矩阵中的对应位置的值保持初始值（即，第一预设损失值）。

示例性地，以其中一个摄像目标和其中一个雷达目标为例，可以以欧氏距离来表示摄像目标和雷达目标之间的综合损失，具体地，可以计算摄像目标的速度和雷达目标的速度的第一差值的平方与摄像目标的距离和雷达目标的距离的第二差值的平方之和，再求解该和的算术平方根，得到摄像目标和雷达目标之间的综合损失；还可以以平均值或加权平均值来表示摄像目标和雷达目标之间的综合损失，具体地，可以计算摄像目标的速度和雷达目标的速度的第一差值的绝对值与摄像目标的距离和雷达目标的距离的第二差值的绝对值的平均值或加权平均值，作为摄像目标和雷达目标之间的综合损失。

若第i个摄像目标和第j个雷达目标之间的综合损失小于或等于综合损失阈值，则将初始损失矩阵中第i个摄像目标和第j个雷达目标对应的损失值（比如，可以是初始损失矩阵中第i行第j列的数值，行表示摄像目标，列表示雷达目标）更新为该摄像目标和该雷达目标之间的综合损失；否则，将初始损失矩阵中第i个摄像目标和第j个雷达目标对应的损失值保持初始值不变。

其中，综合损失阈值可以根据摄像设备和雷达的特性，通过数据统计分布方式确定。其中，不同的距离段可以设置不同的综合损失阈值，也就是说，综合损失阈值可以是不固定的，根据目标的距离的远近设置，目标的距离越远，综合损失阈值的值可以越大。示例性地，综合损失阈值的确定可以主要考虑雷达测距特性，雷达远距离测距准确度较低，测距误差较大，雷达近距离测距准确性较高，测距误差较小，因此，综合损失阈值与雷达目标的距离相关联，可以呈正相关，当雷达目标的距离较大时，综合损失阈值较大，当雷达目标的距离较小时，综合损失阈值较小。综合损失阈值可以按照雷达目标的距离所属的距离段，呈线性分布。

在一些实施例中，摄像目标的信息包括摄像目标的速度和距离；雷达目标的信息包括雷达目标的速度和距离；

预设条件包括摄像目标和雷达目标之间的综合损失大于综合损失阈值、摄像目标与雷达目标的距离损失小于或等于第一距离阈值且摄像目标与雷达目标的速度损失大于第一速度阈值。

在一些实施例中，在上述S103中，根据每个摄像目标对应的满足预设条件的雷达目标的数量，对初始损失矩阵进行修正，得到修正后的损失矩阵，包括：

针对每个摄像目标，若该摄像目标对应的满足预设条件的雷达目标的数量为1，则将初始损失矩阵中该摄像目标和对应的满足预设条件的雷达目标的损失值修正为该摄像目标和该雷达目标之间的综合损失，得到修正后的损失矩阵。

其中，摄像目标与雷达目标的距离损失为摄像目标的距离与雷达目标的距离的差值的绝对值。摄像目标与雷达目标的速度损失为摄像目标的速度与雷达目标的速度的差值的绝对值。

在初始损失矩阵中，已经将综合损失小于或等于综合损失阈值的摄像目标和雷达目标对应的位置的值更新为该综合损失，即将综合差异较小的摄像目标和雷达目标对应的位置的值更新为该综合损失。

对于综合损失大于综合损失阈值的摄像目标和雷达目标，考虑到由于切入目标的不完整以及摄像设备测速的不稳定性，往往出现摄像设备检测的目标速度与雷达检测的同一目标的速度相差过大的情况，获取虽然综合损失大于综合损失阈值，但距离损失小于或等于第一距离阈值，速度损失大于第一速度阈值的摄像目标对应的满足预设条件的雷达目标的数量。若摄像目标对应的满足预设条件的雷达目标的数量为1，说明该摄像目标周围只有一个距离损失小于或等于第一距离阈值，速度损失大于第一速度阈值的雷达目标，考虑到上述摄像设备和雷达检测到的同一目标的速度相差过大的情况，可以放宽条件，将满足摄像目标对应的满足预设条件的雷达目标的数量为1的摄像目标和雷达目标对应的损失值修正为两者之间的综合损失，从而可以改善由于摄像设备和雷达检测到的同一目标的速度相差过大而导致的目标融合失败或目标输出较晚的情况；对于不满足的情况，仍保持初始值不变。

对于同一目标，摄像设备检测到的速度和雷达检测到的速度应该相同或相近，摄像设备检测到的距离和雷达监测到的距离应该相同或相近，因此，第一距离阈值和第一速度阈值均为较小值，可以根据实际需求或相关标定得到。其中，如前所述，由于雷达测距特性，第一距离阈值与雷达目标的距离相关联，呈正相关，即雷达目标的距离越大，第一距离阈值越大，雷达目标的距离越小，第一距离阈值越小，具体可参照前述综合损失阈值的设定，不再赘述。

在进行目标融合时，当目标为卡车或货车等大型车辆时，由于毫米波雷达的聚类不佳，会出现多个聚类之后的反射点，在进行融合的时候，任何一个雷达***目标可能都会与摄像目标进行融合，这种情况会导致前后时刻的量测值出现明显的跳变，从而使跟踪出来的目标轨迹出现轨迹锯齿，平滑度和鲁棒性都比较差，会对ACC（adaptive cruisecontrol，自适应巡航控制***）跟车稳定性造成影响。为了解决该问题，本申请实施例还提供了下述目标融合方法。

在一些实施例中，在上述S103之后，上述目标融合方法还可以包括：

确定第一雷达目标和其它各个雷达目标之间的距离损失和速度损失，并根据第一雷达目标和其它各个雷达目标之间的距离损失和速度损失，确定第一摄像目标对应的***雷达目标；第一摄像目标为类型为预设大型车辆的摄像目标；第一雷达目标为与第一摄像目标关联的雷达目标；

将第一摄像目标对应的***雷达目标进行合并，更新修正后的损失矩阵，得到更新后的损失矩阵；

相应地，上述S104可以包括：

根据更新后的损失矩阵，进行目标融合。

在本实施例中，摄像设备可以采用相关技术识别出目标的类型，目标的类型可以为小型汽车、卡车、客车、货车、摩托车、自行车或电动自行车等等。预设大型车辆为可能存在***雷达目标的车辆，可以包括卡车、客车或货车等大型车辆。

本实施例将目标的类型为预设大型车辆的摄像目标称为第一摄像目标，将与第一摄像目标关联的雷达目标称为第一雷达目标。

针对每个第一摄像目标，获取该第一摄像目标对应的第一雷达目标与其它各个雷达目标（即雷达目标列表中除该第一雷达目标外的所有雷达目标）之间的距离损失和速度损失，并根据该第一摄像目标对应的第一雷达目标与其它各个雷达目标之间的距离损失和速度损失，确定该第一摄像目标对应的***雷达目标，以及将该第一摄像目标对应的***雷达目标进行合并，更新修正后的损失矩阵。

对于每个第一摄像目标，执行上述过程后，得到的损失矩阵为更新后的损失矩阵。最终，根据更新后的损失矩阵，进行目标融合。

任意两个雷达目标之间的距离损失为两个雷达目标的距离的差值的绝对值。任意两个雷达目标之间的速度损失为两个雷达目标的速度的差值的绝对值。

第一摄像目标对应的***雷达目标为雷达检测到的与该第一摄像目标为同一目标的雷达目标。第一摄像目标对应的***雷达目标的数量大于1。

本实施例通过获取目标类型为预设大型车辆的第一摄像目标对应的***雷达目标，并进行合并，更新修正后的损失矩阵，最终根据更新后的损失矩阵进行目标融合，可以使摄像目标与真正的雷达目标进行融合，避免跟踪出来的目标轨迹出现轨迹锯齿，可以提高目标轨迹的平滑度和鲁棒性。

在一些实施例中，根据第一雷达目标和其它各个雷达目标之间的距离损失和速度损失，确定第一摄像目标对应的***雷达目标，包括：

将和第一雷达目标之间的距离损失小于或等于第二距离阈值且和第一雷达目标之间的速度损失小于或等于第二速度阈值的雷达目标作为第一摄像目标的候选***雷达目标；

将第一雷达目标作为第一摄像目标的候选***雷达目标；

针对第一摄像目标的每个候选***雷达目标，若与该候选***雷达目标关联的摄像目标唯一，则确定该候选***雷达目标为第一摄像目标对应的***雷达目标。

其中，第二距离阈值可以大于第一距离阈值。第二速度阈值可以等于第一速度阈值，或者与第一速度阈值相近，或者小于第一速度阈值。理论上，两个***雷达目标应该同速不同距，因此，第二速度阈值应该尽可能小，比如，可以为1，等等；第二距离阈值相比于第一距离阈值，较大。第二距离阈值的设定可以与第一距离阈值的设定相似，与雷达目标的距离呈正相关，但同一雷达目标的距离，或同一雷达目标的距离所属距离段内，第二距离阈值大于第一距离阈值。

本实施例放宽距离阈值，遍历雷达目标列表，将与第一雷达目标之间的距离损失小于或等于第二距离阈值，且与第一雷达目标之间的速度损失小于或等于第二速度阈值的雷达目标作为第一摄像目标的候选***雷达目标；同时，将与第一摄像目标相关联的第一雷达目标同样作为第一摄像目标的候选***雷达目标。记录第一摄像目标的候选***雷达目标的ID，以便于后续使用。

针对第一摄像目标的每个候选***雷达目标，遍历摄像目标列表，确定与该候选***雷达目标关联的摄像目标，若与该候选***雷达目标关联的摄像目标唯一，即只有一个，则将该候选***雷达目标确定为第一摄像目标对应的***雷达目标；否则，确定该候选***雷达目标不是第一摄像目标对应的***雷达目标。

在一些实施例中，当摄像目标和雷达目标在修正后的损失矩阵中的损失值小于或等于预设损失阈值时，确定该摄像目标和该雷达目标关联；或，

当摄像目标和雷达目标之间的综合损失小于综合损失阈值时，确定该摄像目标和该雷达目标关联；或，

当摄像目标和雷达目标之间的距离损失小于第一距离阈值，且该摄像目标和该雷达目标之间的速度损失小于第一速度阈值时，确定该摄像目标和该雷达目标关联。

在本实施例中，可以采用上述三种方案中的任意一种方案确定任意一个摄像目标和任意一个雷达目标是否关联。可以在摄像目标和雷达目标之间的综合损失小于综合损失阈值时，确定该摄像目标和该雷达目标关联；或者，可以在摄像目标和雷达目标之间的距离损失小于第一距离阈值，且该摄像目标和该雷达目标之间的速度损失小于第一速度阈值时，确定该摄像目标和该雷达目标关联；或者，可以在修正后的损失矩阵中，若摄像目标和雷达目标对应的损失值小于或等于预设损失阈值时，可以确定该摄像目标和该雷达目标关联。

其中，预设损失阈值可以大于或等于综合损失阈值，且小于第一预设损失值，其具体取值可以根据实际需求进行设置。

在一些实施例中，将第一摄像目标对应的***雷达目标进行合并，包括：

在第一摄像目标对应的***雷达目标中，将距离最小的***雷达目标作为合并后的雷达目标。

本实施例可以将第一摄像目标对应的***雷达目标中距离最小的雷达目标，作为将第一摄像目标对应的***雷达目标合并后的雷达目标。示例性地，假设第一摄像目标对应两个***雷达目标，其中一个***雷达目标的距离为50m，另一个***雷达目标的距离为48m，则将距离为48m的***雷达目标作为合并后的雷达目标。

相对应地，对修正后的损失矩阵进行更新，可以是在第一摄像目标对应的***雷达目标中，将其中作为合并后的雷达目标在修正后的损失矩阵中的所在列保留，将其中未被作为合并后的雷达目标在修正后的损失矩阵中的所在列删除；或者，可以是在第一摄像目标对应的***雷达目标中，将其中作为合并后的雷达目标在修正后的损失矩阵中的所在列的数值保持不变，将其中未被作为合并后的雷达目标在修正后的损失矩阵中的所在列的数值更新为第一预设损失值，即初始值；或者，可以是在第一摄像目标对应的***雷达目标中，将其中作为合并后的雷达目标与第一摄像目标在修正后的损失矩阵中的损失值保持不变，将其中未被作为合并后的雷达目标与第一摄像目标在修正后的损失矩阵中的损失值更新为第一预设损失值，即初始值；等等。

本申请实施例通过对***雷达目标进行处理，可以有效对***雷达目标进行合并，从而可以提高目标融合的鲁棒性，并提高跟踪轨迹的平滑性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以下为本发明的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。

图2示出了本发明实施例提供的目标融合装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

如图2所示，目标融合装置30可以包括：获取模块31、初始损失矩阵确定模块32、损失矩阵修正模块33和目标融合模块34。

获取模块31，用于获取摄像设备检测到的各个摄像目标的信息和雷达检测到的各个雷达目标的信息；

初始损失矩阵确定模块32，用于根据各个摄像目标的信息和各个雷达目标的信息，计算各个摄像目标和各个雷达目标之间的综合损失，并根据综合损失，确定摄像设备和雷达之间的初始损失矩阵；

损失矩阵修正模块33，用于确定每个摄像目标对应的满足预设条件的雷达目标的数量，并根据每个摄像目标对应的满足预设条件的雷达目标的数量，对初始损失矩阵进行修正，得到修正后的损失矩阵；

目标融合模块34，用于根据修正后的损失矩阵，进行目标融合。

在一种可能的实现方式中，摄像目标的信息包括摄像目标的速度和距离；雷达目标的信息包括雷达目标的速度和距离；

初始损失矩阵确定模块32具体用于：

针对每个摄像目标和每个雷达目标，计算该摄像目标的速度和该雷达目标的速度的第一差值以及该摄像目标的距离和该雷达目标的距离的第二差值，并根据第一差值和第二差值，计算该摄像目标和该雷达目标之间的综合损失，以及在该摄像目标和该雷达目标之间的综合损失小于或等于综合损失阈值时，将初始损失矩阵中该摄像目标和该雷达目标对应的损失值确定为该摄像目标和该雷达目标之间的综合损失。

在一种可能的实现方式中，摄像目标的信息包括摄像目标的速度和距离；雷达目标的信息包括雷达目标的速度和距离；

预设条件包括摄像目标和雷达目标之间的综合损失大于综合损失阈值、摄像目标与雷达目标的距离损失小于或等于第一距离阈值且摄像目标与雷达目标的速度损失大于第一速度阈值。

在一种可能的实现方式中，在损失矩阵修正模块33中，根据每个摄像目标对应的满足预设条件的雷达目标的数量，对初始损失矩阵进行修正，得到修正后的损失矩阵，包括：

针对每个摄像目标，若该摄像目标对应的满足预设条件的雷达目标的数量为1，则将初始损失矩阵中该摄像目标和对应的满足预设条件的雷达目标的损失值修正为该摄像目标和该雷达目标之间的综合损失，得到修正后的损失矩阵。

在一种可能的实现方式中，目标融合装置30还可以包括：***目标合并模块。

***目标合并模块用于：

在得到修正后的损失矩阵之后，确定第一雷达目标和其它各个雷达目标之间的距离损失和速度损失，并根据第一雷达目标和其它各个雷达目标之间的距离损失和速度损失，确定第一摄像目标对应的***雷达目标；第一摄像目标为类型为预设大型车辆的摄像目标；第一雷达目标为与第一摄像目标关联的雷达目标；

将第一摄像目标对应的***雷达目标进行合并，更新修正后的损失矩阵，得到更新后的损失矩阵；

相应地，目标融合模块34具体用于：

根据更新后的损失矩阵，进行目标融合。

在一种可能的实现方式中，在***目标合并模块中，根据第一雷达目标和其它各个雷达目标之间的距离损失和速度损失，确定第一摄像目标对应的***雷达目标，包括：

将和第一雷达目标之间的距离损失小于或等于第二距离阈值且和第一雷达目标之间的速度损失小于或等于第二速度阈值的雷达目标作为第一摄像目标的候选***雷达目标；

将第一雷达目标作为第一摄像目标的候选***雷达目标；

针对第一摄像目标的每个候选***雷达目标，若与该候选***雷达目标关联的摄像目标唯一，则确定该候选***雷达目标为第一摄像目标对应的***雷达目标。

在一种可能的实现方式中，当摄像目标和雷达目标在修正后的损失矩阵中的损失值小于或等于预设损失阈值时，确定该摄像目标和该雷达目标关联；或，

当摄像目标和雷达目标之间的综合损失小于综合损失阈值时，确定该摄像目标和该雷达目标关联；或，

当摄像目标和雷达目标之间的距离损失小于第一距离阈值，且该摄像目标和该雷达目标之间的速度损失小于第一速度阈值时，确定该摄像目标和该雷达目标关联。

在一种可能的实现方式中，在***目标合并模块中，将第一摄像目标对应的***雷达目标进行合并，包括：

在第一摄像目标对应的***雷达目标中，将距离最小的***雷达目标作为合并后的雷达目标。

图3是本发明实施例提供的电子设备的示意图。如图3所示，该实施例的电子设备4包括：处理器40和存储器41。所述存储器41用于存储计算机程序42，所述处理器40用于调用并运行所述存储器41中存储的计算机程序42，执行上述各个目标融合方法实施例中的步骤，例如图1所示的S101至S104。或者，所述处理器40用于调用并运行所述存储器41中存储的计算机程序42，实现上述各装置实施例中各模块/单元的功能，例如图2所示模块/单元31至34的功能。

示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述电子设备4中的执行过程。例如，所述计算机程序42可以被分割成图2所示的模块/单元31至34。

所述电子设备4可以是计算机、服务器等计算设备，也可以是车辆上的ECU（Electronic Control Unit，电子控制单元）等设备。所述电子设备4可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图3仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器41可以是所述电子设备4的内部存储单元，例如电子设备4的硬盘或内存。所述存储器41也可以是所述电子设备4的外部存储设备，例如所述电子设备4上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器41还可以既包括所述电子设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

对应于上述电子设备，本申请实施例还提供了一种车辆，包括上述电子设备。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个目标融合方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种目标融合方法，其特征在于，包括：

获取摄像设备检测到的各个摄像目标的信息和雷达检测到的各个雷达目标的信息；

根据各个摄像目标的信息和各个雷达目标的信息，计算各个摄像目标和各个雷达目标之间的综合损失，并根据所述综合损失，确定摄像设备和雷达之间的初始损失矩阵；

确定每个摄像目标对应的满足预设条件的雷达目标的数量，并根据每个摄像目标对应的满足预设条件的雷达目标的数量，对所述初始损失矩阵进行修正，得到修正后的损失矩阵；

根据所述修正后的损失矩阵，进行目标融合。

2.根据权利要求1所述的目标融合方法，其特征在于，所述摄像目标的信息包括摄像目标的速度和距离；所述雷达目标的信息包括雷达目标的速度和距离；

所述根据各个摄像目标的信息和各个雷达目标的信息，计算各个摄像目标和各个雷达目标之间的综合损失，并根据所述综合损失，确定摄像设备和雷达之间的初始损失矩阵，包括：

针对每个摄像目标和每个雷达目标，计算该摄像目标的速度和该雷达目标的速度的第一差值以及该摄像目标的距离和该雷达目标的距离的第二差值，并根据所述第一差值和所述第二差值，计算该摄像目标和该雷达目标之间的综合损失，以及在该摄像目标和该雷达目标之间的综合损失小于或等于综合损失阈值时，将初始损失矩阵中该摄像目标和该雷达目标对应的损失值确定为该摄像目标和该雷达目标之间的综合损失。

3.根据权利要求1所述的目标融合方法，其特征在于，所述摄像目标的信息包括摄像目标的速度和距离；所述雷达目标的信息包括雷达目标的速度和距离；

所述预设条件包括摄像目标和雷达目标之间的综合损失大于综合损失阈值、摄像目标与雷达目标的距离损失小于或等于第一距离阈值且摄像目标与雷达目标的速度损失大于第一速度阈值。

4.根据权利要求1所述的目标融合方法，其特征在于，所述根据每个摄像目标对应的满足预设条件的雷达目标的数量，对所述初始损失矩阵进行修正，得到修正后的损失矩阵，包括：

针对每个摄像目标，若该摄像目标对应的满足预设条件的雷达目标的数量为1，则将初始损失矩阵中该摄像目标和对应的满足预设条件的雷达目标的损失值修正为该摄像目标和该雷达目标之间的综合损失，得到修正后的损失矩阵。

5.根据权利要求1至4任一项所述的目标融合方法，其特征在于，在所述得到修正后的损失矩阵之后，所述目标融合方法还包括：

确定第一雷达目标和其它各个雷达目标之间的距离损失和速度损失，并根据所述第一雷达目标和其它各个雷达目标之间的距离损失和速度损失，确定第一摄像目标对应的***雷达目标；所述第一摄像目标为类型为预设大型车辆的摄像目标；所述第一雷达目标为与所述第一摄像目标关联的雷达目标；

将所述第一摄像目标对应的***雷达目标进行合并，更新所述修正后的损失矩阵，得到更新后的损失矩阵；

相应地，所述根据所述修正后的损失矩阵，进行目标融合，包括：

根据所述更新后的损失矩阵，进行目标融合。

6.根据权利要求5所述的目标融合方法，其特征在于，所述根据所述第一雷达目标和其它各个雷达目标之间的距离损失和速度损失，确定第一摄像目标对应的***雷达目标，包括：

将和所述第一雷达目标之间的距离损失小于或等于第二距离阈值且和所述第一雷达目标之间的速度损失小于或等于第二速度阈值的雷达目标作为所述第一摄像目标的候选***雷达目标；

将所述第一雷达目标作为所述第一摄像目标的候选***雷达目标；

针对所述第一摄像目标的每个候选***雷达目标，若与该候选***雷达目标关联的摄像目标唯一，则确定该候选***雷达目标为所述第一摄像目标对应的***雷达目标。

7.根据权利要求5所述的目标融合方法，其特征在于，当摄像目标和雷达目标在所述修正后的损失矩阵中的损失值小于或等于预设损失阈值时，确定该摄像目标和该雷达目标关联；或，

当摄像目标和雷达目标之间的综合损失小于综合损失阈值时，确定该摄像目标和该雷达目标关联；或，

当摄像目标和雷达目标之间的距离损失小于第一距离阈值，且该摄像目标和该雷达目标之间的速度损失小于第一速度阈值时，确定该摄像目标和该雷达目标关联。

8.根据权利要求5所述的目标融合方法，其特征在于，所述将所述第一摄像目标对应的***雷达目标进行合并，包括：

在所述第一摄像目标对应的***雷达目标中，将距离最小的***雷达目标作为合并后的雷达目标。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如权利要求1至8中任一项所述的目标融合方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述目标融合方法的步骤。