CN111783905B - 一种目标融合方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请涉及目标检测技术领域，提供一种目标融合方法、装置、存储介质及电子设备。其中，目标融合方法包括：获取第一传感器检测到的第一目标；将第一目标与融合目标集中的目标进行匹配，若第一目标与第一融合目标匹配成功，则利用第一目标更新第一融合目标的属性；若第一目标未与融合目标集中的任一目标匹配成功，则将第一目标与异源目标集中的目标进行匹配，若第一目标与第一异源目标匹配成功，则基于第一目标与第一异源目标融合产生第二融合目标，并将其添加至融合目标集。由于产生的融合目标中结合了多传感器数据，所以该方法对目标状态的估计比较准确，并且由于目标融合实现了传感器信息互补，所以该方法还有利于提高检测到的目标的可信度。

Description

一种目标融合方法、装置、存储介质及电子设备

技术领域

本发明涉及目标检测技术领域，具体而言，涉及一种目标融合方法、装置、存储介质及电子设备。

背景技术

高级驾驶辅助***（Advanced Driving Assistant System，简称ADAS）利用安装在汽车上的各类传感器（如毫米波/激光雷达、单/双目摄像头等）在汽车行驶过程中实时进行目标检测等操作，改善汽车驾驶过程的安全性。

在现有技术中，各类传感器独立进行目标检测并输出检测结果，虽然检测技术成熟，但各传感器均有各自的优势和劣势，例如：

雷达：内置目标检测算法的雷达在目标检测上具有探测距离远、检测结果精确、抗环境干扰能力强等优点。但是，雷达无法有效识别目标种类，也难以准确判断目标尺寸，而且在目标反射面较小、目标周围存在强反射干扰等特殊环境下检测性能较差。

摄像头：内置目标检测算法的摄像头可以对目标进行分类、输出目标的置信度、估计目标尺寸等，很好地弥补了雷达的缺陷，而且基于视觉传感器的目标检测技术门槛相对较低。但是摄像头易受天气、环境影响，导致其在使用过程中稳定性不高。

可以看出，各类传感器在目标检测上具有互补性，但对于如何融合多传感器数据，获得更加可信、更有价值的目标检测结果，目前尚无成熟的解决方案。

发明内容

本申请实施例的目的在于提供一种目标融合方法、装置、存储介质及电子设备，以改善上述技术问题。

为实现上述目的，本申请提供如下技术方案：

第一方面，本申请实施例提供一种目标融合方法，包括：获取第一传感器检测到的第一目标；将所述第一目标与融合目标集中的目标进行匹配，若所述第一目标与所述融合目标集中的第一融合目标匹配成功，则利用所述第一目标更新所述第一融合目标的属性；若所述第一目标未与所述融合目标集中的任一目标匹配成功，则将所述第一目标与异源目标集中的目标进行匹配，若所述第一目标与所述异源目标集中的第一异源目标匹配成功，则基于所述第一目标与所述第一异源目标融合产生第二融合目标，并将所述第二融合目标添加至所述融合目标集；其中，所述融合目标集是不同的传感器检测到的目标融合后产生的融合目标的集合，所述异源目标集是与第一传感器不同的传感器检测到的目标构成的集合。

在上述方法中，对于新输入的第一目标，优先与融合目标集中的目标进行匹配，因融合目标集中的目标是多传感器融合的结果，相当于经过了多传感器的确认，可信度较高，若匹配成功表明第一目标与第一融合目标指代同一对象，而第一目标的属性表征该对象的最新状态，从而可以利用第一目标更新第一融合目标的属性。若无法匹配成功，很可能是第一目标在之前只被单传感器检测到从而未进行过目标融合，因此再尝试将其与异源目标集中的目标进行匹配，根据上面的定义，异源目标集中的目标检测来源与第一目标不同，故检测数据与第一传感器的检测数据具有互补性。若匹配成功表明第一目标与第一异源目标指代同一对象，二者融合后产生的第二融合目标的属性中结合了多传感器的数据，使得上述数据互补性得以落地。第二融合目标生成后，被加入到融合目标集，从而实现融合目标集的更新。

该方法提出了一种全新且有效的目标融合方案，在融合后产生的目标中由于结合了多传感器数据，所以对目标状态（通过目标的属性表征）的估计比单传感器更加准确，并且由于目标融合实现了传感器信息互补，减少目标检测过程中的不确定性，所以有利于提高检测到的目标的可信度和利用价值。

在第一方面的一种实现方式中，每个目标的属性均包括以下至少一项：该目标的ID、该目标与传感器载体之间的横向距离、该目标与传感器载体之间的纵向距离、该目标与传感器载体之间的方向角、该目标的速度、该目标的加速度、该目标的类别、该目标的置信度以及该目标的尺寸。

根据不同种类的传感器的特征，检测到的目标可能具有不同的属性，例如，对于视觉传感器检测到的图像目标，其属性可以包括ID、横向距离、纵向距离、方向角、速度、类别、置信度以及尺寸，对于雷达检测到的雷达目标，其属性可以包括ID、横向距离、纵向距离、方向角、速度以及加速度。当然在具体实践中，所有的目标都可以采用统一的数据模型（如一个结构体），该数据模型包含上述全部的属性，若某类传感器检测到的目标不具有某些属性，在其相应的数据模型中这些属性的值可以取空值或无效值。

在第一方面的一种实现方式中，所述将所述第一目标与融合目标集中的目标进行匹配，包括：将所述第一目标以及所述融合目标集中的目标用各自的横向距离和纵向距离表示为坐标点；利用匈牙利匹配算法将所述第一目标对应的坐标点与所述融合目标集中的目标对应的坐标点进行匹配，获得匹配点对；其中，所述匈牙利匹配算法在匹配时以坐标点间的欧式距离为依据，所述匹配点对中的两个坐标点分别对应所述第一目标以及所述融合目标集中的第一候选融合目标；判断所述匹配点对中的两个坐标点的横坐标差值是否小于第一门限以及纵坐标差值是否小于第二门限，若两个坐标差值分别小于各自的门限，则将所述第一候选融合目标确定为所述第一融合目标，否则确定所述第一目标与所述融合目标集中的任一目标均不匹配。

匈牙利匹配算法能够得到两个点集之间的最优匹配关系，因此为使用匈牙利匹配算法，首先要将目标转化为二维点表示。根据匈牙利匹配算法的原理，该算法必然能够输出一个数学意义上的匹配点对，但匹配点对对应的第一目标和第一候选融合目标从工程意义上是否应当认定为匹配则还需要通过第一门限和第二门限进行筛选，否则确定出的第一融合目标可能不具有实用价值（可称为错误匹配）。

在第一方面的一种实现方式中，所述第一门限以及所述第二门限的取值均与所述横坐标差值和/或所述纵坐标差值相关。

在这种实现方式中，第一门限和第二门限均为动态门限，发明人研究发现，采用动态门限比采用固定门限在筛除错误匹配的目标时效果更佳。

在第一方面的一种实现方式中，所述利用所述第一目标更新所述第一融合目标的属性，包括：基于所述第一目标以及卡尔曼滤波器更新所述第一融合目标的属性。

卡尔曼滤波是一种利用线性***状态方程，通过***输入输出观测数据，对***状态进行最优估计的算法。

在第一方面的一种实现方式中，所述第一目标为视觉传感器检测到的图像目标，所述基于所述第一目标以及卡尔曼滤波器更新所述第一融合目标的属性，包括：利用所述第一目标的方向角以及所述第一融合目标的纵向距离计算横向距离的观测值，将所述横向距离的观测值输入至所述卡尔曼滤波器，并将所述卡尔曼滤波器输出的横向距离的估计值作为更新后的所述第一融合目标的横向距离；将所述卡尔曼滤波器输出的纵向距离的预测值作为更新后的所述第一融合目标的纵向距离；将所述第一目标的方向角、类别、置信度以及尺寸直接作为更新后的所述第一融合目标的方向角、类别、置信度以及尺寸。

在第一方面的一种实现方式中，所述第一目标为雷达检测到的雷达目标，所述基于所述第一目标以及卡尔曼滤波器更新所述第一融合目标的属性，包括：将所述第一目标的纵向距离以及速度分别作为纵向距离的观测值以及速度的观测值输入至所述卡尔曼滤波器，并将所述卡尔曼滤波器输出的纵向距离的估计值以及速度的估计值作为更新后的所述第一融合目标的纵向距离以及速度；将所述卡尔曼滤波器输出的横向距离的预测值作为更新后的所述第一融合目标的横向距离；将所述第一目标的加速度直接作为更新后的所述第一融合目标的加速度。

在第一方面的一种实现方式中，所述第一目标与所述第一异源目标一个为视觉传感器检测到的图像目标，另一个为雷达检测到的雷达目标，所述基于所述第一目标与所述第一异源目标融合产生第二融合目标，包括：利用所述图像目标的方向角以及所述雷达目标的纵向距离计算所述第二融合目标的横向距离；将所述图像目标的方向角、类别、置信度以及尺寸直接作为所述第二融合目标的方向角、类别、置信度以及尺寸；将所述雷达目标的纵向距离、速度以及加速度直接作为所述第二融合目标的纵向距离、速度以及加速度。

在第一方面的一种实现方式中，所述获取第一传感器检测到的第一目标，包括：以异步方式获取第一传感器检测到的第一目标。

各传感器检测到的目标在执行目标融合时，可以以异步方式输入，采用异步方式的好处在于：其一，避免复杂的传感器时间对准问题（也无法做到多个传感器时间严格对准）；其二，便于兼容任意数量、任意种类的传感器；其三，即使部分传感器故障，剩余传感器仍可正常工作，不受影响。

在第一方面的一种实现方式中，所述方法还包括：若所述第一目标未与所述异源目标集中的任一目标匹配成功，则将所述第一目标与同源目标集中的目标进行匹配，若所述第一目标与所述同源目标集中的第一同源目标匹配成功，则利用所述第一目标更新所述第一同源目标的属性；其中，所述同源目标集是所述第一传感器在检测到所述第一目标之前所检测到的目标构成的集合；若所述第一目标未与所述同源目标集中的任一目标匹配成功，则将所述第一目标添加至所述同源目标集。

在上述实现方式中，若第一目标先后与融合目标集中的目标以及与异源目标集中的目标进行了匹配，但均无法匹配成功，很可能该目标之前从未被除第一传感器以外的其他传感器检测到，因此再尝试将其与同源目标集中的目标进行匹配，若匹配成功表明第一目标与第一同源目标指代同一对象，而第一目标的属性表征该对象的最新状态，从而可以利用第一目标更新第一同源目标的属性。若无法匹配成功，表明该目标是新出现的，之前未被任何传感器检测到，因此可将其加入到同源目标集，从而实现同源目标集的更新。

需要指出，同源目标集和异源目标集是相对的概念，取决于当前输入的第一目标是由什么传感器检测到的，如果再输入一个第二目标，同源目标集和异源目标集可能互换，所以这里的更新同源目标集实际上也是在更新异源目标集。

在第一方面的一种实现方式中，所述将所述第一目标与同源目标集中的目标进行匹配，包括：判断所述同源目标集中的目标的ID中是否存在与所述第一目标的ID相同的ID，若存在与所述第一目标的ID相同的ID，则将所述同源目标集中具有该ID的目标确定为所述第一同源目标，否则确定所述第一目标与所述同源目标集中的任一目标均不匹配。

单传感器在进行目标检测时，亦具有简单的目标识别能力，例如，视觉传感器可以判断在连续的两帧图像中检测到的某目标是否指代同一对象。若是同一对象，则可为新检测到的目标分配与相应的旧目标相同的ID。从而，在将第一目标与同源目标集中的目标进行匹配时，可通过目标的ID进行匹配。

在第一方面的一种实现方式中，所述利用所述第一目标更新所述第一同源目标的属性，包括：基于所述第一目标以及卡尔曼滤波器更新所述第一同源目标的属性。

在第一方面的一种实现方式中，所述第一目标为视觉传感器检测到的图像目标，所述基于所述第一目标以及卡尔曼滤波器更新所述第一同源目标的属性，包括：将所述第一目标的横向距离以及纵向距离分别作为横向距离的观测值以及纵向距离的观测值输入至所述卡尔曼滤波器，并将所述卡尔曼滤波器输出的横向距离估计值以及纵向距离的估计值作为更新后的所述第一同源目标的横向距离以及纵向距离；将所述第一目标的速度、方向角、类别、置信度以及尺寸直接作为更新后的所述第一同源目标的速度、方向角、类别、置信度以及尺寸。

在第一方面的一种实现方式中，所述第一目标为雷达检测到的雷达目标，所述基于所述第一目标以及卡尔曼滤波器更新所述第一同源目标的属性，包括：将所述第一目标的横向距离以及纵向距离分别作为横向距离的观测值以及纵向距离的观测值输入至所述卡尔曼滤波器，并将所述卡尔曼滤波器输出的横向距离估计值以及纵向距离的估计值作为更新后的所述第一同源目标的横向距离以及纵向距离；将所述第一目标的方向角、速度以及加速度直接作为更新后的所述第一同源目标的方向角、速度以及加速度。

在第一方面的一种实现方式中，每个目标集中的目标均设置表征目标存续时间的生命周期，所述方法还包括：若检测到任一目标的生命周期不小于输出门限，则输出该目标；若检测到任一目标的生命周期不大于丢弃门限，则从目标集中移除该目标；其中，所述丢弃门限小于所述输出门限。

目标的生命周期越长，即目标持续被检测到，其可信度也越高，反之可信度则越低。对于可信度高的目标（生命周期不小于输出门限），可输出至后续***供使用，如前向碰撞预警（Front Collision Warning，简称FCW），自动紧急制动***（Autonomous EmergencyBrake，简称AEB）等***；对于可信度低的目标（生命周期不大于丢弃门限），则可从目标集中将其移除，或者该目标为误检，或者该目标仅仅是瞬间存在，总之继续维护该目标意义不大，可释放其占用的存储空间。通过设置生命周期，可实现对目标集中目标的有效管理维护。

在第一方面的一种实现方式中，对于目标集中的任一目标，若与新检测到的目标匹配成功，则该目标的生命周期增加1，否则该目标的生命周期减去1。

上述实现方式提供了一种生命周期的具体更新规则，若目标集中的目标与新检测到的目标匹配成功，表明该目标在最新时刻仍然被检测到，所以生命周期应该延长，若未匹配成功表明该目标在最新时刻未被检测到，所以生命周期应该缩短。至于具体延长或缩短的数量，取1是最简单的，当然也不排除取其他值。

第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法的步骤。

第四方面，本申请实施例提供一种电子设备，包括：存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法的步骤。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的一种传感器载体的示意图；

图2示出了本申请实施例提供的一种目标融合方法的流程图；

图3示出了本申请实施例提供的一种目标融合装置的功能模块图；

图4示出了本申请实施例提供的一种电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

同时，术语“第一”、“第二”等仅用于将一个实体或者操作与另一个实体或操作区分开来，而不能理解为指示或暗示相对重要性，也不能理解为要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

图1示出了本申请实施例提供的一种传感器载体的示意图。参照图1，传感器载体100为安装有多种传感器110的平台，可用于实时目标检测。传感器载体100可以具有移动能力，例如可以是运载工具（如汽车、飞行器、船）、机器人等，但可以是静止设施，例如监控设备、智能路灯等。传感器110种类不限，例如可以是雷达（如毫米波雷达、激光雷达）、视觉传感器（如单/双目摄像头、深度摄像头）、红外传感器等，后文主要以雷达和视觉传感器为例进行介绍。

在本申请中，传感器110视为已集成常规的目标检测算法，并能够输出检测到的目标，而不应视为单纯的数据采集工具。传感器载体100上的每种传感器110可以有一个或多个，为简单起见，在后文阐述时，认为每种传感器110只有一个（或者说将同种传感器当做一个传感器看待），即传感器载体100上的每个传感器110都属于不同种类。

本申请实施例提供的目标融合方法可以在传感器载体100上执行，即传感器载体100检测到目标后直接进行目标融合，或者，传感器载体100也可以只是用于检测目标，在另一电子设备上基于目标检测结果进行目标融合，图4给出了一种可用于执行目标融合方法的电子设备的示意图，可以参考后文描述。并且，可以一边检测目标一边进行目标融合，也可以在进行一段时间的目标检测后，基于收集到的检测数据统一进行目标融合，本申请对此不作限定。

在本申请中，“目标”一词应理解为具有两重含义，既可以指代被传感器检测的实体对象，例如，人、车辆、障碍物等；同时，也可以指代传感器的检测结果，例如，可以是一个用于描述实体对象的数据模型，在计算机中该模型可以以结构体的形式存在，此数据模型具有多项属性（对应结构体中的成员），这些属性用于描述目标的状态。后文在不致产生歧义时，不再特别区分“目标”一词具有的上述两重含义，结合具体场景理解即可。

在一种实现方式中，目标的属性可以包括以下至少一项：该目标的ID（用于唯一标识某个目标）、该目标与传感器载体之间的横向距离、该目标与传感器载体之间的纵向距离、该目标与传感器载体之间的方向角、该目标的速度、该目标的加速度、该目标的类别、该目标的置信度以及该目标的尺寸。传感器在检测到目标后，可以为对目标的属性进行赋值，目标的属性可以在之后被更新。特别地，对于后文提到的融合目标，其属性则是由作为融合来源的目标的属性经运算后得到，而并非由传感器给出。

根据不同种类的传感器的特征，检测到的目标可能具有不同的属性，例如，对于视觉传感器检测到的图像目标，其属性可以包括ID、横向距离、纵向距离、方向角、速度、类别、置信度以及尺寸；对于雷达检测到的雷达目标，其属性可以包括ID、横向距离、纵向距离、方向角、速度以及加速度；特别地，对于融合目标，则可具有上述全部的属性。在具体实践中，所有的目标都可以采用统一的数据模型，该数据模型包含上述全部的属性，若某类传感器检测到的目标不具有某些属性，在其相应的数据模型中这些属性的值可以取空值或无效值。

图2示出了本申请实施例提供的一种目标融合方法的流程图，在图2中，相同的数字编号表明相关内容属于相同的步骤。参照图2，该方法包括：

步骤S200：获取第一传感器检测到的第一目标。

传感器载体上安装的传感器负责采集实时数据（例如，可以按固定频率采集）并基于采集到的数据进行目标检测，检测到的目标被作为目标融合方法的输入。对于任一传感器在任一时刻检测到的任一目标，其处理流程都是类似的，因此不妨以其中的第一传感器在某一时刻检测到的第一目标为例进行说明。

第一传感器在检测到第一目标后，可以对第一目标进行初始化，包括对目标的属性进行赋值：例如，第一目标的ID可由第一传感器负责分配，其他属性（例如纵向距离、横向距离等）则取第一传感器的实际测量结果。步骤S200中获取初始化完成的第一目标作为目标融合方法的输入。

可选的，在获取第一目标时可以采用异步方式，所谓异步是针对各传感器而言的，当第一传感器检测到第一目标时，就可以获取第一目标作为目标融合方法的输入，无需关心其他传感器是否检测到目标、是否正在进行输入。采用异步传输方式的好处在于：其一，避免复杂的传感器时间对准问题（也无法做到多个传感器时间严格对准）；其二，便于兼容任意数量、任意种类的传感器；其三，即使部分传感器故障，剩余传感器仍可正常工作，不受影响。

步骤S210：将第一目标与融合目标集中的目标进行匹配，若第一目标与融合目标集中的第一融合目标匹配成功，则利用第一目标更新第一融合目标的属性。

在本申请的方案中，针对每个传感器都设置一个目标集合，用于缓存该传感器检测到的目标。针对第一传感器检测到的第一目标，可以在这些目标集合中定义第一目标的异源目标集和同源目标集：其中，异源目标集是指与第一传感器不同的传感器检测到的目标构成的集合，异源目标集中的目标可称为第一目标的异源目标；同源目标集是指第一传感器在检测到第一目标之前所检测到的目标构成的集合，同源目标集中的目标可称为第一目标的同源目标。由于与第一传感器不同的传感器可能有多个，所以异源目标集也可能有多个，后文为方便阐述，仅以一个异源目标集为例，若有多个异源目标集，无非就是把在一个异源目标集上执行的操作重复执行几遍而已。

不难看出，异源目标集和同源目标集的定义和第一目标是相关的：例如，传感器载体上有雷达和视觉传感器两个传感器，若第一目标为雷达检测到的雷达目标，则异源目标集就是视觉传感器检测到的图像目标的集合，同源目标集就是雷达在检测到第一目标之前所检测到的雷达目标构成的集合；相对地，若第一目标为视觉传感器检测到的图像目标，则异源目标集就是雷达检测到的雷达目标的集合，同源目标集就是视觉传感器在检测到第一目标之前所检测到的图像目标构成的集合。

此外，还可以设置一个融合目标集，用于缓存不同的传感器检测到的目标融合后产生的融合目标。对于融合目标集、异源目标集、同源目标集中如何加入新的目标会在后续步骤中介绍，为方便阐述，不妨认为在第一目标输入时，这三种目标集中已有一定数量的目标。另外，还需要指出，在针对一个目标的融合流程中，并不一定会同时用到这三种目标集，而可能只用到其中的一个（融合目标集）或两个（融合目标集和异源目标集）。

对于第一目标，利用预设的匹配策略A将其与融合目标集中的目标匹配，匹配只产生两种结果，或者唯一匹配上融合目标集中的一个融合目标，不妨称为第一融合目标，或者匹配不上任何目标，继续执行步骤S220。

在一种实现方式中，匹配策略A可采用匈牙利匹配算法结合门限值。其中，匈牙利匹配算法能够得到两个点集之间的最优匹配关系，其结果为一个匹配点对，点对中的两个点分别来自一个点集。为使用匈牙利匹配算法，首先要将待匹配的目标表示为一个数学意义上的点。可选的，由于目标中可以包含横向距离和纵向距离两项属性，因此可以将第一目标以及融合目标集中的目标都用各自的横向距离和纵向距离表示为二维坐标点，然后利用匈牙利匹配算法将第一目标对应的坐标点与融合目标集中的目标对应的坐标点进行匹配，匹配过程以坐标点之间的欧式距离为依据，最终获得一个匹配点对，匹配点对中的两个坐标点分别对应第一目标以及融合目标集中的第一候选融合目标。可以理解的，也可使用更多的属性将目标表示为高维点（维度大于2）用于匈牙利匹配算法。

根据匈牙利匹配算法的原理，该算法必然能够输出一个数学意义上的匹配点对，但匹配点对对应的第一目标和第一候选融合目标从工程意义上是否应当认定为匹配则还需要进一步筛选，否则直接将第一候选融合目标确定为第一融合目标可能导致错误匹配，即虽然第一目标与第一融合目标并不指向同一实际对象（如同一个人、同一辆车等），但直接根据匈牙利匹配算法的结果却认为二者指向同一实际对象。

避免错误匹配的方法之一是设置门限。具体可以这样操作：判断匹配点对中的两个坐标点的横坐标差值（可取绝对值）是否小于第一门限以及纵坐标差值是否小于第二门限，若两个坐标差值分别小于各自的门限，则将第一候选融合目标确定为第一融合目标。否则认为第一候选融合目标并未与第一目标匹配（即第一候选融合目标是错误匹配的目标，相当于否定掉了匈牙利匹配算法的结果），并且可以确认此时第一目标与融合目标集中的任一目标均不匹配，继续执行步骤S220。

进一步的，在一种实现方式中，上述第一门限以及第二门限均为动态门限，即门限取值可随横坐标差值和/或纵坐标差值的变化而改变。发明人经长期研究实验发现，采用动态门限比采用固定门限在筛除错误匹配的目标时效果更佳。

例如，第一门限以及第二门限均设置为与匹配点对中的两个坐标点的纵坐标差值相关，假设其关系公式为

其中，x’和y’分别为第一门限和第二门限，y为纵坐标差值。

不妨用x表示匹配点对中的两个坐标点的横坐标差值，假设有三个目标对应的坐标点分别为A(1, 16)、B(1.08, 17)、C(1, 34)。对于A（视为第一目标对应的坐标点）和B（视为第一候选目标对应的坐标点），计算可得y=1，x=0.08，x’=1.01，y’=2.1，满足门限要求，A和B对应的目标匹配；对于A（视为第一目标对应的坐标点）和C（视为第一候选目标对应的坐标点），计算可得y=18，x=0，x’=1.18，y’=3.8，不满足门限要求，A和C对应的目标不匹配。

若第一目标与融合目标集中的第一融合目标匹配成功，则表明第一目标与第一融合目标指向同一实际对象，而第一目标是新检测到的，因此第一目标的属性表征该对象的最新状态，从而可以利用第一目标更新第一融合目标的属性，属性更新后的第一融合目标可视为对该对象当前状态的有效估计。更新完第一融合目标的属性后，可以丢弃第一目标。

在一种实现方式中，可以基于第一目标以及卡尔曼滤波器更新第一融合目标的属性。卡尔曼滤波是一种利用线性***状态方程，通过***输入输出观测数据，对***状态进行最优估计的算法。

下面分别以第一目标为视觉传感器检测到的图像目标和雷达检测到的雷达目标为例进行说明第一融合目标的属性的更新规则：

（1）第一目标为图像目标

利用第一目标的方向角以及第一融合目标的纵向距离计算横向距离的观测值（纵向距离与方向角正切值的乘积），将横向距离的观测值输入至卡尔曼滤波器，并将卡尔曼滤波器输出的横向距离的估计值作为更新后的第一融合目标的横向距离；

将卡尔曼滤波器输出的纵向距离的预测值作为更新后的第一融合目标的纵向距离；

将第一目标的方向角、类别、置信度以及尺寸直接作为更新后的第一融合目标的方向角、类别、置信度以及尺寸；

第一融合目标的ID保留不变。

（2）第一目标为雷达目标

将第一目标的纵向距离以及速度分别作为纵向距离的观测值以及速度的观测值输入至卡尔曼滤波器，并将卡尔曼滤波器输出的纵向距离的估计值以及速度的估计值作为更新后的第一融合目标的纵向距离以及速度；

将卡尔曼滤波器输出的横向距离的预测值作为更新后的第一融合目标的横向距离；

将第一目标的加速度直接作为更新后的第一融合目标的加速度。

第一融合目标的ID保留不变。

需要说明的是，（1）中卡尔曼滤波器之所以能输出纵向距离的预测值是因为之前曾将雷达目标的纵向距离的观测值输入至卡尔曼滤波器（（2）中有相关步骤）；（2）中卡尔曼滤波器之所以能输出横向距离的预测值是因为之前曾将图像目标的横向距离的观测值输入至卡尔曼滤波器（（1）中有相关步骤）。

步骤S220：若第一目标未与融合目标集中的任一目标匹配成功，则将第一目标与异源目标集中的目标进行匹配，若第一目标与异源目标集中的第一异源目标匹配成功，则基于第一目标与第一异源目标融合产生第二融合目标，并将第二融合目标添加至融合目标集。

对于第一目标未与融合目标集中的任一目标匹配成功的情况，利用预设的匹配策略B将第一目标与异源目标集中的目标匹配，匹配只产生两种结果，或者唯一匹配上异源目标集中的一个异源目标，不妨称为第一异源目标，或者匹配不上任何目标，继续执行步骤S230。

在一种实现方式中，匹配策略B可采用匈牙利匹配算法结合门限值，在前文介绍匹配策略A时已经说明，不再重复阐述，但需要指出的是，匹配策略B中门限值的选取未必要和匹配策略A中取相同的值。

第一目标若与第一异源目标匹配成功，表明被第一传感器检测到的第一目标之前曾被其他传感器检测到，此时可将第一目标与第一异源目标进行融合以获得第二融合目标，第二融合目标由于结合了多传感器数据，其可信度较高。下面以第一目标与第一异源目标一个是图像目标，另一个是雷达目标为例，给出一种可能的融合方法（步骤执行顺序不一定按以下顺序）：

新创建一个目标作为第二融合目标，该目标的ID可以重新分配一个；

利用图像目标的方向角以及雷达目标的纵向距离计算第二融合目标的横向距离（纵向距离与方向角正切值的乘积）；

将图像目标的方向角、类别、置信度以及尺寸直接作为第二融合目标的方向角、类别、置信度以及尺寸；

将雷达目标的纵向距离、速度以及加速度直接作为第二融合目标的纵向距离、速度以及加速度。

目标融合成功后，将第二融合目标加入到融合目标集中，实现融合目标集的更新。生成第二融合目标后，可以丢弃第一目标。

步骤S230：若第一目标未与异源目标集中的任一目标匹配成功，则将第一目标与同源目标集中的目标进行匹配，若第一目标与同源目标集中的第一同源目标匹配成功，则利用第一目标更新第一同源目标的属性；若第一目标未与同源目标集中的任一目标匹配成功，则将第一目标添加至同源目标集。

对于第一目标未与异源目标集中的任一目标匹配成功的情况，利用预设的匹配策略C将第一目标与同源目标集中的目标匹配，匹配只产生两种结果，或者唯一匹配上同源目标集中的一个同源目标，不妨称为第一同源目标，或者匹配不上任何目标。

在一种实现方式中，匹配策略C可采用ID匹配。具体为：判断同源目标集中的目标的ID中是否存在与第一目标的ID相同的ID，若存在与第一目标的ID相同的ID，则将同源目标集中具有该ID的目标确定为第一同源目标，否则表明第一目标与同源目标集中的任一目标均不匹配。

ID匹配实际上是单传感器自身提供的一项匹配能力，传感器在基于自身的目标检测算法进行目标检测时，亦具有简单的目标识别能力（或者说识别目标同一性的能力），从而能够赋予目标的ID一个合理的取值：例如，视觉传感器在采集的第K帧图像中检测到的一个目标M，为其分配一个ID，假设为m；之后视觉传感器在采集的第K+1帧图像中检测到的一个目标M’，经视觉传感器识别，M’和M指向同一对象，则可直接将M’的ID属性置为m；若M’作为第一目标，先后与融合目标集以及异源目标集中的目标进行匹配，均匹配失败，最后再与同源目标集中的目标匹配时，由于和同源目标集中缓存的M具有相同的ID，将匹配成功，M即为第一同源目标。

第一目标若与第一同源目标匹配成功，则表明第一传感器之前已经检测到该目标指向的实际对象，现在只是继续检测到，而第一目标由于是新检测到的，因此第一目标的属性表征该对象的最新状态，从而可以利用第一目标更新第一同源目标的属性，属性更新后的第一同源目标可视为对该对象当前状态的有效估计。更新完第一同源目标的属性后，可以丢弃第一目标。

在一种实现方式中，可以基于第一目标以及卡尔曼滤波器更新第一同源目标的属性。下面分别以第一目标为视觉传感器检测到的图像目标和雷达检测到的雷达目标为例进行说明第一同源目标的属性的更新规则：

（1）第一目标为图像目标

将第一目标的横向距离以及纵向距离分别作为横向距离的观测值以及纵向距离的观测值输入至卡尔曼滤波器，并将卡尔曼滤波器输出的横向距离估计值以及纵向距离的估计值作为更新后的第一同源目标的横向距离以及纵向距离；

将第一目标的速度、方向角、类别、置信度以及尺寸直接作为更新后的第一同源目标的速度、方向角、类别、置信度以及尺寸；

第一同源目标的ID保留不变。

（2）第一目标为雷达目标

将第一目标的横向距离以及纵向距离分别作为横向距离的观测值以及纵向距离的观测值输入至卡尔曼滤波器，并将卡尔曼滤波器输出的横向距离估计值以及纵向距离的估计值作为更新后的第一同源目标的横向距离以及纵向距离；

将第一目标的方向角、速度以及加速度直接作为更新后的第一同源目标的方向角、速度以及加速度；

第一同源目标的ID保留不变。

若第一目标无法与同源目标集中的任一目标匹配成功，表明该目标是新出现的，之前未被任何传感器检测到（还因之前两种目标集均为匹配成功），因此可将其加入到同源目标集，从而实现同源目标集的更新。

之前已经提到，同源目标集和异源目标集是相对的概念，取决于当前输入的第一目标是由什么传感器检测到的，所以其实无论同源目标集还是异源目标集都是针对某个传感器的目标集，而针对每个传感器设置的目标集合都在本步骤处更新。

简单总结一下上面的方法流程，对于新输入的第一目标，优先与融合目标集中的目标进行匹配，因融合目标集中的目标是多传感器融合的结果，相当于经过了多传感器的确认，可信度较高，若匹配成功表明第一目标与第一融合目标指向同一实际对象，而第一目标的属性表征该对象的最新状态，从而可以利用第一目标更新第一融合目标的属性。

若在融合目标集中无法匹配成功，很可能是第一目标在之前只被单传感器检测到从而未进行过目标融合，因此再尝试将其与异源目标集中的目标进行匹配，异源目标集中的目标检测来源与第一目标不同，故检测数据与第一传感器的检测数据具有互补性，相较于同源目标集可优先进行匹配，促进传感器数据互补。若匹配成功表明第一目标与第一异源目标指向同一实际对象，二者融合后产生的第二融合目标的属性中结合了多传感器的数据，使得上述数据互补性得以落地。第二融合目标生成后，被加入到融合目标集，从而实现融合目标集的更新。

若在异源目标集中仍无法匹配成功，很可能第一目标之前从未被除第一传感器以外的其他传感器检测到，因此再尝试将其与同源目标集中的目标进行匹配，若匹配成功表明第一目标与第一同源目标指向同一实际对象，而第一目标的属性表征该对象的最新状态，从而可以利用第一目标更新第一同源目标的属性。若无法匹配成功，表明该目标是新出现的，之前未被任何传感器检测到，因此可将其加入到同源目标集，从而实现同源目标集的更新。

可见，本申请实施例提供的方法提出了一种全新且有效的目标融合方案，在融合后产生的目标中由于结合了多传感器数据，所以对目标状态（通过目标的属性表征）的估计比单传感器更加准确，并且由于目标融合实现了传感器信息互补，减少目标检测过程中的不确定性，所以有利于提高检测到的目标的可信度和利用价值。

进一步的，继续参照图2，在一些实现方式中，还可以通过设置生命周期，实现对目标集中目标的有效管理维护，具体实现如下：

步骤S240：若检测到任一目标的生命周期不小于输出门限，则输出该目标；若检测到任一目标的生命周期不大于丢弃门限，则从目标集中移除该目标。

对于每个加入目标集（可以是上述融合目标集、异源目标集、同源目标集中的任意一个）的目标，均为其设置一个表征目标在***中存续时间的生命周期，目标的生命周期越长，说明目标持续被检测到，其可信度也越高，反之可信度则越低。

目标的生命周期可以在每次检测到新目标（即步骤S200中有目标输入）时进行更新：例如，在一种可选方案中，对于任一目标集中的任一目标，若与新检测到的目标匹配成功（匹配过程如前所述），表明该目标在最新时刻仍然被检测到，所以生命周期应该延长，若未匹配成功表明该目标在最新时刻未被检测到，所以生命周期应该缩短。在一种最简单的处理方式中，生命周期延长可以加上1，生命周期缩短可以减去1，当然在其他处理方式中也不排除取其他值。

对于生命周期反映出的可信度高的目标（生命周期不小于输出门限），可输出至后续***供使用，例如，对于汽车而言，可输出至前向碰撞预警FCW，自动紧急制动***AEB等***进行决策。

需要指出，由于融合目标可信度最高，因此只向后续***输出符合输出条件的融合目标是可能的实现方式，但更常见的实现方式是所有目标集中符合输出条件的目标都进行输出，原因在于并非每个目标都可成功融合。例如，在夜晚主要依赖雷达检测目标，检测到的目标加入雷达对应的目标集合中，而无法与视觉传感器检测到的目标相融合（因为在夜间环境视觉传感器基本无法有效检测目标），若不将雷达独立检测的目标输出给后续***将导致这些***在夜间无法正常工作。

对于生命周期反映出的可信度低的目标（生命周期不大于丢弃门限），则可从目标集中将其移除，比如该目标可能为误检，或者该目标仅仅是瞬间存在等原因，总之继续维护该目标意义不大，因此可释放其占用的存储空间，毕竟在目标中集缓存大量的目标会消耗可观数量的存储资源。

图3示出了本申请实施例提供的目标融合装置300的功能模块图。参照图3，目标融合装置300包括：

目标获取模块310，用于获取第一传感器检测到的第一目标；

第一目标匹配模块320，用于将所述第一目标与融合目标集中的目标进行匹配，若所述第一目标与所述融合目标集中的第一融合目标匹配成功，则利用所述第一目标更新所述第一融合目标的属性；

第二目标匹配模块330，用于若所述第一目标未与所述融合目标集中的任一目标匹配成功，则将所述第一目标与异源目标集中的目标进行匹配，若所述第一目标与所述异源目标集中的第一异源目标匹配成功，则基于所述第一目标与所述第一异源目标融合产生第二融合目标，并将所述第二融合目标添加至所述融合目标集；

其中，所述融合目标集是不同的传感器检测到的目标融合后产生的融合目标的集合，所述异源目标集是与第一传感器不同的传感器检测到的目标构成的集合。

在目标融合装置300的一种实现方式中，每个目标的属性均包括以下至少一项：该目标的ID、该目标与传感器载体之间的横向距离、该目标与传感器载体之间的纵向距离、该目标与传感器载体之间的方向角、该目标的速度、该目标的加速度、该目标的类别、该目标的置信度以及该目标的尺寸。

在目标融合装置300的一种实现方式中，第一目标匹配模块320将所述第一目标与融合目标集中的目标进行匹配，包括：将所述第一目标以及所述融合目标集中的目标用各自的横向距离和纵向距离表示为坐标点；利用匈牙利匹配算法将所述第一目标对应的坐标点与所述融合目标集中的目标对应的坐标点进行匹配，获得匹配点对；其中，所述匈牙利匹配算法在匹配时以坐标点间的欧式距离为依据，所述匹配点对中的两个坐标点分别对应所述第一目标以及所述融合目标集中的第一候选融合目标；判断所述匹配点对中的两个坐标点的横坐标差值是否小于第一门限以及纵坐标差值是否小于第二门限，若两个坐标差值分别小于各自的门限，则将所述第一候选融合目标确定为所述第一融合目标，否则确定所述第一目标与所述融合目标集中的任一目标均不匹配。

在目标融合装置300的一种实现方式中，所述第一门限以及所述第二门限的取值均与所述横坐标差值和/或所述纵坐标差值相关。

在目标融合装置300的一种实现方式中，第一目标匹配模块320利用所述第一目标更新所述第一融合目标的属性，包括：基于所述第一目标以及卡尔曼滤波器更新所述第一融合目标的属性。

在目标融合装置300的一种实现方式中，第一目标为视觉传感器检测到的图像目标，第一目标匹配模块320基于所述第一目标以及卡尔曼滤波器更新所述第一融合目标的属性，包括：利用所述第一目标的方向角以及所述第一融合目标的纵向距离计算横向距离的观测值，将所述横向距离的观测值输入至所述卡尔曼滤波器，并将所述卡尔曼滤波器输出的横向距离的估计值作为更新后的所述第一融合目标的横向距离；将所述卡尔曼滤波器输出的纵向距离的预测值作为更新后的所述第一融合目标的纵向距离；将所述第一目标的方向角、类别、置信度以及尺寸直接作为更新后的所述第一融合目标的方向角、类别、置信度以及尺寸。

在目标融合装置300的一种实现方式中，所述第一目标为雷达检测到的雷达目标，第一目标匹配模块320基于所述第一目标以及卡尔曼滤波器更新所述第一融合目标的属性，包括：将所述第一目标的纵向距离以及速度分别作为纵向距离的观测值以及速度的观测值输入至所述卡尔曼滤波器，并将所述卡尔曼滤波器输出的纵向距离的估计值以及速度的估计值作为更新后的所述第一融合目标的纵向距离以及速度；将所述卡尔曼滤波器输出的横向距离的预测值作为更新后的所述第一融合目标的横向距离；将所述第一目标的加速度直接作为更新后的所述第一融合目标的加速度。

在目标融合装置300的一种实现方式中，所述第一目标与所述第一异源目标一个为视觉传感器检测到的图像目标，另一个为雷达检测到的雷达目标，第二目标匹配模块330基于所述第一目标与所述第一异源目标融合产生第二融合目标，包括：利用所述图像目标的方向角以及所述雷达目标的纵向距离计算所述第二融合目标的横向距离；将所述图像目标的方向角、类别、置信度以及尺寸直接作为所述第二融合目标的方向角、类别、置信度以及尺寸；将所述雷达目标的纵向距离、速度以及加速度直接作为所述第二融合目标的纵向距离、速度以及加速度。

在目标融合装置300的一种实现方式中，目标获取模块310获取第一传感器检测到的第一目标，包括：以异步方式获取第一传感器检测到的第一目标。

在目标融合装置300的一种实现方式中，所述装置还包括：

第三目标匹配模块，用于若所述第一目标未与所述异源目标集中的任一目标匹配成功，则将所述第一目标与同源目标集中的目标进行匹配，若所述第一目标与所述同源目标集中的第一同源目标匹配成功，则利用所述第一目标更新所述第一同源目标的属性，以及，若所述第一目标未与所述同源目标集中的任一目标匹配成功，则将所述第一目标添加至所述同源目标集；其中，所述同源目标集是所述第一传感器在检测到所述第一目标之前所检测到的目标构成的集合；

在目标融合装置300的一种实现方式中，第三目标匹配模块将所述第一目标与同源目标集中的目标进行匹配，包括：判断所述同源目标集中的目标的ID中是否存在与所述第一目标的ID相同的ID，若存在与所述第一目标的ID相同的ID，则将所述同源目标集中具有该ID的目标确定为所述第一同源目标，否则确定所述第一目标与所述同源目标集中的任一目标均不匹配。

在目标融合装置300的一种实现方式中，第三目标匹配模块利用所述第一目标更新所述第一同源目标的属性，包括：基于所述第一目标以及卡尔曼滤波器更新所述第一同源目标的属性。

在目标融合装置300的一种实现方式中，所述第一目标为视觉传感器检测到的图像目标，第三目标匹配模块基于所述第一目标以及卡尔曼滤波器更新所述第一同源目标的属性，包括：将所述第一目标的横向距离以及纵向距离分别作为横向距离的观测值以及纵向距离的观测值输入至所述卡尔曼滤波器，并将所述卡尔曼滤波器输出的横向距离估计值以及纵向距离的估计值作为更新后的所述第一同源目标的横向距离以及纵向距离；将所述第一目标的速度、方向角、类别、置信度以及尺寸直接作为更新后的所述第一同源目标的速度、方向角、类别、置信度以及尺寸。

在目标融合装置300的一种实现方式中，所述第一目标为雷达检测到的雷达目标，第三目标匹配模块基于所述第一目标以及卡尔曼滤波器更新所述第一同源目标的属性，包括：将所述第一目标的横向距离以及纵向距离分别作为横向距离的观测值以及纵向距离的观测值输入至所述卡尔曼滤波器，并将所述卡尔曼滤波器输出的横向距离估计值以及纵向距离的估计值作为更新后的所述第一同源目标的横向距离以及纵向距离；将所述第一目标的方向角、速度以及加速度直接作为更新后的所述第一同源目标的方向角、速度以及加速度。

在目标融合装置300的一种实现方式中，每个目标集中的目标均设置表征目标存续时间的生命周期，所述装置还包括：

生命周期管理模块，用于若检测到任一目标的生命周期不小于输出门限，则输出该目标，以及，若检测到任一目标的生命周期不大于丢弃门限，则从目标集中移除该目标；其中，所述丢弃门限小于所述输出门限。

在目标融合装置300的一种实现方式中，生命周期管理模块还用于：对于目标集中的任一目标，若与新检测到的目标匹配成功，则该目标的生命周期增加1，否则该目标的生命周期减去1。

本申请实施例提供的目标融合装置300，其实现原理及产生的技术效果在前述方法实施例中已经介绍，为简要描述，装置实施例部分未提及之处，可参考方法施例中相应内容。

图4示出了本申请实施例提供的电子设备400的一种可能的结构。参照图4，电子设备400包括：处理器410、存储器420以及通信接口430，这些组件通过通信总线440和/或其他形式的连接机构（未示出）互连并相互通讯。

其中，存储器420包括一个或多个（图中仅示出一个），其可以是，但不限于，随机存取存储器（Random Access Memory，简称RAM），只读存储器（Read Only Memory，简称ROM），可编程只读存储器（Programmable Read-Only Memory，简称PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，简称EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，简称EEPROM）等。处理器410以及其他可能的组件可对存储器420进行访问，读和/或写其中的数据。

处理器410包括一个或多个（图中仅示出一个），其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器410可以是通用处理器，包括中央处理器（CentralProcessing Unit，简称CPU）、微控制单元（Micro Controller Unit，简称MCU）、网络处理器(Network Processor，简称NP）或者其他常规处理器；还可以是专用处理器，包括数字信号处理器（Digital Signal Processor,简称DSP)、专用集成电路（Application SpecificIntegrated Circuits，简称ASIC）、现场可编程门阵列（Field Programmable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

通信接口430包括一个或多个（图中仅示出一个），可以用于和其他设备进行直接或间接地通信，以便进行数据的交互。通信接口430可以是以太网接口；可以是高速网络接口（如Infiniband网络）；可以是移动通信网络接口，例如3G、4G、5G网络的接口；可以是各类总线接口，例如USB、CAN、I2C、SPI等总线接口；还是可以是具有数据收发功能的其他类型的接口。

在存储器420中可以存储一个或多个计算机程序指令，处理器410可以读取并运行这些计算机程序指令，以实现本申请实施例提供的目标融合方法的步骤以及其他期望的功能。

可以理解，图4所示的结构仅为示意，电子设备400还可以包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。电子设备400可能是实体设备，例如PC机、笔记本电脑、平板电脑、手机、机器人、服务器、嵌入式设备等，也可能是虚拟设备，例如虚拟机、容器等。并且，电子设备400也不限于单台设备，也可以是多台设备的组合或者大量设备构成的集群。于本申请实施例中，图1中的传感器载体100可采用电子设备400的结构实现（当然还要在电子设备400的基础上增加传感器110）。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被计算机的处理器读取并运行时，执行本申请实施例提供的目标融合方法的步骤。例如，计算机可读存储介质可以实现为图4中电子设备400中的存储器420。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种目标融合方法，其特征在于，包括：

获取第一传感器检测到的第一目标；

将所述第一目标与融合目标集中的目标进行匹配，若所述第一目标与所述融合目标集中的第一融合目标匹配成功，则利用所述第一目标更新所述第一融合目标的属性；

若所述第一目标未与所述融合目标集中的任一目标匹配成功，则将所述第一目标与异源目标集中的目标进行匹配，若所述第一目标与所述异源目标集中的第一异源目标匹配成功，则基于所述第一目标与所述第一异源目标融合产生第二融合目标，并将所述第二融合目标添加至所述融合目标集；

若所述第一目标未与所述异源目标集中的任一目标匹配成功，则将所述第一目标与同源目标集中的目标进行匹配，若所述第一目标与所述同源目标集中的第一同源目标匹配成功，则利用所述第一目标更新所述第一同源目标的属性；若所述第一目标未与所述同源目标集中的任一目标匹配成功，则将所述第一目标添加至所述同源目标集；

其中，所述融合目标集是不同的传感器检测到的目标融合后产生的融合目标的集合，所述异源目标集是与第一传感器不同的传感器检测到的目标构成的集合，所述同源目标集是所述第一传感器在检测到所述第一目标之前所检测到的目标构成的集合；

所述第一目标与所述第一异源目标一个为视觉传感器检测到的图像目标，另一个为雷达检测到的雷达目标，所述基于所述第一目标与所述第一异源目标融合产生第二融合目标，包括：

利用所述图像目标的方向角以及所述雷达目标的纵向距离计算所述第二融合目标的横向距离；

将所述图像目标的方向角、类别、置信度以及尺寸直接作为所述第二融合目标的方向角、类别、置信度以及尺寸；

将所述雷达目标的纵向距离、速度以及加速度直接作为所述第二融合目标的纵向距离、速度以及加速度；

所述利用所述第一目标更新所述第一融合目标的属性，包括：

基于所述第一目标以及卡尔曼滤波器更新所述第一融合目标的属性；

若所述第一目标为视觉传感器检测到的图像目标，所述基于所述第一目标以及卡尔曼滤波器更新所述第一融合目标的属性，包括：

利用所述第一目标的方向角以及所述第一融合目标的纵向距离计算横向距离的观测值，将所述横向距离的观测值输入至所述卡尔曼滤波器，并将所述卡尔曼滤波器输出的横向距离的估计值作为更新后的所述第一融合目标的横向距离；

将所述卡尔曼滤波器输出的纵向距离的预测值作为更新后的所述第一融合目标的纵向距离；

将所述第一目标的方向角、类别、置信度以及尺寸直接作为更新后的所述第一融合目标的方向角、类别、置信度以及尺寸；

若所述第一目标为雷达检测到的雷达目标，所述基于所述第一目标以及卡尔曼滤波器更新所述第一融合目标的属性，包括：

将所述第一目标的纵向距离以及速度分别作为纵向距离的观测值以及速度的观测值输入至所述卡尔曼滤波器，并将所述卡尔曼滤波器输出的纵向距离的估计值以及速度的估计值作为更新后的所述第一融合目标的纵向距离以及速度；

将所述卡尔曼滤波器输出的横向距离的预测值作为更新后的所述第一融合目标的横向距离；

将所述第一目标的加速度直接作为更新后的所述第一融合目标的加速度；

所述利用所述第一目标更新所述第一同源目标的属性，包括：基于所述第一目标以及卡尔曼滤波器更新所述第一同源目标的属性；

若所述第一目标为视觉传感器检测到的图像目标，所述基于所述第一目标以及卡尔曼滤波器更新所述第一同源目标的属性，包括：

将所述第一目标的横向距离以及纵向距离分别作为横向距离的观测值以及纵向距离的观测值输入至所述卡尔曼滤波器，并将所述卡尔曼滤波器输出的横向距离估计值以及纵向距离的估计值作为更新后的所述第一同源目标的横向距离以及纵向距离；

将所述第一目标的速度、方向角、类别、置信度以及尺寸直接作为更新后的所述第一同源目标的速度、方向角、类别、置信度以及尺寸；

若所述第一目标为雷达检测到的雷达目标，所述基于所述第一目标以及卡尔曼滤波器更新所述第一同源目标的属性，包括：

将所述第一目标的横向距离以及纵向距离分别作为横向距离的观测值以及纵向距离的观测值输入至所述卡尔曼滤波器，并将所述卡尔曼滤波器输出的横向距离估计值以及纵向距离的估计值作为更新后的所述第一同源目标的横向距离以及纵向距离；

将所述第一目标的方向角、速度以及加速度直接作为更新后的所述第一同源目标的方向角、速度以及加速度。

2.根据权利要求1所述的目标融合方法，其特征在于，每个目标的属性均包括以下至少一项：该目标的ID、该目标与传感器载体之间的横向距离、该目标与传感器载体之间的纵向距离、该目标与传感器载体之间的方向角、该目标的速度、该目标的加速度、该目标的类别、该目标的置信度以及该目标的尺寸。

3.根据权利要求2所述的目标融合方法，其特征在于，所述将所述第一目标与融合目标集中的目标进行匹配，包括：

将所述第一目标以及所述融合目标集中的目标用各自的横向距离和纵向距离表示为坐标点；

利用匈牙利匹配算法将所述第一目标对应的坐标点与所述融合目标集中的目标对应的坐标点进行匹配，获得匹配点对；其中，所述匈牙利匹配算法在匹配时以坐标点间的欧式距离为依据，所述匹配点对中的两个坐标点分别对应所述第一目标以及所述融合目标集中的第一候选融合目标；

判断所述匹配点对中的两个坐标点的横坐标差值是否小于第一门限以及纵坐标差值是否小于第二门限，若两个坐标差值分别小于各自的门限，则将所述第一候选融合目标确定为所述第一融合目标，否则确定所述第一目标与所述融合目标集中的任一目标均不匹配。

4.根据权利要求3所述的目标融合方法，其特征在于，所述第一门限以及所述第二门限的取值均与所述横坐标差值和/或所述纵坐标差值相关。

5.根据权利要求1所述的目标融合方法，其特征在于，所述获取第一传感器检测到的第一目标，包括：

以异步方式获取第一传感器检测到的第一目标。

6.根据权利要求1所述的目标融合方法，其特征在于，所述将所述第一目标与同源目标集中的目标进行匹配，包括：

判断所述同源目标集中的目标的ID中是否存在与所述第一目标的ID相同的ID，若存在与所述第一目标的ID相同的ID，则将所述同源目标集中具有该ID的目标确定为所述第一同源目标，否则确定所述第一目标与所述同源目标集中的任一目标均不匹配。

7.根据权利要求1所述的目标融合方法，其特征在于，每个目标集中的目标均设置表征目标存续时间的生命周期，所述方法还包括：

若检测到任一目标的生命周期不小于输出门限，则输出该目标；

若检测到任一目标的生命周期不大于丢弃门限，则从目标集中移除该目标；

其中，所述丢弃门限小于所述输出门限。

8.根据权利要求7所述的目标融合方法，其特征在于，对于目标集中的任一目标，若与新检测到的目标匹配成功，则该目标的生命周期增加1，否则该目标的生命周期减去1。

9.一种目标融合装置，其特征在于，包括：

目标获取模块，用于获取第一传感器检测到的第一目标；

第一目标匹配模块，用于将所述第一目标与融合目标集中的目标进行匹配，若所述第一目标与所述融合目标集中的第一融合目标匹配成功，则利用所述第一目标更新所述第一融合目标的属性；

第二目标匹配模块，用于若所述第一目标未与所述融合目标集中的任一目标匹配成功，则将所述第一目标与异源目标集中的目标进行匹配，若所述第一目标与所述异源目标集中的第一异源目标匹配成功，则基于所述第一目标与所述第一异源目标融合产生第二融合目标，并将所述第二融合目标添加至所述融合目标集；

第三目标匹配模块，用于若所述第一目标未与所述异源目标集中的任一目标匹配成功，则将所述第一目标与同源目标集中的目标进行匹配，若所述第一目标与所述同源目标集中的第一同源目标匹配成功，则利用所述第一目标更新所述第一同源目标的属性，以及，若所述第一目标未与所述同源目标集中的任一目标匹配成功，则将所述第一目标添加至所述同源目标集；

其中，所述融合目标集是不同的传感器检测到的目标融合后产生的融合目标的集合，所述异源目标集是与第一传感器不同的传感器检测到的目标构成的集合，所述同源目标集是所述第一传感器在检测到所述第一目标之前所检测到的目标构成的集合；

所述第一目标与所述第一异源目标一个为视觉传感器检测到的图像目标，另一个为雷达检测到的雷达目标，所述第二目标匹配模块基于所述第一目标与所述第一异源目标融合产生第二融合目标，包括：

利用所述图像目标的方向角以及所述雷达目标的纵向距离计算所述第二融合目标的横向距离；

将所述图像目标的方向角、类别、置信度以及尺寸直接作为所述第二融合目标的方向角、类别、置信度以及尺寸；

将所述雷达目标的纵向距离、速度以及加速度直接作为所述第二融合目标的纵向距离、速度以及加速度；

所述第一目标匹配模块利用所述第一目标更新所述第一融合目标的属性，包括：

基于所述第一目标以及卡尔曼滤波器更新所述第一融合目标的属性；

若第一目标为视觉传感器检测到的图像目标，所述第一目标匹配模块基于所述第一目标以及卡尔曼滤波器更新所述第一融合目标的属性，包括：

利用所述第一目标的方向角以及所述第一融合目标的纵向距离计算横向距离的观测值，将所述横向距离的观测值输入至所述卡尔曼滤波器，并将所述卡尔曼滤波器输出的横向距离的估计值作为更新后的所述第一融合目标的横向距离；

将所述卡尔曼滤波器输出的纵向距离的预测值作为更新后的所述第一融合目标的纵向距离；

将所述第一目标的方向角、类别、置信度以及尺寸直接作为更新后的所述第一融合目标的方向角、类别、置信度以及尺寸；

若所述第一目标为雷达检测到的雷达目标，所述第一目标匹配模块基于所述第一目标以及卡尔曼滤波器更新所述第一融合目标的属性，包括：

将所述第一目标的纵向距离以及速度分别作为纵向距离的观测值以及速度的观测值输入至所述卡尔曼滤波器，并将所述卡尔曼滤波器输出的纵向距离的估计值以及速度的估计值作为更新后的所述第一融合目标的纵向距离以及速度；

将所述卡尔曼滤波器输出的横向距离的预测值作为更新后的所述第一融合目标的横向距离；

将所述第一目标的加速度直接作为更新后的所述第一融合目标的加速度；

所述第三目标匹配模块利用所述第一目标更新所述第一同源目标的属性，包括：基于所述第一目标以及卡尔曼滤波器更新所述第一同源目标的属性；

若所述第一目标为视觉传感器检测到的图像目标，所述第三目标匹配模块基于所述第一目标以及卡尔曼滤波器更新所述第一同源目标的属性，包括：

将所述第一目标的横向距离以及纵向距离分别作为横向距离的观测值以及纵向距离的观测值输入至所述卡尔曼滤波器，并将所述卡尔曼滤波器输出的横向距离估计值以及纵向距离的估计值作为更新后的所述第一同源目标的横向距离以及纵向距离；

将所述第一目标的速度、方向角、类别、置信度以及尺寸直接作为更新后的所述第一同源目标的速度、方向角、类别、置信度以及尺寸；

若所述第一目标为雷达检测到的雷达目标，所述第三目标匹配模块基于所述第一目标以及卡尔曼滤波器更新所述第一同源目标的属性，包括：

将所述第一目标的横向距离以及纵向距离分别作为横向距离的观测值以及纵向距离的观测值输入至所述卡尔曼滤波器，并将所述卡尔曼滤波器输出的横向距离估计值以及纵向距离的估计值作为更新后的所述第一同源目标的横向距离以及纵向距离；

将所述第一目标的方向角、速度以及加速度直接作为更新后的所述第一同源目标的方向角、速度以及加速度。

Images