CN111753901A - 一种数据融合方法、装置、***及计算机设备 - Google Patents

Abstract

本发明公开了一种数据融合方法、装置、***及计算机设备，其中，数据融合方法包括：分别获取第一传感器目标级数据、第二传感器目标级数据和第三传感器目标级数据；对第一传感器目标级数据和第二传感器目标级数据进行处理，得到初级融合数据，其中，第一传感器目标级数据与第二传感器目标级数据的数据类型相同；将初级融合数据与第三传感器目标级数据进行处理，得到二级融合数据。通过实施该发明，减少了数据融合过程中的计算时间，提高了数据融合效率，进而提高了实时性。

Description

一种数据融合方法、装置、***及计算机设备

技术领域

本发明涉及智能汽车技术领域，具体涉及一种数据融合方法、装置、***及计算机设备。

背景技术

随着汽车智能化、网联化技术的不断发展，智能汽车走进人们的生活，对于缓解交通压力，保障乘员安全和提高交通效率等方面发挥着巨大的作用，而准确全面的周围环境感知是智能汽车***中最为关键的技术，也是实现汽车智能驾驶的前提，因此如何准确全面的感知周围环境则至关重要。

为了准确、全面的获得周围环境中的信息，现有的智能汽车大多搭载了多种用于环境感知的传感器(激光雷达，摄像头、毫米波雷达、超声波雷达等)。对于搭载了多种传感器的智能汽车而言，如何正确有效的利用多个传感器检测到的数据成为了智能汽车感知***中的一个难题。现有的多传感器数据融合方法大多集中在多个同类型的传感器数据融合，或只针对两种传感器进行数据融合，且融合方法中没有体现每一类传感器自身独有的优势，而是简单的将所有传感器检测到的数据进行滤波处理，降低了***的实时性，无法保证多传感器数据融合的准确性，不能完全体现各个传感器各自的优势。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中传感器优势利用不充分、数据融合准确性低的缺陷，从而提供一种数据融合方法、装置、***及计算机设备。

根据第一方面，本发明实施例提供一种数据融合方法，包括：分别获取第一传感器目标级数据、第二传感器目标级数据和第三传感器目标级数据；对所述第一传感器目标级数据和所述第二传感器目标级数据进行处理，得到初级融合数据；其中，所述第一传感器目标级数据与所述第二传感器目标级数据的数据类型相同；将所述初级融合数据与所述第三传感器目标级数据进行处理，得到二级融合数据。

结合第一方面，在第一方面的第一实施方式中，在分别获取第一传感器目标级数据、第二传感器目标级数据和第三传感器目标级数据时，还包括：对获取到的所述第一传感器目标级数据、所述第二传感器目标级数据和所述第三传感器目标级数据加盖时间戳。

结合第一方面，在第一方面的第二实施方式中，当所述第一传感器目标级数据与所述第二传感器目标级数据为目标位置数据，且第一传感器与第二传感器的类型不同时，在对所述第一传感器目标级数据和所述第二传感器目标级数据进行融合之前，还包括：将所述第一传感器目标级数据和所述第二传感器目标级数据进行坐标转换，得到空间同步之后的第一传感器目标级数据和第二传感器目标级数据。

结合第一方面第二实施方式，在第一方面的第三实施方式中，对所述第一传感器目标级数据和所述第二传感器目标级数据进行处理，得到初级融合数据，包括：计算最新一帧所述第一传感器目标级数据与最新一帧所述第二传感器目标级数据的时间差；判断所述时间差是否大于预设阈值；当所述时间差小于等于所述预设阈值时，对所述第一传感器目标级数据和所述第二传感器目标级数据进行关联匹配，并对关联匹配成功的数据对进行更新，得到所述初级融合数据；当所述时间差大于所述预设阈值时，在所述第一传感器目标级数据和所述第二传感器目标级数据中选取时间最新的数据，并将选取的时间最新的数据作为所述初级融合数据。

结合第一方面，在第一方面的第四实施方式中，在对所述第一传感器目标级数据和所述第二传感器目标级数据进行关联匹配之后，还包括：对关联失败的第一传感器目标级数据或第二传感器目标级数据进行过滤，得到所述初级融合数据。

结合第一方面第三实施方式，在第一方面的第五实施方式中，当第一传感器目标级数据和所述第二传感器目标级数据包含一个或多个特征量时；对所述第一传感器目标级数据和所述第二传感器目标级数据进行关联匹配包括：对所述第一传感器目标级数据和所述第二传感器目标级数据进行时间补偿；确定时间补偿后的所述第一传感器目标级数据和所述第二传感器目标级数据中的相同特征量；基于相似计算根据所述相同特征量建立所述第一传感器目标级数据和所述第二传感器目标级数据之间的关联矩阵；基于所述关联矩阵确定所述第一传感器目标级数据与所述第二传感器目标级数据之间的匹配关系，将属于同一目标的所述第一传感器目标级数据与所述第二传感器目标级数据组成关联数据对。

结合第一方面第三实施方式，在第一方面的第六实施方式中，对关联匹配成功的关联数据对进行更新，包括：基于所述第一传感器和所述第二传感器的特性对所述关联数据对进行数据组合，根据数据组合替代的方式进行数据更新。

结合第一方面第五实施方式，在第一方面的第七实施方式中，所述对所述第一传感器目标级数据和所述第二传感器目标级数据进行时间补偿，包括：获取目标时间戳差值，确定所述时间戳差值对应的所述第一传感器目标级数据和所述第二传感器目标级数据；获取所述目标时间戳差值中时间戳较小者对应的第一传感器目标级数据或所述第二传感器目标级数据中包含的位置信息和运动信息；根据所述位置信息、所述运动信息和所述时间戳差值，预测经过所述时间戳差值之后的预测位置信息；以所述预测位置信息作为当前时刻测量值，将所述第一传感器或第二传感器的时间戳更新为所述目标时间戳差值中时间戳较大者。

结合第一方面，在第一方面的第八实施方式中，当所述第一传感器目标级数据与所述第二传感器目标级数据为目标位置数据，所述第三传感器目标级数据为目标图像数据时，将所述初级融合数据与所述第三传感器目标级数据进行处理包括：计算最新一帧所述初级融合数据与最新一帧所述第三传感器目标级数据的时间差；判断所述时间差是否大于预设阈值；当所述时间差小于等于所述预设阈值时，对所述初级融合数据和所述第三传感器目标级数据进行关联匹配，并对关联匹配成功的数据对进行更新，得到所述二级融合数据；当所述时间差大于所述预设阈值时，在所述初级融合数据和所述第三传感器目标级数据中选取时间最新的数据，并将选取的时间最新的数据作为所述二级融合数据。

结合第一方面第八实施方式，在第一方面的第九实施方式中，在对所述初级融合数据和所述第三传感器目标级数据进行关联匹配之后，还包括：对关联失败的初级融合数据或第三传感器目标级数据进行过滤，得到所述二级融合数据。

结合第一方面第八实施方式，在第一方面的第十实施方式中，对所述初级融合数据和所述第三传感器目标级数据进行关联匹配包括：对所述初级融合数据和所述第三传感器目标级数据以所述初级融合数据向所述第三传感器目标级数据补偿的方式进行时间补偿；将时间补偿后的所述初级融合数据转换到所述第三传感器目标级数据对应的坐标系下，根据所述第三传感器目标级数据对应的坐标系信息建立所述初级融合数据和所述第三传感器目标级之间的关联矩阵；基于全局最优匹配，确定所述初级融合数据与所述第三传感器目标级数据之间的匹配关系，得到同一目标的所述初级融合数据与所述第三传感器目标级数据对应的匹配数据对。

结合第一方面第十实施方式，在第一方面的第十一实施方式中，对关联匹配成功的关联数据对进行更新，包括：根据所述匹配数据对，采用获取的所述第三传感器目标级数据对所述初级融合数据进行修正和剔除，根据修正和剔除的所述初级融合数据进行数据更新。

结合第一方面，在第一方面的第十二实施方式中，在将所述初级融合数据与所述第三传感器目标级数据进行处理，得到二级融合数据之后，还包括：对所述二级融合数据进行多目标跟踪，确定包含所述多目标的目标行驶轨迹。

结合第一方面，在第一方面的第十三实施方式中，所述第一传感器为毫米波雷达传感器；所述第二传感器为激光雷达传感器；所述第三传感器为视觉传感器。

根据第二方面，本发明实施例提供一种数据融合装置，包括：获取模块，用于分别获取第一传感器目标级数据、第二传感器目标级数据和第三传感器目标级数据；第一融合模块，用于对所述第一传感器目标级数据和所述第二传感器目标级数据进行处理，得到初级融合数据；其中，所述第一传感器目标级数据与所述第二传感器目标级数据的数据类型相同；第二融合模块，用于将所述初级融合数据与所述第三传感器目标级数据进行处理，得到二级融合数据。

根据第三方面，本发明实施例提供一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或第一方面任一实施方式所述的数据融合方法。

根据第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面或第一方面任一实施方式所述的数据融合方法。

本发明技术方案，具有如下优点：

1.本发明提供的数据融合方法，通过分别获取第一传感器、第二传感器和第三传感器的目标级数据，将第一传感器目标级数据与第二传感器目标级数据进行融合得到初级融合数据，将初级融合数据与第三传感器目标级数据进行融合，得到二级融合数据，在进行目标级数据融合的过程中充分利用第一传感器、第二传感器以及第三传感器各自的特性，使得各传感器均能发挥各自的优势，且通过第三传感器目标级数据与初级融合数据进行融合可以对初级融合数据进行修正，保证融合数据的准确性，基于融合的数据均为传感器目标级数据，采用目标级数据进行融合能够减少数据融合过程中的计算时间，提高数据融合效率，进而可以提高实时性。

2.本发明提供的数据融合方法，通过时间补偿对不同步的各传感器目标级数据进行时间同步，避免了由于获取的各传感器数据不同步而造成的误差，进而提高了传感器数据进行关联匹配的正确率，从而保证了各传感器数据融合的准确性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中数据融合方法的流程图；

图2为本发明实施例中数据融合方法的流程图；

图3为本发明实施例中数据融合装置的原理框图；

图4为本发明实施例中计算机设备的结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本实施例提供一种数据融合方法，应用于智能汽车上，实现智能汽车的环境感知，如图1所示，该方法包括如下步骤：

S11，分别获取第一传感器目标级数据、第二传感器目标级数据和第三传感器目标级数据。

示例性地，获取的目标级数据可以根据传感器的特性确定，第一传感器目标级数据可以包括物***置、速度、种类和第一传感器标识等数据信息，第二传感器目标级数据可以包括物***置、速度、种类、航向角和第二传感器标识等数据信息，第三传感器目标级数据可以包括物体像素坐标、种类和第三传感器标识等数据信息。第一传感器、第二传感器和第三传感器的目标级数据可以通过各传感器对应获取。

S12，对第一传感器目标级数据和第二传感器目标级数据进行处理，得到初级融合数据；其中，第一传感器目标级数据与第二传感器目标级数据的数据类型相同。

示例性地，第一传感器目标级数据与第二传感器目标级数据的数据类型相同，比如第一传感器的第二传感器的目标级数据可以均包含物***置、速度、种类等数据。将第一传感器目标级数据与第二传感器目标级数据进行融合得到初级融合数据。

作为本申请一个可选的实施方式，第一传感器可以是毫米波雷达传感器，第二传感器可以是激光雷达传感器，第三传感器可以为视觉传感器，比如摄像头。本领域技术人员可以根据需要对第一传感器、第二传感器和第三传感器进行调整，比如，第一传感器为激光雷达传感器，第二传感器为毫米波雷达传感器，第三传感器为视觉传感器。本申请对第一传感器、第二传感器和第三传感器的类型不作限定。本申请实施例均以第一传感器为毫米波雷达传感器，第二传感器为激光雷达传感器，第三传感器为摄像头为例进行说明。

通过滤波的方法对毫米波雷达传感器输出的不稳定、高噪声的目标级数据进行滤波跟踪处理，然后为每一帧毫米波雷达传感器的目标级数据添加时间标识，按照单帧数据进行封装；对激光雷达传感器输出的点云数据进行聚类处理，将物体的点云数据从环境中分离出来，利用边界拟合的方式得到物体的位置信息和三维轮廓信息，再利用滤波跟踪的方法消除激光雷达传感器输出的感知数据中的噪声，得到较为稳定的物体信息，最后依据GPS差分传感器为每一帧数据添加时间标识和数据封装。

S13，将初级融合数据与第三传感器目标级数据进行处理，得到二级融合数据。

示例性地，根据第一传感器目标级数据与第二传感器目标级数据进行融合得到初级融合数据后，根据第三传感器采集到的前方图像信息，利用深度学习算法对图像中的障碍物、车道线、交通信号灯和交通标识进行识别，然后为单位添加UTC时间标识，再对一个周期内的同类型的数据信息进行封装，然后将第三传感器目标级数据与初级融合数据进行融合，以实现对初级融合数据的修正，进而得到初级融合数据与第三传感器目标级数据融合的二级融合数据，保证了二级融合数据的准确性。

本实施例提供的数据融合方法，通过分别获取第一传感器、第二传感器和第三传感器的目标级数据，将第一传感器目标级数据与第二传感器目标级数据进行融合得到初级融合数据，将初级融合数据与第三传感器目标级数据进行融合，得到二级融合数据，在进行目标级数据融合的过程中充分利用第一传感器、第二传感器以及第三传感器各自的特性，使得各传感器均能发挥各自的优势，且通过第三传感器目标级数据与初级融合数据进行融合可以对初级融合数据进行修正，保证融合数据的准确性，基于融合的数据均为传感器目标级数据，采用目标级数据进行融合能够减少数据融合过程中的计算时间，提高数据融合效率，进而可以提高实时性。

作为本申请一个可选的实施方式，在分别获取第一传感器目标级数据、第二传感器目标级数据和第三传感器目标级数据时，还包括：对获取到的第一传感器目标级数据、第二传感器目标级数据和第三传感器目标级数据加盖时间戳。

示例性地，由于各传感器对物体的感知存在一定的时间差，因此获取到的第一传感器目标级数据、第二传感器目标级数据和第三传感器目标级数据也会存在一定的时间差。在获取到的第一传感器目标级数据、第二传感器目标级数据和第三传感器目标级数据的原始数据处加盖时间戳，否则各传感器感知结果之间将存在一定的时间差。通过加盖时间戳，利用统一时间标准，为每一种传感器的每一帧数据加上时间标记实现不同传感器之间时间同步。

需要说明的是，时间标准可选用***时间标准或UTC时间标准，当各传感器的数据接收在一台控制器上进行时，上述两种统一时间标准的方法均可以使用，当各传感器在不同控制器上接收时，可以使用外部UTC时间标准，通过GPS差分传感器提供GPS时间信息，为各传感器加盖UTC时间标识，本申请对此不作限定。本申请实施例选择使用GPS差分传感器为各传感器加盖UTC时间戳，同时获取智能汽车的定位信息。

本实施例提供的数据融合方法，通过时间补偿对不同步的各传感器目标级数据进行时间同步，避免了由于获取的各传感器数据不同步而造成的误差，进而提高了传感器数据进行关联匹配的正确率，从而保证了各传感器数据融合的准确性。

作为本申请一个可选的实施方式，当第一传感器目标级数据与第二传感器目标级数据为目标位置数据，且第一传感器与第二传感器的类型不同时，在对第一传感器目标级数据和第二传感器目标级数据进行融合之前，还包括：将第一传感器目标级数据和第二传感器目标级数据进行坐标转换，得到空间同步之后的第一传感器目标级数据和第二传感器目标级数据。

示例性地，将获取到的每一传感器目标级数据按照同一的数据格式对最新的一帧数据进行存储，可通过构建统一的结构体来存储各传感器最新一帧的数据，结构体除包含各传感器感知物体的数据外还应包含数据所属传感器编号。基于各传感器坐标系相对于车体坐标系的平移矩阵和旋转矩阵，将接受到不同传感器目标级数据通过坐标转换到同一车体坐标系下，得到空间同步之后的传感器数据。将第一传感器坐标系和第二传感器坐标系相对于车体坐标系的平移矩阵和旋转矩阵进行坐标转换，得到空间同步之后的第一传感器目标级数据和第二传感器目标级数据。

作为本申请一个可选的实施方式，如图2所示，上述步骤S12，包括：

S121，计算最新一帧第一传感器目标级数据与最新一帧第二传感器目标级数据的时间差。

示例性地，根据第一传感器目标级数据与第二传感器目标级数据中加盖的时间戳可以分别确定最新一帧第一传感器目标级数据与最新一帧第二传感器目标级数据，通过最新一帧的第一传感器目标级数据对应的时间戳与最新一帧的第二传感器目标级数据对应的时间戳，可以计算两组目标级数据之间的时间差。

S122，判断时间差是否大于预设阈值。

示例性地，预设阈值为确定第一传感器目标级数据和第二传感器目标级数据融合模式的临界时间差值。本领域技术人员可以根据实际需要确定预设阈值，比如设置预设阈值为1s,本申请对此不作限定。若时间差小于或等于预设阈值，执行步骤S123，若时间差大于预设阈值，执行步骤S124。

S123，当时间差小于等于阈值时，对第一传感器目标级数据和第二传感器目标级数据进行关联匹配，并对关联匹配成功的数据对进行更新，得到初级融合数据。

示例性地，当时间差Δt小于等于预设阈值T_th时，可以认为第一传感器目标级数据和第二传感器目标级数据两组目标级数据之间的时间差在可控范围内，可以认为时间差内的物体运动状态保持不变，对第一传感器目标级数据和第二传感器目标级数据进行关联匹配，将关联匹配成功的第一传感器目标级数据和第二传感器目标级数据组成数据对，对该数据对进行封装，得到初级融合数据。

S124，当时间差大于阈值时，在第一传感器目标级数据和第二传感器目标级数据中选取时间最新的数据，并将选取的时间最新的数据作为初级融合数据。

示例性地，当时间差Δt大于预设阈值T_th时，则认为由于时间间隔太大，时间戳旧的那组数据不再具有使用价值，对时间戳旧的数据进行剔除，保留时间戳新的那组数据，并对时间戳新的那组数据进行扩维操作，保证初级融合数据格式的统一性。比如时间最新数据为毫米波雷达的数据时，为了保证初级融合数据格式的统一性，需要对毫米波雷达数据进行扩维操作，将毫米波雷达无法获得的特征使用默认值填充，然后进行数据封装，得到初级融合数据。

作为本申请一个可选的实施方式，当第一传感器目标级数据和第二传感器目标级数据包含一个或多个特征量时，对第一传感器目标级数据和第二传感器目标级数据进行关联匹配包括：

首先，对第一传感器目标级数据和第二传感器目标级数据进行时间补偿。

示例性地，时间补偿的原则是假设物体在需要补偿的时间短内，其运动状态不会发生变化。基于第一传感器目标级数据和第二传感器目标级数据之间存在较小的时间差，可以认为在这个极端时间内，物体的运动状态保持不变，以此对第一传感器目标级数据和第二传感器目标级数据进行时间补偿，其具体步骤可以包括：

步骤1，获取目标时间戳差值，确定目标时间戳差值对应的第一传感器目标级数据和第二传感器目标级数据。目标时间戳差值可以等于最新一帧第一传感器目标级数据与最新一帧第二传感器目标级数据的时间差Δt，确定该目标时间戳差值对应两组目标级数据，即最新一帧第一传感器目标级数据与最新一帧第二传感器目标级数据。

步骤2，获取目标时间戳差值中时间戳较小者对应的第一传感器目标级数据或第二传感器目标级数据中包含的位置信息和运动信息。比较两组数据对应的时间戳，选择时间戳较小者对应的目标级数据中包含的位置信息和运动信息，若第一传感器目标级数据的时间戳较小，则获取第一传感器目标级数据中包含的位置信息和运动信息；若第二传感器目标级数据的时间戳较小，则获取第二传感器目标级数据中包含的位置信息和运行信息。

步骤3，根据位置信息、运动信息和目标时间戳差值，预测经过目标时间戳差值之后的预测位置信息。由于时间戳的时间差Δt小于预设阈值T_th，可以认为在这个时间差内的物体运动状态保持不变，依据获取的物体的当前位置信息和运动信息对Δt时间后的物***置信息进行预测，获取预测位置信息。

步骤4，以预测位置信息作为当前时刻测量值，将第一传感器或第二传感器的时间戳更新为目标时间戳差值中时间戳较大者。以该预测位置信息作为当前时刻的测量值，并将传感器的时间戳信息更新为目标时间戳差值对应的两组数据中的时间戳较大者，进而实现空间与时间的同步。需要说明的是，时间补偿后各传感器目标级数据的时间戳也相应的更新，时间补偿可以只针对物体的位置信息和速度信息进行更新，可选的，也可以对不会发生变化的加速度进行预测补偿。

其次，确定时间补偿后的第一传感器目标级数据和第二传感器目标级数据中的相同特征量。

示例性地，根据毫米波雷达传感器和激光雷达传感器检测到的目标级数据包含的多个特征量，确定毫米波雷达传感器目标级数据和激光雷达传感器目标级数据均能检测到的相同特征量，比如位置、速度和加速度。

其次，基于相似计算根据相同特征量建立第一传感器目标级数据和第二传感器目标级数据之间的关联矩阵。

示例性地，关联矩阵的第i行、第j列的元素表示第二传感器(激光雷达传感器)检测到的第i各目标与第一传感器(毫米波雷达传感器)检测到的第j各目标之间相似性。相似性可以通过两物体之间的位置和速度马氏距离或欧式距离的加权值计算得到。由此可以根据确定的相同特征量作为第一传感器目标级数据和第二传感器目标级数据进行关联匹配的考量值来建立关联矩阵。

再次，基于关联矩阵确定第一传感器目标级数据与第二传感器目标级数据之间的匹配关系，将属于同一目标的第一传感器目标级数据与第二传感器目标级数据组成关联数据对。

示例性地，利用全局最优匹配的方法根据构建的关联矩阵可以确定第一传感器目标级数据与第二传感器目标级数据之间相应的匹配关系，该匹配关系用于表明两组数据之间哪些特征量测属于同一目标。依据关联矩阵对激光雷达传感器与毫米波雷达传感器检测到的目标级数据之间进行匹配查找，判断哪些特征量属于同一目标，将属于同一目标的激光雷达传感器目标级数据与毫米波雷达传感器目标级数据进行关联，生成关联数据对。

作为本申请一个可选的实施方式，对关联匹配成功的关联数据对进行更新，包括：基于第一传感器和第二传感器的特性对关联数据对进行数据组合，根据数据组合替代的方式进行数据更新。

示例性地，基于第一传感器和第二传感器在对一定范围内的物体特征进行检测时具有各自的检测优势，因此可以基于第一传感器和第二传感器在检测物体特征和检测范围上的优势，对关联数据对进行数据组合，根据数据组合替代的方式进行数据更新。比如，对于关联匹配成功的关联数据对，可选用毫米波雷达传感器的速度信息去修正激光雷达传感器的速度信息，并为激光雷达传感器获取的数据加上激光雷达无法得到的数据信息，包括但不限于物体的信噪比和雷达散射截面(radar cross section，RCS)等数据信息，按照组合好的数据替代当前的数据，即采用数据组合替代的方式进行数据更新。

作为本申请一个可选的实施方式，在对第一传感器目标级数据和第二传感器目标级数据进行关联匹配之后，还包括：对关联失败的第一传感器目标级数据或第二传感器目标级数据进行过滤，得到初级融合数据。

示例性地，对于关联匹配失败的第一传感器目标级数据或第二传感器目标级数据进行过滤，比如，对于关联匹配失败的毫米波雷达传感器目标级数据可以依据毫米波雷达传感器检测到物体的范围、运动特性以及信噪比阈值进行噪声过滤，对于未关联匹配到的激光雷达传感器目标级数据则可以通过激光雷达传感器检测到物体的稳定性以及三维尺寸等信息进行过滤，进而得到初级融合数据。

作为本申请一个可选的实施方式，当第一传感器目标级数据与第二传感器目标级数据为目标位置数据，第三传感器目标级数据为目标图像数据时，上述步骤S13，包括：

首先，计算最新一帧初级融合数据与最新一帧第三传感器目标级数据的时间差。对时间差的计算方式参见上述实施方式中的步骤S121，此处不再赘述。

其次，判断时间差是否大于预设阈值。详细内容参见上述实施方式中步骤S122的相关描述，在此不再赘述。

其次，当时间差小于等于预设阈值时，对初级融合数据和第三传感器目标级数据进行关联匹配，并对关联匹配成功的数据对进行更新，得到二级融合数据。当时间差小于等于预设阈值时，对获取二级融合数据的方法与获取初级融合数据的方法相同，详细内容参见上述实施方式中步骤S123的相关描述，在此不再赘述。

再次，当时间差大于预设阈值时，在初级融合数据和所述第三传感器目标级数据中选取时间最新的数据，并将选取的时间最新的数据作为二级融合数据。当时间差大于预设阈值时，对获取二级融合数据的方法与获取初级融合数据的方法相同，详细内容参见上述实施方式中步骤S124的相关描述，在此不再赘述。

作为一个可选的实施方式，对初级融合数据和第三传感器目标级数据进行关联匹配包括：

首先，对初级融合数据和第三传感器目标级数据以初级融合数据向第三传感器目标级数据补偿的方式进行时间补偿。

示例性地，基于第三传感器为视觉传感器，其输出的目标级数据为目标图像数据，以第三传感器为摄像头传感器为例，由于使用摄像头传感器输出的目标图像的像素信息进行时间补偿存在较大误差，因此，可以采用初级融合数据向第三传感器目标级数据补偿的方式进行时间补偿。时间补偿的详细原理参见上述实施方式的相关描述，在此不再赘述。

其次，将时间补偿后的初级融合数据转换到第三传感器目标级数据对应的坐标系下，根据第三传感器目标级数据对应的坐标系信息建立初级融合数据和所述第三传感器目标级之间的关联矩阵。

示例性地，将时间补偿后的初级融合数据通过视觉传感器的外参矩阵和内参矩阵转换投影到图像像素坐标系下，得到带有像素信息的初级融合数据。由于初级融合数据实质上是车体坐标系，利用车体坐标系与图像像素坐标系之间的转换关系进行运算，即是将初级融合数据向图像像素坐标系投影，实质上是得到车体坐标系下的物体在图像上所对应的位置和外接矩形的像素尺寸，得到初级融合数据障碍物在图像像素坐标系下的矩形边框信息，利用物体的像素信息和类型信息来建立关联矩阵。关联矩阵的详细内容参见上述实施方式的相关描述，关联矩阵的相似性可以根据图像像素坐标系下初级融合数据与视觉传感器感知物体的重合度(IoU)进行确定。

再次，基于全局最优匹配，确定初级融合数据与第三传感器目标级数据之间的匹配关系，得到同一目标的初级融合数据与第三传感器目标级数据对应的匹配数据对。

示例性地，基于初级融合数据和第三传感器目标级数据的像素信息完成两组数据的关联匹配，得到相应的匹配数据对。初级融合数据与第三传感器目标级数据进行匹配的原理参见上述实施方式的相关描述，在此不再赘述。

作为本申请一个可选的实施方式，对关联匹配成功的关联数据对进行更新，包括：根据匹配数据对，采用获取的第三传感器目标级数据对初级融合数据进行修正和剔除，根据修正和剔除的初级融合数据进行数据更新。

示例性地，对关联匹配成功的匹配数据对，利用第三传感器数据来扩充初级融合数据。根据匹配数据对第三传感器感知到的目标级数据中的目标类型来修正初级融合数据中的目标类型，同时利用第三传感器所感知到的数据信息对初级融合数据中置信度较低的目标进行剔除，采用修正和剔除初级融合数据的方式进行数据更新。

作为本申请一个可选的实施方式，在对初级融合数据和第三传感器目标级数据进行关联匹配之后，还包括：对关联失败的初级融合数据或第三传感器目标级数据进行过滤，得到二级融合数据。

示例性地，对于未关联匹配成功的匹配数据对，根据第三传感器的有效检测范围和物体检测特性对初级融合数据和第三传感器目标级数据进行过滤，完成初级融合数据和第三传感器目标级数据的融合，得到二级融合数据。

作为本申请一个可选的实施方式，在将初级融合数据与第三传感器目标级数据进行处理，得到二级融合数据之后，还包括：对二级融合数据进行多目标跟踪，确定包含多目标的目标行驶轨迹。

示例性地，基于交互多模型卡尔曼滤波和关联匹配算法对二级融合数据进行多目标跟踪，关联匹配算法可以为匈牙利匹配算法，本申请对关联匹配算法不作限定。利用交互多模型卡尔曼滤波的状态更新方程完成匹配到二级融合数据的轨迹更新，完成多目标跟踪，确定包含多目标的目标行驶轨迹，得到包含目标行驶航迹的最终融合结果。

实施例2

本施例提供一种数据融合装置，应用于智能汽车上，实现智能汽车的环境感知，如图3所示，包括：

获取模块21，用于分别获取第一传感器目标级数据、第二传感器目标级数据和第三传感器目标级数据。详细内容参见上述方法实施例中与步骤S11的相关描述，在此不再赘述。

第一融合模块22，用于对第一传感器目标级数据和第二传感器目标级数据进行处理，得到初级融合数据；其中，第一传感器目标级数据与第二传感器目标级数据的数据类型相同。详细内容参见上述方法实施例中与步骤S12的相关描述，在此不再赘述。

第二融合模块23，用于将初级融合数据与第三传感器目标级数据进行处理，得到二级融合数据。详细内容参见上述方法实施例中与步骤S13的相关描述，在此不再赘述。

本实施例提供的数据融合装置，通过获取模块分别获取第一传感器、第二传感器和第三传感器的目标级数据，由第一融合模块将第一传感器目标级数据与第二传感器目标级数据进行融合得到初级融合数据，由第二融合模块将初级融合数据与第三传感器目标级数据进行融合，得到二级融合数据。该装置在进行目标级数据融合的过程中充分利用第一传感器、第二传感器以及第三传感器各自的特性，使得各传感器均能发挥各自的优势，且通过第三传感器目标级数据与初级融合数据进行融合可以对初级融合数据进行修正，保证融合数据的准确性，基于融合的数据均为传感器目标级数据，采用目标级数据进行融合能够减少数据融合过程中的计算时间，提高数据融合效率，进而可以提高实时性。

作为本申请一个可选的实施方式，该装置还包括：

时间同步模块，用于对获取到的第一传感器目标级数据、第二传感器目标级数据和第三传感器目标级数据加盖时间戳。详细内容参见上述方法实施例的相关描述，在此不再赘述。

作为本申请一个可选的实施方式，当第一传感器目标级数据与第二传感器目标级数据为目标位置数据，且第一传感器与第二传感器的类型不同时，在对第一传感器目标级数据和第二传感器目标级数据进行融合之前，还包括：

坐标转换模块，用于将第一传感器目标级数据和第二传感器目标级数据进行坐标转换，得到空间同步之后的第一传感器目标级数据和第二传感器目标级数据。详细内容参见上述方法实施例的相关描述，在此不再赘述。

作为本申请一个可选的实施方式，上述第一融合模块22，包括：

第一计算子模块，用于计算最新一帧第一传感器目标级数据与最新一帧第二传感器目标级数据的时间差。详细内容参见上述方法实施例的相关描述，在此不再赘述。

第一判断子模块，用于判断时间差是否大于预设阈值。详细内容参见上述方法实施例的相关描述，在此不再赘述。

第一融合子模块，用于当时间差小于等于预设阈值时，对第一传感器目标级数据和第二传感器目标级数据进行关联匹配，并对关联匹配成功的数据对进行更新，得到初级融合数据。详细内容参见上述方法实施例的相关描述，在此不再赘述。

第二融合子模块，用于当时间差大于预设阈值时，在第一传感器目标级数据和第二传感器目标级数据中选取时间最新的数据，并将选取的时间最新的数据作为初级融合数据。详细内容参见上述方法实施例的相关描述，在此不再赘述。

作为本申请一个可选的实施方式，在对第一传感器目标级数据和第二传感器目标级数据进行关联匹配之后，还包括：

第一过滤子模块，用于对关联失败的第一传感器目标级数据或第二传感器目标级数据进行过滤，得到初级融合数据。详细内容参见上述方法实施例的相关描述，在此不再赘述。

作为本申请一个可选的实施方式，当第一传感器目标级数据和第二传感器目标级数据包含一个或多个特征量时，上述第一融合子模块，还包括：

第一时间补偿子模块，用于对第一传感器目标级数据和第二传感器目标级数据进行时间补偿。详细内容参见上述方法实施例的相关描述，在此不再赘述。

确定子模块，用于确定时间补偿后的第一传感器目标级数据和第二传感器目标级数据中的相同特征量。详细内容参见上述方法实施例的相关描述，在此不再赘述。

第一建立子模块，用于基于相似计算根据相同特征量建立第一传感器目标级数据和第二传感器目标级数据之间的关联矩阵。详细内容参见上述方法实施例的相关描述，在此不再赘述。

第一关联子模块，用于基于关联矩阵确定第一传感器目标级数据与第二传感器目标级数据之间的匹配关系，将属于同一目标的第一传感器目标级数据与第二传感器目标级数据组成关联数据对。详细内容参见上述方法实施例的相关描述，在此不再赘述。

作为本申请一个可选的实施方式，对关联匹配成功的关联数据对进行更新，包括：

组合子模块，用于基于第一传感器和第二传感器的特性对关联数据对进行数据组合，根据数据组合替代的方式进行数据更新。详细内容参见上述方法实施例的相关描述，在此不再赘述。

作为本申请一个可选的实施方式，上述时间补偿子模块，包括：

第一获取子模块，用于获取目标时间戳差值，确定目标时间戳差值对应的第一传感器目标级数据和第二传感器目标级数据。详细内容参见上述方法实施例的相关描述，在此不再赘述。

第二获取子模块，用于获取目标时间戳差值中时间戳较小者对应的第一传感器目标级数据或第二传感器目标级数据中包含的位置信息和运动信息。详细内容参见上述方法实施例的相关描述，在此不再赘述。

预测子模块，用于根据位置信息、运动信息和目标时间戳差值，预测经过目标时间戳差值之后的预测位置信息。详细内容参见上述方法实施例的相关描述，在此不再赘述。

更新子模块，用于以预测位置信息作为当前时刻测量值，将第一传感器或第二传感器的时间戳更新为目标时间戳差值中时间戳较大者。详细内容参见上述方法实施例的相关描述，在此不再赘述。

作为本申请一个可选的实施方式，当第一传感器目标级数据与第二传感器目标级数据为目标位置数据，第三传感器目标级数据为目标图像数据时，上述第二融合模块，包括：

第二计算子模块，用于计算最新一帧初级融合数据与最新一帧第三传感器目标级数据的时间差。详细内容参见上述方法实施例的相关描述，在此不再赘述。

第二判断子模块，用于判断时间差是否大于预设阈值。详细内容参见上述方法实施例的相关描述，在此不再赘述。

第三融合子模块，用于当时间差小于等于预设阈值时，对初级融合数据和第三传感器目标级数据进行关联匹配，并对关联匹配成功的数据对进行更新，得到二级融合数据。详细内容参见上述方法实施例的相关描述，在此不再赘述。

第四融合子模块，用于当时间差大于预设阈值时，在初级融合数据和第三传感器目标级数据中选取时间最新的数据，并将选取的时间最新的数据作为二级融合数据。详细内容参见上述方法实施例的相关描述，在此不再赘述。

作为本申请一个可选的实施方式，在对初级融合数据和第三传感器目标级数据进行关联匹配之后，还包括：

第二过滤子模块，用于对关联失败的初级融合数据或第三传感器目标级数据进行过滤，得到二级融合数据。详细内容参见上述方法实施例的相关描述，在此不再赘述。

作为本申请一个可选的实施方式，上述第二融合模块23，包括：

第二时间补偿子模块，用于对初级融合数据和第三传感器目标级数据以初级融合数据向第三传感器目标级数据补偿的方式进行时间补偿。详细内容参见上述方法实施例的相关描述，在此不再赘述。

第二建立子模块，用于将时间补偿后的初级融合数据转换到第三传感器目标级数据对应的坐标系下，根据第三传感器目标级数据对应的坐标系信息建立初级融合数据和第三传感器目标级之间的关联矩阵。详细内容参见上述方法实施例的相关描述，在此不再赘述。

第二关联子模块，用于基于全局最优匹配，确定初级融合数据与第三传感器目标级数据之间的匹配关系，得到同一目标的初级融合数据与第三传感器目标级数据对应的匹配数据对。详细内容参见上述方法实施例的相关描述，在此不再赘述。

作为本申请一个可选的实施方式，对关联匹配成功的关联数据对进行更新，包括：

修正子模块，用于根据匹配数据对，采用获取的第三传感器目标级数据对初级融合数据进行修正和剔除，根据修正和剔除的初级融合数据进行数据更新。详细内容参见上述方法实施例的相关描述，在此不再赘述。

作为本申请一个可选的实施方式，在第二融合模块23之后，还包括：

跟踪模块，用于对二级融合数据进行多目标跟踪，确定包含多目标的目标行驶轨迹。详细内容参见上述方法实施例的相关描述，在此不再赘述。

实施例3

本发明实施例还提供了一种计算机设备，如图4所示，该设备包括处理器31和存储器32，其中处理器31和存储器32可以通过总线或者其他方式连接，图4中以通过总线30连接为例。

处理器31可以为中央处理器(Central Processing Unit，CPU)。处理器31还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、图形处理器(Graphics Processing Unit，GPU)、嵌入式神经网络处理器(Neural-network ProcessingUnit，NPU)或者其他专用的深度学习协处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的数据融合方法对应的程序指令/模块(例如，图3所示的获取模块21、第一融合模块22和第二融合模块23)。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的数据融合方法。

存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器31所创建的数据等。此外，存储32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至处理器31。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器32中，当被所述处理器31执行时，执行如图1-图2所示实施例中的数据融合方法。

通过分别获取第一传感器、第二传感器和第三传感器的目标级数据，将第一传感器目标级数据与第二传感器目标级数据进行融合得到初级融合数据，将初级融合数据与第三传感器目标级数据进行融合，得到二级融合数据，在进行目标级数据融合的过程中充分利用第一传感器、第二传感器以及第三传感器各自的特性，使得各传感器均能发挥各自的优势，且通过第三传感器目标级数据与初级融合数据进行融合可以对初级融合数据进行修正，保证融合数据的准确性，基于融合的数据均为传感器目标级数据，采用目标级数据进行融合能够减少数据融合过程中的计算时间，提高数据融合效率，进而可以提高实时性。

上述计算机设备具体细节可以对应参阅图1至图所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本发明实施例还提供一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的数据融合方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (17)

1.一种数据融合方法，其特征在于，包括：

分别获取第一传感器目标级数据、第二传感器目标级数据和第三传感器目标级数据；

对所述第一传感器目标级数据和所述第二传感器目标级数据进行处理，得到初级融合数据；其中，所述第一传感器目标级数据与所述第二传感器目标级数据的数据类型相同；

将所述初级融合数据与所述第三传感器目标级数据进行处理，得到二级融合数据。

2.根据权利要求1所述的数据融合方法，其特征在于，在分别获取第一传感器目标级数据、第二传感器目标级数据和第三传感器目标级数据时，还包括：

对获取到的所述第一传感器目标级数据、所述第二传感器目标级数据和所述第三传感器目标级数据加盖时间戳。

3.根据权利要求1所述的数据融合方法，其特征在于，当所述第一传感器目标级数据与所述第二传感器目标级数据为目标位置数据，且第一传感器与第二传感器的类型不同时，在对所述第一传感器目标级数据和所述第二传感器目标级数据进行融合之前，还包括：

将所述第一传感器目标级数据和所述第二传感器目标级数据进行坐标转换，得到空间同步之后的第一传感器目标级数据和第二传感器目标级数据。

4.根据权利要求3所述的数据融合方法，其特征在于：对所述第一传感器目标级数据和所述第二传感器目标级数据进行处理，得到初级融合数据，包括：

计算最新一帧所述第一传感器目标级数据与最新一帧所述第二传感器目标级数据的时间差；

判断所述时间差是否大于预设阈值；

当所述时间差小于等于所述预设阈值时，对所述第一传感器目标级数据和所述第二传感器目标级数据进行关联匹配，并对关联匹配成功的数据对进行更新，得到所述初级融合数据；

当所述时间差大于所述预设阈值时，在所述第一传感器目标级数据和所述第二传感器目标级数据中选取时间最新的数据，并将选取的时间最新的数据作为所述初级融合数据。

5.根据权利要求1所述的数据融合方法，其特征在于，在对所述第一传感器目标级数据和所述第二传感器目标级数据进行关联匹配之后，还包括：

对关联失败的第一传感器目标级数据或第二传感器目标级数据进行过滤，得到所述初级融合数据。

6.根据权利要求4所述的数据融合方法，其特征在于，当第一传感器目标级数据和所述第二传感器目标级数据包含一个或多个特征量时；对所述第一传感器目标级数据和所述第二传感器目标级数据进行关联匹配包括：

对所述第一传感器目标级数据和所述第二传感器目标级数据进行时间补偿；

确定时间补偿后的所述第一传感器目标级数据和所述第二传感器目标级数据中的相同特征量；

基于相似计算根据所述相同特征量建立所述第一传感器目标级数据和所述第二传感器目标级数据之间的关联矩阵；

基于所述关联矩阵确定所述第一传感器目标级数据与所述第二传感器目标级数据之间的匹配关系，将属于同一目标的所述第一传感器目标级数据与所述第二传感器目标级数据组成关联数据对。

7.根据权利要求4所述的数据融合方法，其特征在于，对关联匹配成功的关联数据对进行更新，包括：

基于所述第一传感器和所述第二传感器的特性对所述关联数据对进行数据组合，根据数据组合替代的方式进行数据更新。

8.根据权利要求6所述的数据融合方法，其特征在于，所述对所述第一传感器目标级数据和所述第二传感器目标级数据进行时间补偿，包括：

获取目标时间戳差值，确定所述目标时间戳差值对应的所述第一传感器目标级数据和所述第二传感器目标级数据；

获取所述目标时间戳差值中时间戳较小者对应的第一传感器目标级数据或所述第二传感器目标级数据中包含的位置信息和运动信息；

根据所述位置信息、所述运动信息和所述目标时间戳差值，预测经过所述目标时间戳差值之后的预测位置信息；

以所述预测位置信息作为当前时刻测量值，将所述第一传感器或第二传感器的时间戳更新为所述目标时间戳差值中时间戳较大者。

9.根据权利要求1所述的数据融合方法，其特征在于，当所述第一传感器目标级数据与所述第二传感器目标级数据为目标位置数据，所述第三传感器目标级数据为目标图像数据时，将所述初级融合数据与所述第三传感器目标级数据进行处理包括：

计算最新一帧所述初级融合数据与最新一帧所述第三传感器目标级数据的时间差；

判断所述时间差是否大于预设阈值；

当所述时间差小于等于所述预设阈值时，对所述初级融合数据和所述第三传感器目标级数据进行关联匹配，并对关联匹配成功的数据对进行更新，得到所述二级融合数据；

当所述时间差大于所述预设阈值时，在所述初级融合数据和所述第三传感器目标级数据中选取时间最新的数据，并将选取的时间最新的数据作为所述二级融合数据。

10.根据权利要求9所述的数据融合方法，其特征在于，在对所述初级融合数据和所述第三传感器目标级数据进行关联匹配之后，还包括：

对关联失败的初级融合数据或第三传感器目标级数据进行过滤，得到所述二级融合数据。

11.根据权利要求9所述的数据融合方法，其特征在于，对所述初级融合数据和所述第三传感器目标级数据进行关联匹配包括：

对所述初级融合数据和所述第三传感器目标级数据以所述初级融合数据向所述第三传感器目标级数据补偿的方式进行时间补偿；

将时间补偿后的所述初级融合数据转换到所述第三传感器目标级数据对应的坐标系下，根据所述第三传感器目标级数据对应的坐标系信息建立所述初级融合数据和所述第三传感器目标级之间的关联矩阵；

基于全局最优匹配，确定所述初级融合数据与所述第三传感器目标级数据之间的匹配关系，得到同一目标的所述初级融合数据与所述第三传感器目标级数据对应的匹配数据对。

12.根据权利要求11所述的数据融合方法，其特征在于，对关联匹配成功的关联数据对进行更新，包括：

根据所述匹配数据对，采用获取的所述第三传感器目标级数据对所述初级融合数据进行修正和剔除，根据修正和剔除的所述初级融合数据进行数据更新。

13.根据权利要求1所述的数据融合方法，其特征在于，在将所述初级融合数据与所述第三传感器目标级数据进行处理，得到二级融合数据之后，还包括：

对所述二级融合数据进行多目标跟踪，确定包含所述多目标的目标行驶轨迹。

14.根据权利要求1所述的数据融合方法，其特征在于：

所述第一传感器为毫米波雷达传感器；

所述第二传感器为激光雷达传感器；

所述第三传感器为视觉传感器。

15.一种数据融合装置，其特征在于，包括：

获取模块，用于分别获取第一传感器目标级数据、第二传感器目标级数据和第三传感器目标级数据；

第一融合模块，用于对所述第一传感器目标级数据和所述第二传感器目标级数据进行处理，得到初级融合数据；其中，所述第一传感器目标级数据与所述第二传感器目标级数据的数据类型相同；

第二融合模块，用于将所述初级融合数据与所述第三传感器目标级数据进行处理，得到二级融合数据。

16.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-14中任一项所述的数据融合方法。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-14中任一项所述的数据融合方法。

Images