CN112434682A - 基于多传感器的数据融合方法、装置及存储介质 - Google Patents

Abstract

本申请涉及一种基于多传感器的数据融合方法、装置及存储介质，属于计算机技术领域，该方法包括：获取n种传感器分别采集的同一检测范围的传感器数据；对每种传感器对应的传感器数据分别进行特征提取，得到每种传感器对应的特征图；确定每张特征图中目标图像区域中各个图像通道的通道权重；按照通道权重更新特征图的通道信息，得到更新后的特征图；对于每种传感器对应的更新后的特征图中目标图像区域，确定更新后的特征图中目标图像区域的区域权重；按照区域权重对各个更新后的特征图中的目标图像区域进行合并，得到融合后的特征图；可以解决现有的基于多传感器的数据融合方式的数据融合效果不佳的问题；可以提高数据融合效果。

Description

基于多传感器的数据融合方法、装置及存储介质

技术领域

本申请涉及一种基于多传感器的数据融合方法、装置及存储介质，属于计算机技术领域。

背景技术

随着自动驾驶技术的发展，车辆目前具有环境感知功能，比如：可以进行目标检测、目标识别等。车辆的环境感知功能通过安装在车辆上的传感器实现。通常，车辆上的传感器种类很多，因此，在进行环境感知时，需要对多种传感器采集到的数据进行数据融合。

目前，对多种传感器采集到的数据进行数据融合的方式包括：对每种传感器采集到的数据进行特征提取；然后，将各个特征提取结果按照固定的权重合并。或者，对每种传感器采集到的数据进行特征提取；然后，将各个特征提取结果按照固定的权重相加。

然而，每种传感器数据在不同场景下各有优缺点，比如：夜间利用图像传感器采集到的图像数据进行目标检测时，可能因为光照问题，较难检测出目标，但是利用激光雷达传感器采集到的激光点云数据进行目标检测时，不受光照明暗的影响。又比如：利用激光雷达传感器采集的激光点云数据可能较为稀疏，在目标识别场景中可能由于特征信息较少而导致识别准确率较低的问题，但是利用图像传感器采集到的图像数据进行目标识别时，由于图像数据能够提供丰富的纹理信息，因此，可以提高目标识别的准确性。若各个传感器对应固定的权重，可能会导致固定的权重无法适配当前场景，导致数据融合效果不佳的问题。

发明内容

本申请提供了一种基于多传感器的数据融合方法、装置及存储介质，可以解决基于多传感器的数据进行特征融合时，每个传感器对应的权重固定，无法自适应地适配当前场景，导致数据融合效果不佳的问题。本申请提供如下技术方案：

第一方面，提供一种基于多传感器的数据融合方法，所述方法包括：

获取n种传感器分别采集的同一检测范围的传感器数据，所述n为大于1的整数；

对每种传感器对应的传感器数据分别进行特征提取，得到每种传感器对应的特征图；

基于所述n种传感器中第一传感器对应的第一特征图，确定待检测目标的目标图像区域，并将所述目标图像区域置映射至所述n种传感器中第二传感器对应的第二特征图，得到所述第二特征图的目标图像区域；所述第二传感器是所述n种传感器中与所述第一传感器不同的传感器；

对于每种传感器对应的特征图中的目标图像区域，确定所述目标图像区域中各个图像通道的重要性占比，所述重要性占比为对应图像通道的通道权重；其中，不同图像通道表示不同类型的图像信息；

按照所述通道权重更新所述特征图的通道信息，得到更新后的特征图；

对于每种传感器对应的更新后的特征图中目标图像区域，确定所述更新后的特征图中目标图像区域的可信度，所述可信度为区域权重；

按照区域权重对各个更新后的特征图中的目标图像区域进行合并，得到融合后的特征图。

可选地，所述按照所述通道权重更新所述特征图的通道信息，得到更新后的特征图，包括：

将各个通道权重与所述特征图相乘，得到所述更新后的特征图。

可选地，所述按照区域权重对各个更新后的特征图中的目标图像区域进行合并，得到融合后的特征图，包括：

对于每个更新后的特征图，将所述区域权重与所述更新后的特征图中的目标图像区域相乘，得到区域更新后的特征图；

将各个区域更新后的特征图合并，得到所述融合后的特征图。

可选地，所述对每种传感器对应的传感器数据分别进行特征提取，得到每种传感器对应的特征图，包括：

将每种传感器对应的传感器数据输入对应的卷积层，得到所述传感器对应的特征图；其中，不同传感器对应的卷积层不同。

可选地，所述基于所述n种传感器中第一传感器对应的第一特征图，确定待检测目标的目标图像区域，包括：

将所述第一特征图输入预设的反卷积层；

对反卷积后的特征图进行三维目标检测，得到所述待检测目标的目标图像区域。

可选地，所述获取n种传感器分别采集的同一检测范围的传感器数据，包括：

获取所述n种传感器的标定参数；

获取所述n种传感器的初始传感器数据，所述初始传感器数据是所述n种传感器在同一时刻采集到的数据；

根据所述标定参数将所述初始传感器数据转换至公共坐标系；

对所述公共坐标系中的传感器数据进行筛选，得到所述同一检测范围的传感器数据。

可选地，所述第一传感器包括激光雷达传感器；所述第二传感器包括图像传感器和毫米波雷达传感器中的至少一种。

可选地，所述按照区域权重对各个更新后的特征图中的目标图像区域进行合并，得到融合后的特征图之后，还包括：

按照所述融合后的特征图进行目标检测，得到目标检测结果。

第二方面，提供一种基于多传感器的数据融合装置，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面提供的基于多传感器的数据融合方法。

第三方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第一方面提供的基于多传感器的数据融合方法。

本申请的有益效果至少包括：通过获取n种传感器分别采集的同一检测范围的传感器数据；对每种传感器对应的传感器数据分别进行特征提取，得到每种传感器对应的特征图；基于n种传感器中第一传感器对应的第一特征图，确定待检测目标的目标图像区域，并将目标图像区域置映射至n种传感器中第二传感器对应的第二特征图，得到第二特征图的目标图像区域；对于每种传感器对应的特征图中的目标图像区域，确定目标图像区域中各个图像通道的重要性占比，重要性占比为对应图像通道的通道权重； 按照通道权重更新特征图的通道信息，得到更新后的特征图；对于每种传感器对应的更新后的特征图中目标图像区域，确定更新后的特征图中目标图像区域的可信度，可信度为区域权重；按照区域权重对各个更新后的特征图中的目标图像区域进行合并，得到融合后的特征图；可以解决基于多传感器的数据进行特征融合时，每个传感器对应的权重固定，无法自适应地适配当前场景，导致数据融合效果不佳的问题；由于在多源异构传感器特征融合中引入注意力机制和可信度机制，先将同一数据在感兴趣区域内得到的特征图中筛选出重要的图像通道信息，转换成占比进行权重相乘；再针对注意力机制处理后的几种不同传感器的ROI特征图预测其为目标的可信度，将其作为权重分配给相应的ROI特征图进行相乘相加生成融合后的特征图，通道权重和区域权重可以自适应地适配当前图像，即适配当前场景，因此，可以提高数据融合效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。

【附图说明】

图1是本申请一个实施例提供的基于多传感器的数据融合方法的流程图；

图2是本申请一个实施例提供的数据融合过程的示意图；

图3是本申请一个实施例提供的通道信息更新的示意图；

图4是本申请一个实施例提供的特征融合过程的示意图；

图5是本申请一个实施例提供的基于多传感器的数据融合装置的框图；

图6是本申请又一个实施例提供的基于多传感器的数据融合装置的框图。

【具体实施方式】

下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

首先，对本申请涉及的若干名词进行介绍。

特征提取（Feature Extraction）：是一种从原始特征中找出最有效（同类样本的不变性、不同样本的鉴别性、对噪声的鲁棒性）的特征的过程。

神经网络（Neural Network）：是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。

特征级融合（Feature Level Fusion）：是指多源异构传感器分别提取各自的特征，将提取的不同特征通过某种方法生成新的特征,使新特征对分类更有效。

感兴趣区域（Regions Of Interest，ROI）：从整个数据块中选择一个区域，这个区域就是数据分析所关注的焦点。

区域建议（Region Proposals）：是一种将一个图像（任意大小）作为输入，经过全卷积网络计算，输出矩形目标建议框的集合。

注意力机制（Attention Mechanism）：是指在众多信息中把注意力集中放在重要的点上，选出关键信息，而忽略其他不重要的信息。

目标检测（Target Detection）：是指找出图像中所有感兴趣的目标，确定它们的位置和类别。

可选地，本申请以各个实施例的执行主体为具有数据处理能力的电子设备为例进行说明，该电子设备可以为终端或服务器，该终端可以为手机、计算机、笔记本电脑、平板电脑、车载计算机等，本实施例不对终端的类型和电子设备的类型作限定。

本申请中，电子设备与同一车辆（或称目标车辆）上安装的n种传感器通信相连。n为大于1的整数。n种传感器是指不同类型的传感器，换句话说，n种传感器为多源异构传感器。其中，不同类型包括：数据采集原理不同、和/或传感器发射的信号类型不同、和/或传感范围不同、和/或传感距离不同等，本实施例不对传感器的类型不同的方式作限定。可选地，每种传感器的数量可以为一个或多个，本实施例不对车辆上每种传感器的数量作限定。

可选地，n种传感器包括但不限于以下几种中的n种：激光雷达传感器、毫米波雷达传感器、图像传感器（或称摄像头）、超声波雷达传感器等，本实施例不对n中传感器的传感器类型作限定。

图1是本申请一个实施例提供的基于多传感器的数据融合方法的流程图。该方法至少包括以下几个步骤：

步骤101，获取n种传感器分别采集的同一检测范围的传感器数据。

可选地，由于n种传感器在车辆上的安装位置不同，而每种传感器采集到的数据通常以该传感器所在位置建立的坐标系表示。因此，不同传感器采集的数据会对应不同的坐标系。为了使得n种传感器采集的数据能够在同一坐标系中表示，本步骤之前，需要对n种传感器进行外参标定，从而获取到每种传感器对应的坐标系之间的坐标转换关系，从而基于该坐标转换关系将不同坐标系对应的数据转换至同一坐标系。

在对n种坐标系进行外参标定后，会获取到得到的n种传感器的标定参数，该标定参数用于将不同坐标系对应的数据转换至同一坐标系。

在一个示例中，标定参数用于将不同坐标系对应的数据转换至预设的公共坐标系。其中，公共坐标系是指以目标车辆为坐标原点建立的坐标系。可选地，坐标原点为目标车辆的后轴中心，或者为目标车辆的中心点，本实施例不对公共坐标系的坐标原点的实现方式作限定。可选地，公共坐标系以垂直于地面方向为z轴，以目标车辆的行进方式为y轴，以与z轴和y轴均垂直的方向为x轴。在其它实施例中，公共坐标系中x轴、y轴和z轴的设置方式也可以为其它方式，本实施例不对公共坐标系中x轴、y轴和z轴的设置方式作限定。

可选地，由于n种传感器采集数据的频率不同，比如：n种传感器的采集频率包括50Hz、100Hz和25Hz，因此，需要将传感器数据进行时间同步后才能进行融合。基于此，在本步骤之前，需要对n种传感器的采集时刻进行时间同步。可选地，对n种传感器的采集时刻进行时间同步的方式包括但不限于：基于高精度时间同步协议（Precision Time Protocol，PTP）进行时间同步；或者，基于网络时间协议（Network Time Protocol，NTP）进行时间同步等，本实施例不对时间同步方式作限定。

基于上述内容，可选地，获取n种传感器分别采集的同一检测范围的传感器数据，包括：获取n种传感器的标定参数；获取n种传感器的初始传感器数据，该初始传感器数据是n种传感器在同一时刻采集到的数据；根据标定参数将初始传感器数据转换至公共坐标系；对公共坐标系中的传感器数据进行筛选，得到同一检测范围的传感器数据。

检测范围是公共坐标系上在三维方向上的范围。检测范围的数量可以为一个或多个，检测范围的位置可以预存在电子设备中；或者是用户选择的，本实施例不对检测范围的确定方式作限定。

步骤102，对每种传感器对应的传感器数据分别进行特征提取，得到每种传感器对应的特征图。

传感器数据用于指示目标车辆周围的环境图像，通过特征提取能够得到该环境图像的特征图。可选地，特征提取的方式包括但不限于：方向梯度直方图（histogram ofOriented Gradient，HOG）、尺度不变特征变换 （Scale-invariant features transform，SIFT）、或者基于神经网络进行特征提取等。

在一个示例中，以基于神经网络进行特征提取为例进行说明，对每种传感器对应的传感器数据分别进行特征提取，得到每种传感器对应的特征图，包括：将每种传感器对应的传感器数据输入对应的卷积层，得到传感器对应的特征图；其中，不同传感器对应的卷积层不同。

参考图2所示的数据融合过程，n种传感器包括激光雷达传感器、毫米波雷达传感器和图像传感器，其中，激光雷达传感器对应的激光雷达数据输入第一卷积层21、毫米波雷达传感器对应的毫米波雷达数据输入第二卷积层22、图像传感器对应的图像数据输入第三卷积层23。其中，第一卷积层21、第二卷积层22和第三卷积层23均为不同的卷积层。

可选地，不同卷积层的步长和/或卷积核的尺寸相同或不同。另外，每种传感器对应的卷积层的数量可以为一个或多个，本实施例不对每种传感器对应的卷积层的数量作限定。

另外，各个传感器对应的特征图也为三维数据，包括图像的宽高和图像通道数据。

本实施例中，特征图包括多个图像通道，不同图像通道表示不同类型的图像信息。比如：图像通道包括3个，分别用于表示纹理信息、颜色信息和传感器的信号强度信息。

步骤103，基于n种传感器中第一传感器对应的第一特征图，确定待检测目标的目标图像区域，并将目标图像区域置映射至n种传感器中第二传感器对应的第二特征图，得到第二特征图的目标图像区域。

其中，第二传感器是n种传感器中与第一传感器不同的传感器。

第一传感器可以为n种传感器中的任意一种，或者，为n种传感器中指定类型的传感器。基于第一传感器对应的第一特征图能够检测到待检测目标。

以图2所示的传感器类型为例，第一传感器包括激光雷达传感器；第二传感器包括图像传感器和毫米波雷达传感器中的至少一种，图2中以第二传感器包括图像传感器和毫米波雷达传感器为例进行说明。对第一传感器对应的第一特征图进行目标检测后，得到待检测目标的目标图像区域；然后，将该目标图像区域对应映射至第二特征图对应的位置。

需要补充说明的是，图2所示的第一传感器类型和第二传感器类型仅是示意性的，在实际实现时，第一传感器类型和第二传感器类型也可以为其它类型，本实施例不对第一传感器和第二传感器的实现方式作限定。

可选地，目标检测算法用于提取第一特征图中的三维目标，换言之，经过目标检测算法得到的目标图像区域也为三维数据，即该目标图像区域宽高数据和图像通道数据。

三维目标检测算法包括但不限于：基于局部特征的目标识别算法、基于全局特征的目标识别算法、或者基于神经网络的目标识别算法等，本实施例不对三维目标检测算法的实现方式作限定。

在一个示例中，以第一特征图是对传感器数据进行卷积得到的为例进行说明，参考图2，基于n种传感器中第一传感器对应的第一特征图，确定待检测目标的目标图像区域，包括：将第一特征图输入预设的反卷积层24；对反卷积后的特征图通过三维目标检测层25进行三维目标检测，得到待检测目标的目标图像区域。之后，将该目标图像区域映射至第二特征图。图2中以将目标图像区域映射至第二特征图方式为感兴趣区域池化（ROI pooling）操作为例进行说明，在实际实现时，区域映射方式也可以为其它方式，本实施例在此不对区域映射的方式作限定。

步骤104，对于每种传感器对应的特征图中的目标图像区域，确定目标图像区域中各个图像通道的重要性占比，该重要性占比为对应图像通道的通道权重。

图像通道的重要性占比是使用预先训练的网络模型计算得到的。用于计算重要性占比的网络模型的训练过程包括：获取多个样本特征图的目标图像区域，并标注目标图像区域中图像通道的重要性占比标签；使用样本特征图的目标图像区域和重要性占比标签对该网络模型进行迭代训练，得到训练后的网络模型。

在一个示例中，参考图2，第二传感器的第二特征图经过反卷积层后，经过区域映射得到反卷积后的特征图中的目标图像区域，然后，第一传感器的目标图像区域和第二传感器的目标图像区域分别经过对应的用于计算重要性占比的网络模型，得到图像通道的重要性占比，即图像通道的通道权重。

步骤105，按照通道权重更新特征图的通道信息，得到更新后的特征图。

可选地，按照通道权重更新特征图的通道信息，得到更新后的特征图，包括：将各个通道权重与特征图相乘，得到更新后的特征图（即为注意力机制）。具体地，将各个通道权重与特征图中的图像通道数据相乘，得到更新后的特征图。

参考图3所示的通信信息的更新过程，对于特征图的目标图像区域（w×h×c），其中，w为宽数据、h为高数据、c为图像通道数据。将目标图像区域中的图像通道数据c分别与对应的通道权重相乘，得到更新后的特征图。

步骤106，对于每种传感器对应的更新后的特征图中目标图像区域，确定更新后的特征图中目标图像区域的可信度，可信度为区域权重。

目标图像区域的可信度是使用预先训练的网络模型计算得到的。用于计算可信度的网络模型训练过程包括：获取多个样本特征图的目标图像区域，并标注目标图像区域的可信度标签；使用样本特征图的目标图像区域和可信度标签对该网络模型进行迭代训练，得到训练后的网络模型。

步骤107，按照区域权重对各个更新后的特征图中的目标图像区域进行合并，得到融合后的特征图。

按照区域权重对各个更新后的特征图中的目标图像区域进行合并，得到融合后的特征图，包括：对于每个更新后的特征图，将区域权重与更新后的特征图中的目标图像区域相乘，得到区域更新后的特征图；将各个区域更新后的特征图合并，得到融合后的特征图。

在一个示例中，参考图2，在得到各个传感器对应的目标图像区域的区域权重后，按照区域权重对各个传感器对应的特征图通过融合层27进行融合，得到融合后的特征图。

参考图4所示的特征图融合的过程，激光雷达传感器对应的更新后的特征图A与对应的可信度（即区域权重）l1相乘、毫米波雷达传感器对应的更新后的特征图B与对应的可信度（即区域权重）l2相乘、图像传感器对应的更新后的特征图C与对应的可信度（即区域权重）l3相乘后，将各个乘积求和，得到融合后的特征图。

本实施例中，特征提取、三维目标检测、区域映射、通道权重计算、可信度计算和特征图融合过程均可以实现在同一网络模型中。这样，只需要训练一个网络模型即可实现数据融合。具体地，参考图2，用于数据融合的网络模型包括每个传感器对应的网络分支（即包括n个网络分支）、以及与每个网络分支相连的融合层27。其中，每个网络分支包括特征提取层（比如图2中的第一卷积层21、第二卷积层22和第三卷积层23）、与特征提取层相连的区域映射层（比如图2中的反卷积层24和感兴趣区域池化层）、与区域映射层相连的通道权重计算层和可信度计算层26。其中，第一传感器对应的网络分支还包括与特征提取层相连的反卷积层、与该反卷积层相连的三维目标检测层25。其中，三维目标检测层25的输出分别与每个网络分支中的区域映射层相连。

当然，上述各个功能的网络也可以单独实现为一个网络模型，本实施例不对用于数据融合的网络模型的实现方式作限定

可选地，按照区域权重对各个更新后的特征图中的目标图像区域进行合并，得到融合后的特征图之后，还包括：按照融合后的特征图进行目标检测，得到目标检测结果。

综上所述，本实施例提供的基于多传感器的数据融合方法，通过获取n种传感器分别采集的同一检测范围的传感器数据；对每种传感器对应的传感器数据分别进行特征提取，得到每种传感器对应的特征图；基于n种传感器中第一传感器对应的第一特征图，确定待检测目标的目标图像区域，并将目标图像区域置映射至n种传感器中第二传感器对应的第二特征图，得到第二特征图的目标图像区域；对于每种传感器对应的特征图中的目标图像区域，确定目标图像区域中各个图像通道的重要性占比，重要性占比为对应图像通道的通道权重； 按照通道权重更新特征图的通道信息，得到更新后的特征图；对于每种传感器对应的更新后的特征图中目标图像区域，确定更新后的特征图中目标图像区域的可信度，可信度为区域权重；按照区域权重对各个更新后的特征图中的目标图像区域进行合并，得到融合后的特征图；可以解决基于多传感器的数据进行特征融合时，每个传感器对应的权重固定，无法自适应地适配当前场景，导致数据融合效果不佳的问题；由于在多源异构传感器特征融合中引入注意力机制和可信度机制，先将同一数据在感兴趣区域内得到的特征图中筛选出重要的图像通道信息，转换成占比进行权重相乘；再针对注意力机制处理后的几种不同传感器的ROI特征图预测其为目标的可信度，将其作为权重分配给相应的ROI特征图进行相乘相加生成融合后的特征图，通道权重和区域权重可以自适应地适配当前图像，即适配当前场景，因此，可以提高数据融合效果。

图5是本申请一个实施例提供的基于多传感器的数据融合装置的框图。该装置至少包括以下几个模块：数据获取模块510、特征提取模块520、区域定位模块530、第一计算模块540、通道更新模块550、第二计算模块560和特征融合模块570。

数据获取模块510，用于获取n种传感器分别采集的同一检测范围的传感器数据，所述n为大于1的整数；

特征提取模块520，用于对每种传感器对应的传感器数据分别进行特征提取，得到每种传感器对应的特征图；

区域定位模块530，用于基于所述n种传感器中第一传感器对应的第一特征图，确定待检测目标的目标图像区域，并将所述目标图像区域置映射至所述n种传感器中第二传感器对应的第二特征图，得到所述第二特征图的目标图像区域；所述第二传感器是所述n种传感器中与所述第一传感器不同的传感器；

第一计算模块540，用于对于每种传感器对应的特征图中的目标图像区域，确定所述目标图像区域中各个图像通道的重要性占比，所述重要性占比为对应图像通道的通道权重；其中，不同图像通道表示不同类型的图像信息；

通道更新模块550，用于按照所述通道权重更新所述特征图的通道信息，得到更新后的特征图；

第二计算模块560，用于对于每种传感器对应的更新后的特征图中目标图像区域，确定所述更新后的特征图中目标图像区域的可信度，所述可信度为区域权重；

特征融合模块570，用于按照区域权重对各个更新后的特征图中的目标图像区域进行合并，得到融合后的特征图。

相关细节参考上述方法实施例。

需要说明的是：上述实施例中提供的基于多传感器的数据融合装置在进行基于多传感器的数据融合时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将基于多传感器的数据融合装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于多传感器的数据融合装置与基于多传感器的数据融合方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图6是本申请一个实施例提供的基于多传感器的数据融合装置的框图。该装置至少包括处理器601和存储器602。

处理器601可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器601可以采用DSP（Digital Signal Processing，数字信号处理）、FPGA（Field－Programmable Gate Array，现场可编程门阵列）、PLA（Programmable Logic Array，可编程逻辑阵列）中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU（Central ProcessingUnit，中央处理器）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU（Graphics Processing Unit，图像处理器），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI（Artificial Intelligence，人工智能）处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的基于多传感器的数据融合方法。

在一些实施例中，基于多传感器的数据融合装置还可选包括有：***设备接口和至少一个***设备。处理器601、存储器602和***设备接口之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口相连。示意性地，***设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。

当然，基于多传感器的数据融合装置还可以包括更少或更多的组件，本实施例对此不作限定。

可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的基于多传感器的数据融合方法。

可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的基于多传感器的数据融合方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于多传感器的数据融合方法，其特征在于，所述方法包括：

获取n种传感器分别采集的同一检测范围的传感器数据，所述n为大于1的整数；

对每种传感器对应的传感器数据分别进行特征提取，得到每种传感器对应的特征图；

基于所述n种传感器中第一传感器对应的第一特征图，确定待检测目标的目标图像区域，并将所述目标图像区域置映射至所述n种传感器中第二传感器对应的第二特征图，得到所述第二特征图的目标图像区域；所述第二传感器是所述n种传感器中与所述第一传感器不同的传感器；

对于每种传感器对应的特征图中的目标图像区域，确定所述目标图像区域中各个图像通道的重要性占比，所述重要性占比为对应图像通道的通道权重；其中，不同图像通道表示不同类型的图像信息；

按照所述通道权重更新所述特征图的通道信息，得到更新后的特征图；

对于每种传感器对应的更新后的特征图中目标图像区域，确定所述更新后的特征图中目标图像区域的可信度，所述可信度为区域权重；

按照区域权重对各个更新后的特征图中的目标图像区域进行合并，得到融合后的特征图。

2.根据权利要求1所述的方法，其特征在于，所述按照所述通道权重更新所述特征图的通道信息，得到更新后的特征图，包括：

将各个通道权重与所述特征图相乘，得到所述更新后的特征图。

3.根据权利要求1所述的方法，其特征在于，所述按照区域权重对各个更新后的特征图中的目标图像区域进行合并，得到融合后的特征图，包括：

对于每个更新后的特征图，将所述区域权重与所述更新后的特征图中的目标图像区域相乘，得到区域更新后的特征图；

将各个区域更新后的特征图合并，得到所述融合后的特征图。

4.根据权利要求1所述的方法，其特征在于，所述对每种传感器对应的传感器数据分别进行特征提取，得到每种传感器对应的特征图，包括：

将每种传感器对应的传感器数据输入对应的卷积层，得到所述传感器对应的特征图；其中，不同传感器对应的卷积层不同。

5.根据权利要求4所述的方法，其特征在于，所述基于所述n种传感器中第一传感器对应的第一特征图，确定待检测目标的目标图像区域，包括：

将所述第一特征图输入预设的反卷积层；

对反卷积后的特征图进行三维目标检测，得到所述待检测目标的目标图像区域。

6.根据权利要求1所述的方法，其特征在于，所述获取n种传感器分别采集的同一检测范围的传感器数据，包括：

获取所述n种传感器的标定参数；

获取所述n种传感器的初始传感器数据，所述初始传感器数据是所述n种传感器在同一时刻采集到的数据；

根据所述标定参数将所述初始传感器数据转换至公共坐标系；

对所述公共坐标系中的传感器数据进行筛选，得到所述同一检测范围的传感器数据。

7.根据权利要求1所述的方法，其特征在于，所述第一传感器包括激光雷达传感器；所述第二传感器包括图像传感器和毫米波雷达传感器中的至少一种。

8.根据权利要求1至7任一所述的方法，其特征在于，所述按照区域权重对各个更新后的特征图中的目标图像区域进行合并，得到融合后的特征图之后，还包括：

按照所述融合后的特征图进行目标检测，得到目标检测结果。

9.一种基于多传感器的数据融合装置，其特征在于，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如权利要求1至8任一项所述的基于多传感器的数据融合方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序被处理器执行时用于实现如权利要求1至8任一项所述的基于多传感器的数据融合方法。

Images