CN114677655A - 多传感器目标检测方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本发明实施例中公开了一种多传感器目标检测方法、装置、电子设备以及存储介质。所述方法包括：确定至少两类传感器分别采集的第一目标检测结果；目标检测结果包括置信度与空间位置，空间位置采用目标中心点坐标与尺寸大小表示；依据各传感器采集的第一目标检测结果分别进行置信度融合与空间位置融合，得到融合后的置信度和融合后的空间位置；依据融合后的置信度和融合后的空间位置确定第二目标检测结果，用以执行自动驾驶操作，解决了单一类型传感器的局限性对目标检测精度的影响，实现了不同类型传感器互补融合调提高了目标检测精准度。

Description

多传感器目标检测方法、装置、电子设备以及存储介质

技术领域

本发明涉及自动驾驶技术的目标检测领域，尤其涉及一种多传感器目 标检测方法、装置、电子设备以及存储介质。

背景技术

目标检测算法是计算机视觉重点研究方向之一，目标检测算法能够促 进对环境感知技术的探索以及推动自动驾驶技术的发展。

近年来，随着目标检测的不断发展也激发了2D和3D对象检测、语义 分割和对象跟踪方面的许多研究。由于各类型的传感器都存在一定局限性 因此自动驾驶汽车会同时配备不同类型的传感器，以利用其互补特性来提 高目标检测的准确率。但是，随着传感器数量的增加，在对雷达、图像等 不同类型传感器进行融合时，增加了传感器数据的融合难度与准确性，降 低了目标检测准确率与效率。

发明内容

本发明提供了一种多传感器目标检测方法、装置、电子设备以及存储 介质，以解决不同类型传感器目标检测无法很好融合的问题。

根据本发明的一方面，提供了一种多传感器目标检测方法，包括：

确定至少两类传感器分别采集的第一目标检测结果；目标检测结果包 括置信度与空间位置，空间位置采用目标中心点坐标与尺寸大小表示；

依据各传感器采集的第一目标检测结果分别进行置信度融合与空间 位置融合，得到融合后的置信度和融合后的空间位置；

依据融合后的置信度和融合后的空间位置确定第二目标检测结果，用 以执行自动驾驶操作。

根据本发明的另一方面，提供了一种多传感器目标检测装置，包括：

采集模块，用于确定至少两类传感器分别采集的第一目标检测结果； 目标检测结果包括置信度与目标位置特征，目标位置特征采用目标中心点 坐标与尺寸大小表示；

融合模块，用于依据各传感器采集的第一目标检测结果分别进行置信 度融合与空间位置融合，得到融合后的置信度和融合后的空间位置；

检测模块，用于依据融合后的置信度和融合后的空间位置确定第二目 标检测结果，用以执行自动驾驶操作。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述 计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执 行本发明任一实施例所述的多传感器目标检测方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算 机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时 实现本发明任一实施例所述的多传感器目标检测方法。

本发明实施例的技术方案，通过确定至少两类传感器分别采集的第一 目标检测结果；目标检测结果包括置信度与空间位置，空间位置采用目标 中心点坐标与尺寸大小表示；依据各传感器采集的第一目标检测结果分别 进行置信度融合与空间位置融合，得到融合后的置信度和融合后的空间位 置；依据融合后的置信度和融合后的空间位置确定第二目标检测结果，用 以执行自动驾驶操作，解决了单一类型传感器的局限性对目标检测精度的 影响，实现了不同类型传感器互补融合调提高了目标检测精准度。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键 或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下 的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述 中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅 是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性 劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例提供的一种多传感器目标检测方法的流程图；

图2是根据本发明实施例所适用的一种多传感器目标检测架构图；

图3是根据本发明实施例所适用的一种多传感器目标检测中置信度融 合的示意图；

图4是根据本发明实施例所适用的一种多传感器目标检测中空间位置 融合的示意图；

图5是根据本发明实施例所适用的一种多传感器目标检测中空间位置 融合的整体架构图；

图6是根据本发明实施例所适用的一种多传感器目标检测中空间位置 融合图；

图7是根据本发明实施例所适用的另一种多传感器目标检测中空间位 置融合图；

图8是根据本发明实施例提供的一种多传感器目标检测装置的结构示 意图；

图9是实现本发明实施例的多传感器目标检测方法的电子设备的结构 示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施 例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动 前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语 “第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺 序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这 里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺 序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于 覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、 产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚 地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面通过以下各个实施例及其可选方案对本申请中提供的全链路接口 测试方法、装置、电子设备及存储介质进行详细阐述。

图1为本发明实施例中提供的一种多传感器目标检测方法的流程图， 本实施例可适用于对自动驾驶车辆前方的目标进行检测的情况，该方法可 以由多传感器目标检测装置来执行，该多传感器目标检测装置可以采用硬 件和/或软件的形式实现，该多传感器目标检测装置可配置于任何具有网 络通信功能的电子设备中。如图1所示，该方法可包括以下步骤：

S110、确定通过至少两类传感器分别采集的第一目标检测结果；其中 目标检测结果包括置信度与空间位置，空间位置采用目标中心点坐标与尺 寸大小表示。

本申请方案的多传感器目标检测方法可以应用电子设备可包括但不 限于对自动驾驶车辆前方的目标进行检测的终端设备与服务器。终端设备 可以包括但不限于手机、平板、车载电脑等终端。

在自动驾驶过程中可以采用预先配置的传感器对行驶前方环境的目 标进行检测，这里的目标可以包括但不限于行驶前方的障碍物、其他车辆 以及行人等。上述至少两类传感器可包括毫米波雷达传感器、激光雷达传 感器以及图像传感器。

各类型传感器的目标检测结果可以包括检测到的行驶前方目标的空 间位置以及对应的置信度。置信度可以是一个位于区间[0,1]的数值，置 信度可以表明通过传感器检测到行驶前方存在目标的可能性大小，置信度 的取值越大，则置信度越高，行驶前方存在目标的可能性就越大。空间位 置可以采用目标中心点坐标和尺寸大小来表示；目标中心点用横坐标x, 纵坐标y以及竖坐标z三个点的坐标表示，尺寸大小用长宽高w,l,h来表 示。

S120、依据各传感器采集的第一目标检测结果分别进行置信度融合与 空间位置融合，得到融合后的置信度和融合后的空间位置。

考虑到各类型的传感器都存在一定局限性，比如毫米波雷达可提供准 确的3D测量，但由此产生的点云在远距离变得稀疏，从而降低了准确检 测远处目标的能力。图像提供丰富的外观特征，但不是深度预测的良好信 息来源。而，激光雷达对天气要求比较高，在一些极端天气下准确检测远 处目标的能力会降低。

为此，自动驾驶汽车可以配备不同类型的传感器，以利用其互补特性 将不同类型传感器采集得到的目标检测结果中置信度与空间位置进行互 补融合，实现后续采用互补融合的置信度和融合后的空间位置来进行目标 检测，降低因采用单一类型传感器进行目标检测精度带来极大影响。

在本实施例的一种可选方案中，依据各传感器采集的第一目标检测结 果分别进行置信度融合与空间位置融合，得到融合后的置信度和融合后的 空间位置，可包括以下步骤A1-A3：

步骤A1、将不同类型传感器采集的第一目标检测结果中置信度与空间 位置的进行特征结果拼接，得到拼接后矩阵特征。

参见图2，以毫米波雷达、激光雷达以及图像传感器为例，不同类型 的传感器采集的第一目标检测结果如下描述：毫米波雷达初步的第一目标 检测结果记为x1,y1,z1,w1,l1,h1,c1，其中c为置信度大小；激光波雷达 初步的第一目标检测结果记为x2,y2,z2,w2,l2,h2,c2；以及，图像传感器 初步目标检测结果记为x3,y3,0,w3,l3,0,c3，由于图像传感器获得检测结 果是二维的，因此z和h为0。

参见图2，各类型传感器采集的第一目标检测结果中可以包括7个元 素取值，将三个类型传感器采集的第一目标检测结果进行特征拼接可以得 到一个3x7维度的矩阵特征。

可选地，将不同类型传感器采集的第一目标检测结果中置信度与空间 位置的进行特征结果拼接，包括：对不同类型传感器采集的第一目标检测 结果中置信度与空间位置进行归一化，并将各第一目标检测结果对应的归 一化后置信度与空间位置进行特征结果拼接。

步骤A2、依据拼接后矩阵特征中各个空间位置间的差异分别对各第一 目标检测结果中置信度进行调整，得到融合后的置信度。

参见图2，在得到拼接后矩阵特征后，对于任意一行的置信度，可以 通过分析该行空间位置与其他行的空间位置之间差异来对该行置信度进 行互补微调实现特征提取操作，这样经过特征提取操作后可以得到融合后 的置信度C1,C2,C3，维度为3x1。其中，特征提取可以采用一系列卷积层 或者某一神经网络模型实现。例如，特征提取成设置成1x7卷积核操作， 那么3x7维度矩阵特征经过卷积运算后即可得到3x1维度的融合后特征。

在本实施例的一种可选示例中，依据拼接后矩阵特征中各个空间位置 间的差异分别对各第一目标检测结果中置信度进行调整，得到融合后的置 信度，可包括以下步骤：

将拼接后矩阵特征输入到预设的置信度融合提取模型，得到融合后的 置信度；其中，置信度融合提取模型用于解析判断同一个目标能否被不同 类型传感器在同一位置预设范围内检测到，并按照解析判断结果对每个第 一目标检测结果中置信度进行调整；同一个目标被不同类型传感器在同一 位置预设范围内检测到时，置信度融合触发后会使得置信度增加。

参见图3，以毫米波雷达、激光雷达以及图像传感器为例，三种传感 器初步检测结果经特征拼接后得到3x7的矩阵特征。其中，置信度融合提 取模型可以是一系列卷积层或者某一神经网络模型实现。例如，置信度融 合提取模型设置成1x7卷积核操作，那么3x7维度特征经过卷积运算后即 可得到3x1维度的融合后特征。这3x1维度的结果便分别是三种传感器检 测结果的置信度。

参见图3，置信度融合提取模型用于基于各个空间位置判断同一个目 标被不同传感器在同一位置预设范围内检测到结果，并按照判断结果对每 个第一目标检测结果中置信度进行调整。置信度融合可以为当同一个目标 被不同种传感器都在同一位置附近检测到时，那么它们的置信度应该会较 高，也就是说更有可能存在目标。反之，如果仅有某一传感器检测到目标 时，那么置信度会降低。

步骤A3、依据拼接后矩阵特征中各个置信度大小分别对各第一目标检 测结果中的空间位置进行调整，得到融合后的空间位置。

参见图2与图3，以毫米波雷达、激光雷达以及图像传感器为例，拼 接得到的特征经过特征提取操作后可以得到维度为3x2x3x4的空间变换矩 阵T。空间变换矩阵可用于对检测到的目标位置进行变化，从而得到新的 融合后位置坐标。融合后的位置信息维度仍然为3x6。例如，毫米波雷达 位置融合结果记为X1,Y1,Z1,W1,L1,H1；激光雷达位置融合结果记为 X2,Y2,Z2,W2,L2,H2；图像传感器位置融合结果记为X3,Y3,Z3,W3,L3,H3。 这里，图像传感器融合后的位置信息中不再是二维结果，经空间位置变换 后的空间位置可具备三个维度。

在本实施例的一种可选示例中，依据拼接后矩阵特征中各个置信度大 小分别对各第一目标检测结果中的空间位置进行调整，得到融合后的空间 位置，可包括以下步骤B1-B2：

步骤B1、将拼接后矩阵特征输入到预设的空间位置融合提取模型，得 到空间变换矩阵；其中，空间位置融合提取模型用于基于拼接后矩阵特征 中各个置信度大小解析出对目标检测结果中的空间位置进行变化调整的 空间变换矩阵。

步骤B2、通过空间变换矩阵中包括的仿射变换矩阵与平移变换矩阵， 对第一目标检测结果中的空间位置进行转换，得到融合后的空间位置。

参见图4，在空间位置融合中，空间位置融合提取模型可采用一系列 卷积操作或者神经网络模型实现，经特征提取可得到包括仿射变换矩阵和 的平移变换矩阵的空间变换矩阵(比如图4中示出的3x3的仿射变换矩阵 A和3x1的平移变换矩阵S，可以将A和S合并为空间变换矩阵，维度为 3x4)。由于每种传感器空间位置信息不仅包含3个中心点坐标，还包含3 个尺寸信息，因此每种传感器训练得到2个空间变换矩阵，即维度2x3x4。 三种传感器对应的空间变换矩阵T的维度为3x2x3x4。经过空间变换矩阵 后，原检测结果中位置信息更新为融合后位置信息，维度为3x6。

参见图5，图中示出空间位置融合的整体架构，图中包含了毫米波雷 达、激光雷达、图像传感器三种空间位置信息的变换过程。在空间位置融 合过程中，新的空间位置坐标X,Y,Z可以通过原空间位置坐标x,y,z进行 矩阵变换得到。如下公式所示，空间变换矩阵包含了仿射变换矩阵A和平 移变换矩阵S。其中，仿射变换矩阵A是公式中a-i组成的维度为3x3的 矩阵，平移变换矩阵S是公式中j-l组成的维度为3x1的矩阵。

参见图6，图中示出了毫米波雷达或激光雷达进行空间位置融合的过 程。其中，空间变换矩阵T的基本维度为3x4，空间变换矩阵T左侧三列 对应3x3的部分为仿射变换矩阵S，右侧一列对应3x1部分为平移变换矩 阵S。在空间位置融合实现过程中，原空间位置信息可先进行仿射变换矩 阵，然后加上平移变换得到新的空间位置信息。当然，原空间位置信息也 可先进行平移变换，然后加上仿射变换得到新的空间位置信息。

参见图7，图中示出了图像传感器的空间位置进行融合的过程。融合 过程与雷达的空间位置融合过程类似。区别在于融合实现过程中，原空间 位置信息必须先进行平移变换，然后加上仿射变换得到新的空间位置信息。 如果先进行放射变换，那么由于图像传感器原始位置信息中缺少一个维度， 会导致放射矩阵中对应位置的参数无效。

S130、依据融合后的置信度和融合后的空间位置确定第二目标检测结 果，用以执行自动驾驶操作。

依据融合后的置信度和融合后的空间位置确定第二目标检测结果，可 以包括以下步骤：对融合后的置信度和融合后的空间位置进行非极大值抑 制得到所述第二目标检测结果。

经过置信度融合和空间位置融合后，新的置信度和空间位置经过非极 大值抑制(NMS)后即可得到最终的三维目标检测结果，这样就可以使用 最终的第二目标检测结果来指示进行自动驾驶操作。

根据本发明实施例的技术方案，通过确定至少两类传感器分别采集的 第一目标检测结果；目标检测结果包括置信度与空间位置，空间位置采用 目标中心点坐标与尺寸大小表示；依据各传感器采集的第一目标检测结果 分别进行置信度融合与空间位置融合，得到融合后的置信度和融合后的空 间位置；依据融合后的置信度和融合后的空间位置确定第二目标检测结果， 用以执行自动驾驶操作，解决了单一类型传感器的局限性对目标检测精度 的影响，实现了不同类型传感器互补融合调提高了目标检测精准度，尤其 是可将毫米波雷达、激光雷达和图像检测结果进行融合，提高目标检测的 精度。同时，融合方案具备可拓展性，不仅局限于毫米波雷达、激光雷达 和图像三种传感器数据融合，也适用于两种传感器或者三种以上传感器的 融合过程。

图8为本发明实施例中提供的一种多传感器目标检测装置的结构框图， 本实施例可适用于对自动驾驶车辆前方的目标进行检测的情况，该多传感 器目标检测装置可以采用硬件和/或软件的形式实现，该多传感器目标检 测装置可配置于任何具有网络通信功能的电子设备中。如图8所示，该装 置可以包括：采集模块810、融合模块820和检测模块830。其中：

采集模块810，用于确定至少两类传感器分别采集的第一目标检测结 果；目标检测结果包括置信度与目标位置特征，目标位置特征采用目标中 心点坐标与尺寸大小表示；

融合模块820，用于依据各传感器采集的第一目标检测结果分别进行 置信度融合与空间位置融合，得到融合后的置信度和融合后的空间位置；

检测模块830，用于依据融合后的置信度和融合后的空间位置确定第 二目标检测结果，用以执行自动驾驶操作。

在上述实施例的基础上，可选地，融合模块820包括：

特征拼接单元，用于将不同类型传感器采集的第一目标检测结果中置 信度与空间位置的进行特征结果拼接，得到拼接后矩阵特征；

置信度融合单元，用于依据拼接后矩阵特征中各个空间位置间的差异 分别对各第一目标检测结果中置信度进行调整，得到融合后的置信度；

空间位置融合单元，用于依据拼接后矩阵特征中各个置信度大小分别 对各第一目标检测结果中的空间位置进行调整，得到融合后的空间位置。

在上述实施例的基础上，可选地，置信度融合单元包括：

将拼接后矩阵特征输入到预设的置信度融合提取模型，得到融合后的 置信度；其中，所述置信度融合提取模型用于解析判断同一个目标能否被 不同类型传感器在同一位置预设范围内检测到，并按照解析判断结果对每 个第一目标检测结果中置信度进行调整；同一个目标被不同类型传感器在 同一位置预设范围内检测到时，置信度融合触发后会使得置信度增加。

在上述实施例的基础上，可选地，空间位置融合单元包括：

将拼接后矩阵特征输入到预设的空间位置融合提取模型，得到空间变 换矩阵；其中，空间位置融合提取模型用于基于拼接后矩阵特征中各个置 信度大小解析出对目标检测结果中的空间位置进行变化调整的空间变换 矩阵；

通过空间变换矩阵中包括的仿射变换矩阵与平移变换矩阵，对第一目 标检测结果中的空间位置进行转换，得到融合后的空间位置。

在上述实施例的基础上，可选地，检测模块830包括：

对融合后的置信度和融合后的空间位置进行非极大值抑制得到所述 第二目标检测结果。

在上述实施例的基础上，可选地，将不同类型传感器采集的第一目标 检测结果中置信度与空间位置的进行特征结果拼接，包括：

对不同类型传感器采集的第一目标检测结果中置信度与空间位置进 行归一化，并将各第一目标检测结果对应的归一化后置信度与空间位置进 行特征结果拼接。

在上述实施例的基础上，可选地，所述至少两类传感器包括毫米波雷 达传感器、激光雷达传感器以及图像传感器。

本发明实施例中所提供的多传感器目标检测装置可执行上述本发明 任意实施例中所提供的多传感器目标检测方法，具备执行该多传感器目标 检测方法相应的功能和有益效果，详细过程参见前述实施例中多传感器目 标检测方法的相关操作。

图9示出了可以用来实施本发明的实施例的电子设备10的结构示意 图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台 式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、 和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如， 个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表 等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及 它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的 本发明的实现。

如图9所示，电子设备10包括至少一个处理器11，以及与至少一个 处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器 (RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程 序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者 从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的 各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。 输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16， 例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存 储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调 器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的 计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。 处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元 (GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型 算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制 器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如多传感器目标检测方法。

在一些实施例中，多传感器目标检测方法可被实现为计算机程序，其 被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中， 计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入 和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11 执行时，可以执行上文描述的多传感器目标检测方法的一个或多个步骤。 备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例 如，借助于固件)而被配置为执行多传感器目标检测方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路 ***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、 专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设 备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些 各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者 多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/ 或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储 ***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将 数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出 装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言 的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机 或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时 使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在 机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行 且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可 以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装 置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限 于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设 备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是 机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多 个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只 读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光 纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、 或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的***和技 术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴 极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例 如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供 给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供 给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、 或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触 觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如， 作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、 或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器 的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处 描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部 件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络 的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并 且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有 客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器 可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的 一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大， 业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或 删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执 行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果， 本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术 人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、 子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和 改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种多传感器目标检测方法，其特征在于，包括：

确定至少两类传感器分别采集的第一目标检测结果；目标检测结果包括置信度与空间位置，空间位置采用目标中心点坐标与尺寸大小表示；

依据各传感器采集的第一目标检测结果分别进行置信度融合与空间位置融合，得到融合后的置信度和融合后的空间位置；

依据融合后的置信度和融合后的空间位置确定第二目标检测结果，用以执行自动驾驶操作。

2.根据权利要求1所述的方法，其特征在于，依据各传感器采集的第一目标检测结果分别进行置信度融合与空间位置融合，得到融合后的置信度和融合后的空间位置，包括：

将不同类型传感器采集的第一目标检测结果中置信度与空间位置的进行特征结果拼接，得到拼接后矩阵特征；

依据拼接后矩阵特征中各个空间位置间的差异分别对各第一目标检测结果中置信度进行调整，得到融合后的置信度；

依据拼接后矩阵特征中各个置信度大小分别对各第一目标检测结果中的空间位置进行调整，得到融合后的空间位置。

3.根据权利要求2所述的方法，其特征在于，依据拼接后矩阵特征中各个空间位置间的差异分别对各第一目标检测结果中置信度进行调整，得到融合后的置信度，包括：

将拼接后矩阵特征输入到预设的置信度融合提取模型，得到融合后的置信度；其中，所述置信度融合提取模型用于解析判断同一个目标能否被不同类型传感器在同一位置预设范围内检测到，并按照解析判断结果对每个第一目标检测结果中置信度进行调整；同一个目标被不同类型传感器在同一位置预设范围内检测到时，置信度融合触发后会使得置信度增加。

4.根据权利要求2所述的方法，其特征在于，依据拼接后矩阵特征中各个置信度大小分别对各第一目标检测结果中的空间位置进行调整，得到融合后的空间位置，包括：

将拼接后矩阵特征输入到预设的空间位置融合提取模型，得到空间变换矩阵；其中，空间位置融合提取模型用于基于拼接后矩阵特征中各个置信度大小解析出对目标检测结果中的空间位置进行变化调整的空间变换矩阵；

通过空间变换矩阵中包括的仿射变换矩阵与平移变换矩阵，对第一目标检测结果中的空间位置进行转换，得到融合后的空间位置。

5.根据权利要求1所述的方法，其特征在于，依据融合后的置信度和融合后的空间位置确定第二目标检测结果，包括：

对融合后的置信度和融合后的空间位置进行非极大值抑制得到所述第二目标检测结果。

6.根据权利要求2所述的方法，其特征在于，将不同类型传感器采集的第一目标检测结果中置信度与空间位置的进行特征结果拼接，包括：

对不同类型传感器采集的第一目标检测结果中置信度与空间位置进行归一化，并将各第一目标检测结果对应的归一化后置信度与空间位置进行特征结果拼接。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述至少两类传感器包括毫米波雷达传感器、激光雷达传感器以及图像传感器。

8.一种多传感器目标检测装置，其特征在于，包括：

采集模块，用于确定至少两类传感器分别采集的第一目标检测结果；目标检测结果包括置信度与目标位置特征，目标位置特征采用目标中心点坐标与尺寸大小表示；

融合模块，用于依据各传感器采集的第一目标检测结果分别进行置信度融合与空间位置融合，得到融合后的置信度和融合后的空间位置；

检测模块，用于依据融合后的置信度和融合后的空间位置确定第二目标检测结果，用以执行自动驾驶操作。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的多传感器目标检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的多传感器目标检测方法。

Images