CN117496312A - 基于多模态融合算法的三维多目标检测方法 - Google Patents

Abstract

本发明公开了一种基于多模态融合算法的三维多目标检测方法属于计算机视觉技术领域。本发明在点云处理器中利用点云类感知和质心感知下采样层(CA)和特征传播层(FP)进行点云特征提取，在图像处理器中提出全维度动态卷积层进行图像特征提取，在点云和图像两种数据流中得到更高质量的特征信息，减少了信息损耗，提高信息量较小的目标的准确率与召回率，对于远处行人或非机动车等信息量较小的目标检测有较高的准确率。

Description

基于多模态融合算法的三维多目标检测方法

技术领域

本发明属于计算机视觉技术领域，特别是涉及到一种基于多模态融合算法的三维多目标检测方法。

背景技术

三维物体检测是预测物体在三维空间中的位置信息(三维矩形物体的位置、距离、大小和角度)的任务。与2D对象检测相比，3D对象检测对于自动驾驶、机器人实物抓取、室内外巡逻机器人导航、目标侦察等许多任务至关重要。而多模态传感器融合技术能够通过采用不同类型的传感器进行数据采集，同时获取激光雷达点云和RGB图像两种形式的信息，丰富目标的特征信息，从而提高对目标的探测和识别能力。在复杂条件下的目标探测、识别和跟踪需要更准确的位置和形状信息，激光雷达点云和RGB图像能够提供不同的物理学和景观信息，融合这两个不同的图像信息可以使得目标的位置特征与纹理特征得到更完整的描绘，从而优化目标检测效果。早期的三维多目标检测方法是基于点云或图像的单一模态数据进行三维检测来获得目标的信息。例如，只采用点云数据的检测方法FCN(FullyConvolutional Network)提出一种表示网格里是否存在点云的二进制体素编码方法实现了三维多目标检测。该方法使用三维卷积进行特征提取，计算代价大且性能有限。而只采用图像数据进行检测的方法，例如Mono3D，通过图像信息预测每个像素的深度估计，进而用于检测物体的位置、姿态、大小等信息。由于基于图像的方法检测效果直接受深度估计算法准确度的影响，在检测精度上仍有待提高。

近年来，由于点云和图像各自的特征对于三维多目标检测任务具有互补性，多模态融合的方法推动了三维多目标检测技术的快速发展。清华大学Xiaozhi Chen等人提出多视图三维检测网络MV3D，该方法在鸟瞰视图、前视图和RGB图像特征上获得对应区域特征。Ming Liang等人提出将图像特征投影到鸟瞰图区域进行融合，再使用鸟瞰图进行检测。Jiarong Wang等人提出了一种多阶段互补融合检测网络，通过多种有针对性的、基于注意力机制和先验知识的融合方法充分发挥多模态数据的优势，提高了网络的检测能力。LihuaWen等人将点云反射强度信息投影到RGB图像增强输入图像的表示能力达到了减少量化信息损失的目的,然后利用全局注意力和局部注意力网络进一步提高了算法的检测能力。中国科学技术大学Yonglin Tian等人也提出了一种更有效的融合检测方法，设计了估计地平面参数和生成原始点云特征的地平面估计网络，并且提出了聚集点云和图像多种局部特征的自适应权重网络和空间融合模块,在三维多目标检测上取得了更好的效果。斯坦福大学Charles R.Qi等人提出了一种融合检测方法F-PointNet，该方法首先在RGB图像上生成目标候选框，然后将这些二维候选框扩展为三维截头椎体，再利用点云网络提取椎体内点云特征，完成实例分割和三维边界框的回归。

但是，现有多模态融合的三维多目标检测网络中仍存在当目标检测时，由于信息的大量损耗，导致远处行人或非机动车等信息量较小的目标，检测准确率较低的问题。

因此现有技术当中亟需要一种新型的技术方案来解决这一问题。

发明内容

本发明所要解决的技术问题是：提供一种基于多模态融合算法的三维多目标检测方法用于解决现有多模态融合的三维多目标检测网络中由于信息的大量损耗，导致远处行人或非机动车等信息量较小的目标，检测准确率较低的技术问题。

基于多模态融合算法的三维多目标检测方法，包括以下步骤，且以下步骤顺次进行，

步骤一、数据集准备

从已公开的数据集中取多组同一场景下的点云数据、RGB相机图像数据与标签数据作为数据集，对数据集进行数据预处理，所述点云数据为激光点云数据；

步骤二、构建点云处理器

建立点云特征提取网络，该网络包括点云类感知和质心感知下采样层(CA)和特征传播层(FP)，通过点云类感知和质心感知下采样层(CA)和特征传播层(FP)逐级得到不同分辨率的点云特征；

步骤三、构建图像处理器

建立图像特征提取网络，该网络通过全维度动态卷积，利用并行策略的多维注意力机制，逐级得到不同分辨率的图像特征；

步骤四、构建点云主导的图像融合器

建立点云处理器与图像处理器之间的信息融合网络，该网络通过图像特征生成逐点对应的语义信息，再与点云特征进行融合，得到更为丰富完善的点云特征描绘信息；

步骤五、构建目标检测网络模型

利用得到的点云处理器、图像处理器和点云主导的图像融合器搭建网络模型，将点云数据和图像数据同时传入点云处理器和图像处理器，将得到的不同分辨率的点云特征和图像特征传入所述步骤四得到的点云主导的图像融合器，丰富相应的点云特征；

步骤六、目标检测网络模型训练

对步骤五构建的目标检测网络模型设置损失函数与初始化参数，利用数据集对目标检测网络模型进行持续迭代训练，直至损失函数的损失值更新至最小值，获取最优网络权重的目标检测网络模型；

步骤七、目标检测网络模型运用

利用相机和激光雷达实时采集图像和点云数据，输入至测试后的目标检测网络模型中，实时输出图像中各目标的位置、姿态、大小信息。

所述步骤一中的数据预处理的方法为：将点云数据对照图像数据的视角进行分割，并进行数据增强操作，所述数据增强操作包括数据随机旋转、数据随机对称。

所述步骤二的点云特征提取网络中包括四个点云类感知和质心感知下采样层(CA)和四个特征传播层(FP)；利用四个点云类感知和质心感知下采样层(CA)和四个特征传播层(FP)进行点云特征提取，将点云数据输入至CA层进行逐步下采样，得到代表性更强的不同分辨率的点云特征，再通过FP层进行插值操作，将点云特征恢复至原有的分辨率；

所述点云类感知和质心感知下采样层(CA)利用点云数据中前景点比背景点更重要的特性，采用将分类分数更高和距离质心更近的前景点赋予更高权重的方式，从而保留更多的前景点；

所述特征传播层(FP)利用基于距离插值的分层特征传播，通过对四个CA层的跳跃连接，输入对应分辨率的点云特征，经过逐层插值上采样将特征恢复至原有分辨率。

所述步骤三中的图像特征提取网络包括四个全维度动态卷积层，并利用四个全维度动态卷积层进行图像特征提取，将图片输入至全维度动态卷积层中提取图片特征，全维度动态卷积在卷积核的所有四个维度上学习注意力，得到不同分辨率的图像特征。

所述步骤三中的全维度动态卷积定义如下：

y＝(α_w1⊙α_f1⊙α_c1⊙α_s1⊙W₁+...+α_wn⊙α_fn⊙α_cn⊙α_sn⊙W_n)*x

其中和/>分别表示输入特征和输出特征；h为输入通道c_in以及输出通道c_out的高；w为输入通道c_in以及输出通道c_out的宽；W_n表示第n个卷积核，它由c_out个滤波器/>组成，m＝1……，c_out；α_wn∈R是加权W_n的注意力标量，其由以输入特征为条件的注意力函数π_Wn(x)计算；*表示卷积运算，α_sn、α_cn、α_fn为三个注意力标量，α_sn∈R^{k ×k}，/>分别表示沿着卷积核W_n的核空间的空间维度、输入通道维度和输出通道维度计算；表示沿着核空间的不同维度的乘法运算。

所述步骤四的点云主导的图像融合器构建的具体方法为：通过点云数据与图像投影的对应映射矩阵M，将步骤三图像处理器得到的不同分辨率图片特征，利用双线性插值方法生成点云数据对应的逐点语义特征；再将语义特征与所述步骤二点云处理器得到的对应分辨率的点云特征进行带有注意力机制的融合；信息融合网络经过多次融合能充分利用点云数据和图像的多模态信息；

所述融合的具体方法为：首先将点云特征F_P和逐点语义特征F_I馈送到一个全连接层中，并将其映射到同一通道中；然后将它们拼接在一起，形成一个紧凑的特征表示；再通过另一个全连接层压缩成一个具有单个通道的权重映射；使用sigmoid激活函数将权重映射归一化到[0,1]的范围内，获得权值图ψ：

其中表示LI-Fusion层中可学习的权矩阵；σ表示sigmoid激活函数；F_P表示点云特征；F_I表示逐点语义特征；

在获得权值图ψ后，将点云特征F_P与逐点语义特征F_I进行拼接，将其公式化为：

F_LI＝F_P||ψF_I,

F_LI表示融合了点云信息和图像信息的多模态特征。

所述步骤六的损失函数包括分类损失函数、回归损失函数、一致性强制损失函数和感知下采样损失函数；

所述分类损失函数L_cls为：

L_cls＝-α(1-c_t)^γlog c_t,

分类损失函数中采用focal loss作为分类损失，α和γ为平衡正负样本的超参数，c_t是所考虑的点属于ground truth的概率；

所述回归损失函数L_reg为：

回归损失函数采用基于bin的损失，首先预测中心点落在哪个bin中，然后回归bin内的剩余偏移量，其中E和S分别表示交叉熵损失和光滑L1损失，b_u表示边界框的真值，r_u表示残差的真值，表示边界框的预测值，/>表示残差的预测值，h_k表示边界框的高，l_k表示为边界框的长，θ_k表示边界框的角度，w_k表示边界框的宽；

所述一致性强制损失函数L_ce为：

式中D表示预测的边界框，G表示边界框的真实值，c_score表示边界框的分类置信度；

所述感知下采样损失L_ctr·aware为：

式中，N_c表示类别的数量，Mask_i为实例掩码，s_i是一个one-hot标签，并且表示预测的概率；

所述实例掩码Mask_i为：

式中，f^*、b^*、l^*、r^*、u^*、d^*分别表示一点到边界框的前、后、左、右、上、下6个曲面的距离。

通过上述设计方案，本发明可以带来如下有益效果：

基于多模态融合算法的三维多目标检测方法，在点云处理器中利用点云类感知和质心感知下采样层(CA)和特征传播层(FP)进行点云特征提取，在图像处理器中提出全维度动态卷积层进行图像特征提取，在点云和图像两种数据流中得到更高质量的特征信息，减少了信息损耗，提高信息量较小的目标的准确率与召回率，对于远处行人或非机动车等信息量较小的目标检测有较高的准确率。

附图说明

以下结合附图和具体实施方式对本发明作进一步的说明：

图1为本发明基于多模态融合算法的三维多目标检测方法的流程框图。

图2为本发明基于多模态融合算法的三维多目标检测方法中的图像融合器示意图。

具体实施方式

基于多模态融合算法的三维多目标检测方法，如图1所示，包括如下步骤：

1、数据集准备：从已公开的数据集中下载数据包，数据包中包括多组同一场景下的点云数据、RGB相机图像数据与标签数据作为数据集，对其进行数据预处理。数据预处理的方法为，将点云对照图像的视角进行分割，并进行随机旋转、随机对称等数据增强操作。经过数据增强后可以进一步增加训练模型的泛化能力。

2、构建点云处理器：设计一种点云特征提取网络，通过点云类感知和质心感知下采样模块与特征传播模块，逐级得到不同分辨率的点云特征；该模块利用四个点云类感知和质心感知下采样层(CA)和四个特征传播层(FP)进行点云特征提取。将点云输入至CA层进行逐步下采样，得到代表性更强的不同分辨率的点云特征，再通过FP层进行插值操作，将点云特征恢复至原有的分辨率。其中点云类感知和质心感知下采样层(CA)利用点云中前景点比背景点更重要的特性，采用将分类分数更高和距离质心更近的前景点赋予更高权重的方式，尽可能的保留更多的前景点。而特征传播层(FP)利用基于距离插值的分层特征传播，通过对四个CA的跳跃连接，输入对应分辨率的点云特征，经过逐层插值上采样将特征恢复至原有分辨率。

3、构建图像处理器：设计一种图像特征提取网络，通过全维度动态卷积，利用并行策略的多维注意力机制，逐级得到不同分辨率的图像特征；该网络利用四个全维度动态卷积层进行图像特征提取。将图片输入至全维度动态卷积层中提取图片特征，全维度动态卷积在卷积核的所有四个维度上学习注意力。相比于普通CNN卷积，全维度动态卷积能够学习到更为丰富和更具代表性的图片特征。

所述步骤3全维度动态卷积定义如下：

y＝(α_w1⊙α_f1⊙α_c1⊙α_s1⊙W₁+...+α_wn⊙α_fn⊙α_cn⊙α_sn⊙W_n)*x

其中和/>分别表示输入特征和输出特征；h为输入通道c_in以及输出通道c_out的高；w为输入通道c_in以及输出通道c_out的宽；W_n表示第n个卷积核，它由c_out个滤波器/>组成，m＝1……，c_out；α_wn∈R是加权W_n的注意力标量，其由以输入特征为条件的注意力函数π_Wn(x)计算；*表示卷积运算，α_sn、α_cn、α_fn为三个注意力标量，α_sn∈R^{k ×k}，/>分别表示沿着卷积核W_n的核空间的空间维度、输入通道维度和输出通道维度计算；表示沿着核空间的不同维度的乘法运算。这里，α_sn、α_cn、α_fn和α_wn是用多头以输入特征为条件的注意力函数计算获得的。

4、构建点云主导的图像融合器：设计一种点云处理器与图像处理器之间的信息融合网络，通过图像特征生成逐点对应的语义信息，与点云特征进行融合，得到更为丰富完善的点云特征描绘。图像融合器通过点云与图片投影的对应映射矩阵M，将步骤3图像处理器得到的多种分辨率图片特征，利用双线性插值方法生成点云对应的逐点语义特征。再将语义特征与得到的对应分辨率的点云特征进行带有注意力机制的融合。经过多次融合后的网络能充分利用点云和图像的多模态信息。

所述的融合方式如图所示，首先将点云特征和逐点语义特征馈送到一个全连接层中，并将它们映射到同一通道中。然后我们将它们加在一起形成一个紧凑的特征表示，然后通过另一个全连接层压缩成一个具有单个通道的权重映射。我们使用sigmoid激活函数将权重映射归一化到[0,1]的范围内，获得权值图ψ：

其中表示LI-Fusion层中可学习的权矩阵；σ表示sigmoid激活函数；F_P表示(点云特征)；F_I表示(逐点语义特征)；

在获得权值图ψ后，将点云特征F_P与逐点语义特征F_I进行拼接，将其公式化为：

F_LI＝F_P||ψF_I,

式中，F_LI表示融合了点云信息和图像信息的多模态特征。

5、设计目标检测网络模型：利用得到的点云处理器、图像处理器和点云主导的图像融合器搭建网络模型。将点云数据和图像数据同时传入点云处理器和图像处理器。将得到的不同分辨率的点云特征和图像特征传入所述步骤4得到的点云主导的图像融合器，丰富相应的点云特征。

6、网络训练：根据设计的目标检测网络模型设置损失函数与初始化参数，在训练过程中持续迭代，使得损失值更新至最小值，获取最优的网络权重的训练模型；

损失函数包括分类损失函数、回归损失函数、一致性强制损失函数和感知下采样损失函数。

所诉分类损失函数L_cls为：

L_cls＝-α(1-c_t)^γlog c_t,

采用focal loss作为分类损失，α和γ为平衡正负样本的超参数，c_t是所考虑的点属于ground truth的概率。

所述回归损失函数L_reg为：

回归损失函数采用基于bin的损失，首先预测中心点落在哪个bin中，然后回归bin内的剩余偏移量，其中E和S分别表示交叉熵损失和光滑L1损失，b_u表示边界框的真值，r_u表示残差的真值，表示边界框的预测值，/>表示残差的预测值，h_k表示边界框的高，l_k表示为边界框的长，θ_k表示边界框的角度，w_k表示边界框的宽；

所述一致性强制损失函数L_ce为：

式中，D表示预测的边界框，G表示边界框的真实值，c_score表示边界框的分类置信度。为了优化这个损失函数，鼓励分类置信度和定位置信度共同尽可能的高。一致性强制损失旨在保证定位置信度和分类置信度的一致性，以帮助NMS程序保持更精确的边界框。

所述感知下采样损失L_ctr·aware为:

式中，N_c表示类别的数量，Mask_i为实例掩码，s_i是一个one-hot标签，并且表示预测的概率。在推理过程中，具有前k个前景分数的点被保留，并被视为馈送到下一个编码层的代表点。

所诉实例掩码Mask_i为，

式中，f^*、b^*、l^*、r^*、u^*、d^*分别表示一点到边界框的前、后、左、右、上、下6个曲面的距离。在这种情况下，更靠近长方体质心的点可能具有更高的遮罩分数(最大值为1)，而位于曲面上的点将具有0的掩码分数。

7、目标检测网络模型运用：

利用相机和激光雷达实时采集图像和点云数据信息，输入至最优的网络权重的训练模型中，实时输出图像中各目标的位置、姿态、大小信息。

Claims (7)

1.基于多模态融合算法的三维多目标检测方法，其特征是：包括以下步骤，且以下步骤顺次进行，

步骤一、数据集准备

从已公开的数据集中取多组同一场景下的点云数据、RGB相机图像数据与标签数据作为数据集，对数据集进行数据预处理，所述点云数据为激光点云数据；

步骤二、构建点云处理器

建立点云特征提取网络，该网络包括点云类感知和质心感知下采样层(CA)和特征传播层(FP)，通过点云类感知和质心感知下采样层(CA)和特征传播层(FP)逐级得到不同分辨率的点云特征；

步骤三、构建图像处理器

建立图像特征提取网络，该网络通过全维度动态卷积，利用并行策略的多维注意力机制，逐级得到不同分辨率的图像特征；

步骤四、构建点云主导的图像融合器

建立点云处理器与图像处理器之间的信息融合网络，该网络通过图像特征生成逐点对应的语义信息，再与点云特征进行融合，得到更为丰富完善的点云特征描绘信息；

步骤五、构建目标检测网络模型

利用得到的点云处理器、图像处理器和点云主导的图像融合器搭建网络模型，将点云数据和图像数据同时传入点云处理器和图像处理器，将得到的不同分辨率的点云特征和图像特征传入所述步骤四得到的点云主导的图像融合器，丰富相应的点云特征；

步骤六、目标检测网络模型训练

对步骤五构建的目标检测网络模型设置损失函数与初始化参数，利用数据集对目标检测网络模型进行持续迭代训练，直至损失函数的损失值更新至最小值，获取最优网络权重的目标检测网络模型；

步骤七、目标检测网络模型运用

利用相机和激光雷达实时采集图像和点云数据，输入至测试后的目标检测网络模型中，实时输出图像中各目标的位置、姿态、大小信息。

2.根据权利要求1所述的基于多模态融合算法的三维多目标检测方法，其特征是：所述步骤一中的数据预处理的方法为：将点云数据对照图像数据的视角进行分割，并进行数据增强操作，所述数据增强操作包括数据随机旋转、数据随机对称。

3.根据权利要求1所述的基于多模态融合算法的三维多目标检测方法，其特征是：所述步骤二的点云特征提取网络中包括四个点云类感知和质心感知下采样层(CA)和四个特征传播层(FP)；利用四个点云类感知和质心感知下采样层(CA)和四个特征传播层(FP)进行点云特征提取，将点云数据输入至CA层进行逐步下采样，得到代表性更强的不同分辨率的点云特征，再通过FP层进行插值操作，将点云特征恢复至原有的分辨率；

所述点云类感知和质心感知下采样层(CA)利用点云数据中前景点比背景点更重要的特性，采用将分类分数更高和距离质心更近的前景点赋予更高权重的方式，从而保留更多的前景点；

所述特征传播层(FP)利用基于距离插值的分层特征传播，通过对四个CA层的跳跃连接，输入对应分辨率的点云特征，经过逐层插值上采样将特征恢复至原有分辨率。

4.根据权利要求1所述的基于多模态融合算法的三维多目标检测方法，其特征是：所述步骤三中的图像特征提取网络包括四个全维度动态卷积层，并利用四个全维度动态卷积层进行图像特征提取，将图片输入至全维度动态卷积层中提取图片特征，全维度动态卷积在卷积核的所有四个维度上学习注意力，得到不同分辨率的图像特征。

5.根据权利要求1所述的基于多模态融合算法的三维多目标检测方法，其特征是：所述步骤三中的全维度动态卷积定义如下：

y＝(α_w1⊙α_f1⊙α_c1⊙α_s1⊙W₁+…+α_wn⊙α_fn⊙α_cn⊙α_sn⊙W_n)*x

其中和/>分别表示输入特征和输出特征；h为输入通道c_in以及输出通道c_out的高；w为输入通道c_in以及输出通道c_out的宽；W_n表示第n个卷积核，它由c_out个滤波器/>组成，m＝1……，c_out；α_wn∈R是加权W_n的注意力标量，其由以输入特征为条件的注意力函数π_Wn(x)计算；*表示卷积运算，α_sn、α_cn、α_fn为三个注意力标量，α_sn∈R^k×k，分别表示沿着卷积核W_n的核空间的空间维度、输入通道维度和输出通道维度计算；表示沿着核空间的不同维度的乘法运算。

6.根据权利要求1所述的基于多模态融合算法的三维多目标检测方法，其特征是：所述步骤四的点云主导的图像融合器构建的具体方法为：通过点云数据与图像投影的对应映射矩阵M，将步骤三图像处理器得到的不同分辨率图片特征，利用双线性插值方法生成点云数据对应的逐点语义特征；再将语义特征与所述步骤二点云处理器得到的对应分辨率的点云特征进行带有注意力机制的融合；信息融合网络经过多次融合能充分利用点云数据和图像的多模态信息；

所述融合的具体方法为：首先将点云特征F_P和逐点语义特征F_I馈送到一个全连接层中，并将其映射到同一通道中；然后将它们拼接在一起，形成一个紧凑的特征表示；再通过另一个全连接层压缩成一个具有单个通道的权重映射；使用sigmoid激活函数将权重映射归一化到[0，1]的范围内，获得权值图ψ：

其中表示LI-Fusion层中可学习的权矩阵；σ表示sigmoid激活函数；F_P表示点云特征；F_I表示逐点语义特征；

在获得权值图ψ后，将点云特征F_P与逐点语义特征F_I进行拼接，将其公式化为：

F_LI＝F_p||ψF_I，

F_LI表示融合了点云信息和图像信息的多模态特征。

7.根据权利要求1所述的基于多模态融合算法的三维多目标检测方法，其特征是：所述步骤六的损失函数包括分类损失函数、回归损失函数、一致性强制损失函数和感知下采样损失函数；

所述分类损失函数L_cls为：

L_cls＝-α(1-c_t)^γlog c_t，

分类损失函数中采用focal loss作为分类损失，α和γ为平衡正负样本的超参数，c_t是所考虑的点属于ground truth的概率；

所述回归损失函数L_reg为：

回归损失函数采用基于bin的损失，首先预测中心点落在哪个bin中，然后回归bin内的剩余偏移量，其中E和S分别表示交叉熵损失和光滑L1损失，b_u表示边界框的真值，r_u表示残差的真值，表示边界框的预测值，/>表示残差的预测值，h_k表示边界框的高，l_k表示为边界框的长，θ_k表示边界框的角度，w_k表示边界框的宽；

所述一致性强制损失函数L_ce为：

式中D表示预测的边界框，G表示边界框的真实值，c_score表示边界框的分类置信度；

所述感知下采样损失L_ctr·aware为：

式中，N_c表示类别的数量，Mask_i为实例掩码，s_i是一个one-hot标签，并且表示预测的概率；

所述实例掩码Mask_i为：

式中，f^*、b^*、l^*、r^*、u^*、d^*分别表示一点到边界框的前、后、左、右、上、下6个曲面的距离。