CN116778262B - 一种基于虚拟点云的三维目标检测方法和*** - Google Patents

Abstract

本发明涉及目标检测技术领域，具体涉及一种基于虚拟点云的三维目标检测方法和***，所述方法包括，获取数据集，将数据集划分为训练集和测试集；将获取到的数据集进行预处理，生成虚拟点云数据；构建基于虚拟点云的三维目标检测网络模型；将训练集生成的虚拟点云数据代入到基于虚拟点云的三维目标检测网络模型进行迭代训练；将测试集生成的虚拟点云数据代入到训练后的基于虚拟点云的三维目标检测网络模型进行预测结果，并检测每一帧点云场景中的物体。本发明能够解决由于点云数据自身的稀疏性和不完整性造成的小目标物体检测困难的问题，使得稀疏点云目标检测结果更加准确，提高小目标物体的检测精度。

Description

一种基于虚拟点云的三维目标检测方法和***

技术领域

本发明涉及目标检测技术领域，具体涉及一种基于虚拟点云的三维目标检测方法和***。

背景技术

自动驾驶感知任务是指自动驾驶***中的一项关键任务，旨在从环境中获取并理解各种传感器数据，以对周围环境进行感知和理解。感知任务对于自动驾驶***的安全性和可靠性至关重要，它提供了关于道路、障碍物、交通标志、行人等的关键信息，用于决策和规划。

现有技术中，由于点云数据在空间上通常是稀疏和不完整的，造成数据稀疏性和不完整性，可能存在缺失或遮挡的情况，这给目标检测带来了额外的挑战。并且目标形状和尺度具有多样性，在三维场景中的目标形状和尺度各异，涵盖了各种物体类型和大小，对于一些具有复杂形状或小尺度的目标，检测的准确性可能会下降，难以从稀疏的点云中捕捉到细节信息。

因此有必要提供新的一种基于虚拟点云的三维目标检测方法和***。

发明内容

基于现有技术中存在的上述问题，本发明实施例的目的在于提供一种基于虚拟点云的三维目标检测方法，用于解决由于点云数据自身的稀疏性和不完整性造成的小目标物体检测困难的问题，能够使得稀疏点云目标检测结果更加准确，提高小目标物体的检测精度。

为实现上述目的，本发明采用的技术方案是：一种基于虚拟点云的三维目标检测方法，包括：

S1，获取数据集，将数据集划分为训练集和测试集；

S2，将获取到的数据集进行预处理，生成虚拟点云数据；

S3，构建基于虚拟点云的三维目标检测网络模型；

S4，将训练集生成的虚拟点云数据代入到基于虚拟点云的三维目标检测网络模型进行迭代训练；

S5，将测试集生成的虚拟点云数据代入到训练后的基于虚拟点云的三维目标检测网络模型进行预测结果，并检测每一帧点云场景中的物体。

进一步的，S1中，所述获取数据集，包括：从公开数据集中获取若干幅带有标注信息的RGB图像、与每幅RGB图相对应场景的带有标注信息的点云数据、与RGB图相对齐的深度图以及用于RGB图像和点云数据相互转换的相机内参、外参校正文件。

进一步的，S2中，所述将获取到的数据集进行预处理，生成虚拟点云数据，包括：

S2-1，利用calib校正文件中的内参矩阵P、外参矩阵Tr、校正矩阵R、将原始点云数据中的点云映射到RGB图像像素点X；

S2-2，通过步骤S2-1能够得到每个像素点带有深度信息的稀疏深度图D，然后借助预设的深度补全网络PENet，对稀疏深度信息图D进行处理，可以得到稠密深度信息图D*；

S2-3，在RGB图上进行目标边缘检测，采用canny边缘检测算法进行目标检测；

S2-4，使用经过噪点去除的稠密信息图D*中带有深度信息的像素点生成虚拟点云。

进一步的，S2-1中，像素点映射公式为：

其中，X为图像像素点，为原始点云数据，Tr为外参矩阵，R为校正矩阵，P为内参矩阵。

进一步的，S2-4中，点云映射公式为：

其中，为虚拟点云数据，Tr为外参矩阵，R为校正矩阵，P为内参矩阵，X*为带有深度信息的像素点。

进一步的，S3中，所述基于虚拟点云的三维目标检测网络模型包括依次连接的点云体素化模块、辅助网络模块、点云特征提取模块、候选框生成模块和检测头模块。

进一步的，所述点云体素化模块对每帧的虚拟点云数据在X轴上裁剪保留[0,70.4]m范围，在Y轴上裁剪保留[-40,40]m范围，在X轴上裁剪保留[-3,1]m范围，每个体素的大小为[0.05, 0.05, 0.05]m，划分出若干体素。

进一步的，S5中，所述辅助网络模块包括点云坐标系转换模块、辅助网络标签生成模块、点云编解码模块和辅助网络检测模块。

进一步的，所述辅助网络标签生成模块包括首先利用虚拟点V来生成近似完整的点云目标A，在训练阶段通过获取到每个物体的标签来为虚拟点做镜像补点，同时判断每个物体与训练集中其他物体B的相似性得分，将其他物体的点云添加到待补点的物体中来获得完整点。不同物体的相似度判断公式为：

其中，A为近似完整的点云目标，B为训练集中其他物体，P_A为A点云目标所在集合，P_B为B点云目标所在集合，D_A为A的边界框，D_B为B的边界框。αIoU计算A物体和B物体的边界框的交并比，用于判断两个边界框的相似度。

一种基于虚拟点云的三维目标检测***，应用于上述基于虚拟点云的三维目标检测方法，所述三维目标检测***包括：

采集模块，用于获取数据集，将数据集划分为训练集和测试集；

预处理模块，用于将获取到的数据集进行预处理，生成虚拟点云数据；

建模模块，用于构建基于虚拟点云的三维目标检测网络模型；

训练模块，用于将训练集生成的虚拟点云数据代入到基于虚拟点云的三维目标检测网络模型进行迭代训练；

检测模块，用于将测试集生成的虚拟点云数据代入到训练后的基于虚拟点云的三维目标检测网络模型进行预测结果，并检测每一帧点云场景中的物体。

本发明的有益效果是：本发明的基于虚拟点云的三维目标检测方法包括：获取数据集，将数据集划分为训练集和测试集；将获取到的数据集进行预处理，生成虚拟点云数据；构建基于虚拟点云的三维目标检测网络模型；将训练集生成的虚拟点云数据代入到基于虚拟点云的三维目标检测网络模型进行迭代训练；将测试集生成的虚拟点云数据代入到训练后的基于虚拟点云的三维目标检测网络模型进行预测结果，并检测每一帧点云场景中的物体。本发明能够解决由于点云数据自身的稀疏性和不完整性造成的小目标物体检测困难的问题，使得稀疏点云目标检测结果更加准确，提高小目标物体的检测精度。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图中：

图1为本发明实施例一提供的基于虚拟点云的三维目标检测方法的流程图；

图2为本发明的实施例二提供的基于虚拟点云的三维目标检测***的模块示意图；

图3为本发明的实施例三提供的基于虚拟点云的三维目标检测***的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一实施方式：

本发明的第一实施方式提供了一种基于虚拟点云的三维目标检测方法，包括：获取数据集，将数据集划分为训练集和测试集；将获取到的数据集进行预处理，生成虚拟点云数据；构建基于虚拟点云的三维目标检测网络模型；将训练集生成的虚拟点云数据代入到基于虚拟点云的三维目标检测网络模型进行迭代训练；将测试集生成的虚拟点云数据代入到训练后的基于虚拟点云的三维目标检测网络模型进行预测结果，并检测每一帧点云场景中的物体。本发明能够解决由于点云数据自身的稀疏性和不完整性造成的小目标物体检测困难的问题，使得稀疏点云目标检测结果更加准确，提高了小目标物体的检测精度。

下面对本实施方式的基于虚拟点云的三维目标检测方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施方式的具体流程如图1所示，本实施方式应用于基于虚拟点云的三维目标检测***。

步骤S1，获取数据集，将数据集划分为训练集和测试集。

具体而言，从公开数据集中获取若干幅带有标注信息的RGB图像、与每幅RGB图相对应场景的带有标注信息的点云数据、与RGB图相对齐的深度图以及用于RGB图像和点云数据相互转换的相机内参、外参校正文件。

在一些示例中，从公开数据集KITTI中，获取若干幅带有标注信息的RGB图像、与每幅RGB图相对应场景的带有标注信息的点云数据、与RGB图相对齐的深度图以及用于RGB图像和点云数据相互转换的相机内参、外参校正文件Calib。下面展示Calib校正文件的部分内容，以下矩阵表示了相机的内参矩阵P，用于计算点云空间位置坐标在相机坐标系下的坐标。所述内参数矩阵P为：

以下矩阵表示了相机的外参矩阵Tr_velo_to_cam，外参矩阵Tr用来将点云从原始点云场景坐标系转换到世界坐标系中，所述外参矩阵Tr为：

以下矩阵表示了校准矩阵R，校正矩阵R用于在进行外参矩阵变化之后，进行校正得到相机坐标系下的坐标，所述校正矩阵R为：

同时需要对生成的虚拟点云数据需要只保留前视角的点，并且高于4.2米的点云需要去噪处理，之后进行随机水平翻转。

KITTI数据集是一个广泛用于自动驾驶和计算机视觉研究的公开数据集。它由德国卡尔斯鲁厄理工学院和德国马普学会联合创建，是基于汽车上的传感器收集的，包括多个摄像头和激光雷达。其中图像数据包含各种类型的图像，包括灰度图像、彩色图像和深度图像。这些图像提供了从车辆不同位置和角度捕获的场景视图。点云数据包括通过激光雷达收集的点云数据，这些点云数据提供了对场景中物体的准确距离和形状信息。标准数据提供了对图像和点云数据进行标注的注释，这些注释包括车辆、行人、道路、标志、车道线等的边界框和语义标签。此外，还提供了车辆姿态、光流、视差和深度估计等其他注释。数据集被划分为7481副RGB图像和对应场景下的点云数据、7518副图像和对应场景下的点云数据。

步骤S2，将获取到的数据集进行预处理，生成虚拟点云数据。

具体而言，利用校正文件将原始点云数据中的点云映射到RGB图像像素点，可以得到每个像素点带有深度信息的稀疏深度图，然后借助训练好的深度补全网络对稀疏深度信息图进行处理，可以得到稠密深度信息图，在RGB图上进行目标边缘检测去噪，使用经过噪点去除的稠密信息图中带有深度信息的像素点生成虚拟点云。具体步骤如下：

步骤S2-1，利用calib校正文件中的内参矩阵P、外参矩阵Tr、校正矩阵R、将原始点云数据中的点云映射到RGB图像像素点X，像素点映射公式为：

其中，X为图像像素点，为原始点云数据，Tr为外参矩阵，R为校正矩阵，P为内参矩阵。

步骤S2-2，通过步骤S2-1能够得到每个像素点带有深度信息的稀疏深度图D，然后借助预设的深度补全网络PENet，对稀疏深度信息图D进行处理，可以得到稠密深度信息图D*。

步骤S2-3，在RGB图上进行目标边缘检测，采用canny边缘检测算法进行目标检测包括：首先采用高斯滤波器，以平滑图像，滤除噪声；然后计算图像中每个像素点的梯度强度和方向；再应用非极大值抑制，以消除边缘检测带来的杂散响应；再应用双阈值检测来确定真实的和潜在的边缘；最后通过抑制孤立的弱边缘最终完成边缘检测。得到物体的边缘噪点之后映射到稠密深度信息图D*中，然后去掉噪点像素。

步骤S2-4，使用经过噪点去除的稠密信息图D*中带有深度信息的像素点X*生成虚拟点云，点云映射公式为：

其中，为虚拟点云数据，Tr为外参矩阵，R为校正矩阵，P为内参矩阵，X*为带有深度信息的像素点。

步骤S3，构建基于虚拟点云的三维目标检测网络模型。

具体而言，所述基于虚拟点云的三维目标检测网络模型包括依次连接的点云体素化模块、辅助网络模块、点云特征提取模块、候选框生成模块和检测头模块。

点云体素化模块对每帧的虚拟点云数据在X轴上裁剪保留[0,70.4]m范围，在Y轴上裁剪保留[-40,40]m范围，在X轴上裁剪保留[-3,1]m范围，每个体素的大小为[0.05,0.05, 0.05]m，划分出若干体素。

辅助网络模块包括点云坐标系转换模块、辅助网络标签生成模块、点云编解码模块和辅助网络检测模块。

点云坐标系转换模块将点云投影到球面坐标系来识别虚拟点云可能被遮挡造成点云缺失的区域，球面坐标系坐标转换公式为：

其中，、/>、/>为笛卡尔坐标系下的点云坐标；/>为半径，即点云点到球心的距离；/>为方位角，即点云点与球心连线在水平平面上的角度；/>为俯仰角，即点云点与球心连线与球的垂直轴之间的角度。

通过点云坐标系转换模块，采用球坐标表示，使得点云的每个点有三个值（，/>，/>）表示，从而描述点在球面上的位置和方向。

辅助网络标签生成模块包括首先利用虚拟点V来生成近似完整的点云目标A，在训练阶段通过获取到每个物体的标签来为虚拟点做镜像补点，同时判断每个物体与训练集中其他物体B的相似性得分，将其他物体的点云添加到待补点的物体中来获得完整点。不同物体的相似度判断公式为：

其中，A为近似完整的点云目标，B为训练集中其他物体，P_A为A点云目标所在集合，P_B为B点云目标所在集合，D_A为A的边界框，D_B为B的边界框。αIoU计算A物体和B物体的边界框的交并比，用于判断两个边界框的相似度。

得到近似完整的物体点云之后，首先将球面坐标系下的点云场景划分为均匀网格，然后将物体点云放置到点云在球面坐标系下可能存在遮挡的区域当中，如果该网格中存在点云，则设置该网格的物体形状占用概率标签为1。

点云编解码模块包括两个点云下采样层和两个点云上采样层，两个下采样层的输出维度分别为32，64，两个上采层的维度都为32。

辅助网络检测模块，用来预测每个网格中物体形状占用概率。输出的占用概率/>被辅助网络聚焦损失函数L_focal和辅助网络形状损失函数L_shape同时监督。辅助网络聚焦损失函数公式为：

其中，L_focal为辅助网络聚焦损失函数，γ参数是控制调节难易样本的权重的参数。

若球面坐标系下的点云场景划分为均匀网格存在经过镜像和同类物体互相补点之后的点云，则,其他情况下/>。

辅助网络形状损失函数公式为：

其中，L_shape为辅助网络形状损失函数，v为球面坐标系中划分的一个个网格，L_focal为辅助网络聚焦损失函数，W_v为小于1的权重因子，R为点云可能存在遮挡的区域。

点云特征提取模块用于提取经过体素化的虚拟点云数据的特征，并且前两层的特征映射与辅助任务的输出相融合，其所包含4个堆叠的特征编码模块，第一个模块由2个子流形稀疏3D卷积组成，第二个和第三个模块由1个稀疏3D卷积和2个子流形稀疏3D卷积组成，第四个模块由1个稀疏3D卷积和1个子流形稀疏3D卷积组成，每一层的输出维度分别为16，32，64，64。同时第二层的特征经过2层稀疏卷积得到32维的特征，与第三层的特征经过1层稀疏卷积得到32维的特征、第四层的32维特征、并与辅助网络的输出/>融合得到一个全局特征f_g。

候选框生成模块用于接收经过点云特征提取模块中4个堆叠的特征编码模块得到的特征，生成候选框及其对应的目标分数和位置偏移量。为了生成候选框，对于每个类，首先将锚大小设置为平均3D对象的大小，并将预设框方向设置为0°和90°，对每个点生成6个锚，包括3个0°的锚和90°的锚，三个类别一共18个锚。其中，锚表示预设的三维框。计算锚中的每个点到标注的目标框中心点的距离，分别用x_t,y_t,z_t表示，计算公式为：

其中，x_t,y_t,z_t为每个点到标注的目标框中心点的距离，d_a为斜边长度，l_a为候选框的长度，w_a为候选框的宽度。

锚的尺度相当于目标框的尺度变化，计算公式为：

其中w_g,l_g,h_g为目标框的尺度，w_t为目标框宽度变化值，l_t为目标框长度变化值，h_t为目标框高度变化值，θ_t为锚和目标框的偏航角。

在一些示例中，在训练时，若车辆的锚和目标框的交并比大于0.6 ，则将车辆的锚点分配给目标框；若交并比小于0.45 ，则将其视为背景锚点。对于行人和骑自行车的人，前景目标匹配阈值为0.5，背景匹配阈值为0.35。随后，候选框生成网络根据预测的目标分数，通过应用位置偏移量来调整候选框的位置和尺度对锚进行筛选，并选择具有最高分数的一些锚框作为候选框。同时，通过应用位置偏移量来调整候选框的位置和尺度，以更好地与真实目标框匹配。最后经过非极大值抑制，消除冗余的候选框，来选择最终的检测框。非极大值抑制会根据候选框之间的重叠程度和目标分数，保留最相关的框并抑制其他框。

具体的，预设候选框生成模块总损失函数为L_rpn，候选框生成模块方向回归损失函数计算公式为：

其中，为候选框生成模块方向回归损失函数，θ_p为预测框的角度，θ_t为真实标注框的角度。

由于上述候选框生成模块方向回归损失函数对相反方向无法区分，因此还使用了方向分类器，并由损失函数进行监督。

候选框生成模块分类损失函数计算公式为：

其中，为候选框生成模块分类损失函数；L_focal为辅助网络聚焦损失函数；如果候选框是正例，则p_t=p_p，其他情况下p_t=1-p_p，p_p为预测的前景得分，α_t=0.25，γ=2。

候选框生成模块总损失函数计算公式为：

其中，L_rpn为候选框生成模块总损失函数，N_a为采样锚点的个数，τ(f≥1)为只对前景锚点进行回归损失，为对编码的x_t,y_t,z_t,w_t,h_t,l_t的SmoothL1回归损失，为预测角度的方向分类损失。

检测头模块通过使用辅助网络模块和点云特征提取模块融合生成的全局特征f_g对候选框进行校正。对于每一个候选框，划分3×3×3的网格，该网格在X,Y,Z方向上的尺寸分别为12，4，2个单元格长度。将每个网格送入三层3D稀疏卷积特征提取进行特征提取，之后送入全连接网络，并输出残差回归和类置信度分数，从而得到最终的边界框预测。

预设检测头模块损失函数为L_pr，计算网格的中心相当于每个候选框中心的偏移，检测头模块损失函数计算公式为：

其中，L_pr为检测头模块损失函数，N_p为采样提案的个数，为二值交叉熵损失函数对正负样本都应用分类损失，τ(f≥1)为只对正样本应用回归损失。

具体的，和/>的计算方式与候选框生成模块中相应的回归损失相同。

三维目标检测网络模型总损失函数，包括辅助网络形状损失函数、候选框生成模块总损失函数和检测头模块损失函数。三维目标检测网络模型的总损失函数的计算公式为：

其中，L_total为三维目标检测网络模型总损失函数，L_shape为辅助网络形状损失函数，L_rpn为候选框生成模块总损失函数，L_pr为检测头模块损失函数。

步骤S4，将训练集生成的虚拟点云数据代入到基于虚拟点云的三维目标检测网络模型进行迭代训练。

具体而言，实验在ubuntu16.04***上进行，模型训练使用pytorch1.6深度学习框架，使用2块英伟达2080Ti显卡，总显存22GB。训练和推理过程，每次都将2个预处理过的虚拟点云场景送入网络，进行前向传播。同一批数据分为两批次处理，一批数据首先用作辅助网络的训练，辅助网络通过训练学习获得每个物体在遮挡区域可能存在的概率，并将概率与主网络的中间特征映射相连接，用于主干网络更好地提取特征，随后输入到候选框生成模块，用来生成候选框P={x,y,z,l,w,h,0}，其中x，y，z表示候选框的中心点坐标值，l，w，h分别表示每个候选框的长、宽和高，0表示每个候选框的旋转角度值。之后使用主干网络的第二层、第三层和最后一层的特征映射与辅助网络预测的概率进一步融合形成的一个局部几何特征f_g来校正候选框，最后得到三维目标检测框。

步骤S5，将测试集生成的虚拟点云数据代入到训练后的基于虚拟点云的三维目标检测网络模型进行预测结果，并检测每一帧点云场景中的物体。

第二实施方式：

如图2所示，本发明的第二实施方式提供一种基于虚拟点云的三维目标检测***，包括：采集模块201、预处理模块202、建模模块203、训练模块204、检测模块205。

具体而言，采集模块201，用于获取数据集，将数据集划分为训练集和测试集；预处理模块202，用于将获取到的数据集进行预处理，生成虚拟点云数据；建模模块203，用于构建基于虚拟点云的三维目标检测网络模型；训练模块204，用于将训练集生成的虚拟点云数据代入到基于虚拟点云的三维目标检测网络模型进行迭代训练；检测模块205，用于将测试集生成的虚拟点云数据代入到训练后的基于虚拟点云的三维目标检测网络模型进行预测结果，并检测每一帧点云场景中的物体。

不难发现，本实施方式为与第一实施方式相对应的***实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

第三实施方式：

本发明的第三实施方式提供了一种网络侧服务端，如图3所示，包括至少一个处理器301；以及，与至少一个处理器301通信连接的存储器302；其中，存储器302存储有可被至少一个处理器301执行的命令，指令至少被一个处理器301执行，以使至少一个处理器301能够执行上述的数据处理方法。

其中，存储器302和处理器301采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器301和存储器302的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器301处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器301。

处理器301负责管理总线和通常的处理，还可以提供各种功能，包括定时，***接口，电压调节、电源管理以及其他控制功能。而存储器302可以被用于存储处理器301在执行操作时所使用的数据。

第四实施方式：

本发明的第四实施方式提供了一种计算机读存储介质，存储有计算机程序。计算机程序被处理器执行时实现第一实施方式中的基于虚拟点云的三维目标检测方法。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于虚拟点云的三维目标检测方法，其特征在于，包括：

S1，获取数据集，将数据集划分为训练集和测试集；

S2，将获取到的数据集进行预处理，生成虚拟点云数据；

S3，构建基于虚拟点云的三维目标检测网络模型；

S4，将训练集生成的虚拟点云数据代入到基于虚拟点云的三维目标检测网络模型进行迭代训练；

S5，将测试集生成的虚拟点云数据代入到训练后的基于虚拟点云的三维目标检测网络模型进行预测结果，并检测每一帧点云场景中的物体；

所述将获取到的数据集进行预处理，生成虚拟点云数据，包括：

S2-1，利用calib校正文件中的内参矩阵P、外参矩阵Tr、校正矩阵R、将原始点云数据中的点云映射到RGB图像像素点X；

S2-2，通过步骤S2-1能够得到每个像素点带有深度信息的稀疏深度图D，然后借助预设的深度补全网络PENet，对稀疏深度信息图D进行处理，可以得到稠密深度信息图D*；

S2-3，在RGB图上进行目标边缘检测，采用canny边缘检测算法进行目标检测，包括：首先采用高斯滤波器，以平滑图像，滤除噪声；然后计算图像中每个像素点的梯度强度和方向；再应用非极大值抑制，以消除边缘检测带来的杂散响应；再应用双阈值检测来确定真实的和潜在的边缘；最后通过抑制孤立的弱边缘最终完成边缘检测，得到物体的边缘噪点之后映射到稠密深度信息图D*中，然后去掉噪点像素；

S2-4，使用经过噪点去除的稠密信息图D*中带有深度信息的像素点生成虚拟点云。

2.根据权利要求1所述的基于虚拟点云的三维目标检测方法，其特征在于，S1中，所述获取数据集，包括：从公开数据集中获取若干幅带有标注信息的RGB图像、与每幅RGB图相对应场景的带有标注信息的点云数据、与RGB图相对齐的深度图以及用于RGB图像和点云数据相互转换的相机内参、外参校正文件。

3.根据权利要求1所述的基于虚拟点云的三维目标检测方法，其特征在于，S2-1中，像素点映射公式为：

其中，X为图像像素点，为原始点云数据，Tr为外参矩阵，R为校正矩阵，P为内参矩阵。

4.根据权利要求1所述的基于虚拟点云的三维目标检测方法，其特征在于，S2-4中，点云映射公式为：

其中，为虚拟点云数据，Tr为外参矩阵，R为校正矩阵，P为内参矩阵，X*为带有深度信息的像素点。

5.根据权利要求1所述的基于虚拟点云的三维目标检测方法，其特征在于，S3中，所述基于虚拟点云的三维目标检测网络模型包括依次连接的点云体素化模块、辅助网络模块、点云特征提取模块、候选框生成模块和检测头模块，所述辅助网络模块包括点云坐标系转换模块、辅助网络标签生成模块、点云编解码模块和辅助网络检测模块；

所述点云坐标系转换模块将点云投影到球面坐标系来识别虚拟点云可能被遮挡造成点云缺失的区域，球面坐标系坐标转换公式为：

其中，、/>、/>为笛卡尔坐标系下的点云坐标；/>为半径，即点云点到球心的距离；/>为方位角，即点云点与球心连线在水平平面上的角度；/>为俯仰角，即点云点与球心连线与球的垂直轴之间的角度；

通过点云坐标系转换模块，采用球坐标表示，使得点云的每个点有三个值（，/>，/>）表示，从而描述点在球面上的位置和方向；

所述辅助网络标签生成模块包括首先利用虚拟点V来生成近似完整的点云目标A，在训练阶段通过获取到每个物体的标签来为虚拟点做镜像补点，同时判断每个物体与训练集中其他物体B的相似性得分，将其他物体的点云添加到待补点的物体中来获得完整点；不同物体的相似度判断公式为：

其中，A为近似完整的点云目标，B为训练集中其他物体，P_A为A点云目标所在集合，P_B为B点云目标所在集合，D_A为A的边界框，D_B为B的边界框；αIoU计算A物体和B物体的边界框的交并比，用于判断两个边界框的相似度；

得到近似完整的物体点云之后，首先将球面坐标系下的点云场景划分为均匀网格，然后将物体点云放置到点云在球面坐标系下可能存在遮挡的区域当中，如果该网格中存在点云，则设置该网格的物体形状占用概率标签为1；

所述点云编解码模块包括两个点云下采样层和两个点云上采样层，两个下采样层的输出维度分别为32，64，两个上采层的维度都为32；

辅助网络检测模块，用来预测每个网格中物体形状占用概率；输出的占用概率被辅助网络聚焦损失函数L_focal和辅助网络形状损失函数L_shape同时监督；辅助网络聚焦损失函数公式为：

其中，L_focal为辅助网络聚焦损失函数，γ参数是控制调节难易样本的权重的参数；

若球面坐标系下的点云场景划分为均匀网格存在经过镜像和同类物体互相补点之后的点云，则,其他情况下/>；

所述辅助网络形状损失函数公式为：

其中，L_shape为辅助网络形状损失函数，v为球面坐标系中划分的一个个网格，L_focal为辅助网络聚焦损失函数，W_v为小于1的权重因子，R为点云可能存在遮挡的区域。

6.根据权利要求5所述的基于虚拟点云的三维目标检测方法，其特征在于，所述点云体素化模块对每帧的虚拟点云数据在X轴上裁剪保留[0,70.4]m范围，在Y轴上裁剪保留[-40,40]m范围，在X轴上裁剪保留[-3,1]m范围，每个体素的大小为[0.05, 0.05, 0.05]m，划分出若干体素。

7.根据权利要求6所述的基于虚拟点云的三维目标检测方法，其特征在于，所述辅助网络标签生成模块包括首先利用虚拟点V来生成近似完整的点云目标A，在训练阶段通过获取到每个物体的标签来为虚拟点做镜像补点，同时判断每个物体与训练集中其他物体B的相似性得分，将其他物体的点云添加到待补点的物体中来获得完整点，不同物体的相似度判断公式为：

其中，A为近似完整的点云目标，B为训练集中其他物体，P_A为A点云目标所在集合，P_B为B点云目标所在集合，D_A为A的边界框，D_B为B的边界框，αIoU计算A物体和B物体的边界框的交并比，用于判断两个边界框的相似度。

8.一种基于虚拟点云的三维目标检测***，其特征在于，应用于权利要求1-7中所述基于虚拟点云的三维目标检测方法，所述三维目标检测***包括：

采集模块，用于获取数据集，将数据集划分为训练集和测试集；

预处理模块，用于将获取到的数据集进行预处理，生成虚拟点云数据；

建模模块，用于构建基于虚拟点云的三维目标检测网络模型；

训练模块，用于将训练集生成的虚拟点云数据代入到基于虚拟点云的三维目标检测网络模型进行迭代训练；

检测模块，用于将测试集生成的虚拟点云数据代入到训练后的基于虚拟点云的三维目标检测网络模型进行预测结果，并检测每一帧点云场景中的物体。