CN111401264A - 车辆目标检测方法、装置、计算机设备和存储介质 - Google Patents

车辆目标检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111401264A
CN111401264A CN202010194177.5A CN202010194177A CN111401264A CN 111401264 A CN111401264 A CN 111401264A CN 202010194177 A CN202010194177 A CN 202010194177A CN 111401264 A CN111401264 A CN 111401264A
Authority
CN
China
Prior art keywords
target
vehicle
cloud data
point cloud
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010194177.5A
Other languages
English (en)
Inventor
周康明
郭义波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202010194177.5A priority Critical patent/CN111401264A/zh
Publication of CN111401264A publication Critical patent/CN111401264A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种车辆目标检测方法、装置、计算机设备和存储介质，通过获取目标三维空间的点云数据，对目标三维空间的点云数据进行2D体素化，并将2D体素化后的点云数据输入至预设的包括高分辨率网络HRNet网络和区域生成网络RPN网络的三维车辆检测网络中，然后对三维车辆检测网络的输出结果进行解码、筛选，得到目标三维空间中所有车辆目标的检测框。该方法可以极大地提升三维车辆目标检测的性能，使得检测结果更加精确。

Description

车辆目标检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及目标检测技术领域，特别是涉及一种车辆目标检测方法、装置、计算机设备和存储介质。
背景技术
机器人或者无人驾驶车辆通过3D目标检测技术来感知周围空间环境，并依据感知的周边环境做出路径规划，从而实现机器人的自动操控或无人车的安全驾驶。
常用的3D检测算法可以分为基于单目2D图像的方法、基于双目2D图像的方法、基于3D激光点云方法，以及同时采用2D图像和3D激光点云的方法，通过这些检测算法，检测出车辆在三维空间的位置信息(车辆目标在三维空间的中心点坐标x,y,z)，车辆的长宽高和车辆的偏航角(偏航角指车头与y轴正方向的夹角)等信息，以完整地检测出三维空间中车辆目标。
然而，现有的3D车辆检测算法在检测车辆目标时不能够精确地检测到各车辆目标。
发明内容
基于此，有必要针对上述技术问题，提供一种车辆目标检测方法、装置、计算机设备和存储介质。
第一方面，本申请实施例提供一种车辆目标检测方法，该方法包括：
获取目标三维空间的点云数据；
对目标三维空间的点云数据进行2D体素化；
将2D体素化后的点云数据输入至预设的三维车辆检测网络中；三维车辆检测网络包括高分辨率网络HRNet网络和区域生成网络RPN网络；
对三维车辆检测网络的输出结果进行解码、筛选，得到目标三维空间中所有车辆目标的检测框。
在其中一个实施例中，上述对目标三维空间的点云数据进行2D体素化，包括：
将目标三维空间划分为多个小空间；点云数据随机分布在各小空间中；
转换目标三维空间为同等规格的矩阵，且矩阵中的单元格与目标三维空间中的各小空间一一对应；
若目标三维空间中的小空间中存在点云数据，则对矩阵中对应的单元格填充第一值，若目标三维空间中的小空间中不存在点云数据，则对矩阵中对应的单元格填充第二值；其中，第一值与第二值不同。
在其中一个实施例中，上述将2D体素化后的点云数据输入至预设的三维车辆检测网络中，包括：
将2D体素化后的点云数据输入至HRNet网络，提取2D体素化后的点云数据的深度特征；
将深度特征输入至RPN网络中，得到2D体素化后的点云数据的分类结果和回归结果；其中，分类结果包括是否为车辆目标的预测概率结果，以及偏航角类别的预测结果；回归结果回归的锚点框与真值之间偏差的预测结果；锚点框表征预先生成的预选框。
在其中一个实施例中，上述对三维车辆检测网络的输出结果进行解码、筛选，得到目标三维空间中所有车辆目标的检测框，包括：
获取车辆目标的预测概率结果中概率最高的预设数量的锚点框；
对预设数量的锚点框的回归结果进行解码，并根据解码结果和偏航角类别的预测结果，确定预设数量的锚点框实际输出值；
通过非极大值抑制算法和预设数量的锚点框对应的车辆目标的预测概率结果，对预设数量的锚点框实际输出值进行筛选，得到目标三维空间中所有车辆目标的检测框。
在其中一个实施例中，上述获取目标三维空间的点云数据，包括：
通过激光雷达获取目标三维空间中各物体表面点在目标三维空间的坐标位置，得到点云数据。
在其中一个实施例中，上述三维车辆检测网络的训练过程，包括：
获取多个样本三维空间的点云数据；样本三维空间的点云数据中包括样本三维空间中各车辆目标的标准标注框；
对多个样本三维空间的点云数据分别进行2D体素化；
将2D体素化的各样本点云数据输入至初始三维车辆检测网络的初始HRNet网络进行深度特征提取，并将提取的深度特征输入至初始三维车辆检测网络的初始RPN网络中，得到2D体素化的各样本点云数据的分类结果和回归结果；
根据2D体素化的各样本点云数据的分类结果和回归结果，确定初始三维车辆检测网络的损失函数的值，直到损失函数的值的变化幅度处于预设范围内，得到三维车辆检测网络。
在其中一个实施例中，该方法还包括：
根据初始HRNet网络提取的深度特征，确定与深度特征规格相同的坐标点矩阵；
以坐标点矩阵中的每个坐标点为中心，生成与预设偏航角对应数量的锚点框；
对锚点框中的正类锚点框进行编码，得到编码后的回归标签标准值；正类锚点框表示锚点框与对应标准标注框的交并比大于预设值；
对正类锚点框的偏航角类别进行编码，得到编码后的偏航角分类标签标准值，以及对正类锚点框的车辆目标类别进行编码，得到编码后的车辆目标分类标签标准值。
在其中一个实施例中，上述损失函数包括回归损失函数、偏航角分类损失函数、车辆目标分类损失函数；2D体素化的各样本点云数据的分类结果包括车辆目标的预测概率结果和偏航角类别的预测结果；
则上述根据2D体素化的各样本点云数据的分类结果和回归结果，确定初始三维车辆检测网络的损失函数的值，包括：
根据2D体素化的各样本点云数据的回归结果和编码后的回归标签标准值，确定回归损失函数的值；
根据偏航角类别的预测结果和编码后的偏航角分类标签标准值，确定偏航角分类损失函数的值；
根据车辆目标的预测概率结果和编码后的车辆目标分类标签标准值，确定车辆目标分类损失函数的值。
第二方面，本申请实施例提供一种车辆目标检测装置，该装置包括：
获取模块，用于获取目标三维空间的点云数据；
转换模块，用于对目标三维空间的点云数据进行2D体素化；
检测模块，用于将2D体素化后的点云数据输入至预设的三维车辆检测网络中；三维车辆检测网络包括高分辨率网络HRNet网络和区域生成网络RPN网络；
处理模块，用于对三维车辆检测网络的输出结果进行解码、筛选，得到目标三维空间中所有车辆目标的检测框。
第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面实施例提供的任一项方法的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面实施例提供的任一项方法的步骤。
本申请实施例提供的一种车辆目标检测方法、装置、计算机设备和存储介质，通过获取目标三维空间的点云数据，对目标三维空间的点云数据进行2D体素化，并将2D体素化后的点云数据输入至预设的包括高分辨率网络HRNet网络和区域生成网络RPN网络的三维车辆检测网络中，然后对三维车辆检测网络的输出结果进行解码、筛选，得到目标三维空间中所有车辆目标的检测框。该方法中，通过将三维点云数据2D体素化，丢弃了点云数据的坐标信息，只保留点云在体素空间的位置信息，且保留的位置信息同样能够表征车辆目标的几何形状，因此，在不损失车辆目标几何形状的前提下减少数据量，把得到的2D体素数据输入到HRNet网络进行提取特征，通过HRNet的特征提取和融合能力得到更具判别能力的表征车辆目标位置与几何形状的深度特征，把得到的深度特征应用于RPN网络，可以极大地提升三维车辆目标检测的性能，使得检测结果更加精确。
附图说明
图1为一个实施例提供的一种车辆目标检测方法的应用环境图；
图2为一个实施例提供的一种车辆目标检测方法的流程示意图；
图3为另一个实施例提供的一种车辆目标检测方法的流程示意图；
图4为另一个实施例提供的一种车辆目标检测方法的流程示意图；
图4a为一个实施例中提供的HRNet网络提取深度特征示意图；
图4b为一个实施例中提供的RPN网络输出回归和分类结果示意图；
图5为另一个实施例提供的一种车辆目标检测方法的流程示意图；
图6为一个实施例提供的三维空间点云数据示意图；
图7为另一个实施例提供的一种车辆目标检测方法的流程示意图；
图8为另一个实施例提供的一种车辆目标检测方法的流程示意图；
图9为另一个实施例提供的一种车辆目标检测方法的示意图；
图10为一个实施例提供的一种车辆目标检测装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
请参见图1，本申请提供一种车辆目标检测方法的应用环境，该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该处理器用。该非易失性存储介质存于提供计算和控制能力。该存储器包括非易失性存储介质、内存储器储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该数据库用于存储一种车辆目标检测方法的数据。该网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆目标检测方法。可以理解的是，图1所示的计算机设备内部结构一种示例，并不用作限定。
本申请实施例提供一种车辆目标检测方法、装置、计算机设备和存储介质，能够更加精确的检测出三维空间中的车辆目标。下面将通过实施例并结合附图具体地对本申请的技术方案及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是，本申请提供的一种车辆目标检测方法，图2-图9的执行主体为计算机设备。其中，图2-图9的执行主体还可以是车辆目标检测装置，其中该装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
在一个实施例中，图2提供了一种车辆目标检测方法，本实施例涉及的是计算机设备获取到目标三维空间的点云数据后，将该点云数据2D体素化，并将2D体素化的点云数据输入至预设三维车辆检测网络中，以及对三维车辆检测网络的输出结果进行编码筛选的具体过程，如图2所示，所述方法包括：
S101，获取目标三维空间的点云数据。
其中，目标三维空间表示的是待检测的三维空间，点云数据表示的是物体表面点在三维空间x,y,z坐标空间内的位置构成的集合。
示例地，计算机设备获取目标三维空间的点云数据，可以通过由3D扫描设备获取，例如，通过激光雷达获取目标三维空间的点云数据。可以理解的是，既然是三维空间的点云数据，所以本步骤获取的点云数据是三维数据。
S102，对目标三维空间的点云数据进行2D体素化。
基于上述获取的目标三维空间的点云数据，计算机设备对该点云数据进行2D体素化，其中体素化(Voxelization)指的是将物体的几何形式表示转换成最接近该物体的体素表示形式，产生体数据集，其不仅包含模型的表面信息，而且能描述模型的内部属性。也就是说将三维的点云数据2D体素化后，把点云数据转化为2D数据。其中，对目标三维空间的点云数据进行2D体素化的方式可以是通过矩阵转换的方式，也可以是通过预设的算法模型进行转换，本实施例对此不作限定。
S103，将2D体素化后的点云数据输入至预设的三维车辆检测网络中；三维车辆检测网络包括高分辨率网络HRNet网络和区域生成网络RPN网络。
基于2D体素化的点云数据，将该点云数据输入至预设的三维车辆检测网络中，其中，三维车辆检测网络包括高分辨率网络(High Resolution Network，HRNet)和区域生成网络(Region Proposal Network，RPN)。HRNet作为一种通用的特征提取主干网络，具有以下优点：一是特征提取全程保持高分辨率，二是特征提取过程中不同分辨率特征交叉融合。以上优点保证数据在通过HRNet的过程中，在保持高分辨率特征的同时实现多尺度特征的融合，从而可以得到更抽象更具判别力的特征。
由于HRNet的只能处理规则的2D数据，因此上述S102步骤将点云数据2D体素化后的得到的2D数据可以直接输入至HRNet网络中，即把3D点云数据转换为2D体素数据，这样就能直接输入到HRNet网络中得到高度抽象特征，HRNet的特征提取和融合能力可以得到更具判别能力的表征车辆目标位置与几何形状的深度特征，把此深度特征应用于RPN网络将会提升3D车辆目标检测的性能，使得到的输出框更加准确。
S104，对三维车辆检测网络的输出结果进行解码、筛选，得到目标三维空间中所有车辆目标的检测框。
上述步骤中2D体素化后的点云数据经过三维车辆检测网络后，得到的输出结果即为RPN网络输出的分类结果和回归结果，因为RPN网络输出的结果是预测结果，需要解码才能转换为实际输出值，然后从实际输出值中筛选出筛选出最优结果，即可得到目标三维空间中所有车辆目标的检测框。
本实施例提供的车辆目标检测方法，通过获取目标三维空间的点云数据，对目标三维空间的点云数据进行2D体素化，并将2D体素化后的点云数据输入至预设的包括高分辨率网络HRNet网络和区域生成网络RPN网络的三维车辆检测网络中，然后对三维车辆检测网络的输出结果进行解码、筛选，得到目标三维空间中所有车辆目标的检测框。该方法中，通过将三维点云数据2D体素化，丢弃了点云数据的坐标信息，只保留点云在体素空间的位置信息，且保留的位置信息同样能够表征车辆目标的几何形状，因此，在不损失车辆目标几何形状的前提下减少数据量，把得到的2D体素数据输入到HRNet网络进行提取特征，通过HRNet的特征提取和融合能力得到更具判别能力的表征车辆目标位置与几何形状的深度特征，把得到的深度特征应用于RPN网络，可以极大地提升三维车辆目标检测的性能，使得检测结果更加精确。
以上实施例的基础上，本申请实施例还提供了一种车辆目标检测方法，其涉及的是计算机设备对目标三维空间的点云数据进行2D体素化的具体过程，如图3所示，上述S102步骤包括：
S201，将目标三维空间划分为多个小空间；点云数据随机分布在各小空间中。
在上述步骤中一开始获取的点云数据是目标三维空间的，也就是点云数据分布在目标三维空间中，那么将目标三维空间划分为多个小空间后，点云数据会随机分布在各个小空间中。
示例地，以目标三维空间为x轴(0,70.4)、y轴(-40,40)、z轴(-3,1)空间为例，其中，该x、y、z是以现有的激光雷达的量程举例说明的，则点云数据分布在x轴(0,70.4)、y轴(-40,40)、z轴(-3,1)目标三维空间内，把此目标三维空间沿x轴均分1408份，沿y轴均分1600份,沿z轴均分40份，因此，得到1600*1408*40个大小为0.05,0.05,0.1的小空间。可以理解的是，这里对x轴、y轴以及z轴进行均分只是一种举例，实际应用中，可根据实际情况对其进行其他数量的均分，本实施例对此不作限定。
S202，转换目标三维空间为同等规格的矩阵，且矩阵中的单元格与目标三维空间中的各小空间一一对应。
划分了目标三维空间为多个小空间后，将其转换为同等规格的矩阵，转换的矩阵中，每个单元格对应目标三维空间中的一个小空间，也就是目标三维空间有多少个小空间，转换的矩阵就有相同数量的单元格。
示例地，首先生成的矩阵中所有单元格均为空，以上述S201步骤中把目标三维空间沿x轴均分1408份，沿y轴均分1600份,沿z轴均分40份为例，则生成一个形状为1600*1408*40的全0矩阵。此矩阵中的每一个数据位置与点云空间的每一个小空间存在一一对应的关系。
S203，若目标三维空间中的小空间中存在点云数据，则对矩阵中对应的单元格填充第一值，若目标三维空间中的小空间中不存在点云数据，则对矩阵中对应的单元格填充第二值；其中，第一值与第二值不同。
在生成上述矩阵后，本步骤中对矩阵中每单元格填充数值，即对矩阵内的每一位置进行赋值，如果单元格对应的小空间内有点云，那么此小空间对应的矩阵位置(单元格)就赋值第一值，例如赋值1，否则赋值第二值，例如赋值0，这样，依次对矩阵中所有单元格填充值后，可以得到一个3维的2D体素化数据。例如，该矩阵可以看作是40层的1600*1408大小的二维矩阵堆叠而成。
本实施例中，因为对与包括多个小空间的目标三维空间同等规格的矩阵中填充数值时，对有点云的位置与其他没有点云的位置赋不同的值，就可以完整地体现出各点云所在的位置，这样，通过本实施例提供的点云体素化方法，虽然忽略了点云的坐标信息，但却完整地保留了点云的几何信息，同样可以表征出车辆目标在数据空间中的形状和位置。当然，为了使得点云的几何信息更加精确完整，可以在划分目标三维空间时增加小空间的数量，当目标三维空间划分的小空间越多、越小，体素化后的点云的集合信息就越精确完整。
在一个实施例中，如图4所示，上述S103步骤中“将2D体素化后的点云数据输入至预设的三维车辆检测网络中”包括：
S301，将2D体素化后的点云数据输入至HRNet网络，提取2D体素化后的点云数据的深度特征。
三维车辆检测网络是由HRNet网络和RPN网络构成的，具体地，HRNet网络和RPN网络可参见S103步骤中的说明。那么本步骤中，将2D体素化后的点云数据输入至HRNet网络，以提取2D体素化后的点云数据的深度特征。
示例地，以上述S202步骤中列举的2D体素化后的点云数据为例，即2D体素化后的数据形状为1600*1408*40，因为可以看作是3维的2D体素化数据，即将其中的40看作为高度上的维度，例如彩色图片数据通常把第三维度称为通道维度，在这里可以把40称作通道数。因此体素化后的数据大小为1600*1408，通道数为40。把此数据输入到HRNet网络中提取特征。请参见图4a,为HRNet网络示意图，为了减少计算量，加快推理速度，对于前两层卷积层，使用了分组卷积，其中，第一层分组卷积分组数为8,第二层分组卷积分组数为16，则通过HRNet网络后得到了形状为200x176x128的深度特征。
S302，将深度特征输入至RPN网络中，得到2D体素化后的点云数据的分类结果和回归结果；其中，分类结果包括是否为车辆目标的预测概率结果，以及偏航角类别的预测结果；回归结果回归的锚点框与真值之间偏差的预测结果；锚点框表征预先生成的预选框。
上述步骤提取了2D体素化后的点云数据的深度特征之后，将提取的深度特征输入至RPN网络中，其中，RPN网络由回归分支和分类分支构成，且，回归分支和分类分支都是由多层卷积组成。其中，回归分支负责对车辆目标回归的锚点框(anchor-box)与车辆目标的真值之间偏差进行预测的结果，其中，锚点框(anchor-box)是目标检测中，预先生成的预选框，通过对这些预选框进行回归和分类，来实现对目标的检测，也就是说，回归分支输出的是回归的锚点框的偏差，即Δx、Δy、Δz、Δw、Δl、Δh、Δθ，这七个参数请参见上述实施例中的介绍，那么回归分支输出的结果的形式为矩阵形状为200x176x4x7。
其中，分类分支包括车辆分类分支和偏航角分类分支，车辆分类分支负责对是否是车辆进行预测，得到的是是否为车辆目标的预测概率结果，且该概率结果即为每一类别的概率，一共就两类别，是车或者不是车，例如，是车的概率和不是车的概率，假设是车用1表示，不是车用0表示，那么输出的预测概率即为[0,1]之间的连续值，且输出的车辆目标预测概率结果形状为200x176x4x2的矩阵。其中，偏航角分类负责对偏航角类别的预测，输出的是偏航角类别的预测结果，一共也是两类，偏航角类别是正或者负，偏航角分类分支输出的矩阵形状为200*176*4*2。
请参见图4b所示，其中该图中卷积框上的数据形状表示输入数据通过从卷积层后的数据形状，卷积框内参数从上到下依次表示为：卷积核数目，卷积核大小，滑动步长，填充个数，请具体参见图4b,该RPN网络有三种输出，包括车辆分类头car_cls_header(对应上述车辆分类分支),偏航角分类头heading_cls_header(对应上述偏航角分类分支),检测框回归头reg_header(对应上述回归分支)，且三种输出形状分别对应为200*176*4*2,200*176*4*2,200*176*4*7。
本实施例中通过2D体素化后的点云数据直接输入到HRNet网络中，可以得到高度抽象特征，进而高度抽象特征输入到RPN网络中输出回归结果和分类结果，极大地提高了车辆目标检测的准确性。
在一个实施例中，如图5所示，上述S104中“对三维车辆检测网络的输出结果进行解码、筛选，得到目标三维空间中所有车辆目标的检测框”包括：
S401，获取车辆目标的预测概率结果中概率最高的预设数量的锚点框。
本步骤是基于S103步骤中将2D体素化后点云数据输入至三维车辆检测网络中后，得到三维车辆检测网络的输出结果，结合上述S302步骤，该输出结果即为回归结果和分类结果，那么本步骤中，将分类结果中车辆目标的预测概率结果中，概率最高的预设数量的锚点框获取到。
示例地，根据分类结果中车辆目标的预测概率从大到小排序，保留概率最高的前1000个锚点框(即anchor-box，后续部分内容会用anchor-box替代锚点框进行说明)，例如，车辆目标的预测概率分布在[0,1]之间，从这些概率之前选择概率最高的前1000个anchor-box。
S402，对预设数量的锚点框的回归结果进行解码，并根据解码结果和偏航角类别的预测结果，确定预设数量的锚点框实际输出值。
对预设数量的anchor-box的回归结果进行解码，即对获取的1000个anchor-box进行解码。
示例地，解码公式如下：
Figure BDA0002416975140000111
Figure BDA0002416975140000112
其中Δx，Δy，Δz，Δl，Δw，Δh，Δθ为编码后anchor-box的回归标签，ɡ上标表示anchor-box对应的真值，a上标表示RPN网络回归的anchor-box，也就是说根据上述解码公式可以解码出这1000个anchor-box对应的实际输出值，需要说明的是，在解码后，还需要结合偏航角分类结果，判断是否对回归输出偏航角结果加上正负号，正负号添加后，就得到了实际输出值。
S403，通过非极大值抑制算法和预设数量的锚点框对应的车辆目标的预测概率结果，对预设数量的锚点框实际输出值进行筛选，得到目标三维空间中所有车辆目标的检测框。
在上述得到了预设数量的锚点框(anchor-box)实际输出值后，根据预设数量的anchor-box实际输出值，并结合该预设数量的anchor-box对应的车辆目标的预测概率结果，采用非极大值抑制算法，筛选出最终的目标三维空间中所有车辆目标的检测框。
示例地，这1000个anchor-box，首先取预测概率结果最高的anchor-box，将这个anchor-box与剩下的999个anchor-box做3D交并比
(Intersection-over-Union,IoU)，如果3D IOU大于某一阈值，例如，0.1，那么就认为这两个三维anchor-box重合过大，如果3D IOU小于0.1的话，就认为这两个三维anchor-box重合过小，并把重合过小的舍去。做完这999个对比后，例如，保留了500个anchor-box，再从500个anchor-box中取出预测概率结果最高的anchor-box，继续把这个预测概率结果最高的anchor-box与剩下499个做3D IOU，3D IOU大于0.1的就保留，小于0.1的就舍去，反复进行上述操作，最后的结果就是最终的目标三维空间中所有车辆目标的检测框。
本实施例对三维车辆检测网络输出的结果进行解码，并在解码后筛选出最优结果作为最终结果输出，保证了最终在目标三维空间中输出所有车辆目标的检测框的精确度。
在一个实施例中，上述S101步骤中获取目标三维空间的点云数据包括：通过激光雷达获取目标三维空间中各物体表面点在目标三维空间的坐标位置，得到点云数据。
其中，激光雷达由发射器和接收器组成。在实际应用中，可以将激光雷达设置在车体上，例如车底或者车顶等位置，具体地，激光雷达发射器不间断向四周发射激光，当激光打到物体表面时会进行反射，接收器接受反射的激光，通过发射和接受时间间隔以及光速来计算物体表面点距离激光雷达的位置，进而转换为物体表面点在三维空间中的位置。
以激光雷达的有效量程为：x范围(0,70.4)米，y坐标范围(-40,40)z轴(0,4)为例，如图6所示的点云场景，图6中的三维空间的坐标中，x的正方向为车辆前进方向，y正方向为从左到右方向，z正方向为由地面指向天空方向，图6表示的是z,x,-y方向，其中图6中黑色立体框为车辆目标标注3d框。黑色的小点为三维点云。
通过本实施例提供的方法获取目标三维空间中各物体表面点在目标三维空间的坐标位置，即可得到目标三维空间中的点云数据，可以高效精确，且稳定的获取到目标三维空间的点云数据。
在一个实施例中，如图7所示，上述三维车辆检测网络的训练过程，包括：
S501，获取多个样本三维空间的点云数据；样本三维空间的点云数据中包括样本三维空间中各车辆目标的标准标注框。
本步骤是获取三维车辆检测网络的训练样本的过程，为了保证三维车辆检测网络训练的更加稳定鲁棒，检测车辆目标更加精确，就需要获取大量且多样化的训练样本，那么就要获取多种多样的样本三维空间的点云数据。而且获取的该样本三维空间的点云数据中包括样本三维空间中各车辆目标的标准标注框，也就是，为了让初始三维车辆检测网络可以学习到各样本三维空间中车辆目标的标注，预先获取的样本数据中已经对车辆目标进行了标注。
S502，对多个样本三维空间的点云数据分别进行2D体素化。
在获取了多个样本三维空间的点云数据后，本步骤中对多个样本三维空间的点云数据分别进行2D体素化，其中，体素化过程可参见上述S201步骤中的介绍，本实施例在此再赘述。
S503，将2D体素化的各样本点云数据输入至初始三维车辆检测网络的初始HRNet网络进行深度特征提取，并将提取的深度特征输入至初始三维车辆检测网络的初始RPN网络中，得到2D体素化的各样本点云数据的分类结果和回归结果。
本步骤是将2D体素化的各样本点云数据输入至初始三维车辆检测网络的初始HRNet网络和初始RPN网络训练的过程。需要说明的是，步骤S501至S503中，涉及的过程，在前面实施例中的均有说明，详细过程可参见前面实施例，在此不再赘述。
S504，根据2D体素化的各样本点云数据的分类结果和回归结果，确定初始三维车辆检测网络的损失函数的值，直到损失函数的值的变化幅度处于预设范围内，得到三维车辆检测网络。
以其中一次初始三维车辆检测网络的初始RPN网络输出的分类结果和回归结果为例，将初始RPN网络输出的分类结果和回归结果和该分类结果和回归结果对应的编码标签代入到预设的损失函数中，得到损失函数的值，该损失函数的值用于指导下次初始三维车辆检测网络训练的方向。其中，编码标签表示的是各分类结果和回归结果对应的真实分类结果和回归结果的编码值，下面有提供一个实施例，对如何获取真实分类结果和回归结果的编码值的过程进行了说明。
可选地，在一个实施例中，若损失函数包括回归损失函数、偏航角分类损失函数、车辆目标分类损失函数；2D体素化的各样本点云数据的分类结果包括车辆目标的预测概率结果和偏航角类别的预测结果；则根据2D体素化的各样本点云数据的分类结果和回归结果，确定初始三维车辆检测网络的损失函数的值”，包括：根据2D体素化的各样本点云数据的回归结果和编码后的回归标签标准值，确定回归损失函数的值；根据偏航角类别的预测结果和编码后的偏航角分类标签标准值，确定偏航角分类损失函数的值；根据车辆目标的预测概率结果和编码后的车辆目标分类标签标准值，确定车辆目标分类损失函数的值。
示例地，对于分类和回归结果分别给出了预设的损失函数，其中，回归结果的损失函数为回归损失函数，分类结果的损失函数为偏航角分类损失函数、车辆目标分类损失函数，对应地，编码标签分别为编码后的回归标签标准值，编码后的偏航角分类标签标准值和编码后的车辆目标分类标签标准值，
例如，对于回归损失函数选择focal-loss，偏航角分类损失函数选择focal-loss，车辆目标分类损失函数选择smooth-l1 loss，在训练时，网络的学习策略为Adam，Adam是一种可以替代传统随机梯度下降(SGD)过程的一阶优化算法,它能基于训练数据迭代地更新神经网络权重，设定，初始学习率为0.001,并随着迭代训练逐渐减小，10个epoch(1个epoch等于使用训练集中的全部样本训练一次，通俗的讲epoch的值就是整个数据集被轮几次)变为原来的0.5，这样通过100epoch迭代训练，最后保存训练的模型的，得到三维车辆检测网络。
本实施例中通过获取大量的样本三维空间的点云数据，并对这些点云数据分别进行2D体素化后，输入至由HRNet和RPN网络构成的初始三维车辆检测网络中进行训练，这样，由于HRNet和RPN网络可以得到高度抽象特征，进而高度抽象特征输入到RPN网络中输出回归结果和分类结果，极大地提高了车辆目标检测的准确性。
在一个实施例中，如图8所示，该方法还包括：
S601，根据初始HRNet网络提取的深度特征，确定与深度特征规格相同的坐标点矩阵。
本实施例为三维车辆检测网络过程中，获取样本三维空间的点云数据经过三维车辆检测网络后的回归和分类结果的编码标签，可以理解为预先获取真值，以后续将该真值与训练过程中三维车辆检测网络输出的预测值进行比较。
具体地，本步骤中基于上述初始HRNet网络提取的样本三维空间的点云数据的深度特征，先确定出与该深度特征规格相同的坐标点矩阵，例如，上述深度特征形状为200X176X128,128为特征的维度。对应的鸟瞰(kan)图上二维空间的范围为y轴方向为(-40,40)，x轴方向为(0,70.4)，在-40到40范围内均匀得到200个坐标点，在0到70.4范围内均匀得176个坐标点，最终组合为形状为200x176x3的坐标点矩阵，其中3表示x，y,z三个维度，其中，z轴的坐标都取0.5,即假设车辆目标的中心点都距离地面0.5米高。
S602，以坐标点矩阵中的每个坐标点为中心，生成与预设偏航角对应数量的锚点框。
得到上述坐标点矩阵后，以坐标点矩阵中的每个坐标点为中心，生成与预设偏航角对应数量的锚点框(anchor-box)。示例地，以这些坐标点为anchor-box的中心，生成偏航角分别为(0,0.79,1.57,2.37)(假设角度制分别为0,45,90,135)的4个anchor-box，所有生成的anchor-box的长宽高均为(3.9,1.6,1.56)，需要说明的是，这里这个长宽高值的是以kitti数据集车辆目标的均值举例说明，本实施例对此不作限定。因此anchor-box的数量为200x176x4＝140800,生成的anchor-box的矩阵的形状为200X176X4x7，其中，最后一维的7表示anchor-box的中心点坐标x,y,z,anchor-box的宽长高(w,l,h)，以及anchor-box偏航角这七个参数维度。
S603，对锚点框中的正类锚点框进行编码，得到编码后的回归标签标准值；正类锚点框表示锚点框与对应标准标注框的交并比大于预设值。
生成anchor-box后对anchor-box中的正类anchor-box进行编码，其中，；正类anchor-box示anchor-box与对应标准标注框的交并比大于预设值。
示例地，利用生成的140800个anchor-box和对应的真值进行编码。真值是点云场景的车辆目标的真实值，比如，一个场景中包括3个车辆，那么真值组成的矩阵为3x7。最后一维的7与anchor-box的最后一维7的表示相同。由anchor-box与真值计算每一个anchor-box的得分，其中，得分计算规则为：计算所有anchor-box与ground-truth在鸟瞰图平面内的IOU，对于每一个anchor-box如果有一个ground-truth与其交并比大于0.6的话，那么这个anchor-box的分类标签为正类，并选择与其iou最大的ground-truth，用于计算下面的回归标签。如果其与所有的ground-truth的iou都小于0.45的话，那么这个anchor-box的分类标签为负类。如果anchor-box与所有的ground-truth的iou都介于0.45与0.6之间，那么这个anchor-box就不参与计算。
其中，对于分类标签为正类的anchor-box,可以通过以下方式编码得到anchor-box的回归标签。编码方式如下：
Figure BDA0002416975140000161
Figure BDA0002416975140000162
其中Δx，Δy，Δz，Δl，Δw，Δh，Δθ为编码后anchor-box的回归标签，ɡ上标表示anchor-box对应的真值，a上标表示三维车辆检测网络回归的anchor-box。则编码后的回归标签其矩阵形状为200x176x4x7。
S604，对正类锚点框的偏航角类别进行编码，得到编码后的偏航角分类标签标准值，以及对正类锚点框的车辆目标类别进行编码，得到编码后的车辆目标分类标签标准值。
对于上述正类anchor-box，利用上述公式就可计算出回归标签，但对于正类的anchor-box，还需要编码偏航角类别，如果正类anchor-box所对应的ground-truth的偏航角大于0的话，就标记为正类，小于0的话就标记为负类(例如，KITTI数据集中车辆目标的偏航角范围为-pi到pi，有正有负。但本方案举例的anchor-box偏航角的值只取了0,45,90,135四个值，这四个值对应的偏航角都为正值，因此还需要判断预测的偏航角的类别是正的还是负的。则编码后的偏航角分类标签，形状为200x176x4x2，是one-hot编码结果；在对偏航角类别进行编码编码后，还需要正类anchor-box的车辆目标类别进行编码，车辆目标分类为是车和不是车两类的概率，则编码后的分类标签的形状为200x176x4x2。最后一维的2表示，对0,1类别进行one-hot编码结果。
本实施例中，通过预先对样本三维空间的点云数据经过三维车辆检测网络后的回归和分类结果进行编码，得到对应的编码标签，在训练三维车辆检测网络时，可以将该编码标签与三维车辆检测网络输出的回归和分类结果代入预设的损失函数中，这样，根据损失函数的值指导三维车辆检测网络，使得训练的三维车辆检测网络更加稳定鲁棒，可以更加精确的检测出车辆目标。
在一个实施例中，还提供一个实施例，如图9所示，所述实施例包括：
S1,通过激光雷达获取三维空间的激光点云数据并进行标注；
S2,对上述点云数据进行2D体素化；
S3,把体素化后点云数据输入到三维车辆检测网络中的HRNet网络提取深度特征；
S4,把深度特征输入到三维车辆检测网络中的RPN网络，输出对每一个anchor-box的回归和分类结果；
S5,在深度特征图的每一个位置生成anchor-box，并编码，得到每一个anchor-box的回归和分类结果的编码标签；
S6,基于预设的损失函数和RPN网络输出的回归和分类结果以及回归和分类结果的编码标签，对三维车辆检测网络进行训练优化，直到得到训练好的三维车辆检测网络；
S7,使用激光雷达获取目标三维空间的点云数据；
S8,对目标三维空间的点云数据进行2D体素化；
S9,把2D体素化的点云数据输入到训练好的三维车辆检测网络中输出回归和分类结果，并对该回归和分类结果进行解码、筛选，得到目标三维空间中车辆目标的检测框。
上述实施例中实施例提供的各个步骤，其实现原理和技术效果可参见前面实施例中的说明，在此不再赘述。
应该理解的是，虽然图2-9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种车辆目标检测装置，该装置包括：获取模块10、转换模块11、检测模块12和处理模块13，其中，
获取模块10，用于获取目标三维空间的点云数据；
转换模块11，用于对目标三维空间的点云数据进行2D体素化；
检测模块12，用于将2D体素化后的点云数据输入至预设的三维车辆检测网络中；三维车辆检测网络包括高分辨率网络HRNet网络和区域生成网络RPN网络；
处理模块13，用于对三维车辆检测网络的输出结果进行解码、筛选，得到目标三维空间中所有车辆目标的检测框。
在一个实施例中，上述转换模块11包括：
划分单元，用于将目标三维空间划分为多个小空间；点云数据随机分布在各小空间中；
转换单元，用于转换目标三维空间为同等规格的矩阵，且矩阵中的单元格与目标三维空间中的各小空间一一对应；
赋值单元，用于若目标三维空间中的小空间中存在点云数据，则对矩阵中对应的单元格填充第一值，若目标三维空间中的小空间中不存在点云数据，则对矩阵中对应的单元格填充第二值；其中，第一值与第二值不同。
在一个实施例中，上述检测模块12包括：
特征提取单元，用于将2D体素化后的点云数据输入至HRNet网络，提取2D体素化后的点云数据的深度特征；
分类回归单元，用于将深度特征输入至RPN网络中，得到2D体素化后的点云数据的分类结果和回归结果；其中，分类结果包括是否为车辆目标的预测概率结果，以及偏航角类别的预测结果；回归结果回归的锚点框与真值之间偏差的预测结果。
在一个实施例中，上述处理模块13，包括：
获取单元，用于获取车辆目标的预测概率结果中概率最高的预设数量的锚点框；
解码单元，用于对预设数量的锚点框的回归结果进行解码，并根据解码结果和偏航角类别的预测结果，确定预设数量的锚点框实际输出值；
筛选单元，用于通过非极大值抑制算法和预设数量的锚点框对应的车辆目标的预测概率结果，对预设数量的锚点框实际输出值进行筛选，得到目标三维空间中所有车辆目标的检测框。
在一个实施例中，上述获取模块10，具体用于通过激光雷达获取目标三维空间中各物体表面点在目标三维空间的坐标位置，得到点云数据。
在一个实施例中，该装置还包括：
样本获取模块，用于获取多个样本三维空间的点云数据；样本三维空间的点云数据中包括样本三维空间中各车辆目标的标准标注框；
样本数据转换模块，用于对多个样本三维空间的点云数据分别进行2D体素化；
训练模块，用于将2D体素化的各样本点云数据输入至初始三维车辆检测网络的初始HRNet网络进行深度特征提取，并将提取的深度特征输入至初始三维车辆检测网络的初始RPN网络中，得到2D体素化的各样本点云数据的分类结果和回归结果；
优化模块，用于根据2D体素化的各样本点云数据的分类结果和回归结果，确定初始三维车辆检测网络的损失函数的值，直到损失函数的值的变化幅度处于预设范围内，得到三维车辆检测网络。
在一个实施例中，该装置还包括：
确定模块，用于根据初始HRNet网络提取的深度特征，确定与深度特征规格相同的坐标点矩阵；
生成模块，用于以坐标点矩阵中的每个坐标点为中心，生成与预设偏航角对应数量的锚点框；
编码模块，用于对锚点框中的正类锚点框进行编码，得到编码后的回归标签标准值；正类锚点框表示锚点框与对应标准标注框的交并比大于预设值；对正类锚点框的偏航角类别进行编码，得到编码后的偏航角分类标签标准值，以及对正类锚点框的车辆目标类别进行编码，得到编码后的车辆目标分类标签标准值。
在一个实施例中，上述损失函数包括回归损失函数、偏航角分类损失函数、车辆目标分类损失函数；2D体素化的各样本点云数据的分类结果包括车辆目标的预测概率结果和偏航角类别的预测结果；则上述优化模块，具体用于根据2D体素化的各样本点云数据的回归结果和编码后的回归标签标准值，确定回归损失函数的值；根据偏航角类别的预测结果和编码后的偏航角分类标签标准值，确定偏航角分类损失函数的值；根据车辆目标的预测概率结果和编码后的车辆目标分类标签标准值，确定车辆目标分类损失函数的值。
上述实施例提供的所有车辆目标检测装置，其实现原理和技术效果与上述车辆目标检测方法实施例类似，在此不再赘述。
关于车辆目标检测装置的具体限定可以参见上文中对于车辆目标检测方法的限定，在此不再赘述。上述车辆目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如上述图1所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，上述图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取目标三维空间的点云数据；
对目标三维空间的点云数据进行2D体素化；
将2D体素化后的点云数据输入至预设的三维车辆检测网络中；三维车辆检测网络包括高分辨率网络HRNet网络和区域生成网络RPN网络；
对三维车辆检测网络的输出结果进行解码、筛选，得到目标三维空间中所有车辆目标的检测框。
上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取目标三维空间的点云数据；
对目标三维空间的点云数据进行2D体素化；
将2D体素化后的点云数据输入至预设的三维车辆检测网络中；三维车辆检测网络包括高分辨率网络HRNet网络和区域生成网络RPN网络；
对三维车辆检测网络的输出结果进行解码、筛选，得到目标三维空间中所有车辆目标的检测框。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种车辆目标检测方法，其特征在于，所述方法包括：
获取目标三维空间的点云数据；
对所述目标三维空间的点云数据进行2D体素化；
将2D体素化后的点云数据输入至预设的三维车辆检测网络中；所述三维车辆检测网络包括高分辨率网络HRNet网络和区域生成网络RPN网络；
对所述三维车辆检测网络的输出结果进行解码、筛选，得到所述目标三维空间中所有车辆目标的检测框。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标三维空间的点云数据进行2D体素化，包括：
将所述目标三维空间划分为多个小空间；所述点云数据随机分布在各小空间中；
转换所述目标三维空间为同等规格的矩阵，且所述矩阵中的单元格与所述目标三维空间中的各小空间一一对应；
若所述目标三维空间中的小空间中存在所述点云数据，则对所述矩阵中对应的单元格填充第一值，若所述目标三维空间中的小空间中不存在所述点云数据，则对所述矩阵中对应的单元格填充第二值；其中，所述第一值与所述第二值不同。
3.根据权利要求1或2所述的方法，其特征在于，所述将2D体素化后的点云数据输入至预设的三维车辆检测网络中，包括：
将所述2D体素化后的点云数据输入至所述HRNet网络，提取所述2D体素化后的点云数据的深度特征；
将所述深度特征输入至所述RPN网络中，得到所述2D体素化后的点云数据的分类结果和回归结果；其中，所述分类结果包括是否为车辆目标的预测概率结果，以及偏航角类别的预测结果；所述回归结果回归的锚点框与真值之间偏差的预测结果；所述锚点框表征预先生成的预选框。
4.根据权利要求3所述的方法，其特征在于，所述对所述三维车辆检测网络的输出结果进行解码、筛选，得到所述目标三维空间中所有车辆目标的检测框，包括：
获取所述车辆目标的预测概率结果中概率最高的预设数量的锚点框；
对所述预设数量的锚点框的回归结果进行解码，并根据解码结果和所述偏航角类别的预测结果，确定所述预设数量的锚点框实际输出值；
通过非极大值抑制算法和所述预设数量的锚点框对应的车辆目标的预测概率结果，对所述预设数量的锚点框实际输出值进行筛选，得到所述目标三维空间中所有车辆目标的检测框。
5.根据权利要求1或2所述的方法，其特征在于，所述获取目标三维空间的点云数据，包括：
通过激光雷达获取所述目标三维空间中各物体表面点在所述目标三维空间的坐标位置，得到所述点云数据。
6.根据权利要求1或2所述的方法，其特征在于，所述三维车辆检测网络的训练过程，包括：
获取多个样本三维空间的点云数据；所述样本三维空间的点云数据中包括所述样本三维空间中各车辆目标的标准标注框；
对所述多个样本三维空间的点云数据分别进行2D体素化；
将2D体素化的各样本点云数据输入至初始三维车辆检测网络的初始HRNet网络进行深度特征提取，并将提取的深度特征输入至所述初始三维车辆检测网络的初始RPN网络中，得到所述2D体素化的各样本点云数据的分类结果和回归结果；
根据所述2D体素化的各样本点云数据的分类结果和回归结果，确定所述初始三维车辆检测网络的损失函数的值，直到所述损失函数的值的变化幅度处于预设范围内，得到所述三维车辆检测网络。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据所述初始HRNet网络提取的深度特征，确定与所述深度特征规格相同的坐标点矩阵；
以所述坐标点矩阵中的每个坐标点为中心，生成与预设偏航角对应数量的锚点框；
对所述锚点框中的正类锚点框进行编码，得到所述编码后的回归标签标准值；所述正类锚点框表示所述锚点框与对应标准标注框的交并比大于预设值；
对所述正类锚点框的偏航角类别进行编码，得到所述编码后的偏航角分类标签标准值，以及对所述正类锚点框的车辆目标类别进行编码，得到所述编码后的车辆目标分类标签标准值。
8.根据权利要求7所述的方法，其特征在于，所述损失函数包括回归损失函数、偏航角分类损失函数、车辆目标分类损失函数；所述2D体素化的各样本点云数据的分类结果包括车辆目标的预测概率结果和偏航角类别的预测结果；
则所述根据所述2D体素化的各样本点云数据的分类结果和回归结果，确定所述初始三维车辆检测网络的损失函数的值，包括：
根据所述2D体素化的各样本点云数据的回归结果和所述编码后的回归标签标准值，确定所述回归损失函数的值；
根据所述偏航角类别的预测结果和所述编码后的偏航角分类标签标准值，确定所述偏航角分类损失函数的值；
根据所述车辆目标的预测概率结果和所述编码后的车辆目标分类标签标准值，确定所述车辆目标分类损失函数的值。
9.一种车辆目标检测装置，其特征在于，所述装置包括：
获取模块，用于获取目标三维空间的点云数据；
转换模块，用于对所述目标三维空间的点云数据进行2D体素化；
检测模块，用于将2D体素化后的点云数据输入至预设的三维车辆检测网络中；所述三维车辆检测网络包括高分辨率网络HRNet网络和区域生成网络RPN网络；
处理模块，用于对所述三维车辆检测网络的输出结果进行解码、筛选，得到所述目标三维空间中所有车辆目标的检测框。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202010194177.5A 2020-03-19 2020-03-19 车辆目标检测方法、装置、计算机设备和存储介质 Pending CN111401264A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010194177.5A CN111401264A (zh) 2020-03-19 2020-03-19 车辆目标检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010194177.5A CN111401264A (zh) 2020-03-19 2020-03-19 车辆目标检测方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111401264A true CN111401264A (zh) 2020-07-10

Family

ID=71434339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010194177.5A Pending CN111401264A (zh) 2020-03-19 2020-03-19 车辆目标检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111401264A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288667A (zh) * 2020-11-02 2021-01-29 上海智驾汽车科技有限公司 一种基于激光雷达与摄像头融合的三维目标检测方法
CN112686167A (zh) * 2020-12-30 2021-04-20 北京迈格威科技有限公司 目标检测方法、装置、电子设备及存储介质
CN113111709A (zh) * 2021-03-10 2021-07-13 北京爱笔科技有限公司 车辆匹配模型生成方法、装置、计算机设备和存储介质
CN113822292A (zh) * 2021-02-05 2021-12-21 深圳信息职业技术学院 车辆特征信息存储方法、装置、计算机设备及存储介质
CN114140660A (zh) * 2021-10-31 2022-03-04 苏州浪潮智能科技有限公司 一种车辆检测方法、装置、设备及介质
CN114459471A (zh) * 2022-01-30 2022-05-10 中国第一汽车股份有限公司 定位信息确定方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778688A (zh) * 2015-03-27 2015-07-15 华为技术有限公司 点云数据的配准方法及装置
US20170213093A1 (en) * 2016-01-27 2017-07-27 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for detecting vehicle contour based on point cloud data
CN108171217A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于点融合网络的三维物体检测方法
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、***、终端和存储介质
US20190011566A1 (en) * 2017-07-04 2019-01-10 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for identifying laser point cloud data of autonomous vehicle
US20190258225A1 (en) * 2017-11-17 2019-08-22 Kodak Alaris Inc. Automated 360-degree dense point object inspection
CN110364260A (zh) * 2019-07-05 2019-10-22 昆山杜克大学 基于指示性语言范式的孤独症早期评估装置及***
US20200012876A1 (en) * 2017-09-25 2020-01-09 Tencent Technology (Shenzhen) Company Limited Text detection method, storage medium, and computer device
CN110738121A (zh) * 2019-09-17 2020-01-31 北京科技大学 一种前方车辆检测方法及检测***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778688A (zh) * 2015-03-27 2015-07-15 华为技术有限公司 点云数据的配准方法及装置
US20170213093A1 (en) * 2016-01-27 2017-07-27 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for detecting vehicle contour based on point cloud data
US20190011566A1 (en) * 2017-07-04 2019-01-10 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for identifying laser point cloud data of autonomous vehicle
US20200012876A1 (en) * 2017-09-25 2020-01-09 Tencent Technology (Shenzhen) Company Limited Text detection method, storage medium, and computer device
US20190258225A1 (en) * 2017-11-17 2019-08-22 Kodak Alaris Inc. Automated 360-degree dense point object inspection
CN108171217A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于点融合网络的三维物体检测方法
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、***、终端和存储介质
CN110364260A (zh) * 2019-07-05 2019-10-22 昆山杜克大学 基于指示性语言范式的孤独症早期评估装置及***
CN110738121A (zh) * 2019-09-17 2020-01-31 北京科技大学 一种前方车辆检测方法及检测***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YIN ZHOU 等: "VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection", ARXIV, pages 1 - 10 *
常明;潘荔君;孟宪纲;徐玉健;徐凯;: "基于三维激光扫描仪的边坡形变监测研究", 大地测量与地球动力学, no. 05, pages 97 - 101 *
杨恺 等: "基于深度学习的车辆检测方法", 计算机与网络, pages 61 - 64 *
王荣辉;徐红岩;: "基于深度学习的无人机影像车辆检测研究", 江西测绘, no. 03, pages 23 - 26 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288667A (zh) * 2020-11-02 2021-01-29 上海智驾汽车科技有限公司 一种基于激光雷达与摄像头融合的三维目标检测方法
CN112288667B (zh) * 2020-11-02 2024-06-07 智驾汽车科技(宁波)有限公司 一种基于激光雷达与摄像头融合的三维目标检测方法
CN112686167A (zh) * 2020-12-30 2021-04-20 北京迈格威科技有限公司 目标检测方法、装置、电子设备及存储介质
CN113822292A (zh) * 2021-02-05 2021-12-21 深圳信息职业技术学院 车辆特征信息存储方法、装置、计算机设备及存储介质
CN113822292B (zh) * 2021-02-05 2022-05-20 深圳信息职业技术学院 车辆特征信息存储方法、装置、计算机设备及存储介质
CN113111709A (zh) * 2021-03-10 2021-07-13 北京爱笔科技有限公司 车辆匹配模型生成方法、装置、计算机设备和存储介质
CN113111709B (zh) * 2021-03-10 2023-12-29 北京爱笔科技有限公司 车辆匹配模型生成方法、装置、计算机设备和存储介质
CN114140660A (zh) * 2021-10-31 2022-03-04 苏州浪潮智能科技有限公司 一种车辆检测方法、装置、设备及介质
CN114140660B (zh) * 2021-10-31 2024-02-09 苏州浪潮智能科技有限公司 一种车辆检测方法、装置、设备及介质
CN114459471A (zh) * 2022-01-30 2022-05-10 中国第一汽车股份有限公司 定位信息确定方法、装置、电子设备及存储介质
CN114459471B (zh) * 2022-01-30 2023-08-11 中国第一汽车股份有限公司 定位信息确定方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111401264A (zh) 车辆目标检测方法、装置、计算机设备和存储介质
CN109766878B (zh) 一种车道线检测的方法和设备
CN114723955B (zh) 图像处理方法、装置、设备和计算机可读存储介质
CN111797650B (zh) 障碍物的识别方法、装置、计算机设备和存储介质
CN113819890B (zh) 测距方法、装置、电子设备及存储介质
CN111353512B (zh) 障碍物分类方法、装置、存储介质和计算机设备
CN111353969A (zh) 道路可行驶区域的确定方法、装置及计算机设备
WO2020053611A1 (en) Electronic device, system and method for determining a semantic grid of an environment of a vehicle
CN110807350A (zh) 用于面向扫描匹配的视觉slam的***和方法
CN110246183B (zh) 车轮接地点检测方法、装置及存储介质
CN111144304A (zh) 车辆目标检测模型的生成方法、车辆目标检测方法及装置
CN113267761B (zh) 激光雷达目标检测识别方法、***及计算机可读存储介质
CN110782531A (zh) 处理三维点云数据的方法和计算设备
CN113658257B (zh) 一种无人设备定位方法、装置、设备及存储介质
CN112154448A (zh) 目标检测方法、设备及可移动平台
CN114119992A (zh) 基于图像与点云融合的多模态三维目标检测方法及装置
CN116468768A (zh) 基于条件变分自编码器和几何引导的场景深度补全方法
CN111401190A (zh) 车辆检测方法、装置、计算机设备和存储介质
CN114118247A (zh) 一种基于多传感器融合的无锚框3d目标检测方法
Danapal et al. Sensor fusion of camera and LiDAR raw data for vehicle detection
CN113255779A (zh) 多源感知数据融合识别方法、***及计算机可读存储介质
CN116129234A (zh) 一种基于注意力的4d毫米波雷达与视觉的融合方法
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
CN115937259A (zh) 运动目标检测方法、装置、飞行设备及存储介质
US20230342944A1 (en) System and Method for Motion Prediction in Autonomous Driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination