CN113822159A - 三维目标检测方法、装置和计算机 - Google Patents

三维目标检测方法、装置和计算机 Download PDF

Info

Publication number
CN113822159A
CN113822159A CN202110961850.8A CN202110961850A CN113822159A CN 113822159 A CN113822159 A CN 113822159A CN 202110961850 A CN202110961850 A CN 202110961850A CN 113822159 A CN113822159 A CN 113822159A
Authority
CN
China
Prior art keywords
target
dimensional frame
laser radar
parameters
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110961850.8A
Other languages
English (en)
Other versions
CN113822159B (zh
Inventor
彭亮
邓丹
钱炜
杨政
何晓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Fabu Technology Co Ltd
Original Assignee
Hangzhou Fabu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Fabu Technology Co Ltd filed Critical Hangzhou Fabu Technology Co Ltd
Priority to CN202110961850.8A priority Critical patent/CN113822159B/zh
Publication of CN113822159A publication Critical patent/CN113822159A/zh
Application granted granted Critical
Publication of CN113822159B publication Critical patent/CN113822159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种三维目标检测方法、装置和计算机，该方法中，通过获取摄像头拍摄到的待处理图像，该待处理图像包括：至少一个目标物体，并将待处理图像分别输入至二维检测器和目标特征编码器中，得到待处理图像中各个目标物体的二维框信息和第一深层特征，根据各个目标物体的二维框信息和各个目标物体的第一深层特征，得到各个目标物体的第一三维框参数，之后根据各个目标物体的第一三维框参数，确定各个目标物体的目标三维框信息。该技术方案中，从待处理图像中各个目标物体表面的激光雷达点出发，更加准确的确定出各个目标物体的目标三维框，且避免了现有技术中三维框生成周期长，效率低的问题。

Description

三维目标检测方法、装置和计算机
技术领域
本申请涉及检测技术领域，尤其涉及一种三维目标检测方法、装置和计算机。
背景技术
三维目标检测在现实世界的许多应用中都是必不可少的，如机器人导航、自动驾驶等。其目的是检测三维空间中的物体，用有方向的三维框将其包围，可以为后续车辆、机器人等物体等运行轨迹进行预测等。
在现有技术中，三维目标检测的常用方法是将待处理图像输入至中，从而输出带有目标三维框的图像，为了对物体三维框的标注更加准确，一般需要对预设模型中的参数进行更合理的设置，这一过程的实现是利用大量的三维标签框对预设模型进行训练，基于训练结果调整参数，直到调整参数之后的训练结果与预期结果相差无几。
然而，在实际操作过程中，发明人发现，三维标签框的建立需要人工注释，在训练预设模型时，需要注释大量的三维标签框，然而该三维标签框的注释周期长，且成本高，进而使得标注物体三维框的效率低下。
发明内容
本申请实施例提供一种三维目标检测方法、装置和计算机，用以解决现有技术对物体三维框的标注效率低下的问题。
第一方面，本申请实施例提供一种三维目标检测方法，包括：
获取摄像头拍摄到的待处理图像，所述待处理图像包括：至少一个目标物体；
将所述待处理图像分别输入至二维检测器和目标特征编码器中，得到所述待处理图像中各个目标物体的二维框信息和第一深层特征，所述目标特征编码器的参数是根据各个目标物体的表面的激光雷达点和第二三维框参数确定的，所述第二三维框参数是根据各个目标物体的二维框信息和第二深层特征确定的，所述第二深层特征为将所述待处理图像输入至初始特征编码器得到的；
根据各个目标物体的二维框信息和各个目标物体的第一深层特征，得到各个目标物体的第一三维框参数；
根据各个目标物体的第一三维框参数，确定各个目标物体的目标三维框信息。
在第一方面一种可能的设计中，在所述将所述待处理图像分别输入至二维检测器和目标特征编码器中，得到所述待处理图像中各个目标物体的二维框信息和第一深层特征之前，所述方法还包括：
获取所述待处理图像的激光雷达点云，所述激光雷达点云包括：所有物体的激光雷达点；
将所述所有物体的激光雷达点投影在二维实例掩模内的图像上，得到初始目标点云；
对所述初始目标点云进行过滤，将所述待处理图像中每个目标物体上的激光雷达点。
在第一方面另一种可能的设计中，所述根据各个目标物体的二维框信息和各个目标物体的第一深层特征，得到各个目标物体的第一三维框参数，包括；
根据各个目标物体的二维框信息和各个目标物体的第一深层特征，确定第一对象特征；
将所述第一对象特征输入至目标模型中，得到各个目标物体的第一三维框参数，所述目标模型的参数是根据各个目标物体的表面的激光雷达点和第二三维框参数确定的。
在第一方面再一种可能的设计中，在所述将所述待处理图像分别输入至二维检测器和目标特征编码器中，得到所述待处理图像中各个目标物体的二维框信息和第一深层特征之前，所述方法还包括：
将所述待处理图像分别输入至所述二维检测器和所述初始特征编码器，得到所述二维框信息和所述第二深层特征；
根据所述二维框信息和所述第二深层特征，确定对象特征；
根据对象特征和所述各个目标物体的表面的激光雷达点，确定所述目标特征编码器的参数和所述目标模型的参数。
在该种可能的设计中，所述根据对象特征和所述各个目标物体的表面的激光雷达点，确定所述目标特征编码器的参数和所述目标模型的参数，包括：
针对每个目标物体，根据所述对象特征，确定第二三维框参数，所述第二三维框参数用于确定第二三维框；
确定所述激光雷达点所在的第一连接线，所述第一连接线为连接所述激光雷达点和所述第二三维框参数中心的连接线；
根据所述第一连接线和所述第二三维框参数，确定所述激光雷达点与第一交点的第一距离，所述第一交点为所述第一连接线和所述第二三维框参数的交点，所述第一距离的值为所述三维框信息的几何对齐损失；
根据所述第一距离、所述激光雷达点和所述第二三维框参数，确定所述目标特征编码器的参数和所述目标模型的参数。
可选的，所述根据所述第一距离、所述激光雷达点和所述第二三维框参数，确定所述目标特征编码器的参数和所述目标模型的参数，包括：
以所述摄像头的光学中心做所述激光雷达点的第二连接线；
根据所述第二连接线和所述第二三维框参数，确定所述激光雷达点与所述第二三维框参数的第二交点，所述第二交点为距离所述光学中心最近的所述第二连接线和所述第二三维框参数的交点；
在所述第二连接线上，确定所述激光雷达点和所述第二交点的第二距离，所述第二距离的值为所述三维框信息的射线跟踪损失；
根据所述第一距离、所述第二距离、所述激光雷达点和所述第二三维框参数，确定所述目标特征编码器的参数和所述目标模型的参数。
可选的，所述第二三维框参数包括：多个预设范围空间，每个预设范围空间包括：多个激光雷达点；
相应的，所述根据所述第一距离、所述第二距离、所述激光雷达点和所述第二三维框参数，确定所述目标特征编码器的参数和所述目标模型的参数，包括：
根据所述第二三维框参数和所述激光雷达点，确定所述每个预设范围空间内各个激光雷达点的指向密度，所述指向密度为针对每个激光雷达点，在预设范围空间内，指向所述激光雷达点的点的密度；
根据所述指向密度、所述第一距离、所述第二距离、所述目标物体中激光雷达点的数量和所述激光雷达点到所述第二三维框的中心的距离，确定所述目标物体的每个激光雷达点的第一损失值，所述第一损失值为所述激光雷达点在垂直方向上的损失值；
根据每个激光雷达点的第一损失值和每个激光雷达点的坐标，确定所述目标特征编码器的参数和所述目标模型的参数。
可选的，所述根据每个激光雷达点的第一损失值和每个激光雷达点的坐标，确定所述目标特征编码器的参数和所述目标模型的参数，包括：
根据每个激光雷达点的坐标，确定所有激光雷达点在水平方向的距离和；
根据所述距离和和所述目标物体中激光雷达点的数量，确定每个激光雷达点的平均值；
根据每个激光雷达点的平均值和网络预测阈值，确定每个激光雷达点在水平方向上的第二损失值；
根据每个激光雷达点的第一损失值、每个激光雷达点的第二损失值和每个激光雷达点的方向估计值，得到所述目标特征编码器的参数和所述目标模型的参数，所述方向估计值是根据每个激光雷达点的坐标与所述光学中心的坐标确定的。
第二方面，本申请实施例提供一种三维目标检测装置，包括：获取模块、处理模块和确定模块；
所述获取模块，用于获取摄像头拍摄到的待处理图像，所述待处理图像包括：至少一个目标物体；
所述处理模块，用于将所述待处理图像分别输入至二维检测器和目标特征编码器中，得到所述待处理图像中各个目标物体的二维框信息和第一深层特征，所述目标特征编码器的参数根据各个目标物体的表面的激光雷达点和第二三维框参数确定的，所述第二三维框参数根据各个目标物体的二维框信息和第二深层特征确定的，所述第二深层特征为将所述待处理图像输入至初始特征编码器得到的；
所述确定模块，用于根据各个目标物体的二维框信息和各个目标物体的第一深层特征，得到各个目标物体的第一三维框参数，并根据各个目标物体的第一三维框参数，确定各个目标物体的目标三维框信息。
在第二方面一种可能的设计中，所述处理模块，还用于：
根据各个目标物体的二维框信息和各个目标物体的第一深层特征，确定第一对象特征；
将所述第一对象特征输入至目标模型中，得到各个目标物体的第一三维框参数，所述目标模型的参数是根据各个目标物体的表面的激光雷达点和第二三维框参数确定的。
在第二方面再一种可能的设计中，所述处理模块，还用于：
将所述待处理图像分别输入至所述二维检测器和所述初始特征编码器，得到所述二维框信息和所述第二深层特征；
根据所述二维框信息和所述第二深层特征，确定对象特征；
根据对象特征和所述各个目标物体的表面的激光雷达点，确定所述目标特征编码器的参数和所述目标模型的参数。
在该种可能的设计中，所述处理模块，根据对象特征和所述各个目标物体的表面的激光雷达点，确定所述目标特征编码器的参数和所述目标模型的参数，具体用于：
针对每个目标物体，根据所述对象特征，确定第二三维框参数，所述第二三维框参数用于确定第二三维框；
确定所述激光雷达点所在的第一连接线，所述第一连接线为连接所述激光雷达点和所述第二三维框参数中心的连接线；
根据所述第一连接线和所述第二三维框参数，确定所述激光雷达点与第一交点的第一距离，所述第一交点为所述第一连接线和所述第二三维框参数的交点，所述第一距离的值为所述三维框信息的几何对齐损失；
根据所述第一距离、所述激光雷达点和所述第二三维框参数，确定所述目标特征编码器的参数和所述目标模型的参数。
可选的，所述处理模块，所述根据所述第一距离、所述激光雷达点和所述第二三维框参数，确定所述目标特征编码器的参数和所述目标模型的参数，具体用于：
以所述摄像头的光学中心做所述激光雷达点的第二连接线；
根据所述第二连接线和所述第二三维框参数，确定所述激光雷达点与所述第二三维框参数的第二交点，所述第二交点为距离所述光学中心最近的所述第二连接线和所述第二三维框参数的交点；
在所述第二连接线上，确定所述激光雷达点和所述第二交点的第二距离，所述第二距离的值为所述三维框信息的射线跟踪损失；
根据所述第一距离、所述第二距离、所述激光雷达点和所述第二三维框参数，确定所述目标特征编码器的参数和所述目标模型的参数。
可选的，所述第二三维框参数包括：多个预设范围空间，每个预设范围空间包括：多个激光雷达点；
相应的，所述处理模块，根据所述第一距离、所述第二距离、所述激光雷达点和所述第二三维框参数，确定所述目标特征编码器的参数和所述目标模型的参数，具体用于：
根据所述第二三维框参数和所述激光雷达点，确定所述每个预设范围空间内各个激光雷达点的指向密度，所述指向密度为针对每个激光雷达点，在预设范围空间内，指向所述激光雷达点的点的密度；
根据所述指向密度、所述第一距离、所述第二距离、所述目标物体中激光雷达点的数量和所述激光雷达点到所述第二三维框的中心的距离，确定所述目标物体的每个激光雷达点的第一损失值，所述第一损失值为所述激光雷达点在垂直方向上的损失值；
根据每个激光雷达点的第一损失值和每个激光雷达点的坐标，确定所述目标特征编码器的参数和所述目标模型的参数。
可选的，所述处理模块，根据每个激光雷达点的第一损失值和每个激光雷达点的坐标，确定所述目标特征编码器的参数和所述目标模型的参数，具体用于：
根据每个激光雷达点的坐标，确定所有激光雷达点在水平方向的距离和；
根据所述距离和和所述目标物体中激光雷达点的数量，确定每个激光雷达点的平均值；
根据每个激光雷达点的平均值和网络预测阈值，确定每个激光雷达点在水平方向上的第二损失值；
根据每个激光雷达点的第一损失值、每个激光雷达点的第二损失值和每个激光雷达点的方向估计值，得到所述目标特征编码器的参数和所述目标模型的参数，所述方向估计值是根据每个激光雷达点的坐标与所述光学中心的坐标确定的。
第三方面，本申请实施例提供一种计算机设备，包括：处理器、存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述计算机执行指令，使得所述计算机设备执行如上述第一方面及各种可能的设计中所述的三维目标检测方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述第一方面及各种可能的设计中所述的三维目标检测方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时用于实现如上述第一方面及各种可能的设计中所述的三维目标检测方法。
本申请实施例提供的三维目标检测方法、装置和计算机，该方法中，通过获取摄像头拍摄到的待处理图像，待处理图像包括：至少一个目标物体，并将待处理图像分别输入至二维检测器和目标特征编码器中，得到待处理图像中各个目标物体的二维框信息和第一深层特征，根据各个目标物体的二维框信息和各个目标物体的第一深层特征，得到各个目标物体的第一三维框参数，之后根据各个目标物体的第一三维框参数，确定各个目标物体的目标三维框信息。该技术方案中，从待处理图像中各个目标物体表面的激光雷达点出发，更加准确的确定出各个目标物体的目标三维框，且避免了现有技术中三维框生成周期长，效率低的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请实施例提供的三维目标检测方法的应用场景示意图；
图2为本申请实施例提供的三维目标检测方法实施例一的流程示意图；
图3为本申请实施例提供的目标检测示意图；
图4为本申请实施例提供的激光雷达点的获取示意图；
图5为本申请实施例提供的三维目标检测方法实施例二的流程示意图；
图6为本申请实施例提供的几何对齐损失示意图；
图7为本申请实施例提供的三维目标检测方法实施例三的流程示意图；
图8为本申请实施例提供的射线跟踪损失示意图；
图9为本申请实施例提供的三维目标检测装置的结构示意图；
图10为本申请实施例提供的计算机设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在介绍本申请的实施例之前，首先对本申请的技术名词和背景技术进行解释说明：
红绿蓝(Red-Green-Blue，RGB)图：是工业界的一种颜色标准，是通过对红、绿、蓝三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的图像。
三维(3-dimension，3D)目标检测在许多应用中必不可少的工序，例如机器人导航和自动驾驶。三维目标检测是用有方向的三维框将图像上的目标物体包围。目前主要采用基于激光雷达的方法。其精度高，但是价格高，工作范围有限。作为一种替代方法，基于单目的方法受到了学术界和工业界越来越多的关注，因为它们可以很容易地以低成本用单目相机部署。鉴于此，单目3D物体检测可用于多传感器融合，以提高安全性，或在某些情况下直接作为基于激光雷达的方法的廉价替代品。
近年来，单目三维目标检测取得了显著的进展。一个必不可少的前提是需要大量的3D框标签(位置、尺寸和物体的方向)来进行训练模型，用于输出带有目标三维框的图像。然而，手动标注这些标签的过程非常耗时且昂贵。例如，利用SUN RGB-D数据集注释一个框标签大约需要114秒。
在训练模型时，为了提高输出结果的准确度，常常需要大量的3D框标签，此时训练成本大大提高，且训练过程效率过低，实现周期较长。
在上述现有技术存在的问题基础上，图1为本申请实施例提供的三维目标检测方法的应用场景示意图，用以解决上述技术问题。如图1所示，该应用场景示意图包括：待检测图像10、三维目标检测装置11和检测后的图像12。
其中，待检测图像10中包含有多个目标物体(此处仅以目标物体101举例)。
在一种可能的实现中，车辆将拍照设备获取到的待处理图像10传至三维目标检测装置11中，三维目标检测装置11对待处理图像10进行处理(该过程由下述实施例详述)，得到检测后的图像12，与待处理图像10相比，检测后的图像12中对目标物体101添加了三维框121(也即下述的目标三维框)。
作为一种示例，该车辆在得到目标物体101的三维框121之后，可以对目标物体进行更高精度地计算其位置信息和速度信息，用作车辆自身的防碰撞功能或前车追踪功能的输入，有助于实现更恰当的车辆控制。
可选的，三维目标检测装置11的功能可以集成在车辆的电子控制单元(Electronic Control Unit，ECU)上，也可以集成在计算机设备中。也即本申请实施例的执行主体可以是车辆的ECU，也可以是任一计算机相关的设备等。
本申请针对上述技术问题，发明人的技术构思过程如下：发明人发现，现有技术在对图像中的目标物体进行三维框标记时，需要用到预设模型，该模型的训练过程需要大量人工进行标记的三维标签框，造成三维框标记的实现周期长，成本高，那么从图像的原始激光雷达点云中选择标记在目标物体上的激光雷达点出发，由于该激光雷达点描述了目标物体在三维空间中的轮廓，之后利用该激光雷达点对经过现有技术生成的第二三维框参数进行不断修正，便可以得到更加准确的三维框，并且不需要人工标注训练模型的过程，节省了时间，效率更高。
下面以图1所示的应用场景示意图，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请实施例提供的三维目标检测方法实施例一的流程示意图。
如图2所示，该方法包括如下步骤：
步骤21、获取摄像头拍摄到的待处理图像。
其中，该待处理图像包括：至少一个目标物体。
在本步骤中，当需要对一个场景中的至少一个目标物体进行检测时，首先需要捕捉到该包含目标物体(例如，图1所示的目标物体101)的场景信息，即可以通过装在车辆上的摄像头等设备拍摄得到的RGB图像。该RGB图像即待检测图像，本申请实施例的目的即对待检测图像上的目标物体进行三维框标注。
可选的，该待处理图像还可以是从其他设备或存储器中提取的RGB图像。
应理解，待处理图像中的目标物体可以包括行人、车辆、建筑等，且不对目标物体的数量做限制，本申请实施例以一个车辆进行示例说明。
步骤22、将待处理图像分别输入至二维检测器和目标特征编码器中，得到待处理图像中各个目标物体的二维框信息和第一深层特征。
其中，目标特征编码器的参数是根据各个目标物体的表面的激光雷达点和第二三维框参数确定的，第二三维框参数是根据各个目标物体的二维框信息和第二深层特征确定的，第二深层特征为将待处理图像输入至初始特征编码器得到的。
在本步骤中，对待处理图像中的每个目标物体进行处理，得到每个目标物体中实际用于存储图像的灰度或色彩所需要的比特位数，即每个目标物体的深层特征；以及检测出每个分别从二维角度包围的目标物体的框架，即每个目标物体的二维框信息。
在一种可能的设计中，图3为本申请实施例提供的目标检测示意图。结合图3，步骤22可以通过以下步骤实现：
第1步、将待处理图像输入至二维检测器中，得到待处理图像中每个目标物体的二维框信息。
可选的，将待处理图像10输入二维检测器2D Detector 31中，输出具有二维框2DBoxes 32的图像，每个2D Box都对应有二维检测器识别出来的目标物体，可以是车辆A、车辆B、行人C等。
第2步、将待处理图像输入至目标特征编码器中，得到待处理图像中各个目标物体的第一深层特征。
可选的，将待处理图像10输入目标特征编码器Feature Encoder 33中，得到各个目标物体的深层特征Deep Features 34，即第一深层特征。
应理解，该第1步和第2步的先后顺序可以自适应调整，也可以并行。
其中，目标特征编码器33的参数为经过下述实施例给出的方法修正之后的参数，利用该目标特征编码器33可以更加准确的得到第一深层特征34，基于第一深层特征34和二维框32，可以得到指定对象特征35，从而利用目标模型，得到可以构建目标三维框的第一三维框参数。目标模型的参数也是经过下述实施例给出的方法修正之后的参数，利用该目标模型可以更加准确的得到第一三维框参数。该段仅作大体的架构说明，未详细纰述的内容参见下述实施例。
进一步地，在该步骤之前，还需要确定目标特征编码器的参数和目标模型的参数，具体实现可以是：
第1步、将待处理图像分别输入至二维检测器和初始特征编码器，得到二维框信息和第二深层特征。
其中，将待处理图像输入至二维检测器中，与上述步骤相似，也可以直接获取上述二维框信息，并将待处理图像输入初始特征编码器，得到第二深层特征。
可选的，初始特征编码器的参数为原始参数，并未进行上述提及的修正，仅能获取到未经修正的第二深层特征。
第2步、根据二维框信息和第二深层特征，确定对象特征。
可选的，使用二维框信息从第二深层特征中获取各个目标物体的对象特征。
第3步、根据对象特征和各个目标物体的表面的激光雷达点，确定目标特征编码器的参数和目标模型的参数。
该步骤的具体实现可以是，将对象特征输入至原始的目标模型中，得到各个目标物体的第二三维框参数，结合各个目标物体的表面的激光雷达点(该激光雷达点的获取过程由下述实施例详述)，得到每个激光雷达点的第一损失值、每个激光雷达点的第二损失值和每个激光雷达点的方向估计值，并回归至初始特征编码器和原始的目标模型中，对初始特征编码器的参数和原始的目标模型的参数进行修正，以得到目标特征编码器和目标模型。
可选的，激光雷达点为各个目标物体表面的激光雷达点，图4为本申请实施例提供的激光雷达点的获取示意图。结合图4，激光雷达点的获取过程可以通过如下步骤实现：
第1步、获取待处理图像的激光雷达点云，激光雷达点云包括：激光雷达点。
可选的，获取关于待处理图像的激光雷达点云41中的激光雷达点LIDAR PointCloud。
其中，该激光雷达点云还可以通过设置在自主车辆上的一个或多个激光雷达传感器获取激光雷达数据、对激光雷达数据进行处理后得到。
第2步、将激光雷达点投影在二维实例掩模内的图像上，得到初始激光雷达点云。
可选的，选取二维实例掩模Instance Mask 42内的图像，将激光雷达点投影在该二维实例掩模内的图像上，得到的点为初始激光雷达点云，包括：与目标物体相关的点和背景点(与目标物体无关的点)。
第3步、对初始激光雷达点云进行过滤，将待处理图像中每个目标物体上的点确定为激光雷达点43。
可选的，对初始激光雷达点云进行过滤，即去除背景点(非目标物体上的点)，具体可以用无监督密度聚类算法DBSCAN对初始激光雷达点云进行过滤，得到每个目标物体上的点，记为激光雷达点，此外，该激光雷达点描述了目标物体的部分轮廓，隐式地表示了目标物体的方向θy。
其中，激光雷达点可以认为是目标-激光雷达点Object-LIDAR Point，即每个目标物体上的激光雷达点。
步骤23、根据各个目标物体的二维框信息和各个目标物体的第一深层特征，得到各个目标物体的第一三维框参数。
在该步骤中，可以通过如下方式实现：
第1步、根据各个目标物体的二维框信息和各个目标物体的第一深层特征，确定第一对象特征。
其中，使用二维框信息从各个目标物体的第一深层特征中获取各个目标物体的第一对象特征。
第2步、将第一对象特征输入至目标模型中，得到各个目标物体的第一三维框参数。
其中，目标模型的参数是根据各个目标物体的表面的激光雷达点和第二三维框参数确定的。
可选的，由于该目标模型已经是修正过参数的目标模型，则将第一对象特征输入至目标模型中，可以得到各个目标物体的第一三维框参数，根据该第一三维框参数，可以直接确定出各个目标物体的目标三维框信息。
步骤24、根据各个目标物体的第一三维框参数，确定各个目标物体的目标三维框信息。
在该步骤中，预测目标三维框信息的各个目标物体的第一三维框参数已经由上述步骤确定，便可以直接得到目标三维框信息，即，图1中的目标物体101的三维框图121。
本申请实施例提供的三维目标检测方法，通过获取摄像头拍摄到的待处理图像，待处理图像包括：至少一个目标物体，并将待处理图像分别输入至二维检测器和目标特征编码器中，得到待处理图像中各个目标物体的二维框信息和第一深层特征，根据各个目标物体的二维框信息和各个目标物体的第一深层特征，得到各个目标物体的第一三维框参数，之后根据各个目标物体的第一三维框参数，确定各个目标物体的目标三维框信息。该技术方案中，从待处理图像中各个目标物体表面的激光雷达点出发，更加准确的确定出各个目标物体的目标三维框，且避免了现有技术中三维框生成周期长，效率低的问题。
在上述实施例的基础上，图5为本申请实施例提供的三维目标检测方法实施例二的流程示意图。如图5所示，上述步骤22中确定目标特征编码器的参数和目标模型的参数，可以包括如下步骤：
步骤51、针对每个目标物体，根据对象特征，确定第二三维框参数。
其中，第二三维框参数用于确定第二三维框。
在该步骤中，对待处理图像分别经过初始特征编码器和二维检测器处理，得到二维框信息和第二深层特征，之后根据二维框信息和第二深层特征得到对象特征，将该对象特征输入至初始的目标模型中，得到第二三维框参数。
其中，第二三维框参数对应的第二三维框，用于和激光雷达点一起，回归得到目标特征编码器的参数和目标模型的参数。
步骤52、确定激光雷达点所在的第一连接线。
其中，第一连接线为连接激光雷达点和第二三维框的中心的连接线。
在本步骤中，图6为本申请实施例提供的几何对齐损失示意图，结合图6，对本实施例进行详细说明。
其中，激光雷达点可以有N个，如图6所示，以一个激光雷达点431进行举例：
可选的，由于各个激光雷达点(如，激光雷达点431)都是从可见的目标物体表面捕获的，即第二三维框64(根据第二三维框参数确定得到的三维框)的中心往往更接近目标物体的目标三维框的边缘，而不是目标物体的最终三维框的中心，其主要问题在于最小化第二三维框64的中心与激光雷达点431的距离(欧式距离)，因为这种欧式距离会影响最终目标物体的目标三维框的生成。
在一种可能的实现中，针对每个目标物体的激光雷达点，建立激光雷达点431与第二三维框中心的连接线，即第一连接线61；也可以是由第二三维框64中心指向激光雷达点431的射线，该连接线的数量与目标物体的激光雷达点的个数相等。
步骤53、根据第一连接线和第二三维框参数，确定激光雷达点与第一交点的第一距离。
其中，第一交点为第一连接线和第二三维框的交点，第一距离的值为三维框信息的几何对齐损失；
可选的，第一连接线61的两端分别是激光雷达点431和第二三维框64中心，与第二三维框64的交点为第一交点62，激光雷达点431到第一交点62的距离为第一距离。
在一种可能的实现中，几何对齐损失Lgeometry的公式为：
Lgeometry＝||p-p/||1
其中，P为激光雷达点431的坐标；PI为第一交点62的坐标，可以用
Figure BDA0003222329140000141
表示；b3d为第二三维框64中心点；由于其投影(tx，ty)在实例掩模内图像上，其深度z，因此，P3d＝[(tx-cx)z，(ty-cy)z，z]T，参数cx、cy来源于摄像头的投影矩阵。
应理解：图6中的激光雷达点431位于第二三维框64之外，也可以位于第二三维框64之内，此处不做赘述。
步骤54、根据第一距离、激光雷达点和第二三维框参数，确定目标特征编码器的参数和目标模型的参数。
在本步骤中，基于几何对齐损失，进一步地根据激光雷达点和第二三维框，确定出射线跟踪损失和点方向的损失，从而实现对第二三维框的迭代更新。
本申请实施例提供的三维目标检测方法，通过针对每个目标物体，根据对象特征，确定第二三维框参数，第二三维框参数用于确定第二三维框，确定激光雷达点所在的第一连接线，根据第一连接线和第二三维框参数，确定激光雷达点与第一交点的第一距离，之后根据第一距离、激光雷达点和第二三维框参数，确定目标特征编码器的参数和目标模型的参数，该方法中，通过激光雷达点对第二三维框参数进行几何对齐损失的确定，实现了更加准确的确定目标特征编码器的参数和目标模型的参数，为后续更加准确的预测目标三维框提供了基础。
在上述实施例的基础上，图7为本申请实施例提供的三维目标检测方法实施例三的流程示意图。如图7所示，上述步骤54可以包括如下步骤：
步骤71、以摄像头的光学中心做激光雷达点的第二连接线。
在本步骤中，图8为本申请实施例提供的射线跟踪损失示意图，结合图8，对本实施例进行详细说明。
在本步骤中，当激光雷达点不能代表目标物体的适当轮廓时，就会发生歧义。具体来说，歧义是指在激光雷达点与对齐的过程中，如何在语义上决定每个激光雷达点与三维框的边缘之间的对应关系。
此时，通过考虑场景约束来解决语义歧义。类似于摄像机在成像的过程，当扫描一个场景时，如果遇到障碍物，激光雷达设备的信号会被反射出来。考虑到摄像机视场内的反射激光雷达信号。
因此，提出从摄像机的光学中心Pcam81到激光雷达点431的光线跟踪，使激光雷达点431到第二三维框64交点的距离最小。
在一种可能的实现中，做过光学中心81到激光雷达点431的连接线，记为第二连接线84。
步骤72、根据第二连接线和第二三维框参数，确定激光雷达点与第二三维框参数的第二交点。
其中，第二交点为距离光学中心最近的第二连接线和第二三维框的交点；
可选的，在第二连接线84上，与第二三维框64的交点有两个，选择距离光学中心81最近的交点为第二交点82。
步骤73、在第二连接线上，确定激光雷达点和第二交点的第二距离。
其中，第二距离的值为三维框信息的射线跟踪损失；
可选的，第二交点82到激光雷达点431之间的距离为第二距离83。
在一种可能的实现中，射线跟踪损失Lray_tracing的公式为：
Lray_tracing＝||P-PR||1
其中，P为激光雷达点431的坐标；PR为第二交点82的坐标，可以用
Figure BDA0003222329140000161
表示。
应理解，有的激光雷达点与第二三维框没有交点时，射线跟踪损失为0。这意味着在反向传播过程中，射线跟踪损失不会导致梯度下降。通过这种方式，便可以消除了语义歧义，使得目标三维框的确定遵循场景约束。
步骤74、根据第一距离、第二距离、激光雷达点和第二三维框参数，确定目标特征编码器的参数和目标模型的参数。
在本步骤中，基于射线跟踪损失和几何对齐损失，根据激光雷达点和第二三维框参数，进一步地确定出目标物体的目标三维框信息。
其中，第二三维框包括：多个预设范围空间，每个预设范围空间包括：多个激光雷达点；
可选的，激光雷达点的空间分布变化也是一个障碍。
具体的，激光雷达点密度时高时低，导致激光雷达点方向的损失，如几何对齐损失和射线追踪损失都遭受激光雷达点不均匀分布的影响。
具体来说，由密集区域产生的损耗占总损耗的主导地位，忽略了其他相对稀疏但本质的点所产生的损耗。为了平衡影响，我们在计算损失时对激光雷达点的密度进行归一化。
则，该步骤74可以通过如下步骤实现：
第1步、根据第二三维框参数和激光雷达点，确定每个预设范围空间内各个激光雷达点的指向密度，指向密度为针对每个激光雷达点，在预设范围空间内，指向激光雷达点的点的密度。
可选的，可以将激光雷达点所在的区域分为半径为H的预设范围空间，每个预设范围空间都有多个激光雷达点，对每个预设范围空间而言，确定该预设范围空间中每个激光雷达点的指向密度。
在一种可能的实现中，激光雷达点的指向密度εi的公式为：
Figure BDA0003222329140000171
其中，Pi为指向密度εi的激光雷达点，Pj为H范围内的其他激光雷达点，M为目标物体上激光雷达点的数量。
第2步、根据指向密度、第一距离、第二距离、目标物体中激光雷达点的数量和激光雷达点到第二三维框的中心的距离，确定目标物体的每个激光雷达点的第一损失值，第一损失值为激光雷达点在垂直方向上的损失值。
可选的，影响激光雷达点的三个因素，分别为几何对齐损失、射线追踪损失和指向密度，进一步地，根据三个因素，确定出激光雷达点在垂直方向上的第一损失值Lbalancing，其计算公式为：
Figure BDA0003222329140000172
其中，
Figure BDA0003222329140000173
为激光雷达点到三维框的中心的距离，即中心损失正则化，λ为该中心损失正则化的系数，可以设置为0.1。
此外，几何对齐损失和射线追踪损失的系数可以预设为1。
第3步、根据每个激光雷达点的第一损失值和每个激光雷达点的坐标，确定目标特征编码器的参数和目标模型的参数。
可选的，第一损失值仅表示了激光雷达点与第二三维框在垂直面上的差异，还需要确定出激光雷达点与第二三维框在水平面上的差异，才可以根据两个差异值修正目标特征编码器的参数和目标模型的参数，之后得到目标三维框。
其中，目标三维框信息包括：构成目标三维框的坐标信息等。
具体的，该第3步的过程的实现还可以通过如下步骤实现：
1、根据每个激光雷达点的坐标，确定所有激光雷达点在水平方向的距离和；
可选的，将目标物体的各个激光雷达点的坐标(x3d，y3d，z3d)中的y3d进行累加求和，即距离和。
2、根据距离和目标物体中激光雷达点的数量，确定每个激光雷达点的平均值；
可选的，若该目标物体的激光雷达点的数量为M个，利用距离和除以M个激光雷达点，得到每个激光雷达点的平均值，用yL表示。
3、根据每个激光雷达点的平均值和网络预测阈值，确定每个激光雷达点在水平方向上的第二损失值；
可选的，水平方向上的第二损失值
Figure BDA0003222329140000181
的计算公式为：
Figure BDA0003222329140000182
其中，
Figure BDA0003222329140000183
为水平位置网络预测的值，假设
Figure BDA0003222329140000184
则当|h|小于1时，SommthL1(h)＝0.5h2；当|h|大于或等于1时，SommthL1(h)＝|h|-0.5。
4、根据每个激光雷达点的第一损失值、每个激光雷达点的第二损失值和每个激光雷达点的方向估计值，得到目标特征编码器的参数和目标模型的参数，方向估计值是根据每个激光雷达点的坐标与光学中心的坐标确定的。
可选的，方向估计值是除了第一损失值、第二损失值的方向损失，在本申请实施例中，从待处理图像估计出局部方向，即观测角度，在进行局部方向估计之后，使用预测的三维中心(x3d，z3d)将其转换为全局方向。
具体的，将光学中心最为观测点，在y上的观测角度为θy或θy±π/2。目标物体的方向进一步由激光雷达点在三维空间中沿x轴的空间偏移dx决定。低偏移量表示方向接近π/2，高偏移量表示方向接近0。默认情况下，将偏移阈值设置为3.0米。因此，可以获得了目标物体的全局方向，可作为方向估计值。
可选的，每个激光雷达点的总损失L为第一损失值、第二损失值和方向估计值Lorient之和，公式为：
Figure BDA0003222329140000185
进一步地，根据每个激光雷达点的总损失，对目标特征编码器的参数和目标模型的参数。
本申请实施例提供的三维目标检测方法，通过以摄像头的光学中心做激光雷达点的第二连接线，并根据第二连接线和第二三维框参数，确定激光雷达点与第二三维框参数的第二交点，之后在第二连接线上，确定激光雷达点和第二交点的第二距离，最后根据第一距离、第二距离、激光雷达点和第二三维框参数，确定目标特征编码器的参数和目标模型的参数。该技术方案，从激光雷达点出发，确定了射线跟踪损失，之后得到目标特征编码器的参数和目标模型的参数，以实现更加准确的预测目标物体的目标三维框。
在上述方法实施例的基础上，图9为本申请实施例提供的三维目标检测装置的结构示意图。如图9所示，该三维目标检测装置包括：获取模块91、处理模块92和确定模块93；
获取模块91，用于获取摄像头拍摄到的待处理图像，待处理图像包括：至少一个目标物体；
处理模块92，用于将待处理图像分别输入至二维检测器和目标特征编码器中，得到待处理图像中各个目标物体的二维框信息和第一深层特征，目标特征编码器的参数根据各个目标物体的表面的激光雷达点和第二三维框参数确定的，第二三维框参数根据各个目标物体的二维框信息和第二深层特征确定的，第二深层特征为将待处理图像输入至初始特征编码器得到的；
确定模块93，用于根据各个目标物体的二维框信息和各个目标物体的第一深层特征，得到各个目标物体的第一三维框参数，并根据各个目标物体的第一三维框参数，确定各个目标物体的目标三维框信息。
在本申请实施例一种可能的设计中，处理模块92，还用于：
根据各个目标物体的二维框信息和各个目标物体的第一深层特征，确定第一对象特征；
将第一对象特征输入至目标模型中，得到各个目标物体的第一三维框参数，目标模型的参数是根据各个目标物体的表面的激光雷达点和第二三维框参数确定的。
在本申请实施例再一种可能的设计中，处理模块92，还用于：
将待处理图像分别输入至二维检测器和初始特征编码器，得到二维框信息和第二深层特征；
根据二维框信息和第二深层特征，确定对象特征；
根据对象特征和各个目标物体的表面的激光雷达点，确定目标特征编码器的参数和目标模型的参数。
在该种可能的设计中，处理模块92，根据对象特征和各个目标物体的表面的激光雷达点，确定目标特征编码器的参数和目标模型的参数，具体用于：
针对每个目标物体，根据对象特征，确定第二三维框参数，第二三维框参数用于确定第二三维框；
确定激光雷达点所在的第一连接线，第一连接线为连接激光雷达点和第二三维框参数中心的连接线；
根据第一连接线和第二三维框参数，确定激光雷达点与第一交点的第一距离，第一交点为第一连接线和第二三维框参数的交点，第一距离的值为三维框信息的几何对齐损失；
根据第一距离、激光雷达点和第二三维框参数，确定目标特征编码器的参数和目标模型的参数。
可选的，处理模块92，根据第一距离、激光雷达点和第二三维框参数，确定目标特征编码器的参数和目标模型的参数，具体用于：
以摄像头的光学中心做激光雷达点的第二连接线；
根据第二连接线和第二三维框参数，确定激光雷达点与第二三维框参数的第二交点，第二交点为距离光学中心最近的第二连接线和第二三维框参数的交点；
在第二连接线上，确定激光雷达点和第二交点的第二距离，第二距离的值为三维框信息的射线跟踪损失；
根据第一距离、第二距离、激光雷达点和第二三维框参数，确定目标特征编码器的参数和目标模型的参数。
可选的，第二三维框参数包括：多个预设范围空间，每个预设范围空间包括：多个激光雷达点；
相应的，处理模块92，根据第一距离、第二距离、激光雷达点和第二三维框参数，确定目标特征编码器的参数和目标模型的参数，具体用于：
根据第二三维框参数和激光雷达点，确定每个预设范围空间内各个激光雷达点的指向密度，指向密度为针对每个激光雷达点，在预设范围空间内，指向激光雷达点的点的密度；
根据指向密度、第一距离、第二距离、目标物体中激光雷达点的数量和激光雷达点到第二三维框的中心的距离，确定目标物体的每个激光雷达点的第一损失值，第一损失值为激光雷达点在垂直方向上的损失值；
根据每个激光雷达点的第一损失值和每个激光雷达点的坐标，确定目标特征编码器的参数和目标模型的参数。
可选的，处理模块92，根据每个激光雷达点的第一损失值和每个激光雷达点的坐标，确定目标特征编码器的参数和目标模型的参数，具体用于：
根据每个激光雷达点的坐标，确定所有激光雷达点在水平方向的距离和；
根据距离和和目标物体中激光雷达点的数量，确定每个激光雷达点的平均值；
根据每个激光雷达点的平均值和网络预测阈值，确定每个激光雷达点在水平方向上的第二损失值；
根据每个激光雷达点的第一损失值、每个激光雷达点的第二损失值和每个激光雷达点的方向估计值，得到目标特征编码器的参数和目标模型的参数，方向估计值是根据每个激光雷达点的坐标与光学中心的坐标确定的。
本申请实施例提供的三维目标检测装置，可用于执行上述实施例中三维目标检测方法对应的技术方案，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
图10为本申请实施例提供的计算机设备的结构示意图。如图10所示，该计算机设备可以包括：处理器201、存储器202及存储在该存储器202上并可在处理器201上运行的计算机程序指令。
其中，该计算机设备可以是手机、电脑、平板等具有显示功能的设备。
处理器201执行存储器202存储的计算机执行指令，使得处理器201执行上述实施例中的方案。处理器201可以是通用处理器，包括中央处理器CPU、网络处理器(networkprocessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的，该计算机设备还可以包括：收发器203。
存储器202和收发器203通过***总线与处理器201连接并完成相互间的通信，存储器202用于存储计算机程序指令。
收发器203用于和其他设备进行通信，该收发器203构成通信接口。
可选的，在硬件实现上，上述图9所示实施例中的获取模块91对应于本实施例中的收发器203。
在一种可能的实现中，该计算机设备还可以包括：显示器，该显示器用于显示计算机设备的显示界面，具体为实施例中的示例：待处理图像、检测后的图像。
***总线可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。***总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请实施例提供的计算机设备，可用于执行上述实施例中三维目标检测方法对应的技术方案，其实现原理和技术效果类似，在此不再赘述。
本申请实施例还提供一种运行指令的芯片，该芯片用于执行上述实施例中三维目标检测方法的技术方案。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机设备上运行时，使得计算机设备执行上述实施例中三维目标检测方法的技术方案。
本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时用于执行上述实施例中三维目标检测方法的技术方案。
上述的计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机设备能够存取的任何可用介质。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种三维目标检测方法，其特征在于，包括：
获取摄像头拍摄到的待处理图像，所述待处理图像包括：至少一个目标物体；
将所述待处理图像分别输入至二维检测器和目标特征编码器中，得到所述待处理图像中各个目标物体的二维框信息和第一深层特征，所述目标特征编码器的参数是根据各个目标物体的表面的激光雷达点和第二三维框参数确定的，所述第二三维框参数是根据各个目标物体的二维框信息和第二深层特征确定的，所述第二深层特征为将所述待处理图像输入至初始特征编码器得到的；
根据各个目标物体的二维框信息和各个目标物体的第一深层特征，得到各个目标物体的第一三维框参数；
根据各个目标物体的第一三维框参数，确定各个目标物体的目标三维框信息。
2.根据权利要求1所述的方法，其特征在于，在所述将所述待处理图像分别输入至二维检测器和目标特征编码器中，得到所述待处理图像中各个目标物体的二维框信息和第一深层特征之前，所述方法还包括：
获取所述待处理图像的激光雷达点云，所述激光雷达点云包括：所有物体的激光雷达点；
将所述所有物体的激光雷达点投影在二维实例掩模内的图像上，得到初始目标点云；
对所述初始目标点云进行过滤，将所述待处理图像中每个目标物体上的激光雷达点。
3.根据权利要求1或2所述的方法，其特征在于，所述根据各个目标物体的二维框信息和各个目标物体的第一深层特征，得到各个目标物体的第一三维框参数，包括；
根据各个目标物体的二维框信息和各个目标物体的第一深层特征，确定第一对象特征；
将所述第一对象特征输入至目标模型中，得到各个目标物体的第一三维框参数，所述目标模型的参数是根据各个目标物体的表面的激光雷达点和第二三维框参数确定的。
4.根据权利要求1或2所述的方法，其特征在于，在所述将所述待处理图像分别输入至二维检测器和目标特征编码器中，得到所述待处理图像中各个目标物体的二维框信息和第一深层特征之前，所述方法还包括：
将所述待处理图像分别输入至所述二维检测器和所述初始特征编码器，得到所述二维框信息和所述第二深层特征；
根据所述二维框信息和所述第二深层特征，确定对象特征；
根据对象特征和所述各个目标物体的表面的激光雷达点，确定所述目标特征编码器的参数和所述目标模型的参数。
5.根据权利要求4所述的方法，其特征在于，所述根据对象特征和所述各个目标物体的表面的激光雷达点，确定所述目标特征编码器的参数和所述目标模型的参数，包括：
针对每个目标物体，根据所述对象特征，确定第二三维框参数，所述第二三维框参数用于确定第二三维框；
确定所述激光雷达点所在的第一连接线，所述第一连接线为连接所述激光雷达点和所述第二三维框参数中心的连接线；
根据所述第一连接线和所述第二三维框参数，确定所述激光雷达点与第一交点的第一距离，所述第一交点为所述第一连接线和所述第二三维框参数的交点，所述第一距离的值为所述三维框信息的几何对齐损失；
根据所述第一距离、所述激光雷达点和所述第二三维框参数，确定所述目标特征编码器的参数和所述目标模型的参数。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一距离、所述激光雷达点和所述第二三维框参数，确定所述目标特征编码器的参数和所述目标模型的参数，包括：
以所述摄像头的光学中心做所述激光雷达点的第二连接线；
根据所述第二连接线和所述第二三维框参数，确定所述激光雷达点与所述第二三维框参数的第二交点，所述第二交点为距离所述光学中心最近的所述第二连接线和所述第二三维框参数的交点；
在所述第二连接线上，确定所述激光雷达点和所述第二交点的第二距离，所述第二距离的值为所述三维框信息的射线跟踪损失；
根据所述第一距离、所述第二距离、所述激光雷达点和所述第二三维框参数，确定所述目标特征编码器的参数和所述目标模型的参数。
7.根据权利要求6所述的方法，其特征在于，所述第二三维框参数包括：多个预设范围空间，每个预设范围空间包括：多个激光雷达点；
相应的，所述根据所述第一距离、所述第二距离、所述激光雷达点和所述第二三维框参数，确定所述目标特征编码器的参数和所述目标模型的参数，包括：
根据所述第二三维框参数和所述激光雷达点，确定所述每个预设范围空间内各个激光雷达点的指向密度，所述指向密度为针对每个激光雷达点，在预设范围空间内，指向所述激光雷达点的点的密度；
根据所述指向密度、所述第一距离、所述第二距离、所述目标物体中激光雷达点的数量和所述激光雷达点到所述第二三维框的中心的距离，确定所述目标物体的每个激光雷达点的第一损失值，所述第一损失值为所述激光雷达点在垂直方向上的损失值；
根据每个激光雷达点的第一损失值和每个激光雷达点的坐标，确定所述目标特征编码器的参数和所述目标模型的参数。
8.根据权利要求7所述的方法，其特征在于，所述根据每个激光雷达点的第一损失值和每个激光雷达点的坐标，确定所述目标特征编码器的参数和所述目标模型的参数，包括：
根据每个激光雷达点的坐标，确定所有激光雷达点在水平方向的距离和；
根据所述距离和和所述目标物体中激光雷达点的数量，确定每个激光雷达点的平均值；
根据每个激光雷达点的平均值和网络预测阈值，确定每个激光雷达点在水平方向上的第二损失值；
根据每个激光雷达点的第一损失值、每个激光雷达点的第二损失值和每个激光雷达点的方向估计值，得到所述目标特征编码器的参数和所述目标模型的参数，所述方向估计值是根据每个激光雷达点的坐标与所述光学中心的坐标确定的。
9.一种三维目标检测装置，其特征在于，包括：获取模块、处理模块和确定模块；
所述获取模块，用于获取摄像头拍摄到的待处理图像，所述待处理图像包括：至少一个目标物体；
所述处理模块，用于将所述待处理图像分别输入至二维检测器和目标特征编码器中，得到所述待处理图像中各个目标物体的二维框信息和第一深层特征，所述目标特征编码器的参数是根据各个目标物体的表面的激光雷达点和第二三维框参数确定的，所述第二三维框参数是根据各个目标物体的二维框信息和第二深层特征确定的，所述第二深层特征为将所述待处理图像输入至初始特征编码器得到的；
所述确定模块，用于根据各个目标物体的二维框信息和各个目标物体的第一深层特征，得到各个目标物体的第一三维框参数，并根据各个目标物体的第一三维框参数，确定各个目标物体的目标三维框信息。
10.一种计算机设备，包括：处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序指令，其特征在于，所述处理器执行所述计算机程序指令时实现如上述权利要求1至8任一项所述的三维目标检测方法。
CN202110961850.8A 2021-08-20 2021-08-20 三维目标检测方法、装置和计算机 Active CN113822159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110961850.8A CN113822159B (zh) 2021-08-20 2021-08-20 三维目标检测方法、装置和计算机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110961850.8A CN113822159B (zh) 2021-08-20 2021-08-20 三维目标检测方法、装置和计算机

Publications (2)

Publication Number Publication Date
CN113822159A true CN113822159A (zh) 2021-12-21
CN113822159B CN113822159B (zh) 2023-09-22

Family

ID=78923017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110961850.8A Active CN113822159B (zh) 2021-08-20 2021-08-20 三维目标检测方法、装置和计算机

Country Status (1)

Country Link
CN (1) CN113822159B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070025A (zh) * 2019-04-17 2019-07-30 上海交通大学 基于单目图像的三维目标检测***及方法
CN111027401A (zh) * 2019-11-15 2020-04-17 电子科技大学 一种摄像头和激光雷达融合的端到端目标检测方法
CN111598770A (zh) * 2020-05-15 2020-08-28 弗徕威智能机器人科技（上海）有限公司 一种基于三维数据和二维图像的物体检测方法和装置
CN111797745A (zh) * 2020-06-28 2020-10-20 北京百度网讯科技有限公司 一种物体检测模型的训练及预测方法、装置、设备及介质
CN111915746A (zh) * 2020-07-16 2020-11-10 北京理工大学 一种基于弱标注的三维点云目标检测方法及标注工具
CN113256709A (zh) * 2021-04-13 2021-08-13 杭州飞步科技有限公司 目标检测方法、装置、计算机设备以及存储介质
CN113267761A (zh) * 2021-05-28 2021-08-17 中国航天科工集团第二研究院 激光雷达目标检测识别方法、***及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070025A (zh) * 2019-04-17 2019-07-30 上海交通大学 基于单目图像的三维目标检测***及方法
CN111027401A (zh) * 2019-11-15 2020-04-17 电子科技大学 一种摄像头和激光雷达融合的端到端目标检测方法
CN111598770A (zh) * 2020-05-15 2020-08-28 弗徕威智能机器人科技（上海）有限公司 一种基于三维数据和二维图像的物体检测方法和装置
CN111797745A (zh) * 2020-06-28 2020-10-20 北京百度网讯科技有限公司 一种物体检测模型的训练及预测方法、装置、设备及介质
CN111915746A (zh) * 2020-07-16 2020-11-10 北京理工大学 一种基于弱标注的三维点云目标检测方法及标注工具
CN113256709A (zh) * 2021-04-13 2021-08-13 杭州飞步科技有限公司 目标检测方法、装置、计算机设备以及存储介质
CN113267761A (zh) * 2021-05-28 2021-08-17 中国航天科工集团第二研究院 激光雷达目标检测识别方法、***及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QINGHAO MENG等: "Weakly Sup ervised 3 D O b j ect Detection from Lidar Point Cloud", 《SPRINGER NATURE SWITZERLAND AG 2020》 *

Also Published As

Publication number Publication date
CN113822159B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
US20170019657A1 (en) Stereo auto-calibration from structure-from-motion
Parra et al. Robust visual odometry for vehicle localization in urban environments
CN107636679A (zh) 一种障碍物检测方法及装置
Muñoz-Bañón et al. Targetless camera-LiDAR calibration in unstructured environments
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN112967344B (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN112232275B (zh) 基于双目识别的障碍物检测方法、***、设备及存储介质
CN113095154A (zh) 基于毫米波雷达与单目相机的三维目标检测***及方法
CN112017236B (zh) 一种基于单目相机计算目标物位置的方法及装置
CN105551020A (zh) 一种检测目标物尺寸的方法及装置
CN110992424B (zh) 基于双目视觉的定位方法和***
CN111964680A (zh) 一种巡检机器人的实时定位方法
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质
CN105335977A (zh) 摄像***及目标对象的定位方法
Nedevschi Online cross-calibration of camera and lidar
Manivannan et al. Vision based intelligent vehicle steering control using single camera for automated highway system
CN113793266A (zh) 一种多目机器视觉图像拼接方法、***及存储介质
Liu et al. Semalign: Annotation-free camera-lidar calibration with semantic alignment loss
Khurana et al. Extrinsic calibration methods for laser range finder and camera: A systematic review
CN115239822A (zh) 分体式飞行车辆多模块间实时视觉识别定位方法及***
CN115407338A (zh) 一种车辆环境信息感知方法及***
CN113450334B (zh) 一种水上目标检测方法、电子设备及存储介质
Cao et al. 3-D dense rangefinder sensor with a low-cost scanning mechanism
Nguyen et al. CalibBD: Extrinsic calibration of the LiDAR and camera using a bidirectional neural network
CN114648639B (zh) 一种目标车辆的检测方法、***及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant