CN111583663A - 基于稀疏点云的单目感知修正方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种基于稀疏点云的单目感知修正方法、装置及存储介质，该方法包括：采集单目相机的原始相机数据和雷达传感器的原始稀疏点云数据；对原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果，三维检测结果包括目标深度值和二维边界框；获取转换矩阵；基于转换矩阵，将原始稀疏点云数据映射到图像平面的对应位置，得到点云投影深度图，为点云投影深度图中的每个二维边界框设置一个点云框，该点云投影深度图中包括原始稀疏点云数据对应的多个投影点，每个投影点包括点云深度值；基于所有点云框中所包含的投影点的点云深度值，对多个目标的目标深度值进行修正。本发明通过设计点云框特性，提高对目标深度值修正的准确性。

Description

基于稀疏点云的单目感知修正方法、装置及存储介质

技术领域

本发明涉及自动驾驶领域，尤其涉及一种基于稀疏点云的单目感知修正方法、装置及存储介质。

背景技术

智能感知是自动驾驶的重要环节，是车辆和环境之间交互的纽带。目前主流的感知传感器包括相机、毫米波雷达以及激光雷达等，但是多线束激光雷达非常昂贵不适合量产，而低线束激光雷达和毫米波雷达获得的点云又非常稀疏，不适合直接用来做三维障碍物感知。与双目相机相比，单目相机相对来说是一种廉价的传感器，在障碍物检测和跟踪方面有着得天独厚的优势，然而单目相机在深度信息感知方面存在局限。

现有技术中，常采取单目相机数据与稀疏点云数据融合的方案，但现有数据融合方案中，需要对稀疏点云数据执行目标检测算法，造成算法复杂度增加的情况下，目标深度估计偏差较大，检测效果提升有限。

发明内容

本发明的目的在于提供一种基于稀疏点云的单目感知方法，用于解决现有技术中在对单目相机的深度信息进行修正时，算法复杂度高及目标深度估计偏差较大的问题。

为了达到所述目的，本发明采用的技术方案是：

第一方面，本发明实施例提供一种基于稀疏点云的单目感知方法，包括：

采集单目相机的原始相机数据和雷达传感器的原始稀疏点云数据；

对所述原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果，其中，每个目标的所述三维检测结果包括目标深度值和二维边界框；

获取转换矩阵，所述转换矩阵是预先在对所述单目相机和所述雷达传感器进行联合标定时得到的；

基于所述转换矩阵，将所述原始稀疏点云数据映射到所述图像平面的对应位置，得到点云投影深度图，并为所述点云投影深度图中的每个所述二维边界框设置一个点云框，其中，所述点云投影深度图中包括所述原始稀疏点云数据对应的多个投影点，每个所述投影点包括点云深度值；

基于所有所述点云框中所包含的所述投影点的所述点云深度值，对所述多个目标的所述目标深度值进行修正。

第二方面，本发明实施例还提供了一种基于稀疏点云的单目感知修正装置，包括：

数据采集模块，用于采集单目相机的原始相机数据和雷达传感器的原始稀疏点云数据；

第一处理模块，用于对所述原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果，其中，每个目标的所述三维检测结果包括目标深度值和二维边界框；

参数获取模块，用于获取转换矩阵，所述转换矩阵是预先在对所述单目相机和所述雷达传感器进行联合标定时得到的；

第二处理模块，用于基于所述转换矩阵，将所述原始稀疏点云数据映射到所述图像平面的对应位置，得到点云投影深度图，并为所述点云投影深度图中的每个所述二维边界框设置一个点云框，其中，所述点云投影深度图中包括所述原始稀疏点云数据对应的多个投影点，每个所述投影点包括点云深度值；

深度修正模块，用于基于所有所述点云框中所包含的所述投影点的所述点云深度值，对所述多个目标的所述目标深度值进行修正。

第三方面，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现第一方面所述的单目感知方法。

本发明的技术方案带来的有益效果是：

本发明通过转换矩阵对原始稀疏点云数据做空间变换及投影，将原始稀疏点云数据映射到相机图像平面，通过利用同一平面中点云的深度信息去修正单目相机的深度信息，数据融合简单，算法复杂度低；通过设计点云框的特性，去筛选出能表示目标的点云深度值的方法，提高对目标深度值修正的准确性，降低目标深度估计偏差，提高了目标检测效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的基于稀疏点云的单目感知修正方法的流程图。

图2是本发明一个实施例提供的点云投影深度图的一个示例图。

图3是本发明一个实施例提供的对目标深度值进行修正的流程图。

图4是本发明一个实施例提供的点云投影深度图的另一个示例图。

图5至图8是本发明一个实施例提供的有效框选取的示例图。

图9是本发明一个实施例提供的对目标深度值进行修正的流程图。

图10是本发明一个实施例提供的关系方程的曲线的示例图。

图11是本发明一个实施例提供的基于稀疏点云的单目感知修正装置的结构框图。

具体实施方式

为了使本技术领域的人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分的实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

智能感知是自动驾驶的重要环节，而障碍物距离的测量是三维感知的基本任务之一，基于稀疏点云的三维目标检测方法由于点云的稀疏性，会丢失很多轮廓或细节信息，检测效果较差，漏检也相对严重；而基于单目相机的三维目标检测，受限于深度估计的误差直接影响着三维目标的位置预测。现有基于稀疏点云和单目相机的融合方案中，需要对稀疏点云数据执行目标检测算法，造成算法负责度增加的情况下，目标深度估计偏差较大，检测效果提升有限。

参考说明书附图1，本发明一个实施例提供了一种基于稀疏点云的单目感知修正方法，该单目感知修正方法可以应用于本发明实施例提供的单目感知修正装置中，也可以应用于具有自动驾驶功能的车辆中。如图1所示，该单目感知修正方法可以包括以下步骤：

步骤S101，采集单目相机的原始相机数据和雷达传感器的原始稀疏点云数据。

其中，雷达传感器可以包括一些常见的雷达，例如各种线束的激光雷达、毫米波雷达等，也可以包括一些测距设备，这些测距设备可以产生有空间位置的点云数据且能与单目相机进行标定。在采集到原始相机数据和雷达传感器数据之后，还需要进行延时同步处理。通过对原始相机数据和雷达传感器数据进行时间同步，可以使原始相机数据和原始稀疏点云数据相关联。

对原始相机数据和雷达传感器数据进行同步，可以采用硬件或软件触发的方式，以触发相机传感器和雷达传感器的采集，在采集完数据后增加数据延迟，达到数据同步的目的。

步骤S102，对原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果，其中，每个目标的三维检测结果包括目标深度值和二维边界框。

本发明实施例中，可以利用常见单目相机的感知算法，将常见的目标检测框架与单目相机的几何约束关系相结合，获取图像平面中多个目标的三维检测结果，例如RCNN(Region with CNN features)系列、YOLO(You Only Live Once)系列以及SSD(SingleShot MultiBox Detector)系列等。

在一个可能的实施例中，为了直接回归目标的尺寸、方向以及深度信息，可以在深度学***面中多个目标的三维检测结果。其中，三维检测结果可以包括二维边界框(bounding box)和目标深度值等信息，二维边界框可以包括二维边界框的位置、方向以及尺寸，二维边界框表征包含目标的一个紧致矩形框。通过依托先进的深度学习目标检测框架，尽可能多的检出各种障碍物，克服传感器之间由于检测能力差异而带来的后端目标级融合的目标丢失。

步骤S103，获取转换矩阵，该转换矩阵是预先在对单目相机和雷达传感器进行联合标定时得到的。

通常，为了对每个目标的目标深度值更精确的修正，需要预先对单目相机和雷达传感器进行联合标定，单目相机和雷达传感器的联合标定属于空间同步范畴，通过联合标定可以得到雷达传感器相对于单目相机的旋转和平移。

联合标定可以分两步执行，首先是单目相机的内参标定，然后是单目相机与雷达传感器的外参标定。内参标定是对单目相机的焦距、主点以及失真系数等信息进行标定，可以采用常规的棋盘格标定方法；外参标定是对单目相机和雷达传感器之间的旋转和平移等转换进行标定，可以基于匹配的方法，用特征点进行求解。在对外参标定后，将标定的转换矩阵进行保存。

步骤S104，基于转换矩阵，将原始稀疏点云数据映射到图像平面的对应位置，得到点云投影深度图，并为点云投影深度图中的每个二维边界框设置一个点云框，其中，点云投影深度图中包括原始稀疏点云数据对应的多个投影点，每个投影点包括点云深度值。

利用单目相机和雷达传感器的标定结果，将雷达传感器的原始稀疏点云数据映射到单目相机相同的图像平面，以在相同的图像平面中，充分利用雷达传感器高精度的测距优势，使雷达传感器辅助单目相机进行目标检测，解决单目相机的深度信息感知的局限性，而不需要再对原始稀疏点云数据采用目标检测算法，降低目标检测的算法复杂度。

而为了进一步提高目标深度信息修正的准确性，提高检测效果，需要从这些投影点(即点云)中筛选出能表示目标的深度信息的投影点，本发明的单目感知修正方法设计了基于点云框的特性，为每个二维边界框设置一个点云框。其中，点云框的位置和大小可以根据对应的二维边界框的位置和大小进行设置。例如，可以将点云框的位置和大小设置为与对应的二维边界框的位置和大小相同，即二维边界框本身可以作为点云框，也可以将点云框的位置和大小设置为与对应的二维边界框的位置和大小不同。

在一个优选的实施例中，对于点云投影深度图中的每个二维边界框中的点云框，点云框的宽度可以设置为该二维边界框的宽度的1/3，点云框的高度可以设置为该二维边界框的高度的1/3，点云框的中心点可以设置在位于该二维边界框的中心点的正下方，点云框的中心点与该二维边界框的中心点之间的距离可以设置为二维边界框的高度的1/6。

参考说明书附图2，图2示出了本发明一个实施例提供的点云投影深度图的一个示例。如2所示，原始稀疏点云数据通过转换矩阵，在点云投影深度图中映射了多个投影点3，不难看出这些多个投影点3组成的点云相对较为稀疏，而图2是由64线激光雷达传感器的点云数据进行投影的结果。实际应用中，为降低成本常采用毫米波雷达或者16线激光雷达进行测距，点云会显得更为稀疏。二维边界框1中设置有点云框2，点云框2的位置和大小是根据二维边界框1进行设置的。

步骤S105，基于所有点云框中所包含的投影点的点云深度值，对多个目标的目标深度值进行修正。

具体的，设计点云框的特性，使用点云框中所包含的投影点的点云深度值，对单目相机检测出的目标的目标深度值进行修正，因为雷达传感器对前方障碍物距离的测量精度是比较高的，因此在对目标的目标深度值进行修正时，主要以点云数据为基准。通过利用有限目标的目标深度值和点云深度值拟合目标深度值和点云深度值的关系方程，并将目标深度值更新为点云深度值，再将其余目标的目标深度值根据关系方程进行计算，从而修正所有检测出的目标的目标深度值，提高单目相机的深度估计能力。

而由于感知能力或者遮挡等的问题，原始稀疏点云数据中可能不存在某些目标的深度信息，因而将原始稀疏点云映射到图像平面后，所获得的点云投影深度图中存在有的点云框中不包含投影点，或者同一个投影点覆盖多个目标即二维边界框重叠。因此，需要对重叠的二维边界框进行处理，筛选出有效的二维边界框。

参考说明书附图3，图3示出了本发明一个实施例提供的对目标深度值进行修正的流程。如图3所示，基于所有点云框中所包含的投影点的点云深度值，对多个目标的目标深度值进行修正的步骤可以包括：

步骤S301，将所有二维边界框划分为重叠集和非重叠集。其中，重叠集中存储有零个或多个二维边界框组，每个二维边界框组中存储有至少两个二维边界框，二维边界框组中每个二维边界框与至少一个其余二维边界框重叠，非重叠集中所有的二维边界框两两不相互重叠。

重叠包括部分重叠和全部重叠，即二维边界框组中每个二维边界框与至少一个其余二维边界框部分重叠或全部重叠，非重叠集中所有的二维边界框两两之间既不部分重叠也不全部重叠。

具体可参见图4，图4示出了本发明一个实施例提供的点云投影深度图的另一个示例。如图4所示，目标1中没有包含投影点也不与其他任何目标重叠，目标2未与其他目标重叠，目标3、目标4和目标5重叠，因此，目标1和目标2划入非重叠集中，目标3、目标4和目标5划入重叠集中且属于一个二维边界框组。

步骤S302，从重叠集中筛选出有效二维边界框集。

具体的，可以判断重叠集中二维边界框组的个数是否为零；若二维边界框组的个数不为零，则对重叠集中的每个二维边界框组，计算二维边界框组中每两个二维边界框的面积交并比；若面积交并比大于或等于预设交并比阈值，则从二维边界框组中选取一个二维边界框作为有效框；将有效框保存到有效二维边界框集中。其中，预设交并比阈值可以设置为0.5。

需要说明的是，若二维边界框组的个数为零，表示所有目标均不重叠，也就是所有目标对应的二维边界框均不部分或全部重叠，此时不需要对二维边界框集进行处理。

在一个可能的实施例中，从二维边界框组中选取一个二维边界框作为有效框可以包括：获取二维边界框组中每个二维边界框的底部边框中心点的纵向坐标值；在所有纵向坐标值中，将最大或最小的纵向坐标值对应的二维边界框确定为有效框。通过对二维边界框做面积交并比和二维边界框底部边框信息，去筛选可能对应的有效框，然后再根据二维边界框中特定位置的点云同一，确定要进行拟合的目标数据，确保数据的有效性。其中，纵向表征垂直于水平方向的方向。

在实际应用中，选取最大的纵向坐标值还是最小的纵向坐标值，与图像平面中坐标系的建立相关联，下面以图4中目标3、目标4以及目标5这一组二维边界框组对选取的方式进行阐述，为了更清晰的说明，将目标3、目标4以及目标5对应的二维边界框抽象到坐标系中。

例如，在以图像的左上角为原点，水平向右方向为横轴正方向，垂直向下方向为纵轴正方向建立坐标系的情况下，基于坐标系，获取二维边界框组中每个二维边界框的底部边框中心点的纵向坐标，在所有纵向坐标值中，将最大的纵坐标值对应的二维框确定为有效框。如图5所示，P1、P2、P3分别是对应三个二维边界框的底部边框中心点，P3具有最大的纵向坐标值，则目标3为有效框。

在以图像的左下角为原点，水平向右方向为横轴正方向，垂直向上方向为纵轴正方向建立坐标系的情况下，基于坐标系，获取二维边界框组中每个二维边界框的底部边框中心点的纵向坐标值，在所有纵向坐标中，将最小的纵向坐标对应的二维边界框确定为有效框。如图6所示，P1、P2、P3分别是对应三个二维边界框的底部边框中心点，P3具有最小的纵向坐标值，则目标3为有效框。

在以图像的右上角为原点，水平向左方向为横轴正方向，垂直向下方向为纵轴正方向建立坐标系的情况下，基于坐标系，获取二维边界框组中每个二维边界框的底部边框中心点的纵向坐标，在所有纵向坐标值中，将最大的纵坐标值对应的二维边界框确定为有效框。如图7所示，P1、P2、P3分别是对于三个二维边界框的底部边框中心点，P3具有最大的纵向坐标值，则目标3为有效框。

在以图像的右下角为原点，水平向左方向为横轴正方向，垂直向上方向为纵轴正方向建立坐标系的情况下，基于坐标系，获取二维边界框组中每个二维边界框的底部边框中心点的纵向坐标，在所有纵向坐标值中，将最小的纵坐标值对应的二维边界框确定为有效框。如图8所示，P1、P2、P3分别是对于三个二维边界框的底部边框中心点，P3具有最小的纵向坐标值，则目标3为有效框。

当然，还可以选取图像中任意一点为原点建立坐标系，但对于每个重叠的二维边界框组来说，选取底部边框的中心点的纵向坐标具有最小或最大的二维边界框为有效框，均不脱离本发明的权利要求保护的范围。

步骤S303，对有效二维边界框集和非重叠集中每个二维边界框，根据二维边界框中点云框所包含的投影点的个数，确定二维边界框是否为目标框，若二维边界框是目标框，则将二维边界框存入目标集中。

具体的，判断二维边界框中点云框所包含的投影点的个数是否为零；若点云框所包含的投影点的个数为零，即该二维边界框中不存在投影点，不能通过投影点的点云深度值对二维边界框对应目标的目标深度值进行修正，则该二维边界框不是目标框；若点云框所包含的投影点的个数不为零，说明该二维边界框中存在投影点，可以通过投影点的点云深度值对二维边界框对应目标的目标深度值进行修正，则该二维边界框是目标框。

步骤S304，基于目标集对每个目标的目标深度值进行修正。

具体可参见图9，图9示出了本发明一个实施例提供的对目标深度值进行修正的流程。如图9所示，基于目标集对每个目标的目标深度值进行修正的步骤可以包括：

步骤S901，判断目标集中二维边界框的个数是否大于或等于预设目标框阈值。

本发明实施例中，预设目标框阈值可以设置为建立关系方程所需要的二维边界框的个数。若目标集中二维边界框的个数小于预设目标框阈值，则跳转至步骤S902；若目标集中二维边界框的个数大于或等于预设目标框阈值，则跳转至步骤S903。

步骤S902，对目标集中的每个二维边界框，计算二维边界框中点云框的深度值，将二维边界框对应目标的目标深度值，更新为点云框的深度值。

当目标集中二维边界框的个数小于预设目标框阈值时，表示不能通过二维边界框对应目标的目标深度值和对应点云框的深度值，进行关系方程的模拟，此时不建立关系方程。对于未在目标集中的每个二维边界框，不对其对应目标的目标深度值进行处理，步骤S902处理完成后，完成单目感知修正方法。

步骤S903，对目标集中的每个二维边界框，计算二维边界框中点云框的深度值，由二维边界框对应目标的目标深度值和点云框的深度值组成深度值对，将目标深度值更新为点云框的深度值。

由于目标集中存储有建立关系方程所必须的二维边界框个数，因此可以通过二维边界框对应目标的目标深度值和点云框的深度值对，拟合出相机数据-点云数据的关系方程，然后再根据拟合的关系方程，对未在目标集中的二维边界框对应目标的目标深度值进行修正。

步骤S904，基于所有深度值对建立关系方程。

具体的，可以采用多种拟合方式，找出雷达传感器测出的深度与单目相机测出的深度的近似对应的管理方程，例如最为常见的最小二乘法。

若图像上所有的目标都有对应的点云数据，则目标的深度信息以点云的深度信息为准。然而，因为雷达传感器所获得的点云数据很稀疏，所以映射到图像上的点云也可能很稀疏，会存在图像上有的目标不存在对应的点云，此时，进行点云数据深度与单目相机的深度的对应关系建模。

具体可参见图10，图10示出了本发明一个实施例提供的通过深度值对模拟关系方程的一个示例。如图10所示，横轴为点云框的深度值即雷达传感器估计的结果，纵轴为目标深度值即单目相机估计的结果，根据深度值对建立的关系方程在图像上可以用关系曲线表示。此方法要求至少存在两个不同的深度值对，因此，预设目标框阈值可以设置为2。

步骤S905，对未在目标集中的每个二维边界框，将二维边界框对应目标的目标深度值代入关系方程，得到修正深度值，将目标深度值更新为修正深度值。

在一个可能的实施例中，对目标集中的每个二维边界框，计算二维边界框中点云框的深度值的步骤可以包括：获取点云框中所有投影点的点云深度值；计算所有点云深度值的平均值，得到深度平均值；将深度平均值确定为点云框的深度值。也就是说，点云框的深度值可以为点云框所包含的所有投影点的点云深度值的平均值。

本发明实施例的单目感知修正方法，利用测距较精准雷达传感器的的稀疏点云数据与单目相机的相机数据相结合，利用特定目标的单目深度估计及点云数据对去拟合单目相机估计与雷达传感器估计的关系方程，并将特定目标的深度值更新为点云的深度值，再将其余目标的深度值根据关系方程重新计算，从而修正图像中所有已检出目标的深度值，提高单目相机的深度估计能力。充分发挥图像数据和点云数据的优势，取各自最优的检测项目，相比于现有数据融合方案，该单目感知修正方法无需对稀疏点云执行目标检测算法，也无需执行后端的目标级融合处理，仅仅是将点云数据做了空间变换即投影，算法复杂度更低。通过以色彩、纹理及轮廓信息丰富的图像信息为主，以稀疏点云为辅，去感知三维目标，降低了对雷达传感器的感知等需求，降低了成本。

参考说明书附图11，本发明一个实施例还提供了一种基于稀疏点云的单目感知修正装置。如图11所示，该单目感知修正装置可以包括数据采集模块111、第一处理模块112、参数获取模块113、第二处理模块114以及深度修正模块115。

其中，数据采集模块111可以用于采集单目相机的原始相机数据和雷达传感器的原始稀疏点云数据；第一处理模块112可以用于对原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果，其中，每个目标的三维检测结果包括目标深度值和二维边界框；参数获取模块113可以用于获取转换矩阵，所述转换矩阵是预先在对所述单目相机和所述雷达传感器进行联合标定时得到的；第二处理模块114可以用于基于转换矩阵，将原始稀疏点云数据映射到图像平面的对应位置，得到点云投影深度图，并为点云投影深度图中的每个二维边界框设置一个点云框，其中，点云投影深度图中包括原始稀疏点云数据对应的多个投影点，每个投影点包括点云深度值；深度修正模块115可以用于基于所有点云框中所包含的投影点的点云深度值，对多个目标的目标深度值进行修正。

在一个可能的实施例中，第一处理模块112可以包括扩展单元，扩展单元可以用于在深度学***面中多个目标的三维检测结果。

在一个可能的实施例中，深度修正模块115可以包括预处理单元、筛选单元、判断单元和修正单元，预处理单元可以用于将所有二维边界框划分为重叠集和非重叠集，其中，重叠集中存储有零个或多个二维边界框组，每个二维边界框组中存储有至少两个二维边界框，二维边界框组中每个二维边界框与至少一个其余二维边界框重叠，非重叠集中所有的二维边界框两两不相互重叠；筛选单元可以用于从重叠集中筛选出有效二维边界框集；判断单元可以用于对有效二维边界框集和非重叠集中每个二维边界框，根据二维边界框中点云框所包含的投影点的个数，确定二维边界框是否为目标框，若二维边界框是目标框，则将二维边界框存入目标集中；修正单元可以用于基于目标集对每个目标的目标深度值进行修正。

在一个可能的实施例中，筛选单元还可以用于：判断重叠集中二维边界框组的个数是否为零；若二维边界框组的个数不为零，则对重叠集中的每个二维边界框组，计算二维边界框组中每两个二维边界框的面积交并比；若面积交并比大于或等于预设交并比阈值，则从二维边界框组中选取一个二维边界框作为有效框；将有效框保存到有效二维边界框集中。

在一个可能的实施例中，筛选单元还可以用于：对于二维边界框组中每个二维边界框，获取二维边界框的底部边框中心点的纵向坐标值；在所有纵向坐标值中，将最大或最小的纵向坐标值对应的二维边界框确定为有效框。

在一个可能的实施例中，修正单元还可以用于：当目标集中二维边界框的个数大于或等于预设目标框阈值时，对目标集中的每个二维边界框，计算二维边界框中点云框的深度值，由二维边界框对应目标的目标深度值和点云框的深度值组成深度值对，将目标深度值更新为点云框的深度值；基于所有深度值对建立关系方程；对未在目标集中的每个二维边界框，将二维边界框对应目标的目标深度值代入关系方程，得到修正深度值，将目标深度值更新为修正深度值。

在一个可能的实施例中，修正单元还可以用于：当目标集中二维边界框的个数小于预设目标框阈值时，对目标集中的每个二维边界框，计算二维边界框中点云框的深度值，将二维边界框对应目标的目标深度值，更新为点云框的深度值。

在一个可能的实施例中，修正单元还可以用于：获取点云框中所有投影点的点云深度值；计算所有点云深度值的平均值，得到深度平均值；将深度平均值确定为点云框的深度值。

在一个可能的实施例中，本发明实施例的单目感知修正装置还可以包括标定模块和同步模块。其中，标定模块用于对单目相机和雷达传感器进行联合标定；同步模块用于对原始相机数据和原始稀疏点云数据进行同步，以使原始相机数据和原始稀疏点云数据相关联。

本发明实施例的单目感知修正装置使用时，通过标定模块对单目相机和雷达传感器进行联合标定，并将转换矩阵保存，通常可以在出厂时进行单目相机和雷达传感器的联合标定，出厂后可以每间隔一个月或者更长时间进行在线自标定。数据采集模块111发送同步触发信号给单目相机和雷达传感器，采集数据。单目相机模块和雷达传感器采集完数据后经同步模块，对原始相机数据和原始稀疏点云数据进行同步，使两者数据关联。然后同步模块将原始相机数据发送至第一处理模块112进行处理，将原始稀疏点云数据发送至第二处理模块114进行处理，并将处理后的数据发送至深度修正模块115进行数据融合处理，以对单目相机的所检出的目标的深度信息进行修正。最后整合修正的信息与单目相机原始检测的信息，作为最终的三维目标检测结果。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本发明一个实施例还提供了一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现上述方法实施例中的单目感知修正方法的各个步骤。

上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。

Claims (10)

1.一种基于稀疏点云的单目感知修正方法，其特征在于，包括：

采集单目相机的原始相机数据和雷达传感器的原始稀疏点云数据；

对所述原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果，其中，每个目标的所述三维检测结果包括目标深度值和二维边界框；

获取转换矩阵，所述转换矩阵是预先在对所述单目相机和所述雷达传感器进行联合标定时得到的；

基于所述转换矩阵，将所述原始稀疏点云数据映射到所述图像平面的对应位置，得到点云投影深度图，并为所述点云投影深度图中的每个所述二维边界框设置一个点云框，其中，所述点云投影深度图中包括所述原始稀疏点云数据对应的多个投影点，每个所述投影点包括点云深度值；

基于所有所述点云框中所包含的所述投影点的所述点云深度值，对所述多个目标的所述目标深度值进行修正。

2.根据权利要求1所述的单目感知修正方法，其特征在于，所述对所述原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果包括：

在深度学习网络中增加尺寸估计、方向估计和深度估计的分支，得到目标检测网络；

基于所述目标检测网络，对所述原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果。

3.根据权利要求1或2所述的单目感知修正方法，其特征在于，所述基于所有所述点云框中所包含的所述投影点的所述点云深度值，对所述多个目标的所述目标深度值进行修正包括：

将所有所述二维边界框划分为重叠集和非重叠集，其中，所述重叠集中存储有零个或多个二维边界框组，每个所述二维边界框组中存储有至少两个所述二维边界框，所述二维边界框组中每个所述二维边界框与至少一个其余所述二维边界框重叠，所述非重叠集中所有的所述二维边界框两两不相互重叠；

从所述重叠集中筛选出有效二维边界框集；

对所述有效二维边界框集和所述非重叠集中每个所述二维边界框，根据所述二维边界框中所述点云框所包含的所述投影点的个数，确定所述二维边界框是否为目标框，若所述二维边界框是所述目标框，则将所述二维边界框存入目标集中；

基于所述目标集对每个目标的所述目标深度值进行修正。

4.根据权利要求3所述的单目感知修正方法，其特征在于，所述从所述重叠集中筛选出有效二维边界框集包括：

判断所述重叠集中所述二维边界框组的个数是否为零；

若所述二维边界框组的个数不为零，则对所述重叠集中的每个所述二维边界框组，计算所述二维边界框组中每两个所述二维边界框的面积交并比；

若所述面积交并比大于或等于预设交并比阈值，则从所述二维边界框组中选取一个所述二维边界框作为有效框；

将所述有效框保存到所述有效二维边界框集中。

5.根据权利要求4所述的单目感知修正方法，其特征在于，所述从所述二维边界框组中选取一个所述二维边界框作为有效框包括：

对于所述二维边界框组中每个所述二维边界框，获取所述二维边界框的底部边框中心点的纵向坐标值；

在所有所述纵向坐标值中，将最大或最小的所述纵向坐标值对应的所述二维边界框确定为所述有效框。

6.根据权利要求3所述的单目感知修正方法，其特征在于，所述基于所述目标集对每个目标的所述目标深度值进行修正包括：

若所述目标集中所述二维边界框的个数大于或等于预设目标框阈值，则对所述目标集中的每个所述二维边界框，计算所述二维边界框中所述点云框的深度值，由所述二维边界框对应目标的所述目标深度值和所述点云框的深度值组成深度值对，将所述目标深度值更新为所述点云框的深度值；

基于所有所述深度值对建立关系方程；

对未在所述目标集中的每个所述二维边界框，将所述二维边界框对应目标的所述目标深度值代入所述关系方程，得到修正深度值，将所述目标深度值更新为所述修正深度值。

7.根据权利要求6所述的单目感知修正方法，其特征在于，所述单目感知修正方法还包括：

若所述目标集中所述二维边界框的个数小于所述预设目标框阈值，则对所述目标集中的每个所述二维边界框，计算所述二维边界框中所述点云框的深度值，将所述二维边界框对应目标的所述目标深度值，更新为所述点云框的深度值。

8.根据权利要求6或7所述的单目感知修正方法，其特征在于，所述对所述目标集中的每个所述二维边界框，计算所述二维边界框中所述点云框的深度值包括：

获取所述点云框中所有所述投影点的所述点云深度值；

计算所有所述点云深度值的平均值，得到深度平均值；

将所述深度平均值确定为所述点云框的深度值。

9.一种基于稀疏点云的单目感知修正装置，其特征在于，包括：

数据采集模块，用于采集单目相机的原始相机数据和雷达传感器的原始稀疏点云数据；

第一处理模块，用于对所述原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果，其中，每个目标的所述三维检测结果包括目标深度值和二维边界框；

参数获取模块，用于获取转换矩阵，所述转换矩阵是预先在对所述单目相机和所述雷达传感器进行联合标定时得到的；

第二处理模块，用于基于所述转换矩阵，将所述原始稀疏点云数据映射到所述图像平面的对应位置，得到点云投影深度图，并为所述点云投影深度图中的每个所述二维边界框设置一个点云框，其中，所述点云投影深度图中包括所述原始稀疏点云数据对应的多个投影点，每个所述投影点包括点云深度值；

深度修正模块，用于基于所有所述点云框中所包含的所述投影点的所述点云深度值，对所述多个目标的所述目标深度值进行修正。

10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-8任意一项所述的单目感知修正方法。

Images