CN114140770A - 一种动态目标自动化识别方法 - Google Patents

Abstract

本发明提供一种动态目标自动化识别方法，包括：分别获取激光点云数据和图像数据；识别激光点云数据中的第一动态目标识别结果，以及识别图像数据中的第二动态目标识别结果；基于位姿信息，将第一动态目标识别结果换算到图像坐标系下；在图像坐标系下，将第一动态目标识别结果与第二动态目标识别结果进行匹配，确定最终第一动态目标识别结果。本发明以高精度的三维点云数据以及图像数据为主要数据源，借助深度学习技术的动态目标推理结果，从点云数据中提取出动态目标，借助深度学习技术，减少数据冗余和高精地图制作干扰因素，提高了点云数据制作高精地图的效率，相对于传统提取方法，有更好的场景泛化能力。

Description

一种动态目标自动化识别方法

技术领域

本发明涉及自动驾驶高精地图制作领域，更具体地，涉及一种动态目标自动化识别方法。

背景技术

自动驾驶高精度地图作为自动驾驶车辆不可或缺的重要组成部分，为车辆定位、路径规划、车辆节能等提供有利支撑。为保证高精地图的新鲜度，在满足精度要求的情况下，如何做到低成本、高效率的进行地图制作及更新，成为保证地图的有效性并具有竞争力的关键。目前，无论是高精度地图制作还是更新，均无法做到完全的自动化，仍然需要人工干预。自动驾驶高精度地图更新具有以下特点：1)自动驾驶高精度地图不同于传统导航地图，其包含三维信息，而且精度要求更高。2)高精度地图是车道级地图3)地图信息更丰富、制作、更新难度更高。综上所述，自动驾驶高精度地图的制作及更新过程需要保证高精度、高效率。

发明内容

本发明针对现有技术中存在的技术问题，提供一种动态目标自动化识别方法。

根据本发明的第一方面，提供了一种动态目标自动化识别方法，包括：分别获取激光点云数据和图像数据；基于点云动态目标检测模型识别所述激光点云数据中的第一动态目标识别结果，以及基于图像动态目标检测模型识别所述图像数据中的第二动态目标识别结果；基于位姿信息，将所述第一动态目标识别结果换算到图像坐标系下；在图像坐标系下，将第一动态目标识别结果与第二动态目标识别结果进行匹配，确定最终第一动态目标识别结果。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，所述激光点云数据为单线激光雷达获取的道路点云数据，所述图像数据为广角相机采集的前视图像数据。

可选的，所述分别获取激光点云数据和图像数据，之后还包括：

获取GPS轨迹数据，基于GPS中心和激光雷达传感器中心的偏移补偿数，获取激光雷达传感器中心的WGS84绝对坐标，从而将单帧点云数据从相对坐标系变换到WGS84绝对坐标系下，对多帧点云数据进行融合；

其中，在GPS信号失锁的情况下，利用IMU信息和里程计信息对GPS轨迹数据进行补充和校正。

可选的，通过如下方式获取所述点云动态目标检测模型：

对融合后的激光点云数据进行切割，获取多个激光点云数据块；

基于多个激光点云数据块对所述点云动态目标检测模型进行训练，获取训练后的点云动态目标检测模型。

可选的，所述对融合后的激光点云数据进行切割，获取多个激光点云数据块，包括：

在绝对坐标系下，对GPS轨迹数据按照固定距离间隔进行抽稀，且对所述融合后的激光点云数据按照相同固定距离间隔进行均匀切割处理，获取多个激光点云数据块。

可选的，所述位姿信息为根据GPS信息、IMU信息和里程计信息计算得到。

可选的，所述第一动态目标识别结果中包括多个第一动态目标区域，所述第二动态目标识别结果包括多个第二动态目标区域，所述在图像坐标系下，将第一动态目标识别结果与第二动态目标识别结果进行匹配，确定最终第一动态目标识别结果，包括：

对于任一第一动态目标区域，若所述任一第一动态目标区域在所述第二动态目标识别结果中能够匹配到，则保留所述任一第一动态目标区域；

遍历所有第一动态目标区域，将保留下来的所有第一动态目标区域作为最终第一动态目标识别结果。

可选的，所述在图像坐标系下，将第一动态目标识别结果与第二动态目标识别结果进行匹配，确定最终第一动态目标识别结果，还包括：

若存在第二动态目标区域没有匹配的第一动态目标区域，则将第二动态目标区域反算到激光点云数据的三维空间；

基于反算后的第二动态目标区域，对激光点云数据进行邻域检索和聚类，提取包含目标的目标矩形框；

基于所述目标矩形框，判别对应目标是否为动态目标；

若是动态目标，则将激光点云数据中的对应动态目标区域添加到最终第一动态目标识别结果。

可选的，所述基于反算后的第二动态目标区域，对激光点云数据进行邻域检索和聚类，提取包含目标的目标矩形框，包括：

以反算后的所述第二动态目标区域的中心点为中心，对所述激光点云数据进行迭代邻域检索和聚类，获取属于同一个目标的激光点云区域；

基于获取的属于同一个目标的激光点云区域，提取包含目标的目标矩形框。

可选的，所述基于所述目标矩形框，判别对应目标是否为动态目标，包括：

提取所述目标矩形框的长宽高，基于长宽高比例数值，判别对应的目标是否为动态目标。

根据本发明的第二方面，提供一种动态目标自动化识别***，包括：

获取模块，用于分别获取激光点云数据和图像数据；

识别模块，用于基于点云动态目标检测模型识别所述激光点云数据中的第一动态目标识别结果，以及基于图像动态目标检测模型识别所述图像数据中的第二动态目标识别结果；

换算模块，用于基于位姿信息，将所述第一动态目标识别结果换算到图像坐标系下；

确定模块，用于在图像坐标系下，将第一动态目标识别结果与第二动态目标识别结果进行匹配，确定最终第一动态目标识别结果。

根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现动态目标自动化识别方法的步骤。

根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现动态目标自动化识别方法的步骤。

本发明提供的一种动态目标自动化识别方法，以高精度的三维点云以及图像数据为主要数据源，借助深度学习技术的动态目标推理结果，从点云数据中提取出动态目标，借助深度学习技术，减少数据冗余和高精地图制作干扰因素，提高了点云数据制作高精地图的效率，相对于传统提取方法，有更好的场景泛化能力。

附图说明

图1为本发明提供的一种动态目标自动化识别方法流程图；

图2为动态目标自动化识别方法的整体流程图；

图3为本发明提供的一种动态目标自动化识别***的结构示意图；

图4为本发明提供的一种可能的电子设备的硬件结构示意图；

图5为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

在高精度地图的制作及更新过程中，在提升效率方面，可以从减少人为干预以及提高人工作业效率的角度出发，借助深度学习技术实现提高效率的目标。深度学习在图像处理方面的技术较为成熟，但图像只能表达二维信息，目前在高精度地图制作中，单从图像上将二维图像点反算成三维点仍是一个技术难点，无法满足精度要求，激光雷达数据就成为其中必不可少的数据源。在提高人工作业效率方面，可以考虑对激光雷达数据进行分类，比如剔除动态目标，从而降低冗余数据，提高地图制作工具加载数据的速度，降低人工制作的干扰项。

实施例一

一种动态目标自动化识别方法，参见图1，主要包括以下步骤：

S1，分别获取激光点云数据和图像数据。

可以理解的是，本发明所用的道路点云数据为单线激光雷达获取的点云数据，在道路面上具有若干条近似平行的，由密集离散点构成的扫描线，图像为广角相机采集的前视图像数据。

其中，在车辆上安装有全球定位***GPS和惯性单元等，当获取了道路的激光点云数据后，获取GPS轨迹数据和IMU信息，基于GPS中心和激光雷达传感器中心的偏移补偿数，获取激光雷达传感器中心的WGS84绝对坐标，从而将单帧点云数据从相对坐标系变换到WGS84绝对坐标系下，对多帧点云数据进行融合，将激光点云数据从相对坐标系转换到与GPS轨迹数据相同的绝对坐标系下。

其中，在GPS信号失锁的情况下，可利用IMU信息和里程计信息对GPS轨迹数据进行补充和校正。

S2，基于点云动态目标检测模型识别所述激光点云数据中的第一动态目标识别结果，以及基于图像动态目标检测模型识别所述图像数据中的第二动态目标识别结果。

作为实施例，通过如下方式获取所述点云动态目标检测模型：对融合后的激光点云数据进行切割，获取多个激光点云数据块；基于多个激光点云数据块对所述点云动态目标检测模型进行训练，获取训练后的点云动态目标检测模型。

作为实施例，所述对融合后的激光点云数据进行切割，获取多个激光点云数据块，包括：在绝对坐标系下，对GPS轨迹数据按照固定距离间隔进行抽稀，且对所述融合后的激光点云数据按照相同固定距离间隔进行均匀切割处理，获取多个激光点云数据块。

具体的，在步骤S1中将每一帧激光点云数据均转换到绝对坐标系下，在绝对坐标系下，对稠密的GPS轨迹数据按照固定距离间隔进行抽稀，对步骤S1融合后的激光点云数据进行相同间隔的切割处理，获得多个激光点云数据块。该步骤剔除了多余的轨迹数据，进而将切割后的点云数据块的重叠调整到合理范围。

具体的，利用切割后的点云数据块制作动态目标样本，训练出所需的点云动态目标检测模型，基于训练后的点云动态目标检测模型对新激光点云数据进行推理识别，即从激光点云数据中识别出动态目标区域，组成第一动态目标识别结果。点云数据为本发明的核心数据，点云动态目标检测模型检测的结果作为基准，相对于传统聚类、专家***的检测方式，泛化能力更强。

同样的，利用图像数据制作动态目标样本，训练出所需的图像动态目标检测模型，基于训练后的图像动态目标检测模型对新图像数据进行推理。该步骤充分利用图像深度学习的高召回率、高精度的优势，尽可能地识别出RGB图像中道路上所有的动态目标。

S3，基于位姿信息，将所述第一动态目标识别结果换算到图像坐标系下。

可以理解的是，通过点云动态目标检测模型识别出的第一动态目标识别结果的动态目标区域，借助位姿信息，将第一动态目标识别结果的动态目标区域换算到图像坐标系下。其中，所述位姿信息为根据GPS信息、IMU信息和里程计信息计算得到。

S4，在图像坐标系下，将第一动态目标识别结果与第二动态目标识别结果进行匹配，确定最终第一动态目标识别结果。

可以理解的是，步骤S3将第一动态目标识别结果的动态目标区域换算到图像坐标系下，本步骤在图像坐标系下，将第一动态目标识别结果和第二动态目标识别结果进行匹配。以第二动态目标识别结果为基准，对于第一动态目标识别结果中的任一个第一动态目标区域，若该任一第一动态目标区域在第二动态目标结果中能够匹配到，则保留任一第一动态目标区域，表明该任一第一动态目标区域为真实动态目标区域，也可以理解为该区域内确实存在动态目标。遍历第一动态目标识别结果中的所有第一动态目标区域，将保留下来的所有第一动态目标区域作为最终第一动态目标结果。

作为实施例，所述在图像坐标系下，将第一动态目标识别结果与第二动态目标识别结果进行匹配，确定最终第一动态目标识别结果，还包括：若存在第二动态目标区域没有匹配的第一动态目标区域，则将第二动态目标区域反算到激光点云数据的三维空间；基于反算后的第二动态目标区域，对激光点云数据进行邻域检索和聚类，提取包含目标的目标矩形框；基于所述目标矩形框，判别对应目标是否为动态目标；若是动态目标，则将激光点云数据中的对应动态目标区域添加到最终第一动态目标识别结果。

可以理解的是，若在图像数据中，存在有一个动态目标区域在点云数据中不存在，简单说，就是图像数据中检测到动态目标，但是点云数据中没有检测到动态目标，则需要对点云数据的相应区域进行验证，是否这一块区域内确实存在动态目标。

具体的，是将图像数据中未匹配到的第二动态目标区域反算到点云数据的三维空间中，作为实施例，所述基于反算后的第二动态目标区域，对激光点云数据进行邻域检索和聚类，提取包含目标的目标矩形框，包括：以反算后的所述第二动态目标区域的中心点为中心，对所述激光点云数据进行迭代邻域检索和聚类，获取属于同一个目标的激光点云区域；基于获取的属于同一个目标的激光点云区域，提取包含目标的目标矩形框。

最后，提取所述目标矩形框的长宽高，基于长宽高比例数值，判别对应的目标是否为动态目标，比如，根据目标矩形框的长宽高以及实际中各个动态目标的长宽高比例的经验值，来确定对应目标是否为动态目标，比如，目标为行人、车辆等。如果验证该区域内存在动态目标，则将点云数据中的该块区域加入最终第一动态目标识别结果中。该处通过将图像数据反算到点云数据的三维空间中，再次判别是否为真正的动态目标，补充点云检测的漏检部分，提高动态目标检测的查全率。

实施例二

一种动态目标自动化识别方法，该识别方法包括：分别获取激光点云数据和图像数据；基于点云动态目标检测模型识别所述激光点云数据中的第一动态目标识别结果，以及基于图像动态目标检测模型识别所述图像数据中的第二动态目标识别结果；基于位姿信息，将所述第一动态目标识别结果换算到图像坐标系下；在图像坐标系下，将第一动态目标识别结果与第二动态目标识别结果进行匹配，确定最终第一动态目标识别结果。

可以理解的是，可参见图2，首先，分别获取单线点云数据，根据GPS数据、IMU数据和里程计信息，对获取的单线点云数据进行融合解算。对融合后的点云数据进行切割分块，获得多个点云数据块。基于点云动态目标检测模型从激光点云数据中识别出动态目标，称为第一动态目标识别结果。

同样的，对于图像数据，先进行抽稀处理，剔除多余的轨迹数据，进而将切割后点云块的重叠调整到合理范围。对于抽稀处理后的图像数据，基于图像动态目标检测模型从图像数据中识别出动态目标，称为第二动态目标识别结果。

基于相机的位姿信息，将第一动态目标识别结果换算到图像坐标系下，在图像坐标系下，基于第二动态目标识别结果，对第一动态目标识别结果进行确认，得到最终的第一动态目标识别结果。

对于漏检的动态目标，将对应的图像数据反算到点云数据的三维空间中，基于三维空间中的点云数据，验证判别是否存在动态目标，补充点云检测的漏检部分，提高动态目标检测的查全率。

本发明针对目前高精度地图制作，激光雷达点云数据中动态目标冗余成分对地图制作工具数据加载速度的拖延和人工制作效率的不利影响，本发明以高精度的三维点云以及图像数据为主要数据源，借助深度学习技术的动态目标推理结果，从点云数据中提取出动态目标。本发明借助深度学习技术，减少数据冗余和高精地图制作干扰因素，提高了点云数据制作高精地图的效率，相对于传统提取方法，有更好的场景泛化能力。

实施例三

一种动态目标自动化识别***，参见图3，该识别***包括获取模块301、识别模块302、换算模块303和确定模块304，其中：

获取模块301，用于分别获取激光点云数据和图像数据；识别模块302，用于基于点云动态目标检测模型识别所述激光点云数据中的第一动态目标结果，以及基于图像动态目标检测模型识别所述图像数据中的第二动态目标结果；换算模块303，用于基于位姿信息，将所述第一动态目标结果换算到图像坐标系下；确定模块304，用于在图像坐标系下，将第一动态目标结果与第二动态目标结果进行匹配，确定最终第一动态目标结果。

可以理解的是，本发明提供的一种动态目标自动化识别***与前述各实施例提供的动态目标自动化识别方法相对应，动态目标自动化识别***的相关技术特征可参考动态目标自动化识别方法的相关技术特征，在此不再赘述。

实施例四

请参阅图4，图4为本发明实施例提供的电子设备的实施例示意图。如图4所示，本发明实施例提了一种电子设备400，包括存储器410、处理器420及存储在存储器410上并可在处理器420上运行的计算机程序411，处理器420执行计算机程序411时实现以下步骤：分别获取激光点云数据和图像数据；基于点云动态目标检测模型识别所述激光点云数据中的第一动态目标结果，以及基于图像动态目标检测模型识别所述图像数据中的第二动态目标结果；基于位姿信息，将所述第一动态目标结果换算到图像坐标系下；在图像坐标系下，将第一动态目标结果与第二动态目标结果进行匹配，确定最终第一动态目标结果。

实施例五

请参阅图5，图5为本发明提供的一种计算机可读存储介质的实施例示意图。如图5所示，本实施例提供了一种计算机可读存储介质500，其上存储有计算机程序511，该计算机程序511被处理器执行时实现如下步骤：分别获取激光点云数据和图像数据；基于点云动态目标检测模型识别所述激光点云数据中的第一动态目标结果，以及基于图像动态目标检测模型识别所述图像数据中的第二动态目标结果；基于位姿信息，将所述第一动态目标结果换算到图像坐标系下；在图像坐标系下，将第一动态目标结果与第二动态目标结果进行匹配，确定最终第一动态目标结果。

本发明实施例提供的一种动态目标自动化识别方法，以高精度的三维点云以及图像数据为主要数据源，借助深度学习技术的动态目标推理结果，从点云数据中提取出动态目标，借助深度学习技术，减少数据冗余和高精地图制作干扰因素，提高了点云数据制作高精地图的效率，相对于传统提取方法，有更好的场景泛化能力。与以往对点云未作动态目标分割而进行高精地图制作的情况相比，本发明有效提高了工具加载数据的速度，极大程度的降低制作人员的操作难度，效率更高，融合图像深度学习技术，可提高目标检测的精确度

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种动态目标自动化识别方法，其特征在于，包括：

分别获取激光点云数据和图像数据；

基于点云动态目标检测模型识别所述激光点云数据中的第一动态目标识别结果，以及基于图像动态目标检测模型识别所述图像数据中的第二动态目标识别结果；

基于位姿信息，将所述第一动态目标识别结果换算到图像坐标系下；

在图像坐标系下，将第一动态目标识别结果与第二动态目标识别结果进行匹配，确定最终第一动态目标识别结果。

2.根据权利要求1所述的动态目标自动化识别方法，其特征在于，所述激光点云数据为单线激光雷达获取的道路点云数据，所述图像数据为广角相机采集的前视图像数据。

3.根据权利要求1所述的动态目标自动化识别方法，其特征在于，所述分别获取激光点云数据和图像数据，之后还包括：

获取GPS轨迹数据，基于GPS中心和激光雷达传感器中心的偏移补偿数，获取激光雷达传感器中心的WGS84绝对坐标，从而将单帧点云数据从相对坐标系变换到WGS84绝对坐标系下，对多帧点云数据进行融合；

其中，在GPS信号失锁的情况下，利用IMU信息和里程计信息对GPS轨迹数据进行补充和校正。

4.根据权利要求3所述的动态目标自动化识别方法，其特征在于，通过如下方式获取所述点云动态目标检测模型：

对融合后的激光点云数据进行切割，获取多个激光点云数据块；

基于多个激光点云数据块对所述点云动态目标检测模型进行训练，获取训练后的点云动态目标检测模型。

5.根据权利要求4所述的动态目标自动化识别方法，其特征在于，所述对融合后的激光点云数据进行切割，获取多个激光点云数据块，包括：

在绝对坐标系下，对GPS轨迹数据按照固定距离间隔进行抽稀，且对所述融合后的激光点云数据按照相同固定距离间隔进行均匀切割处理，获取多个激光点云数据块。

6.根据权利要求1所述的动态目标自动化识别方法，其特征在于，所述位姿信息为根据GPS信息、IMU信息和里程计信息计算得到。

7.根据权利要求1所述的动态目标自动化识别方法，其特征在于，所述第一动态目标识别结果中包括多个第一动态目标区域，所述第二动态目标识别结果包括多个第二动态目标区域，所述在图像坐标系下，将第一动态目标识别结果与第二动态目标识别结果进行匹配，确定最终第一动态目标识别结果，包括：

对于任一第一动态目标区域，若所述任一第一动态目标区域在所述第二动态目标识别结果中能够匹配到，则保留所述任一第一动态目标区域；

遍历所有第一动态目标区域，将保留下来的所有第一动态目标区域作为最终第一动态目标识别结果。

8.根据权利要求7所述的动态目标自动化识别方法，其特征在于，所述在图像坐标系下，将第一动态目标识别结果与第二动态目标识别结果进行匹配，确定最终第一动态目标识别结果，还包括：

若存在第二动态目标区域没有匹配的第一动态目标区域，则将第二动态目标区域反算到激光点云数据的三维空间；

基于反算后的第二动态目标区域，对激光点云数据进行邻域检索和聚类，提取包含目标的目标矩形框；

基于所述目标矩形框，判别对应目标是否为动态目标；

若是动态目标，则将激光点云数据中的对应动态目标区域添加到最终第一动态目标识别结果。

9.根据权利要求8所述的动态目标自动化识别方法，其特征在于，所述基于反算后的第二动态目标区域，对激光点云数据进行邻域检索和聚类，提取包含目标的目标矩形框，包括：

以反算后的所述第二动态目标区域的中心点为中心，对所述激光点云数据进行迭代邻域检索和聚类，获取属于同一个目标的激光点云区域；

基于获取的属于同一个目标的激光点云区域，提取包含目标的目标矩形框。

10.根据权利要求8所述的动态目标自动化识别方法，其特征在于，所述基于所述目标矩形框，判别对应目标是否为动态目标，包括：

提取所述目标矩形框的长宽高，基于长宽高比例数值，判别对应的目标是否为动态目标。

Images