CN115267746A - 激光雷达点云投影错误的定位方法及相关设备 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，公开了一种激光雷达点云投影错误的定位方法及相关设备，用于提高激光雷达点云投影错误数据定位的效率。所述激光雷达点云投影错误的定位方法包括：当自车静止投影结果和/或自车运动投影结果存在错误时，获取自车静止投影结果的至少一个第一关联要素和自车运动投影结果的至少一个第二关联要素，第一关联要素和第二关联要素均用于指示激光雷达点云投影至相机图像过程中的关键数据；获取关联要素对应的数据验证策略，并通过数据验证策略对至少一个第一关联要素和至少一个第二关联要素进行数据正确性验证，得到目标验证结果；根据目标验证结果，从至少一个第一关联要素和至少一个第二关联要素中确定出错关键数据。

Description

激光雷达点云投影错误的定位方法及相关设备

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种激光雷达点云投影错误的定位方法及相关设备。

背景技术

在自动驾驶控制的过程中，为了提高环境感知能力，通常会将激光雷达点云投影到相机图像中，以融合激光雷达与相机采集到的环境信息，而由于激光雷达点云投影到相机图像的过程复杂，任意一个要素错误都会导致投影错误。

现有的投影错误数据定位方法通常是靠人工进行调试(debug)，但是人工调试存在效率低的问题，导致投影过程中一些人工难以识别但可自动排除的错误(如：时间戳错误)无法被快速定位，可见，现阶段的投影错误数据定位效率仍然较低。

发明内容

本发明提供了一种激光雷达点云投影错误的定位方法及相关设备，用于提高激光雷达点云投影错误数据定位的效率。

本发明第一方面提供了一种激光雷达点云投影错误的定位方法，包括：

当自车静止投影结果和/或自车运动投影结果存在错误时，获取自车静止投影结果的至少一个第一关联要素和自车运动投影结果的至少一个第二关联要素，第一关联要素和第二关联要素均用于指示激光雷达点云投影至相机图像过程中的关键数据，所述关键数据用于指示激光雷达点云投影至相机图像的必要参数；

获取关联要素对应的数据验证策略，并通过所述数据验证策略对所述至少一个第一关联要素和所述至少一个第二关联要素进行数据正确性验证，得到目标验证结果；

根据所述目标验证结果，从所述至少一个第一关联要素和所述至少一个第二关联要素中确定出错关键数据。

可选的，所述获取关联要素对应的数据验证策略，并通过所述数据验证策略对所述至少一个第一关联要素和所述至少一个第二关联要素进行数据正确性验证，得到目标验证结果，包括：

获取关联要素对应的数据验证策略，所述数据验证策略用于指示关联要素数据正确性的验证程序，所述数据验证策略包括时间戳验证策略、静态参数验证策略、标定参数验证策略和定位验证策略中的至少一项；

若所述数据验证策略包括所述时间戳验证策略，则通过所述时间戳验证策略，对所述至少一个第一关联要素和所述至少一个第二关联要素中的多个原始时间戳进行时间戳准确性验证，得到第一验证结果，其中，多个原始时间戳包括激光雷达点云扫描时间戳、激光雷达点云去畸变时间戳以及图像曝光时间戳；

若所述数据验证策略包括所述静态参数验证策略，则通过所述静态参数验证策略，对所述至少一个第一关联要素中的静态参数进行准确性验证，得到第二验证结果；

若所述数据验证策略包括所述标定参数验证策略，则通过所述标定参数验证策略，对所述至少一个第二关联要素中的标定参数进行准确性验证，得到第三验证结果；

若所述数据验证策略包括所述定位验证策略，则通过所述定位验证策略，对所述至少一个第二关联要素中的定位数据进行准确性验证，得到第四验证结果；

基于所述第一验证结果、所述第二验证结果、所述第三验证结果和/或所述第四验证结果，确定目标验证结果。

可选的，所述若所述数据验证策略包括所述时间戳验证策略，则通过所述时间戳验证策略，对所述至少一个第一关联要素和所述至少一个第二关联要素中的多个原始时间戳进行时间戳准确性验证，得到第一验证结果，包括：

若所述数据验证策略包括所述时间戳验证策略，则通过所述时间戳验证策略，对所述至少一个第一关联要素和所述至少一个第二关联要素中的多个原始时间戳进行同步差值补偿，得到多个目标时间戳；

将各目标时间戳与对应的预置基准时间戳进行差值计算，得到各目标时间戳对应的误差值，并根据所述误差值进行时间戳准确性验证，得到第一验证结果。

可选的，所述若所述数据验证策略包括所述静态参数验证策略，则通过所述静态参数验证策略，对所述至少一个第一关联要素中的静态参数进行准确性验证，得到第二验证结果，包括：

若所述数据验证策略包括所述静态参数验证策略，则通过所述静态参数验证策略，将预置基准静态参数与所述至少一个第一关联要素中的原始静态参数进行比对，得到比对结果，所述原始静态参数用于指示所述第一关联要素和所述第二关联要素中要素值相同的要素值；

通过所述比对结果进行静态参数的准确性判定，得到第二验证结果。

可选的，所述若所述数据验证策略包括所述标定参数验证策略，则通过所述标定参数验证策略，对所述至少一个第二关联要素中的标定参数进行准确性验证，得到第三验证结果，包括：

若所述数据验证策略包括所述标定参数验证策略，则根据所述至少一个第二关联要素中标定参数的标定策略，从所述标定参数验证策略中获取所述标定策略对应的标定组验证工具；

通过所述标定组验证工具对所述标定参数进行准确性验证，得到第三验证结果。

可选的，所述若所述数据验证策略包括所述定位验证策略，则通过所述定位验证策略，对所述至少一个第二关联要素中的定位数据进行准确性验证，得到第四验证结果，包括：

若所述数据验证策略包括所述定位验证策略，则获取所述至少一个第二关联要素中的定位数据，所述定位数据包括车轮数据和定位传感器数据；

通过所述定位验证策略，对所述车轮数据和所述定位传感器数据进行比对，得到比对结果，所述比对结果用于指示所述车轮数据和所述定位传感器数据是否一致；

通过所述比对结果进行定位数据的准确性判定，得到第四验证结果。

可选的，在所述当自车静止投影结果和/或自车运动投影结果存在错误时，获取自车静止投影结果的至少一个第一关联要素和自车运动投影结果的至少一个第二关联要素之前，还包括：

获取自车运动投影结果中的定位投影结果和里程计投影结果，所述定位投影结果用于指示基于定位传感器进行激光雷达点云投影的结果，所述里程计投影结果用于指示基于激光雷达里程计算法进行激光雷达点云投影的结果；

通过预置的深度学习模型对所述定位投影结果和所述里程计投影结果进行一致性识别，得到识别结果，所述识别结果用于指示所述自车运动投影结果是否存在错误。

本发明第二方面提供了一种激光雷达点云投影错误的定位装置，包括：

获取模块，用于当自车静止投影结果和/或自车运动投影结果存在错误时，获取自车静止投影结果的至少一个第一关联要素和自车运动投影结果的至少一个第二关联要素，第一关联要素和第二关联要素均用于指示激光雷达点云投影至相机图像过程中的关键数据，所述关键数据用于指示激光雷达点云投影至相机图像的必要参数；

验证模块，用于获取关联要素对应的数据验证策略，并通过所述数据验证策略对所述至少一个第一关联要素和所述至少一个第二关联要素进行数据正确性验证，得到目标验证结果；

确定模块，用于根据所述目标验证结果，从所述至少一个第一关联要素和所述至少一个第二关联要素中确定出错关键数据。

可选的，所述验证模块包括：

策略获取单元，用于获取关联要素对应的数据验证策略，所述数据验证策略用于指示关联要素数据正确性的验证程序，所述数据验证策略包括时间戳验证策略、静态参数验证策略、标定参数验证策略和定位验证策略中的至少一项；

时间戳验证单元，用于若所述数据验证策略包括所述时间戳验证策略，则通过所述时间戳验证策略，对所述至少一个第一关联要素和所述至少一个第二关联要素中的多个原始时间戳进行时间戳准确性验证，得到第一验证结果，其中，多个原始时间戳包括激光雷达点云扫描时间戳、激光雷达点云去畸变时间戳以及图像曝光时间戳；

静参验证单元，用于若所述数据验证策略包括所述静态参数验证策略，则通过所述静态参数验证策略，对所述至少一个第一关联要素中的静态参数进行准确性验证，得到第二验证结果；

标参验证单元，用于若所述数据验证策略包括所述标定参数验证策略，则通过所述标定参数验证策略，对所述至少一个第二关联要素中的标定参数进行准确性验证，得到第三验证结果；

定位验证单元，用于若所述数据验证策略包括所述定位验证策略，则通过所述定位验证策略，对所述至少一个第二关联要素中的定位数据进行准确性验证，得到第四验证结果；

目标确定单元，用于基于所述第一验证结果、所述第二验证结果、所述第三验证结果和/或所述第四验证结果，确定目标验证结果。

可选的，所述时间戳验证单元具体用于：

若所述数据验证策略包括所述时间戳验证策略，则通过所述时间戳验证策略，对所述至少一个第一关联要素和所述至少一个第二关联要素中的多个原始时间戳进行同步差值补偿，得到多个目标时间戳；

将各目标时间戳与对应的预置基准时间戳进行差值计算，得到各目标时间戳对应的误差值，并根据所述误差值进行时间戳准确性验证，得到第一验证结果。

可选的，所述静参验证单元具体用于：

若所述数据验证策略包括所述静态参数验证策略，则通过所述静态参数验证策略，将预置基准静态参数与所述至少一个第一关联要素中的原始静态参数进行比对，得到比对结果，所述原始静态参数用于指示所述第一关联要素和所述第二关联要素中要素值相同的要素值；

通过所述比对结果进行静态参数的准确性判定，得到第二验证结果。

可选的，所述标参验证单元具体用于：

若所述数据验证策略包括所述标定参数验证策略，则根据所述至少一个第二关联要素中标定参数的标定策略，从所述标定参数验证策略中获取所述标定策略对应的标定组验证工具；

通过所述标定组验证工具对所述标定参数进行准确性验证，得到第三验证结果。

可选的，所述定位验证单元具体用于：

若所述数据验证策略包括所述定位验证策略，则获取所述至少一个第二关联要素中的定位数据，所述定位数据包括车轮数据和定位传感器数据；

通过所述定位验证策略，对所述车轮数据和所述定位传感器数据进行比对，得到比对结果，所述比对结果用于指示所述车轮数据和所述定位传感器数据是否一致；

通过所述比对结果进行定位数据的准确性判定，得到第四验证结果。

可选的，所述激光雷达点云投影错误的定位装置还包括：

得到模块，用于获取自车运动投影结果中的定位投影结果和里程计投影结果，所述定位投影结果用于指示基于定位传感器进行激光雷达点云投影的结果，所述里程计投影结果用于指示基于激光雷达里程计算法进行激光雷达点云投影的结果；

识别模块，用于通过预置的深度学习模型对所述定位投影结果和所述里程计投影结果进行一致性识别，得到识别结果，所述识别结果用于指示所述自车运动投影结果是否存在错误。

本发明第三方面提供了一种激光雷达点云投影错误的定位设备，包括：存储器和至少一个处理器，所述存储器中存储有计算机程序；所述至少一个处理器调用所述存储器中的所述计算机程序，以使得所述激光雷达点云投影错误的定位设备执行上述的激光雷达点云投影错误的定位方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述的激光雷达点云投影错误的定位方法。

本发明提供的技术方案中，当自车静止投影结果和/或自车运动投影结果存在错误时，获取自车静止投影结果的至少一个第一关联要素和自车运动投影结果的至少一个第二关联要素，第一关联要素和第二关联要素均用于指示激光雷达点云投影至相机图像过程中的关键数据，所述关键数据用于指示激光雷达点云投影至相机图像的必要参数；获取关联要素对应的数据验证策略，并通过所述数据验证策略对所述至少一个第一关联要素和所述至少一个第二关联要素进行数据正确性验证，得到目标验证结果；根据所述目标验证结果，从所述至少一个第一关联要素和所述至少一个第二关联要素中确定出错关键数据。本发明实施例中，当自车静止投影结果和/或自车运动投影结果存在错误时，通过数据验证策略对这两个投影结果分别对应的关联要素进行数据正确性验证，从而自动化地判定激光雷达投影至相机图像的过程中发生错误的关键数据，解决了投影过程中一些人工难以识别但可自动排除的错误，投影错误数据无法被快速定位的问题，提高了激光雷达点云投影错误数据定位的效率。

附图说明

图1为本发明实施例中激光雷达点云投影错误的定位方法的一个实施例示意图；

图2为本发明实施例中激光雷达点云投影错误的定位方法的另一个实施例示意图；

图3为本发明实施例中激光雷达点云投影错误的定位装置的一个实施例示意图；

图4为本发明实施例中激光雷达点云投影错误的定位装置的另一个实施例示意图；

图5为本发明实施例中激光雷达点云投影错误的定位设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种激光雷达点云投影错误的定位方法及相关设备，用于提高激光雷达点云投影错误数据定位的效率。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

可以理解的是，本发明的执行主体可以为激光雷达点云投影错误的定位装置，还可以是终端或者服务器，终端可以为自动驾驶终端，具体此处不做限定。本发明实施例以终端为执行主体为例进行说明。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中激光雷达点云投影错误的定位方法的一个实施例包括：

101、当自车静止投影结果和/或自车运动投影结果存在错误时，获取自车静止投影结果的至少一个第一关联要素和自车运动投影结果的至少一个第二关联要素，第一关联要素和第二关联要素均用于指示激光雷达点云投影至相机图像过程中的关键数据，关键数据用于指示激光雷达点云投影至相机图像的必要参数；

需要说明的是，自车静止投影结果是指自动驾驶车辆静止时，激光雷达扫描到的点云投影至相机拍摄到的图像产生的结果，自车运动投影结果是指自动驾驶车辆运动时，激光雷达扫描到的点云投影至相机拍摄到的图像产生的结果，这两个结果(自车静止投影结果和自车运动投影结果)均通过相同的投影过程或步骤获得，作为示例而非限定的是，这两个结果对应的投影步骤包括：

S11、激光雷达扫描得到原始点云；

S12、原始点云去除畸变，得到无畸变点云；

S13、无畸变点云转换至相机坐标系，得到相机系点云；

S14、相机系点云添加相机运动畸变，得到畸变点云；

S15、畸变点云投影至相机拍摄的畸变图像。

作为另一个示例而非限定的是，自车静止投影结果和自车运动投影结果对应的投影步骤还可以为：

S21、激光雷达扫描得到原始点云；

S22、原始点云去除畸变，得到无畸变点云；

S23、无畸变点云转换至相机坐标系，得到相机系点云；

S24、相机拍摄的图像去畸变，得到无畸变图像；

S25、相机系点云投影至无畸变图像。

自车静止投影结果和自车运动投影结果还可以由其它任意可行的激光雷达投影至相机图像的过程或步骤获得，具体此处不做限定。

在一种实施方式中，为了缩小错误定位的数据范围，自车静止投影结果和自车运动投影结果对应的每个投影步骤均对应至少一个第一关联要素或至少一个第二关联要素，因此，第一关联要素和第二关联要素还可以用于指示激光雷达点云投影至相机图像过程中每个投影步骤的关键数据，以使得激光雷达点云投影错误的定位可以具体到某一投影步骤，使得投影错误定位的准确度和效率均有所提高。

本实施方式中，第一关联要素和第二关联要素均为预先定义并与投影结果(自车静止投影结果或自车运动投影结果)预先绑定的数据，第一关联要素和第二关联要素均用于指示激光雷达点云投影至相机图像过程中的关键数据，关键数据用于指示激光雷达点云投影至相机图像的必要参数，例如，时间戳、激光雷达的内参、相机的内参、激光雷达与相机之间的外参、标定参数、定位数据等激光雷达点云投影至相机图像过程中所需的或所产生的参数。可以理解的是，当自车静止投影结果存在错误，但自车运动投影结果不存在错误时，则可以确定自车运动投影结果的所有第二关联要素均不存在错误，此时只需对自车静止投影结果的至少一个关联要素进行错误排查和定位即可，而当自车运动投影结果存在错误，但自车静止投影结果不存在错误时，也是同理可得。例如，若自车运动投影结果存在错误，则可以确定运动畸变处理相关的关联要素存在错误，若自车静止投影结果不存在错误，则可以确定激光雷达内参、相机内参以及激光雷达与相机之间的外参等与自车运动无关的关联要素不存在错误。通过关联要素绑定投影结果的方式能够提高投影错误定位的效率和准确性。

102、获取关联要素对应的数据验证策略，并通过数据验证策略对至少一个第一关联要素和至少一个第二关联要素进行数据正确性验证，得到目标验证结果；

需要说明的是，关联要素(第一关联要素或第二关联要素)对应的数据验证策略用于指示关联要素的数据准确性验证程序，可以是一段代码、一条命令、一个脚本等可执行的程序，可以是每个关联要素对应一个数据验证策略，也可以是相同类型的关联要素对应一个数据验证策略，如时间戳类型的关联要素对应时间戳验证策略、固定参数类型的关联要素对应固定参数验证策略等，具体此处不做限定。在一种实施方式中，终端对所有第一关联要素和第二关联要素进行要素类型分类，得到每个第一关联要素和每个第二关联要素分别对应的要素类型信息，再根据要素类型信息调用对应的数据验证策略，以通过数据验证策略对至少一个第一关联要素和至少一个第二关联要素进行数据正确性验证，得到目标验证结果。本实施方式能够对同类型的关联要素采用同一验证程序处理，使得验证程序制作的繁杂度降低，可拓展性提高，从而提高投影错误定位的效率。

在一种实施方式中，为了使自动驾驶车辆能够在实际工作的过程中动态地识别错误，关联要素对应的数据验证策略可植入自动驾驶程序中，用于在自动驾驶程序的执行过程中实时地判别各关联要素是否存在错误，并及时地输出错误提示信息，从而更及时地发现投影错误，使得自动驾驶车辆更安全。

103、根据目标验证结果，从至少一个第一关联要素和至少一个第二关联要素中确定出错关键数据。

需要说明的是，目标验证结果用于指示每个第一关联要素和每个第二关联要素的数据正确性验证是否通过，若数据正确性验证通过，则确定数据正确性验证通过的第一关联要素和/或第二关联要素为非出错关键数据，反之，若数据正确性验证不通过，则确定数据正确性验证不通过的第一关联要素和/或第二关联要素为出错关键数据，从而确定激光雷达点云投影至相机图像过程中出错的关键数据，达到投影错误定位的目的。

在一种实施方式中，根据目标验证结果，从至少一个第一关联要素和至少一个第二关联要素中确定出错关键数据之后，还包括：输出出错关键数据的错误提示信息，其中，错误提示信息包括出错关键数据、出错关键数据所在位置，所在位置可以为所在数据库、所在文件、所在代码行等数据位置信息，具体此处不做限定。本实施方式能够直观地输出错误提示，提高了投影错误定位的直观程度和效率。

本发明实施例中，当自车静止投影结果和/或自车运动投影结果存在错误时，通过数据验证策略对这两个投影结果分别对应的关联要素进行数据正确性验证，从而自动化地判定激光雷达投影至相机图像的过程中发生错误的关键数据，解决了投影过程中一些人工难以识别但可自动排除的错误，投影错误数据无法被快速定位的问题，本发明可以提高了激光雷达点云投影错误数据定位的效率。

请参阅图2，本发明实施例中激光雷达点云投影错误的定位方法的另一个实施例包括：

201、当自车静止投影结果和/或自车运动投影结果存在错误时，获取自车静止投影结果的至少一个第一关联要素和自车运动投影结果的至少一个第二关联要素，第一关联要素和第二关联要素均用于指示激光雷达点云投影至相机图像过程中的关键数据，关键数据用于指示激光雷达点云投影至相机图像的必要参数；

可以理解的是，由于车辆静止投影结果用于指示自动驾驶车辆静止时，激光雷达扫描到的点云投影至相机拍摄到的图像产生的结果，因此，容易通过肉眼判别自车静止投影结果是否存在错误，而对于自车运动投影结果是否存在错误的判别，则较为复杂，具体的，在步骤201之前，还包括：获取自车运动投影结果中的定位投影结果和里程计投影结果，定位投影结果用于指示基于定位传感器进行激光雷达点云投影的结果，里程计投影结果用于指示基于激光雷达里程计算法进行激光雷达点云投影的结果；通过预置的深度学习模型对定位投影结果和里程计投影结果进行一致性识别，得到识别结果，识别结果用于指示自车运动投影结果是否存在错误。

本实施方式中，采用两套不同的激光雷达点云去畸变方案获得两个不同的自车运动投影结果，包括定位投影结果和里程计投影结果，其中，定位投影结果用于指示通过自动驾驶车辆预置的定位传感器获得自车定位信息，再基于自车定位信息进行点云去畸变后进行无畸变点云的投影，得到的定位投影结果，而里程计投影结果用于指示通过激光雷达里程计算法进行点云配准得到车辆的位姿信息，再基于位姿信息进行点云去畸变后进行无畸变点云的投影，得到的里程计投影结果。定位投影结果和里程计投影结果的唯一区别在于点云去畸变过程中所需的自车位姿信息的获取方式不同，其它的处理过程均相同，若定位投影结果和里程计投影结果一致，则说明无论采用何种方式对点云进行去畸变，得到的投影结果均为相同，则可以确定自车运动投影结果不存在错误，若定位投影结果和里程计投影结果不一致，则说明采用不同的点云去畸变方式得到的投影结果不同，则可以确定自车运动投影的过程存在错误的关键数据，即自车运动投影结果存在错误。本实施方式巧妙地将不同投影方式获得的投影结果进行比对，使得程序能够识别肉眼无法识别的投影结果错误，从而提高投影错误定位的准确度和效率。

本实施方式中，通过深度学***面匹配，再对匹配的同一深度平面进行对齐，若同一深度平面能够完全对齐，则确定定位投影结果和里程计投影结果一致，自车运动投影结果不存在错误，若同一深度平面无法完全对齐，则确定定位投影结果和里程计投影结果不一致，自车运动投影结果存在错误。本实施方式能够通过人工智能技术实现密集点云的快速配准，提高了投影结果正确性判定的效率和准确度，从而提高了投影错误定位的效率和准确度。

202、获取关联要素对应的数据验证策略，并通过数据验证策略对至少一个第一关联要素和至少一个第二关联要素进行数据正确性验证，得到目标验证结果；

该步骤202的执行过程与步骤102的执行过程相似，具体此处不再赘述。

203、获取关联要素对应的数据验证策略，数据验证策略用于指示关联要素数据正确性的验证程序，数据验证策略包括时间戳验证策略、静态参数验证策略、标定参数验证策略和定位验证策略中的至少一项；

可以理解的是，为了尽可能多地对投影过程中产生的人工难以识别的错误数据进行自动化识别，通过预置的一系列数据验证程序(策略)进行数据的正确性验证，其中，数据验证策略包括但不限于时间戳验证策略、静态参数验证策略、标定参数验证策略和定位验证策略中的至少一项，时间戳验证策略用于验证投影过程中的时间戳是否正确，能够通过时间戳错误发现一些如传感器时间同步等相关的错误，静态参数验证策略用于验证投影过程中的静态参数是否正确，能够发现一些如传感器内参等相关的错误，标定参数验证策略用于验证投影过程中的标定参数是否正确，能够发现一些如传感器之间的外参等相关的错误，定位验证策略用于验证投影过程中的定位数据是否正确，能够发现一些如定位传感器的定位相关的错误。需要说明的是，数据验证策略还可以包括除上述验证策略以为的验证策略或程序，具体此处不做限定。

204、若数据验证策略包括时间戳验证策略，则通过时间戳验证策略，对至少一个第一关联要素和至少一个第二关联要素中的多个原始时间戳进行时间戳准确性验证，得到第一验证结果，其中，多个原始时间戳包括激光雷达点云扫描时间戳、激光雷达点云去畸变时间戳以及图像曝光时间戳；

具体的，步骤204包括：若数据验证策略包括时间戳验证策略，则通过时间戳验证策略，对至少一个第一关联要素和至少一个第二关联要素中的多个原始时间戳进行同步差值补偿，得到多个目标时间戳；将各目标时间戳与对应的预置基准时间戳进行差值计算，得到各目标时间戳对应的误差值，并根据误差值进行时间戳准确性验证，得到第一验证结果。

可以理解的是，由于不同传感器的数据采集原理和精度存在差异，因此，时间校准是不同传感器之间数据融合基础，而时间戳的验证则是验证不同传感器时间同步性的关键，本实施方式中，通过时间戳验证策略对所有第一关联要素和所有第二关联要素中的多个原始时间戳进行同步差值补偿，得到无时间同步差距的多个目标时间戳，再将各目标时间戳与对应的预置基准时间戳进行差值计算，得到各目标时间戳与基准时间戳之间的误差值，若误差值在预置误差值范围内，则确定时间戳验证通过，若误差值在预置误差值范围之外，则确定时间戳验证不通过，得到第一验证结果，第一验证结果用于指示激光雷达投影至相机图像过程中的时间戳关键数据是否正确。

205、若数据验证策略包括静态参数验证策略，则通过静态参数验证策略，对至少一个第一关联要素中的静态参数进行准确性验证，得到第二验证结果；

具体的，步骤205包括：若数据验证策略包括静态参数验证策略，则通过静态参数验证策略，将预置基准静态参数与至少一个第一关联要素中的原始静态参数进行比对，得到比对结果，原始静态参数用于指示第一关联要素和第二关联要素中要素值相同的要素值；通过比对结果进行静态参数的准确性判定，得到第二验证结果。

可以理解的是，激光雷达投影至相机图像的过程中存在一些静态参数，静态参数不会随车辆的运动而变化，即不管是自车静止投影结果，还是自车运动投影结果，静态参数的值均相同，如相机或激光雷达的内参、图像的规格参数、点云的规格参数等，因此，原始静态参数用于指示第一关联要素和第二关联要素中要素值相同的要素值，例如，原始静态参数可以为相机或激光雷达的内参值、图像的规格参数值、以及点云的规格参数值等，具体此处不做限定。对于静态参数的验证，只需通过静态参数验证策略将所有第一关联要素中的原始静态参数与预置基准静态参数进行比对即可，得到的比对结果则用于指示原始静态参数与基准静态参数是否相同，若比对结果指示原始静态参数与基准静态参数相同，则判定静态参数正确，若比对结果指示原始静态参数与基准静态参数不同，则判定静态参数错误，得到第二验证结果。

206、若数据验证策略包括标定参数验证策略，则通过标定参数验证策略，对至少一个第二关联要素中的标定参数进行准确性验证，得到第三验证结果；

具体的，步骤206包括：若数据验证策略包括标定参数验证策略，则根据至少一个第二关联要素中标定参数的标定策略，从标定参数验证策略中获取标定策略对应的标定组验证工具；通过标定组验证工具对标定参数进行准确性验证，得到第三验证结果。

可以理解的是，标定参数用于传感器进行数据转换，如激光雷达与相机之间的外参、激光雷达与世界坐标系之间的外参、相机与世界坐标系之间的外参、以及惯性测量单元(Inertial Measurement Unit，IMU)与世界坐标系之间的外参等，本实施方式中，通过标定参数验证策略中基于不同标定原理的标定组验证工具对标定参数进行验证，得到的第三验证结果即可用于指示标定参数是否正确。

207、若数据验证策略包括定位验证策略，则通过定位验证策略，对至少一个第二关联要素中的定位数据进行准确性验证，得到第四验证结果；

具体的，步骤207包括：若数据验证策略包括定位验证策略，则获取至少一个第二关联要素中的定位数据，定位数据包括车轮数据和定位传感器数据；通过定位验证策略，对车轮数据和定位传感器数据进行比对，得到比对结果，比对结果用于指示车轮数据和定位传感器数据是否一致；通过比对结果进行定位数据的准确性判定，得到第四验证结果。

可以理解的是，对于定位数据的验证，由于激光雷达对于定位误差不够敏感，因此，通过车轮数据与定位传感器数据的比对能够准确地发现定位错误，具体的是，终端获取所有第二关联要素中的定位数据，再对定位数据中的车轮数据进行速度和旋转角速度计算，得到车轮速度和车轮旋转角速度，并对定位数据中的定位传感器数据进行速度和旋转角速度计算，得到传感器速度和传感器旋转角速度，再将车轮速度与传感器速度进行比对，以及将车轮旋转角速度与传感器旋转角速度进行比对，得到比对结果，若比对结果指示车轮速度与传感器速度一致，且车轮旋转角速度与传感器旋转角速度一致，则判断定位数据准确，得到第四验证结果，若比对结果指示车轮速度与传感器速度不一致，或车轮旋转角速度与传感器旋转角速度不一致，则判断定位数据不准确，得到第四验证结果。

208、基于第一验证结果、第二验证结果、第三验证结果和/或第四验证结果，确定目标验证结果。

本实施方式中，根据第一验证结果、第二验证结果、第三验证结果和/或第四验证结果指示的所有第一关联要素和所有第二关联要素的准确性，得到目标验证结果，目标验证结果用于指示每个第一关联要素或第二关联要素的准确性，用于后续的出错关键数据定位。

本发明实施例中，当自车静止投影结果和/或自车运动投影结果存在错误时，通过数据验证策略中针对不同类型关联要素的数据验证程序(策略)，对这两个投影结果分别对应的关联要素进行数据正确性验证，从而自动化地判定激光雷达投影至相机图像的过程中发生错误的关键数据，解决了投影过程中一些人工难以识别但可自动排除的错误，投影错误数据无法被快速定位的问题，提高了激光雷达点云投影错误数据定位的效率。

上面对本发明实施例中激光雷达点云投影错误的定位方法进行了描述，下面对本发明实施例中激光雷达点云投影错误的定位装置进行描述，请参阅图3，本发明实施例中激光雷达点云投影错误的定位装置一个实施例包括：

获取模块301，用于当自车静止投影结果和/或自车运动投影结果存在错误时，获取自车静止投影结果的至少一个第一关联要素和自车运动投影结果的至少一个第二关联要素，第一关联要素和第二关联要素均用于指示激光雷达点云投影至相机图像过程中的关键数据，所述关键数据用于指示激光雷达点云投影至相机图像的必要参数；

验证模块302，用于获取关联要素对应的数据验证策略，并通过所述数据验证策略对所述至少一个第一关联要素和所述至少一个第二关联要素进行数据正确性验证，得到目标验证结果；

确定模块303，用于根据所述目标验证结果，从所述至少一个第一关联要素和所述至少一个第二关联要素中确定出错关键数据。

本发明实施例中，当自车静止投影结果和/或自车运动投影结果存在错误时，通过数据验证策略对这两个投影结果分别对应的关联要素进行数据正确性验证，从而自动化地判定激光雷达投影至相机图像的过程中发生错误的关键数据，解决了投影过程中一些人工难以识别但可自动排除的错误，投影错误数据无法被快速定位的问题，提高了激光雷达点云投影错误数据定位的效率。

请参阅图4，本发明实施例中激光雷达点云投影错误的定位装置的另一个实施例包括：

获取模块301，用于当自车静止投影结果和/或自车运动投影结果存在错误时，获取自车静止投影结果的至少一个第一关联要素和自车运动投影结果的至少一个第二关联要素，第一关联要素和第二关联要素均用于指示激光雷达点云投影至相机图像过程中的关键数据，所述关键数据用于指示激光雷达点云投影至相机图像的必要参数；

验证模块302，用于获取关联要素对应的数据验证策略，并通过所述数据验证策略对所述至少一个第一关联要素和所述至少一个第二关联要素进行数据正确性验证，得到目标验证结果；

确定模块303，用于根据所述目标验证结果，从所述至少一个第一关联要素和所述至少一个第二关联要素中确定出错关键数据。

可选的，所述验证模块302包括：

策略获取单元3021，用于获取关联要素对应的数据验证策略，所述数据验证策略用于指示关联要素数据正确性的验证程序，所述数据验证策略包括时间戳验证策略、静态参数验证策略、标定参数验证策略和定位验证策略中的至少一项；

时间戳验证单元3022，用于若所述数据验证策略包括所述时间戳验证策略，则通过所述时间戳验证策略，对所述至少一个第一关联要素和所述至少一个第二关联要素中的多个原始时间戳进行时间戳准确性验证，得到第一验证结果，其中，多个原始时间戳包括激光雷达点云扫描时间戳、激光雷达点云去畸变时间戳以及图像曝光时间戳；

静参验证单元3023，用于若所述数据验证策略包括所述静态参数验证策略，则通过所述静态参数验证策略，对所述至少一个第一关联要素中的静态参数进行准确性验证，得到第二验证结果；

标参验证单元3024，用于若所述数据验证策略包括所述标定参数验证策略，则通过所述标定参数验证策略，对所述至少一个第二关联要素中的标定参数进行准确性验证，得到第三验证结果；

定位验证单元3025，用于若所述数据验证策略包括所述定位验证策略，则通过所述定位验证策略，对所述至少一个第二关联要素中的定位数据进行准确性验证，得到第四验证结果；

目标确定单元3026，用于基于所述第一验证结果、所述第二验证结果、所述第三验证结果和/或所述第四验证结果，确定目标验证结果。

可选的，所述时间戳验证单元3022具体用于：

若所述数据验证策略包括所述时间戳验证策略，则通过所述时间戳验证策略，对所述至少一个第一关联要素和所述至少一个第二关联要素中的多个原始时间戳进行同步差值补偿，得到多个目标时间戳；

将各目标时间戳与对应的预置基准时间戳进行差值计算，得到各目标时间戳对应的误差值，并根据所述误差值进行时间戳准确性验证，得到第一验证结果。

可选的，所述静参验证单元3023具体用于：

若所述数据验证策略包括所述静态参数验证策略，则通过所述静态参数验证策略，将预置基准静态参数与所述至少一个第一关联要素中的原始静态参数进行比对，得到比对结果，所述原始静态参数用于指示所述第一关联要素和所述第二关联要素中要素值相同的要素值；

通过所述比对结果进行静态参数的准确性判定，得到第二验证结果。

可选的，所述标参验证单元3024具体用于：

若所述数据验证策略包括所述标定参数验证策略，则根据所述至少一个第二关联要素中标定参数的标定策略，从所述标定参数验证策略中获取所述标定策略对应的标定组验证工具；

通过所述标定组验证工具对所述标定参数进行准确性验证，得到第三验证结果。

可选的，所述定位验证单元3025具体用于：

若所述数据验证策略包括所述定位验证策略，则获取所述至少一个第二关联要素中的定位数据，所述定位数据包括车轮数据和定位传感器数据；

通过所述定位验证策略，对所述车轮数据和所述定位传感器数据进行比对，得到比对结果，所述比对结果用于指示所述车轮数据和所述定位传感器数据是否一致；

通过所述比对结果进行定位数据的准确性判定，得到第四验证结果。

可选的，所述激光雷达点云投影错误的定位装置还包括：

得到模块304，用于获取自车运动投影结果中的定位投影结果和里程计投影结果，所述定位投影结果用于指示基于定位传感器进行激光雷达点云投影的结果，所述里程计投影结果用于指示基于激光雷达里程计算法进行激光雷达点云投影的结果；

识别模块305，用于通过预置的深度学习模型对所述定位投影结果和所述里程计投影结果进行一致性识别，得到识别结果，所述识别结果用于指示所述自车运动投影结果是否存在错误。

本发明实施例中，当自车静止投影结果和/或自车运动投影结果存在错误时，通过数据验证策略中针对不同类型关联要素的数据验证程序(策略)，对这两个投影结果分别对应的关联要素进行数据正确性验证，从而自动化地判定激光雷达投影至相机图像的过程中发生错误的关键数据，解决了投影过程中一些人工难以识别但可自动排除的错误，投影错误数据无法被快速定位的问题，提高了激光雷达点云投影错误数据定位的效率。

上面图3和图4从模块化功能实体的角度对本发明实施例中的激光雷达点云投影错误的定位装置进行详细描述，下面从硬件处理的角度对本发明实施例中激光雷达点云投影错误的定位设备进行详细描述。

图5是本发明实施例提供的一种激光雷达点云投影错误的定位设备的结构示意图，该激光雷达点云投影错误的定位设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对激光雷达点云投影错误的定位设备500中的一系列计算机程序操作。更进一步地，处理器510可以设置为与存储介质530通信，在激光雷达点云投影错误的定位设备500上执行存储介质530中的一系列计算机程序操作。

激光雷达点云投影错误的定位设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作***531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的激光雷达点云投影错误的定位设备结构并不构成对激光雷达点云投影错误的定位设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读计算机程序，计算机可读计算机程序被处理器执行时，使得处理器执行上述各实施例中的所述激光雷达点云投影错误的定位方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得计算机执行所述激光雷达点云投影错误的定位方法的步骤。

进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干计算机程序用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种激光雷达点云投影错误的定位方法，其特征在于，所述激光雷达点云投影错误的定位方法包括：

当自车静止投影结果和/或自车运动投影结果存在错误时，获取自车静止投影结果的至少一个第一关联要素和自车运动投影结果的至少一个第二关联要素，第一关联要素和第二关联要素均用于指示激光雷达点云投影至相机图像过程中的关键数据，所述关键数据用于指示激光雷达点云投影至相机图像的必要参数；

获取关联要素对应的数据验证策略，并通过所述数据验证策略对所述至少一个第一关联要素和所述至少一个第二关联要素进行数据正确性验证，得到目标验证结果；

根据所述目标验证结果，从所述至少一个第一关联要素和所述至少一个第二关联要素中确定出错关键数据。

2.根据权利要求1所述的激光雷达点云投影错误的定位方法，其特征在于，所述获取关联要素对应的数据验证策略，并通过所述数据验证策略对所述至少一个第一关联要素和所述至少一个第二关联要素进行数据正确性验证，得到目标验证结果，包括：

获取关联要素对应的数据验证策略，所述数据验证策略用于指示关联要素数据正确性的验证程序，所述数据验证策略包括时间戳验证策略、静态参数验证策略、标定参数验证策略和定位验证策略中的至少一项；

若所述数据验证策略包括所述时间戳验证策略，则通过所述时间戳验证策略，对所述至少一个第一关联要素和所述至少一个第二关联要素中的多个原始时间戳进行时间戳准确性验证，得到第一验证结果，其中，多个原始时间戳包括激光雷达点云扫描时间戳、激光雷达点云去畸变时间戳以及图像曝光时间戳；

若所述数据验证策略包括所述静态参数验证策略，则通过所述静态参数验证策略，对所述至少一个第一关联要素中的静态参数进行准确性验证，得到第二验证结果；

若所述数据验证策略包括所述标定参数验证策略，则通过所述标定参数验证策略，对所述至少一个第二关联要素中的标定参数进行准确性验证，得到第三验证结果；

若所述数据验证策略包括所述定位验证策略，则通过所述定位验证策略，对所述至少一个第二关联要素中的定位数据进行准确性验证，得到第四验证结果；

基于所述第一验证结果、所述第二验证结果、所述第三验证结果和/或所述第四验证结果，确定目标验证结果。

3.根据权利要求2所述的激光雷达点云投影错误的定位方法，其特征在于，所述若所述数据验证策略包括所述时间戳验证策略，则通过所述时间戳验证策略，对所述至少一个第一关联要素和所述至少一个第二关联要素中的多个原始时间戳进行时间戳准确性验证，得到第一验证结果，包括：

若所述数据验证策略包括所述时间戳验证策略，则通过所述时间戳验证策略，对所述至少一个第一关联要素和所述至少一个第二关联要素中的多个原始时间戳进行同步差值补偿，得到多个目标时间戳；

将各目标时间戳与对应的预置基准时间戳进行差值计算，得到各目标时间戳对应的误差值，并根据所述误差值进行时间戳准确性验证，得到第一验证结果。

4.根据权利要求2所述的激光雷达点云投影错误的定位方法，其特征在于，所述若所述数据验证策略包括所述静态参数验证策略，则通过所述静态参数验证策略，对所述至少一个第一关联要素中的静态参数进行准确性验证，得到第二验证结果，包括：

若所述数据验证策略包括所述静态参数验证策略，则通过所述静态参数验证策略，将预置基准静态参数与所述至少一个第一关联要素中的原始静态参数进行比对，得到比对结果，所述原始静态参数用于指示所述第一关联要素和所述第二关联要素中要素值相同的要素值；

通过所述比对结果进行静态参数的准确性判定，得到第二验证结果。

5.根据权利要求2所述的激光雷达点云投影错误的定位方法，其特征在于，所述若所述数据验证策略包括所述标定参数验证策略，则通过所述标定参数验证策略，对所述至少一个第二关联要素中的标定参数进行准确性验证，得到第三验证结果，包括：

若所述数据验证策略包括所述标定参数验证策略，则根据所述至少一个第二关联要素中标定参数的标定策略，从所述标定参数验证策略中获取所述标定策略对应的标定组验证工具；

通过所述标定组验证工具对所述标定参数进行准确性验证，得到第三验证结果。

6.根据权利要求2所述的激光雷达点云投影错误的定位方法，其特征在于，所述若所述数据验证策略包括所述定位验证策略，则通过所述定位验证策略，对所述至少一个第二关联要素中的定位数据进行准确性验证，得到第四验证结果，包括：

若所述数据验证策略包括所述定位验证策略，则获取所述至少一个第二关联要素中的定位数据，所述定位数据包括车轮数据和定位传感器数据；

通过所述定位验证策略，对所述车轮数据和所述定位传感器数据进行比对，得到比对结果，所述比对结果用于指示所述车轮数据和所述定位传感器数据是否一致；

通过所述比对结果进行定位数据的准确性判定，得到第四验证结果。

7.根据权利要求1所述的激光雷达点云投影错误的定位方法，其特征在于，在所述当自车静止投影结果和/或自车运动投影结果存在错误时，获取自车静止投影结果的至少一个第一关联要素和自车运动投影结果的至少一个第二关联要素之前，还包括：

获取自车运动投影结果中的定位投影结果和里程计投影结果，所述定位投影结果用于指示基于定位传感器进行激光雷达点云投影的结果，所述里程计投影结果用于指示基于激光雷达里程计算法进行激光雷达点云投影的结果；

通过预置的深度学习模型对所述定位投影结果和所述里程计投影结果进行一致性识别，得到识别结果，所述识别结果用于指示所述自车运动投影结果是否存在错误。

8.一种激光雷达点云投影错误的定位装置，其特征在于，所述激光雷达点云投影错误的定位装置包括：

获取模块，用于当自车静止投影结果和/或自车运动投影结果存在错误时，获取自车静止投影结果的至少一个第一关联要素和自车运动投影结果的至少一个第二关联要素，第一关联要素和第二关联要素均用于指示激光雷达点云投影至相机图像过程中的关键数据，所述关键数据用于指示激光雷达点云投影至相机图像的必要参数；

验证模块，用于获取关联要素对应的数据验证策略，并通过所述数据验证策略对所述至少一个第一关联要素和所述至少一个第二关联要素进行数据正确性验证，得到目标验证结果；

确定模块，用于根据所述目标验证结果，从所述至少一个第一关联要素和所述至少一个第二关联要素中确定出错关键数据。

9.一种激光雷达点云投影错误的定位设备，其特征在于，所述激光雷达点云投影错误的定位设备包括：存储器和至少一个处理器，所述存储器中存储有计算机程序；

所述至少一个处理器调用所述存储器中的所述计算机程序，以使得所述激光雷达点云投影错误的定位设备执行如权利要求1-7中任意一项所述的激光雷达点云投影错误的定位方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述激光雷达点云投影错误的定位方法。

Images