CN114332215A

CN114332215A - 多传感标定方法、装置、计算机设备和存储介质

Info

Publication number: CN114332215A
Application number: CN202011064539.5A
Authority: CN
Inventors: 关喜嘉; 王邓江; 马冰; 邓永强
Original assignee: Beijing Wanji Technology Co Ltd
Current assignee: Beijing Wanji Technology Co Ltd
Priority date: 2020-09-30
Filing date: 2020-09-30
Publication date: 2022-04-12

Abstract

本申请涉及一种多传感标定方法、装置、计算机设备和存储介质。所述方法包括：获取同一时刻、同一场景的多传感***中各传感器的当前感知数据；利用该多传感***的当前标定参数，建立各该传感器的当前感知数据之间的映射关系；评估该映射关系是否符合预设标准，得到评估结果；若该评估结果为不符合该预设标准，则更新该多传感***的当前标定参数。采用本方法能够提高参数标定的精确度。

Description

多传感标定方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种多传感标定方法、装置、计算机设备和存储介质。

背景技术

在交通管理中，常见的，可以设置路侧基站实现对道路交通状况的监测。例如，设置激光雷达相机基站对道路交通情况进行监测，在利用激光雷达相机基站对道路交通情况进行监测的时候，需要对激光雷达相机基站的相机和激光雷达之间进行参数的标定，从而实现监测数据在空间上的精确坐标转换。

传统技术中，首先可以通过人工的方式判断激光雷达相机基站的内外参数是否准确，若不准确，则继续通过人工的方式对相机雷达基站的内外参数进行重新标定。

然而，传统技术中，由于激光雷达相机基站容易受到外界环境的干扰发生位移，从而导致内外参数常常发生误差，因此需要频繁地对激光雷达相机的内外参数进行标定，而在依赖人工频繁地对内外参数进行判断和重新标定的过程中，会因为人为失误而导致最终得到的标定后的参数不精确。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高精确度的多传感标定方法、装置、计算机设备和存储介质。

第一方面，提供一种多传感标定方法，该方法包括：

获取同一时刻、同一场景的多传感***中各传感器的当前感知数据；利用该多传感***的当前标定参数，建立各该传感器的当前感知数据之间的映射关系；评估该映射关系是否符合预设标准，得到评估结果；若该评估结果为不符合该预设标准，则更新该多传感***的当前标定参数。

在其中一个实施例中，评估该映射关系是否符合预设标准，得到评估结果，包括：

基于该映射关系构建各该传感器的当前感知数据之间的损失函数；根据该损失函数输出的损失值确定该评估结果。

在其中一个实施例中，更新该多传感***的当前标定参数，包括：

利用梯度下降法对该损失函数进行优化，直至该损失函数输出的该损失值小于预设阈值，获得优化后的损失函数；利用该优化后的损失函数包括的参数更新该多传感***的当前标定参数。

在其中一个实施例中，该多传感器包括：相机和激光雷达，基于该映射关系构建各该传感器的感知数据之间的损失函数，包括：

根据该映射关系建立图像数据帧中与点云数据对应的像素点的灰度直方图；该图像数据帧为该相机采集的感知数据，该点云数据为该激光雷达采集的感知数据；建立该点云数据中点云的反射率直方图；根据该灰度直方图和该反射率直方图建立该损失函数。

在其中一个实施例中，根据该灰度直方图和该反射率直方图建立该损失函数，包括：

建立该灰度直方图和该反射率直方图的联合直方图；根据该联合直方图分别计算概率分布，得到该损失函数。

在其中一个实施例中，该方法还包括：

若该损失函数输出的该损失值大于预设阈值，则判定更新该相机和该激光雷达的当前标定参数。

在其中一个实施例中，利用该多传感***的当前标定参数，建立各该传感器的当前感知数据之间的映射关系，包括：

利用该当前标定参数对该点云数据进行透射变换，将该点云数据映射到该图像数据帧上，建立该点云数据与该图像数据帧的映射关系。

第二方面，提供一种多传感标定装置，该装置包括：

获取模块，用于获取同一时刻、同一场景的多传感***中各传感器的当前感知数据；

建立模块，用于利用该多传感***的当前标定参数，建立各该传感器的当前感知数据之间的映射关系；

评估模块，用于评估该映射关系是否符合预设标准，得到评估结果；

更新模块，用于在该评估结果为不符合该预设标准的情况下，更新该多传感***的当前标定参数。

在其中一个实施例中，该评估模块，具体用于：基于该映射关系构建各该传感器的当前感知数据之间的损失函数；根据该损失函数输出的损失值确定该评估结果。

在其中一个实施例中，该更新模块，具体用于：利用梯度下降法对该损失函数进行优化，直至该损失函数输出的该损失值小于预设阈值，获得优化后的损失函数；利用该优化后的损失函数包括的参数更新该多传感***的当前标定参数。

在其中一个实施例中，该多传感器包括：相机和激光雷达，该评估模块，具体用于：根据该映射关系建立图像数据帧中与点云数据对应的像素点的灰度直方图；该图像数据帧为该相机采集的感知数据，该点云数据为该激光雷达采集的感知数据；建立该点云数据中点云的反射率直方图；根据该灰度直方图和该反射率直方图建立该损失函数。

在其中一个实施例中，该评估模块，具体用于：建立该灰度直方图和该反射率直方图的联合直方图；根据该联合直方图分别计算概率分布，得到该损失函数。

在其中一个实施例中，该更新模块，具体用于：若该损失函数输出的该损失值大于预设阈值，则判定更新该相机和该激光雷达的当前标定参数。

在其中一个实施例中，该建立模块，具体用于：利用该当前标定参数对该点云数据进行透射变换，将该点云数据映射到该图像数据帧上，建立该点云数据与该图像数据帧的映射关系。

第三方面，提供一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现如上述第一方面任一所述的方法。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面任一所述的方法。

上述多传感标定方法、装置、计算机设备和存储介质，通过获取同一时刻、同一场景的多传感***中各传感器的当前感知数据，而后，利用多传感***的当前标定参数，建立各传感器的当前感知数据之间的映射关系，并评估映射关系是否符合预设标准，得到评估结果，接着，在该评估结果为不符合预设标准的情况下，更新多传感***的当前标定参数。因为本申请提供的多传感标定方法，可以根据基于多传感***的当前标定参数所建立的各传感器的当前感知数据之间的映射关系来判断多传感***的当前标定参数是否精确，并且在多传感***的当前标定参数不精确的情况下，自动地更新多传感***的当前标定参数，因此，可以避免参数标定过程中人工操作带来的失误，从而提高了参数标定过程的准确性。

附图说明

图1为一个实施例中多传感标定方法的流程示意图；

图2为一个实施例中评估映射关系是否符合预设标准的技术过程的流程示意图；

图3为一个实施例中构建损失函数的技术过程的流程示意图；

图4为一个实施例中构建损失函数的技术过程的流程示意图；

图5为一个实施例中基于损失函数对当前标定参数进行更新的技术过程的流程示意图；

图6为另一个实施例中多传感标定方法的流程示意图；

图7为一个实施例中多传感标定装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种多传感标定方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种激光雷达相机基站以及毫米波雷达相机基站等路侧基站，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在本申请实施例中，该方法包括以下步骤：

步骤101、终端获取同一时刻、同一场景的多传感***中各传感器的当前感知数据。

在本申请实施例中，多传感***指的是终端中设置的多个传感器，例如，该多传感***可以包括激光雷达和相机，又例如，该多传感***可以包括毫米波雷达和相机，本申请实施例不对多传感***包括的传感器的类型、数量等进行限定。

在本申请的可选实施例中，终端可以周期性地执行获取同一时刻、同一场景的多传感***中各传感器的当前感知数据的技术过程，例如，终端可以每隔48小时执行一次获取同一时刻、同一场景的多传感***中各传感器的当前感知数据的技术过程。其中，本申请实施例中的同一场景指的可以是同一道路中的同一待检测范围，例如，该同一场景指的可以是道路A中位于终端设置位置正南方100米内的范围。

此外，各传感器的当前感知数据指的可以是多传感***中的各个传感器当前测量到的数据。

例如，若多传感***包括激光雷达和相机，其中，激光雷达可以向物体发射激光并接收物体表面反射的激光，然后根据物体表面反射的激光获得物体的点云数据，则该点云数据即为激光雷达的当前感知数据，相机可以采集物体的图像数据，得到二维的图像数据帧，则该二维的图像数据帧即为相机的当前感知数据。

步骤102、终端利用多传感***的当前标定参数，建立各传感器的当前感知数据之间的映射关系。

其中，在多传感***包括激光雷达和相机的情况下，多传感***的当前标定参数可以包括相机的内外参矩阵、畸变系数、激光雷达和相机旋转平移6自由度等。

在多传感***包括激光雷达和相机的情况下，步骤102中，终端可以利用当前标定参数对激光雷达测得的点云数据进行透射变换，将该点云数据映射到相机测得的图像数据帧上，从而建立点云数据与该图像数据帧的映射关系。其中，建立点云数据与该图像数据帧的映射关系相当于：建立点云数据中的点与图像数据帧中的像素点之间的映射关系。在本申请实施例中，映射关系的具体计算公式如下：

x′＝x/z y′＝y/z

其中，r²＝x^′2+y^′2

u＝f_x*x″+c_x v＝f_y*y″+c_y

在上述公式中，第一个是计算激光雷达坐标系到相机的图像坐标系的转换公式，也即是，映射关系的计算公式，(X，Y，Z)的物理意义是激光雷达在世界坐标系的坐标，(u，v)表示点云中的点映射在图像坐标系的坐标，(c_x，c_y)表示图像中心点坐标，f_x和f_y表示以像素为单位表示的焦距，

为相机的内外参矩阵，(x，y，z)表示转换的图像坐标系的坐标。其他公式是第一个公式的分解式。k₁，k₂，k₃，k₄，k₅，和k₆表示径向畸变系数，p₁和p₂表示切向畸变系数。

在建立了各传感器的当前感知数据之间的映射关系之后，相当于建立了两个不同维度的数据之间的关联，而这种关联关系可以被用于后续的判断当前标定参数是否准确，以及在当前标定参数不准确的情况下，更新当前标定参数的过程中。

步骤103、终端评估该映射关系是否符合预设标准，得到评估结果。

其中，该预设标准指的是当前标定参数准确的情况下，映射关系所需符合的标准。因此，若该评估结果为映射关系不符合预设标准，则说明当前标定参数不准确，若该评估结果为映射关系符合预设标准，则说明当前标定参数准确。

步骤104、若评估结果为映射关系不符合预设标准，则终端更新多传感***的当前标定参数。

如上文所述，若该评估结果为映射关系不符合预设标准，则说明当前标定参数不准确，因此，在这种情况下，终端有必要更新多传感***的当前标定参数。

例如，在该多传感***包括激光雷达和相机的情况下，终端可以更新激光雷达和相机旋转平移6自由度等当前标定参数。

综上所述，本申请实施例提供的多传感标定方法，通过获取同一时刻、同一场景的多传感***中各传感器的当前感知数据，而后，利用多传感***的当前标定参数，建立各传感器的当前感知数据之间的映射关系，并评估映射关系是否符合预设标准，得到评估结果，接着，在该评估结果为不符合预设标准的情况下，更新多传感***的当前标定参数。因为本申请提供的多传感标定方法，可以根据基于多传感***的当前标定参数所建立的各传感器的当前感知数据之间的映射关系来判断多传感***的当前标定参数是否精确，并且在多传感***的当前标定参数不精确的情况下，自动地更新多传感***的当前标定参数，因此，可以避免参数标定过程中人工操作带来的失误，从而提高了参数标定过程的准确性。

请参考图2，其示出了本申请实施例提供的一种示例性的评估映射关系是否符合预设标准的技术过程，如图2所示，该技术过程包括以下步骤：

步骤201、终端基于映射关系构建各传感器的当前感知数据之间的损失函数。

在本申请实施例中，该损失函数可以为直方损失函数，其中，直方损失就是针对直方图显示出来信息分布的一种损失计算方法。直方图可以比较直观明显地显示一个对象的某种分布信息，比如灰度级数直方图、亮度级数直方图和反射率级数直方图等等。

在本申请实施例中，可以建立各传感器的当前感知数据之间的直方损失函数，其中，直方损失函数可以被用在神经网络的训练过程中，如果当前标定参数出现了不准确的问题，本申请实施例可以基于直方损失函数在神经网络的训练过程中的运用，对当前标定参数进行更新，其中，对当前标定参数进行更新的过程是：调整神经网络的特征参数(该特征参数即为当前标定参数)以使直方损失函数的值减小到预设程度，并且将最终得到的神经网络的特征参数作为更新后的当前标定参数。

下面，本申请实施例仅以多传感***包括激光雷达和相机为例对构建损失函数的技术过程进行简要说明，请参考图3，该技术过程可以包括以下步骤：

步骤2011、终端根据映射关系建立图像数据帧中与点云数据对应的像素点的灰度直方图。

灰度直方图是关于灰度级分布的函数，是对图像数据帧中灰度级分布的统计。灰度直方图是将图像数据帧中的所有像素点，按照灰度值的大小，统计其出现的频率。灰度直方图是灰度级的函数，它表示图像数据帧中具有某种灰度级的像素点的个数，反映了图像数据帧中某种灰度出现的频率。

需要说明的是，本申请实施例中是根据映射关系建立了图像数据帧中与点云数据对应的像素点的灰度直方图，也就是说，在统计图像数据帧中不同灰度级的像素点的个数时，只考虑到了图像数据帧中与点云数据对应的那些像素点。

步骤2012，终端建立点云数据中点云的反射率直方图。

在本步骤中，反射率直方图的含义与上述灰度直方图的具体含义类似，在此不再赘述。

步骤2013，终端根据该灰度直方图和该反射率直方图建立损失函数。

在得到上述灰度直方图和所述反射率直方图之后，可以根据该灰度直方图和该反射率直方图建立损失函数，本步骤中得到的损失函数包括该激光雷达相机基站的参数，这里提到的参数，包括在得到该映射关系时所使用的参数。

在本申请实施例中，通过建立灰度直方图和反射率直方图，可以将点云数据中的点云和图像数据帧中的像素点联合起来建立损失函数，使参数标定的过程有精确的数学依据，提高了参数标定的准确度。

步骤202、终端根据损失函数输出的损失值确定评估结果。

在本步骤中，终端可以计算该损失函数输出的损失值，其中，损失函数输出的损失值的大小可以表征当前标定参数误差程度的大小，一般来说，损失函数输出的损失值越大，说明当前标定参数的误差就越大，越需要进行更新，而损失函数输出的损失值越小，说明当前标定参数的误差就越小。在本申请实施例中，终端可以实时计算损失函数输出的损失值，也可以定时计算损失函数输出的损失值。

在计算出损失函数输出的损失值之后，可以通过预设阈值对损失函数输出的损失值的大小进行判断，以此确定评估结果，进行确定当前标定参数是否需要进行更新。

当损失函数输出的损失值大于预设阈值，例如大于0.001时，可以认为当前标定参数存在误差，此时，可以将映射关系不符合预设标准作为评估结果，在这种情况下，需要对多传感***的当前标定参数进行更新，例如，在该多传感***包括激光雷达和相机的情况下，可以对该相机和该激光雷达的当前标定参数进行更新。当损失函数输出的损失值小于预设阈值，例如小于0.001时，可以将映射关系符合预设标准作为评估结果，在这种情况下，不需要对多传感***的当前标定参数进行更新，而可以继续使用该当前标定参数。

在本申请实施例中，通过对损失函数输出的损失值的大小进行判断，可以快速确定当前标定参数是否存在误差，提高了参数标定的效率，并且，不需要额外设置特定的标定物，就可以完成参数的标定，简化了参数标定的操作过程。

当然，在本申请的一个可选实施例中，还可以利用各个传感器感知范围内标定物(共同检测到的物体)的重叠面积来确定评估结果，也即是确定是否需要对当前标定参数进行更新。

通常情况下，各个传感器感知范围内标定物的重叠面积越大，说明当前标定参数越准确，此时，不需要对当前标定参数进行更新。反之，各个传感器感知范围内标定物的重叠面积越小，说明当前标定参数越不准确，此时，需要对当前标定参数进行更新。

请参考图4，本申请实施例提供了一种示例性地根据灰度直方图和反射率直方图建立损失函数的技术过程，如图4所示，该技术过程包括以下步骤：

步骤401、终端建立该灰度直方图和该反射率直方图的联合直方图。

在得到灰度直方图和反射率直方图之后，为了建立灰度直方图和反射率直方图两者之间的联系，可以结合两者建立联合直方图。联合直方图指的是通过统计两幅图像的对应位置的灰度对(i，j)出现次数而得到的图形，i和j分别表示两幅图像中各自的灰度值。结合到本申请中，本申请实施例中提到的联合直方图可以用一个二维矩阵h来表示，对于该二维矩阵h中的某个元素h(a，b)来说，其表示的含义是，在图像数据帧中具有灰度值a，并且在点云数据中具有反射率b的相关点的个数，例如，h(120，0.4)＝200，表示的含义是，在图像数据帧中具有灰度值120，并且在点云数据中具有反射率0.4的相关点的个数为200个。

步骤402，终端根据该联合直方图分别计算概率分布，得到该损失函数。

根据建立的灰度直方图、反射率直方图和联合直方图分别计算概率贝叶斯联合概率分布和边缘概率分布，从而得到该损失函数，该损失函数与当前标定参数相关，其中，该当前标定参数包括相机的内参矩阵、相机的畸变系数以及相机和该激光雷达之间的旋转平移6自由度。相机的内参矩阵用于进行空间坐标和图像坐标之间的相互转换；畸变系数包括径向畸变和切向畸变，径向畸变发生在相机坐标系转图像物理坐标系的过程中；而切向畸变是发生在相机制作过程，其是由于感光元平面跟透镜不平行。步骤402的具体计算过程如下：

H(X,Y)＝-∑∑p_XY(x,y)logp_XY(x,y)

在上述公式中，X和Y分别表示点云数据和图像数据帧中相对应的像素点和点云。x表示灰度直方图中像素点的灰度值，y表示反射率直方图中的点云反射率的值。H(X)表示随机变量X的熵，H(Y)表示随机变量Y的熵，H(X，Y)表示随机变量X和Y的联合熵。p_X(x)表示X的灰度概率分布，p_Y(y)表示Y的反射率概率分布，p_XY(x，y)表示X和Y的联合概率分布。MI表示互信息，MI是信息论中的重要概念，描述了两个***之间的相关性，或互相包含信息的多少。在图像配准中，两幅图的互信息是通过它们的熵以及联合熵，来反映它们之间信息的相互包含程度。Θ_k+1表示目标函数，也即是上述损失函数，G_k表示梯度。

在本申请实施例中，通过建立灰度直方图和反射率直方图的联合直方图，然后利用数学计算的方式，根据联合直方图得到损失函数，整个过程中无需依赖人工，因此避免了人为操作带来的时间消耗，提高了得到损失函数的效率。

在本申请实施例中，若评估结果不符合预设标准，则可以对多传感***的当前标定参数进行更新，其中，终端可以基于损失函数对当前标定参数进行更新，请参考图5，其示出了基于损失函数对当前标定参数进行更新的技术过程，如图5所示，该技术过程包括以下步骤：

步骤501，终端利用梯度下降法对损失函数进行优化，直至该损失函数的值小于预设阈值，获得优化后的损失函数。

梯度下降是迭代法的一种，可以用于求解最小二乘问题。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和各项参数的值，也即是步骤501中记载的对该损失函数进行优化，直至该损失函数的值小于该预设阈值。Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络的各项权重，Adam可以为不同的参数设计独立的自适应性学习率。Adam具体公式如下：

其中，其中t表示次数，

为m_t的纠正，

为v_t的纠正，β₁和β₂是常数，控制指数衰减，m_t是梯度的指数移动均值，通过梯度G_k的一阶矩求得。v_t是平方梯度，通过梯度的二阶矩求得，α和ò都是系数。

步骤502，终端利用优化后的损失函数包括的参数更新多传感***的当前标定参数。

在损失函数被优化完成之后，得到的优化后的损失函数中的各项参数也完成了优化，可以认为此时的标定参数不存在误差。也即是，可以将优化后的损失函数包括的参数作为更新后的当前标定参数。

在本申请实施例中，通过利用梯度下降法和Adam，可以快速使损失函数完成迭代优化，提高了参数标定的效率。

在本申请实施例中，请参考图6，提供了另一种多传感标定方法，该方法包括：

步骤601，终端初始化多传感***的标定参数，获得多传感***的当前标定参数。

在本步骤中，可以对多传感***进行初始化，例如，在多传感***包括激光雷达和相机的情况下，对多传感***进行初始化包括：调整激光雷达和相机到合适角度，固定两者相对位置，通过标定方法或其他方法，初始化当前标定参数。

步骤602，终端对多传感***中的各传感器进行时间同步。

在初始化参数之后，终端还需要对多传感***中的各传感器进行时间同步，具体的，可以规定一个基准时间轴，然后使各传感器的时间都与该基准时间轴保持一致，在进行时间同步操作之后，才可以使各传感器获取到的当前感知数据之间形成准确的对应关系。

应该理解的是，虽然图1至图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至图6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在本申请实施例中，如图7所示，提供了一种多传感标定装置700，包括：获取模块701、建立模块702、评估模块703以及更新模块704。

该获取模块701，用于获取同一时刻、同一场景的多传感***中各传感器的当前感知数据。

该建立模块702，用于利用该多传感***的当前标定参数，建立各该传感器的当前感知数据之间的映射关系。

该评估模块703，用于评估该映射关系是否符合预设标准，得到评估结果。

该更新模块704，用于在该评估结果为不符合该预设标准的情况下，更新该多传感***的当前标定参数。

在本申请的一个可选实施例中，该评估模块703，具体用于：基于该映射关系构建各该传感器的当前感知数据之间的损失函数；根据该损失函数输出的损失值确定该评估结果。

在本申请的一个可选实施例中，该更新模块704，具体用于：利用梯度下降法对该损失函数进行优化，直至该损失函数输出的该损失值小于预设阈值，获得优化后的损失函数；利用该优化后的损失函数包括的参数更新该多传感***的当前标定参数。

在本申请的一个实施例中，该多传感器包括：相机和激光雷达，该评估模块703，具体用于：根据该映射关系建立图像数据帧中与点云数据对应的像素点的灰度直方图；该图像数据帧为该相机采集的感知数据，该点云数据为该激光雷达采集的感知数据；建立该点云数据中点云的反射率直方图；根据该灰度直方图和该反射率直方图建立该损失函数。

在本申请的一个可选实施例中，该评估模块703，具体用于：建立该灰度直方图和该反射率直方图的联合直方图；根据该联合直方图分别计算概率分布，得到该损失函数。

在本申请的一个可选实施例中，该更新模块704，具体用于：若该损失函数输出的该损失值大于预设阈值，则判定更新该相机和该激光雷达的当前标定参数。

在本申请的一个可选实施例中，该建立模块702，具体用于：利用该当前标定参数对该点云数据进行透射变换，将该点云数据映射到该图像数据帧上，建立该点云数据与该图像数据帧的映射关系。

关于多传感标定装置的具体限定可以参见上文中对于多传感标定方法的限定，在此不再赘述。上述多传感标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在本申请实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过***总线连接的处理器、存储器以及多传感***。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种多传感标定方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在本申请实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

在本申请实施例中，处理器执行计算机程序时还实现以下步骤：基于该映射关系构建各该传感器的当前感知数据之间的损失函数；根据该损失函数输出的损失值确定该评估结果。

在本申请实施例中，处理器执行计算机程序时还实现以下步骤：利用梯度下降法对该损失函数进行优化，直至该损失函数输出的该损失值小于预设阈值，获得优化后的损失函数；利用该优化后的损失函数包括的参数更新该多传感***的当前标定参数。

在本申请实施例中，该多传感器包括：相机和激光雷达，处理器执行计算机程序时还实现以下步骤：根据该映射关系建立图像数据帧中与点云数据对应的像素点的灰度直方图；该图像数据帧为该相机采集的感知数据，该点云数据为该激光雷达采集的感知数据；建立该点云数据中点云的反射率直方图；根据该灰度直方图和该反射率直方图建立该损失函数。

在本申请实施例中，处理器执行计算机程序时还实现以下步骤：建立该灰度直方图和该反射率直方图的联合直方图；根据该联合直方图分别计算概率分布，得到该损失函数。

在本申请实施例中，处理器执行计算机程序时还实现以下步骤：若该损失函数输出的该损失值大于预设阈值，则判定更新该相机和该激光雷达的当前标定参数。

在本申请实施例中，处理器执行计算机程序时还实现以下步骤：利用该当前标定参数对该点云数据进行透射变换，将该点云数据映射到该图像数据帧上，建立该点云数据与该图像数据帧的映射关系。

在本申请实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

在本申请实施例中，计算机程序被处理器执行时还实现以下步骤：基于该映射关系构建各该传感器的当前感知数据之间的损失函数；根据该损失函数输出的损失值确定该评估结果。

在本申请实施例中，计算机程序被处理器执行时还实现以下步骤：利用梯度下降法对该损失函数进行优化，直至该损失函数输出的该损失值小于预设阈值，获得优化后的损失函数；利用该优化后的损失函数包括的参数更新该多传感***的当前标定参数。

在本申请实施例中，该多传感器包括：相机和激光雷达，计算机程序被处理器执行时还实现以下步骤：根据该映射关系建立图像数据帧中与点云数据对应的像素点的灰度直方图；该图像数据帧为该相机采集的感知数据，该点云数据为该激光雷达采集的感知数据；建立该点云数据中点云的反射率直方图；根据该灰度直方图和该反射率直方图建立该损失函数。

在本申请实施例中，计算机程序被处理器执行时还实现以下步骤：建立该灰度直方图和该反射率直方图的联合直方图；根据该联合直方图分别计算概率分布，得到该损失函数。

在本申请实施例中，计算机程序被处理器执行时还实现以下步骤：若该损失函数输出的该损失值大于预设阈值，则判定更新该相机和该激光雷达的当前标定参数。

在本申请实施例中，计算机程序被处理器执行时还实现以下步骤：利用该当前标定参数对该点云数据进行透射变换，将该点云数据映射到该图像数据帧上，建立该点云数据与该图像数据帧的映射关系。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种多传感标定方法，其特征在于，，所述方法包括：

获取同一时刻、同一场景的多传感***中各传感器的当前感知数据；

利用所述多传感***的当前标定参数，建立各所述传感器的当前感知数据之间的映射关系；

评估所述映射关系是否符合预设标准，得到评估结果；

若所述评估结果为不符合所述预设标准，则更新所述多传感***的当前标定参数。

2.根据权利要求1所述的方法，其特征在于，所述评估所述映射关系是否符合预设标准，得到评估结果，包括：

基于所述映射关系构建各所述传感器的当前感知数据之间的损失函数；

根据所述损失函数输出的损失值确定所述评估结果。

3.根据权利要求2所述的方法，其特征在于，所述更新所述多传感***的当前标定参数，包括：

利用梯度下降法对所述损失函数进行优化，直至所述损失函数输出的所述损失值小于预设阈值，获得优化后的损失函数；

利用所述优化后的损失函数包括的参数更新所述多传感***的当前标定参数。

4.根据权利要求2所述的方法，其特征在于，所述多传感器包括：相机和激光雷达，所述基于所述映射关系构建各所述传感器的感知数据之间的损失函数，包括：

根据所述映射关系建立图像数据帧中与点云数据对应的像素点的灰度直方图；所述图像数据帧为所述相机采集的感知数据，所述点云数据为所述激光雷达采集的感知数据；

建立所述点云数据中点云的反射率直方图；

根据所述灰度直方图和所述反射率直方图建立所述损失函数。

5.据权利要求4所述的方法，其特征在于，所述根据所述灰度直方图和所述反射率直方图建立所述损失函数，包括：

建立所述灰度直方图和所述反射率直方图的联合直方图；

根据所述联合直方图分别计算概率分布，得到所述损失函数。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若所述损失函数输出的所述损失值大于预设阈值，则判定更新所述相机和所述激光雷达的当前标定参数。

7.根据权利要求5所述的方法，其特征在于，所述利用所述多传感***的当前标定参数，建立各所述传感器的当前感知数据之间的映射关系，包括：

利用所述当前标定参数对所述点云数据进行透射变换，将所述点云数据映射到所述图像数据帧上，建立所述点云数据与所述图像数据帧的映射关系。

8.一种多传感标定装置，其特征在于，所述装置包括：

建立模块，用于利用所述多传感***的当前标定参数，建立各所述传感器的当前感知数据之间的映射关系；

评估模块，用于评估所述映射关系是否符合预设标准，得到评估结果；

更新模块，用于在所述评估结果为不符合所述预设标准的情况下，更新所述多传感***的当前标定参数。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。