CN113034621B - 联合标定方法、装置、设备、车辆及存储介质 - Google Patents

Abstract

本申请公开了一种联合标定方法、装置、设备、车辆及存储介质。包括：获取M组同名点对、M组同名点对的初始反投误差以及同名点对集合；基于M组同名点对对同名点对集合进行点对变化处理，得到目标同名点对集合；基于目标同名点对集合、M组同名点对中各同名点对对应的坐标以及采集二维图像的相机的内参和初始外参，获得M组同名点对的目标反投误差；基于M组同名点对的初始反投误差、目标反投误差、目标同名点对集合中各同名点对对应的坐标以及内参和初始外参，确定相机对应的目标外参。方案使基于目标同名点对集合获得的目标外参更准确，可应用的场景包括但不限于高精地图、自动驾驶、车路协同等。

Description

联合标定方法、装置、设备、车辆及存储介质

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种联合标定方法、装置、设备、车辆及存储介质。

背景技术

相机标定包括内参标定和外参标定，目前对于内参标定技术和工具都比较成熟，精度也能保证，但由于使用场景千差万别，外参标定并没有统一的方法。目前常采用的外参标定方式通常是利用人工选取的参照点（同名点）进行标定，但标定过程中，由于人工选取的参照点的准确度不高，而标定精度是依据选取的参考点来确定，因此，标定精度受人为因素的影响较大，不够准确。

发明内容

鉴于此，本申请实施例提出了一种联合标定方法、装置、设备、车辆及存储介质，能够提高相机组外参标定的准确性。

第一方面，本申请实施例提供了一种联合标定方法，所述方法包括：获取M组同名点对、所述M组同名点对的初始反投误差以及同名点对集合，所述M组同名点对选自点云数据以及与所述点云数据对应的二维图像，所述同名点对集合中包括的每组同名点对均属于所述M组同名点对，M为大于1的整数；基于所述M组同名点对，对所述同名点对集合进行点对变化处理，得到目标同名点对集合；基于所述目标同名点对集合、所述M组同名点对中各同名点对对应的坐标以及采集所述二维图像的相机的内参和初始外参，获得所述M组同名点对的目标反投误差；基于所述M组同名点对的初始反投误差、目标反投误差、所述目标同名点对集合中各同名点对对应的坐标以及采集所述二维图像的相机的内参和初始外参，确定所述相机对应的目标外参。

第二方面，本申请实施例提供了一种联合标定装置，所述装置包括：数据获取模块、点对变化模块、目标误差获得模块以及目标外参获得模块。数据获取模块，用于获取M组同名点对、所述M组同名点对的初始反投误差以及同名点对集合，所述M组同名点对选自点云数据以及与所述点云数据对应的二维图像，所述同名点对集合中包括的每组同名点对均属于所述M组同名点对，M为大于1的整数；点对变化模块，用于基于所述M组同名点对，对所述同名点对集合进行点对变化处理，得到目标同名点对集合；目标误差获得模块，用于基于所述目标同名点对集合、所述M组同名点对中各同名点对对应的坐标以及采集所述二维图像的相机的内参和初始外参，获得所述M组同名点对的目标反投误差；目标外参获得模块，用于基于所述M组同名点对的初始反投误差、目标反投误差、所述目标同名点对集合中各同名点对对应的坐标以及采集所述二维图像的相机的内参和初始外参，确定所述相机对应的目标外参。

在一种可能的实施方式中，目标误差获得模块包括：优化处理子模块以及目标反投误差获得子模块。优化处理子模块，用于基于所述目标同名点对集合中各同名点对对应的坐标以及采集所述二维图像的相机的内参，利用预设优化算法对所述初始外参进行优化处理，得到处理后的初始外参。目标反投误差获得子模块，用于根据处理后的初始外参、所述M组同名点对中各同名点对对应的坐标以及所述内参，获得处理后的初始外参对应的目标反投误差。

在一种可能的实施方式中，目标外参获得模块包括更新确定子模块以及目标外参获得子模块。更新确定子模块，用于根据所述目标反投误差和所述初始反投误差确定是否将所述同名点对集合更新为所述目标同名点对集合。目标外参获得子模块，用于在确定将所述同名点对集合更新为所述目标同名点对集合时，将所述同名点对集合更新为所述目标同名点对集合，将处理后的初始外参作为新的初始外参，以及将所述目标反投误差作为新的初始反投误差，并在确定对所述同名点对集合进行点对变化处理处理的次数达到预设次数时，将处理后的初始外参作为所述相机对应的目标外参。

在一种可能的实施方式中，更新确定子模块包括比较单元以及更新确定单元。比较单元，用于将所述目标反投误差与所述初始反投误差进行比较。更新确定单元，用于在所述目标反投误差不大于所述初始反投误差时，确定将所述同名点对集合更新为所述目标同名点对集合。以及在目标反投误差大于所述初始反投误差时，根据所述初始反投误差以及目标反投误差获得接受概率，根据所述接受概率确定是否将所述同名点对集合更新为所述目标同名点对集合。

在一种可能的实施方式中，更新确定单元还用于根据对所述同名点对集合进行处理的次数、所述初始反投误差、目标反投误差、目标同名点对集合中包括的同名点对的数量进行概率计算，得到接受概率。

在一种可能的实施方式中，目标反投误差获得子模块包括函数构建单元、计算式获得单元以及优化单元。函数构建单元，用于基于采集所述二维图像的相机的内参和初始外参，构建坐标转换函数。计算式获得单元，用于将所述目标同名点对集合中的所有同名点对对应的坐标分别代入至所述坐标转换函数得到坐标转换计算式。优化单元，用于利用顺序二次规划算法对所述坐标转换计算式中的初始外参进行带约束优化，得到处理后的初始外参。

在一种可能的实施方式中，所述函数构建单元还用于基于采集所述二维图像的相机的内参构建内参矩阵；基于采集所述二维图像的相机的初始外参构建外参矩阵；以及基于所述内参矩阵和所述外参矩阵构建关于所述同名点对中的二维坐标与三维坐标之间的坐标转换函数。

在一种可能的实施方式中，点对变化模块还用于基于所述M组同名点对，向所述同名点对集合中随机增加同名点对或从同名点对集合中随机减少同名点对，得到目标同名点对集合，向所述同名点对集合中增加的同名点对属于所述M组同名点对。

在一种可能的实施方式中，数据获取模块还包括：计算子模块以及初始反投误差获得子模块。计算子模块，用于基于所述M组同名点对中每组同名点对对应的坐标以及采集所述二维图像的相机的初始外参和内参，计算所述同名点对集合中的每组同名点对的反投误差。初始反投误差获得子模块，用于将所述M组同名点对中的每组同名点对的反投误差进行均值计算，得到初始反投误差。

在一种可能的实施方式中，所述获取模块包括数据获取子模块、底图获得子模块以及同名点获取子模块。数据获取子模块，用于获取点云数据及与所述点云数据对应的二维图像。底图获得子模块，用于将所述点云数据反投至所述二维图像，得到底图。同名点获取子模块，用于基于所述底图选取M组同名点对，每组同名点对包括所述二维图像中的一个二维点和所述点云数据中的一个三维点，每组同名点对对应的坐标包括所述二维图像中的一个二维点对应的二维坐标和所述点云数据中的一个三维点对应的三维坐标。

第三方面，本申请实施例提供了一种电子设备，包括处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现上述的方法。

第四方面，本申请实施例提供了一种车辆，包括存储器；相机，所述相机用于采集二维图像；激光雷达，所述激光雷达用于采集点云数据；一个或多个处理器，所述处理器与所述相机和激光雷达分别连接；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如上述的方法。

第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行上述的方法。

第六方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质获取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的方法。

本申请实施例提供的本申请提供了一种联合标定方法、装置、设备、车辆以及存储介质，通过获取M组同名点对、M组同名点对的初始反投误差以及同名点对集合；基于M组同名点对，对同名点对集合进行点对变化处理，得到目标同名点对集合；基于目标同名点对集合、M组同名点对中各同名点对对应的坐标以及采集二维图像的相机的内参和初始外参，获得M组同名点对的目标反投误差；基于M组同名点对的初始反投误差、目标反投误差、目标同名点对集合中各同名点对对应的坐标以及采集二维图像的相机的内参和初始外参，确定相机对应的目标外参。可以实现在标定过程中，基于初始反投误差和目标反投误差对同名点对集合进行优化，使进行优化得到的目标同名点对集合中的同名点对为M组同名点对中较优的同名点对，从而使基于目标同名点对集合获得的目标外参更准确。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提出的一种***架构的示意图；

图2示出了本申请实施例提出的一种联合标定方法的流程图；

图3示出了图2中步骤S110的流程示意图；

图4示出了本申请实施例提出的一种联合标定方法的另一流程示意；

图5示出了示出了图4中步骤S230的流程示意图；

图6示出了示出了图4中步骤S250的流程示意图；

图7示出了进行点对变化处理前后获得的初始反投误差与目标反投误差之间的差值变化示意图；

图8示出了M组同名点对的示意图以及同名点对集合中的同名点对的示意图；

图9示出了目标同名点对集合中点对数量的变化示意图；

图10示出了相机采集到的二维图像；

图11示出了激光雷达采集到的点云数据的示意图；

图12示出了本申请实施例提出的一种联合标定方法的另一流程示意；

图13示出了基于相机的内参和初始外参将图11中的点云数据反投至图10中的二维图像得到的底图；

图14示出了基于相机的内参和目标外参将图11中的点云数据反投至图10中的二维图像得到的底图；

图15示出了本申请实施例提出的一种联合标定装置的结构框图；

图16示出了本申请实施例提供的数据获取模块的结构框图；

图17示出了本申请实施例提供的目标误差获得模块的结构框图；

图18示出了本申请实施例提供的目标外参获得模块的结构框图；

图19示出了用于执行本申请实施例的方法的电子设备的结构框图；

图20示出了本申请实施例提供的一种车辆的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下，对本申请实施例中可能涉及的术语进行介绍。

相机标定，是指在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定（或摄像机标定）。上述求解的参数包括相机组的内参和外参，即上述相机组的标定可以包括确定相机组的内参和外参的过程。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性，本申请实施例中主要针对相机的外参标定。

内参，是指反应相机自身特性相关的参数，如相机的焦距、成像中心和像素等。

外参，是相机的外部参数，是指在世界坐标系或指定坐标系中的参数，如相机的旋转平移参数。

点云数据，是指在一个三维坐标系中的一组向量的集合，即，每个点云数据中的每一个点都是三维点，点云所包含的信息中有每个点所在的位置，即在三维空间中的x, y, z坐标，这是必须要有的信息。其次还可以有颜色信息、反射强度信息等中的一种或多种。其中，颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息（RGB）赋予点云中对应的点。反射强度信息的获取是激光扫描仪接收装置采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。

二维图像照片，是指利用相机拍摄的不包含深度信息的平面图像。二维图像只有左右、上下四个方向，不存在前后。

同名点，也称同名像点（相应像点），是指任一目标点在不同相片上的构像点，是由于航空摄影时在（二个）不同摄影点对同一物点二次摄影得到的，在立体观察及量测像点高程时，必须准确确定和量测同名像点的位置及坐标值，才能保证立体观察及量测的质量和精度。在本实施例中，是指针对目标物体利用激光的方式获得的点云数据和利用相机组获得的二维图像照片，从该点云数据和二维照片中分别获取的同一目标点对应的三维坐标和二维坐标，该同一目标点对应的二维坐标和三维坐标互为同名点，且该目标点对应的二维坐标和三维坐标共同构成一组同名点对。

随着相机的应用范围越来越广泛，如，目前广泛应用在辅助驾驶及自动驾驶控制器等应用场景内下，在此类场景下对于相机的外参标定的准确度要求很高。因此，对于此类场景下的相机外参进行标定时通常是采用激光雷达和相机联合标定的方式对相机外参进行标定，标定过程中选择可测量的平面型靶标物(如牌子)，激光三维测量靶标物以及动态对靶标拍照，通过对同名点对中的三维点和二维点进行对比计算得到标定参数。标定精度是依据人为选取的同名点对来确定，因此标定精度也受人为因素的影响较大，不够准确。

有鉴于此，本申请提供了一种联合标定方法、装置、设备、车辆以及存储介质，通过获取M组同名点对、M组同名点对的初始反投误差以及同名点对集合；基于M组同名点对，对同名点对集合进行点对变化处理，得到目标同名点对集合；基于目标同名点对集合、M组同名点对中各同名点对对应的坐标以及采集二维图像的相机的内参和初始外参，获得M组同名点对的目标反投误差；基于M组同名点对的初始反投误差、目标反投误差、目标同名点对集合中各同名点对对应的坐标以及采集二维图像的相机的内参和初始外参，确定相机对应的目标外参。可以实现在标定过程中，基于初始反投误差和目标反投误差对同名点对集合进行优化，使进行优化得到的目标同名点对集合中的同名点对为M组同名点对中较优的同名点对，从而使基于目标同名点对集合获得的目标外参更准确。

具体的，本申请实施例提供的联合标定方法，相比于依据人工选取的同名点存在选取的同名点不准确，而造成基于选取的同名点获得的目标外参不够准确而言，可以在选取用于确定外参的同名点对的过程中，通过对同名点对集合进行点对变化，以及依据点对变化前后的获得的反投误差使从同名点对集合中删除不准确的同名点，保留准确的同名点，从而使获得的目标同名点对集合中的同名点对更准确，进而使依据上述目标同名点对集合中获得的目标外参更准确。

图1示出了可以应用本申请实施例的技术方案的示例性***架构10的示意图。

如图1所示，***架构10可以具体应用于汽车、无人机或飞机等设备上。

其中，***架构10可以包括相机11、激光雷达12、网络13、服务器14和终端设备15(终端设备15可以为车载终端、智能手机、平板电脑、便携式计算机、台式计算机等中的一种或多种)。网络13用以在相机11、激光雷达12、服务器14和终端设备15之间提供通信链路的介质。网络13可以包括各种连接类型，例如有线通信链路、无线通信链路等等。

应该理解，图1中的相机11、激光雷达12、网络13、服务器14和终端设备15的数目仅仅是示意性的。根据实现需要，可以具有任意数目的相机11、激光雷达12、网络13、服务器14和终端设备15。比如服务器14云端服务器，且图1中的服务器14可以包括一台服务器、多台服务器组成的服务器集群、云计算平台和虚拟化中心中的至少一种。

以上述的***架构10应用在车辆上为例，则相机11可以为车载摄像机，相机11和激光雷达12可以安装于车辆的车头位置，如车身前侧用于采集车辆行使过程中车头前方道路以及道路两侧的二维图像和三维点云数据。

在本申请的一个实施例中，服务器14可以获取相机11采集的目标道路场景的二维图像，服务器14还可以获取三维扫描仪12采集的目标道路场景的点云数据，服务器14在获取到二维图像和三维点云后，可以利用二维图像和三维点云数据进行联合标定，具体的标定过程如下：

服务器14获取选自点云数据以及与点云数据对应的二维图像中的M组同名点对，以及获取M组同名点对的初始反投误差以及选自M组同名点对的同名点对集合，并对同名点对集合进行点对变化处理，如以增加、减少或替换等方式对同名点对集合进行点对变化处理得到目标同名点对，基于目标同名点对集合、M组同名点对中各同名点对对应的坐标以及采集二维图像的相机的内参和初始外参，获得M组同名点对的目标反投误差，以及基于M组同名点对的初始反投误差、目标反投误差、目标同名点对集合中各同名点对对应的坐标以及采集二维图像的相机的内参和初始外参，确定相机对应的目标外参。可以实现在标定过程中，基于目标反投误差和初始反投误差获取更优的同名点对集合，该更优的同名点对集合中的同名点对为M组同名点对中较优的同名点对，从而使基于更优的同名点集合获得的目标外参更准确。

需要说明的是，本申请实施例所提供的联合标定方法一般由服务器14执行，相应地，联合标定装置一般设置于服务器14中。但是，在本申请的其它实施例中，终端设备15也可以与服务器14具有相似的功能，从而执行本申请实施例所提供的联合标定方法。

以下对本申请实施例的技术方案的实现细节进行详细阐述：

图2示意性示出了根据本申请的一个实施例的联合标定方法的流程图，该联合标定方法的执行主体可以是服务器，比如可以是图1中所示的服务器104，也可以任意具有数据处理能力的终端设备。

参照图2所示，该联合标定方法至少包括步骤S110至步骤S130，详细介绍如下：

步骤S110：获取M组同名点对、M组同名点对的初始反投误差以及同名点对集合及。

M组同名点对选自点云数据以及与点云数据对应的二维图像，同名点对集合中包括的每组同名点对均属于M组同名点对，M为大于1的整数。

在获取M组同名点对以及同名点对集合前，可以先获取点云数据和点云数据对应的二维图像，以及从点云数据和对应的二维图像中确定M组同名点对。

获取点云数据和点云数据对应的二维图像的方式可以是：

若用于采集点云数据的激光雷达及采集二维图像的相机相对固定均处于静止状态（经、纬度和高程不会发生变化）且用于采集同一目标对应的数据时，则激光雷达对该目标进行数据采集得到的点云数据与二维图像对该目标进行数据采集得到的二维图像相对应。

若用于采集点云数据的激光雷达及采集二维图像的相机相对固定但处于随车辆或无人机等设备运动时，设备会采集自身运动时的轨迹数据，该轨迹数据由大量的轨迹点构成，每个轨迹点包括位置(经、纬度和高程)、姿态(航向角、俯仰角和横滚角)，以及对应的时间等信息。点云数据可以是基于设备的定位***采集的定位信息和激光雷达采集雷达点共同确定得到的，且点云数据中的每个点都具有绝对位置(经纬度和高程)以及每个点的反射强度。二维图像，是基于设备的相机采集的，每个二维图像在采集过程中会按照严格的时间记录下来。因此，可以根据设备采集二维图像、点云数据以及轨迹点共同确定点云数据和点云数据对应的二维图像。

获取M组同名点的方式可以有多种。

作为一种实施方式，可以将获取到的点云数据进行拟合，并将拟合后形成的图像和与点云数据对应的二维图像分别进行网格划分，针对拟合后形成的图形中的M个第一网格，将每个第一网格与二维图像中的各网格匹配，得到与各第一网格匹配的第二网格，并从各第一网格和与其匹配的第二网格中分别选取一个点得到一组同名点，且该组同名点中包括一个二维点和一个三维点如此，即可实现选取M组同名点。

作为另一种方式，还可以是将点云数据反投至与该点云数据对应的二维图像中得到一底图，并从底图中选取M组同名点。

其中，从底图中选取M组同名点的方式可以是基于用户的操作从底图中选取M组同名点。

请参阅图3，在该种方式下步骤S110具体可以包括以下步骤：

步骤S112：获取点云数据及与点云数据对应的二维图像。

关于获取点云数据及与点云数据对应的二维图像可以参阅前文的具体描述，此处不再做具体赘述。

步骤S114：将点云数据反投至二维图像，得到底图。

其中，将点云数据反投至二维图像的方式具体可以是，基于相机的内参和初始外参建立的坐标转换函数将点云数据中的各三维点进行坐标转换，得到与点云数据中的每个点对应的二维点，并在二维图像中将坐标转换得到的二维点进行标记得到底图。

步骤S116：基于底图选取M组同名点对。

其中，每组同名点对包括二维图像中的一个二维点和点云数据中的一个三维点，每组同名点对对应的坐标包括二维图像中的一个二维点对应的二维坐标和点云数据中的一个三维点对应的三维坐标。

基于底图选取M组同名点对的方式可以时基于底图中的转换得到的二维点进行拟合得到的图像与二维图像中的图像选取M组同名点对。

作为又一种方式，还可以是，将点云数据中的各三维点进行坐标转换，得到一转换后的图像，并根据转换后的图像和二维图像选取多个同名点对。

其中，根据转换后的图像和二维图像选取M个同名点对的方式可以是，将转换后的图像进行网格划分得到多个第三网格图像，以及将二维图像进行网格划分得到第四网格图像，并从多个网格图像中选取M个第三网格图像，并将选取的每个第三网格图像分别与各第四网格图像进行匹配，得到与选取的每个第三网格匹配的第四网格，并从选取的各第三网格和与其匹配的第四网格中分别选取一个点得到一组同名点。

获取M组同名点对的初始反投误差的方式可以有多种。

作为一种实施方式，可以是基于M组同名点对中每组同名点对对应的坐标以及采集二维图像的相机的初始外参和内参，计算同名点对集合中的每组同名点对的反投误差；将M组同名点对中的每组同名点对的反投误差进行均值计算，得到初始反投误差。

作为另一种实施方式，也可以是，基于M组同名点对中每组同名点对对应的坐标以及采集二维图像的相机的初始外参和内参，计算同名点对集合中的每组同名点对的反投误差；将M组同名点对中的每组同名点对的反投误差进行累加，得到初始反投误差。

需要说明的是，上述两种方式中，每组同名点对对应的坐标包括二维图像中的一个二维点对应的二维坐标和点云数据中的一个三维点对应的三维坐标。

基于M组同名点对中每组同名点对对应的坐标以及采集二维图像的相机的初始外参和内参，计算同名点对集合中的每组同名点对的反投误差的方式具体可以是：基于采集二维图像的相机的初始外参和内参构建坐标转换函数，针对M组同名点对中每组同名点对，将该组同名点对对应的坐标中的三维坐标代入至坐标转换函数进行坐标转换，得到该三维坐标转换得到的第一转换坐标（该第一转换坐标为一个二维坐标），并将第一转换坐标和与该三维坐标对应的二维坐标利用距离计算式进行计算，如此可以得到与每组同名点对对应的反投误差。

基于M组同名点对中每组同名点对对应的坐标以及采集二维图像的相机的初始外参和内参，计算同名点对集合中的每组同名点对的反投误差的方式还可以是：基于采集二维图像的相机的初始外参和内参构建坐标转换函数，针对M组同名点对中每组同名点对，将该组同名点对对应的坐标中的二维坐标代入至坐标转换函数进行坐标转换，得到该二维坐标转换得到的第二转换坐标（该第二转换坐标为一个三维坐标），并将第二转换坐标和与该二维坐标对应的三维坐标利用距离计算式进行计算，如此可以得到与每组同名点对对应的反投误差。

获取同名点对集合的方式可以是，从M组同名点对中选取至少一组同名点对，该至少一组同名点对构成的集合即为同名点对集合。

其中，从M组同名点对中选取至少一组同名点对的方式可以是采用随机选取的方式进行选取，也可以是对M组同名点对中的每组同名点对按照预设规则进行排序，并按照排序顺序选取至少一组同名点对。

步骤S120：基于M组同名点对，对同名点对集合进行点对变化处理，得到目标同名点对集合。

其中，对同名点对集合进行点对变化处理的方式可以有多种。

作为一种实施方式，可以是向同名点对集合中增加同名点对，应当理解，向同名点对集合中增加的点对来自于M组同名点对。

在该种方式下，向同名点对集合中增加同名点对的方式可以是向同名点对集合中随机增加一个或多个同名点对，也可以是按照一定的选取规则从M组同名点对中选取一个或多个同名点对，并增加至同名点对集合中。其中，上述的选取规则可以是基于同名点对的对应的反投误差确定。

作为另一种实施方式，也可以是从同名点对集合中减少同名点对。

在该种方式下，从同名点对集合中减少同名点对的方式可以是从同名点对集合中随机减少一个或多个同名点对，也可以是按照一定的选取规则从同名点对中选取一个或多个同名点对，并从同名点对集合中删除上述选取的一个或多个同名点对。其中，上述的选取规则可以是基于同名点对的对应的反投误差确定。

作为又一种实施方式，还可以是对同名点对集合中的一个或多个同名点对进行替换，其中，替换后的同名点对来自M组同名点对。上述的替换方式可以时随机替换，也可以是按照选取规则进行替换，例如，根据各组同名点对在初始外参下对应的反投误差的排序顺序进行替换。

作为再一种实施方式，还可以是向同名点对集合中随机增加同名点对或从同名点对集合中随机减少同名点对，且随机增加的同名点对来自M组同名点对。

在该种方式下，随机增加同名点对或随机减少同名点对的数量可以是一个也可以是多个。

步骤S130：基于目标同名点对集合、M组同名点对中各同名点对对应的坐标以及采集二维图像的相机的内参和初始外参，获得M组同名点对的目标反投误差。

其中，初始外参，可以是由相机被安装时的安装位置对应的机械参数获得，也可以基于M组同名点对中每组同名点对对应的坐标以及相机的内参获得。

各同名点对对应的坐标包括一个二维坐标和一个三维坐标，其中，二维坐标是指同名点对中的二维点对应在二维图像上的坐标，三维做标是指同名点对中的三维点对应在点云数据中的坐标。

作为一种方式，上述步骤S130可以是，利用目标同名点对集合以及采集二维图像的相机的内参，对初始外参进行优化处理，得到优化处理后的初始外参，基于M组同名点对中各同名点对对应的坐标、优化后处理后的初始外参以及相机的内参获得M组同名点对的反投误差。

在该种实施方式下，对初始外参进行优化的方式可以使用优化算法，上述的优化算法可以是顺序二次规划算法、梯度下降法或者拉格朗日乘子法等中的至少一种。

步骤S140：基于M组同名点对的初始反投误差、目标反投误差、目标同名点对集合中各同名点对对应的坐标以及采集二维图像的相机的内参和初始外参，确定相机对应的目标外参。

作为一种实施方式，上述步骤S140可以是，根据M组同名点对的初始反投误差、目标反投误差确定是否将确定是否将同名点对集合更新为目标同名点对集合，并在确定更新为目标同名点对集合时，基于目标同名点对集合中各同名点对对应的坐标以及采集二维图像的相机的内参利用优化算法对初始外参进行优化处理，确定相机对应的目标外参。

在该种方式下，若确定不将同名点对集合更新为目标同名点对集合时，可以返回步骤S120，以达到使目标同名点对集合相比于获取的同名点对集合而言更优，从而使基于目标同名点对集合确定的目标外参更准确。

通过采用本申请提供的一种联合标定方法，可以对同名点对集合进行点对变化处理，得到目标同名点对集合；基于目标同名点对集合、采集二维图像的相机的内参和初始外参，获得M组同名点对的目标反投误差；基于初始反投误差、目标反投误差，确定相机对应的目标外参。进而可以实现在标定过程中，基于初始反投误差和目标反投误差优化同名点对集合，即使通同名点对集合中的同名点对为M组同名点对中最优的，从而使得根据优化后的同名点对集合获得的目标外参为最优外参。

请参阅图4，本申请另一实施例提供了一种联合标定方法，方法包括以下步骤：

步骤S210：获取M组同名点对、M组同名点对的初始反投误差以及同名点对集合。

其中，M组同名点对选自点云数据以及与点云数据对应的二维图像，同名点对集合中包括的每组同名点对均属于M组同名点对，M为大于1的整数。

步骤S220：基于M组同名点对，对同名点对集合进行点对变化处理，得到目标同名点对集合。

步骤S230：基于目标同名点对集合中各同名点对对应的坐标以及采集二维图像的相机的内参，利用预设优化算法对初始外参进行优化处理，得到处理后的初始外参。

其中，上述的预设优化算法可以是顺序二次规划算法、梯度下降法、牛顿法、萤火虫算法、群蚁算法等中的一种或多种。

请参阅图5，作为另一种实施方式，步骤S230包括：

步骤S232：基于采集二维图像的相机的内参和初始外参，构建坐标转换函数。

作为一种实施方式，上述步骤S232具体可以是，基于采集二维图像的相机的内参构建内参矩阵，基于采集所述二维图像的相机的初始外参构建外参矩阵，以及基于所述内参矩阵和所述外参矩阵构建关于所述同名点对中的二维坐标与三维坐标之间的坐标转换函数。

其中， k为内参矩阵，且

，r为旋转矩阵，且

，t为平移向量，且

，且rt共同构成外参矩阵。坐标转换函数为

，

为二维点，且

，

为对应的三维点，且

，该坐标转换函数满足

，其中，s为二维图像尺度，u为同名点对中的二维点横坐标，v为同名点对中的二维点纵坐标，

为相机的横向焦距，

为相机的纵向焦距，

为图像中心点横坐标，

为图像中心点纵坐标，

为x轴平移向量，

为y轴平移向量，

为z轴平移向量，

为同名点对中的三维点的x轴坐标，

为同名点对中的三维点的y轴坐标，

为同名点对中的三维点的z轴坐标。

步骤S234：将目标同名点对集合中的所有同名点对对应的坐标分别代入至坐标转换函数得到坐标转换计算式。

应当理解，每组同名点对的对应的坐标包括该组同名点对中的二维点和三维点分别对应的二维坐标和三维坐标。

步骤S236：利用顺序二次规划算法对坐标转换计算式中的初始外参进行带约束优化，得到处理后的初始外参。

其中，上述的带约束优化可以指，初始外参对应有预先设定的取值范围，即优化过程中或优化得到处理后的初始外参的取值均在该预先设定的取值范围内。

通过将目标同名点对集合中的每组同名点对对应的二维点和三维点分别代入至坐标转换函数后，可以使得坐标转换函数中的u、v、

、

以及

均为已知量，并利用顺序二次规划算法对r和t进行带约束优化，可以使优化处理后的初始外参对目标同名点对集合中的标定更准确。

步骤S240：根据处理后的初始外参、M组同名点对中各同名点对对应的坐标以及内参，获得处理后的初始外参对应的目标反投误差。

其中，上述步骤S240具体可以是，基于处理后的初始外参和内参构建坐标转换函数，应当理解，并将M组同名点对中各同名点对对应的分别坐标入至该坐标转换函数，以得到各同名点对对应的反投误差，并将各同名点对对应的反投误差进行累加或求取均值，得到处理后的初始外参对应的目标反投误差。

步骤S250：根据目标反投误差和初始反投误差确定是否将同名点对集合更新为目标同名点对集合。

其中，上述确定是否将同名点对集合更新为目标同名点对集合的方式可以有多种。

作为一种实施方式，可以是在目标反投误差与初始反投误差之间的差值大于预设阈值时，将同名点对集合更新为目标同名点对集合。在目标反投误差与初始反投误差之间的差值小于或等于预设阈值时，不进行更新。

在该种方式下，预设阈值可以是0或者0.01等常数。

作为另一种实施方式，还可以是在目标反投误差与初始反投误差之间的差值以及更新次数共同确定是否将同名点对集合更新为目标同名点对集合。

请参阅图6，在该种方式下，上述步骤S250包括以下步骤：

步骤S252：将目标反投误差与初始反投误差进行比较。

步骤S254：若目标反投误差小于初始反投误差，则确定将同名点对集合更新为目标同名点对集合。

步骤S256：若目标反投误差大于初始反投误差，则根据初始反投误差以及目标反投误差获得接受概率，根据接受概率确定是否将同名点对集合更新为目标同名点对集合。

其中，根据初始反投误差以及目标反投误差获得接受概率的方式可以有多种。

作为一种实施方式，可以是，根据初始反投误差与目标反投误差之间的差值和差值与接受概率之间的预设对应关系获取一接受概率，且预设对应关系中存储有多个差值范围内和每个差值范围分别对应的接收概率。

作为另一种实施方式，还可以是，根据对同名点对集合进行处理的次数、初始反投误差、目标反投误差、目标同名点对集合中包括的同名点对的数量利用退火算法进行计算，得到一接受概率。

在该种实施方式下，上述步骤S256具体包括：根据对同名点对集合进行处理的次数、初始反投误差、目标反投误差、目标同名点对集合中包括的同名点对的数量进行概率计算，得到接受概率。

在进行概率计算得到接受概率时，具体可以是，根据对同名点对集合进行处理的次数、初始反投误差、目标反投误差、目标同名点对集合中包括的同名点对的数量利用预设概率计算式进行计算，得到接受概率，预设概率计算式为

，

为初始反投误差，

为目标反投误差，

，

为预设常数，

为0-1之间的常数，

为对同名点对集合进行点对变化处理的次数，

为目标同名点对集合中包括的同名点对的数量。

其中，T指退火温度，由于

为0-1之间的常数，

为对同名点对集合进行点对变化处理的次数，

为目标同名点对集合中包括的同名点对的数量，因此，随着

逐渐增大，T会逐渐减小，从而实现在迭代开始期间，可以按照一定的概率接受反投概率误差变大，保证优化不陷入局部最优。随着不断迭代下去，退火温度逐渐降低，接受反投误差变大的概率越来越低，同名点对集合中包括的同名点对逐渐收敛到全局最优处（即，逐渐使目标同名点对集合中包括的同名点对成为M组同名点对中最优的同名点对），相应的，在对同名点对集合进行点对变化处理的次数达到预设次数并在确定目标同名点对集合之后，目标同名点对集合中包括的同名点对即可视为M组同名点对中的最优的同名点对。

应当理解，上述的预设次数可以是但不限于5次、10次、20次或50次等，也可以是根据M、每次进行点对变化处理的点对数量以及首次获取到的同名点对集合中的同名点对的数量进行设置。

作为一种实施方式，若每次进行点对变化处理的点对数量为一个，且首次获取的同名点对集合中的同名点为M/2时，则预设次数可以是M/2。

若确定更新，则执行步骤S260：将同名点对集合更新为目标同名点对集合，将处理后的初始外参作为新的初始外参，以及将目标反投误差作为新的初始反投误差，并返回步骤S220，直至对同名点对集合进行点对变化处理处理的次数达到预设次数时，将处理后的初始外参作为相机对应的目标外参。

若确定不更新，则返回执行步骤S220，直至对同名点对集合进行点对变化处理处理的次数达到预设次数时，将处理后的初始外参作为相机对应的目标外参。

请结合参阅图7所示，图7示出了进行点对变化处理前后获得的初始反投误差与目标反投误差之间的差值变化示意图。在执行步骤S210至步骤S260，并循环执行步骤S220至S260达到预设次数的过程中，随着对同名点对集合不断进行点对变化处理的过程中，每次进行点对变化处理前后的对应的初始外参会逐渐趋于一致，相应的，初始反投误差与目标反投误差之间的差值会由最开始就有较大波动至逐渐减小收敛。

同样的，请结合图8和图9所示，图8中的左图（a）示出了M组同名点对d的示意图，图8中的右图(b)示出了目标同名点对集合的中包括的同名点对e的意图。图9示出了目标同名点对集合中点对数量的变化示意图。由于M组同名点对中通常有大量的同名点对均为最优同名点对，若采用向同名点对集合中随机增加或减少同名点对时，会将同名点对集合中不是最优的同名点对逐渐剔除，以及将M同名点对中不属于同名点对集合中的最优同名点对，逐渐加入至同名点对集合中，随着对同名点对集合不断进行点对变化处理的过程中，每次进行点对变化处理前后的对应的初始外参会逐渐趋于一致，M组同名点对中的最优同名点对也逐渐加入至同名点对集合得到目标同名点对集合，以使在点对变化处理过程中目标同名点对集合中的同名点对的数量也会逐渐趋于平稳。

本申请实施例提供的一种联合标定方法，通过对同名点对集合进行点对变化处理，得到目标同名点对集合；利用预设优化算法对初始外参进行优化处理，得到处理后的初始外参；根据处理后的初始外参获得处理后的初始外参对应的目标反投误差。根据目标反投误差和初始反投误差确定是否将同名点对集合更新为目标同名点对集合；若确定更新，则将同名点对集合更新为目标同名点对集合，将处理后的初始外参作为新的初始外参，以及将目标反投误差作为新的初始反投误差，并返回执行对同名点对集合进行点对变化处理，得到目标同名点对集合的步骤，直至对同名点对集合进行点对变化处理处理的次数达到预设次数时，将处理后的初始外参作为相机对应的目标外参。可以实现在标定过程中，基于每次对同名点对集合进行点对变化处理前后获得的初始反投误差和目标反投误差对同名点对集合进行更新，以逐渐优化目标同名点对集合，使最终获得的目标同名点对集合中包括的同名点对为M组同名点对中最优的同名点对，进而使基于目标同名点对集合获得的目标外参更准确。

本申请又一实施例提供了一种联合标定方法，用于对车辆上设置的相机的外参进行标定，该车辆包括车身、相机和激光雷达，相机和激光雷达设置于车身前侧，用于采集车辆行进方向上的二维图像和点云数据。如图10所示是相机采集到的二维图像，例如，图中g表示的是指示牌的二维图像，如图11所示是激光雷达采集到的与二维图像对应的点云数据的示意图，例如，图中h表示的是指示牌的点云数据的示意图。请参阅图12本实施例提供的一种相机标定方法具体包括以下步骤：

步骤S301：获取点云数据及与点云数据对应的二维图像。

步骤S302：将点云数据反投至二维图像，得到底图。

如图13所示，是将图11中的点云数据反投至图10中的二维图像得到的底图。例如，以图13中的指示牌为例，j1表示的是指示牌对应的点云数据反投至二维图像中得到的图像。其中，将点云数据反投至二维图像的方式具体可以使依据相机的内参和初始外参建立的坐标转换函数进行反投。

步骤S303：基于底图选取M组同名点对，并基于M组同名点对确定同名点对集合。

其中，每组同名点对包括二维图像中的一个二维点和点云数据中的一个三维点，每组同名点对对应的坐标包括二维图像中的一个二维点对应的二维坐标和点云数据中的一个三维点对应的三维坐标，同名点对集合中包括的同名点对属于M组同名点对。

步骤S304：基于M组同名点对中每组同名点对对应的坐标以及采集二维图像的相机的初始外参和内参，计算同名点对集合中的每组同名点对的反投误差。

步骤S305：将M组同名点对中的每组同名点对的反投误差进行均值计算，得到初始反投误差。

步骤S306：基于M组同名点对，向同名点对集合中随机增加同名点对或从同名点对集合中随机减少同名点对，得到目标同名点对集合。

其中，向同名点对集合中增加的同名点对属于M组同名点对。

步骤S307：基于目标同名点对集合中各同名点对对应的坐标以及采集二维图像的相机的内参，利用预设优化算法对初始外参进行优化处理，得到处理后的初始外参。

其中，上述步骤S307具体可以是，基于采集二维图像的相机的内参和初始外参，构建坐标转换函数；将目标同名点对集合中的所有同名点对对应的坐标分别代入至坐标转换函数得到坐标转换计算式；利用顺序二次规划算法对坐标转换计算式中的初始外参进行带约束优化，得到处理后的初始外参。

其中，坐标转换函数为

，k为内参矩阵，且

，r为旋转矩阵，且

，t为平移向量，且

，m2d为二维点，且

，m3d为对应的三维点，且

，该坐标转换函数满足

，其中，s为二维图像尺度，u为同名点对中的二维点横坐标，

为同名点对中的二维点纵坐标，

为相机的横向焦距，

为相机的纵向焦距，

为图像中心点横坐标，

为图像中心点纵坐标，

为x轴平移向量，

为y轴平移向量，

为z轴平移向量，

为同名点对中的三维点的x轴坐标，

为同名点对中的三维点的y轴坐标，

为同名点对中的三维点的z轴坐标。

步骤S308：根据处理后的初始外参、M组同名点对中各同名点对对应的坐标以及内参，获得处理后的初始外参对应的目标反投误差。

上述步骤S308具体可以是，基于处理后的初始外参、坐标转换函数、M组同名点对中的各同名点对对应的坐标以及内参，计算与处理后的初始外参对应的反投误差。

步骤S309：根据目标反投误差和初始反投误差确定是否将同名点对集合更新为目标同名点对集合。

其中，上述步骤S309具体可以是：将目标反投误差与初始反投误差进行比较；若目标反投误差小于初始反投误差，则确定将同名点对集合更新为目标同名点对集合；若目标反投误差大于初始反投误差，则根据对同名点对集合进行处理的次数、初始反投误差、目标反投误差、目标同名点对集合中包括的同名点对的数量利用预设概率计算式进行计算，得到接受概率，预设概率计算式为

，

为初始反投误差，

为目标反投误差，

，

为预设常数，

为0-1之间的常数，

为对同名点对集合进行点对变化处理的次数，

为目标同名点对集合中包括的同名点对的数量。在得到接受概率之后，根据接受概率确定是否将同名点对集合更新为目标同名点对集合。

若确定更新，则执行步骤S310：将同名点对集合更新为目标同名点对集合，将处理后的初始外参作为新的初始外参，以及将目标反投误差作为新的初始反投误差，并返回步骤S306，直至对同名点对集合进行点对变化处理处理的次数达到预设次数时，将处理后的初始外参作为相机对应的目标外参。

若确定不更新，则返回步骤S306，直至对同名点对集合进行点对变化处理处理的次数达到预设次数时，将处理后的初始外参作为相机对应的目标外参。

如图14所示，图中的j2是基于相机内参和目标外参将如图11所示的指示牌图像对应的点云数据反投至二维图像得到的另一底图。具体的反投过程是基于相机的内参和目标外参建立坐标转换函数，并将点云数据中的各三维坐标分别代入至坐标转换函数中进行转换得到二维坐标，并将转换得到的各二维坐标在二维图像中进行显示得到如图14所示的底图，且如图14中的j2和g所示，指示牌对应的点云数据对应反投的点几乎完全位于图2中的指示牌的二维图像上。

分析比对图13中j1与g之间的位置关系和图14中的j2与g之间的位置关系可知，通过采用本申请的联合标定方法，可以实现在标定过程中，基于每次对同名点对集合进行点对变化处理前后获得的初始反投误差和目标反投误差对同名点对集合进行更新，以逐渐优化目标同名点对集合，使最终获得的目标同名点对集合中包括的同名点对为M组同名点对中最优的同名点对，进而使基于目标同名点对集合获得的目标外参更准确。

请参阅图15，本申请提供了一种联合标定装置400，包括数据获取模块410、点对变化模块420、目标误差获得模块430以及目标外参获得模块440。

数据获取模块410，用于获取M组同名点对、M组同名点对的初始反投误差以及同名点对集合.

其中，M组同名点对选自点云数据以及与点云数据对应的二维图像，同名点对集合中包括的每组同名点对均属于M组同名点对，M为大于1的整数。

请参阅图16，作为一种实施方式，数据获取模块410包括数据获取子模块411、底图获得子模块412以及同名点获取子模块413。

数据获取子模块411，用于获取点云数据及与点云数据对应的二维图像。

底图获得子模块412，用于将点云数据反投至二维图像，得到底图。

同名点获取子模块413，用于基于底图选取M组同名点对，每组同名点对包括二维图像中的一个二维点和点云数据中的一个三维点，每组同名点对对应的坐标包括二维图像中的一个二维点对应的二维坐标和点云数据中的一个三维点对应的三维坐标。

作为一种实施方式，数据获取模块410还包括：计算子模块415以及初始反投误差获得子模块416。

计算子模块415，用于基于M组同名点对中每组同名点对对应的坐标以及采集二维图像的相机的初始外参和内参，计算同名点对集合中的每组同名点对的反投误差。

初始反投误差获得子模块416，用于将M组同名点对中的每组同名点对的反投误差进行均值计算，得到初始反投误差。

点对变化模块420，用于基于M组同名点对，对同名点对集合进行点对变化处理，得到目标同名点对集合。

作为一种实施方式，点对变化模块420还用于基于M组同名点对，向同名点对集合中随机增加同名点对或从同名点对集合中随机减少同名点对，得到目标同名点对集合，向同名点对集合中增加的同名点对属于M组同名点对。

目标误差获得模块430，用于基于目标同名点对集合、M组同名点对中各同名点对对应的坐标以及采集二维图像的相机的内参和初始外参，获得M组同名点对的目标反投误差。

请参阅图17，作为一种实施方式，目标误差获得模块430包括：优化处理子模块432以及目标反投误差获得子模块434。

优化处理子模块432，用于基于目标同名点对集合中各同名点对对应的坐标以及采集二维图像的相机的内参，利用预设优化算法对初始外参进行优化处理，得到处理后的初始外参。

目标反投误差获得子模块434，用于根据处理后的初始外参、M组同名点对中各同名点对对应的坐标以及内参，获得处理后的初始外参对应的目标反投误差。

作为一种实施方式，目标反投误差获得子模块434包括函数构建单元、计算式获得单元以及优化单元。

函数构建单元，用于基于采集二维图像的相机的内参和初始外参，构建坐标转换函数。

计算式获得单元，用于将目标同名点对集合中的所有同名点对对应的坐标分别代入至坐标转换函数得到坐标转换计算式。

优化单元，用于利用顺序二次规划算法对坐标转换计算式中的初始外参进行带约束优化，得到处理后的初始外参。

作为一种实施方式，函数构建单元具体用于，基于采集所述二维图像的相机的内参构建内参矩阵；基于采集所述二维图像的相机的初始外参构建外参矩阵；基于所述内参矩阵和所述外参矩阵构建关于所述同名点对中的二维坐标与三维坐标之间的坐标转换函数。

在该种方式下，坐标转换函数为

，k为内参矩阵，且

，r为旋转矩阵，且

，t为平移向量，且

，m2d为二维点，且

，m3d为对应的三维点，且

，该坐标转换函数满足

，其中，s为二维图像尺度，u为同名点对中的二维点横坐标，

为同名点对中的二维点纵坐标，

为相机的横向焦距，

为相机的纵向焦距，

为图像中心点横坐标，

为图像中心点纵坐标，

为x轴平移向量，

为y轴平移向量，

为z轴平移向量，

为同名点对中的三维点的x轴坐标，

为同名点对中的三维点的y轴坐标，

为同名点对中的三维点的z轴坐标。

目标外参获得模块440，用于基于M组同名点对的初始反投误差、目标反投误差、目标同名点对集合中各同名点对对应的坐标以及采集二维图像的相机的内参和初始外参，确定相机对应的目标外参。

请参阅图18，作为一种实施方式，目标外参获得模块440包括更新确定子模块442以及目标外参获得子模块444。

更新确定子模块442，用于根据目标反投误差和初始反投误差确定是否将同名点对集合更新为目标同名点对集合。

目标外参获得子模块444，用于在确定将同名点对集合更新为目标同名点对集合时，将同名点对集合更新为目标同名点对集合，将处理后的初始外参作为新的初始外参，以及将目标反投误差作为新的初始反投误差，并在确定对同名点对集合进行点对变化处理处理的次数达到预设次数时，将处理后的初始外参作为相机对应的目标外参。

作为一种实施方式，更新确定子模块442包括比较单元以及更新确定单元。

比较单元，用于将目标反投误差与初始反投误差进行比较。

更新确定单元，用于在目标反投误差不大于初始反投误差时，确定将同名点对集合更新为目标同名点对集合。以及在目标反投误差大于初始反投误差时，根据初始反投误差以及目标反投误差获得接受概率，根据接受概率确定是否将同名点对集合更新为目标同名点对集合。

作为一种实施方式，更新确定单元还用于根据对同名点对集合进行处理的次数、初始反投误差、目标反投误差、目标同名点对集合中包括的同名点对的数量利用预设概率计算式进行计算，得到接受概率，预设概率计算式为

，

为初始反投误差，

为目标反投误差，

，

为预设常数，

为0-1之间的常数，

为对同名点对集合进行点对变化处理的次数，

为目标同名点对集合中包括的同名点对的数量。

需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。

下面将结合图19对本申请提供的一种电子设备进行说明。

请参阅图19，基于上述实施例提供的联合标定方法，本申请实施例还提供的另一种包括可以执行前述方法电子设备100，该电子设备100可以为服务器或终端设备，终端设备可以是智能手机、平板电脑、计算机或者便携式计算机等设备。作为一种方式，电子设备100可以是如图1所示的服务器14或终端设备15。

电子设备100包括处理器102和存储器104。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。

其中，处理器102可以包括一个或者多个用于处理数据的核以及消息矩阵单元。处理器102利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器102可以采用数字信号处理（DigitalSignal Processing，DSP）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。处理器102可集成中央处理器（Central Processing Unit，CPU）、图像处理器（GraphicsProcessing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。

存储器104可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令等。存储数据区还可以存储电子设备100在使用中所获取的数据（如，二维图像、点云数据以及同名点对等）等。

电子设备100还可以包括网络模块以及屏幕，网络模块用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。网络模块可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块（SIM）卡、存储器等等。网络模块可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。屏幕可以进行界面内容的显示以及进行数据交互。

电子设备100还可以包括网络模块以及屏幕，网络模块用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。网络模块可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块（SIM）卡、存储器等等。网络模块可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。屏幕可以进行界面内容的显示以及进行数据交互。

在一些实施例中，电子设备100还可以包括有：外设接口和至少一个***设备。处理器102、存储器104和外设接口106之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与外设接口连接。具体地，***设备包括：射频组件108、定位组件112、摄像头114、音频组件116以及显示屏118等中的至少一种

外设接口106可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器102和存储器104。在一些实施例中，处理器102、存储器104和外设接口106被集成在同一芯片或电路板上；在一些其他实施例中，处理器102、存储器104和外设接口106中的任意一个或两个可以在单独的芯片或电路板上实现，本申请实施例对此不加以限定。

射频组件108用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频组件108通过电磁信号与通信网络以及其他通信设备进行通信。射频组件108将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频组件108包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频组件108可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频组件108还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

定位组件112用于定位电子设备的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件112可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件，等等。

摄像头114用于采集图像或视频。可选地，摄像头114包括前置摄像头和后置摄像头。通常，前置摄像头设置在电子设备100的前面板，后置摄像头设置在电子设备100的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头114还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频组件116可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器102进行处理，或者输入至射频组件108以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器102或射频组件108的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频组件114还可以包括耳机插孔。

显示屏118用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏118是触摸显示屏时，显示屏118还具有采集在显示屏118的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器102进行处理。此时，显示屏118还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏118可以为一个，设置电子设备100的前面板；在另一些实施例中，显示屏118可以为至少两个，分别设置在电子设备100的不同表面或呈折叠设计；在又一些实施例中，显示屏118可以是柔性显示屏，设置在电子设备100的弯曲表面上或折叠面上。甚至，显示屏118还可以设置成非矩形的不规则图形，也即异形屏。显示屏118可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，机发光二极管)等材质制备。

请参阅图20，本申请实施例还提供一种车辆500，该车辆500可以包括相机510和激光雷达520，相机510用于采集二维图像；激光雷达520用于采集点云数据。相机510和激光雷达520可以设置于车身530的车顶位置，也可以设置于车身530的头部。车辆500还可以包括存储器以及一个或多个处理器，处理器与相机510和激光雷达520分别连接；一个或多个程序，其中一个或多个程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述方法实施例中所描述的方法。

本申请实施例还提供一种计算机可读存储介质。该计算机可读介质中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质可以是诸如闪存、EEPROM（电可擦除可编程只读存储器）、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质包括非易失性计算机可读介质（non-transitory computer-readable storage medium）。计算机可读存储介质具有执行上述方法中的任何方法步骤的程序代码的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码可以例如以适当形式进行压缩。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中描述的方法。

综上，本申请提供的一种联合标定方法、装置、设备、车辆以及存储介质，通过对同名点对集合进行点对变化处理，得到目标同名点对集合；基于目标同名点对集合、M组同名点对中各同名点对对应的坐标以及采集二维图像的相机的内参和初始外参，获得M组同名点对的目标反投误差；基于M组同名点对的初始反投误差、目标反投误差、目标同名点对集合中各同名点对对应的坐标以及采集二维图像的相机的内参和初始外参，确定相机对应的目标外参。可以实现在标定过程中，基于初始反投误差和目标反投误差对同名点对集合进行优化，使进行优化得到的目标同名点对集合中的同名点对为M组同名点对中较优的同名点对，从而使基于目标同名点对集合获得的目标外参更准确。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种联合标定方法，其特征在于，所述方法包括：

获取M组同名点对、所述M组同名点对的初始反投误差以及同名点对集合，所述M组同名点对选自点云数据以及与所述点云数据对应的二维图像，所述同名点对集合中包括的每组同名点对均属于所述M组同名点对，M为大于1的整数；

基于所述M组同名点对，对所述同名点对集合进行点对变化处理，得到目标同名点对集合；

基于所述目标同名点对集合、所述M组同名点对中各同名点对对应的坐标以及采集所述二维图像的相机的内参和初始外参，获得所述M组同名点对的目标反投误差；

基于所述M组同名点对的初始反投误差、目标反投误差、所述目标同名点对集合中各同名点对对应的坐标以及采集所述二维图像的相机的内参和初始外参，确定所述相机对应的目标外参。

2.根据权利要求1所述的联合标定方法，其特征在于，所述基于所述目标同名点对集合、所述M组同名点对中各同名点对对应的坐标以及采集所述二维图像的相机的内参和初始外参，获得所述M组同名点对的目标反投误差，包括：

基于所述目标同名点对集合中各同名点对对应的坐标以及采集所述二维图像的相机的内参，利用预设优化算法对所述初始外参进行优化处理，得到处理后的初始外参；

根据处理后的初始外参、所述M组同名点对中各同名点对对应的坐标以及所述内参，获得处理后的初始外参对应的目标反投误差。

3.根据权利要求2所述的联合标定方法，其特征在于，所述基于所述M组同名点对的初始反投误差、目标反投误差、所述M组同名点对中各同名点对对应的坐标以及采集所述二维图像的相机的内参和初始外参，确定所述相机对应的目标外参，包括：

根据所述目标反投误差和所述初始反投误差确定是否将所述同名点对集合更新为所述目标同名点对集合；

若确定更新，则将所述同名点对集合更新为所述目标同名点对集合，将处理后的初始外参作为新的初始外参，以及将所述目标反投误差作为新的初始反投误差，并返回执行所述基于所述M组同名点对，对所述同名点对集合进行点对变化处理，得到目标同名点对集合的步骤，直至对所述同名点对集合进行点对变化处理处理的次数达到预设次数时，将处理后的初始外参作为所述相机对应的目标外参。

4.根据权利要求3所述的联合标定方法，其特征在于，所述基于所述M组同名点对的初始反投误差、目标反投误差、所述M组同名点对中各同名点对对应的坐标以及采集所述二维图像的相机的内参和初始外参，确定所述相机对应的目标外参，还包括：

若确定不更新，则返回执行所述基于所述M组同名点对，对所述同名点对集合进行点对变化处理，得到目标同名点对集合的步骤。

5.根据权利要求3所述的联合标定方法，其特征在于，根据所述目标反投误差和所述初始反投误差确定是否将所述同名点对集合更新为所述目标同名点对集合，包括：

将所述目标反投误差与所述初始反投误差进行比较；

若所述目标反投误差不大于所述初始反投误差，则确定将所述同名点对集合更新为所述目标同名点对集合；

若所述目标反投误差大于所述初始反投误差，则根据所述初始反投误差以及目标反投误差获得接受概率，根据所述接受概率确定是否将所述同名点对集合更新为所述目标同名点对集合。

6.根据权利要求5所述的联合标定方法，其特征在于，所述根据所述初始反投误差和目标反投误差获得接受概率，包括：

根据对所述同名点对集合进行处理的次数、所述初始反投误差、目标反投误差、目标同名点对集合中包括的同名点对的数量，进行概率计算，得到接受概率。

7.根据权利要求2所述的联合标定方法，其特征在于，基于所述目标同名点对集合中各同名点对对应的坐标以及采集所述二维图像的相机的内参，利用预设优化算法对所述初始外参进行优化处理，得到处理后的初始外参，包括：

基于采集所述二维图像的相机的内参和初始外参，构建坐标转换函数；

将所述目标同名点对集合中的所有同名点对对应的坐标分别代入至所述坐标转换函数得到坐标转换计算式；

利用顺序二次规划算法对所述坐标转换计算式中的初始外参进行带约束优化，得到处理后的初始外参。

8.根据权利要求7所述的联合标定方法，其特征在于，基于采集所述二维图像的相机的内参和初始外参，构建坐标转换函数，包括：

基于采集所述二维图像的相机的内参构建内参矩阵；

基于采集所述二维图像的相机的初始外参构建外参矩阵；

基于所述内参矩阵和所述外参矩阵构建关于所述同名点对中的二维坐标与三维坐标之间的坐标转换函数。

9.根据权利要求1至8中任意一项所述的联合标定方法，其特征在于，所述基于所述M组同名点对，对所述同名点对集合进行点对变化处理，得到目标同名点对集合，包括：

基于所述M组同名点对，向所述同名点对集合中随机增加同名点对或从同名点对集合中随机减少同名点对，得到目标同名点对集合，向所述同名点对集合中增加的同名点对属于所述M组同名点对。

10.根据权利要求1至8中任意一项所述的联合标定方法，其特征在于，获取所述M组同名点对的初始反投误差，包括：

基于所述M组同名点对中每组同名点对对应的坐标以及采集所述二维图像的相机的初始外参和内参，计算所述同名点对集合中的每组同名点对的反投误差；

将所述M组同名点对中的每组同名点对的反投误差进行均值计算，得到初始反投误差。

11.根据权利要求1至8中任意一项所述的联合标定方法，其特征在于，获取M组同名点，包括：

获取点云数据及与所述点云数据对应的二维图像；

将所述点云数据反投至所述二维图像，得到底图；

基于所述底图选取M组同名点对，每组同名点对包括所述二维图像中的一个二维点和所述点云数据中的一个三维点，每组同名点对对应的坐标包括所述二维图像中的一个二维点对应的二维坐标和所述点云数据中的一个三维点对应的三维坐标。

12.一种联合标定装置，其特征在于，所述装置包括：

数据获取模块，用于获取M组同名点对、所述M组同名点对的初始反投误差以及同名点对集合，所述M组同名点对选自点云数据以及与所述点云数据对应的二维图像，所述同名点对集合中包括的每组同名点对均属于所述M组同名点对，M为大于1的整数；

点对变化模块，用于基于所述M组同名点对，对所述同名点对集合进行点对变化处理，得到目标同名点对集合；

目标误差获得模块，用于基于所述目标同名点对集合、所述M组同名点对中各同名点对对应的坐标以及采集所述二维图像的相机的内参和初始外参，获得所述M组同名点对的目标反投误差；

目标外参获得模块，用于基于所述M组同名点对的初始反投误差、目标反投误差、所述目标同名点对集合中各同名点对对应的坐标以及采集所述二维图像的相机的内参和初始外参，确定所述相机对应的目标外参。

13.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-11中任意一项所述的方法。

14.一种车辆，其特征在于，包括：

存储器；

相机，所述相机用于采集二维图像；

激光雷达，所述激光雷达用于采集点云数据；

一个或多个处理器，所述处理器与所述相机和激光雷达分别连接；

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-11中任意一项所述的方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-11中任意一项所述的方法。

Images