CN109523597A - 相机外参的标定方法和装置 - Google Patents

Abstract

本申请公开了相机外参的标定方法和装置。该相机外参的标定方法的一具体实施方式包括：获取待标定的两个相机采集的同一场景的图像对；从图像对的两幅图像中分别提取多对互相匹配的特征点对，其中互相匹配的特征点对的两个特征点分别为同一三维空间点在对应两幅图像中的像；利用已获取的两个相机间的外部参数将每对特征点对反投影至三维空间之后，再重投影至图像对的两幅图像中，将得到的投影点分别与对应的原特征点进行位置比对，并根据比对结果对外部参数进行修正，得到外部参数的修正结果。该实施方式能够提升标定效率。

Description

相机外参的标定方法和装置

技术领域

本申请涉及图像处理技术领域，具体涉及技术领域，尤其涉及相机外参的标定方法和装置。

背景技术

在计算机视觉技术领域，为了获得理想的三维效果或大场景、多视角的图像信息，需要对进行图像采集的多个相机之间的相对位置和姿态进行标定。现有的相机间的相对位姿参数标定方法通常需采用标定物在定制的标定空间或特定的标定场景中，提取标定物或已知位置的特征点进行匹配，进而利用相应的立体标定原理进行相机的标定。然而这种标定方式步骤繁琐，需要人工配合来改变标定物的姿态，对标定条件的限制较多，标定效率有待提升。

发明内容

为了解决上述一个或多个技术问题，本申请实施例提供了相机外参的标定方法和装置。

一方面，本申请实施例提供了一种相机外参的标定方法，包括：获取待标定的两个相机采集的同一场景的图像对；从图像对的两幅图像中分别提取出多对互相匹配的特征点对，其中，互相匹配的特征点对的两个特征点分别为同一三维空间点在对应两幅图像中的像；利用已获取的两个相机间的外部参数将每对特征点对反投影至三维空间之后，再重投影至图像对的两幅图像中，将得到的投影点分别与对应的原特征点进行位置比对，并根据比对结果对外部参数进行修正，得到外部参数的修正结果；根据外部参数的修正结果标定两个相机的相对外部参数。

在一些实施例中，上述利用已获取的两个相机间的外部参数将每对特征点对反投影至三维空间之后，再重投影至图像对的两幅图像中，将得到的投影点分别与对应的原特征点进行位置比对，并根据比对结果对外部参数进行修正，得到外部参数的修正结果，包括：迭代调整两个相机间的外部参数，以使基于调整外部参数之后的各投影点对与对应的各特征点对的位置达到预设的匹配状态；使用迭代调整的调整量对已获取的两个相机间的外部参数进行修正，以得到外部参数的修正结果。

在一些实施例中，上述迭代调整两个相机间的外部参数，以使基于调整外部参数之后的各投影点对与对应的各特征点对的位置达到预设的匹配状态，包括：将已获取的两个相机间的外部参数确定为初始的当前外部参数，执行误差估算步骤，误差估算步骤包括：基于各特征点对的位置坐标和当前外部参数，重建出与各特征点对匹配的三维空间点，基于当前外部参数将重建出的三维空间点反投影到图像对的两幅图像中，确定出图像对中与各特征点对对应的各投影点对的位置坐标，计算各投影点对与对应的各特征点对的位置坐标之间的误差，并基于特征点对序列中所有特征点对对应的误差构建能量函数，判断能量函数是否满足预设的收敛条件；响应于判断出能量函数不满足预设的收敛条件，基于所述能量函数沿当前外部参数的梯度方向调整当前外部参数，执行误差估算步骤；响应于判断出能量函数满足预设的收敛条件，确定各投影点对与对应的各特征点对的位置达到预设的匹配状态。

在一些实施例中，上述基于特征点对序列中所有特征点对对应的误差构建能量函数，包括：将特征点对序列中所有特征点对对应的误差累加，得出能量函数。

在一些实施例中，在利用已获取的两个相机间的外部参数将每对特征点对反投影至三维空间之后，再重投影至图像对的两幅图像中，将得到的投影点分别与对应的原特征点进行位置比对，并根据比对结果对外部参数进行修正，得到外部参数的修正结果之前，上述方法还包括：获取两个相机的外部参数，包括：获取测量得出的两个相机间的外部参数；或者将图像对投影至同一投影平面上，基于投影生成的图像对估算两个相机间的外部参数。

第二方面，本申请实施例提供了一种相机外参的标定装置，包括：第一获取单元，用于获取待标定的两个相机采集的同一场景的图像对；提取单元，用于从图像对的两幅图像中提取出多对互相匹配的特征点对，其中，互相匹配的特征点对的两个特征点分别为同一三维空间点在对应两幅图像中的像；修正单元，用于利用已获取的两个相机间的外部参数将每对特征点对反投影至三维空间之后，再重投影至图像对的两幅图像中，将得到的投影点分别与对应的原特征点进行位置比，并根据比对结果对外部参数进行修正，得到外部参数的修正结果。

在一些实施例中，上述修正单元进一步用于按照如下方式对外部参数进行修正，得到外部参数的修正结果：迭代调整两个相机间的外部参数，以使基于调整外部参数之后的各投影点对与对应的各特征点对的位置达到预设的匹配状态；使用迭代调整的调整量对已获取的两个相机间的外部参数进行修正，以得到外部参数的修正结果。

在一些实施例中，上述修正单元进一步用于按照如下方式迭代调整两个相机间的外部参数，以使基于调整外部参数之后的各投影点对与对应的各特征点对的位置达到预设的匹配状态：将已获取的两个相机间的外部参数确定为初始的当前外部参数，执行误差估算步骤，误差估算步骤包括：基于各特征点对的位置坐标和当前外部参数，重建出与各特征点对匹配的三维空间点，基于当前外部参数将重建出的三维空间点投影到图像对中，确定出图像对中与各特征点对对应的各投影点对的位置坐标，计算各投影点对与对应的各特征点对的位置坐标之间的误差，并基于特征点对序列中所有特征点对对应的误差构建能量函数，判断能量函数是否满足预设的收敛条件；响应于判断出能量函数不满足预设的收敛条件，基于能量函数沿当前外部参数的梯度方向调整当前外部参数，执行误差估算步骤；响应于判断出能量函数满足预设的收敛条件，确定各投影点对与对应的各特征点对的位置达到预设的匹配状态。

在一些实施例中，上述修正单元进一步用于按照如下方式构建能量函数：将特征点对序列中所有特征点对对应的误差累加，得出能量函数。

在一些实施例中，上述装置还包括第二获取单元，用于：在利用已获取的两个相机间的外部参数将每对特征点对反投影至三维空间之后，再重投影至图像对的两幅图像中，将得到的投影点分别与对应的原特征点进行位置比对，并根据比对结果对外部参数进行修正，得到外部参数的修正结果之前，获取两个相机的外部参数；第二获取单元具体用于：获取测量得出的两个相机间的外部参数；或者将图像对投影至同一投影平面上，基于投影生成的图像对估算两个相机间的外部参数。

第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述相机外参标定方法。

本申请提供的相机外参的标定方法和装置，通过获取待标定的两个相机采集的同一场景的图像对，随后从图像对的两幅图像中提取出多对互相匹配的特征点对其中，互相匹配的特征点对为同一三维空间点在对应两幅图像中的像，之后利用已获取的两个相机间的外部参数将每对特征点对反投影至三维空间之后，再重投影至图像对的两幅图像中，将得到的投影点分别与对应的原特征点进行位置比对，最后根据比对结果对外部参数进行修正，得到外部参数的修正结果，实现了基于自然场景对相机间的外部参数进行标定，无需限定标定物或标定环境，提升了标定效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性***架构图；

图2是根据本申请的相机外参标定方法的一个实施例的流程图；

图3是根据本申请的相机外参标定方法的另一个实施例的流程图；

图4是待标定的两个相机采集的图像对的图像平面与三维空间点的位置关系的示意图；

图5是本申请的相机外参标定装置的一个实施例的结构示意图；

图6是适于用来实现本申请实施例的终端设备或服务器的计算机***的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的相机外参标定方法或相机外参标定装置的实施例的示例性***架构100。

如图1所示，***架构100可以包括无人驾驶车辆101，设置于无人驾驶车辆101上的车载摄像头102和车载控制单元103、以及服务器104。无人驾驶车辆101上的车载摄像头102和车载控制单元103可以通过网络与服务器104连接，车载摄像头102也可以通过网络与车载控制单元103连接，这里的网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

无人驾驶车辆101上可以安装有多个的车载摄像头102，例如图1示出了分别安装在车前部和车身侧面的两个车载摄像头A和B。多个车载摄像头102可以采集无人驾驶车辆101行驶过程中的周边环境图像信息，并可以将采集到的图像信息发送至车载控制单元103或服务器104，以供车载控制单元103或服务器104对采集到的图像信息进行存储、分析等处理。车载摄像头A和B的位置和姿态可以不一致，二者的成像范围可以具有交叠。

车载控制单元103可以是“车载大脑”，例如为ECU(Electronic Control Unit，电子控制单元)，用于控制无人驾驶车辆101的各部件工作。车载控制大脑103可以对多个摄像头采集的图像信息进行处理，例如进行拼接生成道路全景图像。

服务器104可以是对无人驾驶车辆101的各部件采集的数据提供存储、分析、响应的服务器，例如对无人驾驶车辆101上的多个车载摄像头102采集的图像信息进行配准、特征提取、目标识别的数据处理服务器，数据处理服务器可以将处理的结果反馈给无人驾驶车辆101的车载控制单元。或者服务器104可以是例如对无人驾驶车辆101上的多个车载摄像头采集的图像信息进行存储以供故障分析和事故原因分析的存储服务器。

需要说明的是，本申请实施例所提供的相机外参的标定方法可以由车载控制单元103或服务器104执行，相应地，相机外参的标定装置可以设置于车载控制单元103或服务器104中。

应该理解，图1中的无人驾驶车辆、车载摄像头、车载控制单元和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的无人驾驶车辆、车载摄像头、车载控制单元。

另外，图1仅仅示出了本申请的相机外参的标定方法或相机外参标定装置可以应用于其中的一种示例性***架构，本申请的相机外参的标定方法或相机外参标定装置并不限于应用于图1所示的***架构，还可以应用于其他的***架构，例如立体相机的外参标定等。本申请对此不作限定。

继续参考图2，其示出了根据本申请的相机外参的标定方法的一个实施例的流程200。该相机外参的标定方法，包括以下步骤：

步骤201，获取待标定的两个相机采集的同一场景的图像对。

在本实施例中，待标定的两个相机的成像范围之间可以具有交叠。可以获取待标定的两个相机对同一场景采集的两幅图像，形成同一场景的图像对。

由于待标定的两个相机的位置和姿态具有差异，其光轴不重合，质心位置也不重合，所以两个相机采集的同一场景的图像对之间具有差异。图像对中包含两个相机的相交叠的三维空间成像范围内的二维图像信息。

上述相机外参的标定方法运行于其上的电子设备(如图1所示的车载控制单元或服务器)可以通过有线或无线的方式与两个相机连接，从而获取两个相机采集的同一场景的图像对。在这里，两个相机在采集同一场景的图像对之后可以实时地传送至上述电子设备，也可以在相机的存储区域中存储，待接收到上述电子设备的获取请求之后将图像对发送至上述电子设备。

在本实施例的一些可选的实现方式中，两个相机可以按照设定的时间周期采集图像序列，上述图像对可以为序列式的多个图像对，每个图像对中的两幅图像为相同的时刻采集的。则可以对序列式的图像对中的各对图像对执行本申请实施例的相机外参的标定方法，得到相机的最终外部参数标定结果。

在这里，同一场景可以为自然场景，这里的自然场景可以为非设定的场景，可以是随机选择的场景，例如可以为包含道路、行人、机动车、建筑物等的场景。上述待标定的两个相机可以在其通用的工作环境中采集图像对并传输至上述电子设备。

步骤202，从图像对的两幅图像中分别提取出多对互相匹配的特征点对。

互相匹配的特征点对的两个特征点分别为同一三维空间点在对应两幅图像中的像，也就是说，每一个特征点对包括图像对中每幅图像的一个特征点，且每一个特征点对中的两个特征点与同一三维空间点匹配。

在本实施例中，上述电子设备可以利用图像特征点检测算法分别从图像对的两幅图像中提取特征点并对特征点进行匹配。特征点可以是图像中的一个点，包含其在图像坐标系中的位置信息和亮度信息。

具体地，可以采用诸如SIFT(Scale-invariant Feature Transform，尺度不变特征变换)、SURF(Speeded Up Robust Features，加速稳健特征)、BRIEF(Binary RobustIndependent Elementary Features，二进制文件独立的基本特征)等特征点检测算法进行特征点提取，将图像中的特征点的信息提取出来，并用向量、矩阵等描述子进行描述。其中SIFT算法具体通过在尺度空间上搜索极值、然后拟合精细的模型来确定关键点的位置和尺度、之后利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，最后生成关键点的描述子，这里的关键点即为提取出的特征点。

在图像对中的两幅图像上分别提取出特征点之后，可以对两幅图像的特征点进行匹配。具体地，则可以利用各特征点的描述子进行相似度计算，并将相似度高的特征点确定为匹配的特征点。在这里，匹配的特征点对应于三维空间内的同一点。在找到两幅图像中的匹配的特征点之后，可以生成特征点对。在本实施例中，可以对依次对每个图像对中的两幅图像中的特征点对进行两两匹配，匹配出多个特征点对，并生成特征点对集合，在进一步将特征点对集合中的特征点对进行编号后，生成特征点对序列。

举例来说，步骤201获取的一个图像对包括由第一相机采集的第一图像IMA1和由第二相机采集的第二图像IMA2，可以对第一图像IMA1进行特征点提取，得到第一特征点集合{A1，A2，A3，…，Am}，对第二图像IMA2进行特征点提取，得到第二特征点集合{B1，B2，B3，…，Bn}，然后可以对第一特征点集合中的各特征点A1，A2，A3，…，Am依次与第二特征点集合中的各特征点B1、B2、B3、…、Bn进行匹配，提取出对应于同一空间点的第一特征点集合中的特征点和第二特征点集合中的特征点，生成特征点对，例如特征点A1和特征点B3相匹配且对应于同一三维空间点，则将特征点A1和B3组合为特征点对。

在本实施例的一些可选的实现方式中，可以按照预先设定的过滤规则对提取出的特征点对进行过滤，生成特征点对序列，预先设定的过滤规则可以包括但不限于特征点对的总数量不超过设定的阈值、特征点对在图像对中分布的均匀性指数达到预设的指标等，其中均匀性指数可以基于特征点之间的距离来得出。

步骤203，利用已获取的两个相机间的外部参数将特征点对反投影至三维空间之后，再重投影至图像对的两幅图像中，将得到的投影点对与对应的原特征点进行位置比对并根据比对结果对外部参数进行修正，得到外部参数的修正结果。

在本实施例中，可以预先获取两个相机间的外部参数。外部参数可以为表征两个相机的相对位姿关系的参数，可以包括平移参数、旋转参数和尺度变换参数。具体地，可以根据经验估计两相机间的外部参数的取值范围，在取值范围内随机选择一组数值作为上述获取的两个相机间的外部参数；或者可以预先设定两个相机间的外部参数，在执行步骤203之前可以获取预先设定的两个相机间的外部参数。

在本实施例的一些可选的实现方式中，如果步骤201获取的图像对为多对图像对，则可以预先获取基于上一个图像对来标定相机外参过程中得到的外部参数的修正结果，作为基于当前图像对来标定相机外参的初始外部参数，该初始外部参数可以作为上述已获取的两个相机间的外部参数。

之后，可以利用已获取的两个相机间的外部参数将特征点对反投影至三维空间，得到三维空间点的坐标。

假设两个相机为相机C1和相机C2，两个相机的内部参数已知。根据相机投影模型，以三维空间坐标系为世界坐标系，三维空间坐标系中的一点P0的坐标为X_w，可以表示为：

X_w＝(x_w,y_w,z_w)^T， (1)

该点P0在某相机采集的图像上的像点P0’的坐标P_i可表示为：

其中，u、v为点P0’在相机坐标系中两个坐标轴上的分量，(u，v，1)^T为向量(u，v)^T的齐次坐标，s为投影比例系数，K为该相机的内参矩阵，K为包含相机的焦距、传感器的每个单元尺寸，以及相机坐标系原点在图像坐标系中的位置参数的3×3的矩阵，(R|t)表示该相机在世界坐标系中的姿态，其中R为旋转矩阵，t为平移向量，(R|t)为3×4的变换矩阵，可以表示为：

其中，r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂、r₃₃为相机坐标系相对于世界坐标系中的三个坐标轴的旋转角相关的参数，t₁、t₂、t₃为相机坐标系相对于世界坐标系中的三个坐标轴的平移参数。

对于两个相机对同一场景成像的情形，以相机C1的坐标系为基准坐标系，即以相机C1的坐标系为世界坐标系，则相机C1在世界坐标系中的姿态可以表示为(I|O)，其中，

相机C2在世界坐标系中的姿态由(R|t)表示，该矩阵(R|t)即为相机C2相对于相机C1的外部参数矩阵。

世界坐标系中的一点P0(坐标为X_w)在相机C1图像中的投影点P10坐标X_p1为：

P0在相机C2图像中的投影点P20坐标X_p2为：

其中，

P₁＝K₁·(I|O)， (7)

P₂＝K₂·(R|t)， (8)

(u₁，v₁，1)^T为点P10在相机C1的坐标系中的坐标(u₁，v₁)^T的齐次坐标，(u₂，v₂，1)^T为点P20在相机C2的坐标系中的坐标(u₂，v₂)^T的齐次坐标，K₁、K₂分别为相机C1和相机C2的内参矩阵。

由式(5)变换得到方程组(9)：

由式(6)变换得到方程组(10)：

其中，P_i ⁿ表示矩阵Pi的第n行的行向量，i＝1，2；n＝1，2，3。

对于一个特征点对P10和P20，可以得到其坐标(u₁，v₁)，和(u₂，v₂)，根据已获取的外部参数可得到(R|t)，假设两个相机的内参矩阵K₁、K₂已知，则可根据式(7)(8)得出P₁、P₂，联立方程组(9)和(10)可以计算出未知量x_w，y_w，z_w，具体求解方程组的方法可以为SVD(Singular Value Decomposition，奇异值分解)。

可以按照以上投影原理，依据已获取的相机间的外部参数将步骤202提取出的各特征点对投影至三维空间，获得对应的三维空间点的坐标(x_w，y_w，z_w)。之后可以利用上述已获取的相机间的外部参数和已获取的两个相机的内部参数将三维空间点重投影至上述图像对中，得到与特征点对相对应的投影点对在对应的相机坐标系中的坐标，具体可以根据已知的x_w，y_w，z_w，采用上述式(1)、(2)计算得出两个相机的坐标系中对应的两个投影点的坐标。

然后，可以比对特征点对和重投影之后产生的对应的投影点对的位置，具体可以计算特征点对中每个特征点与对应的投影点之间的距离，并将特征点对中两个特征点与对应的投影点之间的距离相累加，得到投影点与对应的原特征点的位置比对结果。这里通过将特征点投影至三维空间后再重投影至图像中可以更准确地估算外部参数的误差，从而可以更好地对外部参数进行修正。

之后可以根据比对结果对外部参数进行修正，例如可以根据计算得出的投影点对与对应的特征点对的距离对外部参数进行修正。具体地，可以根据经验或采用机器学习训练得出的结果预先设定特征点对与投影点对之间的距离和修正量之间的对应关系列表，在比对得出特征点对与对应的投影点对之间的距离之后，可以查找该列表，从而得出对应的修正量，作为外部参数的修正结果。

修正后的外部参数即为相机外参的标定结果，这里的外部参数为其中一个相机坐标系相对于另一个相机坐标系的外部参数。

在本实施例的一些可选的实现方式中，上述方法还可以包括在利用已获取的两个相机间的外部参数将每对特征点对反投影至三维空间之后，再重投影至图像对的两幅图像中，将得到的投影点分别与对应的原特征点进行位置比对之前，获取两个相机的外部参数的步骤，具体地，可以获取测量得出的两相机间的外部参数，例如可以手动测量出两相机的相对平移距离、旋转角度。或者可以将两相机采集的图像对投影至同一投影平面上，基于投影生成的图像对估算两个相机间的外部参数。在这里，将图像对投影至同一投影平面之后，可以根据投影生成的图像对中相匹配的特征点之间的相对位置估算两个相机间的外部参数。通过将测量或匹配投影生成的图像对中的特征点来获取两个相机间的外部参数的初始估计值，可以缩小两相机间的外部参数的数值搜索范围，提升搜索效率，进而提升标定效率。

本申请上述实施例的相机外参(即外部参数)的标定方法，通过获取待标定的两个相机采集的同一场景的图像对，随后从图像对的两幅图像中分别提取出多对互相匹配的特征点对，其中，互相匹配的特征点对的两个特征点分别为同一三维空间点在对应两幅图像中的像，之后利用已获取的两个相机间的外部参数将特征点对反投影至三维空间之后，再重投影至图像对的两幅图像中，将得到的投影点分别与对应的特征点进行位置比对，并根据比对结果对外部参数进行修正，得到外部参数的修正结果，实现了基于自然场景对相机间的外部参数进行标定，无需限定标定物或标定环境，提升了标定效率。

在一些实施例中，上述利用已获取的两个相机间的外部参数将每对特征点对反投影至三维空间之后，再重投影至所述图像对的两幅图像中，将得到的投影点分别与对应的原特征点进行位置比对，并根据比对结果对外部参数进行修正，得到外部参数的修正结果的步骤203可以包括：迭代调整两个相机间的外部参数，以使基于调整外部参数之后的各投影点对与对应的各特征点对的位置达到预设的匹配状态；使用迭代调整的调整量对已获取的两个相机间的外部参数进行修正，以得到外部参数的修正结果。

具体来说，可以采用迭代的方式调整外部参数，每次迭代得到新的外部参数，重复上述比对利用已获取的两个相机间的外部参数将特征点对投影至三维空间之后重投影至图像对中得到的投影点对与对应的特征点对，并根据比对结果对外部参数进行修正的过程，直至调整外部参数之后的各投影点对与对应的各特征点对的位置达到预设的匹配状态，这时可以结束迭代调整过程。在这里，迭代停止条件为各投影点对与对应的各特征点对的位置达到预设的匹配状态，即各投影点对于对应的各特征点对的位置坐标之间的误差缩小到一定的程度，这时可以输出当前调整后的外部参数。

继续参考图3，其示出了根据本申请的相机外参标定方法的另一个实施例的流程图。如图3所示，该相机外参的标定方法的流程300，包括以下步骤：

步骤301，获取待标定的两个相机采集的同一场景的图像对。

在本实施例中，相机外参的标定方法运行于其上的电子设备(如图1所示的车载控制单元或服务器)可以通过有线或无线的方式与两个相机连接，从而获取两个相机采集的同一场景的图像对。两个相机可以按照设定的时间周期采集图像序列，上述图像对可以为序列式的多个图像对，每个图像对中的两幅图像为相同的时刻采集的。

步骤302，从图像对的两幅图像中分别提取出互相匹配的特征点对。

互相匹配的特征点对的两个特征点分别为同一三维空间点在对应两幅图像中的像。也就是说，每一个特征点对包括图像对中每幅图像的一个特征点，且每一个特征点对中的两个特征点与同一三维空间点匹配。在本实施例中，上述电子设备可以利用图像特征点检测算法从图像对的两幅图像中提取特征点并对特征点进行匹配。

接着可以迭代调整两个相机间的外部参数，以使基于调整外部参数之后的各投影点对与对应的各特征点对的位置达到预设的匹配状态，步骤303至步骤306为本实施例中迭代调整两个相机间的外部参数的一种具体实现方式。

步骤303，将已获取的两个相机间的外部参数确定为初始的当前外部参数。

在本实施例中，可以获取通过测量、将图形对投影至同一投影平面之后特征点匹配进而估算平移距离、旋转角度等方式得出的两个相机间的外部参数，作为初始的当前外部参数。

步骤304，执行误差估算步骤。

在本实施例中，可以对当前外部参数与实际外部参数之间的误差进行估算。具体地，步骤304可以包括如下步骤3041、步骤3042、步骤3043以及步骤3044。

在步骤3041中，基于各特征点对的位置坐标和当前外部参数，重建出与各特征点对匹配的三维空间点。

在本实施例中，可以参照上述实施例中的式(3)至式(10)将特征点对P10和P20投影至三维空间，得到对应的三维空间点的坐标(x_w，y_w，z_w)。

在步骤3042中，基于当前外部参数将重建出的三维空间点投影到图像对的两幅图像中，确定出图像对中与各特征点对对应的各投影点对的位置坐标。

在得到三维空间点的坐标(x_w，y_w，z_w)之后，可以利用当前外部参数将三维空间点重投影至两个相机采集的图像对中，具体可以采用上述式(1)、(2)对三维空间点进行投影，得出分别投影至图像对中的两幅图像上的投影点，形成投影点对。

如图4所示，其示出了待标定的两个相机采集的图像对的图像平面与三维空间点的位置关系的示意图。其中，C1、C2为两个相机的位置，IMA1和IMA2为一个图像对，P0为基于特征点对P10和P20重建出的三维空间点，P10’和P20’分别为三维空间点P0重投影至图像IMA1和图像IMA2上得到的投影点。

步骤3043，计算各投影点对与对应的各特征点对的位置坐标之间的误差，并基于特征点对序列中所有特征点对对应的误差构建能量函数。

在本实施例中，可以计算投影点对于对应的特征点对的位置坐标之间的误差，具体可以计算同一幅图像上的特征点和重投影至该幅图像上的投影点的坐标之间的投影误差，例如可以计算特征点与投影点之间的距离作为投影误差，并将图像对中两幅图像的投影误差相加，作为该特征点对对应的估算误差。之后可以基于特征点对序列中多个特征点对对应的估算误差构建能量函数。能量函数可以表征图像对的所有特征点对与对应的投影点对之间的总估算误差。

在一些实施例中，基于特征点对序列中所有特征点对对应的误差构建能量函数的步骤可以包括：将所述特征点对序列中所有特征点对对应的误差累加，得出所述能量函数。即可以将各特征点对对应的误差之和作为能量函数。

具体来说，能量函数cost可以基于如下式(11)构建：

其中，X_wj为基于特征点序列中第j个特征点对重建出的三维空间点的坐标，X_1j为图像对中的第一幅图像中提取出的属于j个特征点对的特征点的齐次坐标，X_2j为图像对中的第二幅图像中提取出的属于j个特征点对的特征点的齐次坐标，n为特征点对序列中特征点对的数量，K₁、K₂分别为两个相机的内参矩阵，(R|t)即为两个相机间的相对外部参数矩阵。

需要说明的是，在本申请的其他实施例中，能量函数还可以基于各特征点对对应的误差的平方和、指数等来构建，本申请对此不作特殊限定。

步骤3044，判断能量函数是否满足预设的收敛条件。

在计算得出能量函数之后，可以判断能量函数是否满足预设的收敛条件，并根据判断结果来确定是否继续迭代。

步骤305，响应于判断出能量函数不满足预设的收敛条件，基于能量函数沿当前外部参数的梯度方向调整当前外部参数，并返回步骤304，执行误差估算步骤。

当步骤3044的判断结果为“否”时，可以根据能量函数，对当前外部参数进行调整，具体可以采用梯度下降或梯度上升的方式，对当前外部参数中平移参数、旋转角参数等各参数值沿其梯度的下降或上升方向分别调整一个预设步长的距离，作为调整后的当前外部参数。之后将调整后的当前外部参数作为已获取的当前外部参数，重复执行误差估算步骤304。

在本实施例中，在能量函数不满足预设的收敛条件的情况下，可以循环执行上述误差估算步骤304，直到能量函数满足预设的收敛条件，可以跳出循环，停止迭代调整外部参数的过程。在这里，预设的收敛条件可以基于当前能量函数和最近的几次误差估算步骤的能量函数建立，例如可以为当前能量函数相对于最近几次误差估算步骤得到的能量函数的变化量小于设定的值。

步骤306，响应于判断出能量函数满足预设的收敛条件，确定各投影点对与对应的各特征点对的位置达到预设的匹配状态。

在能量函数满足预设的收敛条件时，可以停止迭代调整当前的外部参数的过程，这时可以确定误差足够小，即确定投影点对与对应的各特征点对的位置坐标达到预设的匹配状态。

步骤307，使用迭代调整的调整量对已获取的两个相机间的外部参数进行修正，以得到外部参数的修正结果。

在本实施例中，可以利用误差估算步骤中对当前外部参数的调整量修正通过测量等方式估算出的初始的当前外部参数，得到外部参数的修正结果，也即得到相机间外参的标定结果。

上述方法流程中的步骤301和步骤302分别与前述实施例中的步骤201和步骤202相同，上文针对201和步骤202的描述也适用于本实施中的步骤301和步骤302，此处不再赘述。

从图3中可以看出，与图2对应的实施例相比，本实施例中的相机外参的标定方法的流程300突出了利用迭代调整的方式对当前外部参数进行逐步修正的步骤。由此，本实施例描述的方案可以根据能量函数不断调整外部参数使外部参数的估计值逐渐逼近真实值，进一步提升了外部参数的估算精度。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种相机外参的标定装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的相机外参的标定装置500包括：第一获取单元501、提取单元502和修正单元503。其中，第一获取单元501用于获取待标定的两个相机采集的同一场景的图像对；提取单元502用于从图像对的两幅图像中提取出特征点对，其中，互相匹配的特征点对的两个特征点分别为同一三维空间点在对应两幅图像中的像；修正单元503用于利用已获取的两个相机间的外部参数将每对特征点对反投影至三维空间之后，再重投影至图像对的两幅图像中，将得到的投影点分别与对应的原特征点进行位置比对，并根据比对结果对外部参数进行修正，得到外部参数的修正结果。

在本实施例中，第一获取单元501可以接收两个相机实时传送的采集的同一场景的图像对，也可以从两个相机的存储区域中提取同一时刻采集的同一场景的图像对。图像对可以为序列式的多个图像对，每个图像对可以为两个相机在相同的时刻采集的包含同一自然场景的图像。

提取单元502可以采用特征点检测和匹配算法从第一获取单元501获取的图像对中提取出多个特征点对。其中每一个特征点对包括图像对中每幅图像的一个特征点，且每一个特征点对中的两个特征点与同一三维空间点匹配。具体地，可以采用诸如SIFT、SURF等算法进行特征点提取，然后对提取出的特征点进行匹配，将匹配成功的特征点合并为特征点对。

修正单元503可以利用已获取的两个相机间的外部参数将提取单元502提取出的特征点对投影至三维空间，得到三维空间点的坐标，然后根据三维空间点的坐标以及上述已获取的当前外部参数将三维空间点重投影至图像对中的两幅图像，得到对应的投影点对。之后比对单元503可以比对特征点对和投影点对，进行误差计算，具体可以计算特征点对和对应的投影点对之间的相对距离，作为投影误差。然后根据投影误差修正两个相机间的外部参数。具体地，可以根据经验或采用机器学习训练得出的结果预先设定特征点对与投影点对之间的距离和修正量之间的对应关系列表，在比对得出特征点对与对应的投影点对之间的距离之后，可以查找该列表，从而得出对应的修正量，作为外部参数的修正结果。

本实施例的相机外参的标定装置500，通过第一获取单元获取待标定的两个相机采集的同一场景的图像对，随后利用提取单元从图像对的两幅图像中提取出特征点对，其中互相匹配的特征点对的两个特征点分别为同一三维空间点在对应两幅图像中的像，，之后修正单元利用已获取的两个相机间的外部参数将每对特征点对反投影至三维空间之后，再重投影至图像对的两幅图像中，将得到的投影点分别与对应的原特征点进行位置比对，并根据比对结果对外部参数进行修正，得到外部参数的修正结果，实现了基于自然场景对相机间的外部参数进行标定，无需限定标定物或标定环境，提升了标定效率。

在一些实施例中，上述修正单元503可以进一步用于按照如下方式对外部参数进行修正，得到外部参数的修正结果：迭代调整两个相机间的外部参数，以使基于调整外部参数之后的各投影点对与对应的各特征点对的位置达到预设的匹配状态；使用迭代调整的调整量对已获取的两个相机间的外部参数进行修正，以得到外部参数的修正结果。

在进一步的实施例中，上述修正单元503可以进一步用于按照如下方式迭代调整两个相机间的外部参数：将已获取的两个相机间的外部参数确定为初始的当前外部参数，执行误差估算步骤，误差估算步骤包括：基于各特征点对的位置坐标和当前外部参数，重建出与各特征点对匹配的三维空间点，基于当前外部参数将重建出的三维空间点投影到图像对中，确定出图像对中与各特征点对对应的各投影点对的位置坐标，计算各投影点对与对应的各特征点对的位置坐标之间的误差，并基于特征点对序列中所有特征点对对应的误差构建能量函数，判断能量函数是否满足预设的收敛条件；响应于判断出能量函数不满足预设的收敛条件，基于能量函数沿当前外部参数的梯度方向调整当前外部参数，执行误差估算步骤；响应于判断出能量函数满足预设的收敛条件，确定各投影点对与对应的各特征点对的位置达到预设的匹配状态。

进一步地，上述修正单元503可以进一步用于按照下方式构建能量函数：将特征点对序列中所有特征点对对应的误差累加，得出能量函数。

在一些实施例中，上述相机间的外部参数标定装置还可以包括第二获取单元，用于：在利用已获取的两个相机间的外部参数将特征点对反投影至三维空间之后，再重投影至图像对的两幅图像中，将得到的投影点分别与对应的特征点进行位置比对，并根据比对结果对外部参数进行修正，得到外部参数的修正结果之前，获取两个相机的外部参数。

第二获取单元具体可以用于：获取测量得出的两个相机间的外部参数；或者将图像对投影至同一投影平面上，基于投影生成的图像对估算两个相机间的外部参数。具体来说，第二获取单元可以用于根据投影生成的图像对中相匹配的特征点之间的相对位置估算两个相机间的外部参数。这样，在比对单元比对特征点对和对应的投影点对之前，可以利用第二获取单元获取的两个相机的外部参数进行三维空间点重建和重投影，进而在获取的外部参数的基础上进行修正，能够缩小外部参数的数值搜索范围，提升外部参数的估算精确度。

应当理解，装置500中记载的诸单元可以与参考图2和图3描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置500及其中包含的单元，在此不再赘述。

下面参考图6，其示出了适于用来实现本申请实施例的终端设备/服务器的计算机***600的结构示意图。图6示出的终端设备/服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机***600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有***600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取单元、提取单元、比对单元和标定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取待标定的两个相机采集的同一场景的图像对的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取待标定的两个相机采集的同一场景的图像对；从所述图像对的两幅图像中提取出多对互相匹配的特征点对，其中，所述互相匹配的特征点对的两个特征点分别为同一三维空间点在对应两幅图像中的像；利用已获取的两个相机间的外部参数将所述特征点对反投影至三维空间之后，再重投影至所述图像对的两幅图像中，将得到的投影点对与对应的原特征点进行位置比对，并根据比对结果对所述外部参数进行修正，得到所述外部参数的修正结果。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种相机外参的标定方法，其特征在于，所述方法包括：

获取待标定的两个相机采集的同一场景的图像对；

从所述图像对的两幅图像中分别提取出多对互相匹配的特征点对，其中，所述互相匹配的特征点对的两个特征点分别为同一三维空间点在对应两幅图像中的像；

利用已获取的两个相机间的外部参数将每对特征点对反投影至三维空间之后，再重投影至所述图像对的两幅图像中，将得到的投影点分别与对应的原特征点进行位置比对，并根据比对结果对所述外部参数进行修正，得到所述外部参数的修正结果。

2.根据权利要求1所述的方法，其特征在于，所述利用已获取的两个相机间的外部参数将每对特征点对反投影至三维空间之后，再重投影至所述图像对的两幅图像中，将得到的投影点分别与对应的原特征点进行位置比对，并根据比对结果对所述外部参数进行修正，得到所述外部参数的修正结果，包括：

迭代调整所述两个相机间的外部参数，以使基于调整外部参数之后的各所述投影点对与对应的各特征点对的位置达到预设的匹配状态；

使用迭代调整的调整量对所述已获取的两个相机间的外部参数进行修正，以得到所述外部参数的修正结果。

3.根据权利要求2所述的方法，其特征在于，所述迭代调整所述两个相机间的外部参数，以使基于调整外部参数之后的各所述投影点对与对应的各特征点对的位置达到预设的匹配状态，包括：

将所述已获取的两个相机间的外部参数确定为初始的当前外部参数，执行误差估算步骤，所述误差估算步骤包括：基于各所述特征点对的位置坐标和当前外部参数，重建出与各所述特征点对匹配的三维空间点，基于当前外部参数将重建出的所述三维空间点反投影到所述图像对的两幅图像中，确定出所述图像对中与各所述特征点对对应的各投影点对的位置坐标，计算各所述投影点对与对应的各所述特征点对的位置坐标之间的误差，并基于所述特征点对序列中所有特征点对对应的误差构建能量函数，判断所述能量函数是否满足所述预设的收敛条件；

响应于判断出所述能量函数不满足所述预设的收敛条件，基于所述能量函数沿当前外部参数的梯度方向调整当前外部参数，执行所述误差估算步骤；

响应于判断出所述能量函数满足所述预设的收敛条件，确定各所述投影点对与对应的各特征点对的位置达到预设的匹配状态。

4.根据权利要求3所述的方法，其特征在于，所述基于所述特征点对序列中所有特征点对对应的误差构建能量函数，包括：

将所述特征点对序列中所有特征点对对应的误差累加，得出所述能量函数。

5.根据权利要求1所述的方法，其特征在于，在利用已获取的两个相机间的外部参数将每对特征点对反投影至三维空间之后，再重投影至所述图像对的两幅图像中，将得到的投影点分别与对应的原特征点进行位置比对，并根据比对结果对所述外部参数进行修正，得到所述外部参数的修正结果之前，所述方法还包括：

获取所述两个相机的外部参数，包括：

获取测量得出的所述两个相机间的外部参数；或者

将所述图像对投影至同一投影平面上，基于投影生成的图像对估算所述两个相机间的外部参数。

6.一种相机外参的标定装置，其特征在于，所述装置包括：

第一获取单元，用于获取待标定的两个相机采集的同一场景的图像对；

提取单元，用于从所述图像对的两幅图像中提取出多对互相匹配的特征点对，其中，所述互相匹配的特征点对的两个特征点分别为同一三维空间点在对应两幅图像中的像；

修正单元，用于利用已获取的两个相机间的外部参数将每对特征点对反投影至三维空间之后，再重投影至所述图像对的两幅图像中，将得到的投影点分别与对应的原特征点进行位置比对，并根据比对结果对所述外部参数进行修正，得到所述外部参数的修正结果。

7.根据权利要求6所述的装置，其特征在于，所述修正单元进一步用于按照如下方式对所述外部参数进行修正，得到所述外部参数的修正结果：

迭代调整所述两个相机间的外部参数，以使基于调整外部参数之后的各所述投影点对与对应的各特征点对的位置达到预设的匹配状态；

使用迭代调整的调整量对所述已获取的两个相机间的外部参数进行修正，以得到所述外部参数的修正结果。

8.根据权利要求7所述的装置，其特征在于，所述修正单元进一步用于按照如下方式迭代调整所述两个相机间的外部参数，以使基于调整外部参数之后的各所述投影点对与对应的各特征点对的位置达到预设的匹配状态：

将所述已获取的两个相机间的外部参数确定为初始的当前外部参数，执行误差估算步骤，所述误差估算步骤包括：基于各所述特征点对的位置坐标和当前外部参数，重建出与各所述特征点对匹配的三维空间点，基于当前外部参数将重建出的所述三维空间点投影到所述图像对中，确定出所述图像对中与各所述特征点对对应的各投影点对的位置坐标，计算各所述投影点对与对应的各所述特征点对的位置坐标之间的误差，并基于所述特征点对序列中所有特征点对对应的误差构建能量函数，判断所述能量函数是否满足所述预设的收敛条件；

响应于判断出所述能量函数不满足所述预设的收敛条件，基于所述能量函数沿当前外部参数的梯度方向调整当前外部参数，执行所述误差估算步骤；

响应于判断出所述能量函数满足所述预设的收敛条件，确定各所述投影点对与对应的各特征点对的位置达到预设的匹配状态。

9.根据权利要求8所述的装置，其特征在于，所述修正单元进一步用于按照如下方式构建能量函数：

将所述特征点对序列中所有特征点对对应的误差累加，得出所述能量函数。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括第二获取单元，用于：在利用已获取的两个相机间的外部参数将每对特征点对反投影至三维空间之后，再重投影至所述图像对的两幅图像中，将得到的投影点分别与对应的原特征点进行位置比对，并根据比对结果对所述外部参数进行修正，得到所述外部参数的修正结果之前，获取所述两个相机的外部参数；

所述第二获取单元具体用于：

获取测量得出的所述两个相机间的外部参数；或者

将所述图像对投影至同一投影平面上，基于投影生成的图像对估算所述两个相机间的外部参数。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。