CN110443854A - 基于固定靶标的无公共视场相机间相对位姿标定方法 - Google Patents

Abstract

本发明公开了一种基于固定靶标的无公共视场相机间相对位姿标定方法，包括以下步骤：步骤一，相机组执行两次小幅度运动，并在三个位置对固定靶标进行拍摄，提取每张图像中4个标志点中心的图像物理坐标，标志点呈正方形分布；步骤二，通过P4P算法求取每幅图对应的摄像机的外部参数，进而得到相机轨迹；步骤三，用矩阵重排的方法求解基础方程。本发明在求取摄像机的外部参数时，针对呈方形分布的P4P问题，提出一种新的求解方法；并且两相机只需执行2次小幅度运动即可完成标定，避免大幅度运动带来的不便。通过实验证明本发明测量精度优于传统方法，并且操作简单，计算量少，误差满足现场测量需求。

Description

基于固定靶标的无公共视场相机间相对位姿标定方法

技术领域

本发明属于路基沉降测量技术领域，尤其涉及一种基于固定靶标的无公共视场相机间相对位姿标定方法。

背景技术

随着高速及重载铁路的发展，路基沉降已成为列车运行稳定性的控制要素，高铁路基沉降变形传递相机网络视觉测量***是通过激光光斑中心定位得到沉降前后的位置数据差值，来反映监测点相对于基准点的路基沉降变形。由于监测点现场需求不同，中间传递监测站可能有多种组合形式，包括多相机-多靶面-多激光器的多种可能，还可能只有多相机-多靶面的组合，传递站中不同的相机-靶面组合必须指向各自的指示激光器，因此待标定的相机与相机之间不存在公共的视场，但由于位姿参数传递的需要，对中间站中两个相机之间的相对位姿进行精确标定是非常有必要的。

目前，相机链视觉传递测量***中双头相机一般通过全站仪辅助的方法进行标定。利用全站仪辅助标定双头相机的方法中需要在相机周围布置控制点，将所有控制点统一到全站仪坐标系下，然而该方法需要大量控制点，需要双头相机移动较大的角度才能精确标定，运算量较大，作业强度高，不能满足现场测量需求。

发明内容

为了解决上述背景技术中指出的不足，本发明提供了一种基于固定靶标的无公共视场相机间相对位姿标定方法，运用P4P方法在确保高精度解算相机外部参数的情况下，大大减少了计算量，矩阵重排的方法使双头相机只需转动很小的角度，就可完成双头相机的标定。

一种基于固定靶标的无公共视场相机间相对位姿标定方法，包括以下步骤：

步骤一，相机组执行两次小幅度运动，绕三个坐标轴旋转的角度保持在5°-10°，并在每个位置对固定靶标进行拍摄，总共为三个位置，提取所拍摄的每张图像中4个标志点中心的图像物理坐标，每张图像中的4个标志点呈正方形分布；

步骤二，通过四点透视投影即P4P算法求摄像机与固定靶标之间的位姿关系，首先假设摄像机坐标系是通过目标坐标系先旋转后平移得到的，得到空间中一点经过旋转和平移变换后的摄像机坐标，以4个靶标标志点在目标坐标系下的坐标及其图像物理坐标作为输入，以某一靶标控制点为原点建立目标坐标系，预先设置4个标志点位于边长确定的正方形的4个顶点处，求解出靶标在摄像机坐标系下的姿态参数，即求得每张图像对应的摄像机的外部参数；通过将初始时刻摄像机的位姿参数矩阵与第一次运动后摄像机的位姿参数矩阵的逆相乘求得第一次运动的相机轨迹，通过将第一次运动后摄像机的位姿参数矩阵与第二次运动后摄像机的位姿参数矩阵的逆相乘求得第二次运动的相机轨迹；

步骤三，根据求得的相机轨迹，用矩阵重排的方法求解基础方程。

优选地，步骤一中，为使测量结果相互独立，相机组在执行两次小幅度运动时，第二次的转轴不同于第一次，在提取图像物理坐标前，对所拍摄的图像进行二值化，中值滤波及利用形态学闭运算进行处理。

优选地，步骤二中，根据靶标上4个标志点在像平面上的投影的摄像机坐标与固定靶标中4个标志点的摄像机坐标的关系，得到目标坐标系原点在摄像机坐标系的坐标，即为平移向量，并得到目标坐标系两个坐标轴在摄像机下的坐标，经过标准化后得到构成旋转矩阵的前两列，将得到的两个向量进行叉乘运算后得到旋转矩阵的第三列。

优选地，步骤三中，用矩阵重排的方法求解基础方程中旋转参数时，将求解特殊的Sylvester方程问题转换为求解齐次方程的问题，为得到有意义的解，通常进行两组测量，使方程的秩足够大，用奇异值分解的方法得到此超定方程的最小二乘解，将其重新排列成3×3的矩阵后进行Schimidt正交化，得到旋转矩阵；用最小二乘的方法求平移向量，将旋转矩阵和平移向量重新组合，即可得到位姿转换矩阵。

相比于现有技术的缺点和不足，本发明具有以下有益效果：本发明针对相机间相对位姿的标定，依据机器人视觉中手眼标定问题，结合P4P原理，提出了一种基于固定靶标的相机间相对位姿标定办法。两相机只需执行2次小幅度运动即可完成标定，避免大幅度运动带来的不便。仅需处理6幅图片中的24个点，速度快，计算量少，误差满足现场测量需求。

附图说明

图1是本发明实施例提供的双头相机移动前后各坐标系关系图。

图2是本发明实施例提供的四点透视投影。

图3是本发明实施例提供的实验装置图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一、基于固定靶标的无公共视场相机间相对位姿标定方法，包括以下步骤：

(1)假设初始时刻主相机及从属相机相对固定靶标的位姿关系分别为 t时刻位姿关系分别为则主相机从初始时刻到t时刻的相机轨迹为从属相机从初始时刻到t时刻的相机轨迹为相机间的相对位姿X，主摄像机坐标系及从属摄像机坐标系分别为C_m、C_c，相机组在初始时刻和t时刻的位置分别为L₁、L₂，靶标坐标系C_t，C_t'。各变量间的关系如图(1)所示。

(2)假设与主相机相对应的靶面中一点P_m，在初始时刻和t时刻摄像机坐标分别为P_m0、P_m1，与从属相机相对应的靶面中一点P_c，在初始时刻和t时刻摄像机坐标系为P_c0，P_c1，则有：

由(1)式得：

HX＝XG (2)

式中：H和G是已知的的4×4矩阵，X是待求的相机间的位姿矩阵。H，G，X都是由3×3的旋转矩阵和1×3平移向量组成，以X为例，可表示为：

因此HX＝XG可展开成以下形式：

R_HR-RR_G＝0 (4)

(R_H-I)t＝Rt_G-t_H (5)

(3)求解P4P问题

四点透视投影问题，即P4P问题，通过共面的4个点确定姿态，假设摄像机坐标系是通过目标坐标系先旋转后平移得到的，空间中一点在摄像机坐标系下的坐标为P(x₁,y₁,z₁)，目标坐标系下的坐标为P'(x₂,y₂,z₂)，则P'→P的转换可以用式(6)表示：

P＝RP'+t (6)

式中R(ij)_3×3为旋转矩阵，t(t_x,t_y,t_z)^T为平移向量。

若用齐次坐标表示点P,则位姿变换公式(6)转换为：

如图2所示，以P₀为原点，P₀P₁为X轴，P₀P₃为Y轴建立目标坐标系，P_i(i＝0,1,2,3)4点呈正方形分布；以光心O为原点的O_CX_CY_CZ_C是摄像机坐标系；以图象中心o为原点的oxy是图像物理坐标系，q_i(i＝0,1,2,3)为靶标上4个标志点在像平面上的投影，其在摄像机坐标系下的坐标分别为q₀(x₀，y₀,f)，q₁(x₁，y₁,f)，q₂(x₂，y₂,f)，q₃(x₃，y₃,f)，其中f为摄像机焦距，设光心O_c与q₂q₃所形成的平面为π₁，其法向量为记n₁＝{n_X1，n_Y1，n_Z1},由于P₀P₁//π₁，可知记光心到标志点Q₀、Q₁与光心到像点q₀、q₁距离的比值为则：

由此可得：

(k₁x₁-k₀x₀)·n_X1+(k₁y₁-k₀y₀)·n_Y1+(k₁y₁-k₀y₀)·n_Z1＝0 (9)

由|P₀P₁|＝d,得

由公式(8)，(9)可以计算出k₀，k₁，因此得到标志点Q₀、Q₁在摄像机坐标系的坐标Q0(k₀x₀，k₀y₀，k₀z₀)，Q₁(k₁x₁，k₁y₁，k₁z₁)。同理可求得Q₂、Q₃在摄像机坐标系下的坐标。其中，靶标坐标系原点Q₀在摄像机坐标系下的坐标即为平移向量t,目标坐标系的X_T轴在摄像机坐标系的方向为：

将该向量标准化，记为(r₁₁,r₂₁,r₃₁)，它是旋转矩阵R的第一个列向量。同理，目标坐标系Y_T轴在摄像机坐标系下表示为(r₁₂,r₂₂,r₃₂)，由旋转矩阵的正交性,得

(r₁₃,r₂₃,r₃₃)＝(r₁₁,r₂₁,r₃₁)×(r₁₁,r₂₂,r₃₂) (12)

至此，得到旋转矩阵R，获得靶标坐标系到摄像机坐标系的转换关系。

(4)求解相机间相对位姿

首先，仅考虑位姿转换矩阵X的旋转部分：

R_HR-RR_G＝0 (13)

它是一个特殊的Sylvester方程，其中由R_HR-RR_G所形成的矩阵中的各元素可表示为R_H、R_G与R的线性组合，因此式(12)可改写为：

Fv＝0 (14)

其中：

v＝[R₁₁ R₁₂ R₁₃ R₂₁ R₂₂ R₂₃ R₃₁ R₃₂ R₃₃]^T

则有：

这样求解旋转矩阵R的问题就转换成求解9×1向量v的问题，关于齐次方程的解，当F的秩等于9时，方程有唯一有意义的解，当F的秩等于8时，方程基础解系中解向量的个数为1，可通过旋转矩阵的正交性得到方程的特解，当F的秩小于8时，则方程的解不唯一，因此为得到有意义的解，通常我们进行两组测量,为使测量结果相互独立，第二次的转轴必须不同于第1次，因此我们可以得到以下两个方程：

通过这两个的方程，我们可以得到秩为8的18×9矩阵F,用奇异值分解的方法得到此超定方程的最小二乘解，将矩阵F^TF进行奇异值分解，其中最小奇异值所对应的奇异向量即为最小二乘解，将其重新排列成3×3的矩阵后进行Schimidt正交化，得到旋转矩阵R。

接下来求解平移矩阵t：

(R_H-I)t＝Rt_G-t_H (16)

通过两次旋转，得方程组：

将式(17)记为At＝b，其中

用最小二乘法求解t：

t＝(A^TA)^-1A^Tb (18)

将旋转矩阵R和平移向量t重新组合，即可得到位姿转换矩阵X。

二、实验验证

实验使用焦距为8mm的Microvision MV3000UC相机和焦距为12mm的AlliedVision Technologies GE680相机，无需图像采集卡，并且实验前标定了两个相机的内参数。两台摄像机固定在NT305WM三维高精度位移平台上，精度为0.01°，可通过微调螺栓自由旋转。靶标上的特征点的直径为15mm，标记点呈边长为150mm的正方形分布，实验装置如图3所示。

首先控制平台围绕Z轴旋转5°，相机由位置1移到位置2，然后我们控制平台绕Y轴旋转5°，并沿主摄像机坐标系Z轴向前平移20cm，移动到位置3，在3个位置各拍50张图片，提取标志点的中心坐标，求平均值，通过P4P算法求解摄像机与固定靶标之间的位姿关系，进而得到6个摄像机坐标系之间的转换关系H₁、G₁、H₂、G₂

用本文算法得到如下位姿转换矩阵

使用方便描述角度变换的欧拉角代替旋转矩阵R，得：

另err_i＝||H_iX-XG_i||(i＝1,2)，分别用本发明算法和基于摄影测量的非重叠视场相机全局标定算法(记为A，参照胡茂邦等[J].组合机床与自动化加工技术,2018(10):89-92.)、无重叠视场多相机组安装关系的灵活标定算法(记为B，参照王刚等[J].中国激光,2017,44(06):207-213.)计算位姿转换矩阵，得到的相对误差如表1所示：

表1双相机间位姿相对误差

由表1可以看出，本发明算法的精度优于A和B算法。在实验中，平台的旋转角度非常小，但标定精度非常理想。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于固定靶标的无公共视场相机间相对位姿标定方法，其特征在于，包括以下步骤：

步骤一，相机组执行两次小幅度运动，绕三个坐标轴旋转的角度保持在5°-10°，并在每个位置对固定靶标进行拍摄，总共为三个位置，提取所拍摄的每张图像中4个标志点中心的图像物理坐标，每张图像中的4个标志点呈正方形分布；

步骤二，通过四点透视投影即P4P算法求摄像机与固定靶标之间的位姿关系，首先假设摄像机坐标系是通过目标坐标系先旋转后平移得到的，得到空间中一点经过旋转和平移变换后的摄像机坐标，以4个靶标标志点在目标坐标系下的坐标及其图像物理坐标作为输入，以某一靶标控制点为原点建立目标坐标系，预先设置4个标志点位于边长确定的正方形的4个顶点处，求解出靶标在摄像机坐标系下的姿态参数，即求得每张图像对应的摄像机的外部参数；通过将初始时刻摄像机的位姿参数矩阵与第一次运动后摄像机的位姿参数矩阵的逆相乘求得第一次运动的相机轨迹，通过将第一次运动后摄像机的位姿参数矩阵与第二次运动后摄像机的位姿参数矩阵的逆相乘求得第二次运动的相机轨迹；

步骤三，根据求得的相机轨迹，用矩阵重排的方法求解基础方程。

2.如权利要求1所述的基于固定靶标的无公共视场相机间相对位姿标定方法，其特征在于，步骤一中，所述相机组执行两次小幅度运动时，第二次的转轴与第一次的转轴不同，在提取图像物理坐标前，对所拍摄的图像进行二值化，中值滤波及利用形态学闭运算进行处理。

3.如权利要求1所述的基于固定靶标的无公共视场相机间相对位姿标定方法，其特征在于，步骤二中，根据靶标上4个标志点在像平面上的投影的摄像机坐标与固定靶标中4个标志点的摄像机坐标的关系，得到目标坐标系原点在摄像机坐标系的坐标，即为平移向量，并得到目标坐标系两个坐标轴在摄像机下的坐标，经过标准化后得到构成旋转矩阵的前两列，将得到的两个向量进行叉乘运算后得到旋转矩阵的第三列。

4.如权利要求1所述的基于固定靶标的无公共视场相机间相对位姿标定方法，其特征在于，步骤三中，用矩阵重排的方法求解基础方程中旋转参数时，将求解特殊的Sylvester方程问题转换为求解齐次方程的问题，进行两组测量，用奇异值分解的方法得到此超定方程的最小二乘解，将其重新排列成3×3的矩阵后进行Schimidt正交化，得到旋转矩阵；用最小二乘的方法求平移向量，将旋转矩阵和平移向量重新组合，即可得到位姿转换矩阵。