CN111462245A - 一种基于矩形结构的变焦相机姿态标定方法和*** - Google Patents

Abstract

本发明公开了一种基于矩形结构的变焦相机姿态标定方法和***，属于图像处理技术领域。包括以下步骤：获取矩形四个角点的像素坐标；由四个角点的像素坐标求四边形对角线的分割比例；由矩形的垂直关系求相机焦距；求取矩形四个角点在归一化成像平面上所对应的物理坐标；由矩形四个角点的物理坐标求取其三维投影坐标；求出旋转矩阵R；将变形矩形所在的图像重投影得到矫正后矩形所在的矫正后图像。本发明只需要矩形图像信息，而不需要矩形物理尺寸信息，在很多不易得知矩形物体尺寸的情况下，均能求解变焦相机的焦距以及进行相机姿态标定，重投影得到矫正后的图像，相比于传统算法具有更广泛的适用性。

Description

一种基于矩形结构的变焦相机姿态标定方法和***

技术领域

本发明属于图像处理技术领域，更具体地，涉及一种基于矩形结构的变焦相机姿态标定方法和***。

背景技术

在图像测量过程以及计算机应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这里几何模型的参数就是相机参数，相机参数包括内参和外参。

传统标定方法需要物理尺寸已知的标定物，用图像处理方法，将标定物设定尺寸的点与图像上的像点进行对应，根据对应关系求解方程组得到相机参数。例如，由张正友教授等人提出的相机标定法，使用的是二维棋盘格标定板，估算单应性矩阵进行数学计算得到初始相机参数，然后经过迭代优化，得到精确的相机参数，该方法需要输入标定板的物理尺寸；N点透视位姿求解(Perspective-N-Point，PNP)算法需要三个以上的已知物理尺寸的点来计算相机位姿；目前还有单相机与惯性测量单元相结合估计相机位姿的应用，标定好相机与惯性测量单元后，惯性测量单元提供姿态角信息，使得相机位姿估计的参数量减少。PNP算法利用N个三维空间点及其二维投影坐标来估计空间与相机的相对位姿，它有多种求解算法，如，只有3对点估计位姿的P3P、直接最小二乘法(Direct Least-Squares，DLS)、直接线性变换(Direct Linear Transformation，DLT)、高效PNP(EfficientPNP，EPNP)等。

这些经典算法不足的地方在于需要利用三维空间点的物理坐标，而在实际应用场景中，很多矩形物体并不知道它的物理尺寸，例如车牌，不同类型的车牌就有不同的物理尺寸。由此可见，较为严格的标定条件限制了上述传统标定方法的使用。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种仅基于矩形结构的变焦相机姿态标定方法和***，旨在解决现有算法需要物理尺寸才能进行标定从而使用受限的问题。

为实现上述目的，本发明提供了一种基于矩形结构的变焦相机姿态标定方法，包括以下步骤：

S1、将相机视场中的矩形abcd透视投影在相机的成像平面上形成对应的四边形a′b＇c′d′，获取所述四边形a′b＇c′d＇各角点的像素坐标I_A＝(u₁，v₁)、I_B＝(u₂，v₂)、I_C＝(u₃，v₃)、I_D＝(u₄，v₄)；

S2、根据所述像素坐标确定所述四边形a′b′c′d′对角线的分割比例θ₁、θ₂，再结合与焦距f无关的已标定相机内参求解变焦相机的焦距f，从而确定相机内参数矩阵K；其中，四边形a′b＇c＇d′的对角线交点为Q，θ₁为线段Qc’占a’c’的比例，θ₂为线段Qd’占b’d’的比例；

S3、根据所述相机内参数矩阵K，确定所述像素坐标在归一化成像平面上对应的物理坐标P₁、P₂、P₃、P₄；

S4、利用所述四边形a′b′c′d′构建三维空间矩形ABCD，所述三维空间矩形ABCD与所述矩形abcd在成像平面上均对应所述四边形a＇b′c′d＇；根据所述物理坐标P₁、P₂、P₃、P₄和所述分割比例θ₁、θ₂获取所述矩形ABCD各角点的三维投影坐标P_A、P_B、P_C、P_D，从而确定以点A为原点、向量

为X轴正向、

为Y轴正向、

为Z轴正向的矩阵坐标系与相机坐标系之间的旋转变换矩阵R；

S5、根据所述像素坐标和所述旋转变换矩阵R，对包含所述四边形a′b′c′d′的图像进行重投影得到矫正后的图像。

所述步骤S2中根据所述像素坐标I_A、I_B、I_C、I_D采用以下公式确定所述分割比例θ₁、θ₂：

所述步骤S2中，利用矩形邻边垂直的几何特征求解变焦相机的焦距f：

其中，u₀、v₀、a和s为相机内参数矩阵K中与焦距f无关的参数，预先通过对变焦相机进行标定得到；s为图像坐标轴倾斜因子与横向有效焦距的比值，a为图像纵向有效焦距与横向有效焦距的比值，u₀、v₀为图像主点的像素坐标，相机内参数矩阵

所述步骤S3中，采用以下公式计算所述物理坐标P₁、P₂、P₃、P₄：

所述步骤S4中，采用以下公式计算三维投影坐标P_A、P_B、P_C、P_D：

P_A＝tθ₁P₁

P_B＝tθ₂P₂

P_C＝t(1-θ₁)P₃

P_D＝t(1-θ₂)P₄

其中，t为任意正实数。

所述步骤S4中，采用以下公式计算旋转变换矩阵R：

本发明还提供了一种基于矩形结构的变焦相机姿态标定***，包括：

像素坐标获取模块，用于获取将相机视场中的矩形abcd透视投影在相机的成像平面上形成对应的四边形a′b′c′d′各角点的像素坐标I_A＝(u₁，v₁)、I_B＝(u₂，v₂)、I_C＝(u₃，v₃)、I_D＝(u₄，v₄)；

焦距确定模块，用于根据所述像素坐标确定所述四边形a′b′c′d′对角线的分割比例θ₁、θ₂，再结合与焦距f无关的已标定相机内参求解变焦相机的焦距f，从而确定相机内参数矩阵K；其中，四边形a′b＇c＇d＇的对角线交点为Q，θ₁为线段Qc’占a’c’的比例，θ₂为线段Qd’占b’d’的比例；

物理坐标获取模块，用于根据所述相机内参数矩阵K确定所述像素坐标在归一化成像平面上对应的物理坐标P₁、P₂、P₃、P₄；

旋转变换矩阵确定模块，其利用所述四边形a′b′c′d′构建三维空间矩形ABCD，所述三维空间矩形ABCD与所述矩形abcd在成像平面上均对应所述四边形a′b′c′d′；根据所述物理坐标P₁、P₂、P₃、P₄和所述分割比例θ₁、θ₂获取所述矩形ABCD各角点的三维投影坐标P_A、P_B、P_C、P_D，从而确定以点A为原点、向量

为X轴正向、

为Y轴正向、

为Z轴正向的矩阵坐标系与相机坐标系之间的旋转变换矩阵R；

重投影模块，用于根据所述像素坐标和所述旋转变换矩阵R，对包含所述四边形a′b′c′d′的图像进行重投影得到矫正后的图像。

与现有技术相比，本发明只需要相机视场中任意一个矩形的图像信息，而不需要该矩形在三维空间中的任何物理尺寸信息，就可以在很多不容易得知矩形物体尺寸的情况下，都能求解变焦相机的焦距以及进行相机姿态标定，重投影得到矫正后的图像，从而可用于更多的应用场合，具有广泛的适用性。

附图说明

图1为矩形投影示意图；

图2(a)为仿真实验矫正前矩形图像，图2(a)为仿真实验矫正后矩形图像；

图3(a)为本方法仿真实验重投影误差均值曲线图，图3(b)为PNP算法仿真实验重投影误差均值曲线图；

图4(a)为本方法仿真实验重投影误差标准差曲线图；图4(b)为PNP算法仿真实验重投影误差标准差曲线图；

图5为矫正前足球场图像；

图6(a)为本发明矫正后足球场图像，图6(b)为PNP算法矫正后足球场图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供的基于矩形结构的变焦相机姿态标定方法，进一步弱化标定条件，只用相机视场中任意一个矩形的像素信息就可以求解变焦相机的焦距以及相机姿态而不需要知道矩形的任何物理尺寸。

如图1所示，相机视场中三维空间中的一个矩形abcd，经透视投影后，会在相机的成像平面上形成矩形所对应的一个四边形a′b′c′d′。利用相机小孔成像模型和矩形对角线互相平分的几何关系，从成像平面上的四边形a′b′c′d′出发，可以构建出一个三维空间矩形ABCD，该矩形与原三维空间矩形abcd只差一个缩放的比例因子。在与构建的三维空间矩形ABCD所在平面平行的平面对矩形a′b′c′d′进行重投影，即可得到矫正后的矩形，图1中，O为相机焦点，Q’为构建的三维空间矩形ABCD对角线的交点，O、P₁(a’)、A、a共线，O、P₂(b’)、B、b共线，O、P₃(c’)、C、c共线，O、P₄(d’)、D、d共线，O、Q、Q’共线。而重投影需要知道相机的姿态，也即相机的旋转变换矩阵R；利用构建的三维空间矩形ABCD建立矩阵坐标系，即可解算相机坐标系与矩阵坐标系的旋转变换矩阵。若实际应用时相机为变焦相机，在除了焦距以外，其他与焦距无关的参数都标定好的情况下，可利用重建的三维空间矩形ABCD邻边互相垂直的几何关系实时求解焦距，再求解旋转变换矩阵。与传统算法对比，本文提出的方法不需要矩形的物理尺寸，只需一幅包含一个任意摆放的矩形的图像，即可完成相机定标，适用性更广泛。

本发明提供的基于矩形结构的变焦相机姿态标定方法包括以下步骤：

(1)标定相机内参数矩阵K；

相机内参数矩阵K的表达式为

通过标定获取u₀、v₀、a和s的值。

(2)获取图像中矩形a＇b′c′d′各个角点所对应的像素坐标I_A＝(u₁，v₁)、I_B＝(u₂，v₂)、I_C＝(u₃，v₃)、I_D＝(u₄，v₄)；

(3)由像素坐标I_A、I_B、I_C、I_D求四边形a＇b′c＇d＇对角线的分割比例θ₁、θ₂。记Q为四边形a′b′c′d′对角线的交点，则θ₁为线段Qc’占线段a’c’的比例，满足下列等式

Q＝θ₁P₁+(1-θ₁)P₃ (1)；

θ₂为线段Qd’占线段b’d’的比例，满足下列等式

Q＝θ₂P₂+(1-θ₂)P₄ (2)；

其中，P₁、P₂、P₃、P₄为像素坐标I_A、I_B、I_C、I_D在归一化成像平面上所对应的物理坐标。

根据等式(1)和(2)可推导求得θ₁、θ₂：

(4)利用矩形邻边垂直的几何特征求解变焦相机的焦距f：

其中，u₀、v₀、a和s为与焦距f无关的相机内参数，已通过标定获得。

(5)利用所述四边形a′b′c′d′构建三维空间矩形ABCD，其与所述矩形abcd在成像平面上均对应所述四边形a′b′c′d′；

由像素坐标I_A、I_B、I_C、I_D和相机内参数矩阵K，求取矩形ABCD的4个角点在归一化成像平面上所对应的物理坐标P₁、P₂、P₃、P₄：

(6)由物理坐标P₁、P₂、P₃、P₄及分割比例θ₁、θ₂求取四个角点A、B、C、D的三维投影坐标P_A、P_B、P_C、P_D：

P_A＝tθ₁P₁

P_B＝tθ₂P₂

P_C＝t(1-θ₁)P₃

P_D＝t(1-θ₂)P₄

其中，t为任意正实数。

(7)求解以点A为原点、向量

为X轴正向、

为Y轴正向、

为Z轴正向的“矩阵坐标系”与相机坐标系之间的旋转变换矩阵R：

(8)由像素坐标I_A、I_B、I_C、I_D及旋转变换矩阵R，在与构建的三维空间矩形ABCD所在平面平行的平面上对原图像进行重投影，得到矫正后的图像。

与上述方法相应地，本发明还提供了一种基于矩形结构的变焦相机姿态标定***，包括：

像素坐标获取模块，用于获取将相机视场中的矩形abcd透视投影在相机的成像平面上形成对应的四边形a′b′c′d′各角点的像素坐标I_A＝(u₁，v₁)、I_B＝(u₂，v₂)、I_C＝(u₃，v₃)、I_D＝(u₄，v₄)；

焦距确定模块，用于根据所述像素坐标确定所述四边形a′b′c′d′对角线的分割比例θ₁、θ₂，再结合与焦距f无关的已标定相机内参求解变焦相机的焦距f，从而确定相机内参数矩阵K；其中，四边形a′b′c′d′的对角线交点为Q，θ₁为线段Qc’占a’c’的比例，θ₂为线段Qd’占b’d’的比例；

物理坐标获取模块，用于根据所述相机内参数矩阵K确定所述像素坐标在归一化成像平面上对应的物理坐标P₁、P₂、P₃、P₄；

旋转变换矩阵确定模块，其利用所述四边形a′b′c′d′构建三维空间矩形ABCD，所述三维空间矩形ABCD与所述矩形abcd在成像平面上均对应所述四边形a′b′c′d′；根据所述物理坐标P₁、P₂、P₃、P₄和所述分割比例θ₁、θ₂获取所述矩形ABCD各角点的三维投影坐标P_A、P_B、P_C、P_D，从而确定以点A为原点、向量

为X轴正向、

为Y轴正向、

为Z轴正向的矩阵坐标系与相机坐标系之间的旋转变换矩阵R；

重投影模块，用于根据所述像素坐标和所述旋转变换矩阵R，对包含所述四边形a′b′c′d′的图像进行重投影得到矫正后的图像。

实施例一：

下面设计了本发明方法与PNP算法做矩形矫正的对比仿真实验。本方法的仿真实验是在变焦相机内参只有焦距未知的情况下，先通过焦距求解公式求得焦距，再结合已知的相机内参求解相机姿态；对比实验用PNP算法求解相机姿态。

(一)本方法仿真实验

设定相机在世界坐标系中的坐标为P_cam＝(100，50，-1000)^T，矩形四个角点的世界坐标为W₁＝(0，0，0)^T，W₂＝(200，0，0)^T，W₃＝(200，100，0)^T，W₄＝(0，100，0)^T，相机内参矩阵为

x轴旋转角θ_x＝pi/10，y轴旋转角θ_y＝pi/7，z轴旋转角θ_z＝pi/9。上述参数设定完毕后，开始进行实验步骤。

首先利用设定的旋转矩阵和内参矩阵将矩形从世界坐标系转换到图像坐标系，得到矩形四个角点所对应的像素坐标I_A、I_B、I_C、I_D，接下来先求解焦距f，再求四个角点在归一化成像平面上所对应的物理坐标P₁、P₂、P₃、P₄，然后求出旋转矩阵R，得到旋转矩阵后对原图像进行重投影得到矫正后的矩形图像，矫正前后矩形分别参见图2(a)和图2(b)。

对矩形四个角点像素坐标添加均值为0，标准差为0～2个像素点(每次增加0.1个像素点)的高斯噪声，求解焦距和旋转变换矩阵，然后对原图像进行重投影，在每种噪声水平下分别进行500次独立实验，对500次实验的结果求重投影误差均值和标准差，重投影误差均值结果参见图3(a)，重投影误差标准差结果参见图4(a)。

(二)PNP算法仿真实验

PNP算法仿真实验参数与上述实验设计的相同，假设镜头无畸变。将矩形四个角点三维空间坐标、二维像素坐标、摄像头内参及畸变参数代入OpenCV的solvePnP函数，选择CV_ITERATIVE方法进行PNP计算，求得旋转向量和平移向量，接着进行重投影得到矫正后的矩形图像，结果与本发明方法仿真实验结果相同。然后对矩形四个角点像素坐标添加均值为0，标准差为0～2个像素点(每次增加0.1个像素点)的高斯噪声，求解旋转向量和平移向量，然后对原图像进行重投影，在每种噪声水平下分别进行500次独立实验，对500次实验的结果求重投影误差均值和标准差，重投影误差均值结果参见图3(b)，重投影误差标准差结果参见图4(b)。

由图3可以看出，像素偏差标准差在2个像素范围内时，本发明重投影误差均值在5个像素范围内，而PNP算法重投影误差均值在45个像素范围内；由图4可以看出，像素偏差标准差在2个像素范围内时，本发明重投影误差标准差在5个像素范围内，而PNP算法重投影误差标准差在30个像素范围内。因此，本发明提出的求解位姿的方法比PNP算法稳定性更好。

实施例二：

下面利用真实图像对本方法进行验证。

(一)本方法真实图像实验

采用本方法时，先标定与焦距f无关的相机内参，得到相机内参s＝0、a＝1、u₀＝310.61345268494381、v₀＝267.72960205430473。接着提取原图像(参见图5)中足球场的四个角点像素坐标，分别为I_A＝(192，129)^T、I_B＝(455，192)^T、I_C＝(423，348)^T、I_D＝(140，278)^T。然后求得θ₁＝0.522088，θ₂＝0.515549。再求焦距，得f＝702.338，此时可得到相机内参矩阵

接着求4个角点在归一化成像平面上所对应的物理坐标P₁＝(-0.168884，-0.197525，1)^T、P₂＝(0.20558，-0.107825，1)^T、P₃＝(0.160018，0.11429，1)^T、P₄＝(-0.242922，0.0146231，1)^T。然后计算旋转变换矩阵

接着利用warpPerspective()函数对原图像进行透视投影，得到矫正后的图像(参考图6(a))。

(二)PNP算法真实图像实验

仍采用PNP算法作为对比：先标定相机内参，本实验中相机内参使用上述实验内参

假设相机无畸变，矫正前图像参见图5，足球场四个角点的三维空间坐标为：W_s1＝[0，0，0]^T，W_s2＝[105000，0，0]^T，W_s3＝[105000，68000，0]^T，W_s4＝[0，68000，0]^T。从矫正前图像中提取四个角点像素坐标，与上述实验相同，四个角点像素坐标分别为I_A＝(192，129)^T、I_B＝(455，192)^T、I_C＝(423，348)^T、I_D＝(140，278)^T。然后将参数代入OpenCV的solvePnP函数，选择CV_ITERATIVE方法，求得旋转向量

接着利用warpPerspective()函数对原图像进行重投影得到矫正后的矩形图像，参见图6(b)。

图6(a)为本发明方法矫正后的足球场图像，图6(b)为PNP算法矫正后的足球场图像，对比可见两张图像效果相同，本方法不需要知道三维点的相对位置，而PNP算法需要知道三维点的相对位置。由此可见，本发明提供的方法所需要的已知条件比PNP算法更少，却能够达到和PNP算法一样的效果。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于矩形结构的变焦相机姿态标定方法，其特征在于，包括

S1、将相机视场中的矩形abcd透视投影在相机的成像平面上形成对应的四边形a′b′c′d′，获取所述四边形a′b′c′d′各角点的像素坐标I_A＝(u₁，v₁)、I_B＝(u₂，v₂)、I_C＝(u₃，v₃)、I_D＝(u₄，v₄)；

S2、根据所述像素坐标确定所述四边形a′b′c′d′对角线的分割比例θ₁、θ₂，再结合与焦距f无关的已标定相机内参求解变焦相机的焦距f，从而确定相机内参数矩阵K；其中，四边形a′b′c′d′的对角线交点为Q，θ₁为线段Qc’占a’c’的比例，θ₂为线段Qd’占b’d’的比例；

S3、根据所述相机内参数矩阵K，确定所述像素坐标在归一化成像平面上对应的物理坐标P₁、P₂、P₃、P₄；

S4、利用所述四边形a′b′c′d′构建三维空间矩形ABCD，所述三维空间矩形ABCD与所述矩形abcd在成像平面上均对应所述四边形a′b′c′d′；根据所述物理坐标P₁、P₂、P₃、P₄和所述分割比例θ₁、θ₂获取所述矩形ABCD各角点的三维投影坐标P_A、P_B、P_C、P_D，从而确定以点A为原点、向量

为X轴正向、

为Y轴正向、

为Z轴正向的矩阵坐标系与相机坐标系之间的旋转变换矩阵R；

S5、根据所述像素坐标和所述旋转变换矩阵R，对包含所述四边形a′b′c′d′的图像进行重投影得到矫正后的图像。

2.如权利要求1所述的变焦相机姿态标定方法，其特征在于，所述步骤S2中根据所述像素坐标I_A、I_B、I_C、I_D采用以下公式确定所述分割比例θ₁、θ₂：

3.如权利要求1或2所述的变焦相机姿态标定方法，其特征在于，所述步骤S2中，利用矩形邻边垂直的几何特征求解变焦相机的焦距f：

其中，u₀、v₀、a和s为相机内参数矩阵K中与焦距f无关的参数，预先通过对变焦相机进行标定得到；s为图像坐标轴倾斜因子与横向有效焦距的比值，a为图像纵向有效焦距与横向有效焦距的比值，u₀、v₀为图像主点的像素坐标，相机内参数矩阵

4.如权利要求1所述的变焦相机姿态标定方法，其特征在于，所述步骤S3中，采用以下公式计算所述物理坐标P₁、P₂、P₃、P₄：

5.如权利要求1所述的变焦相机姿态标定方法，其特征在于，所述步骤S4中，采用以下公式计算三维投影坐标P_A、P_B、P_C、P_D：

P_A＝tθ₁P₁

P_B＝tθ₂P₂

P_C＝t(1-θ₁)P₃

P_D＝t(1-θ₂)P₄

其中，t为任意正实数。

6.如权利要求1或5所述的变焦相机姿态标定方法，其特征在于，所述步骤S4中，采用以下公式计算旋转变换矩阵R：

7.一种基于矩形结构的变焦相机姿态标定***，其特征在于，包括：

像素坐标获取模块，用于获取将相机视场中的矩形abcd透视投影在相机的成像平面上形成对应的四边形a′b′c′d′各角点的像素坐标I_A＝(u₁，v₁)、I_B＝(u₂，v₂)、I_C＝(u₃，v₃)、I_D＝(u₄，v₄)；

焦距确定模块，用于根据所述像素坐标确定所述四边形a′b′c′d′对角线的分割比例θ₁、θ₂，再结合与焦距f无关的已标定相机内参求解变焦相机的焦距f，从而确定相机内参数矩阵K；其中，四边形a′b′c′d′的对角线交点为Q，θ₁为线段Qc’占a’c’的比例，θ₂为线段Qd’占b’d’的比例；

物理坐标获取模块，用于根据所述相机内参数矩阵K确定所述像素坐标在归一化成像平面上对应的物理坐标P₁、P₂、P₃、P₄；

旋转变换矩阵确定模块，其利用所述四边形a′b′c′d′构建三维空间矩形ABCD，所述三维空间矩形ABCD与所述矩形abcd在成像平面上均对应所述四边形a′b＇c＇d′；根据所述物理坐标P₁、P₂、P₃、P₄和所述分割比例θ₁、θ₂获取所述矩形ABCD各角点的三维投影坐标P_A、P_B、P_C、P_D，从而确定以点A为原点、向量

为X轴正向、

为Y轴正向、

为Z轴正向的矩阵坐标系与相机坐标系之间的旋转变换矩阵R；

重投影模块，用于根据所述像素坐标和所述旋转变换矩阵R，对包含所述四边形a＇b′c′d′的图像进行重投影得到矫正后的图像。

Images