CN106846414A - 一种基于可变标定目标的主动视觉相机标定方法 - Google Patents

Abstract

本发明提供一种基于可变标定目标的主动视觉相机标定方法，本发明采用主动视觉原理，利用已知的标定目标运动信息对相机的内外参数建立线性方程组进行求解；使用本发明的标定方法不仅减少人力，而且提高了标定的效率，提高标定的准确率。

Description

一种基于可变标定目标的主动视觉相机标定方法

技术领域

本发明涉及三维测量和工业检测领域，是一种基于可变标定目标的主动视觉相机标定方法。

背景技术

在三维重建，结构光测量，全景视频获取等各计算机视觉的研究方向中，相机都是重要的测量和图像信号获取手段。准确地标定相机的内外参数是很多计算机视觉研究中的重要步骤。因此，对于相机参数的标定方法的研究一直是计算机视觉领域的一个热门方向。

目前主流的相机标定方法分为三类，分别为传统相机标定方法，相机自标定方法以及主动视觉相机标定方法。与其他两种方法相比，主动视觉相机标定方法在应用的时候一般将相机放置在可精确读取移动以及旋转参数的精密平台上，利用已知的相机移动信息建立关于相机参数的方程，具有标定速度快、可自动化和标定精度高等特点。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种基于可变标定目标的主动视觉相机标定方法，使用本发明的标定方法不仅减少人力，而且提高了标定的效率，提高标定的准确率。

为了实现上述目标，本发明采用如下的技术方案：

一种基于可变标定目标的主动视觉相机标定方法，包括：如下步骤：

步骤一：以液晶面板的左上角为原点建立世界坐标系，面板平面为z＝0平面，z轴向外，记录显示屏中各标定板特征点在世界坐标系中的坐标，用标定相机拍摄显示在液晶面板上的标定板；

步骤二：控制器控制标定板的位置平移运动多次，重复记录各特征点坐标，标定相机重复拍摄标定板；

步骤三：控制器控制旋转装置多次转动，带动固定在旋转装置上的液晶面板也转动，测量转动角，重复步骤一、步骤二，采集标定板各特征点世界坐标系中的坐标以及采集相机拍摄标定板得到的图片；

步骤四：计算相机平移运动的极点坐标；同一相机在不同位置拍摄空间中同一点，得到的该点的不同像素坐标称为对应点，在相差一个常数因子的情况下，通过两个对应点解出基础矩阵F，通过公式Fe＝0解得此平移运动的极点坐标；

步骤五：利用相机的平移运动信息和极点坐标建立方程，计算从世界坐标到相机坐标的相机内外参数，内外参数包括：平移向量t_p，内参数矩阵K和旋转矩阵R_p；

步骤六：将计算得到的内外参数作为初值进行最速下降拟合优化，得到最终结果。

前述的一种基于可变标定目标的主动视觉相机标定方法，步骤三：控制器控制旋转装置多次转动，带动固定在旋转装置上的液晶面板也转动，测量转动角，重复步骤一、步骤二，采集标定板各特征点世界坐标系中的坐标以及采集相机拍摄标定板得到的图片；旋转装置转动次数大于或等于5次。

前述的一种基于可变标定目标的主动视觉相机标定方法，

步骤四：计算相机平移运动的极点坐标；同一相机在不同位置拍摄空间中同一点，得到的该点的不同像素坐标称为对应点，对应点像素坐标分别为m₁和m₂，利用公式在相差一个常数因子的情况下，通过两个对应点解出基础矩阵F，再通过公式Fe＝0解得此平移运动的极点坐标；

前述的一种基于可变标定目标的主动视觉相机标定方法，

步骤五：利用相机的平移运动信息和极点坐标建立方程，计算从世界坐标到相机坐标的相机内外参数，内外参数包括：平移向量t_p，内参数矩阵K和旋转矩阵R_p；

面板中两点的世界坐标为P₁和P₂，其在相机坐标系中的坐标为：

若面板中的点由从P₂移动到P₁，则相当于相机沿向量进行了一次平移运动，此平移运动在相机坐标系中表示为：

由极点与运动向量之间的关系可以得到λ₁e₁＝KR_pT₀，

令A＝KR_p，A有九个未知量，如下所示：

假设平移运动向量T₀＝(t₁₁，t₁₂，t₁₃)，极点坐标为e₁＝(e₁₁，e₁₂，1)；

将A展开为一维的列向量整理得到

在标定板完成两次位置变换之后，需要将液晶面板转动5至10度，使得接下来的运动与前两次运动不在同一平面内；在这一步骤中，需要人为测量液晶面板的转动角度，以便将面板转动后测量得到的标定板位置坐标统一到初始的世界坐标系中；本文提出的方法在标定时利用的是液晶面板中标定板的运动向量Tc，由于向量的平移不变性，液晶面板旋转前后位置的平移变化并不影响标定精度，可简单地设为(0，0，0)；

求解矩阵A后，假设矩阵A、内参数矩阵K和旋转矩阵R_p具有以下形式；

按照下面公式分解矩阵A得到内参数矩阵K和旋转矩阵R_p；

每一点在液晶面板中的坐标，即空间坐标为M，定义相机实际拍摄标定板中特征点的图像坐标为m；解得相机的内矩阵和旋转矩阵后，可得

其中

整理上面各式得到

αt_p1+γt_p2+(u₀-m₁)t_p3＝b₂m₁-αb₁-γb₂-u₀b₃

βt_p2+(v₀-m₂)t_p3＝b₃m₂-βb₂-v₀b₃；

公式中共有三个未知数，每一个空间中点可以建立两个方程，因此至少需要两个空间点来计算平移向量t；

假设液晶面板中标定板共有i个特征点，利用标定得到的参数K，R_p，t_p，由M_i根据公式λm＝K(RM+t)计算得到的图像坐标为定义下面这个函数计算两坐标值之间的差异为：

前述的一种基于可变标定目标的主动视觉相机标定方法，步骤六：将计算得到的内外参数作为初值进行最速下降拟合优化，得到最终结果；最速下降拟合优化的定义为：也称为梯度下降法，要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。具体步骤如下：a)求目标函数梯度；b)向梯度相反的方向移动x；c)循环迭代步骤b，直到目标函数自变量的值变化到使得目标函数取值在两次迭代之间的差值足够小；d)此时，输出自变量，这个自变量就是使得目标函数取值最小时的自变量的取值。

前述的一种基于可变标定目标的主动视觉相机标定方法，旋转装置组成有：连接于液晶面板的转动轴，连接于转动轴并读取转动轴转动角度的读取器。

前述的一种基于可变标定目标的主动视觉相机标定方法，控制器为intelPentium4中央处理器。

本发明的有益之处在于：本发明提供一种基于可变标定目标的主动视觉相机标定方法，本发明采用主动视觉原理，利用已知的标定目标运动信息对相机的内外参数建立线性方程组进行求解；使用本发明的标定方法不仅减少人力，而且提高了标定的效率，提高标定的准确率。

附图说明

图1是本发明标定装置一种实施例的结构示意图；

图2为本发明的液晶面板中标定板平移运动的示意图。

图3为本发明的液晶面板坐标系建立方式与旋转方式示意图。

图4是本发明旋转装置的一种实施例的结构示意图；

图中附图标记的含义：

1液晶面板，2旋转装置，3标定相机，201转动轴，202读取器。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

一种基于可变标定目标的主动视觉相机标定方法，包括：如下步骤：

步骤一：以液晶面板1的左上角为原点建立世界坐标系，面板平面为z＝0平面，z轴向外，记录显示屏中各标定板特征点在世界坐标系中的坐标，用标定相机3拍摄显示在液晶面板1上的标定板。

步骤二：控制器控制标定板的位置平移运动多次，重复记录各特征点坐标，标定相机3重复拍摄标定板。

步骤三：控制器控制旋转装置2多次转动，带动固定在旋转装置2上的液晶面板1也转动，测量转动角，重复步骤一、步骤二，采集标定板各特征点世界坐标系中的坐标以及采集相机拍摄标定板得到的图片；作为一种优选，旋转装置2转动5次以上为宜；需要说明的是：物体的运动是相对的，相机在位置不变的情况下拍摄在液晶面板1中的位置变化的标定板，并且将标定所需要的特征点的选取位置局限在标定板内，可以等效地看作标定板位置不变，相机做了相应地平移运动。液晶面板1中标定板的移动即相当于相机在相反方向完成里一次平移运动。如图2左所示，标定板在液晶面板1中向右平移一段距离，等效于图2右中标定板位置不变，相机平移向左移动相同距离。

步骤三：计算相机平移运动的极点坐标；同一相机在不同位置拍摄空间中同一点，得到的该点的不同像素坐标称为对应点，对应点像素坐标分别为m₁和m₂，利用公式在相差一个常数因子的情况下，通过两个对应点解出基础矩阵F，再通过公式Fe＝0解得此平移运动的极点坐标；

步骤四：利用相机的平移运动信息和极点坐标建立方程，计算从世界坐标到相机坐标的相机内外参数，内外参数包括：平移向量t_p，内参数矩阵K和旋转矩阵R_p；

面板中两点的世界坐标为P₁和P₂，其在相机坐标系中的坐标为：

若面板中的点由从P₂移动到P₁，则相当于相机沿向量进行了一次平移运动，此平移运动在相机坐标系中表示为：

由极点与运动向量之间的关系可以得到λ₁e₁＝KR_pT₀，

令A＝KR_p，A有九个未知量，如下所示：

假设平移运动向量T₀＝(t₁₁，t₁₂，t₁₃)，极点坐标为e₁＝(e₁₁，e₁₂，1)；

将A展开为一维的列向量整理得到

在标定板完成两次位置变换之后，需要将液晶面板1转动5至10度，使得接下来的运动与前两次运动不在同一平面内；在这一步骤中，需要人为测量液晶面板1的转动角度，以便将面板转动后测量得到的标定板位置坐标统一到初始的世界坐标系中；本方法在标定时利用的是液晶面板1中标定板的运动向量T_c，由于向量的平移不变性，液晶面板1旋转前后位置的平移变化并不影响标定精度，可简单地设为(0，0，0)；

求解矩阵A后，假设矩阵A、内参数矩阵K和旋转矩阵R_p具有以下形式；

按照下面公式分解矩阵A得到内参数矩阵K和旋转矩阵R_p；

每一点在液晶面板1中的坐标，即空间坐标为M，定义相机实际拍摄标定板中特征点的图像坐标为m；解得相机的内矩阵和旋转矩阵后，可得

其中

整理上面各式得到

αt_p1+γt_p2+(u₀-m₁)t_p3＝b₂m₁-αb₁-γb₂-u₀b₃

βtp₂+(v₀-m₂)t_p3＝b₃m₂-βb₂-v₀b₃；

公式中共有三个未知数，每一个空间中点可以建立两个方程，因此至少需要两个空间点来计算平移向量t；

假设液晶面板1中标定板共有i个特征点，利用标定得到的参数K，R_p，t_p，由M_i根据公式λm＝K(RM+t)计算得到的图像坐标为定义下面这个函数计算两坐标值之间的差异为：

步骤五：将计算得到的内外参数作为初值进行最速下降拟合优化，得到最终结果。最速下降拟合优化的定义为：也称为梯度下降法，要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。具体步骤如下：a)求目标函数梯度；b)向梯度相反的方向移动x；c)循环迭代步骤b，直到目标函数自变量的值变化到使得目标函数取值在两次迭代之间的差值足够小；d)此时，输出自变量，这个自变量就是使得目标函数取值最小时的自变量的取值。

如图1所示，标定装置组成有：标定相机3，连接于标定相机3的液晶面板1，连接于液晶面板1的旋转装置2。如图4所示，旋转装置2组成有：连接于液晶面板1的转动轴201，连接于转动轴201并读取转动轴201转动角度的读取器202。

作为一种实施例，控制器为intel Pentium 4中央处理器，此为实现本发明的最低配，其他中央处理器能够实现本发明内容的也在本发明的保护范围之内。

与传统的手动标定方法相比，此方法可以在计算机控制的平台下按照安排好的流程进行标定。传统标定方法中，需要预先制作带有一定样式图案的标定板，并在标定过程中不断改变标定板位置与角度，费时费力。本方法中，将标定板图案显示在显示屏中，省去了制作实物标定板的步骤，同时将改变标定板位置的步骤改为变换标定板在显示屏中的显示位置，可以做到瞬间完成，提高了标定速度。

传统的标定板一般采用打印方法制作，打印精度在0.1mm左右，其标定图案不可避免的存在误差。而液晶显示屏幕的像素尺寸在微米级别，因此利用显示器显示的标定板可以将其误差控制在微米精度。另外，传统的标定方法由于标定板移动前后相对位置无法精确测量，在计算得出相机参数的过程中只是利用了标定板上对应点间的关系建立方程，本方法利用位置可控的标定板，将运动参数加入到计算中，提高了标定的准确率。

本发明提供一种基于可变标定目标的主动视觉相机标定方法，本发明采用主动视觉原理，利用已知的标定目标运动信息对相机的内外参数建立线性方程组进行求解；使用本发明的标定方法不仅减少人力，而且提高了标定的效率，提高标定的准确率。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (7)

1.一种基于可变标定目标的主动视觉相机标定方法，其特征在于，包括：如下步骤：

步骤一：以液晶面板的左上角为原点建立世界坐标系，面板平面为z＝0平面，z轴向外，记录显示屏中各标定板特征点在世界坐标系中的坐标，用标定相机拍摄显示在液晶面板上的标定板；

步骤二：控制器控制标定板的位置平移运动多次，重复记录各特征点坐标，标定相机重复拍摄标定板；

步骤三：控制器控制旋转装置多次转动，带动固定在旋转装置上的液晶面板也转动，测量转动角，重复步骤一、步骤二，采集标定板各特征点世界坐标系中的坐标以及采集相机拍摄标定板得到的图片；

步骤四：计算相机平移运动的极点坐标；同一相机在不同位置拍摄空间中同一点，得到的该点的不同像素坐标称为对应点，在相差一个常数因子的情况下，通过两个对应点解出基础矩阵F，通过公式Fe＝C解得此平移运动的极点坐标；

步骤五：利用相机的平移运动信息和极点坐标建立方程，计算从世界坐标到相机坐标的相机内外参数，内外参数包括：平移向量t_p，内参数矩阵K和旋转矩阵R_p；

步骤六：将计算得到的内外参数作为初值进行最速下降拟合优化，得到最终结果。

2.根据权利要求1所述的一种基于可变标定目标的主动视觉相机标定方法，其特征在于，步骤三：控制器控制旋转装置多次转动，带动固定在旋转装置上的液晶面板也转动，测量转动角，重复步骤一、步骤二，采集标定板各特征点世界坐标系中的坐标以及采集相机拍摄标定板得到的图片；旋转装置转动次数大于或等于5次。

3.根据权利要求1所述的一种基于可变标定目标的主动视觉相机标定方法，其特征在于，

步骤四：计算相机平移运动的极点坐标；同一相机在不同位置拍摄空间中同一点，得到的该点的不同像素坐标称为对应点，对应点像素坐标分别为m₁和m₂，利用公式在相差一个常数因子的情况下，通过两个对应点解出基础矩阵F，再通过公式Fe＝0解得此平移运动的极点坐标；

4.根据权利要求1所述的一种基于可变标定目标的主动视觉相机标定方法，其特征在于，

步骤五：利用相机的平移运动信息和极点坐标建立方程，计算从世界坐标到相机坐标的相机内外参数，内外参数包括：平移向量t_p，内参数矩阵K和旋转矩阵R_p；

面板中两点的世界坐标为P₁和P₂，其在相机坐标系中的坐标为：

若面板中的点由从P₂移动到P₁，则相当于相机沿向量进行了一次平移运动，此平移运动在相机坐标系中表示为：

由极点与运动向量之间的关系可以得到λ₁e₁＝KR_pT_o，

令A＝KR_p，A有九个未知量，如下所示：

$A=\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ a_4& a_5& a_6\\ a_7& a_8& a_9\end{array}\right];$

假设平移运动向量T₀＝(t₁₁，t₁₂，t₁₃)，极点坐标为e₁＝(e₁₁，e₁₂，1)；

将A展开为一维的列向量a＝[a₁ a₂ … a₂ a_e]^T，整理得到

$\left[\begin{array}{ccccccccc}{t}_{11}& t_{12}& t_{13}& 0& 0& 0& -t_{11}{e}_{11}& t_{12}{e}_{11}& t_{13}{e}_{11}\\ 0& 0& 0& t_{11}& t_{12}& t_{13}& -t_{11}{e}_{12}& -t_{11}{e}_{12}& -t_{11}{e}_{12}\end{array}\right]a=0;$

在标定板完成两次位置变换之后，需要将液晶面板转动5至10度，使得接下来的运动与前两次运动不在同一平面内；在这一步骤中，需要人为测量液晶面板的转动角度，以便将面板转动后测量得到的标定板位置坐标统一到初始的世界坐标系中；本文提出的方法在标定时利用的是液晶面板中标定板的运动向量T_c，由于向量的平移不变性，液晶面板旋转前后位置的平移变化并不影响标定精度，可简单地设为(0，0，0)；

求解矩阵A后，假设矩阵A、内参数矩阵K和旋转矩阵R_p具有以下形式；

$A=\left[\begin{array}{c}{A}_1\\ A_2\\ A_3\end{array}\right]$

$K=\left[\begin{array}{ccc}{K}_{11}& K_{12}& K_{13}\\ 0& K_{22}& K_{23}\\ 0& 0& K_{33}\end{array}\right]$

$R_p=\left[\begin{array}{c}{R}_1\\ R_2\\ R_3\end{array}\right]$

按照下面公式分解矩阵A得到内参数矩阵K和旋转矩阵R_p；

$K_{33}=\sqrt{A_3{A}_3^T}$

$R_3=\frac{A_1}{K_{33}}$

$K_{23}=R_3{A}_3^T$

$K_{22}=\sqrt{(A_2-K_{23}{R}_3){(A_2-K_{23}{R}_3)}^T}$

$R_2=\frac{A_2-K_{23}{R}_3}{K_{22}}$

$K_{13}=R_3{A}_1^T$

$K_{12}=R_2{A}_1^T$

$K_{11}=\sqrt{(A_1-K_{13}{R}_3-K_{21}{R}_2){(A_1-K_{13}{R}_3-K_{21}{R}_2)}^T}$

$R_1=\frac{(A_1-K_{13}{R}_3-K_{21}{R}_2)}{K_{11}}$

$K=\frac{1}{K_{33}}K;$

每一点在液晶面板中的坐标，即空间坐标为M，定义相机实际拍摄标定板中特征点的图像坐标为m；解得相机的内矩阵和旋转矩阵后，可得

$\mathrm{\λ}\left[\begin{array}{c}{m}_1\\ m_2\\ 1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\α}& \mathrm{\γ}& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{b}_1+t_{p1}\\ b_2+t_{p2}\\ b_3+t_{p3}\end{array}\right];$

其中

$\left[\begin{array}{c}{b}_1+t_1\\ b_2+t_2\\ b_3+t_3\end{array}\right]=RM+t_p$

整理上面各式得到

αt_p1+γt_p2+(u₀-m₁)t_p3＝b₂m₁-αb₁-γb₂-u₀b₃

βt_p2+(v₀-m₂)t_p3＝b₃m₂-βb₂-v₀b₃；

公式中共有三个未知数，每一个空间中点可以建立两个方程，因此至少需要两个空间点来计算平移向量t；

假设液晶面板中标定板共有i个特征点，利用标定得到的参数K，R_p，t_p，由M_i根据公式λm＝K(RM+t)计算得到的图像坐标为定义下面这个目标函数计算两坐标值之间的差异为：

5.根据权利要求1所述的一种基于可变标定目标的主动视觉相机标定方法，其特征在于，

步骤六：将计算得到的内外参数作为初值进行最速下降拟合优化，得到最终结果。最速下降拟合优化的定义为，也称为梯度下降法，要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度或者是近似梯度的反方向的规定步长距离点进行迭代搜索；具体步骤如下：a)求目标函数梯度；b)向梯度相反的方向移动x；c)循环迭代步骤b，直到目标函数自变量的值变化到使得目标函数取值在两次迭代之间的差值足够小；d)此时，输出自变量，这个自变量就是使得目标函数取值最小时的自变量的取值。

6.根据权利要求1所述的一种基于可变标定目标的主动视觉相机标定方法，其特征在于，上述旋转装置组成有：连接于液晶面板的转动轴，连接于上述转动轴并读取转动轴转动角度的读取器。

7.根据权利要求1所述的一种基于可变标定目标的主动视觉相机标定方法，其特征在于，上述控制器为intel Pentium 4中央处理器。