CN102521822B - 一种用于机器视觉自动标定的主动发光式标靶及其标定方法 - Google Patents

Abstract

用于机器视觉自动标定的主动发光式标靶标定方法，采用二维平板式的标靶，标靶上嵌有若干个排列成矩形点阵的发光小灯，所有小灯在水平方向和垂直方向等间距排列，矩形的四个顶点上的四小灯颜色各不相同；每盏小灯由独立的开关控制；标靶的工作模式有放置在远处、近处两种：放置在近处时，标靶上的小灯全部打开；放置在远处时，标靶四角上带有区分性的小灯打开，其余小灯隔行隔列发光；标定步骤是：摄像机在任意选定的不同位置拍摄多组标靶图像，同一位置分别拍摄小灯开启和关闭的图片各一张；使用灰度作差相减的方法处理各组图像去除背景；用灰度重心的方法提取小灯的发光中心点即标定点；将获得数据直接带入摄像机标定算法求得摄像机内外参数。

Description

一种用于机器视觉自动标定的主动发光式标靶及其标定方法

技术领域：

本发明涉及一种可用于机器视觉自动标定的主动发光式标靶及其标定方法，属于计算机视觉领域。

背景技术：

目前机器视觉中摄像机标定方法主要分为传统的标定方法和自标定两种。前者需要利用标定物，其中两步法发展的较为成熟；而自标定则不需要参考标定物，只通过图片序列间的关系求解摄像机参数，但这种方法在稳定性和精度方面尚有不足。

然而要使用传统的标定方法实现摄像机参数的自动标定，核心关键在于能够自动识别标定点。目前较多方案使用的是一有着特定几何形状和颜色的标靶。利用特殊形状中的几何关系和色彩关系设计编写自识别算法，几何形状多用黑白间隔的线条、圆形和阵列点等。但这些方案的普遍缺点是无法消除背景环境的干扰，如果背景中出现与标靶相似的特征图案或是其他带有干扰性的因素，则容易误判标定点或漏判标定点。而且，这种程序算法通常趋于复杂，某些方案对标靶制作要求很高。因此很有必要设计一种成本较低、算法简易、不易受外界环境干扰的方案。

发明内容

本发明的目的是提出一种能够通过简单的过程实现摄像机自动标定的标靶的标定方法。且标靶成本低廉，标定时可过滤标靶背景使提取标定点时不受干扰，能够自动识别和提取出标定点。

本发明的技术方案是：用于机器视觉自动标定的主动发光式标靶及其标定方法，采用二维平板式的标靶，其特征在于标靶上嵌有若干个排列成矩形点阵的发光小灯，所有小灯在水平方向和垂直方向等间距排列，矩形的四个顶点上的小灯带有区分性，其颜色各不相同，其余的小灯颜色一致但不与四角上小灯颜色相同；每盏小灯由独立的开关控制；标靶的工作模式有放置在远处、近处两种：放置在近处时，标靶上的小灯全部打开；放置在远处时，标靶四角上带有区分性的小灯打开，其余小灯隔行隔列发光。

标定步骤是：在任意选定的不同位置拍摄多组标靶图像，同一位置分别拍摄小灯开启和关闭的图片各一张；使用灰度作差相减的方法处理各组图像去除背景；使用灰度重心的方法提取出图像中小灯的发光中心点；建立统一方向的世界坐标系，计算全部小灯的世界坐标；最后将计算结果直接带入摄像机标定算法，解得摄像机的内部参数和外部参数，其中内部参数为焦距、像素比例因子、水平、垂直像素单位长度和主点坐标；外部参数为世界坐标系与摄像机坐标系之间的旋转和位移关系。

使用本发明的标靶进行摄像机自动标定的方法包括，

步骤一：放置标靶在摄像机视野里的不同位置，拍摄多组彩色图像。每个位置分别拍摄小灯开启和关闭的图片各一张。

步骤二：处理每组图片，得到没有背景仅剩小灯光点的标靶图片。该图上每点的灰度值为亮灯图片在此点的灰度值减去灭灯图片在此点的灰度值。

步骤三：将所得图片进行阀值分割，去除小灯附近的散射光圈。

步骤四：针对每个光点，使用灰度重心的方法计算其发光的重心点。假设小灯发光光强对称，所以此时的重心点就是小灯的几何中心点。使用灰度重心法公式：

其中x，y是图像坐标系上的点，f(x，y)是这点的灰度值，x1，y1是重心点坐标，计算全部光点的中心点，得到图像坐标系下的全部标定点坐标。

步骤五：利用标靶上四角小灯为不同颜色的特点来建立方向统一的世界坐标系，小灯的世界坐标可以通过测量实际距离原点的尺寸获得。计算全部小灯的世界坐标，得到世界坐标系下得全部数据。

摄像机的成像模型通常以近似为针孔模型。以标靶的一顶点为原点，标靶平面为O_wX_wY_w平面建立世界坐标系O_wX_wY_wZ_w。以摄像机中心O_c为原点，建立摄像机坐标系O_cX_cY_cZ_c。以图像的左上顶点O为原点，建立图像坐标系O₀U₀V₀。若P为标靶上任一点，其在世界坐标系下的坐标为P_w(x_w，y_w，z_w)，在摄像机坐标系下得坐标为P_c(x_c，y_c，z_c)，在图像坐标系下坐标为P₀(x₀，y₀)。则世界坐标系和图像坐标系的对应关系为：

$S\left[\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right]=A\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=A\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\α}& c& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(1\right)$

其中s为比例系数。矩阵[R T]称为外部参数，其中R和T分别表示世界坐标系和摄像机坐标系的旋转矩阵和平移矩阵。矩阵A称为内部参数，其中(u₀，v₀)为光轴与图像坐标系的交点即主点坐标，α和β分别为摄像机在x、y方向上的归一化焦距，c为摄像机x轴和y轴之间的不垂直因子。

步骤六：将步骤五得到的世界坐标系、图像坐标系下的标定点坐标数据带入张正友两步法的标定算法中，计算出摄像机的内外参数。

本发明设计了一种主动发光式的标靶。使用该标靶标定时，可通过图像作差去除背景，采用判断图片灰度值大小的方法确定标靶的标定点，代入标定算法中完成摄像机的自动标定。

本发明的有益效果是：通过简单的方法实现摄像机自动标定的标靶。得到摄像机的精确的内外参数，且设置的标靶成本低廉，标定时可过滤标靶背景使提取标定点时不受干扰，能够自动识别和提取出标定点。

附图说明

图1为摄像机小孔透视变换原理图。

图2为标靶的示意图。

图3为标靶在远处工作的示意图。

具体实施方案

本发明设计的标靶上嵌有若干个排列成矩形点阵的发光小灯，例如行列分布为9x11。所有小灯在水平方向和垂直方向等间距排列，矩形的四个顶点上的小灯带有区分性，其颜色各不相同，其余小灯颜色一致但不与四角上小灯颜色相同。每盏小灯由独立的开关控制，后期可由程序控制阵列中小灯的开关。

具体标定过程如下：

步骤一：将标靶放置在摄像机视野里的不同位置，拍摄多组彩色图像。每个位置分别拍摄小灯开启和关闭的图片各一张。拍摄时，用总开关控制小灯，每组图片中标靶的位置保持不变。

步骤二：、先把彩色图片转换成灰度图片，然后令每组中两张图片灰度相减。程序为：遍历整张图片，新图片中每点的灰度值为这两张图片在相应点上灰度值相减的绝对值。这一步去除了两张标靶图片中相同的背景，新图片上只剩阵列型的小灯。

步骤三：对新图片进行阀值分割：即遍历图片，坐标点的灰度值若小于给定的阀值，就置零；若大于等于，则保持不变。这一步去除了小灯附近的散射光圈。

步骤四：针对每个光点，使用灰度重心的方法计算其发光的重心点。假设小灯发光光强对称，所以此时的重心点就是小灯的几何中心点。使用灰度重心法公式：

其中x，y是图像的坐标系上的点，f(x，y)是这点的灰度值，x1，y1是重心点坐标。计算全部光点的中心点，得到图像坐标系下的全部标定点(光点)的坐标。

步骤五：计算标定点在世界坐标系下坐标，分为两步：1.建立统一的世界坐标系。判断原始图片中四角led灯的颜色，若四角小灯的颜色为红、黄、绿、白，则每张图片统一以红色led灯为原点，红、绿led灯所在直线为x轴，红、黄led灯所在直线为y轴，以右手定则的方向确定z轴，建立世界坐标系。2.计算每个led灯在世界坐标系中得坐标。led灯坐标在z方向上全部为0，在x、y方向的值即为距离原点的实际尺寸大小。这一步得到世界坐标系下的全部标定点(光点)坐标。

步骤六：将世界坐标系、图像坐标系下得数据带入张正友两步法的标定算法中，计算出摄像机的参数。

摄像机的成像模型通常以近似为针孔模型。以标靶的一顶点为原点，标靶平面为O_wX_wY_w平面建立世界坐标系O_wX_wY_wZ_w。以摄像机中心O_c为原点，建立摄像机坐标系O_cX_cY_cZ_c。以图像的左上顶点O为原点，建立图像坐标系O₀U₀V₀。若P为标靶上任一点，其在世界坐标系下的坐标为P_w(x_w，y_w，z_w)，在摄像机坐标系下得坐标为P_c(x_c，y_c，z_c)，在图像坐标系下坐标为P₀(x₀，y₀)。则世界坐标系和图像坐标系的对应关系为：

$S\left[\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right]=A\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=A\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\α}& c& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(1\right)$

其中s为比例系数。矩阵[R T]称为外部参数，其中R和T分别表示世界坐标系和摄像机坐标系的旋转矩阵和平移矩阵。矩阵A称为内部参数，其中(u₀，v₀)为光轴与图像坐标系的交点即主点坐标，α和β分别为摄像机在x、y方向上的归一化焦距，c为摄像机x轴和y轴之间的不垂直因子。

具体的标定算法如下：

单应矩阵H为：

$H=A\left[\begin{array}{cc}R& T\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\α}& c& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& T\end{array}\right]={\left[\begin{array}{ccc}{h_1}^T& {h_2}^T& {h_3}^T\end{array}\right]}^T---\left(2\right)$

如果一个标定光点在世界坐标系下得坐标为M＝[x_w，y_w，1]^I，实测的图像坐标系下坐标为m＝[u，v，1]^T，重投影计算的图像坐标为m’＝[u′，v’，1]^T，则有：

$m^{\′}=\frac{1}{{h_3}^{T}M}\left[\begin{array}{c}{h_1}^{T}M\\ {h_2}^{T}M\end{array}\right]---\left(3\right)$

假设m和m’之间的误差服从正态分布，则单应矩阵H的估计应使如(4)式的似然函数达到最大。

$\frac{1}{\mathrm{\Π}\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{1}{2}\mathrm{\Σ}\frac{{\left|\right|m-m^{\′}\left|\right|}^2}{{\mathrm{\σ}}^2}}---\left(4\right)$

如果认为σ值对于全部参考点都相等，则对H的估计转化成非线性最小化问题：

min∑||m-m′||²    (5)

由(1)式和r1和r3之间的垂直正交性，可得：

h₁ ^TA^-TA^-1h₂＝0            (6)

h₁ ^TA^-TA^-1h₁＝h₂ ^TA^-TA^-1h₂  (7)

令

$B=A^{-T}{A}^{-1}=\left[\begin{array}{ccc}{B}_{11}& B_{12}& B_{13}\\ B_{21}& B_{22}& B_{23}\\ B_{31}& B_{32}& B_{33}\end{array}\right]=$

$\left[\begin{array}{ccc}\frac{1}{{\mathrm{\α}}^2}& -\frac{c}{{\mathrm{\α}}^2\mathrm{\β}}& \frac{{\mathrm{cv}}_{\mathrm{\α}}-u_{\mathrm{\α\β}}}{{\mathrm{\α}}^2\mathrm{\β}}\\ -\frac{c}{{\mathrm{\α}}^2\mathrm{\β}}& \frac{c^2}{{\mathrm{\α}}^2{\mathrm{\β}}^2}+\frac{1}{{\mathrm{\β}}^2}& -\frac{c(c{v}_{\mathrm{\α}}-u_{\mathrm{\α\β}})}{{\mathrm{\α}}^2{\mathrm{\β}}^2}-\frac{v_{\mathrm{\α}}}{{\mathrm{\β}}^2}\\ \frac{{\mathrm{cv}}_{\mathrm{\α}}-u_{\mathrm{\α\β}}}{{\mathrm{\α}}^2\mathrm{\β}}& -\frac{c({\mathrm{cv}}_{\mathrm{\α}}-u_{\mathrm{\α\β}})}{{\mathrm{\α}}^2{\mathrm{\β}}^2}-\frac{v_{\mathrm{\α}}}{{\mathrm{\β}}^2}& \frac{{({\mathrm{cv}}_{\mathrm{\α}}-u_{\mathrm{\α\β}})}^2}{{\mathrm{\α}}^2{\mathrm{\β}}^2}+\frac{{v_{\mathrm{\α}}}^2}{{\mathrm{\β}}^2}+1\end{array}\right]---\left(8\right)$

设向量b为：

B＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]    (9)

则有：

h_i ^TB_h ⁱ＝v_ij ^Tb                   (10)

其中

vij＝[h_i1h_j1h_i1h_j2+h_i2h_j1h_i2h_j2h_i3h_j1+h_i1h_j3h_i1h_j3+h_i3h_j2h_i3h_j3]^T    (11)

h_i＝[h_i1h_i2h_i3]^T                                                     (12)

联立(8)和(12)可得：

$\left[\begin{array}{c}{v_{12}}^T\\ {(v_{11}-v_{12})}^T\end{array}\right]*b=0---\left(13\right)$

拍摄m幅图片，得到m个如(13)式的方程，联立得：

Vb＝0    (14)

解得b后，内部参数矩阵A为：

$\left\{\begin{array}{c}{v}_0=(B_{12}{B}_{13}-B_{11}{B}_{23})/(B_{11}{B}_{12}-{B_{12}}^2)\\ \mathrm{\λ}=B_{33}-[{B_{13}}^2+v_0(B_{12}{B}_{13}-B_{11}{B}_{23})]/B_{11}\\ \mathrm{\α}=\sqrt{\mathrm{\λ}/B_{11}}\\ \begin{array}{c}\mathrm{\β}=\sqrt{\frac{{\mathrm{\λB}}_{11}}{B_{11}{B}_{12}}-{B_{12}}^2}\\ u_0=-B_{13}{\mathrm{\α}}^2/\mathrm{\λ}\end{array}\end{array}\right.---\left(15\right)$

求解A后，外部参数为：

$\left\{\begin{array}{c}{r}_1=\mathrm{\λ}{A}^{-1}{h}_1\\ r_2=\mathrm{\λ}{A}^{-1}{h}_2\\ r_3=r_1\×r_2\\ T=\mathrm{\λ}{A}^{-1}{h}_2\\ \mathrm{\λ}=\frac{1}{\left|\right|A^{-1}{h}_1\left|\right|}=\frac{1}{\left|\right|A^{-1}{h}_2\left|\right|}\end{array}\right.---\left(16\right).$

Claims (1)

1.一种用于机器视觉自动标定的主动发光式标靶标定方法，采用二维平板式的标靶，其特征在于标靶上嵌有若干个排列成矩形点阵的发光小灯，所有小灯在水平方向和垂直方向等间距排列，矩形的四个顶点上的四小灯颜色各不相同，其余的小灯颜色一致但不与四角上小灯颜色相同；每盏小灯由独立的开关控制；标靶的工作模式有放置在远处、近处两种：放置在近处时，标靶上的小灯全部打开；放置在远处时，标靶四角上带有区分性的小灯打开，其余小灯隔行隔列发光；

标定步骤是：摄像机在任意选定的不同位置拍摄多组标靶图像，同一位置分别拍摄小灯开启和关闭的图片各一张；使用灰度作差相减的方法处理各组图像去除背景；使用灰度重心的方法提取出图像中小灯的发光中心点；建立统一方向的世界坐标系，计算全部小灯的世界坐标；最后将计算结果直接代入摄像机标定算法，解得摄像机的内部参数和外部参数，其中内部参数为焦距、像素比例因子、水平、垂直像素单位长度和主点坐标；外部参数为世界坐标系与摄像机坐标系之间的旋转和位移关系；

步骤一：放置标靶在摄像机视野里的不同位置，拍摄多组彩色图像；每组图片是在每个位置分别拍摄小灯开启和关闭的图片各一张；

步骤二：处理每组图片，得到没有背景仅剩小灯光点的标靶图片；该图上每点的灰度值为亮灯图片在此点的灰度值减去灭灯图片在此点的灰度值；

步骤三：将所得图片进行阈值分割，去除小灯附近的散射光圈；

步骤四：针对每个光点，使用灰度重心的方法计算其发光的重心点；假设小灯发光光强对称，所以此时的重心点就是小灯的几何中心点；使用灰度重心法公式：

其中x，y是图像坐标系上的点，f(x，y)是这点的灰度值，x1，y1是重心点坐标；计算全部光点的中心点，得到图像坐标系下的全部标定点坐标；

步骤五：利用标靶上四角小灯为不同颜色的特点来建立方向统一的世界坐标系，小灯的世界坐标通过测量实际距离原点的尺寸获得；计算全部小灯的世界坐标，得到世界坐标系下的全部数据；

摄像机的成像近似为针孔模型：以标靶的一顶点为原点，标靶平面为O_wX_wY_w平面建立世界坐标系O_wX_wY_wZ_w；以摄像机中心O_c为原点，建立摄像机坐标系O_cX_cY_cZ_c；以图像的左上顶点O为原点，建立图像坐标系OU₀V₀；若P为标靶上任一点，其在世界坐标系下的坐标为P_w(x_w,y_w,z_w)，在摄像机坐标系下的坐标为P_c(x_c,y_c,z_c)，在图像坐标系下坐标为P₀(x₀,y₀)；则世界坐标系和图像坐标系的对应关系为：

$S\left[\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right]=A\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=A\left[\mathrm{RT}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\α}& c& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right]\left[\mathrm{RT}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$ (1)

其中S为比例系数；矩阵[R T]称为外部参数，其中R和T分别表示世界坐标系和摄像机坐标系的旋转矩阵和平移矩阵；矩阵A称为内部参数，其中(u₀,v₀)为光轴与图像坐标系的交点即主点坐标，α和β分别为摄像机在x、y方向上的归一化焦距，c为摄像机x轴和y轴之间的不垂直因子；

步骤六：采用步骤五得到的世界坐标系、图像坐标系下的标定点坐标数据计算出摄像机的内外参数。

Images