CN102692214B - 一种狭窄空间双目视觉测量定位装置及方法 - Google Patents

Abstract

本发明提出一种狭窄空间双目视觉测量定位装置及方法，适用于狭窄空间的装配、故障分析等相关技术领域，该视觉测量定位装置包括双目视觉平台和视觉测量终端，其中双目视觉平台选择基于空间四自由度的双目摄像机的视觉平台，视觉测量终端共有两组，每组视觉测量终端均有摄像机、激光器和伸缩标定板构成，两组视觉测量终端分别轴向对称的安装在双目视觉平台的两个运动转动轴上。本发明提出的一种狭窄空间双目视觉测量定位装置及方法，将视觉测量终端安装在四自由度测量平台的转动轴上，平台活动自由，测量终端安装灵活，能进行狭窄空间图像获取；且能应用于成像环境差的特殊环境，更适用于狭窄空间的目标测量，是一种有效的视觉测量实现方法。

Description

一种狭窄空间双目视觉测量定位装置及方法

技术领域

本发明涉及一种双目视觉精确测量定位装置及方法，特别适用于狭窄空间目标测量定位，可用于狭窄空间的装配、故障分析等相关技术领域。

背景技术

视觉测量定位技术以图像为信息的载体，和计算机技术紧密结合，具有非接触、全方位快速测量定位、高精度等特点，己被广泛应用于各种测量任务中。双目视觉测量定位是通过由两台摄像机组成的立体视觉***，模拟人的视觉方式，根据三角测量原理，利用对应点的视差，对获得图像进行变换、匹配与重构，可反求出视野范围内物体的立体信息。由于被动立体视觉反求***具有设备简单、操作方便、物体空间尺寸限制少等特点，为国内外学者专家所关注，并在立体视觉标定技术、影像中立体匹配技术等方面进行了大量的研究。在狭窄空间双目视觉中，双目摄像机的立体标定以及对应点的精确匹配问题，一直受到广泛关注，是狭窄空间双目视觉中的技术关键与难点所在。因此研究一种能直接在狭窄空间内对双目摄像机的立体标定和精确匹配的双目视觉测量定位方法对狭窄空间中测量、检测、装配等实际操作的具有重要意义。

发明内容

针对现有技术中狭窄空间摄像机标定困难，图像质量差、匹配精度低，处理速度慢的问题，本发明提出一种狭窄空间双目视觉测量定位装置及方法。通过将视觉测量终端安装在四自由度测量平台的转动轴上，平台活动自由，测量终端安装灵活，能进行狭窄空间图像获取，本发明的测量定位方法能应用于成像环境差的特殊环境，更适用于狭窄空间的目标测量，是一种有效的视觉测量实现方法。

本发明提出一种狭窄空间双目视觉测量定位装置，包括双目视觉平台和视觉测量终端，其中双目视觉平台选择基于空间四自由度的双目摄像机的视觉平台，视觉测量终端共有两组，每组视觉测量终端均有摄像机、激光器和伸缩标定板构成，两组视觉测量终端分别轴向对称的安装在双目视觉平台的两个运动转动轴上；基于空间四自由度的双目摄像机的视觉平台四个自由度分别为平台回转运动、平台俯仰运动的2个自由度以及视觉测量终端转动轴转动的2个自由度。

视觉测量终端的最下端通过固定件固定摄像机，摄像机的上方通过固定件固定激光器，激光器的上方通过固定件安装伸缩标定板，伸缩标定板由收缩支撑杆、收缩旋转杆和棋牌格标定板组成，其中收缩支撑杆一端与固定件固定，使收缩支撑杆垂直于摄像机的镜头方向，另一端通过电机转轴与收缩旋转杆的一端连接，收缩旋转杆的另一端通过电机转轴与棋牌格标定板连接；摄像机、激光器和伸缩标定板通过固定件固定在钢片上；两组视觉测量终端分别安装在相应的钢片上，两个钢片再分别与基于空间四自由度的双目摄像机的视觉平台的转动运动轴相连接，实现视觉测量终端与视觉平台的连接。

本发明提出一种狭窄空间双目视觉测量定位方法，具体包括以下几个步骤：

步骤一、摄像机实时标定

（1）标定图像的获取

当视觉测量终端在狭窄空间中进行视觉测量定位时，通过对伸缩棋牌格标定板的收缩旋转杆折叠展开的控制，将收缩旋转杆展开，同时展开棋牌格标定板，激光器和摄像机工作，激光器发出激光投射到棋牌格标定板上，摄像机获取有激光投射的棋牌格标定板图像；

根据摄像机成像几何关系，o点为摄像机光心，X_c轴和Y_c轴与图像的坐标系中的X轴和Y轴相平行，Z_c轴为摄像机光轴与直角X_W,Y_W,Z_W坐标系中的Z_W轴重合，光轴与图像平面的交点o′为图像坐标系的原点，X_W,Y_W,Z_W构成的坐标系为世界坐标系，X_c,Y_c,Z_c,o组成的坐标系为摄像机坐标系，X,Y,o′构成的坐标系为图像坐标系，o′与o的连线长度为摄像机的焦距f；

狭窄空间视觉测量中摄像机成像模型为针孔模型，棋牌格标定板面上的点在测量选定的世界坐标系中的表示为P_i(x_w,y_w,z_w)(i＝1,2,...)，i表示是棋牌格上的第几个点，w表示该点是以世界坐标系为参考坐标系；p_i(u,v)(i＝1,2,...)表示对应的P_i(x_w,y_w,z_w)(i＝1,2,...)在成像面上的所成相的像素，其中每一点的坐标(u,v)分别是该像素在整幅图像中所处的行数和列数，待标定的摄像机和激光器工作，激光器发出激光投射到棋牌格标定板上，摄像机获取有激光投射的棋牌格标定板图像；

（2）世界坐标系中的点与该点在摄像机坐标系中的点的关系

设空间中某一点在世界坐标系的位置为P_W＝(x_w,y_w,z_w)^T，在摄像机坐标系中的坐标为P＝(x,y,z)^T，则有关系式

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{cc}R& t\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]---\left(1\right)$

将公式（1）用齐次坐标表示为

$\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=M_1\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(2\right)$

其中M₁表示世界坐标系到摄像机坐标系的变换矩阵，R为旋转矩阵，表示点P_w＝(x_w,y_w,z_w)^T在欧式空间的姿态变换，3×3的正交矩阵，共有9个参数：

$R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]---\left(3\right)$

其中r_ij表示世界坐标系i轴与摄像机坐标系j轴的夹角的余弦值，i轴取X_W,Y_W或Z_W，j轴取X_c,Y_c或Z_c；公式（3）中的9个参数之间存在以下约束：

$\left\{\begin{array}{c}{r}_{11}^2+r_{12}^2+r_{13}^2=1\\ r_{21}^2+r_{22}^2+r_{23}^2=1\\ r_{31}^2+r_{32}^2+r_{33}^2=1\\ r_{11}{r}_{21}+r_{12}{r}_{22}+r_{13}{r}_{23}=1\\ r_{11}{r}_{31}+r_{12}{r}_{32}+r_{13}{r}_{33}=1\\ r_{31}{r}_{21}+r_{32}{r}_{22}+r_{33}{r}_{23}=1\end{array}\right.---\left(4\right)$

t＝(t_x,t_y,t_z)^T为三维向量，表示点P_w＝(x_w,y_w,z_w)^T在空间沿X_W轴、Y_W轴、Z_W的平移向量；

（3）世界坐标系中的点与该点在图像坐标系中对应点的关系

摄像机所拍摄的图像经过摄像机内图像采集***转化为数字图像，数字图像在计算机内用一个m×n大小的数组来表示，m行n列中每一个元素的值为图像点的亮度，在图像坐标系中坐标(u，v)分别表示像素在数组中所在的行和列，因此得到的坐标系是以像素为单位的图像坐标系，以o′点为原点，X轴，Y轴分别与u,v轴平行，将o′定义在摄像机光轴与图像平面的交点，o′点在u,v坐标系中的坐标为(u_o,v_o)；

每一个像素在X,Y物理坐标系下的大小为dX，dY，得到u,v与X,Y和(u_o,v_o)换算关系为

$\left\{\begin{array}{c}u=\frac{X}{\mathrm{dX}}+u_0\\ v=\frac{Y}{\mathrm{dY}}+v_0\end{array}\right.---\left(5\right)$

公式（5）使用坐标与矩阵形式表达为

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dX}}& 0& u_0\\ 0& \frac{1}{\mathrm{dY}}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]---\left(6\right)$

世界坐标系中的点P_w＝(x_w,y_w,z_w)^T到图像坐标系中的点p(u,v)的坐标转换关系为：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dX}}& 0& u_0\\ 0& \frac{1}{\mathrm{dY}}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(7\right)$

$=\left[\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=M_1{M}_2\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=M\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

其中，α_x为u轴上的尺度因子，α_y为v轴上的尺度因子，M为3×4的投影矩阵，M₁为摄像机内部参数；M₂为摄像机的外部参数，s是坐标转换的尺度因子；

（4）、摄像机的实时标定参数的计算

采用棋牌格标定板作为标定物，摄像机获取棋牌格标定板的图像，标定计算处理的过程具体为：

首先，将世界坐标建立在棋牌格所在的欧氏平面上，世界坐标系中棋牌格第一个顶点为P₁＝[0,0,0]^T，第二个顶点为P₂＝[0,1,0]^T，第三个点为P₃＝[1,1,0]^T，第四个点为P₄＝[0,1,0]^T，根据棋牌格的尺寸参数另外选取8个点：P₅＝[0,0.5,0]^T，P₆＝[0.5,0,0]^T，P₇＝[0.5,1,0]^T，P₈＝[1,0.5,0]^T，P₉＝[0.5,0.5,0]^T，P₁₀＝[0,0.25,0]^T，P₁₁＝[0.25,0,0]^T，P₁₂＝[0.25,0.25,0]^T；

其次，采用图像处理当中特征点的提取方法，提取棋牌格四个角顶点及对应选取的其它点在图像平面上的二维点像素坐标；第一个点为p₁＝[u₁,v₁]^T，第二个点为p₂＝[u₂,v₂]^T，第三个点为p₃＝[u₃,v₃]^T，第二个点为p₄＝[u₄,v₄]^T。其它8个点：p₅＝[u₅,v₅]^T，p₆＝[u₆,v₆]^T，p₇＝[u₇,v₇]^T，p₈＝[u₈,v₈]^T，p₉＝[u₉,v₉]^T，p₁₀＝[u₁₀,v₁₀]^T，p₁₁＝[u₁₁,v₁₁]^T，p₁₂＝[u₁₂,v₁₂]^T；

再次，计算待标定的空间点P₁,P₂,P₃,P₄…P₁₂与图像点p₁,p₂,p₃,p₄…p₁₂之间的映射关系，将第一个点为P₁＝[0,0,0]^T和第一个点为p₁＝[u₁,v₁]^T代入公式（7）得到一个方程，然后依次分别将P₂,p₂;P₃,p₃…P₁₂,p₁₂代入公式（7），得到12个方程；

最后，求解由12个棋牌格上的标定点所得到的12个方程与公式（6）旋转矩阵R的每个元素的约束方程相联立的方程组，求解出摄像机的参数矩阵式M，通过对棋牌格标定板的控制使得其回复到初始状态；

$M=M_1{M}_2=\left[\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\×\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]$

$=\left[\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\×\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right]---\left(8\right)$

$=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]$

其中m_ij由摄像机内部参数（α_x,α_y,u₀,v₀）和外部参数（r_ij,t_x,t_y,t_z）矩阵根据矩阵的乘法得到；

通过上述步骤计算分别得到左侧摄像机和右侧摄像机的标定矩阵M_L、M_R：

$M_L=\left[\begin{array}{cccc}{m}_{11}^L& m_{12}^L& m_{13}^L& m_{14}^L\\ m_{21}^L& m_{22}^L& m_{23}^L& m_{24}^L\\ m_{31}^L& m_{32}^L& m_{33}^L& m_{34}^L\end{array}\right],$ $M_R=\left[\begin{array}{cccc}{m}_{11}^R& m_{12}^R& m_{13}^R& m_{14}^R\\ m_{21}^{\text{R}}& m_{22}^R& m_{23}^R& m_{24}^R\\ m_{31}^R& m_{32}^R& m_{33}^R& m_{34}^R\end{array}\right]---\left(9\right)$

其中由左摄像机内部参数和外部参数矩阵根据矩阵的乘法得到，由右摄像机内部参数和外部参数矩阵根据矩阵的乘法得到；

步骤二、基于激光的双目立体匹配与测量

测量定位终端的左右摄像机实时标定完成后，根据双目横向会聚模式的双目视觉测量原理，实际狭窄空间被测目标表面的一点P_w，在左摄像机中成的像为p_L，右摄像机中成的像为p_R，利用图像检测方法检测出在左摄像机点p_L的坐标，在右摄像机点p_R的坐标，然后利用该坐标求出点P_w的坐标；

采用激光双目图像匹配，采取在CCD摄象机上方加装激光源发出的光照射到目标物体上，形成高噪音比的点，利用高噪音比的点很容易在两幅二维图象中找出匹配点，完成空间点的匹配，目标物体放在视场中，两个激光器照在目标物体上的光相交为点N，可以利用两激光照在物体表面上的交点不在物体表面的方法进行分析；

N不在物体表面上，而是与物体表面分别相交于N₁和N₂点，当交点在物体表面时，N₁和N₂重合为一点，在左右成像平面上的投影分别是N_1L、N_1R、N_2L、N_2R。M点为两摄像机光轴的交点，F_L和F_R分别为两摄像机光学镜头的焦点；

通过N_1L、N_1R、N_2L、N_2R确定N₁和N₂点在世界坐标系中的位置，确定N₁点在世界坐标系中位置；

N_1L、N_1R的坐标分别为(u_1L,v_1L),(u_1R,v_1R)，由公式（7）和公式（9）得到：

$\left\{\begin{array}{c}(u_{L1}{m}_{31}^L-m_{11}^L)x_w+(u_{L1}{m}_{32}^L-m_{12}^L)y_w+(u_{L1}{m}_{33}^L-m_{13}^L)z_w=m_{14}^L-u_{L1}{m}_{34}^L\\ (v_{L1}{m}_{31}^L-m_{21}^L)x_w+(v_{L1}{m}_{32}^L-m_{22}^L)y_w+(v_{L1}{m}_{33}^L-m_{23}^L)z_w=m_{24}^L-v_{L1}{m}_{34}^L\end{array}\right.---\left(10\right)$

$\left\{\begin{array}{c}(u_{R1}{m}_{31}^R-m_{11}^R)x_w+(u_{R1}{m}_{32}^R-m_{12}^R)y_w+(u_{R1}{m}_{33}^R-m_{13}^R)z_w=m_{14}^R-u_{R1}{m}_{34}^R\\ (v_{R1}{m}_{31}^R-m_{21}^R)x_w+(v_{R1}{m}_{32}^R-m_{22}^R)y_w+(v_{R1}{m}_{33}^R-m_{23}^R)z_w=m_{24}^R-v_{R1}{m}_{34}^R\end{array}\right.---\left(11\right)$

由公式（10）消去x_w得：

$(\frac{u_{L1}{m}_{32}^L-m_{12}^L}{u_{L1}{m}_{31}^L-m_{11}^L}-\frac{v_{L1}{m}_{32}^L-m_{22}^L}{v_{L1}{m}_{31}^L-m_{21}^L})y_w+(\frac{u_{L1}{m}_{33}^L-m_{13}^L}{u_{L1}{m}_{31}^L-m_{11}^L}-\frac{v_{L1}{m}_{33}^L-m_{23}^L}{v_{L1}{m}_{31}^L-m_{21}^L})z_w+\frac{u_{L1}{m}_{34}^L-m_{14}^L}{u_{L1}{m}_{31}^L-m_{11}^L}-\frac{v_{L1}{m}_{34}^L-m_{24}^L}{v_{L1}{m}_{31}^L-m_{21}^L}=0---\left(12\right)$

公式（12）为过射线且平行于x_w轴的平面π_L的方程；

由公式（11）消去x_w得：

$(\frac{u_{R1}{m}_{32}^R-m_{12}^R}{u_{R1}{m}_{31}^R-m_{11}^R}-\frac{v_{R1}{m}_{32}^R-m_{22}^R}{v_{R1}{m}_{31}^R-m_{21}^R})y_w+(\frac{u_{R1}{m}_{33}^R-m_{13}^R}{u_{R1}{m}_{31}^R-m_{11}^R}-\frac{v_{R1}{m}_{33}^R-m_{23}^R}{v_{R1}{m}_{31}^R-m_{21}^R})z_w+\frac{u_{R1}{m}_{34}^R-m_{14}^R}{u_{R1}{m}_{31}^R-m_{11}^R}-\frac{v_{R1}{m}_{34}^R-m_{24}^R}{v_{R1}{m}_{31}^R-m_{21}^R}=0---\left(13\right)$

公式（13）为过射线且平行于x_w轴的平面π_R的方程；联立公式（10）和（13）求得交点N_L1在世界坐标系中的空间坐标；联立式（11）和（12）可求得交点N_R1在世界坐标系中的空间坐标；取N_L1和N_R1的中点为被测物体表面N₁点坐标N₁(x_w,y_w,z_w)；用同样的方法和步骤求得被测物体表面N₂点的空间坐标；

当两个激光器的射线相交于物体表面上的一点时，则N₁和N₂点重合，求解出N₁或N₂点在世界坐标系的坐标。

本发明与现有技术相比的优点在于：

1、本发明提出一种狭窄空间双目视觉测量定位装置及方法，将视觉测量终端安装在四自由度测量平台的转动轴上，平台活动自由，测量终端安装灵活，能进行狭窄空间图像获取；

2、本发明提出一种狭窄空间双目视觉测量定位装置及方法，视觉测量终端中的伸缩棋牌格标定板与摄像机配合实现对测量过程中摄像机的实时标定；被测目标图像获取时，采用激光器，摄像机获取的目标图像中含有显著的激光信号，利用该图像中该激光信号既可以提高视觉测量定位速度，又可以提高测量定位精度，因此本发明能应用于成像环境差的特殊环境，更适用于狭窄空间的目标测量，是一种有效的视觉测量实现方法。

附图说明

图1为本发明的视觉测量定位平台四自由度运动简图；

图2a为本发明测量定位终端摄像机标定时的状态图；

图2b为本发明测量定位终端摄像机标定完成后的状态图

图3a为本发明的摄像机成像几何关系图；

图3b为本发明的成像面图像坐标系图；

图3c为本发明的摄像机标定原理图；

图3d为本发明的棋牌格标定板在世界坐标系中个点位置坐标图；

图4为本发明的特征匹配交叉点示意图；

图5为本发明的基于激光标记点的空间位置匹配示意图。

图6为本发明的三维空间重构点示意图

具体实施方式

下面将结合附图对本发明进行详细说明。

本发明提出一种狭窄空间双目视觉测量定位装置，该装置包括双目视觉平台和视觉测量终端，其中双目视觉平台选择现有技术中基于空间四自由度的双目摄像机的视觉平台，视觉测量终端共有两组，每组视觉测量终端均有摄像机、激光器和伸缩标定板构成，两组视觉测量终端分别轴向对称的安装在双目视觉平台的两个运动转动轴上。将视觉测量终端根据狭窄空间的特点和视觉测量定位原理进行结构设计，然后将视觉测量终端安装在四自由度平台中的两个转动运动轴上。

现有技术中已有的基于空间四自由度的双目摄像机的视觉平台的结构图如图1所示：四个自由度分别为平台回转运动、平台俯仰运动的2个自由度以及视觉测量终端（即两台摄像机）转动轴转动的2个自由度。平台回转运动的目的是增大固定点在水平面内的视觉范围。平台俯仰运动的目的在于增大固定点在垂直平面内的视觉范围；视觉测量终端转动轴的转动的目的在于调整摄像机两光轴的交点，使其交点落在目标物体上。

本发明中对视觉测量终端进行结构设计，使其应用在狭窄空间的测量，如图2所示，其中视觉测量终端是狭窄空间双目测量的核心，最下端通过固定件固定摄像机，摄像机的上方通过固定件固定激光器，激光器的上方通过固定件安装伸缩标定板。伸缩标定板由收缩支撑杆、收缩旋转杆和棋牌格标定板组成，其中收缩支撑杆一端与固定件固定，使收缩支撑杆垂直于摄像机的镜头方向，另一端通过电机转轴与收缩旋转杆的一端连接，收缩旋转杆的另一端通过电机转轴与棋牌格标定板连接。

摄像机与激光器之间的间隔距离（即摄像机的最上端与激光器的最下端之间的距离）为3～5mm，激光器与伸缩标定板的收缩旋转杆之间的间隔间距（垂直距离）可以根据摄像机参数和激光器尺寸参数进行选择，具体的距离原则为：使得摄像机获取清晰的棋牌格标定板的图像。

棋牌格标定板与收缩旋转杆通过一个可以通过电机正反转控制的转轴连接，收缩支撑杆与收缩旋转杆也是通过转轴连接。摄像机进行标定时，通过控制电机，使收缩支撑杆与收缩旋转杆之间的转轴对应的控制电机正转，使收缩支撑杆与收缩旋转杆展开即收缩支撑杆与收缩旋转杆趋向平行方向转动，直至收缩旋转杆至与收缩支撑杆平行时展开完毕；然后控制收缩旋转杆与棋牌格标定板之间连接的转轴所对应的控制电机正转，棋牌格标定板平面由与收缩旋转杆的轴线平行旋转为与收缩旋转杆的轴线有一定的角度，当棋牌格标定板的平面旋转至垂直于收缩旋转杆的轴线时，棋牌格标定板展开完毕。标定完毕后，先控制收缩旋转杆与棋牌格标定板之间连接的转轴所对应的控制电机反转，棋牌格标定板平面由原来与收缩旋转杆的轴线垂直旋转为与轴线不垂直，当棋牌格标定板的平面旋转至与连接杆的轴线平行后，控制收缩支撑杆与收缩旋转杆连接之间连接的转轴所对应的控制电机反转，收缩旋转杆旋转收缩，收缩旋转杆旋转至与收缩支撑杆重叠时，棋牌格标定板收缩完毕。

摄像机、激光器和伸缩标定板均通过辅助的固定件固定在一个强度很大的薄钢片上；两组视觉测量终端分别安装在相应的薄钢片上。两个薄钢片分别与基于空间四自由度的双目摄像机的视觉平台的转动运动轴相连接，实现视觉测量终端与视觉平台的连接。

通过调整四个自由度，调整测试测试终端位置，使之能获取测试目标准确的图像；将伸缩棋牌格标定板打开，使左侧摄像机能够获取理想的左侧棋牌格标定板的图像，右侧摄像机获取理想的右侧标定板图像。然后对左右两个摄像机进行参数标定，标定完毕后，将棋牌格标定板回复到原始的收缩状态。

然后左右视觉测量终端中的激光器和摄像机工作，获取含有激光信息的被测目标图像，利用标定的摄像机参数，结合双目视觉测量原理，基于激光进行目标匹配，完成测量和定位。

根据狭窄空间的特性和摄像机成像及视觉测量的原理，基于空间四自由度的双目摄像机的视觉平台，利用固定件将摄像机、激光器和伸缩标定板固定在一强度满足要求的薄钢片上，组成狭窄空间视觉测量定位终端如图2，然后将其安装在基于空间四自由度的双目摄像机的视觉平台的转动运动轴上；摄像机标定时，通过控制视觉测量终端中收缩支撑杆和收缩旋转杆连接的转轴控制电机、收缩旋转杆和棋牌格标定板连接的转轴控制电机来使棋牌格标定板处于标定工作状态，对摄像机的标定依据图3a～图3d所示的进行；摄像机标定完后，仍然是通过控制视觉测量终端中收缩支撑杆和收缩旋转杆连接的转轴控制电机、收缩旋转杆和棋牌格标定板连接的转轴控制电机来收缩棋牌格标定板；此时，利用摄像机获取还有激光信号的目标图像，根据图4的双目视觉测量原理，在图像中含有显著激光信号的双目视觉测量，将显著的激光信号用在双目视觉匹配如图5所示，然后利用激光信号信息在双目视觉测量中的成像位置关系，如图6，计算激光信号点在空间的位置信息。

本发明提出一种狭窄空间双目视觉测量定位方法，具体包括以下几个步骤：

步骤一、摄像机实时标定

（1）标定图像的获取

当视觉测量终端在狭窄空间中进行视觉测量定位时，视觉测量终端中的摄像机需在给定的位置和环境下进行标定。此时，通过对伸缩棋牌格标定板的收缩旋转杆折叠展开的控制，将收缩旋转杆展开，同时展开棋牌格标定板。激光器和摄像机工作，激光器发出激光投射到棋牌格标定板上，摄像机获取有激光投射的棋牌格标定板图像。

摄像机成像几何关系如附图3a所示，o点称为摄像机光心，X_c轴和Y_c轴与图像的坐标系中的X轴和Y轴相平行，Z_c轴为摄像机光轴与世界坐标系（定义世界坐标系为欧式空间）的任意指定直角坐标系X_W,Y_W,Z_W坐标系中的Z_W轴重合，光轴与图像平面的交点o′为图像坐标系的原点。X_W,Y_W,Z_W构成的坐标系为世界坐标系，X_c,Y_c,Z_c,o组成的坐标系为摄像机坐标系，X,Y,o′构成的坐标系为图像坐标系，o′与o的连线长度为摄像机的焦距f。狭窄空间视觉测量中摄像机成像模型为针孔模型，棋牌格标定板面上的点在测量选定的世界坐标系中的表示为P_i(x_w,y_w,z_w)(i＝1,2，...)，i表示是棋牌格上的第几个点，w表示该点是以世界坐标系为参考坐标系；p_i(u,v)(i＝1,2,...)表示对应的P_i(x_w,y_w,z_w)(i＝1,2,...)在成像面上的所成相的像素，其中每一点的坐标(u,v)分别是该像素在整幅图像中所处的行数和列数。待标定的摄像机和激光器工作，激光器发出激光投射到棋牌格标定板上，摄像机获取有激光投射的棋牌格标定板图像。

（2）世界坐标系中的点与该点在摄像机坐标系中的点的关系

设空间中某一点在世界坐标系的位置为P_W＝(x_w,y_w,z_w)^T。在摄像机坐标系中的坐标为P＝(x,y,z)^T

则有关系式

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{cc}R& t\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]---\left(1\right)$

式（1）用齐次坐标可以表示为

$\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=M_1\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(2\right)$

其中M₁表示世界坐标系到摄像机坐标系的变换矩阵。R描述了点P_w＝(x_w,y_w,z_w)^T在欧式空间的姿态变换，称为旋转矩阵。R为一个3×3的正交矩阵，共有9个参数，也即是

$R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]---\left(3\right)$

其中r_ij表示世界坐标系i轴（i轴可以取X_W,Y_W,Z_W）与摄像机坐标系j轴（j轴可取X_c,Y_c,Z_c）的夹角的余弦值。

但是式（3）中的9个参数之间并不完全独立，而是存在以下约束。

$\left\{\begin{array}{c}{r}_{11}^2+r_{12}^2+r_{13}^2=1\\ r_{21}^2+r_{22}^2+r_{23}^2=1\\ r_{31}^2+r_{32}^2+r_{33}^2=1\\ r_{11}{r}_{21}+r_{12}{r}_{22}+r_{13}{r}_{23}=1\\ r_{11}{r}_{31}+r_{12}{r}_{32}+r_{13}{r}_{33}=1\\ r_{31}{r}_{21}+r_{32}{r}_{22}+r_{33}{r}_{23}=1\end{array}\right.---\left(4\right)$

式（4）说明旋转矩阵R只存在三个独立参数。

t＝(t_x,t_y,t_z)^T为一个三维向量，表示点P_w＝(x_w,y_w,z_w)^T在空间沿X_W轴、Y_W轴、Z_W的平移量，称为平移向量。

（3）世界坐标系中的点与该点在图像坐标系中对应点的关系

摄像机所拍摄的图像经过摄像机内图像采集***转化为数字图像。数字图像在计算机内可以用一个m×n大小的数组来表示，m行n列中每一个元素（像素）的值既是图像点的亮度，又称灰度。在图像坐标系中坐标(u，v)分别表示像素在数组中所在的行和列，这样得到的坐标系是以像素为单位的图像坐标系。由于(u，v)是以像素为坐标，所以要建立以物理单位为单位的图像坐标系。如附图3b所示，以o′点为原点，X轴，Y轴分别与u,v轴平行，且以mm为单位，得到的是以毫米为单位的图像坐标系。通常情况下，我们将o′定义在摄像机光轴与图像平面的交点，该点通常位于图像中心处，设o′点在u,v坐标系中的坐标为(u_o,v_o)。

每一个像素在X,Y物理坐标系下的大小为dX，dY。这样可以得到u,v与X,Y和(u_o,v_o)换算关系为

$\left\{\begin{array}{c}u=\frac{X}{\mathrm{dX}}+u_0\\ v=\frac{Y}{\mathrm{dY}}+v_0\end{array}\right.---\left(5\right)$

式（5）使用坐标与矩阵形式可以将上式表达为

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dX}}& 0& u_0\\ 0& \frac{1}{\mathrm{dY}}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]---\left(6\right)$

因此，世界坐标系中的点P_w＝(x_w,y_w,z_w)^T到图像坐标系中的点p(u,v)的坐标转换关系为以下关系。

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dX}}& 0& u_0\\ 0& \frac{1}{\mathrm{dY}}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(7\right)$

$=\left[\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=M_1{M}_2\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=M\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

其中，α_x为u轴上的尺度因子，又称为u轴上的归一化焦距；α_y为v轴上的尺度因子，又称为v轴上的的归一化焦距。M为3×4的投影矩阵。M₁只与摄像机本身的参数相关，故称为摄像机内部参数；M₂由摄像机在世界坐标系中的相对关系决定，故称为摄像机的外部参数。s是坐标转换的尺度因子。

（4）、摄像机的实时标定参数的计算

采用棋牌格标定板作为标定物，其平面靶标上有很多方格点，方格点即为标定点。用摄像机获取棋牌格标定板得图像。以下是标定计算处理的过程。

首先，将世界坐标建立在棋牌格所在的欧氏平面上（靶标平面位于世界坐标系的X_wY_w平面上，即z＝0）。世界坐标系中棋牌格（尺寸已知）第一个顶点为P₁＝[0,0,0]^T，第二个顶点为P₂＝[0,1,0]^T，第三个点为P₃＝[1,1,0]^T，第四个点为P₄＝[0,1,0]^T。另外根据棋牌格的尺寸参数另外选取8个点：P₅＝[0,0.5,0]^T，P₆＝[0.5,0,0]^T，P₇＝[0.5,1,0]^T，P₈＝[1,0.5,0]^T，P₉＝[0.5,0.5,0]^T，P₁₀＝[0,0.25,0]^T，P₁₁＝[0.25,0,0]^T，P₁₂＝[0.25,0.25,0]^T。

其次，采用成熟的图像处理当中特征点的提取方法，提取棋牌格四个角顶点及对应选取的其它点在图像平面上的二维点像素坐标。第一个点为p₁＝[u₁,v₁]^T，第二个点为p₂＝[u₂,v₂]^T，第三个点为p₃＝[u₃,v₃]^T，第二个点为p₄＝[u₄,v₄]^T。其它8个点：p₅＝[u₅,v₅]^T，p₆＝[u₆,v₆]^T，p₇＝[u₇,v₇]^T，p₈＝[u₈,v₈]^T，p₉＝[u₉,v₉]^T，p₁₀＝[u₁₀,v₁₀]^T，p₁₁＝[u₁₁,v₁₁]^T，p₁₂＝[u₁₂,v₁₂]^T。

再次，计算待标定的空间点P₁,P₂,P₃,P₄…P₁₂与图像点p₁,p₂,p₃,p₄…p₁₂之间的映射关系。将第一个点为P₁＝[0,0,0]^T，和第一个点为p₁＝[u₁,v₁]^T，代入式（7）得到一个方程；然后依次分别将P₂,p₂;P₃,p₃…P₁₂,p₁₂代入式（7）；可以得到12个方程。

最后，求解由12个棋牌格上的标定点所得到的12个方程与式（6）旋转矩阵R的每个元素的约束方程相联立的方程组。求解出摄像机的参数矩阵式M（8）。通过对棋牌格标定板的控制使得其回复到初始状态。

$M=M_1{M}_2=\left[\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\×\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]$

$=\left[\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\×\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right]---\left(8\right)$

$=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]$

其中m_ij由摄像机内部参数（α_x,α_y,u₀,v₀）和外部参数（r_ij,t_x,t_y，t_z）矩阵根据矩阵的乘法得到。

通过上述步骤计算分别得到左侧摄像机和右侧摄像机的标定矩阵M_L、M_R。

$M_L=\left[\begin{array}{cccc}{m}_{11}^L& m_{12}^L& m_{13}^L& m_{14}^L\\ m_{21}^L& m_{22}^L& m_{23}^L& m_{24}^L\\ m_{31}^L& m_{32}^L& m_{33}^L& m_{34}^L\end{array}\right],$ $M_R=\left[\begin{array}{cccc}{m}_{11}^R& m_{12}^R& m_{13}^R& m_{14}^R\\ m_{21}^{\text{R}}& m_{22}^R& m_{23}^R& m_{24}^R\\ m_{31}^R& m_{32}^R& m_{33}^R& m_{34}^R\end{array}\right]---\left(9\right)$

其中由左摄像机内部参数和外部参数矩阵根据矩阵的乘法得到。由右摄像机内部参数和外部参数矩阵根据矩阵的乘法得到。

步骤二、基于激光的双目立体匹配与测量

测量定位终端的左右摄像机实时标定完成后，根据双目横向会聚模式的双目视觉测量原理，实际狭窄空间被测目标表面的一点P_w（P_w的坐标系为世界坐标系），在左摄像机中成的像为p_L，右摄像机中成的像为p_R，利用成熟的图像检测方法检测出在左摄像机点p_L的坐标，在右摄像机点p_R的坐标，然后利用该坐标求出点P_w的坐标如附图4所示，其中关键的问题是匹配左摄像机点p_L和右摄像机点p_R。

本方法采用激光双目图像匹配，采取在CCD摄象机上方加装激光源发出的光照射到目标物体上，形成高噪音比的点，利用高噪音比的点很容易在两幅二维图象中找出匹配点，进而快速准确地完成空间点的匹配。如图5现有一目标物体放在视场中，两个激光器照在目标物体上的光有可能相交如附图5中的点N，两激光射线的交点也有可能不在物体表面上，如N不在物体表面上，显然，两激光射线的交点在物体表面上的情况，它是两激光射线的交点在物体表面照射点重合的一种特殊情况，因此可以利用两激光照在物体表面上的交点不在物体表面的方法进行分析。

N不在物体表面上，而是与物体表面分别相交于N₁和N₂点（当交点在物体表面时，N₁和N₂重合为一点），它们在左右成像平面上的投影分别是N_1L、N_1R、N_2L、N_2R。M点为两摄像机光轴的交点，F_L和F_R分别为两摄像机光学镜头的焦点。

通过N_1L、N_1R、N_2L、N_2R确定N₁和N₂点在世界坐标系中的位置，确定N₁点在世界坐标系中位置。

如附图6所示，设N_1L、N_1R的坐标分别为(u_1L,v_1L),(u_1R,v_1R)。由式（7）和式（9）整理得

$\left\{\begin{array}{c}(u_{L1}{m}_{31}^L-m_{11}^L)x_w+(u_{L1}{m}_{32}^L-m_{12}^L)y_w+(u_{L1}{m}_{33}^L-m_{13}^L)z_w=m_{14}^L-u_{L1}{m}_{34}^L\\ (v_{L1}{m}_{31}^L-m_{21}^L)x_w+(v_{L1}{m}_{32}^L-m_{22}^L)y_w+(v_{L1}{m}_{33}^L-m_{23}^L)z_w=m_{24}^L-v_{L1}{m}_{34}^L\end{array}\right.---\left(10\right)$

$\left\{\begin{array}{c}(u_{R1}{m}_{31}^R-m_{11}^R)x_w+(u_{R1}{m}_{32}^R-m_{12}^R)y_w+(u_{R1}{m}_{33}^R-m_{13}^R)z_w=m_{14}^R-u_{R1}{m}_{34}^R\\ (v_{R1}{m}_{31}^R-m_{21}^R)x_w+(v_{R1}{m}_{32}^R-m_{22}^R)y_w+(v_{R1}{m}_{33}^R-m_{23}^R)z_w=m_{24}^R-v_{R1}{m}_{34}^R\end{array}\right.---\left(11\right)$

由式（10）消去x_w得

$(\frac{u_{L1}{m}_{32}^L-m_{12}^L}{u_{L1}{m}_{31}^L-m_{11}^L}-\frac{v_{L1}{m}_{32}^L-m_{22}^L}{v_{L1}{m}_{31}^L-m_{21}^L})y_w+(\frac{u_{L1}{m}_{33}^L-m_{13}^L}{u_{L1}{m}_{31}^L-m_{11}^L}-\frac{v_{L1}{m}_{33}^L-m_{23}^L}{v_{L1}{m}_{31}^L-m_{21}^L})z_w+\frac{u_{L1}{m}_{34}^L-m_{14}^L}{u_{L1}{m}_{31}^L-m_{11}^L}-\frac{v_{L1}{m}_{34}^L-m_{24}^L}{v_{L1}{m}_{31}^L-m_{21}^L}=0---\left(12\right)$

式（12）即为过射线且平行于x_w轴的平面π_L的方程。

由（11）消去x_w得

$(\frac{u_{R1}{m}_{32}^R-m_{12}^R}{u_{R1}{m}_{31}^R-m_{11}^R}-\frac{v_{R1}{m}_{32}^R-m_{22}^R}{v_{R1}{m}_{31}^R-m_{21}^R})y_w+(\frac{u_{R1}{m}_{33}^R-m_{13}^R}{u_{R1}{m}_{31}^R-m_{11}^R}-\frac{v_{R1}{m}_{33}^R-m_{23}^R}{v_{R1}{m}_{31}^R-m_{21}^R})z_w+\frac{u_{R1}{m}_{34}^R-m_{14}^R}{u_{R1}{m}_{31}^R-m_{11}^R}-\frac{v_{R1}{m}_{34}^R-m_{24}^R}{v_{R1}{m}_{31}^R-m_{21}^R}=0---\left(13\right)$

式（13）即为过射线且平行于x_w轴的平面π_R的方程。

联立式（10）和（13）可求得交点N_L1在世界坐标系中的空间坐标。

联立式（11）和（12）可求得交点N_R1在世界坐标系中的空间坐标。

取N_L1和N_R1的中点即为被测物体表面N₁点坐标N₁(x_w,y_w,z_w)。

用同样的方法和步骤求得被测物体表面N₂点的空间坐标。

当两个激光器的射线相交于物体表面上的一点时，则N₁和N₂点重合，上述求解步骤只需要进行一次即可求解出N₁或N₂点在世界坐标系的坐标。

当需要测量物体表面其它点时，这些点只能是两激光射线的交点，或者不是两个激光射线的交点，均可用上述的方法可以求出该点在世界坐标系中的位置信息。

Claims (4)

1.一种狭窄空间双目视觉测量定位装置，其特征在于：包括双目视觉平台和视觉测量终端，其中双目视觉平台选择基于空间四自由度的双目摄像机的视觉平台，视觉测量终端共有两组，每组视觉测量终端均有摄像机、激光器和伸缩标定板构成，两组视觉测量终端分别轴向对称的安装在双目视觉平台的两个运动转动轴上；基于空间四自由度的双目摄像机的视觉平台四个自由度分别为平台回转运动、平台俯仰运动的2个自由度以及视觉测量终端转动轴转动的2个自由度；

视觉测量终端的最下端通过固定件固定摄像机，摄像机的上方通过固定件固定激光器，激光器的上方通过固定件安装伸缩标定板，伸缩标定板由收缩支撑杆、收缩旋转杆和棋牌格标定板组成，其中收缩支撑杆一端与固定件固定，使收缩支撑杆垂直于摄像机的镜头方向，另一端通过电机转轴与收缩旋转杆的一端连接，收缩旋转杆的另一端通过电机转轴与棋牌格标定板连接；摄像机、激光器和伸缩标定板通过固定件固定在钢片上；两组视觉测量终端分别安装在相应的钢片上，两个钢片再分别与基于空间四自由度的双目摄像机的视觉平台的转动运动轴相连接，实现视觉测量终端与视觉平台的连接。

2.根据权利要求1所述的一种狭窄空间双目视觉测量定位装置，其特征在于：所述的摄像机进行标定时，使收缩支撑杆与收缩旋转杆之间的转轴对应的控制电机正转，使收缩支撑杆与收缩旋转杆展开即收缩支撑杆与收缩旋转杆趋向平行方向转动，直至收缩旋转杆至与收缩支撑杆平行时展开完毕；然后控制收缩旋转杆与棋牌格标定板之间连接的转轴所对应的控制电机正转，棋牌格标定板平面由与收缩旋转杆的轴线平行旋转为与收缩旋转杆的轴线有一定的角度，当棋牌格标定板的平面旋转至垂直于收缩旋转杆的轴线时，棋牌格标定板展开完毕；标定完毕后，先控制收缩旋转杆与棋牌格标定板之间连接的转轴所对应的控制电机反转，棋牌格标定板平面由原来与收缩旋转杆的轴线垂直旋转为与轴线不垂直，当棋牌格标定板的平面旋转至与连接杆的轴线平行后，控制收缩支撑杆与收缩旋转杆连接之间连接的转轴所对应的控制电机反转，收缩旋转杆旋转收缩，收缩旋转杆旋转至与收缩支撑杆重叠时，棋牌格标定板收缩完毕。

3.根据权利要求1所述的一种狭窄空间双目视觉测量定位装置，其特征在于：所述的摄像机与激光器之间的间隔距离为摄像机的最上端与激光器的最下端之间的距离，该距离为3～5mm。

4.根据权利要求1所述的一种狭窄空间双目视觉测量定位装置，其特征在于：所述的激光器与伸缩标定板的收缩旋转杆之间的垂直间隔间距根据摄像机参数和激光器尺寸参数进行选择。