CN102012217B - 一种基于双目视觉的大形貌物体三维几何外形测量方法 - Google Patents

Abstract

基于双目视觉的大形貌物体三维几何外形测量方法，使用基于结构光测量的计算机视觉方法实现对在轨物体三维形貌的非接触式测量，利用计算机控制的线激光器照射在轨物体上，用左右双目摄像机对投射到在轨物体上的激光图像同时进行差分拍摄；通过计算机对双目摄像机成像的激光光条图像进行三维匹配计算，得到双目摄像机成像的这条激光光条上所有在轨物体上的点的三维空间坐标；转动激光器角度使激光光条能够扫描或测量运动物体时经一间隔时间来覆盖所有被测面，并重复上述操作，从而获得整个被测面的三维空间模型及参数；通过对比在轨物体三维形貌与轨道中垂面坐标，计算机可以自动做出尺寸判断和超限判断，可以实现对物体外表面三维形貌的测量。

Description

一种基于双目视觉的大形貌物体三维几何外形测量方法

技术领域

本发明是一种基于三维结构光测量技术，尤其是快速非接触式在轨物体超限检测方法，属于计算机视觉测量技术领域。

背景技术

近年来，国内铁路多次提速，特别是高速动车组的运行，列车的行驶速度越来越快，这也对铁路的安全提出了更高的要求。当列车特别是货运列车超过正常行驶的空间限制时，即称为超限，此时有可能造成严重的安全事故。因此，对铁路货运列车等在轨物体超限的测量是极其重要的。

结构光测量是一种非接触式的三维形貌测量技术，可以应用于在轨物体的超限检测中。以往的三维结构光测量方法使用的是单目摄像机加激光光条提取的方法，但这种方法不适合在室外有强自然光干扰的情况下使用，同时单目测量由于对转台机械精度要求比较高，测量大形貌物体的时候也容易产生较大误差。为了能够在室外恶劣环境下精确测量列车等大形貌物体的外貌尺寸，对机械精度要求较低的双目视觉测量就发挥出了特有的优势。

发明问题

本发明的目的是：提供基于双目视觉的大形貌物体三维几何外形测量方法，尤其是一种在轨物体非接触的超限测量方法，用于自动测量在轨物体的外貌尺寸。

本发明的技术方案是：基于双目视觉的大形貌物体三维几何外形测量方法，即在轨物体的双目超限测量方法，使用基于结构光测量的计算机视觉方法实现对在轨物体三维形貌的非接触式测量，具体过程如下：

利用计算机控制的激光器照射在轨物体上，用左右双目摄像机对投射到在轨物体上的激光图像(可为垂直的线激光器产生的光条图像或光点图像)同时进行差分拍摄；通过计算机对双目摄像机成像的激光光条图像进行三维匹配计算，得到双目摄像机成像的这条激光光条上所有在轨物体上的点的三维空间坐标；

转动激光器角度使激光光条能够扫描或测量运动物体时经一间隔时间来覆盖所有被测面，并重复上述操作，从而获得整个被测面的三维空间模型及参数；通过对比在轨物体三维形貌与轨道中垂面坐标，计算机可以自动做出尺寸判断和超限判断；

计算机控制线激光器产生激光照射在物体被测面上，用两个摄像头分别采集一张带有激光光条的被测面的图像；计算机控制激光器关闭照射，再用两个摄像头分别采集一张没有激光光条的被测面的图像，将每个摄像机得到的图片分别做差值，得到激光光条图像。

匹配所得的像素点坐标为亚像素级，I1和I2是左右两个摄像机的像平面，C1和C2分别是左右两个摄像机的光心；P为空间中任意一点，它在左摄像机图像平面上的像点为m1，在右摄像机平面上的像点为m2；根据外极线几何约束，外极线是I1和I2平面上P点与所述I1和I2平面的交点与C1和C2的连线交点的连线，m2应位于m1在右图像平面内的外极线lm2上，同样m1应位于m2在左图像平面内的外极线lm1上，它们彼此互为对应点；由C1，C2，P确定的平面II为外极面，m1的外极线lm2为外极面II与右图像平面的交线，m2的外极线lm1为外极面II与左图像平面的交线，外极点e1、e2为C1和C2的连线与左右图像平面的交点，左图像平面内任何一点在右图像平面内的外极线都要经过外极点e2，左图像平面上的点依然符合这种关系；即在左图像平面的激光光条上任取一点m1，它对应着物体上激光线所覆盖的一点P，根据外极线约束可知点P在右图中的投影一定出现在外极线Lm2上，并可求得线Lm2的方程，这样就可以将二维匹配点的寻找缩小到一维范围内；同时由于点P在右图像平面上的投影也一定在激光光条上，所以取右图像平面中激光光条上距直线Lm2最近的两个像素点Dl、Dr，求出这两个像素所在的直线方程L，那么直线L与Lm2的交点m2就是点P在图I2上的投影，且m2的坐标具有亚像素精度。

通过两个带有滤光片的摄像头消除环境杂散光的影响，适合在环境较恶劣的情况下进行测量。

使用双目测量方法，能够在对机械加工和安装精度要求不高的情况下对列车、轮船等大形貌物体进行精确测量。

本发明的有益效果是：本发明采用了结构光三维检测技术，并使用差分方法和亚像素级的坐标匹配，可以在室外恶劣环境下对在轨物体进行快速、非接触、高精度的超限检测，克服了现有超限测量的缺陷，极大地提高了测量效率和测量精度。

附图说明

图1是单目结构光测量模型。图中，①为横梁，②是计算机，③是摄像机，⑥是线结构激光器，⑤是转台，角α、β分别是摄像头光轴和激光线与横梁中心线之间的夹角。横梁两端的卡具可以将转台中心、摄像头焦点和横梁中心固定在一条直线上。

图2是双目结构光测量模型。图中，①为横梁，②是计算机，③是摄像机1，④是摄像机2，⑤是转台，⑥是线结构激光器。横梁两端和中心的卡具将转台中心，两台摄像头的焦点和横梁中心固定在一条直线上。

图3是外极线匹配示意图。如图所示，空间中一点P在两个摄像机像平面上的投影点m1、m2必存在于由两台摄像机光心和点P构成的平面上。

图4和图5是双目匹配示意图，图4是左图，图5是右图，m1是左图激光光条上的一点，lm2是m1点在右图上对应的外极线，外极线与激光线的交点m2是m1在右图上的匹配点。

图6是亚像素级的坐标匹配示意图(右图)，Dl和Dr分别是激光光条上距离外极线最近的两个像素点，L是Dl和Dr中心的连线，点m2是L与外极线lm2之间的交点，也就是所要寻找的匹配点。

具体实施方式

以往的单目结构光测量装置如图1所示，使用三角测量c点的位置需要精确知道距离Lab和角度α，β。但是由于机械安装和控制精度的限制，电机旋转角β并不容易控制，从而影响了测量精度。在这种情况下，双目测量就体现出特有的优势。在双目测量中摄像机的位置与姿态相对固定，因此距离Lab可视为恒定值，而角度α，β可以通过图像处理算法精确获取，因而可以精确测量大形貌物体的外貌尺寸。该测量装置由基座、高功率线结构激光器、两个装有滤光片的摄像头、驱动电路和计算机组成，如图2所示。摄像头采集图像数据，由计算机根据三维空间匹配关系计算出物体外貌尺寸。

三维空间左右双目匹配如图3所示，I1和I2是两个摄像机的像平面，C1和C2分别是左右两个摄像机的光心。P为空间中任意一点，它在左摄像机图像平面上的像点为m1，在右摄像机平面上的像点为m2。根据外极线(I1和I2平面上P点与所述I1和I2平面的交点与C1和C2的连线交点的连线)几何约束，m2应位于m1在右图像平面内的外极线lm2上，同样m1应位于m2在左图像平面内的外极线lm1上，它们彼此互为对应点。由C1，C2，P确定的平面II为外极面，m1的外极线lm2为外极面II与右图像平面的交线，m2的外极线lm1为外极面II与左图像平面的交线，外极点e1、e2为C1和C2的连线与左右图像平面的交点(也是与外极线lm1、lm2的交点)。根据双目成像的透视关系可知，左图像平面内任何一点在右图像平面内的外极线都要经过外极点e2，左图像上的点依然符合这种关系。图像匹配的具体方法如下：

定义空间点P的齐次坐标为[x，y，z，1]T，其在像平面上对应点m的齐次像素坐标为[u，v，1]，有

$s\·\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=M\·\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(1\right)$

这里，s为比例因子，M为透视矩阵，M＝K·[R T]，其中K为摄像机内参矩阵，R，T分别为旋转矩阵与平移向量。

不失一般性，摄像机1、2的摄像机坐标系为世界坐标系，R、T分别为摄像机1与摄像机2之间的空间变换旋转矩阵和平移向量，s₁、s₂为比例因子，m₁、m₂为透视矩阵，k₁、k₂为摄像机内参矩阵，则有

$s_2\·m_1=K_2\·\left[10\right]\left[\begin{array}{c}X\\ 1\end{array}\right]---\left(2\right)$

$s_2\·m_2=K_2\·\left[\mathrm{RT}\right]\left[\begin{array}{c}X\\ 1\end{array}\right]---\left(3\right)$

由上式消去s1、s2可得

$m_2^T{K}_2^T{\left[T\right]}_X{\mathrm{RK}}_1^{-1}{m}_1=0---\left(4\right)$

式中，[T]_X为反对称矩阵，由平移向量T(T_xT_yT_z为平移分量)决定

${\left[T\right]}_X=\left[\begin{array}{ccc}0& {-T}_y& T_z\\ T_y& 0& {-T}_x\\ {-T}_z& T_x& 0\end{array}\right]---\left(5\right)$

令

$F=K_2^{-T}{\left[T\right]}_X{\mathrm{RK}}_2^{-1}---\left(6\right)$

E＝[T]_XR              (7)

则有

$m_2^{-T}{K}_2^{-T}{\mathrm{EK}}_2^{-2}{m}_2=0---\left(8\right)$

$m_2^{-T}{\mathrm{Fm}}_2=0---\left(9\right)$

式(9)即双目视觉中外极线几何关系的描述，其中I_m2＝Fm₁为对应m₁的极线，I_m1＝FT_m2为对应m₂的极线，矩阵F即为基本矩阵(Fundamental matrix)，它与摄像机内参数、摄像机之间的对应位姿有关。根据标定所得基本矩阵F，即可将两图像平面内对应点的坐标进行匹配。

获得匹配的像素点后，根据摄像机内外参数进行计算，可以获得该光条对应物体轮廓的三维坐标。通过扫描激光器，可以实现对在轨物体外表面三维形貌的测量。再与轨道中垂面的空间坐标做对比，计算机就可以自动做出超限判断。

在实验中，我们使用中心线宽为635nm的线激光器和滤光片，基线长度1米，被测点距极线距离为10米，经过计算可知角α、β都是87.14度，F矩阵的值为

F＝-0.000000485008366  -0.000038768789204  0.007350632235932

   -0.000045784962796  -0.000001147668094  -0.717662770440072

   0.017100613104312  0.778959169714406  -32.324287848102870

测量过程如下：

1)将线结构激光照射到被测物体表面，用两个摄像头分别获得一张包含激光光条的图像；

2)关闭激光器，再用两个摄像头分别获得一张没有激光光条图像；

3)将每个摄像头获得的两张图像做差分处理，可以提高图像的信噪比。同时由于滤光片的作用，可以进一步消除外界环境中杂散光的干扰，提高图像的质量。

4)利用计算机对两张激光光条图像进行匹配运算，可以得到这条激光光条对应的物体轮廓的三维坐标

5)转动激光器角度，重复步骤1)到步骤4)，可以得到另一条线激光光条对应的物体轮廓的三维坐标。连续扫描激光器，使激光光条能够尽量覆盖全物体的被测面。然后将这些被测面的线进行拼接，就可以得到物体的三维外貌尺寸。将被测面的坐标与轨道中垂面做对比，即可对在轨物体是否超限做出判断。

在步骤4)的三维图像匹配运算中，本方法使用的是基于外极线与线结构光交点的方法获得亚像素级别的交点坐标，具体方法如下：

对于图4中激光光条上的一点m1，可根据外极线约束条件得到在图5中对应的外极线方程lm2，如图4、5所示，这样就可以将二维的匹配点选择缩小到一维范围内。同时由于点m1在激光光条上，那么在右图上的匹配点也应该在激光光条之上，这样根据外极线约束和结构光约束就可以求到匹配点的坐标。在图6中寻找到距离外极线最近的激光光条像素Dl、Dr，连接Dl、Dr的直线与外极线的交点m2即为特征点m1在右图中所对应的特征点，且点m2的坐标具有亚像素精度。

Claims (1)

1. 基于双目视觉的大形貌物体三维几何外形测量方法，即在轨物体的双目超限测量方法，其特征是使用基于结构光测量的计算机视觉方法实现对在轨物体三维形貌的非接触式测量，具体过程如下：

利用计算机控制的线激光器照射在在轨物体上，用左右双目摄像机对投射到在轨物体上的激光图像同时进行差分拍摄；通过计算机对双目摄像机成像的激光光条图像进行三维匹配计算，得到双目摄像机成像的这条激光光条上所有在轨物体上的点的三维空间坐标；

转动线激光器角度使激光光条能够扫描或测量运动物体时经一间隔时间来覆盖所有被测面，并重复上述操作，从而获得整个被测面的三维空间模型及参数；通过对比在轨物体三维形貌与轨道中垂面坐标，计算机能够自动做出尺寸判断和超限判断；

计算机控制线激光器产生激光照射在物体被测面上，用两个摄像头分别采集一张带有激光光条的被测面的图像；计算机控制线激光器关闭照射，再用两个摄像头分别采集一张没有激光光条的被测面的图像，将每个摄像机得到的图片分别做差值，得到激光光条图像；

匹配所得的像素点坐标为亚像素级，I1和I2是左右两个双目摄像机的图像平面，C1和C2分别是左右两个双目摄像机的光心；P为空间中任意一点，它在左摄像机图像平面上的像点为m1，在右摄像机平面上的像点为m2；根据外极线几何约束，外极线lm1、lm2分别是I1和I2图像平面上的连线，是P点与左右两个双目摄像机光心C1和C2的连线分别与所述I1和I2平面的交点与两光心C1和C2的连线在I1和I2平面上的交点的连线，m2应位于m1在右图像平面内的外极线lm2上，同样m1应位于m2在左图像平面内的外极线lm1上，m1、m2彼此互为对应点；由C1,C2,P确定的平面Ⅱ为外极面，m1的外极线lm2为外极面Ⅱ与右图像平面的交线，m2的外极线lm1为外极面Ⅱ与左图像平面的交线，外极点e1、e2为C1和C2的连线与左右图像平面的交点；左图像平面内任何一点在右图像平面内的外极线都要经过外极点e2，右图像平面上的点依然符合这种关系，即在左图像平面的激光光条上任取一点m1，它对应着物体上激光线所覆盖的一点P，根据外极线约束可知点P在右图像中的投影一定出现在外极线lm2上，并能求得外极线lm2的方程，这样就能够将二维匹配点的寻找缩小到一维范围内；同时由于点P在右图像平面上的投影也一定在激光光条上，所以取右图像平面中激光光条上距直线lm2最近的两个像素点Dl、Dr，求出这两个像素所在的直线方程L，那么直线L与lm2的交点m2就是点P在I2图像平面上的投影，且m2的坐标具有亚像素精度。

Images