CN102679896A - 基于机器视觉的轨距测定方法 - Google Patents

Abstract

本发明提供一种基于机器视觉的轨距测定方法，该方法包括：步骤1、设置两组双目式背对CCD摄像机在支架上，位于钢轨上方；步骤2、测算每个CCD摄像机的参数；步骤3、测算全部CCD摄像机间的几何关系；步骤4、选取CCD摄像机拍摄的对应点位置；步骤5、选取轨距测量点位置；步骤6、将轨距测量点位置映射到世界坐标；步骤7、在世界坐标中计算轨距测量点的间距即轨距。本发明提供的轨距测量方法，利用两组背对式的双目视觉成像***，配合世界坐标中的坐标，计算两个铁轨之间的间距，可以提高精度和准确性。

Description

基于机器视觉的轨距测定方法

技术领域

本发明涉及轨道安全领域，具体涉及到一种基于机器视觉的轨距测定方法。

背景技术

轨距不平顺会导致车轮掉道或卡轨，及时轨距尚未扩大到会使车轮掉道的程度，由于斜度较大的车轮踏面将使钢轨遭受额外增加的水平推力，因此如果车轮踏面的大坡度段进入轨顶内侧圆弧以内也应当避免。短距离内轨距变化剧烈，表明存在严重的方向不平顺，当然也会影响列车安全，因此轨距参数是轨道监测中必不可少的监测项目。

长期以来，对轨距等不平顺参数的监测都采用手工测量的方法。然而国际上在70年代末开始对钢轨轨距的自动测量***的研究，特别是日本、德国等发达国家在80年代前后开始利用计算机视觉测量技术进行钢轨监测，但是受制于计算机硬件和计算机图像处理技术的限制，并没有很好解决这类问题。我国在90年代开始这个项目的研究，其中***轨检车采用了光电传感和伺服机构进行测量，其主要缺点是由于现场震动的原因，伺服机构容易损坏。

随着计算机图像处理技术的发展，由线光源、图像采集***和数据处理***几部分构成的自动监测***已经被研制出来，如何利用机器视觉技术达到提高轨道监测精度，是业内共同研究的方向。

发明内容

针对上述缺陷，本发明的目的是提供一种基于机器视觉的轨距测量方法，以解决现有技术的轨距测量方法测得的数据不精确的技术问题。

为实现上述目的，本发明采用了如下的技术方案：

一种基于机器视觉的轨距测定方法，包括：

步骤1、设置两组双目式背对CCD摄像机在轨距测量车支架上，位于钢轨上方；

步骤2、测算每个CCD摄像机的参数；

步骤3、测算全部CCD摄像机间的几何关系；

步骤4、选取CCD摄像机拍摄的对应点位置；

步骤5、选取轨距测量点位置；

步骤6、将轨距测量点位置映射到世界坐标；

步骤7、在世界坐标中计算轨距测量点的间距即轨距。

依照本发明较佳实施例所述的轨距测定方法，所述每组CCD摄像机各包括两个具有公共视场的CCD摄像机。

依照本发明较佳实施例所述的轨距测定方法，在所述步骤1中还包括在支架上，位于钢轨内侧安装扇形光源，使得扇形光源照射在钢轨上。

依照本发明较佳实施例所述的轨距测定方法，在所述步骤2中测算每个CCD摄像机的参数包括：

将模板固定在一个平面上，摄像机在不同方位上拍摄两个以上的模板图像，通过模板上的点与图像点进行匹配，计算出图像和模板之间的映射矩阵，并通过该矩阵可线性解出摄像机内部参数，

$Z_{\mathrm{oi}}\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{wi}}\\ Y_{\mathrm{wi}}\\ Z_{\mathrm{wi}}\\ 1\end{array}\right]$

其中，(X_wi，Y_wi，Z_wi，1)为空间第i个点的坐标；(u_i，v_i，1)为第i 个点的图像坐标；m_ij为投影矩阵M的第i行j列元素；分解消去Z_oi可以得到关于m_ij的线性方程：

$\left\{\begin{array}{c}{X}_{\mathrm{wi}}{m}_{11}+Y_{\mathrm{wi}}{m}_{12}+Z_{\mathrm{wi}}{m}_{13}+m_{14}-u_i{X}_{\mathrm{wi}}-u_i{Y}_{\mathrm{wi}}{m}_{32}-u_i{Z}_{\mathrm{wi}}{m}_{33}=u_i{m}_{34}\\ X_{\mathrm{wi}}{m}_{21}+Y_{\mathrm{wi}}{m}_{22}+Z_{\mathrm{wi}}{m}_{23}+m_{24}-v_i{X}_{\mathrm{wi}}-v_i{Y}_{\mathrm{wi}}{m}_{32}-v_i{Z}_{\mathrm{wi}}{m}_{33}=v_i{m}_{34}\end{array}\right.$

定标块上有n个已知点，所述已知点的空间坐标

(X_wi，Y_wi，Z_wi)(i＝1，…，n)与它们的图像点坐标

(u_i，v_i)(i＝1，…，n)，得到2n个关于M矩阵元素的线性方程矩阵：

$\left[\begin{array}{cccccccccc}{X}_{\mathrm{wi}}& Y_{\mathrm{wi}}& Z_{\mathrm{wi}}& 1& 0& 0& 0& -u_1{X}_{w1}& -u_1{Y}_{w1}& -u_1{Z}_{w1}\\ 0& 0& 0& 0& X_{\mathrm{wi}}& Y_{\mathrm{wi}}& Z_{\mathrm{wi}}& -v_1{X}_{w1}& -v_1{Y}_{w1}& -v_1{Z}_{w1}\\ & & & & ...& ...& ...& & & \\ & & & & ...& ...& ...& & & \\ X_{\mathrm{wi}}& Y_{\mathrm{wi}}& Z_{\mathrm{wi}}& 1& 0& 0& 0& -u_1{X}_{\mathrm{wi}}& -u_1{Y}_{\mathrm{wi}}& -u_1{Z}_{\mathrm{wi}}\\ 0& 0& 0& 0& X_{\mathrm{wi}}& Y_{\mathrm{wi}}& Z_{\mathrm{wi}}& -v_1{X}_{\mathrm{wi}}& -v_1{Y}_{\mathrm{wi}}& -v_1{Z}_{\mathrm{wi}}\end{array}\right]$

$\×\left[\begin{array}{c}{m}_{11}\\ m_{12}\\ m_{13}\\ m_{14}\\ m_{21}\\ m_{22}\\ m_{23}\\ m_{24}\\ m_{31}\\ m_{32}\\ m_{33}\end{array}\right]=\left[\begin{array}{c}{u}_1{m}_{34}\\ v_1{m}_{34}\\ ...\\ ...\\ ...\\ ...\\ ...\\ ...\\ ...\\ u_n{m}_{34}\\ v_n{m}_{34}\end{array}\right]$

指定m₃₄＝1，得到关于M矩阵其他元素的2n个线性方程，未知元素的个数为11个，记为11维向量m，简写成：Km＝U，K为左边2n×11矩阵；m为未知的11维向量；U为右边的2n维向量；K、U为已知向量；用最小二乘法求出当2n＞11时上述线性方程的解为：

m＝(K^TK)^-1K^TU

m向量与m₃₄＝1构成了所求解得M阵；由上可见，由空间6个以上已知点与它们的图像点坐标，可以求出M矩阵；

求出M矩阵后，可由关系分解算出摄像机的全部内外参数；

$z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& c_x\\ 0& \frac{1}{\mathrm{dy}}& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

$=\left[\begin{array}{cccc}\frac{f}{\mathrm{dx}}& 0& c_x& 0\\ 0& \frac{f}{\mathrm{dy}}& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

$=\left[\begin{array}{cccc}{f}_x& 0& c_x& 0\\ 0& f_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

$=M_1{M}_2{X}_w={\mathrm{MX}}_w$

其中，

与

分别定义为x与y方向的等效焦距。

依照本发明较佳实施例所述的轨距测定方法，在所述步骤2中测算全部CCD摄像机间的几何关系包括：将两个摄相机得到的坐标***统一到同一个世界坐标系中。用两个摄像机同时观察周围环境，利用式M_c1＝[RT]M_c2表示两个坐标系的变换关系；

用[R₁t₁]与[R₂t₂]分别表示每个摄像机的外部参数，用[R₁t₁]表示C1摄像机与世界坐标之间的相对位置，[R₂t₂]表示C2摄像机与世世界坐标之间的相对位置；

用 $\left\{\begin{array}{c}{M}_{c1}=R_1{M}_{w1}+t_1\\ M_{c2}=R_2{M}_{w2}+t_2\end{array}\right.$ 表示对任意一点P在世界坐标系、C1坐标系与C2坐标系下的非齐次坐标；

对双目摄像机分别定标，得到R₁、t₁与R₂、t₂，计算双目摄像机的相对位置R和T；

设计定标模板，模板两侧各采用一个具有高精度定位的棋盘格，两个棋盘格位于同一平面上，四部摄像机在不同角度拍摄2幅以上的模板图像，通过模板上的点与图像点进行匹配，计算出图像和模板之间的映射矩阵，可解出4台摄像机的内部参数，式 $\left\{\begin{array}{c}{R}_{\mathrm{1,2}}=R_1{R}_2^{-1},T_{\mathrm{1,2}}=t_1-R_1{R}_2^{-1}{t}_2\\ R_{\mathrm{3,4}}=R_3{R}_4^{-1},R_{\mathrm{3,4}}=t_3-R_4^{-1}{t}_4\\ R_{\mathrm{1,3}}=R_1{R}_3^{-1},T_{\mathrm{1,3}}=t_1-R_1{R}_3^{-1}{t}_3+t_{\mathrm{lr}}\end{array}\right.$ 表示。

依照本发明较佳实施例所述的轨距测定方法，在所述步骤6还包括：

用p1与p2表示同一点P的对应点匹配点；

用M1与M2表示已定标的C1与C2摄像机各自的投影矩阵分别为：

$Z_{c1}\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

$Z_{c2}\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中(u₁，v₁，1)与(u₂，v₂，1)分别是p1与p2点在各自图像中的齐次坐标；(X，Y，Z，1)为P点在世界坐标系下的齐次坐标； $m_{\mathrm{ij}}^k(k=\mathrm{1,2};i=1,\·\·\·,3;j=1,\·\·\·,4)$ 分别为的M_k的第i行j列元素；

消去Z_c1或Z_c2，得到关于X，Y，Z的四个线性方程：

$\left\{\begin{array}{c}(u_1{m}_{31}^1-m_{11}^1)X+(u_1{m}_{32}^1-m_{12}^1)Y+(u_1{m}_{33}^1-m_{13}^1)Z=m_{14}^1-u_1{m}_{34}^1\\ (v_1{m}_{31}^1-m_{21}^1)X+(v_1{m}_{32}^1-m_{22}^1)Y+(v_1{m}_{33}^1-m_{23}^1)Z=m_{24}^1-v_1{m}_{34}^1\end{array}\right.$ 和

$\left\{\begin{array}{c}(u_2{m}_{31}^2-m_{11}^2)X+(u_1{m}_{32}^2-m_{12}^2)Y+(u_1{m}_{33}^2-m_{13}^2)Z=m_{14}^2-u_1{m}_{34}^2\\ (v_2{m}_{31}^2-m_{21}^2)X+(v_2{m}_{32}^2-m_{22}^2)Y+(v_2{m}_{33}^2-m_{23}^2)Z=m_{24}^2-v_2{m}_{34}^2\end{array}\right.$

联立求出P点的坐标(X，Y，Z)，得到摄像机的内外参数矩阵后，并得到2相机的相对位置关系后，通过测量左右两侧钢轨的图像，从图像中分别找到左右钢轨轨距测量点，通过对图像中像素点的三维重建得到轨距点在世界坐标系下的坐标，从而通过两点间距离公式计算得出轨距。

依照本发明较佳实施例所述的轨距测定方法，所述步骤7还包括：利用立体视觉实现点三维重建；用P_l、P_r表示轨距测量匹配点，点P_l(x_w1，y_w1，z_w1)位于世界坐标系X_w1中，点P_r(x_w2，y_w2，z_w2)位于世界坐标系X_w2中：

世界坐标系X_w1的坐标原点选在标定板上，通过式 $\left\{\begin{array}{c}{X}_{w1}=X_w+t_1\\ X_{w2}=X_w+t_2\end{array}\right.$ 建立世界坐标系X_w1与X_w2的转换，建立起点P_l与点P_r在同一个坐标系下的几何关系，根据空间两点间距离公式 $l=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2}$ 求得点P_l与点P_r的距离。

由于采用了以上的技术特征，使得本发明相比于现有技术，具有如下的优点和积极效果：

第一、本发明提供的轨距测量方法，利用两组背对式的双目视觉成像***，配合世界坐标中的坐标，计算两个铁轨之间的间距，可以提高精度和准确性。

当然，实施本发明内容的任何一个具体实施例，并不一定同时达到以上全部的技术效果。

附图说明

图1是本发明的方法流程图；

图2是是双目定标***的结构示意图

图3是标定板示意图；

图4是世界坐标定标模板示意图；

图5是三位重建坐标示意图；

图6是轨距测量原理图；

图7是轨矩计算坐标图。

具体实施方式

以下结合附图对本发明的几个优选实施例进行详细描述，但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。另外，为了避免对本发明的实质造成不必要的混淆，并没有详细说明众所周知的方法、过程、流程、元件和电路等。

如图1所示，本发明提供一种基于机器视觉的标定方法，其包括：

S101：设置两组双目式背对CCD摄像机在轨距测量车支架上，位于钢轨上方，还在支架上位于钢轨内侧安装扇形光源，具体安装方式如图2所示。

S102：测算每个CCD摄像机的参数；

S103：测算全部CCD摄像机间的几何关系；

S104：选取CCD摄像机拍摄的对应点位置；

S105：选取轨距测量点位置；

S106：将轨距测量点位置映射到世界坐标；

S107：在世界坐标中计算轨距测量点的间距即轨距。

其原理是：如图3所示标定板上选择角点，得到每个交点的像素坐标，由于标定板是激光雕刻而成，其上的每个角点的空间坐标是已知的，进行单目(单个CCD摄像机)标定得到摄像机的内外参数。

通过对应的变换矩阵可以得到2个CCD摄像机的相对关系矩阵，也可以得到4个CCD摄像机的任意2个的相对位置关系矩阵。

要想实现把图像中的一个点的像素坐标转换成实际的物理坐标可以通过空间点三维重建，空间坐标的原点选择建立在标定板上，

由于4个摄像机构成了两组双目***，这两组双目***没有公共视场，这时通过变换关系矩阵计算可以得到我们感兴趣的2个摄像机的位置关系矩阵，如1、3摄像机的。

通过空间重建我们可以得到每一边的1点的空间坐标，再用我们建立起来的两边双目***的位置关系矩阵，我们就建立起来两边2个点的空间位置关系，从而得到我们关心的轨距。

如下简单说明计算摄像机内外参数方法：

$Z_{\mathrm{oi}}\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{wi}}\\ Y_{\mathrm{wi}}\\ Z_{\mathrm{wi}}\\ 1\end{array}\right]---\left(1\right)$

其中，(X_wi，Y_wi，Z_wi，1)为空间第i个点的坐标；(u_i，v_i，1)为第i个点的图象坐标；m_i为投影矩阵M的第i行j列元素。分解式(1)得到三个方程：

$\left\{\begin{array}{c}{Z}_{\mathrm{ci}}{u}_i=m_{11}{X}_{\mathrm{wi}}+m_{12}{Y}_{\mathrm{wi}}+m_{13}{Z}_{\mathrm{wi}}+m_{14}\\ Z_{\mathrm{ci}}{v}_i=m_{21}{X}_{\mathrm{wi}}+m_{22}{Y}_{\mathrm{wi}}+m_{23}{Z}_{\mathrm{wi}}+m_{24}\\ Z_{\mathrm{ci}}=m_{31}{X}_{\mathrm{wi}}+m_{32}{Y}_{\mathrm{wi}}+m_{33}{Z}_{\mathrm{wi}}+m_{34}\end{array}\right.---\left(2\right)$

将式(2)中的第一式除第三式，第二式除第三式分别消去Z_ci后可以得到如下两个关于m_ij的线性方程：………………………………………………

$\left\{\begin{array}{c}{X}_{\mathrm{wi}}{m}_{11}+Y_{\mathrm{wi}}{m}_{12}+Z_{\mathrm{wi}}{m}_{13}+m_{14}-u_i{X}_{\mathrm{wi}}-u_i{Y}_{\mathrm{wi}}{m}_{32}-u_i{Z}_{\mathrm{wi}}{m}_{33}=u_i{m}_{34}\\ X_{\mathrm{wi}}{m}_{21}+Y_{\mathrm{wi}}{m}_{22}+Z_{\mathrm{wi}}{m}_{23}+m_{24}-v_i{X}_{\mathrm{wi}}-v_i{Y}_{\mathrm{wi}}{m}_{32}-v_i{Z}_{\mathrm{wi}}{m}_{33}=v_i{m}_{34}\end{array}\right.---\left(3\right)$

上式表示，如果定标块上有n个已知点，并已知它门的空间坐标(X_wi，Y_wi，Z_wi)(i＝1，…，n)与它们的图像点坐标(u_i ，v_i)(i＝1，…，n)，则有2n个关于M矩阵元素的线性方程，用矩阵写出这些方程；

$\left[\begin{array}{cccccccccc}{X}_{\mathrm{wi}}& Y_{\mathrm{wi}}& Z_{\mathrm{wi}}& 1& 0& 0& 0& -u_1{X}_{w1}& -u_1{Y}_{w1}& -u_1{Z}_{w1}\\ 0& 0& 0& 0& X_{\mathrm{wi}}& Y_{\mathrm{wi}}& Z_{\mathrm{wi}}& -v_1{X}_{w1}& -v_1{Y}_{w1}& -v_1{Z}_{w1}\\ & & & & ...& ...& ...& & & \\ & & & & ...& ...& ...& & & \\ X_{\mathrm{wi}}& Y_{\mathrm{wi}}& Z_{\mathrm{wi}}& 1& 0& 0& 0& -u_1{X}_{\mathrm{wi}}& -u_1{Y}_{\mathrm{wi}}& -u_1{Z}_{\mathrm{wi}}\\ 0& 0& 0& 0& X_{\mathrm{wi}}& Y_{\mathrm{wi}}& Z_{\mathrm{wi}}& -v_1{X}_{\mathrm{wi}}& -v_1{Y}_{\mathrm{wi}}& -v_1{Z}_{\mathrm{wi}}\end{array}\right]$

$\×\left[\begin{array}{c}{m}_{11}\\ m_{12}\\ m_{13}\\ m_{14}\\ m_{21}\\ m_{22}\\ m_{23}\\ m_{24}\\ m_{31}\\ m_{32}\\ m_{33}\end{array}\right]=\left[\begin{array}{c}{u}_1{m}_{34}\\ v_1{m}_{34}\\ ...\\ ...\\ ...\\ ...\\ ...\\ ...\\ ...\\ u_n{m}_{34}\\ v_n{m}_{34}\end{array}\right]---\left(4\right)$

M矩阵乘以任意不为零的常数并不影响(X_w，Y_w，Z_w与(u，v)的关系，因此，可在式(4)可以指定m₃₄＝1，从而得到关于M矩阵其他元素的2n个线性方程，这些未知元素的个数11个，记为11维向量m，将式(4)简写成；

Km＝U    (5)

式中，K为式(4)左边2n×11矩阵；m为未知的11维向量；U为式(4)右边的2n维向量；K、U为已知向量。当2n＞11时，用最小二乘法求出上述线性方程的解为：

m＝(K^TK)^-1K^TU    (6)

m向量与m₃₄＝1构成了所求解得M矩阵。由上可见，由空间6个以上已知点与它们的图像点坐标，可以求出M矩阵。由于我们采用的定标板上有数十个已知点，使方程的个数大大超过未知数的个数，从而用最小二乘法求解以降低语差造成的影响

求出M矩阵后，可分解算出摄像机的全部内外参数。

$z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& c_x\\ 0& \frac{1}{\mathrm{dy}}& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

$=\left[\begin{array}{cccc}\frac{f}{\mathrm{dx}}& 0& c_x& 0\\ 0& \frac{f}{\mathrm{dy}}& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

$=\left[\begin{array}{cccc}{f}_x& 0& c_x& 0\\ 0& f_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

$=M_1{M}_2{X}_w={\mathrm{MX}}_w---\left(7\right)$

其中，与分别定义为x与y方向的等效焦距M为3×4矩阵，称为投影矩阵；M₁完全由f_x、f_y、c_x、c_y决定，由于这四个参数只与摄像机内部结构有关，因此称这些参数为摄像机内部参数。即： $\left[\begin{array}{cccc}{f}_x& 0& c_x& 0\\ 0& f_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right]$ 为摄像机内参矩阵。M₂完全由摄像机相对于世界坐标系的方位决定，称为摄像机外部矩阵，也称外参矩阵。正交旋转矩阵R是光轴相对世界坐标系坐标轴方向的余弦的组合，实际只含有三个独立变量：θ俯仰角(pitch)，ψ偏航角(yaw )，φ光轴滚动角(roll)或扭转角(twist)，再加上平移量t_x、t_y、t_z，总共六个参数决定了摄像机光轴在世界坐标系中的空间位置，因此这六个参数称为摄像机外部参数，即： $\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]$ 构成摄像机的外参矩阵。

以下说明计算2个相机和多个相机间的位置关系的方法

对于双目视觉***要完成定标，首先要完成单相机定标，并且必须将两个摄相机得到的坐标***统一到同一个世界坐标系中。用两个摄像机同时观察周围环境，利用式(8)表示两个坐标系的变换关系。

M_c1＝[R T]M_c2    (8)

由于两个摄相机对同一模板拍照，得出对应的外部参数分别用[R₁t₁]与[R₂t₂]表示，则[R₁t₁]表示C1摄像机与世界坐标之间的相对位置，[R₂t₂]表示C2摄像机与世界坐标之间的相对位置。对任意一点P，如它在世界坐标系、C1坐标系与C2坐标系下的非齐次坐标分别是：

$\left\{\begin{array}{c}{M}_{c1}=R_1{M}_{w1}+t_1\\ M_{c2}=R_2{M}_{w2}+t_2\end{array}\right.---\left(9\right)$

由于，模板相同，M_w1＝M_w2，则公式(9)变为：

$\mathrm{Mc}1=R_1{R}_2^{-1}{M}_{o2}-R_1{R}_2^{-1}{t}_2+t_1---\left(10\right)$

其中旋转矩阵R和平移矩阵T分别可表示为：

$\left\{\begin{array}{c}R=R_1{R}_2^{-1}\\ T=t_1-R{t}_2\end{array}\right.---\left(11\right)$

式(11)表示，如果对双目摄像机分别定标，得到R₁、t₁与R₂、t₂，则双摄像机的相对位置R和T可由公式(11)计算得出

通过每次定标得到的左右相机的外参矩阵，利用公式(11)，计算得到双目定标的总的旋转矩阵R和平移矩阵T，

如图4所示的世界坐标定标模板，模板两侧各采用一个具有高精度定位的棋盘格，两个棋盘格位于同一平面上，四部摄像机在不同角度拍摄2幅以上的模板图像，通过模板上的点与图像点进行匹配，计算出图像和模板之间的映射矩阵，可解出4台摄像机的内部参数。

用单摄像机定标的方法分别得到4个摄像机各自的内外参数，外参数用R_i，t_i(i＝1，2，3，4)表示。由于左右钢轨的双目视觉***背对朝向，因此左右钢轨的相机拍到的定标模板图像只是模板两端的部分图像，没有共同视场。令世界坐标系固定在模板上，则模板上的所有角点的空间坐标相对位置是只存在平移的关系。对于能被拍摄到左右双目视觉***中的模板上任意两点P_l和P_r，其在摄像机坐标***中的关系可用式(12)表示，其中X_wl，X_wr表示P_l和P_r的世界坐标，t_lr为X_wl，X_wr之间的平移关系，X_ci(i＝1，2，3，4)为摄像机C_i坐标系的坐标。由式(12)可求得摄像机之间的几何关系，由式(13)表示。

$\left\{\begin{array}{c}{X}_{c1}=R_1{X}_{\mathrm{wl}}+t_1\\ X_{c2}=R_2{X}_{\mathrm{wl}}+t_2\\ X_{c3}=R_3{X}_{\mathrm{wr}}+t_3\\ X_{c4}=R_4{X}_{\mathrm{wr}}+t_4\\ X_{\mathrm{wl}}=X_{\mathrm{wr}}+t_{\mathrm{lr}}\end{array}\right.---\left(12\right)$

$\left\{\begin{array}{c}{R}_{\mathrm{1,2}}=R_1{R}_2^{-1},T_{\mathrm{1,2}}=t_1-R_1{R}_2^{-1}{t}_2\\ R_{\mathrm{3,4}}=R_3{R}_4^{-1},R_{\mathrm{3,4}}=t_3-R_4^{-1}{t}_4\\ R_{\mathrm{1,3}}=R_1{R}_3^{-1},T_{\mathrm{1,3}}=t_1-R_1{R}_3^{-1}{t}_3+t_{\mathrm{lr}}\end{array}\right.---\left(13\right)$

空间点三维重建方法如下：

在本课题中，为了找到轨距测量的匹配点的世界坐标，主要进行空间点三维重建。

如图5所示，空间点被看作空间三维物体的基元，用立体视觉方法获取三维点的坐标(称为基于点的三维重建)是最基本的，也是最简单的。空间任意点P在两个摄像机C1与C2上的图像点p1与p2为图像中分别检测出来的点，即p1与p2为空间同一点P的对应点(匹配点)。假设C1与C2摄像机已定标，它们各自的投影矩阵分别为M₁与M₂，于是有

$Z_{c1}\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]...........\left(14\right)$

$Z_{c2}\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right].......\left(15\right)$

其中(u₁，v₁，1)与(u₂，v₂，1)分别是p1与p2点在各自图像中的齐次坐标；(X，Y，Z，1)为P点在世界坐标系下的齐次坐标； $m_{\mathrm{ij}}^k(k=\mathrm{1,2};i=1,\·\·\·,3;j=1,\·\·\·,4)$ 分别为的M_k的第i行j列元素。按式(2)与式(3)，消去Z_c1或Z_c2，得到关于X，Y，Z的四个线性方程：

$\left\{\begin{array}{c}(u_1{m}_{31}^1-m_{11}^1)X+(u_1{m}_{32}^1-m_{12}^1)Y+(u_1{m}_{33}^1-m_{13}^1)Z=m_{14}^1-u_1{m}_{34}^1\\ (v_1{m}_{31}^1-m_{21}^1)X+(v_1{m}_{32}^1-m_{22}^1)Y+(v_1{m}_{33}^1-m_{23}^1)Z=m_{24}^1-v_1{m}_{34}^1\end{array}\right.---\left(16\right)$

$\left\{\begin{array}{c}(u_2{m}_{31}^2-m_{11}^2)X+(u_1{m}_{32}^2-m_{12}^2)Y+(u_1{m}_{33}^2-m_{13}^2)Z=m_{14}^2-u_1{m}_{34}^2\\ (v_2{m}_{31}^2-m_{21}^2)X+(v_2{m}_{32}^2-m_{22}^2)Y+(v_2{m}_{33}^2-m_{23}^2)Z=m_{24}^2-v_2{m}_{34}^2\end{array}\right.---\left(17\right)$

由解析几何知，三维空间的平面方程为线性方程，两个平面方程的联立方程为空间直线方程(该直线为两个平面的交线)，式(16)或式(17)的几何意义是过O₁p₁(式O₂p₂)的直线。P为O₁p₁与O₂p₂的交点，因此通过式(16)与式(17)可联立求出P点的坐标(X，Y，Z)。

得到摄像机的内外参数矩阵后，并得到2相机的相对位置关系后，通过测量左右两侧钢轨的图像，从图像中分别找到左右钢轨轨距测量点，通过对图像中像素点的三维重建得到轨距点在世界坐标系下的坐标，从而通过两点间距离公式计算得出轨距。

以下说明轨距测量原理：

如图6所示，采用交汇式双目立体视觉***采集左右两侧钢轨断面及轨距测量匹配点图像，利用立体视觉实现点三维重建。设轨距测量匹配点图像(“十”字交叉点)，并分别表示为P_l、P_r、如图7所示，点P_l(x_w1，y_w1，z_w1)位于世界坐标系X_w1中，点P_r(x_w2，y_w2，z_w2)，位于世界坐标系X_w2中。世界坐标系X_w1的坐标原点选在标定板上，具体选择位置在CCD标定过程中指定，则P_l点在世界坐标系X_w1中的具***置(x_w1，y_w1，z_w1)可由空间点重建得到，同理在世界坐标系X_w2中可以得到P_r点的坐标(x_w2，y_w2，z_w2)。两个世界坐标系X_w1，X_w2的关系我们可在摄像机标定时求得，在标定左侧摄像机CCD1、CCD2时选取标定板上的一已知点作为世界坐标系X_w1的原点，同理在标定右侧摄像机CCD3、CCD4时也选取标定板上的一点作为世界坐标系X_w2的原点，如图7中的O₁、O₂点。因为是在同一块标定上同时标定各自坐标系的原点，两个坐标系相对于参考坐标系X_w(O，x，y，z)只有平移关系，而不存在旋转关系，因此三个坐标系关系可表示为：

$\left\{\begin{array}{c}{X}_{w1}=X_w+t_1\\ X_{w2}=X_w+t_2\end{array}\right.---\left(18\right)$

通过式(18)建立起了世界坐标系X_w1与X_w2的转换关系，即可建立起点P_l与点P_r在同一个坐标系下的几何关系，根据空间两点间距离公式(19)则可求得点P_l与点P_r的距离，即轨距。

$l=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2}---\left(19\right)$

本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种基于机器视觉的轨距测定方法，其特征在于，包括：

步骤1、设置两组双目式背对CCD摄像机在轨距测量车支架上，位于钢轨上方；

步骤2、测算每个CCD摄像机的参数；

步骤3、测算全部CCD摄像机间的几何关系；

步骤4、选取CCD摄像机拍摄的对应点位置；

步骤5、选取轨距测量点位置；

步骤6、将轨距测量点位置映射到世界坐标；

步骤7、在世界坐标中计算轨距测量点的间距即轨距。

2.如权利要求1所述的轨距测定方法，其特征在于，所述每组CCD摄像机各包括两个具有公共视场的CCD摄像机。

3.如权利要求1所述的轨矩测定方法，其特征在于，在所述步骤1中还包括在支架上，位于钢轨内侧安装扇形光源，使得扇形光源照射在钢轨上。

4.如权利要求1所述的轨距测定方法，其特征在于，在所述步骤2中测算每个CCD摄像机的参数包括：

将模板固定在一个平面上，摄像机在不同方位上拍摄两个以上的模板图像，通过模板上的点与图像点进行匹配，计算出图像和模板之间的映射矩阵，并通过该矩阵可线性解出摄像机内部参数，

$Z_{\mathrm{oi}}\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{wi}}\\ Y_{\mathrm{wi}}\\ Z_{\mathrm{wi}}\\ 1\end{array}\right]$

其中，(X_wi，Y_wi，Z_wi，1)空间第i个点的坐标；(u_i，v_i，1)为第i 个点的图像坐标；m_ij为投影矩阵M的第i行j列元素；分解消去Z_oi可以得到关于m_ij的线性方程：

$\left\{\begin{array}{c}{X}_{\mathrm{wi}}{m}_{11}+Y_{\mathrm{wi}}{m}_{12}+Z_{\mathrm{wi}}{m}_{13}+m_{14}-u_i{X}_{\mathrm{wi}}-u_i{Y}_{\mathrm{wi}}{m}_{32}-u_i{Z}_{\mathrm{wi}}{m}_{33}=u_i{m}_{34}\\ X_{\mathrm{wi}}{m}_{21}+Y_{\mathrm{wi}}{m}_{22}+Z_{\mathrm{wi}}{m}_{23}+m_{24}-v_i{X}_{\mathrm{wi}}-v_i{Y}_{\mathrm{wi}}{m}_{32}-v_i{Z}_{\mathrm{wi}}{m}_{33}=v_i{m}_{34}\end{array}\right.$

定标块上有n个已知点，所述已知点的空间坐标

(X_wi，Y_wi，Z_wi)(i＝1，…，n)与它们的图象点坐标

(u_i，v_i)(i＝1，…，n)，得到2n个关于M矩阵元素的线性方程矩阵：

$\left[\begin{array}{cccccccccc}{X}_{\mathrm{wi}}& Y_{\mathrm{wi}}& Z_{\mathrm{wi}}& 1& 0& 0& 0& -u_1{X}_{w1}& -u_1{Y}_{w1}& -u_1{Z}_{w1}\\ 0& 0& 0& 0& X_{\mathrm{wi}}& Y_{\mathrm{wi}}& Z_{\mathrm{wi}}& -v_1{X}_{w1}& -v_1{Y}_{w1}& -v_1{Z}_{w1}\\ & & & & ...& ...& ...& & & \\ & & & & ...& ...& ...& & & \\ X_{\mathrm{wi}}& Y_{\mathrm{wi}}& Z_{\mathrm{wi}}& 1& 0& 0& 0& -u_1{X}_{\mathrm{wi}}& -u_1{Y}_{\mathrm{wi}}& -u_1{Z}_{\mathrm{wi}}\\ 0& 0& 0& 0& X_{\mathrm{wi}}& Y_{\mathrm{wi}}& Z_{\mathrm{wi}}& -v_1{X}_{\mathrm{wi}}& -v_1{Y}_{\mathrm{wi}}& -v_1{Z}_{\mathrm{wi}}\end{array}\right]$

$\×\left[\begin{array}{c}{m}_{11}\\ m_{12}\\ m_{13}\\ m_{14}\\ m_{21}\\ m_{22}\\ m_{23}\\ m_{24}\\ m_{31}\\ m_{32}\\ m_{33}\end{array}\right]=\left[\begin{array}{c}{u}_1{m}_{34}\\ v_1{m}_{34}\\ ...\\ ...\\ ...\\ ...\\ ...\\ ...\\ ...\\ u_n{m}_{34}\\ v_n{m}_{34}\end{array}\right]$

指定m₃₄＝1，得到关于M矩阵其他元素的2n个线性方程，未知元素的个数为11个，记为11维向量m，简写成：Km＝U，K为左边2n×11矩阵；m为未知的11维向量；U为右边的2n维向量；K、U为已知向量；用最小二乘法求出当2n＞11时上述线性方程的解为：

m＝(K^TK)^-1K^TU

m向量与m₃₄＝1构成了所求解得M矩阵；由上可见，由空间6个以上已知点与它们的图像点坐标，可以求出M矩阵；

求出M矩阵后，可由关系分解算出摄像机的全部内外参数；

$z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& c_x\\ 0& \frac{1}{\mathrm{dy}}& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

$=\left[\begin{array}{cccc}\frac{f}{\mathrm{dx}}& 0& c_x& 0\\ 0& \frac{f}{\mathrm{dy}}& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

$=\left[\begin{array}{cccc}{f}_x& 0& c_x& 0\\ 0& f_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

$=M_1{M}_2{X}_w={\mathrm{MX}}_w$

其中，

与

分别定义为x与y方向的等效焦距。

5.如权利要求1所述的轨距测定方法，其特征在于，在所述步骤2中测算全部CCD摄像机间的几何关系包括：将两个摄相机得到的坐标***统一到同一个世界坐标系中。用两个摄像机同时观察周围环境，利用式M_c1＝[RT]M_c2表示两个坐标系的变换关系；

用[R₁t₁]与[R₂t₂]分别表示每个摄像机的外部参数，用[R₁t₁]表示C1摄像机与世界坐标之间的相对位置，[R₂t₂]表示C2摄像机与世界坐标之间的相对位置；

用 $\left\{\begin{array}{c}{M}_{c1}=R_1{M}_{w1}+t_1\\ M_{c2}=R_2{M}_{w2}+t_2\end{array}\right.$ 表示对任意一点P在世界坐标系、C1坐标系与C2坐标系下的非齐次坐标；

对双目摄像机分别定标，得到R₁、t₁与R₂、t₂，计算双目摄像机的相对位置R和T；

设计定标模板，模板两侧各采用一个具有高精度定位的棋盘格，两个棋盘格位于同一平面上，四部摄像机在不同角度拍摄2幅以上的模板图像，通过模板上的点与图像点进行匹配，计算出图像和模板之间的映射矩阵，可解出4台摄像机的内部参数，式 $\left\{\begin{array}{c}{R}_{\mathrm{1,2}}=R_1{R}_2^{-1},T_{\mathrm{1,2}}=t_1-R_1{R}_2^{-1}{t}_2\\ R_{\mathrm{3,4}}=R_3{R}_4^{-1},R_{\mathrm{3,4}}=t_3-R_4^{-1}{t}_4\\ R_{\mathrm{1,3}}=R_1{R}_3^{-1},T_{\mathrm{1,3}}=t_1-R_1{R}_3^{-1}{t}_3+t_{\mathrm{lr}}\end{array}\right.$ 表示。

6.如权利要求1所述的轨距测定方法，其特征在于，在所述步骤6还包括：

用p1与p2表示同一点P的对应点匹配点；

用M1与M2表示已定标的C1与C2摄像机各自的投影矩阵分别为：

$Z_{c1}\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

$Z_{c2}\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中(u₁，v₁，1)与(u₂，v₂，1)分别是p1与p2点在各自图像中的齐次坐标；(X，Y，Z，1)为P点在世界坐标系下的齐次坐标； $m_{\mathrm{ij}}^k(k=\mathrm{1,2};i=1,\·\·\·,3;j=1,\·\·\·,4)$ 分别为的M_k的第i行j列元素；

消去Z_c1或Z_c2，得到关于X，Y，Z的四个线性方程：

$\left\{\begin{array}{c}(u_1{m}_{31}^1-m_{11}^1)X+(u_1{m}_{32}^1-m_{12}^1)Y+(u_1{m}_{33}^1-m_{13}^1)Z=m_{14}^1-u_1{m}_{34}^1\\ (v_1{m}_{31}^1-m_{21}^1)X+(v_1{m}_{32}^1-m_{22}^1)Y+(v_1{m}_{33}^1-m_{23}^1)Z=m_{24}^1-v_1{m}_{34}^1\end{array}\right.$ 和

$\left\{\begin{array}{c}(u_2{m}_{31}^2-m_{11}^2)X+(u_1{m}_{32}^2-m_{12}^2)Y+(u_1{m}_{33}^2-m_{13}^2)Z=m_{14}^2-u_1{m}_{34}^2\\ (v_2{m}_{31}^2-m_{21}^2)X+(v_2{m}_{32}^2-m_{22}^2)Y+(v_2{m}_{33}^2-m_{23}^2)Z=m_{24}^2-v_2{m}_{34}^2\end{array}\right.$

联立求出P点的坐标(X，Y，Z)，得到摄像机的内外参数矩阵后，并得到2相机的相对位置关系后，通过测量左右两侧钢轨的图像，从图像中分别找到左右钢轨轨距测量点，通过对图像中像素点的三维重建得到轨距点在世界坐标系下的坐标，从而通过两点间距离公式计算得出轨距。

7.如权利要求1所述的轨距测定方法，其特征在于，所述步骤7还包括：利用立体视觉实现点三维重建；用P_l、P_r表示轨距测量匹配点，点P_l(x_w1，y_w1，z_w1)位于世界坐标系X_w1中，点P_r(x_w2，y_w2，z_w2)位于世界坐标系X_w2中；

世界坐标系X_w1的坐标原点选在标定板上，通过式 $\left\{\begin{array}{c}{X}_{w1}=X_w+t_1\\ X_{w2}=X_w+t_2\end{array}\right.$ 建立世界坐标系X_w1与X_w2的转换，建立起点P_l与点P_r在同一个坐标系下的几何关系，根据空间两点间距离公式 $l=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2}$ 求得点P_l与点P_r的距离。

Images