CN101813467B

CN101813467B - 基于双目立体视觉技术的旋翼共锥度测量装置及其方法

Info

Publication number: CN101813467B
Application number: CN2010101536234A
Authority: CN
Inventors: 朱齐丹; 蔡成涛; 夏桂华; 王立辉; 张智; 姜迈; 邓超
Original assignee: Harbin Engineering University
Current assignee: Harbin Engineering University
Priority date: 2010-04-23
Filing date: 2010-04-23
Publication date: 2011-11-16
Anticipated expiration: 2030-04-23
Also published as: CN101813467A

Abstract

本发明的目的在于提供基于双目立体视觉技术的旋翼共锥度测量装置及其方法。本发明的基于双目立体视觉技术的旋翼共锥度测量装置包括光源、电感式接近开关、直升机旋翼机构、摄像机、导轨和图形工作站，光源位于直升机旋翼上方，电感式接近开关安装在直升机旋翼上，左右两台摄像机安装在导轨上、面向直升机旋翼并分布在直升机旋翼的两侧，两台摄像机与图形工作站相连。本发明结构简单、调节方便、安装维修简捷、工作稳定可靠。

Description

基于双目立体视觉技术的旋翼共锥度测量装置及其方法

技术领域

本发明涉及的是一种光学测量装置，本发明还涉及一种光学测量方法，具体地说是应用于共锥度测量的光学测量装置及其测量方法。

背景技术

当旋翼直升机飞行时，桨叶会微微往上翘，形成一个倒置的圆锥体，若升力一致，则各桨叶运动在同一个椎体上，通常称为共锥面。若升力不一致，那么各桨叶运动的轨迹不共锥，此时桨叶高度就不等高。直升机旋翼的共锥度是旋翼动平衡测量的一个主要指标，它直接关系到直升机的安全和其他各项重要性能的优劣，是直升机生产、维护中的重要检查项目。由于共锥度的测量往往是在桨叶高速旋转的动态下进行的，所以过去一直存在着测量难度较大、测量精度较差的问题。

双目立体视觉是对人双眼的模拟，人的双眼从位置不同的2个角度去观察世界的景物，必须要有两幅不同的错位图片，这种错位叫做视差，它反映了客观景物的深度，没有视差就没有深度知觉。双目立体视觉理论建立在对人类视觉***研究的基础上，通过双目立体图像的处理，获取场景的三维信息，再经过进一步处理就可得到三维空间中的景物，实现二维图像到三维空间的重构。由于双目视觉把物体的三维信息同视差联系起来，即视差中隐含着三维的深度信息及物体的几何形状信息。所以双目视觉理论成功应用于工业测量、机械加工、车牌识别、资源分析、医疗诊断、人脸识别等许多领域。

发明内容

本发明的目的在于提供结构简单、使用方便的一种基于双目立体视觉技术的旋翼共锥度测量装置，本发明的目的还在于提供测量精度较高的基于双目立体视觉技术的旋翼共锥度测方法。

本发明的目的是这样实现的：

本发明的基于双目立体视觉技术的旋翼共锥度测量装置包括光源、电感式接近开关、直升机旋翼机构、摄像机、导轨和图形工作站，光源位于直升机旋翼上方，电感式接近开关安装在直升机旋翼上，左右两台摄像机安装在导轨上、面向直升机旋翼并分布在直升机旋翼的两侧，两台摄像机与图形工作站相连。

本发明的基于双目立体视觉技术的旋翼共锥度测量方法首先通过张正友法标定出两台摄像机的内部参数焦距f_l、f_r及外部参数旋转矩阵R和平移矢量T，再将旋翼信号图像传入图形工作站，得到旋翼在左右摄像机中的图像坐标，将得出的数据作为已知条件基于视差原理求解出旋翼点的空间三维坐标、从而得出共锥度。

本发明的基于双目立体视觉技术的旋翼共锥度测量装置及其方法还可以包括：

1、所述的直升机旋翼机构包括旋翼头、螺栓孔和旋翼，旋翼包括标准旋翼和伴随旋翼，螺栓孔有三组、分别位于旋翼头的边缘，三组螺栓孔两两角度为120°，标准旋翼和伴随旋翼通过螺栓孔安装在旋翼头上。

2、所述的导轨上带有标尺。

3、所述的旋翼点的空间三维坐标求解方法为左摄像机o_lx_ly_lz_l位于世界坐标系的原点处且无旋转，图像坐标系为O_lX_lY_l，有效焦距为f_l；右摄像机坐标系为o_rx_ry_rz_r，图像坐标系为O_rX_rY_r，有效焦距为f_r，由摄像机透视变换模型有：

z_{l} [\begin{matrix} X_{l} \\ Y_{l} \\ 1 \end{matrix}] = [\begin{matrix} f_{l} & 0 & 0 \\ 0 & f_{l} & 0 \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} x_{l} \\ y_{l} \\ z_{l} \end{matrix}] - - - (1)

z_{r} [\begin{matrix} X_{r} \\ Y_{r} \\ 1 \end{matrix}] = [\begin{matrix} f_{r} & 0 & 0 \\ 0 & f_{r} & 0 \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} x_{r} \\ y_{r} \\ z_{r} \end{matrix}] - - - (2)

而o_lx_ly_lz_l坐标系与o_rx_ry_rz_r坐标系之间的相互位置关系可通过空间转换矩阵M_lr表示为：

[\begin{matrix} x_{r} \\ y_{r} \\ z_{r} \end{matrix}] = M_{lr} [\begin{matrix} x_{l} \\ y_{l} \\ z_{l} \\ 1 \end{matrix}] = [\begin{matrix} r_{1} & r_{2} & r_{3} & t_{x} \\ r_{4} & r_{5} & r_{6} & t_{y} \\ r_{7} & r_{8} & r_{9} & t_{z} \end{matrix}] [\begin{matrix} x_{l} \\ y_{l} \\ z_{l} \\ 1 \end{matrix}] M_{lr} = [R | T] - - - (3)

其中，

分别为o_lx_ly_lz_l坐标系与o_rx_ry_rz_r坐标系之间的旋转矩阵和原点之间的平移变换矢量，

o_lx_ly_lz_l坐标系与o_rx_ry_rz_r坐标系的变换，可以通过绕不同坐标轴的3次连续转动来实现，其中ψ为绕o_lx_ly_lz_l坐标系z_l轴的转动角度，θ为绕o_rx_ry_rz_r坐标系y_r轴转动的角度，φ为绕o_rx_ry_rz_r坐标系x_r轴转动的角度，t_x，t_y，t_z分别为o_lx_ly_lz_l坐标系到o_rx_ry_rz_r坐标系的x，y，z方向三维平移分量；

由(1)～(3)得可知：

\{\begin{matrix} x_{l} = {zX}_{1} / f_{l} \\ y_{l} = z Y_{1} / f_{l} \\ z_{l} = \frac{f_{l} (f_{r} t_{x} - X_{r} t_{z})}{X_{r} (r_{7} X_{1} + r_{8} Y_{1} + f_{l} r_{9}) - f_{r} (r_{1} X_{1} + r_{2} Y_{1} + f_{l} r_{3})} \\ = \frac{f_{l} (f_{r} t_{y} - Y_{r} t_{z})}{Y_{r} (r_{7} X_{1} + r_{8} Y_{1} + f_{l} r_{9}) - f_{r} (r_{4} X_{1} + r_{5} Y_{1} + f_{l} r_{6})} \end{matrix} - - - (4)

由于已知左摄像机坐标系o_lx_ly_lz_l与世界坐标系oxyz重合，则：

\{\begin{matrix} x = x_{l} \\ y = y_{l} \\ z = z_{l} \end{matrix} - - - (5)

即待测旋翼点的三维坐标为：

\{\begin{matrix} x = {zX}_{l} / f_{l} \\ y = z Y_{l} / f_{l} \\ z = \frac{f_{l} (f_{r} t_{x} - X_{r} t_{z})}{X_{r} (r_{7} X_{l} + r_{8} Y_{l} + f_{l} r_{9}) - f_{r} (r_{1} X_{l} + r_{2} Y_{l} + f_{l} r_{3})} \\ = \frac{f_{l} (f_{r} t_{y} - Y_{r} t_{z})}{Y_{r} (r_{7} X_{l} + r_{8} Y_{l} + f_{l} r_{9}) - f_{r} (r_{4} X_{l} + r_{5} Y_{l} + f_{l} r_{6})} \end{matrix} - - - (6) .

本发明的优势在于：结构简单、调节方便、安装维修简捷、工作稳定可靠。

附图说明

图1为本发明的基于双目立体视觉技术的旋翼共锥度测量装置示意图；

图2是本发明旋翼锥度计算流程图；

图3是本发明的双目立体视觉数学模型；

图4是本发明的二维中值滤波器常用窗口；

图5是拉普拉斯边缘检测原理图。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

结合图1～5，本发明装置的目的是这样实现的：基于双目立体视觉技术的旋翼共锥度测量装置，如图1所示，包括光源1、电感式接近开关2、直升机旋翼机构3、摄像机4和5、导轨7和图形工作站8，光源1位于直升机旋翼上方，电感式接近开关2安装在直升机旋翼上，左右两台摄像机4、5安装在导轨7上、面向直升机旋翼并分布在直升机旋翼的两侧，两台摄像机4、5与图形工作站相8连。摄像机标定采用的平面模板为2维靶面，其中靶面上的方格点即为标定点，再由图像采集模块将旋翼信号图像传入图形工作站存储器，图像采集模块要由光源、电感式接近开关、两台CCD摄像机、带有标尺的导轨、图形工作站等硬件设备组成，通过调整导轨上两台CCD摄像机可以获得不同的视场角，图像处理模块通过图像预处理、图像的边缘提取计算出旋翼在左右摄像机中的图像坐标，将摄像机标定模块及图像处理模块计算出的数据作为已知条件基于视差原理求解出旋翼点的空间三维坐标，达到旋翼共锥度测量的目的。

基于双目立体视觉技术的旋翼共锥度测量方法，如图2所示，首先通过张正友法完成双目摄像机的标定，再将旋翼信号图像传入图形工作站完成双目图像的获取，进行完成图像的预处理，将得出的数据作为已知条件基于视差原理完成旋翼边缘点的提取及三维坐标的解算，之后进行旋翼锥度的解算、从而得出共锥度。

建立双目立体视觉数学模型，如图3所示，设左摄像机o_lx_ly_lz_l位于世界坐标系的原点处且无旋转，图像坐标系为O_lX_lY_l，有效焦距为f_l；右摄像机坐标系为o_rx_ry_rz_r，图像坐标系为O_rX_rY_r，有效焦距为f_r，由摄像机透视变换模型有：

z_{l} [\begin{matrix} X_{l} \\ Y_{l} \\ 1 \end{matrix}] = [\begin{matrix} f_{l} & 0 & 0 \\ 0 & f_{l} & 0 \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} x_{l} \\ y_{l} \\ z_{l} \end{matrix}] - - - (1)

z_{r} [\begin{matrix} X_{r} \\ Y_{r} \\ 1 \end{matrix}] = [\begin{matrix} f_{r} & 0 & 0 \\ 0 & f_{r} & 0 \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} x_{r} \\ y_{r} \\ z_{r} \end{matrix}] - - - (2)

而o_lx_ly_lz_l坐标系与o_rx_ry_rz_r坐标系之间的相互位置关系可通过空间转换矩阵M_lr表示为

[\begin{matrix} x_{r} \\ y_{r} \\ z_{r} \end{matrix}] = M_{lr} [\begin{matrix} x_{l} \\ y_{l} \\ z_{l} \\ 1 \end{matrix}] = [\begin{matrix} r_{1} & r_{2} & r_{3} & t_{x} \\ r_{4} & r_{5} & r_{6} & t_{y} \\ r_{7} & r_{8} & r_{9} & t_{z} \end{matrix}] [\begin{matrix} x_{l} \\ y_{l} \\ z_{l} \\ 1 \end{matrix}] M_{lr} = [R | T] - - - (3)

其中，

分别为o_lx_ly_lz_l坐标系与o_rx_ry_rz_r坐标系之间的旋转矩阵和原点之间的平移变换矢量。

\{\begin{matrix} r_{1} = \cos θ \cos ψ \\ r_{2} = - \cos φ \sin ψ + \sin φ \sin θ \cos ψ \\ r_{3} = \sin φ \sin ψ + \cos φ \sin θ \cos ψ \\ r_{4} = \cos θ \sin ψ \\ r_{5} = \cos φ \cos ψ + \sin φ \sin θ \sin ψ \\ r_{6} = - \sin φ \cos ψ + \cos φ \sin θ \sin ψ \\ r_{7} = - \sin θ \\ r_{8} = \sin φ \cos θ \\ r_{9} = \cos φ \cos θ \end{matrix}

o_lx_ly_lz_l坐标系与o_rx_ry_rz_r坐标系的变换，可以通过绕不同坐标轴的3次连续转动来实现，其中ψ为绕o_lx_ly_lz_l坐标系z_l轴的转动角度；θ为绕o_rx_ry_rz_r坐标系y_r轴转动的角度；φ为绕o_rx_ry_rz_r坐标系x_r轴转动的角度。t_x，t_y，t_z分别为o_lx_ly_lz_l坐标系到o_rx_ry_rz_r坐标系的x，y，z方向三维平移分量。

由(1)～(3)可知

\{\begin{matrix} x_{l} = {zX}_{1} / f_{l} \\ y_{l} = z Y_{1} / f_{l} \\ z_{l} = \frac{f_{l} (f_{r} t_{x} - X_{r} t_{z})}{X_{r} (r_{7} X_{1} + r_{8} Y_{1} + f_{l} r_{9}) - f_{r} (r_{1} X_{1} + r_{2} Y_{1} + f_{l} r_{3})} \\ = \frac{f_{l} (f_{r} t_{y} - Y_{r} t_{z})}{Y_{r} (r_{7} X_{1} + r_{8} Y_{1} + f_{l} r_{9}) - f_{r} (r_{4} X_{1} + r_{5} Y_{1} + f_{l} r_{6})} \end{matrix} - - - (4)

\{\begin{matrix} x = x_{l} \\ y = y_{l} \\ z = z_{l} \end{matrix} - - - (5)

即待测旋翼点的三维坐标可以表示为：

\{\begin{matrix} x = {zX}_{l} / f_{l} \\ y = z Y_{l} / f_{l} \\ z = \frac{f_{l} (f_{r} t_{x} - X_{r} t_{z})}{X_{r} (r_{7} X_{l} + r_{8} Y_{l} + f_{l} r_{9}) - f_{r} (r_{1} X_{l} + r_{2} Y_{l} + f_{l} r_{3})} \\ = \frac{f_{l} (f_{r} t_{y} - Y_{r} t_{z})}{Y_{r} (r_{7} X_{l} + r_{8} Y_{l} + f_{l} r_{9}) - f_{r} (r_{4} X_{l} + r_{5} Y_{l} + f_{l} r_{6})} \end{matrix} - - - (6)

因此已知焦距f_l、f_r和旋转矩阵R和平移矢量T，只要求出待测旋翼点在左右摄像机中的图像坐标(X_l，Y_l)和(X_r，Y_r)就可以得到被测物体点的三维空间坐标。

主要实施过程

1.f_l、f_r和旋转矩阵R和平移矢量T的计算方法

本方案采用张正友(基于2D靶面)法求解出两台摄像机的内外参数。其中平面靶标上的方格点即为标定点。

标定步骤：

a.打印一张模板并贴在一个平面

b.从不同角度拍摄若干张模板图像(大于两张)

c.检测出图像中的特征点

d.求出摄像机的内参数和外参数

e.求出畸变系数

f.优化求精，确定两台摄像机最终的内外参数f_l、f_r、R_l、T_l、R_r、T_r。

设定双目立体视觉***中左右摄像机的外部参数分别为R_l、T_l与R_r、T_r。则R_l、T_l表示左摄像机与世界坐标系的相对位置，R_r、T_r表示右摄像机与世界坐标系的相对位置，两个摄像机之间的几何关系R、T可以用下面关系式表示：

\{\begin{matrix} R = R_{r} R_{l}^{- 1} \\ T = T_{r} - R_{r} R_{r}^{- 1} T \end{matrix} - - - (7)

2.旋翼点在左右摄像机中图像坐标的计算方法

只有保证摄像机机与旋翼同步，才能准确的抓拍到旋翼图像，同时采集卡存储图像。旋翼模型由单相异步电机驱动，选用可调速电机，调整达到按照缩小比例计算出的恒定转速。旋翼下方的基座上安装一个接近开关，当标准桨翼转到接近开关所处的指定位置的同时启动脉冲信号，利用这个脉冲信号通过对图像采集卡进行相应的设置来控制摄像机的快门，使之能够准确对三片旋翼进行拍摄，将同步信号脉冲采集到图像卡上以后，再由X64-CL图像采集卡接过控制权对两台摄像机进行同步操作。

采集到的图像首先要进行预处理，以消除图像中的干扰。中值滤波是一种有效的滤波方法，它采用一个含有奇数点的滑动窗口，用窗口中各点灰度值的中值来代替窗口中心点像素的灰度值。对二维序列{f_ij}进行中值滤波时，滤波窗口也是二维的，将窗口内像素排序，生成单调数据序列{x_ij}，二维中值滤波的结果为

g_ij＝Med{x_ij}

如图4所示。不同形状的窗口产生不同的滤波效果，使用中必须根据图像的内容和不同的要求加以选择。如对于有缓慢变化的较长轮廓线物体的图像，采用方形或圆形窗口比较适宜；对于包含有尖顶角物体的图像，则适宜采用十字形窗口。使用中值滤波最值得注意的就是保持图像中有效的细线状物体。

如图5所示，边缘检测方法采用拉普拉斯高斯(Log)算子法，它通过寻找图像灰度值中二阶微分中的过零点来检测边缘点。它的原理为，灰度变形成边缘经过微分算子形成一个单峰函数，峰值位置对应边缘点；对单峰值进行微分，在边缘处会产生一个陡峭的零交叉，根据这个零交叉判断边缘。

设计循环程序寻找旋翼的边缘，扫描算法如下：对边缘提取完毕后的二值化图像进行扫描，扫描的顺序是先从左向右即水平扫描；然后从上向下即垂直扫描。由于二值化后的图像只有两个值，即0(黑色)，255(白色)，故要确定边缘上的第一个点是很简单的。以旋翼翼尖上边缘作为目标点当找到目标点后计算目标点在左右摄像机中的图像坐标值(X_l，Y_l)和(X_r，Y_r)。

将前面计算出的左右两台摄像机的焦距f_l、f_r和两台摄像机间旋转矩阵R和平移矢量T作为已经条件代入式(6)，即可求解出即为待测旋翼点三维空间坐标p(x，y，z)。通过同步电路控制摄像机拍摄，分别得到三片旋翼的坐标值p₁、p₂、p₃，其中p_i(i＝1，2，3)第三个参数即为旋翼高度值，它们之间的差值即为旋翼锥度差。

实施方式1：

使用TAMRON公司的18-200mm镜头、摄像机为JIA公司生产的CM-200MCL，CCD镜头的分辨率为1620×1236，并设计和制作了一个平面棋盘多方格(7×10)模板，拍摄距离300mm。

应用张正友法进行求解，进行20组实验并取平均值标定出左右两台摄像机的内外参数：

左摄像机焦距f_l＝4030.742mm

右摄像机焦距f_r＝4140.546mm

旋转矩阵

R = [\begin{matrix} 0.4792 & - 0.0782 & 0.8742 \\ 0.0851 & 0.9955 & 0.0423 \\ - 0.8736 & 0.0542 & 0.4836 \end{matrix}]

平移矢量T＝[-1437.84461；-17.20693；965.51554]

为了获得合适的三维视觉精度，一方面要求两台摄像机镜头光心之间的距离尽可能的远(即视觉***的基线距离尽可能大)，另一方面，被测物体特征点的求取精度尽可能得高(一般要求达到子像素精度)。采用长焦距摄像机(＞25mm)和固定基线长，很容易达到1/20000的相对深度误差。本方案中左右两台摄像机光心基线距离固定为500mm，与导轨夹角为30°

将双目视觉***拍摄到的旋翼图像经过去噪，边缘检测后，提取出旋翼上边缘点在左右两台摄像机中的图像坐标值(X_l，Y_l)和(X_r，Y_r)，结合前面计算出的左右两台摄像机的焦距f_l、f_r和两台摄像机间旋转矩阵R和平移矢量T作为已经条件代入公式(6)即可求解出即为待测旋翼点三维空间坐标p(x，y，z)。通过同步电路控制摄像机拍摄，分别得到三片旋翼的坐标值p₁、p₂、p₃，其中p_i(i＝1，2，3)第三个参数z即为旋翼高度值，它们之间的差值即为旋翼锥度差。

采用调速电机控制旋翼转速，控制旋翼旋转速度为220r/m，由左右摄像机分别对三片旋翼进行拍摄，计算出三片旋翼锥度差为：

Claims

1.基于双目立体视觉技术的旋翼共锥度测量装置，其特征是：包括光源、电感式接近开关、直升机旋翼机构、左摄像机、右摄像机、导轨和图形工作站，所述的直升机旋翼机构包括旋翼头、螺栓孔和旋翼，光源位于直升机旋翼上方，电感式接近开关安装在直升机旋翼上，左右两台摄像机安装在导轨上、面向直升机旋翼并分布在直升机旋翼的两侧，两台摄像机与图形工作站相连。

2.根据权利要求1所述的基于双目立体视觉技术的旋翼共锥度测量装置，其特征是：旋翼包括标准旋翼和伴随旋翼，螺栓孔有三组、分别位于旋翼头的边缘，三组螺栓孔两两角度为120°，标准旋翼和伴随旋翼通过螺栓孔安装在旋翼头上。

3.根据权利要求1或2所述的基于双目立体视觉技术的旋翼共锥度测量装置，其特征是：所述的导轨上带有标尺。

4.基于双目立体视觉技术的旋翼共锥度测量方法，采用权利要求1所述的基于双目立体视觉技术的旋翼共锥度测量装置，其特征是：首先通过张正友法标定出两台摄像机的内部参数焦距f_l、f_r及外部参数旋转矩阵R和平移矢量T，再将旋翼信号图像传入图形工作站，得到旋翼在左右摄像机中的图像坐标，将得出的数据作为已知条件基于视差原理求解出旋翼点的空间三维坐标、从而得出共锥度。

5.根据权利要求4所述的基于双目立体视觉技术的旋翼共锥度测量方法，其特征是：所述的旋翼点的空间三维坐标求解方法为左摄像机o_lx_ly_lz_l位于世界坐标系的原点处且无旋转，图像坐标系为O_lX_lY_l，有效焦距为f_l；右摄像机坐标系为o_rx_ry_rz_r，图像坐标系为O_rX_rY_r，有效焦距为f_r，由摄像机透视变换模型有：

o_lx_ly_lz_l坐标系与o_rx_ry_rz_r坐标系之间的相互位置关系可通过空间转换矩阵M_lr表示为：

其中，

由(1)～(3)得可知：

即待测旋翼点的三维坐标为：