CN101419055B - 基于视觉的空间目标位姿测量装置和方法 - Google Patents

Abstract

一种基于视觉的空间目标位姿测量装置和方法，该装置电控位移台、图像采集设备、综合信息处理平台三个部分组成；方法由双目图像基于二维平面靶标的摄像机标定模块、双目图像的特征点的提取模块、双目图像特征点的匹配模块、姿态参数测量模块四个模块组成。该装置和方法通过综合信息处理平台控制电控位移台和其上的CCD摄像机的运动，运动中的CCD摄像机向综合信息处理平台的高速计算机传输双目图像，高速计算机经过一系列的图像处理过程，计算出向空间目标逼近靠拢过程中空间目标相对位置和姿态参数，再把经过图像处理得出的空间目标的参数和电控位移台的运动参数进行比对，验证测量结果的正确性及测量精度分析。

Description

基于视觉的空间目标位姿测量装置和方法

(一)技术领域：

本发明涉及基于视觉的空间目标位姿测量装置和方法，尤其指一种模式识别与智能控制、追踪飞行器向空间目标逼近靠拢过程中的跟踪、图像处理与空间目标运动参数计算的装置和方法，通过对向空间目标逼近靠拢过程中一系列信息处理过程(主要为图像处理过程)，实现了对空间目标运动的参数的测量，属于信息处理技术领域。

(二)背景技术：

卫星预警的研究工作，主要集中在远距离段对弱小空间目标的远距离及时发现、预警的需求上，研究的重点是针对空间飞行器中段的空间目标进行检测跟踪(这时空间目标的可见光、红外特性相对于主动段依然较弱，信噪比低)，研究空间飞行器的成像条件与成像特点对空间目标精确跟踪的影响。对于远段、中段的空间目标识别跟踪的研究，也取得了重要进展。

对于近距离空间目标空间目标特征提取、姿态识别和测量方面的研究，业者做了大量工作，取得了一定研究成果。

研究工作主要集中在远距离段对弱小空间目标的远距离及时发现、研究的重点是针对空间飞行器中段的空间目标进行检测跟踪。对于远段、中段的空间目标识别跟踪，已在复杂背景下空间目标检测识别、空间目标和背景建模、空间目标轨迹预测及跟踪等方面取得了很多重要的成果。航天器的交会对接是关键技术之一，而此过程中近距离空间目标的特征提取跟踪、姿态识别和动态测量是影响任务成败的关键。

(三)发明内容：

本发明的目的在于提供一种基于视觉的空间目标位姿测量装置和方法，以实现在追踪飞行器向空间目标逼近靠拢过程中，通过双目成像的原理和图像处理的方法，对空间目标的位置和姿态参数进行精确计算。

本发明的技术方案为：

本发明一种基于视觉的空间目标位姿测量装置，由以下三部分构成：电控位移台、图像采集设备、综合信息处理平台。

1)图像采集设备：

该图像采集设备主要包括两个CCD(Charge Coupled Device，即电荷藕合器件图像传感器)摄像机。

CCD摄像机的具体参数如下：

KP-F200SCL摄像机参数为：

●分辨率(有效像素)1628×1236

●CCD面积7.16×5.44mm1/1.8-inch

●帧频15fps

●接口Mini CamraLink

●尺寸29(W)×29(H)×29(D)

●重量约53g

●其它10bits输出，串口控制支持，工作温度0～+40℃

2)电控位移台：

该电控位移台是由六自由度高精度数字伺服位移台、位移台控制箱组成。

该六自由度高精度数字伺服位移台是图像获取装置的支撑平台，可根据位移台控制箱的控制指令进行六自由度的运动，实现对双目测量过程中测量结果的验证。

该位移台控制箱通过串口向六自由度高精度数字伺服位移台发送控制指令。

电控位移台的参数如下：

●X，Y轴±0.35m

●Z轴±0.5m

●三轴转动范围±45°

●基线长度调整0.2～0.5m

●视轴夹角±45°

●X，Y，Z轴位移精度±0.1mm

●三轴转动精度±0.05°

●基线长度调整精度0.01mm

●视轴夹角调整精度±0.05°

3)综合信息处理平台：

该综合信息处理平台是由信息接口、伺服控制处理单元、高速计算机组成。

高速计算机接收从两个CCD摄像机传入的左右图像信息，完成对左右两幅双目图像中的一系列信息处理过程，包括空间目标特征的提取、特征匹配、特征跟踪、运动参数计算、三维重建等算法的实现。

伺服控制处理单元能向电控位移台发出控制命令，使六自由度高精度数字伺服位移台根据输入的指令进行运动。

基于视觉的空间目标位姿测量装置各组成部分之间的关系详述如下：

基于视觉的空间目标位姿测量装置的连接关系为：图像采集设备(两个CCD摄像机)分别安装在电控位移台的六自由度高精度数字伺服位移台支架两端，相对位置可以进行调解，同时可随高精度数字伺服位移台一起运动；图像采集设备和电控位移台都与综合信息处理平台相连，实现图像采集设备所获取的图像向信息处理平台的传输和信息处理平台对伺服平台的控制指令的传输。

本发明一种基于视觉的空间目标位姿测量装置，其工作流程为：首先通过综合信息处理平台的伺服控制处理单元向电控位移台的六自由度高精度数字伺服位移台发送指令，使其按照设定好的程序向空间目标逼近靠拢；同时，在运动的过程中，安装在电控位移台的六自由度高精度数字伺服位移台的图像采集设备不断的采集运动过程中的空间目标双目序列图像，这些采集到的图像传给信息处理平台的高速计算机，高速计算机通过一系列的信息处理过程(主要为图像处理过程)，计算出向空间目标逼近靠拢过程中空间目标具体的相对位置和姿态参数，最后再把经过图像处理计算过程得出的空间目标的参数和电控位移台的六自由度高精度数字伺服位移台的运动参数进行比对，用以验证测量结果的正确性以及后续的测量精度分析。

本发明一种基于视觉的空间目标位姿测量方法，如图5所示，其步骤是：

1)选用双目图像基于2D平面靶标的摄像机标定的方法，该方法为双目图像基于2D平面靶标的摄像机标定模块

这里所采用的标记算法为张正友等人提出的基于2D平面靶标的摄像机标定方法。

该方法中，摄像机在两个以上不同的方位拍摄一个平面靶标，摄像机和于2D平面靶标都可以自由移动，不需要知道运动参数。在标定的过程中，假设摄像机的内部参数始终不变，无论摄像机从任何角度拍摄靶标，摄像机内部的参数都为常数，只有外部参数发生变化。

经过该标定以后，就可以根据标定的结果进行双目图像的极线校正。这是一个关键的步骤，对接下来的图像的匹配的速度和准确度的提高都有很重要的作用，也就是后来要提到的极限约束。

2)设计双目图像的特征点的提取模块

图像中的角点是指图像中具有高曲率的点，提取角点的方法大致分为两类：一类是提取图像的边缘，将边缘上曲率最大的点或者边缘的交叉点作为角点；一类是直接利用图像的灰度计算灰度分布的曲率，以最大曲率的点作为角点。本实验采用的Harris角点提取的方法是直接利用图像灰度信息来探测角点的方法。

Harris算子的表达式如下：

$M=G\widetilde{\left(S\right)}\⊗\left[\begin{array}{cc}{g}_x& g_{x}g\\ g_x{g}_y& g_y\end{array}\right]$

I＝Det(M)-kTrace²(M)，k＝0.04

其中：

g_x为x方向的梯度；g_y为y方向的梯度；

G(S)为高斯模板；

为卷积操作；I为每点的兴趣值；Det为矩阵的行列式；Trace为矩阵的迹；k为默任常数。

对操作的灰度图像的每个点，计算该点在横向和纵向的一阶导数，以及二者的乘积。这样可以得到每个像素对应的属性值分别为g_x，g_y和g_xg_y，最后计算每个点的兴趣值I。

Harris算法认为，特征点是局部范围内的极大兴趣值对应的象素点。因此，在计算完各点的兴趣值后，要提取出原始图像中的所有局部兴趣值最大的点。实际操作中，可以依次取出每个像素的8邻域中的8个像素，从中心像素和这8个像素中提出最大值，如果中心点像素的兴趣值就是最大值，则该点就是特征点。

在提取特征点时，凡满足I大于某一阈值T的象素点均可被认为是特征点。同时可通过一些限制因素来控制特征点的选取。

特征提取的有效性在50％至65％之间，造成特征提取失效的原因主要有：

●由于双目图像对存在视差，在成像中存在遮挡等现象，在一个视角所成像的空间目标特征在另一视角中没有成像；或是由于光照的不同，同一特征在图像对中所表现的灰度特征不同，从而所得到的角点提取结果不同。

●由于角点提取算法本身固有的特点，在邻域内根据图像灰度计算特征值并进行取舍得到角点位置，此位置与通过人直接观察其应该处于的位置有偏差。

失效的角点需要在双目图像对中通过特征点的匹配进行剔除，来保证获取有效的特征点对。

3)设计双目图像特征点的匹配模块

特征点的匹配是在双目立体视觉图像对中，给定在一幅图像上的已知点，按照某种匹配准则，在另一幅图像上寻找与之对应的匹配点。图像匹配的方法主要有基于区域的匹配、基于特征的匹配和基于解释的匹配或者多种方法相结合的匹配。对应的匹配点建立在视差基础上，由于噪声、光照、遮挡、透视畸变等因素的影响，在图像对中所呈现的特征可能不同，可能在一定区域内存在多个相似的匹配，因此需要一定的约束作为辅助判据，以得到准确的匹配。一般采用的约束有极线约束、唯一性约束、视差连续性约束和顺序一致性约束等。

本实验结合双目立体视觉***的特点，采用基于极线约束、特征匹配与区域匹配相结合的立体匹配方法。

首先利用双目立体视觉***参数标定的结果，建立左右视图的极线约束关系，根据此关系对图像进行校正，将极线调整到水平位置。校正后的图像，对应的匹配点基本位于同一水平线上。然后利用前述的角点提取方法在极线校正后的图像中对特征点进行提取。将左图作为原始图，右图作为参考图，对左图中每个特征点，在右图中的以左图特征点位置为中心，左右100个像素，上下2个像素的范围内进行潜在匹配点的搜索，将右图在此范围内的特征点列为潜在的匹配点。此处应用极线约束，将搜索范围的高度控制在很小的范围内，体现特征匹配点对基本在同一水平线上的极线约束。对每个潜在的匹配点，均根据其八邻域的灰度值按照归一化灰度差的平方的匹配准则同原始特征点进行匹配。归一化灰度差的平方方式的匹配为：

$S(x,y)=\frac{\underset{y\′=0}{\overset{n-1}{\mathrm{\Σ}}}\underset{x\′=0}{\overset{m-1}{\mathrm{\Σ}}}{[T(x\′,y\′)-I(x+x\′,y+y\′)]}^2}{\sqrt{\underset{y\′=0}{\overset{n-1}{\mathrm{\Σ}}}\underset{x\′=0}{\overset{m-1}{\mathrm{\Σ}}}T{(x\′,y\′)}^2\underset{y\′=0}{\overset{n-1}{\mathrm{\Σ}}}\underset{x\′=0}{\overset{m-1}{\mathrm{\Σ}}}I{(x+x\′,y+y\′)}^2}}$

其中T(x′，y′)为原始图像中的像素灰度，I(x+x′，y+y′)为参考图像中的像素灰度，m、n为邻域大小。取S(x，y)值最小的特征点作为最佳匹配点。

按照同样的方法，以右图为原始图，左图为参考图进行匹配点对的判断，即在左右图中进行对称计算。将只满足一个方向或两个方向都不满足匹配条件的匹配点对视为虚假匹配，即只有在对称计算中均为匹配点对的才为正确的匹配特征点对。正确的匹配点对确定后，才可根据得到的点对计算视差，进一步计算空间中特征点的三维坐标。

在基于灰度相关建立的候选匹配中，由于受图像亮度、周围环境相似特征的影响等，必然存在虚假匹配。

可对匹配结果再加入约束条件来进行计算来进一步消除虚假匹配。条件越苛刻，虚假匹配越少，但同时所得到的正确匹配点对也越少，越不利于对物体的建模，可根据实际情况进行筛选。求得匹配的特征点对后，可从左右图中求得视差大小，进一步根据双目立体视觉***的参数计算特征点在空间的三维坐标，作为空间目标建模和测量的基础。

4)设计姿态参数测量模块

空间目标的相对位姿的双目测量是通过双目视觉的方法获得空间目标表面特征点的距离信息，根据特征点在空间的位置关系构建空间目标的几何模型，并通过对特征点的跟踪和持续测量，利用几何模型的关系计算出空间目标的六自由度位姿相对变化的信息。在此问题中只对位姿的变化量进行测量计算，而不计算其绝对量。

要通过特征点构建空间目标的空间几何模型，需要至少三个不共线的特征点。

首先，利用图像处理的方法提取空间目标表面三个特征点M1(x1，y1，z1)，M2(x2，y2，z2)，M3(x3，y3，z3)，利用双目立体视觉原理获得三个特征点在相机坐标系下的空间坐标。

由空间三个不共线的点可以确定一个平面，当假设空间目标为刚体时，此平面就构成了空间目标的简单模型，通过对此平面的相对位姿信息的计算来反映空间目标的相对位姿变化。记由三个特征点M1，M2，M3确定的平面为特征平面。

当假设空间目标为刚体时，无论该空间目标的位置和方向发生怎样的变化，还是在不同的坐标系下观察空间目标，物体特征点之间的相对位置关系保持不变，若对空间目标自身建立坐标系，在相机坐标系下观察，则位姿变化后的空间目标坐标系可通过对原有的空间目标坐标系进行旋转和平移得到。

则空间目标的相对位姿测量的问题就转化为空间目标坐标系在相机坐标系下变换参数的求取。根据三个特征点确定的特征平面建立空间目标坐标系：以

方向为Z’轴正向，以特征平面为XOY平面，Z轴与X轴，Y轴构成右手坐标系。坐标原点取由三个特征点构成的三角形的中心，记 $O\′=(\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\mathrm{xi},\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\mathrm{yi},\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\mathrm{zi})$ 。假设O’Z’轴为空间目标的进行姿态变化的纵轴，即假设由定义为Z’轴正向的平面法矢量作为空间目标姿态变化的纵轴。

特征平面相对于相机坐标系的姿态变化用三个角度来描述，分别是俯仰角θ、偏航角ψ和自旋角φ，相对姿态信息为姿态变化前后此三个角度的变化值。将相机坐标系OXYZ平移至空间目标坐标系原点，这不影响特征平面在相机坐标系中的姿态信息，三个角度的定义及相对姿态信息的定义如下：

●俯仰角θ：空间目标绕OX轴旋转的角度。

●相对俯仰角θ′：姿态变化前后，相对OX旋转角度的差值。根据对空间目标坐标系的假设，相对俯仰角即为平面法向量在相机坐标系中的YOZ平面投影的夹角，当空间目标绕OX轴做顺时针方向旋转时，相对俯仰角取负值，反之为正。如图6所示。

●偏航角ψ：空间目标绕OY轴旋转的角度。

●相对偏航角ψ′：姿态变化前后，相对OY旋转角度的差值。根据对空间目标坐标系的假设，相对偏航角即为平面法向量在相机坐标系中的XOZ平面投影的夹角，当空间目标绕OY轴做顺时针方向旋转时，相对偏航角取负值，反之为正。如图7所示。

●自旋角φ：空间目标绕OZ轴旋转的角度。

相对自旋角φ′：姿态变化前后，相对OZ旋转角度的差值。根据对空间目标坐标系的假设，平面法向量只能表征平面绕OX、OY轴的姿态信息，而无法表征平面绕其自身的姿态变化信息，此时取平面上一矢量来表征自旋角度，旋转前后平面上的对应矢量

与

之间的夹角即为相对自旋角。当

方向为OZ轴正向时，相对自旋角取负值，反之为正。如图8所不。

特征平面相对位移参数通过在相机坐标系下的X、Y、Z分量上的位移值进行描述。前面定义的由三个特征点构成的中心位置O1’与O2’所表征的矢量

在OX、OY和OZ轴上的分量即为相对位移的X、Y、Z分量，如图9所示。

根据双目视觉的测量结果，已知初始三个特征点在相机坐标系下的坐标M11(x11，y11，z11)，M12(x12，y12，z12)，M13(x13，y13，z13)，以及姿态变化后的对应的三个特征点的坐标M21(x21，y21，z21)，M22(x22，y22，z22)，M23(x23，y23，z23)。姿态变化后的坐标是由变化前的坐标经过旋转和平移得到的。对空间目标姿态的相对变化的测量结果用六个参数进行表示，分别是X、Y、Z方向的相对位移，绕X旋转的俯仰角θ，绕Y轴旋转的偏航角ψ，和绕Z轴旋转的自旋角φ。

(1)计算由特征点确定三角形的中心

$O1\′=(\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}x1i,\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}y1i,\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}z1i)$

$O2\′=(\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}x2i,\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}y2i,\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}z2i)$

由两中心的位移计算相对位移的三个分量为：

x_trans＝xo2-xo1

y_trans＝yo2-yo1

z_trans＝zo2-zo1

(2)计算中心点O1’、O2’在各平面的投影及夹角

a)将O1’、O2’投影在YOZ平面

记投影点分别为P1，P2，分别计算向量

和

同Y轴的夹角angle_original，angle_new，则相对俯仰角为：

θ＝angle_new-angle_original

b)将O1’、O2’投影在XOZ平面

记投影点分别为P1，P2，分别计算向量

和

同Z轴的夹角angle_original，angle_new，则相对偏航角为：

ψ＝angle_new-angle_original

c)将O1’、O2’投影在XOY平面

记投影点分别为P1，P2，分别计算向量

和

同X轴的夹角angle_original，angle_new，则相对自旋角为：

φ＝angle_new-angle_original

本发明一种基于视觉的空间目标位姿测量方法，其主要由双目图像基于2D平面靶标的摄像机标定模块、双目图像的特征点的提取模块、双目图像特征点的匹配模块、姿态参数测量模块四个模块组成。

双目图像基于2D平面靶标的摄像机标定模块完成的功能主要为摄像机的畸变参数计算、图像的极线校正；双目图像的特征点的提取模块完成的功能主要为双目左右头像的Harris特征角点的提取；双目图像特征点的匹配模块完成的功能主要为对双目左右头像的Harris特征角点的左右一对一的匹配；姿态参数测量模块完成的功能主要为根据特征点的匹配对空间目标的位置姿态参数进行测量。

通过这四个模块，完成了软件由最初的左右双目图像的获取到空间目标位置姿态参数的实现。

本发明一种基于视觉的空间目标位姿测量装置和方法，其优点是：基于视觉和信息处理(主要为图像处理)的方法，完成对空间目标位姿的测量，达到较高的精度。

(四)附图说明：

图1所示为基于视觉的空间目标位姿测量装置的构成框图

图2所示为图像采集设备的构成框图

图3所示为电控位移台的构成框图

图4所示为综合信息处理平台的构成框图

图5所示为基于视觉的空间目标位姿测量方法流程图

图6所示为设计姿态参数测量模块的俯仰角与相对姿态角；

图7所示为设计姿态参数测量模块的偏航角与相对偏航角；

图8所示为设计姿态参数测量模块的自旋角与相对自旋角；

图9所示为设计姿态参数测量模块的相对位移及其X、Y、Z分量。

图中标号说明如下：

1、图像采集设备；

2、电控位移台；

3、综合信息处理平台；

4、CCD摄像机；

5、六自由度高精度数字伺服位移台；

6、位移台控制箱；

7、信息接口；

8、伺服控制处理单元；

9、高速计算机；

(五)具体实施方式：

本发明一种基于视觉的空间目标位姿测量装置，由以下三部分构成：电控位移台、图

像采集设备、综合信息处理平台。

1)图像采集设备：

如图2所示，该图像采集设备1主要包括两个CCD(Charge Coupled Device，即电荷藕合器件图像传感器)摄像机4。

CCD摄像机的具体参数如下：

KP-F200SCL摄像机4参数为：

●分辨率(有效像素)1628×1236

●CCD面积7.16×5.44mm1/1.8-inch

●帧频15fps

●接口Mini CamraLink

●尺寸29(W)×29(H)×29(D)

●重量约53g

其它10bits输出，串口控制支持，工作温度0～+40℃

2)电控位移台：

如图3所示，该电控位移台2是由六自由度高精度数字伺服位移台5、位移台控制箱6组成。

该六自由度高精度数字伺服位移台5是图像获取装置的支撑平台，可根据位移台控制箱6的控制指令进行六自由度的运动，实现对双目测量过程中测量结果的验证。

该位移台控制箱6通过串口向六自由度高精度数字伺服位移台5发送控制指令。

电控位移台的参数如下：

●X，Y轴±0.35m

●Z轴±0.5m

●三轴转动范围±45°

●基线长度调整0.2～0.5m

●视轴夹角±45°

●X，Y，Z轴位移精度±0.1mm

●三轴转动精度±0.05°

●基线长度调整精度0.01mm

●视轴夹角调整精度±0.05°

3)综合信息处理平台：

如图4所示，该综合信息处理平台3是由信息接口7、伺服控制处理单元8、高速计算机9组成。

高速计算机9接收从两个CCD摄像机4传入的左右图像信息，完成对左右两幅双目图像中的一系列信息处理过程，包括空间目标特征的提取、特征匹配、特征跟踪、运动参数计算、三维重建等算法的实现。

伺服控制处理单元8能向电控位移台2发出控制命令，使六自由度高精度数字伺服位移台5根据输入的指令进行运动。

基于视觉的空间目标位姿测量装置各组成部分之间的关系详述如下：

如图1所示，基于视觉的空间目标位姿测量装置的连接关系为：图像采集设备1(两个CCD摄像机4)分别安装在电控位移台2的六自由度高精度数字伺服位移台5支架两端，相对位置可以进行调解，同时可随高精度数字伺服转位移台5一起运动；图像采集设备1和电控位移台2都与综合信息处理平台3相连，实现图像采集设备1所获取的图像向信息处理平台3的传输和信息处理平台3对伺服平台2的控制指令的传输。

本发明一种基于视觉的空间目标位姿测量装置，其工作流程为：首先通过综合信息处理平台3的伺服控制处理单元8向电控位移台2的六自由度高精度数字伺服位移台5发送指令，使其按照设定好的程序向空间目标逼近靠拢；同时，在运动的过程中，安装在电控位移台2的六自由度高精度数字伺服位移台5的图像采集设备1不断的采集运动过程中的空间目标双目序列图像，这些采集到的图像传给信息处理平台3的高速计算机9，高速计算机9通过一系列的信息处理过程(主要为图像处理过程)，计算出向空间目标逼近靠拢过程中空间目标具体的相对位置和姿态参数，最后再把经过图像处理计算过程得出的空间目标的参数和电控位移台2的六自由度高精度数字伺服位移台5的运动参数进行比对，用以验证测量结果的正确性以及后续的测量精度分析。

如图5所示，一种空间目标

位姿参数的视觉测量的方法，该方法主要包括以下的模块：1、双目图像基于2D平面靶标的摄像机标定模块，2、双目图像的特征点的提取，3、双目图像特征点的匹配，4、姿态参数测量。各模块的详细说明如下：

本发明一种基于视觉的空间目标位姿测量方法，其步骤是：

1)选用双目图像基于2D平面靶标的摄像机标定的方法，该方法为双目图像基于2D平面靶标的摄像机标定模块

这里所采用的标记算法为张正友等人提出的基于2D平面靶标的摄像机标定方法。

该方法中，摄像机在两个以上不同的方位拍摄一个平面靶标，摄像机和于2D平面靶标都可以自由移动，不需要知道运动参数。在标定的过程中，假设摄像机的内部参数始终不变，无论摄像机从任何角度拍摄靶标，摄像机内部的参数都为常数，只有外部参数发生变化。

经过该标定以后，就可以根据标定的结果进行双目图像的极线校正。这是一个关键的步骤，对接下来的图像的匹配的速度和准确度的提高都有很重要的作用，也就是后来要提到的极限约束。

2)设计双目图像的特征点的提取模块

图像中的角点是指图像中具有高曲率的点，提取角点的方法大致分为两类：一类是提取图像的边缘，将边缘上曲率最大的点或者边缘的交叉点作为角点；一类是直接利用图像的灰度计算灰度分布的曲率，以最大曲率的点作为角点。本实验采用的Harris角点提取的方法是直接利用图像灰度信息来探测角点的方法。

Harris算子的表达式如下：

$M=G\left(\tilde{s}\right)\⊗\left[\begin{array}{cc}{g}_x& g_x{g}_y\\ g_x{g}_y& g_y\end{array}\right]$

I＝Det(M)-kTrace²(M)，k＝0.04

其中：

g_x为x方向的梯度；g_y为y方向的梯度；

G(S)为高斯模板；

为卷积操作；I为每点的兴趣值；Det为矩阵的行列式；Trace为矩阵的迹；k为默任常数。

对操作的灰度图像的每个点，计算该点在横向和纵向的一阶导数，以及二者的乘积。这样可以得到每个像素对应的属性值分别为g_x，g_y和g_xg_y，最后计算每个点的兴趣值I。

Harris算法认为，特征点是局部范围内的极大兴趣值对应的象素点。因此，在计算完各点的兴趣值后，要提取出原始图像中的所有局部兴趣值最大的点。实际操作中，可以依次取出每个像素的8邻域中的8个像素，从中心像素和这8个像素中提出最大值，如果中心点像素的兴趣值就是最大值，则该点就是特征点。

在提取特征点时，凡满足I大于某一阈值T的象素点均可被认为是特征点。同时可通过一些限制因素来控制特征点的选取。

特征提取的有效性在50％至65％之间，造成特征提取失效的原因主要有：

●由于双目图像对存在视差，在成像中存在遮挡等现象，在一个视角所成像的空间目标特征在另一视角中没有成像；或是由于光照的不同，同一特征在图像对中所表现

的灰度特征不同，从而所得到的角点提取结果不同。

●由于角点提取算法本身固有的特点，在邻域内根据图像灰度计算特征值并进行取舍

得到角点位置，此位置与通过人直接观察其应该处于的位置有偏差。

失效的角点需要在双目图像对中通过特征点的匹配进行剔除，来保证获取有效的特征点对。

3)设计双目图像特征点的匹配模块

特征点的匹配是在双目立体视觉图像对中，给定在一幅图像上的已知点，按照某种匹配准则，在另一幅图像上寻找与之对应的匹配点。图像匹配的方法主要有基于区域的匹配、基于特征的匹配和基于解释的匹配或者多种方法相结合的匹配。对应的匹配点建立在视差基础上，由于噪声、光照、遮挡、透视畸变等因素的影响，在图像对中所呈现的特征可能不同，可能在一定区域内存在多个相似的匹配，因此需要一定的约束作为辅助判据，以得到准确的匹配。一般采用的约束有极线约束、唯一性约束、视差连续性约束和顺序一致性约束等。

本实验结合双目立体视觉***的特点，采用基于极线约束、特征匹配与区域匹配相结合的立体匹配方法。

首先利用双目立体视觉***参数标定的结果，建立左右视图的极线约束关系，根据此关系对图像进行校正，将极线调整到水平位置。校正后的图像，对应的匹配点基本位于同一水平线上。然后利用前述的角点提取方法在极线校正后的图像中对特征点进行提取。将左图作为原始图，右图作为参考图，对左图中每个特征点，在右图中的以左图特征点位置为中心，左右100个像素，上下2个像素的范围内进行潜在匹配点的搜索，将右图在此范围内的特征点列为潜在的匹配点。此处应用极线约束，将搜索范围的高度控制在很小的范围内，体现特征匹配点对基本在同一水平线上的极线约束。对每个潜在的匹配点，均根据其八邻域的灰度值按照归一化灰度差的平方的匹配准则同原始特征点进行匹配。归一化灰度差的平方方式的匹配为：

$S(x,y)=\frac{\underset{y\′=0}{\overset{n-1}{\mathrm{\Σ}}}\underset{x\′=0}{\overset{m-1}{\mathrm{\Σ}}}{[T(x\′,y\′)-I(x+x\′,y+y\′)]}^2}{\sqrt{\underset{y\′=0}{\overset{n-1}{\mathrm{\Σ}}}\underset{x\′=0}{\overset{m-1}{\mathrm{\Σ}}}T{(x\′,y\′)}^2\underset{y\′=0}{\overset{n-1}{\mathrm{\Σ}}}\underset{x\′=0}{\overset{m-1}{\mathrm{\Σ}}}I{(x+x\′,y+y\′)}^2}}$

其中T(x′，y′)为原始图像中的像素灰度，I(x+x′，y+y′)为参考图像中的像素灰度，m、n为邻域大小。取S(x，y)值最小的特征点作为最佳匹配点。

按照同样的方法，以右图为原始图，左图为参考图进行匹配点对的判断，即在左右图中进行对称计算。将只满足一个方向或两个方向都不满足匹配条件的匹配点对视为虚假匹配，即只有在对称计算中均为匹配点对的才为正确的匹配特征点对。正确的匹配点对确定后，才可根据得到的点对计算视差，进一步计算空间中特征点的三维坐标。

在基于灰度相关建立的候选匹配中，由于受图像亮度、周围环境相似特征的影响等，必然存在虚假匹配。

可对匹配结果再加入约束条件来进行计算来进一步消除虚假匹配。条件越苛刻，虚假匹配越少，但同时所得到的正确匹配点对也越少，越不利于对物体的建模，可根据实际情况进行筛选。求得匹配的特征点对后，可从左右图中求得视差大小，进一步根据双目立体视觉***的参数计算特征点在空间的三维坐标，作为空间目标建模和测量的基础。

4)设计姿态参数测量模块

空间目标的相对位姿的双目测量是通过双目视觉的方法获得空间目标表面特征点的距离信息，根据特征点在空间的位置关系构建空间目标的几何模型，并通过对特征点的跟踪和持续测量，利用几何模型的关系计算出空间目标的六自由度位姿相对变化的信息。在此问题中只对位姿的变化量进行测量计算，而不计算其绝对量。

要通过特征点构建空间目标的空间几何模型，需要至少三个不共线的特征点。

首先，利用图像处理的方法提取空间目标表面三个特征点M1(x1，y1，z1)，M2(x2，y2，z2)，M3(x3，y3，z3)，利用双目立体视觉原理获得三个特征点在相机坐标系下的空间坐标。

由空间三个不共线的点可以确定一个平面，当假设空间目标为刚体时，此平面就构成了空间目标的简单模型，通过对此平面的相对位姿信息的计算来反映空间目标的相对位姿变化。记由三个特征点M1，M2，M3确定的平面为特征平面。

当假设空间目标为刚体时，无论该空间目标的位置和方向发生怎样的变化，还是在不同的坐标系下观察空间目标，物体特征点之间的相对位置关系保持不变，若对空间目标自身建立坐标系，在相机坐标系下观察，则位姿变化后的空间目标坐标系可通过对原有的空间目标坐标系进行旋转和平移得到。

则空间目标的相对位姿测量的问题就转化为空间目标坐标系在相机坐标系下变换参数的求取。根据三个特征点确定的特征平面建立空间目标坐标系：以

方向为Z’轴正向，以特征平面为XOY平面，Z轴与X轴，Y轴构成右手坐标系。坐标原点取由三个特征点构成的三角形的中心，记 $O\′=(\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\mathrm{xi},\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\mathrm{yi},\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\mathrm{zi})$ 。假设O’Z’轴为空间目标的进行姿态变化的纵轴，即假设由定义为Z’轴正向的平面法矢量作为空间目标姿态变化的纵轴。

特征平面相对于相机坐标系的姿态变化用三个角度来描述，分别是俯仰角θ、偏航角ψ和自旋角φ，相对姿态信息为姿态变化前后此三个角度的变化值。将相机坐标系OXYZ平移至空间目标坐标系原点，这不影响特征平面在相机坐标系中的姿态信息，三个角度的定义及相对姿态信息的定义如下：

●俯仰角θ：空间目标绕OX轴旋转的角度。

●相对俯仰角θ′：姿态变化前后，相对OX旋转角度的差值。根据对空间目标坐标系的假设，相对俯仰角即为平面法向量在相机坐标系中的YOZ平面投影的夹角，当空间目标绕OX轴做顺时针方向旋转时，相对俯仰角取负值，反之为正。如图6所示。

●偏航角ψ：空间目标绕OY轴旋转的角度。

●相对偏航角ψ′：姿态变化前后，相对OY旋转角度的差值。根据对空间目标坐标系的假设，相对偏航角即为平面法向量在相机坐标系中的XOZ平面投影的夹角，当空间目标绕OY轴做顺时针方向旋转时，相对偏航角取负值，反之为正。如图7所示。

●自旋角φ：空间目标绕OZ轴旋转的角度。

相对自旋角φ′：姿态变化前后，相对OZ旋转角度的差值。根据对空间目标坐标系的假设，平面法向量只能表征平面绕OX、OY轴的姿态信息，而无法表征平面绕其自身的姿态变化信息，此时取平面上一矢量

来表征自旋角度，旋转前后平面上的对应矢量

与

之间的夹角即为相对自旋角。当

方向为OZ轴正向时，相对自旋角取负值，反之为正。如图8所示。

特征平面相对位移参数通过在相机坐标系下的X、Y、Z分量上的位移值进行描述。前面定义的由三个特征点构成的中心位置O1’与O2’所表征的矢量

在OX、OY和OZ轴上的分量即为相对位移的X、Y、Z分量，如图9所示。

根据双目视觉的测量结果，已知初始三个特征点在相机坐标系下的坐标M11(x11，y11，z11)，M12(x12，y12，z12)，M13(x13，y13，z13)，以及姿态变化后的对应的三个特征点的坐标M21(x21，y21，z21)，M22(x22，y22，z22)，M23(x23，y23，z23)。姿态变化后的坐标是由变化前的坐标经过旋转和平移得到的。对空间目标姿态的相对变化的测量结果用六个参数进行表示，分别是X、Y、Z方向的相对位移，绕X旋转的俯仰角θ，绕Y轴旋转的偏航角ψ，和绕Z轴旋转的自旋角φ。

(3)计算由特征点确定三角形的中心

$O1\′=(\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}x1i,\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}y1i,\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}z1i)$

$O2\′=(\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}x2i,\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}y2i,\frac{1}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}z2i)$

由两中心的位移计算相对位移的三个分量为：

x_trans＝xo2-xo1

y_trans＝yo2-yo1

z_trans＝zo2-zo1

(4)计算中心点O1’、O2’在各平面的投影及夹角

d)将O1’、O2’投影在YOZ平面

记投影点分别为P1，P2，分别计算向量

和

同Y轴的夹角angle_original，angle_new，则相对俯仰角为：

θ＝angle_new-angle_original

e)将O1’、O2’投影在XOZ平面

记投影点分别为P1，P2，分别计算向量

和

同Z轴的夹角angle_original，angle_new，则相对偏航角为：

ψ＝angle_new-angle_original

f)将O1’、O2’投影在XOY平面

记投影点分别为P1，P2，分别计算向量

和同X轴的夹角angle_original，angle_new，则相对自旋角为：

φ＝angle_new-angle_original

本发明一种基于视觉的空间目标位姿测量方法，其主要由双目图像基于2D平面靶标的摄像机标定模块、双目图像的特征点的提取模块、双目图像特征点的匹配模块、姿态参数测量模块四个模块组成。

双目图像基于2D平面靶标的摄像机标定模块完成的功能主要为摄像机的畸变参数计算、图像的极线校正；双目图像的特征点的提取模块完成的功能主要为双目左右头像的Harris特征角点的提取；双目图像特征点的匹配模块完成的功能主要为对双目左右头像的Harris特征角点的左右一对一的匹配；姿态参数测量模块完成的功能主要为根据特征点的匹配对空间目标的位置姿态参数进行测量。

通过这四个模块，完成了软件由最初的左右双目图像的获取到空间目标位置姿态参数的实现。

采用本发明中的技术和装置，整个***对基于视觉的空间目标位姿测量装置可达到如下的技术指标：

●识别距离范围20m～0.5m

●摄像机视场角(70-100)°

●正确测量概率95％

●基线长度范围0.1～0.5m

●位置测量精度0.1m～0.5m

●数据更新率1～5Hz。

Claims (3)

1.一种基于视觉的空间目标位姿测量装置，其特征在于：它是由以下三部分构成：电控位移台、图像采集设备、综合信息处理平台；该电控位移台由六自由度高精度数字伺服位移台、位移台控制箱组成，综合信息处理平台由信息接口、伺服控制处理单元、高速计算机组成；其中，图像采集设备主要包括两个CCD摄像机；六自由度高精度数字伺服位移台是图像采集设备的支撑平台，可根据位移台控制箱的控制指令进行六自由度的运动，实现对双目测量过程中测量结果的验证；高速计算机接收从两个CCD摄像机传入的左右图像信息，完成对左右两幅双目图像中的一系列信息处理过程，包括空间目标特征的提取、特征匹配、特征跟踪、运动参数计算、三维重建算法的实现；伺服控制处理单元能向电控位移台发出控制命令，使六自由度高精度数字伺服位移台根据输入的指令进行运动；

该基于视觉的空间目标位姿测量装置各组成部分之间的关系为：两个CCD摄像机分别安装在电控位移台的六自由度高精度数字伺服位移台支架两端，相对位置可以进行调节，并可随六自由度高精度数字伺服位移台一起运动；图像采集设备和电控位移台都与综合信息处理平台相连，实现图像采集设备所获取的图像向综合信息处理平台的传输，同时综合信息处理平台对六自由度高精度数字伺服位移台发送控制指令；

该基于视觉的空间目标位姿测量装置的工作流程为：首先通过综合信息处理平台的伺服控制处理单元向电控位移台的六自由度高精度数字伺服位移台发送指令，使其按照设定好的程序向空间目标逼近靠拢；同时，在运动的过程中，安装在电控位移台的六自由度高精度数字伺服位移台的图像采集设备不断的采集运动过程中的空间目标双目序列图像，这些采集到的图像通过串口传给综合信息处理平台上的高速计算机，高速计算机通过一系列的信息处理过程，计算出向空间目标逼近靠拢过程中空间目标具体的位置和姿态参数，最后再把经过图像处理计算过程得出的空间目标的参数和电控位移台的六自由度高精度数字伺服位移台的运动参数进行比对，用以验证测量结果的正确性以及后续的测量精度分析。

2.一种基于视觉的空间目标位姿测量方法，其特征在于：该方法包括双目图像基于2D平面靶标的摄像机标定模块、双目图像的特征点的提取模块、双目图像的特征点的匹配模块、姿态参数测量模块四个模块；其中：双目图像基于2D平面靶标的摄像机标定所采用的标记算法为张正友等人提出的基于2D平面靶标的摄像机标定方法；双目图像的特征点的提取采用Harris角点提取的方法；双目图像的特征点的匹配采用基于极线约束、特征匹配相结合的立体匹配，即对每个潜在的匹配点，均根据其八邻域的灰度值按照归一化灰度差的平方的匹配准则同原始特征点进行匹配，同时在左右图中进行对称计算，将只满足一个方向或两个方向都不满足匹配条件的匹配点对视为虚假匹配，即只有在对称计算中均为匹配点对的才为正确的匹配特征点对；参数测量的过程是相对位姿的计算的一个过程，相对位姿的双目测量是通过双目视觉的方法获得空间目标表面特征点的距离信息，根据特征点在空间的位置关系构建空间目标的几何模型，并通过对特征点的跟踪和持续测量，利用几何模型的关系计算出空间目标的六自由度位姿相对变化的信息。

3.根据权利要求2所述的一种基于视觉的空间目标位姿测量方法，其特征在于：把经过图像处理计算过程得出的空间目标的参数和电控位移台的六自由度高精度数字伺服位移台的运动参数进行比对，用以验证测量结果的正确性以及后续的测量精度分析。

Images