CN101763654A - 一种基于彩色伪随机编码投影的特征点匹配方法 - Google Patents

Abstract

本发明属于机器视觉中编码结构光主动视觉的图像匹配领域，具体为一种基于彩色伪随机编码投影的特征点匹配方法。本发明基于伪随机编码原理，利用点线结合的方法，设计了一种新的彩色编码投影模板，具体步骤如下：①由本原多项式h(x)＝x^m+h_m-1x^m-1+…+h₁x+h₀指定的反馈网络n位移位寄存器产生伪随机序列a₀，a₁，…，a_n；②将该伪随机序列a₀，a₁，…，a_n填入大小为n＝n₁×n₂的矩阵中，生成伪随机陈列b；③由生成的伪随机阵列值作为离散的特征点，用特征线将其相连，建立编码模板。引入数学形态学算法，提出了相应的特征点提取算法。在解码过程中，本发明提出了相邻窗口互相验证的思想，可以实现特征点的自动提取与匹配，能够很好地解决结构光在复杂三维场景表面上投射时所产生的阴影问题，以及由于摄像机拍摄角度不同使图像中部分编码图案被遮盖所导致的特征点匹配错误问题。

Description

一种基于彩色伪随机编码投影的特征点匹配方法

技术领域

本发明属于机器视觉中编码结构光主动视觉的图像匹配领域，涉及基于彩色伪随机编码原理的点线结合编码结构光照明主动视觉技术，具体涉及一种基于彩色伪随机编码投影的特征点匹配方法。

背景技术

机器视觉的一个很重要的目标就是从二维图像中恢复出场景的三维坐标数据，重构三维场景或物体的三维模型，即使计算机具有通过二维图像信息认知三维环境信息的能力。其已在机器人定位与导航、逆向工程、物体识别、虚拟现实、产品监控等领域得到广泛应用并取得了良好的社会和经济效益。

在三维视觉场景重构过程中，一个众所周知的难题就是场景图像上的坐标点匹配问题。通常解决该问题的一种有效的方法是采用结构光主动视觉技术，如点结构光、线结构光扫描法以及编码结构光法等。要想用一幅图像在真正的三维欧氏空间重构三维场景，尤其是动态的三维场景，最有效的方法是采用编码结构光照明主动视觉技术。伪随机阵列由于具有良好的窗口特性，在结构光主动视觉领域中越来越受到重视，用基于伪随机原理的编码结构光对投影仪进行编码，可以把一幅图像所覆盖的三维场景空间表面特征化，使三维场景表面上的每一个采样特征点可以被唯一识别，解决了机器视觉中物体三维表面重构时匹配点的识别难题。

应用于伪随机编码阵列的编码投影模板主要有四种，圆编码，菱形编码，离散方形编码与连续方形编码。但是，这四种编码都存在各自的问题：

1.圆编码的圆心很难准确提取，而且圆编码各编码颜色单元都是孤立的，这不利于在其解码算法中对特征点位置的准确确定。

2.离散方形编码容易出现漏点，而且离散方形编码与圆编码存在一个同样的缺点，即各编码颜色单元都是孤立的，不利于在其解码算法中对特征点位置的准确确定。

3.菱形编码与连续方形编码存在一个同样的缺点，就是在图像中编码密度比较高的时候，会由于编码形状的扩大而增加大量的伪拐点，这些伪拐点往往需要手工来消除，不利于特征点自动准确匹配。

4.以上四种编码投影模板通常只能用于表面为连续的三维场景，在投影时，如果三维场景由于不连续而产生阴影或由于摄像机拍摄角度不同使图像中一部分编码图案被覆盖导致图像中编码图案错位，特征点匹配就很容易出错。

发明内容

本发明首先根据伪随机编码原理设计了一种编码投影模板，该模板采用特征点和特征线相结合，各特征点相对离散，彼此之间又通过特征线相互联系，可克服现有模板因为编码颜色单元孤立或联系均会妨碍解码的缺点；在解码过程中，提出了相邻窗口互相验证的方法，结合数学形态学中开与闭、腐蚀与膨胀等算法，并给出附加算法，实现了所有特征点的自动提取与匹配，消除了复杂场景中匹配错误的问题。

本发明采用的技术方案是：一种基于彩色伪随机编码投影的特征点匹配方法，编码结构光主动视觉***由计算机、CCD摄像机、显示器和投影仪组成，该方法包括：生成彩色伪随机编码模板步骤；特征点与特征线的提取步骤；特征点的匹配步骤。其中，所述生成彩色伪随机编码模板步骤包括下列步骤：

①生成伪随机编码序列：由本原多项式h(x)＝x^m+h_m-1x^m-1+…+h₁x+h₀指定的反馈网络n位移位寄存器产生伪随机序列a₀，a₁，…，a_n，其中m为所设计伪随机陈列的窗口大小，m＝k₁×k₂，n为伪随机序列长度， $n=q^m-1=q^{k_1\·k_2}-1,$ q为移位寄存器的基元数；

②将步骤①中生产的伪随机序列a₀，a₁，…，a_n填入大小为n＝n₁×n₂的矩阵中，得到伪随机陈列b，具体原理为将伪随机序列a₀，a₁，…，a_n作为伪随机阵列的对角线参数，即

$\left\{\begin{array}{c}{b}_{\mathrm{0,0}}=a_{,0},\\ b_{\mathrm{1,1}}=a_1,\\ b_{\mathrm{2,2}}=a_2,\\ \·\\ \·\\ \·\\ b_{i,i}=a_i,\end{array}\right.---\left(1\right)$

$b=\left[\begin{array}{cccc}{b}_{\mathrm{0,0}}& b_{\mathrm{0,1}}& \·\·\·& b_{0,n_2-1}\\ b_{\mathrm{1,0}}& b_{\mathrm{1,1}}& \·\·\·& b_{1,n_2-1}\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ b_{n_1-\mathrm{1,0}}& b_{n_1-\mathrm{1,1}}& \·\·\·& b_{n_1-1,n_2-1}\end{array}\right]---\left(2\right)$

其中 $n_1=q^{k_1}-1,$ n₂＝n/n₁，本发明中n＝63×65；

③由生成的伪随机阵列值作为离散的特征点，用特征线将其相连，建立编码模板。

作为本发明的进一步改进，所述特征点与特征线的提取步骤中包括下列步骤：

①提取各颜色特征点所在的特征区域

分别设定红、黄、蓝、绿四种颜色的RGB阈值为(R_rl，G_rh，B_rh)、(R_yl，G_yl，B_yh)、(R_bh，G_bh，B_bl)、(R_gh，G_gl，B_gh)，根据下式(3)提取四种颜色的特征区域Point_R，Point_Y，Point_B，Point_G：

②用数学形态学中的开运算和闭运算，去除特征区域噪声；

③对特征区域进行收缩运算，使特征区域收缩为特征点，提取特征点所在的位置(x，y)，完成特征点的提取；

④根据所设定的阈值，提取特征线所在的特征区域；

⑤利用开运算和闭运算去除特征线区域噪声后，利用收缩运算，得到球体编码图像的初始特征线；

⑥对断裂的特征线进行补偿。

作为本发明的进一步改进，所述特征点的匹配步骤利用上下相邻窗口相互验证的方法，实现一般特征点的匹配。具体包括下列步骤：

由一个特征点出发，沿特征线寻找4×2检测窗口中的其他特征点(图13所示为检测窗口)，并分别记下各自的颜色值，根据上下两个3×2窗口中的颜色组合，通过伪随机编码原理，分别求出这两个窗口在投影仪投影平面上的位置，判断其是否相邻，若相邻，匹配成功，记下8个特征点在投影平面上的坐标；若不相邻，匹配错误，不被记下。按照这种算法，对图像中所有特征点依次处理，得到其在投影平面上的坐标。对于没有求得在投影平面上坐标的特征点，利用本发明中提到的附加算法进行匹配。最终完成编码图像上所有特征点的匹配，得到其在投影平面上的坐标。

作为本发明的进一步改进，对于没有求得在投影平面上坐标的特殊特征点，所述特征点的匹配还利用附加算法实现匹配。具体包括下列步骤：

①向左沿特征线搜寻与其相邻且已被解码的特征点，若搜索成功，则根据此相邻特征点求取该待匹配特征点在投影模板上对应的颜色，检测是否与其本身颜色相符。若相符，说明匹配正确，记下该特征点；否则匹配取消。

②再使特征点沿上、下、右按①所述方法分别匹配，若匹配正确，记下该特征点；若均匹配错误，则放弃此特征点。

本发明具有以下的技术优势：

1.特征点区域相对离散，方便特征点的提取，且不会出现伪特征点。

2.离散的特征点区域通过特征线相互联系，方便特征点的解码。

3.经过数学形态学的预处理，消除大量噪声，可以精确的提取特征点与特征线，为解码打下良好的基础。

4.相邻窗口互相验证的方法，不仅很好的解决了由于不连续平面相交而经常导致图像中编码图案错位的问题，而且还可以检测到解码过程中偶然会出现的由于特征点识别错误或特征线连接错误导致的解码错误，从而使解码结果准确可靠。

5.冗余算法，即每一个窗口不仅要求出其第一个特征点的投影坐标，而且要确定窗口内其余特征点的投影坐标，这就会使同一个特征点的投影坐标可能被计算多次，但是这种算法只需很少的程序，几乎不会影响到整个程序的运行时间，却很好的解决了位于图像边缘及阴影附近特征点的求解问题，避免了针对这些点的解码而设计复杂的程序。可应用于较为复杂的三维场景表面。

附图说明

图1为本发明实施例1的编码结构光主动视觉***

图2为本发明实施例1伪随机编码阵列

图3为本发明实施例1彩色伪随机编码投影模板

图4为本发明实施例1的彩色伪随机序列编码投影模板局部图及其检测窗口

图5为本发明实施例1的原始图像

图6为本发明实施例1的红色点的特征区域

图7为本发明实施例1去除噪声后的红色特征区域

图8为本发明实施例1特征点提取结果

图9为本发明实施例1特征线所在区域

图10为本发明实施例1初始特征线

图11本发明实施例1为断点连接过程

图11(a)为本发明实施例1包括断点的原始图像

图11(b)为本发明实施例1包括断点的初步提取的特征线图像

图11(c)为本发明实施例1断点提取图像

图11(d)为本发明实施例1断点膨胀图像

图11(e)为本发明实施例1断点连接图像

图11(f)为本发明实施例1特征线补偿图像

图12为本发明实施例1特征点和特征线提取结果及检测窗口图示

图13为本发明实施例1带有检测窗口的局部图像

图14为本发明实施例1的解码流程图

具体实施方式

下面结合图1～14详细说明本发明所设计的彩色伪随机编码新模板及其相应的解码过程。

本发明应用于编码结构光主动视觉技术，图1表示编码结构光主动视觉***。该***由计算机1、CCD摄像机2、显示器3和投影仪4组成，5为待重构的物体。

生成彩色伪随机编码模板步骤包括下列步骤：

①生成伪随机编码序列：由本原多项式h(x)＝x^m+h_m-1x^m-1+…+h₁x+h₀指定的反馈网络n位移位寄存器产生伪随机序列a₀，a₁，…，a_n，其中m为所设计伪随机陈列的窗口大小，m＝k₁×k₂，本发明取m＝3×2，n为伪随机序列长度， $n=q^m-1=q^{k_1\·k_2}-1$ ，q为移位寄存器的基元数，本发明取q＝4，生成周期为4095的伪随机序列；

②将步骤①中生产的伪随机序列a₀，a₁，…，a_n填入大小为n＝n₁×n₂的矩阵中，得到伪随机陈列b，具体原理为将伪随机序列a₀，a₁，…，a_n作为伪随机阵列的对角线参数，即

$\left\{\begin{array}{c}{b}_{\mathrm{0,0}}=a_{,0},\\ b_{\mathrm{1,1}}=a_1,\\ b_{\mathrm{2,2}}=a_2,\\ \·\\ \·\\ \·\\ b_{i,i}=a_i,\end{array}\right.---\left(1\right)$

$b=\left[\begin{array}{cccc}{b}_{\mathrm{0,0}}& b_{\mathrm{0,1}}& \·\·\·& b_{0,n_2-1}\\ b_{\mathrm{1,0}}& b_{\mathrm{1,1}}& \·\·\·& b_{1,n_2-1}\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ b_{n_1-\mathrm{1,0}}& b_{n_1-\mathrm{1,1}}& \·\·\·& b_{n_1-1,n_2-1}\end{array}\right]---\left(2\right)$

其中 $n_1=q^{k_1}-1,$ n₂＝n/n₁，本发明中n＝63×65；

③由生成的伪随机阵列值作为离散的特征点，用特征线将其相连，建立编码模板。

根据伪随机编码原理，设计了一个大小为63×65＝4095的伪随机陈列，如图2所示，令陈列中0代表红色，1代表黄色，3代表蓝色，7代表绿色，作为特征点颜色单元，各单元之间用白色的特征线相连，形成了彩色伪随机编码模板，如图3所示，其局部图如图4所示。

在工作过程中，由投影仪将编码模板形成结构光投射到待重构的物体上(本例为球体)，由摄像机拍下如图5所示的图像。

提取编码图像的特征点和特征线：分别设定红、黄、蓝、绿四种颜色的RGB阈值为(R_rl，G_rh，B_rh)、(R_yl，G_yl，B_yh)、(R_bh，G_bh，B_bl)、(R_gh，G_gl，B_gh)，提取各颜色特征点所在的特征区域。根据所设定的阈值式(3)提取四种颜色的特征区域Point_R，Point_Y，Point_B，Point_G：

如图6所示，依次用结构要素矩阵

对特征区域图像进行开运算和闭运算，去除特征区域噪声；本实施例以红色特征点为例进行说明。

如图7所示，对特征区域进行收缩运算，使特征区域收缩为特征点，并提取特征点所在的位置，完成特征点的提取，提取结果如图8所示；

如图9所示，设定特征线的RGB阈值(R_line，G_line，B_line)，根据下式(4)提取特征线所在的区域：

Line₁(x，y)＝(I(x，y)_r＜R_line)&(I(x，y)_g＞G_line)&(I(x，y)_b＜B_line)        (4)

如图10所示，依次用结构要素矩阵

对特征线区域图像进行开运算和闭运算，去除特征区域噪声，并对其进行细化，提取出图像中的初始特征线。

利用膨胀运算，连接断裂的特征线，图11(a)-(f)表示特征线在水平方向的断点连接过程，再对垂直方向进行特征线补偿，完成特征线提取的整个过程。根据下式(5)分别提取需要向左和向右延伸的断点：

对向左和向右延伸的断点，分别用结构要素矩阵

和

进行膨胀，将膨胀结果与初步提取的特征线图像相加，再细化可得到最终的特征线提取图像，实现水平方向特征线补偿；用相同方法对垂直方向特征线进行补偿。

图12为球体特征点和特征线提取的结果。

再进行特征点匹配步骤，图14所示是整个解码过程的流程图。

①利用上下两个检查窗口相互验证的方法进行解码

由一个特征点出发，沿特征线寻找4×2检测窗口中的其他特征点，并分别记下各自的颜色值。根据上下两个3×2窗口中的颜色组合，通过伪随机编码原理，分别求出这两个窗口在投影仪投影平面上的位置，根据式(6)判断两个窗口在投影仪投影平面上的位置是否上下相邻：

其中，(x_up，y_up)、(x_down，y_down)分别表示上下两个检测窗口在投影仪投影平面上的坐标，y_constant表示投影模板上上下相邻窗口在垂直方向的坐标差，这是一个常量。

若匹配正确，记下8个特征点在投影平面上的坐标；若匹配错误，8个特征点在投影平面上的坐标不被记下；按照这种算法，对图像中所有特征点依次处理，得到其在投影平面上的坐标；

②利用附加算法进行特殊特征点的匹配

对于没有求得在投影平面上坐标的特征点，先向左沿特征线搜寻相邻且已被解码的特征点，若搜索成功，则可根据相邻特征点求此特征点在投影模板上对应的颜色，检测此颜色是否与此特征点颜色相符，若相符，说明匹配正确，记下该特征点；否则匹配取消。再使特征点沿上、下、右依次分别匹配，若匹配正确，记下该特征点；若均匹配错误，则放弃此特征点。

Claims (6)

1.一种基于彩色伪随机编码投影的特征点匹配方法，编码结构光主动视觉***由计算机、CCD摄像机、显示器和投影仪组成，该方法包括：生成彩色伪随机编码模板步骤，特征点与特征线的提取步骤，特征点的匹配步骤；其特征是，所述生成彩色伪随机编码模板步骤包括下列步骤：

①生成伪随机编码序列：由本原多项式h(x)＝x^m+h_m-1x^m-1+…+h₁x+h₀指定的反馈网络n位移位寄存器产生伪随机序列a₀，a₁，…，a_n，其中m为所设计伪随机陈列的窗口大小，m＝k₁×k₂，n为伪随机序列长度， $n=q^m-1=q^{k_1\·k_2}-1,$ q为移位寄存器的基元数；

②将步骤①中生成的伪随机序列a₀，a₁，…，a_n填入大小为n＝n₁×n₂的矩阵中，得到伪随机陈列b，具体原理为将伪随机序列a₀，a₁，…，a_n作为伪随机阵列的对角线参数，即

$\left\{\begin{array}{c}{b}_{\mathrm{0,0}}=a_{,0},\\ b_{\mathrm{1,1}}=a_1,\\ b_{\mathrm{2,2}}=a_2,\\ \·\\ \·\\ \·\\ b_{i,i}=a_i,\end{array}\right.---\left(1\right)$

$b=\left[\begin{array}{cccc}{b}_{\mathrm{0,0}}& b_{\mathrm{0,1}}& \·\·\·& b_{0,n_2-1}\\ b_{\mathrm{1,0}}& b_{\mathrm{1,1}}& \·\·\·& b_{1,n_2-1}\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ b_{n_1-1.0}& b_{n_1-\mathrm{1,1}}& \·\·\·& b_{n_1-1,n_2-1}\end{array}\right]---\left(2\right)$

其中 $n_1=q^{k_1}-1,$ n₂＝n/n₁；

③由生成的伪随机阵列值作为离散的特征点，用特征线将其相连，建立编码模板。

2.根据权利1所述的特征点匹配方法，其特征是，所述特征点与特征线的提取步骤中包括下列步骤：

①提取各颜色特征点所在的特征区域

分别设定红、黄、蓝、绿四种颜色的RGB阈值为(R_rl，G_rh，B_rh)、(R_yl，G_yl，B_yh)、(R_bh，G_bh，B_bl)、(R_gh，G_gl，B_gh)，根据下式(3)提取四种颜色的特征区域Point_R，Point_Y，Point_B，Point_G：

②用数学形态学中的开运算和闭运算，去除特征区域噪声；

③对特征区域进行收缩运算，使特征区域收缩为特征点，提取特征点所在的位置(x，y)，完成特征点的提取；

④根据所设定的阈值，提取特征线所在的特征区域；

⑤利用开运算和闭运算去除特征线区域噪声后，利用收缩运算，得到编码图像的初始特征线；

⑥对断裂的特征线进行补偿。

3.根据权利1所述的基于彩色伪随机编码投影的特征点匹配方法，其特征是，所述特征点的匹配步骤采用上下相邻窗口相互验证的方法，实现一般特征点的匹配。

4.根据权利1所述的基于彩色伪随机编码投影的特征点匹配方法，其特征是，所述步骤④中具体包括：设定特征线的RGB阈值(R_line，G_line，B_line)，根据下式提取特征线所在的区域：

Line₁(x，y)＝(I(x，y)_r＜R_line)&(I(x，y)_g＞G_line)&(I(x，y)_b＜B_line)。

5.根据权利1所述的基于彩色伪随机编码投影的特征点匹配方法，其特征是，所述步骤⑥中具体包括：根据下式分别提取需要向左和向右延伸的断点：

对向左和向右延伸的断点，分别用结构要素矩阵 $\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 1& 1& 1& 0& 0\\ 1& 1& 1& 0& 0\\ 1& 1& 1& 0& 0\\ 0& 0& 0& 0& 0\end{array}\right]$ 和 $\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 0& 0& 1& 1& 1\\ 0& 0& 1& 1& 1\\ 0& 0& 1& 1& 1\\ 0& 0& 0& 0& 0\end{array}\right]$ 进行膨胀，将膨胀结果与初步提取的特征线图像相加，再细化可得到最终的特征线提取图像，实现水平方向特征线补偿；用相同方法对垂直方向特征线进行补偿。

6.根据权利3所述的基于彩色伪随机编码投影的特征点匹配方法，其特征是，所述上下相邻窗口相互验证的方法，具体包括下列步骤：

由一个特征点出发，沿特征线寻找4×2检测窗口中的其他特征点，并分别记下各自的颜色值，根据上下两个3×2窗口中的颜色组合，通过伪随机编码原理，分别求出这两个窗口在投影仪投影平面上的位置，判断其是否相邻，若相邻，匹配成功，记下8个特征点在投影平面上的坐标；若不相邻，匹配错误，不被记下；按照这种算法，对图像中所有特征点依次处理，得到其在投影平面上的坐标。对于没有求得在投影平面上坐标的特征点，利用本发明中提到的附加算法进行匹配；最终完成编码图像上所有特征点的匹配，得到其在投影平面上的坐标。

Images