CN101271576A - 复杂光照与表面条件下棋盘格模式识别定位方法 - Google Patents

Abstract

一种计算机视觉技术领域的复杂光照与表面条件下棋盘格模式识别定位方法，检测棋盘格模式中由四个黑白区域构成的角点，并记录角点处黑白区域的边界位置，通过角点位置以及相应的边界位置连通属于同一个棋盘格黑或者白区域的角点，从而得到相互连通的角点集合，通过已知棋盘格行数与列数确定棋盘格模式中的角点数，从而根据所得连通的角点集合中角点个数是否等于棋盘格模式的角点数确定棋盘格角点集合，从而识别棋盘格模式。本发明克服了复杂表面和不规则物体表面上识别棋盘格模式角点的困难，并且对复杂的光照环境进行了处理，能够健壮准确地在复杂光照以及复杂表面上识别定位棋盘格模式。

Description

复杂光照与表面条件下棋盘格模式识别定位方法

技术领域

本发明涉及一种计算机视觉技术领域的识别定位方法，具体是一种复杂光照与表面条件下棋盘格模式识别定位方法。

背景技术

棋盘格模式在计算机视觉***中经常用来做摄像机校正或者几何注册。作为摄像机***中的典型应用，2000年张正友等人提出使用黑白圆点或格子模式进行摄像机校正。而在增强现实***中，2002年Raskar等人则使用黑白棋盘格来获得反映投影仪与摄像机之间空间变换关系的单应性矩阵。另外，在通过结构光进行建模的研究中，棋盘格模式也可以作为一种特设的结构光模式来进行三维重建。所有的上述应用中至关重要的一步都需要在摄像机采集到的图像中对棋盘格模式进行识别与定位。在这方面，目前实用的方法很少，比较成熟实用的只有Intel公司的OpenCV视觉库中的cvFindChessboardCorners方法，而且现在的方法初衷都是识别定位良好光照条件下平面上的棋盘格模式，没有考虑到在较差的光照条件下非平面或者复杂物体表面上棋盘格模式的识别，而这恰好是实际的视觉***，像增强现实***中所碰到的大多数情况。因此，对于棋盘格模式，研究一种在复杂光照与表面条件下能健壮的识别与定位的方法是有着重大意义的。

经对现有技术的文献检索发现，Zhongshi Wang等在《Applied Mathematics andComputation》(《应用数学与计算》，2007年总第185期894-906页)上发表的“Recognition and location of the internal corners of planar checkerboardcalibration pattern image”(平面棋盘格校正模式图像内角点的识别与定位)，该文中提出了对平面上棋盘格模式图像的识别，具体方法为：基于棋盘格模式内角点的本地亮度特性进行角点检测，检测被四个黑白方格所围绕的棋盘格内角点；然后通过将棋盘格内角点看作棋盘格的方格边界线的相交点，来进行棋盘格角点得识别与匹配。其不足在于：该方法只能识别平面上的棋盘格模式角点，对于不规则表面，比如任意复杂表面和不规则物体表面，不能有效的进行识别，而且对于复杂的光照环境没有考虑，缺乏鲁棒性。

发明内容

本发明是针对现有技术的不足，提供一种复杂光照与任意表面条件下棋盘格模式识别定位方法，使其克服了复杂表面和不规则物体表面上识别棋盘格模式角点的困难，并且对复杂的光照环境进行了处理，能够健壮准确地在复杂光照以及复杂表面上识别定位棋盘格模式。

本发明是通过以下技术方案实现的，本发明检测棋盘格模式中由四个黑白区域构成的角点，并记录角点处黑白区域的边界位置，通过角点位置以及相应的边界位置连通属于同一个棋盘格黑或者白区域的角点，从而得到相互连通的角点集合，通过已知棋盘格行数与列数确定棋盘格模式中的角点数，从而根据所得连通的角点集合中角点个数是否等于棋盘格模式的角点数确定棋盘格角点集合，从而识别棋盘格模式。

本发明包括两步：

第一步是区域角点的检测；

第二步是棋盘格模式的匹配。

所述区域角点的检测，具体为：遍历图像中所有点，对每一图像点，将其周围围绕着的邻域点的二维信号根据距离中心点的距离转化为多组一维分布信号，在一维信号上采用平均值二值化方法进行二值化，对二值化后的一维信号，进行环形形态学开与闭操作以消除噪声，通过求去噪后一位信号上所有点处一阶导数值的和，得到此一维信号所代表的原二维信号上黑白相间区域的总数。如果一个图像点一定邻域内的二维信号所转化的多组一维信号有多于规定数量的信号有4个黑白相间区域，那这个图像点被检测为棋盘格模式的角点。

所述环形形态学操作，是指对于一个由原本的二维信号转化而来的一维信号，进行形态学操作时，将一维信号的首尾点看成几何位置上相邻接的，亦即将一维信号看成一个首尾相接的环进行形态学操作。

所述棋盘格模式的匹配，具体为：角点检测的结果点将被进行去噪以及消去冗余点的操作，通过检测一个角点周围设定区域内是否有设定数量的角点来确定该点是否噪音点。通过将相互距离小于设定距离的角点划分在同一个子集中，使用子集的质心来代替整个角点子集来消除冗余点。定义角点向量到其相应的区域边界位置点向量的差为角点区域边界向量，倘若两个不同角点的角点区域边界向量夹角在一定范围内接近180°或者-180°，而且两个角点之间距离不大于根据图像尺寸以及棋盘格行列数确定的棋盘格格子区域大小，则认为两个角点可以相连通。对所有角点进行连接测试后，得到整个角点集合的几个连通分量，根据已知的棋盘格模式的行列数计算出模式中的真实角点数，将具有真实角点数个角点的连通分量视为棋盘格模式的角点集合。

本发明在进行上述两个步骤处理之前，可以根据需要进行图像预处理，即将图像不改变长宽比缩放到通常摄像机的分辨率范围内。

本发明方法通过在区域角点检测中将二维的点的分布转化为一维的层，从而使区域角点的区域特征更加容易检测，而且也更加健壮。而且由于区域检测只是在一维层上，不需要考虑二维中的旋转影响，因此对于旋转变换有着天然的鲁棒性。

附图说明

图1一个20×20的棋盘格模式示例。

图2两张复杂光照与表面下的棋盘格模式照片示例。

图3采用本发明两张复杂光照与表面下的棋盘格模式照片示例；

照片中识别与定位结果，第一步中的区域角点以十字标出，而真正的棋盘格角点被以圆圈标出。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

图1是一个未变形的原始的棋盘格模式的示例，用于我们方法中投影仪所投影的源图像。

图2中是两副在复杂光照以及表面条件下的棋盘格模式照片。图2(a)是一张印有棋盘格模式的A4纸，通过将其扭曲变形拍摄，图2(b)是在室内的墙角与天花板交界处通过投影仪投影的棋盘格模式，可以看出由于墙角的多个平面扭曲，棋盘格模式已经被严重变形。

通过在一张A4尺寸的纸上打印一副26×22个黑白相间棋盘格的图像，可以得到图2(a)中的纸张，将纸张随意扭曲变形，确保棋盘格模式都能在摄像机的成像范围内可见，得到了图2(a)的效果。

采用普通的投影仪，将一副26×22个黑白相间棋盘格的图像投影到一个室内的天花板与墙角的交界处，确保投影出的棋盘格模式都能在摄像挤得成像范围内可见，得到了图2(b)的效果。

使用普通的摄像头采集上述两幅图片，不需要经过特殊处理，使用本发明方法对其进行棋盘格模式的识别与定位：

设目标棋盘格模式有r行c列点，即(r+1)×(c+1)个黑白格。此处r＝22-1＝21，c＝26-1＝25。

首先预处理，将图像不改变长宽比缩放到300×200到2100×1600范围内。

1棋盘格内角点(区域角点)检测

(1)以窗口方式遍历图像上每一点p(x_p，y_p)，窗口R(p，w)定义为：R(p，w)＝{p_i‖x_pi-x_p|≤w，|y_pi-y_p|≤w}，W取10。

(2)对R(p，w)，由内而外依次将所覆盖的图像点分为1~w层，定义分层为：L_r(p)＝R(p，r)-R(p，r-1)，1≤r≤w。

(3)在R(p，w)内每一层L_r(p)上进行平均值二值化，然后采用环式形态学开与闭操作(Ring-Morphology)去噪。环式形态学操作定义为：

${A\·}_{\mathrm{ring}}B=\left(A{\⊕}_{\mathrm{ring}}B\right){\mathrm{\Θ}}_{\mathrm{ring}}B$

(4)检测二值化去噪后的L_r(p)上黑白交替的区域的个数，倘若有黑白交替4个区域，则L_r(p)为区域角点层。由此定义出区域角点层的概念。

(5)倘若R(p，w)内有α＝80％的区域角点层，则p(x_p，y_p)为区域角点。同时记录二值化后最外层区域角点层L_r(p)上4处黑白交界处的点的位置到集合B_p，称为p(x_p，y_p)的区域边界点集合。

(6)循环遍历所有点，将区域角点集合记为N。

2棋盘格模式匹配

(1)对于N中任意两点，如果两者之间距离小于W_se，W_se＝5，则认为两点相连通，由此构成图G(N，E)，E为连通的边集合。对于G中每一个连通分量计算质心，得到质心集合N′。质心的区域边界点集合为连通分量中最近接质心的任一个点的区域边界点集合。

(2)对N′中任意两点p₁，p₂，其区域边界点集合为B_p1，B_p2，倘若存在p′₁∈B_p1，p′₂∈B_p2，使得以p₁，p′₁，p′₂，p₂的顺序共线，则认为p₁，p₂相连通。从而得到图G′(N′，E′)，E′为连通边集合。

(3)如果G′中存在连通分量C，C中顶点数|C|＝r×c，则C中顶点为棋盘格角点。从而找到棋盘格模式及其角点位置。结果见附图3，所有在方法第一步区域角点检测中得到的连通的区域角点质心都被检测出以十字线标注，而且在第二步棋盘格模式匹配过程中得到的属于棋盘格模式的角点都被以圆圈标出。所有的角点都检测定位正确，没有遗漏与多余角点。证明了本发明方法的有效性与准确性。

Claims (4)

1、一种复杂光照与表面条件下棋盘格模式识别定位方法，其特征在于，检测棋盘格模式中由四个黑白区域构成的角点，并记录角点处黑白区域的边界位置，通过角点位置以及相应的边界位置连通属于同一个棋盘格黑或者白区域的角点，从而得到相互连通的角点集合，通过已知棋盘格行数与列数确定棋盘格模式中的角点数，根据所得连通的角点集合中角点个数是否等于棋盘格模式的角点数确定棋盘格角点集合，从而识别棋盘格模式。

2、根据权利要求1所述的复杂光照与表面条件下棋盘格模式识别定位方法，其特征是，包括两个步骤：

第一步是区域角点的检测，

第二步是棋盘格模式的匹配，

所述区域角点的检测，具体为：遍历图像中所有点，对每一图像点，将其周围围绕着的邻域点的二维信号根据距离中心点的距离转化为多组一维分布信号，在一维信号上采用平均值二值化方法进行二值化，对二值化后的一维信号，进行环形形态学开与闭操作以消除噪声，通过求去噪后一位信号上所有点处一阶导数值的和，得到此一维信号所代表的原二维信号上黑白相间区域的总数，如果一个图像点一定邻域内的二维信号所转化的多组一维信号有多于规定数量的信号有4个黑白相间区域，那这个图像点被检测为棋盘格模式的角点。

所述棋盘格模式的匹配，具体为：角点检测的结果点将被进行去噪以及消去冗余点的操作，通过检测一个角点周围设定区域内是否有设定数量的角点来确定该点是否噪音点，通过将相互距离小于设定距离的角点划分在同一个子集中，使用子集的质心来代替整个角点子集来消除冗余点，定义角点向量到其相应的区域边界位置点向量的差为角点区域边界向量，倘若两个不同角点的角点区域边界向量夹角在设定范围内接近180°或者-180°，而且两个角点之间距离小于或等于根据图像尺寸以及棋盘格行列数确定的棋盘格格子区域大小，则认为两个角点可以相连通，对所有角点进行连接测试后，得到整个角点集合的几个连通分量，根据已知的棋盘格模式的行列数计算出模式中的真实角点数，将具有真实角点数个角点的连通分量视为棋盘格模式的角点集合。

3、根据权利要求2所述的复杂光照与表面条件下棋盘格模式识别定位方法，其特征是，所述区域角点的检测中，使用了环形形态学操作，即对于一个由原本的二维信号转化而来的一维信号，进行形态学操作时，将一维信号的首尾点看成几何位置上相邻接的，即将一维信号看成一个首尾相接的环进行形态学操作。

4、根据权利要求2所述的复杂光照与表面条件下棋盘格模式识别定位方法，其特征是，在进行所述区域角点的检测之前，进行图像预处理，即将图像保持长宽比缩放到通常摄像机的分辨率范围内。

Images