CN109949373A - 一种改进的棋盘格角点检测方法 - Google Patents

Abstract

本发明公开一种改进的棋盘格角点检测方法，包括以下步骤：通过相机获取棋盘格图像并二值化；通过单平面棋盘格角点检测算法对所述棋盘格图像进行角点检测；判断检测出的角点数目是否小于已知的角点数目，若是，则执行下一步，否则，则检测结束；通过角点修复算法对未检测到的角点或未检测到的方格进行修复。通过该方法可修复未检测到的角点、方格，进而提高标定效率，降低标定成本。

Description

一种改进的棋盘格角点检测方法

技术领域

本发明涉及图像视觉领域，尤其涉及一种改进的棋盘格角点检测方法。

背景技术

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就是相机标定。

近年来常用的是基于平面标定板的单平面棋盘格相机标定方法，而其中的单平面棋盘格角点检测算法在整个相机标定过程中扮演着相当重要的角色。然而，由于受摄像机姿态和光照的影响，部分角点不能被检测出来从而导致相机标定失败，降低标定效率。

综上可知，所述单平面棋盘格角点检测方法，实际中存在不便的问题，所以有必要加以改进。

发明内容

本发明的目的是提供一种改进的棋盘格角点检测方法，通过该方法可修复未检测到的角点、方格，进而提高标定效率，降低标定成本。

为实现上述目的，采用以下技术方案：

一种改进的棋盘格角点检测方法，包括以下步骤：

S1：通过相机获取棋盘格图像并二值化；

S2：通过单平面棋盘格角点检测算法对所述棋盘格图像进行角点检测；

S3：判断检测出的角点数目是否小于已知的角点数目，若是，则执行S4，否则，则检测结束；

S4：通过角点修复算法对未检测到的角点或未检测到的方格进行修复。

进一步地，所述单平面棋盘格角点检测算法包括以下步骤：

S21：对所述二值化的棋盘格图像进行膨胀处理，进而实现棋盘格图像中的各个黑色方格的分离；

S22：对上述棋盘格图像中的分离的黑色方格进行轮廓提取，并经约束条件去除干扰黑色方格轮廓；

S23：对每个方格存储一与其位置信息相对应的索引信息，并计算每个方格的相邻黑色方格的个数并存储；

S24：计算所有相邻黑色方格未分离前的公共角点位置信息并存储，此公共角点位置信息即为检测到的角点信息；

S25：以每个方格的黑色邻格的个数为原则对所有方格进行分类，并存储分类信息；

S26：通过已知的角点数目判断每个类中检测到的黑色方格位置、个数及角点数目是否正确，若是，则执行S27，否则，则返回至S4；

S27：通过已知的方格数目再次判断每个类中检测到的黑色方格位置、个数及角点数目是否正确，若是，则检测结束，否则，则返回至S4。

进一步地，所述角点修复算法包括以下步骤：

S31：根据所述方格的索引信息查找一有四个黑色邻格但其黑色邻格并未检测到全部角点的第一方格，并以第一方格相邻的其他已检测到全部角点的黑色邻格索引查找与第一方格相邻的一未检测到全部角点的第二方格；

S32：计算第二方格中未检测到的第一角点在棋盘格图像中的位置信息，并以计算得到的第一角点及第二方格中心点计算第三方格的中心点所处位置，第三方格为与第二方格有公共的第一角点的虚拟方格；

S33：查找所有已经检测到的黑色方格距第三方格中心点距离最小的第四方格，并判断该距离是否小于第一固定阈值，若是，则该第四方格即为与第二方格有公共的第一角点的未检测到全部角点的另一黑色方格，否则，执行S34；

S34：以第三方格中心点、第一角点及与第一方格的其他公共的角点为基础，重新构建一个第五方格，此第五方格即为与第二方格有公共的第一角点的未检测到全部角点的另一黑色方格；

S35：对所述棋盘格图像上的已检测到的角点、黑色方格重新存储其位置信息；

S36：根据计算得到的第四方格或第五方格、及其相邻黑色方格的索引信息判断第四方格或第五方格相邻黑色方格是否含有未检测到的角点，若是，则返回至S31；

S37：对所述棋盘格图像上的已检测到角点、方格和经上述步骤计算得到的角点、方格重新存储其位置信息；

进一步地，所述约束条件为判断方格轮廓是否为四边形或面积是否超出第二固定阈值的范围，若不是四边形或面积超出第二固定阈值的范围，则为干扰方格轮廓。

采用上述方案，本发明的有益效果是：

通过该方法在受摄像机姿态和光照的影响下，也能有效地检测出棋盘格图像上所有角点及方格，提高了棋盘格检测的鲁棒性，进而提高相机标定的效率，节约相机标定成本。

附图说明

图1为本发明的棋盘格图像示意图(膨胀处理前)；

图2为本发明的棋盘格图像示意图(膨胀处理后)；

图3为本发明的角点检测示意图(修复前)；

图4为本发明的角点检测示意图(修复后)；

图5为本发明的方法流程图；

其中，附图标识说明：

1—第一角点； 2—第一方格；

3—第二方格； 4—棋盘格图像；

具体实施方式

以下结合附图和具体实施例，对本发明进行详细说明。

参照图1至5所示，本发明提供一种改进的棋盘格角点检测方法，包括以下步骤：

S1：通过相机获取棋盘格图像4并二值化；

S2：通过单平面棋盘格角点检测算法对所述棋盘格图像4进行角点检测；

S3：判断检测出的角点数目是否小于已知的角点数目，若是，则执行S4，否则，则检测结束；

S4：通过角点修复算法对未检测到的角点或未检测到的方格进行修复。

其中，所述单平面棋盘格角点检测算法包括以下步骤：

第一步：对所述二值化的棋盘格图像4进行膨胀处理，进而实现棋盘格图像4中的各个黑色方格的分离；

第二步：对上述棋盘格图像4中的分离的黑色方格进行轮廓提取，并经约束条件去除干扰黑色方格轮廓；

第三步：对每个方格存储一与其位置信息相对应的索引信息，并计算每个方格的相邻黑色方格的个数并存储；

第四步：计算所有相邻黑色方格未分离前的公共角点位置信息并存储，此公共角点位置信息即为检测到的角点信息；

第五步：以每个方格的黑色邻格的个数为原则对所有方格进行分类，并存储分类信息；

第六步：通过已知的角点数目判断每个类中检测到的黑色方格位置、个数及角点数目是否正确，若是，则执行第七步，否则，则返回至S4；

第七步：通过已知的方格数目再次判断每个类中检测到的黑色方格位置、个数及角点数目是否正确，若是，则检测结束，否则，则返回至S4。

所述角点修复算法包括以下步骤：

第一步：根据所述方格的索引信息查找一有四个黑色邻格但其黑色邻格并未检测到全部角点的第一方格2，并以第一方格2相邻的其他已检测到全部角点的黑色邻格索引查找与第一方格2相邻的一未检测到全部角点的第二方格3；

第二步：计算第二方格3中未检测到的第一角点1在棋盘格图像4中的位置信息，并以计算得到的第一角点1及第二方格3中心点计算第三方格的中心点所处位置，第三方格为与第二方格3有公共的第一角点1的虚拟方格；

第三步：查找所有已经检测到的黑色方格距第三方格中心点距离最小的第四方格，并判断该距离是否小于第一固定阈值，若是，则该第四方格即为与第二方格3有公共的第一角点1的未检测到全部角点的另一黑色方格，否则，执行第四步；

第四步：以第三方格中心点、第一角点1及与第一方格2的其他公共的角点为基础，重新构建一个第五方格，此第五方格即为与第二方格3有公共的第一角点1的未检测到全部角点的另一黑色方格；

第五步：对所述棋盘格图像4上的已检测到的角点、黑色方格重新存储其位置信息；

第六步：根据计算得到的第四方格或第五方格、及其相邻黑色方格的索引信息判断第四方格或第五方格相邻黑色方格是否含有未检测到的角点，若是，则返回至第一步；

第七步：对所述棋盘格图像4上的已检测到角点、方格和经上述步骤计算得到的角点、方格重新存储其位置信息；

所述约束条件为判断方格轮廓是否为四边形或面积是否超出第二固定阈值的范围(根据经验所设的一个范围值)，若不是四边形或面积超出第二固定阈值的范围，则为干扰方格轮廓。

本发明工作原理：

如图1所示，通过相机获取棋盘格图像4，并对棋盘格图像4进行二值化处理。初始的棋盘格图像4可能包含很多不同的色彩，因此，首先要将棋盘格图像4变成黑白(黑色方格与白色方格交替)状态，即二值化处理。

如图2所示，将上述棋盘格图像4进行膨胀处理，进而实现棋盘格图像4中各个黑色方格的分离。正如图1所示，二值化处理后的棋盘格中的黑色方格与其相邻的黑色方格相互连接，为便于提取，需要断开黑色方格之间的连接，即对其进行膨胀处理，使得每个黑色方格与其相邻的黑色方格相分离，分离后的状态图如图2所示。

对膨胀处理后的棋盘格图像4中的黑色方格进行轮廓提取。为便于提取，首先在棋盘格图像4***画一个白色的矩形框，在提取过程中，棋盘格图像4中会出现很多干扰的黑色方格轮廓，干扰的黑色方格轮廓为不呈四边形的封闭性的轮廓，如三角、多边等封闭轮廓；通过约束条件(依据一些四边形的特征，如四个顶点、长宽比、周长或面积等判断此封闭轮廓是否为四边形)将干扰的黑色方格轮廓从棋盘格图像4中去除。

对棋盘格图像4中的所有方格和其四个角点进行顺序编号(本实施例采用从上到下，从左到右的顺序对方格依次从小到大编号)，及计算每个方格相邻的黑色方格的个数(例如，如图1所示的黑白格交替的方格图，从左至右，从上至下，第一行第一个黑色方格的相邻黑色方格个数为2，第二行第二个白色方格的相邻黑色方格个数为4，以此类推)，并将编号信息、相邻黑色方格的个数信息及每个方格在棋盘格中的位置信息分别进行存储，此外，对每个方格存储一个索引信息，该索引信息与每个方格的位置信息(该方格处于棋盘格图像4中第几行、第几列)相对应，即经过索引即可查找处于任一位置的方格。

在对棋盘格图像4进行膨胀处理后，棋盘格图像4中的彼此相邻的黑色方格会断开其之间的连接，即公共的角点会因分离而变成分属两个黑色方格的独立角点；经上述可以查找每个方格的相邻黑色方格，及其分离后相邻黑色方格的独立角点，进而计算出分离前相邻黑色方格的公共的角点，此公共的角点即为需要标定查找检测的角点。

以每个方格相邻的黑色方格的个数为一类，如每个方格的相邻黑色方格的个数为3，即归为一类，若每个方格相邻的黑色方格个数为4，即归为一类，依次类推，对棋盘格图像4中的所有方格进行分类，并存储每一类的信息。

通过已知的角点数目(从棋盘格图像4中，可以直接看到棋盘格图像4中角点有多少个)判断每个类中的黑色方格是否与已知的黑色方格一一对应(即是否为所需要检测的黑色方格)，并对黑色方格进行排序(即将此黑色方格调整至棋盘格图像4中正确的位置，即第几行、第几列)。在这个过程中，可以添加每类中未检测到的黑色方格，或删除每个类中干扰的黑色方格(即检测错误的黑色方格)。

通过已知的棋盘格图像4中的黑色方格个数(通过已知的角点数目计算得知)再次检验检测出来的黑色方格位置、个数、角点是否正确，并确定粗略强角点的位置(相邻黑色方格公共的角点位置，即需要检测出来的角点位置)。

若检测出的角点数目小于已知的角点数目，则使用角点修复算法对未检测到的角点进一步地查找计算，进而进行修复。首先根据每个方格的索引信息查找一有四个黑色邻格但其黑色邻格并未检测到所有角点的第一方格2的位置，并以第一方格2相邻的其他已检测到全部角点的黑色邻格索引信息查找第一方格2相邻的未检测到全部角点的第二方格3(例如，如图3-4所示，图3及4为黑白格交替的方格图，其中1号方格白色，2号为黑色，3号为白色，以此类推，13号方格为第一方格2，其相邻4个黑色方格，编号分别为8、12、14、18，其中12号方格已经检测全部角点，但14号和18号方格有一个公共角点未检测出，则可将14号方格示为第二方格3，进而通过14号方格查找18号方格)；

如图1-4所示，每个方格对角角点连线经过该方格中心点，基于这一特征，可根据第二方格3中的其他三个已经检测到的角点位置信息，进而计算出第二方格3中未检测到的第一角点1的位置信息并存储，及经第一角点1和其他检测的角点位置信息，计算该黑色方格的中心点位置信息并存储。(如14号方格，编号6、7、10的角点位置信息已知，由编号6和编号10的位置信息计算出第二方格3(14号方格)的中心点的位置信息，再由中心点位置信息与编号7角点的位置信息进而计算出未检测到第一角点1的位置信息(即14号方格未检测到的角点位置信息))。

此时，14号方格的四个角点已经完全检测出，但与14号方格有公共的第一角点1的另一未检测出全部角点的18号方格还未确定其位置，因此，接下来要找到18号方格。

根据第二方格2(14号方格)的中心点坐标及第一角点1的位置信息，由以下公式可计算出虚拟的第三方格中心点的位置信息(坐标)：

第三方格x坐标＝2*第一角点1x坐标—第二方格3中心点x坐标；

第三方格y坐标＝2*第一角点1y坐标—第二方格3中心点y坐标；

由此，可知道与第二方格2有公共的第一角点1的位置的虚拟第三方格位置信息。现在，需要判断18号方格是否为已经检测到的方格，若是，则意味着18号方格已经检测到，但未检测到18号方格的全部角点，则需要将18号方格未检测到的角点，即第一角点修复至18号方格上即可；若不是，说明18号方格并未检测出，则由9号角点、第一角点1及第三方格中心点，创建一个第五方格，则第五方格即为修复的方格代替18号方格；判断18号方格是否是检测出的方格的依据是，计算并找到所有已经检测的黑色方格至第三方格中心点的距离最小的方格，若该距离小于预设的第一固定阈值(经验所设)，则该方格即为检测出的方格，即为18号方格(因为虚拟的第三方格基本和18号方格重合，若能检测到与其中心点距离最小的方格且小于第一固定阈值，那即是18号方格，若18号方格未检测出，则其他方格距第三方格中心点的距离均大于第一固定阈值，即说明18号方格未检测出)；若该距离大于第一固定阈值，说明18号方格并未检测出，此时，则创建一个新的第五方格，代替18号方格，即为修复的方格，第五方格与14号方格有公共的第一角点1，即第五方格所有角点全部检测出来。

根据计算得到的第四方格或第五方格、及其相邻方格的索引信息判断其相邻方格是否含有未检测到的角点，若是，则对该方格进行如上所述修复，直至检测到全部角点为止。

以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种改进的棋盘格角点检测方法，其特征在于，包括以下步骤：

S1：通过相机获取棋盘格图像并二值化；

S2：通过单平面棋盘格角点检测算法对所述棋盘格图像进行角点检测；

S3：判断检测出的角点数目是否小于已知的角点数目，若是，则执行S4，否则，则检测结束；

S4：通过角点修复算法对未检测到的角点或未检测到的方格进行修复。

2.根据权利要求1所述的改进的棋盘格角点检测方法，其特征在于，所述单平面棋盘格角点检测算法包括以下步骤：

S21：对所述二值化的棋盘格图像进行膨胀处理，进而实现棋盘格图像中的各个黑色方格的分离；

S22：对上述棋盘格图像中的分离的黑色方格进行轮廓提取，并经约束条件去除干扰黑色方格轮廓；

S23：对每个方格存储一与其位置信息相对应的索引信息，并计算每个方格的相邻黑色方格的个数并存储；

S24：计算所有相邻黑色方格未分离前的公共角点位置信息并存储，此公共角点位置信息即为检测到的角点信息；

S25：以每个方格的黑色邻格的个数为原则对所有方格进行分类，并存储分类信息；

S26：通过已知的角点数目判断每个类中检测到的黑色方格位置、个数及角点数目是否正确，若是，则执行S27，否则，则返回至S4；

S27：通过已知的方格数目再次判断每个类中检测到的黑色方格位置、个数及角点数目是否正确，若是，则检测结束，否则，则返回至S4。

3.根据权利要求2所述的改进的棋盘格角点检测方法，其特征在于，所述角点修复算法包括以下步骤：

S31：根据所述方格的索引信息查找一有四个黑色邻格但其黑色邻格并未检测到全部角点的第一方格，并以第一方格相邻的其他已检测到全部角点的黑色邻格索引查找与第一方格相邻的一未检测到全部角点的第二方格；

S32：计算第二方格中未检测到的第一角点在棋盘格图像中的位置信息，并以计算得到的第一角点及第二方格中心点计算第三方格的中心点所处位置，第三方格为与第二方格有公共的第一角点的虚拟方格；

S33：查找所有已经检测到的黑色方格距第三方格中心点距离最小的第四方格，并判断该距离是否小于第一固定阈值，若是，则该第四方格即为与第二方格有公共的第一角点的未检测到全部角点的另一黑色方格，否则，执行S34；

S34：以第三方格中心点、第一角点及与第一方格的其他公共的角点为基础，重新构建一个第五方格，此第五方格即为与第二方格有公共的第一角点的未检测到全部角点的另一黑色方格；

S35：对所述棋盘格图像上的已检测到的角点、黑色方格重新存储其位置信息；

S36：根据计算得到的第四方格或第五方格、及其相邻黑色方格的索引信息判断第四方格或第五方格相邻黑色方格是否含有未检测到的角点，若是，则返回至S31；

S37：对所述棋盘格图像上的已检测到角点、方格和经上述步骤计算得到的角点、方格重新存储其位置信息。

4.根据权利要求2所述的改进的棋盘格角点检测方法，其特征在于，所述约束条件为判断方格轮廓是否为四边形或面积是否超出第二固定阈值的范围，若不是四边形或者超出第二固定阈值的范围，则为干扰方格轮廓。