CN107369140A - 非结构化环境下的高精密靶球中心提取方法 - Google Patents

Abstract

本发明非结构化环境下的高精密靶球中心提取方法属于双目视觉技术领域，涉及了一种在非结构化环境下的高精密靶球中心提取方法。该方法基于中值滤波与删除小面积的噪点对拍摄所得的图像进行去噪，并二值化处理等预处理，从而获取高精密靶球在图像中的轮廓点集。采用快速排序算法，对该轮廓点集进行针对y坐标的排序，获取表面灰度不均匀的高精密靶球轮廓上的用于椭圆拟合的有效拟合点集。采用椭圆拟合算法，算得图像中表面灰度不均匀的高精密靶球的轮廓中心所在的坐标值。该方法提取精度高，对后续摄像机标定、图像处理等操作具有一定意义；尤其提高了利用高精密靶球的标定方法的精度，对视觉测量精度有所提升。

Description

非结构化环境下的高精密靶球中心提取方法

技术领域

本发明属于双目视觉技术领域，涉及了一种在非结构化环境下的高精密靶球中心提取方法。

背景技术

由于球体具有从任何视角观察其几何特征均不发生改变的优势，球体作为常用的靶标已广泛运用在机器视觉标定，特征识别等多个领域。为获得更好的标定精度，往往会构建封闭式环境和构建稳定光源***，形成光照均匀的结构化环境，便于对高精密靶球轮廓中心点的提取。但是针对航天航空等工业测量领域，其工况复杂，视场背景难以控制，结构化环境难以构造。因此高精密靶球受随机光场影响，在非结构化环境下会出现球体表面灰度不均匀，轮廓提取困难的现象，导致出现对高精密靶球中心提取不准确的问题。目前很多学者都开展了相关研究。在处理计算机视觉领域中，提取轮廓中心点的方法中，常用的有灰度重心法、椭圆拟合法等，其中灰度重心法对一般轮廓区域内的灰度值有分布较均匀或者分布符合高斯分布等的要求，否则提取精度较低。椭圆拟合法则认为用于拟合椭圆的点均为准确点，在非结构化环境下的高精密球体中心提取过程中，容易产生不规则，圆度差的球体轮廓，直接使用椭圆拟合法拟合球体轮廓求取球体中心也会产生偏差过大的问题。经文献检索，闫蓓、王斌、李媛发表的题为“基于最小二乘法的椭圆拟合改进算法”的论文中，北京航天航空大学学报2008年第34卷第3期，文章编号为1001-5965(2008)03-0295-04，提出了一种采用随机思想针对包含误差较大样本点的椭圆，基于投票机制，剔除误差较大样本点后进行准确的椭圆拟合算法。该方法能够有效处理包含较大比例的误差点的样本空间，拟合出具有高精度的椭圆。但是该方法只对灰度均匀的人类瞳孔进行椭圆拟合，获得椭圆轮廓点集，而对于在非结构化环境下，表面灰度不均匀球体不能用椭圆拟合算法。

发明内容

本发明要解决的技术难题是在非结构环境下，高精密靶球由于光照不均匀所产生的表面灰度不均、球体中心点难以提取的问题。由此，发明了基于椭圆拟合法的非结构环境下高精密靶球的有效拟合点集筛选并提取轮廓中心的方法。对通过摄像机拍摄到的高精密靶球图像进行滤波去噪处理之后，进行高精密靶球轮廓边界提取。之后基于球体几何特征进行轮廓边界点的筛选，选取用于拟合靶球轮廓的有效拟合点集合。由此获取图像中高精密靶球的精确中心点，对后续摄像机标定、图像处理等操作具有一定意义。

本发明采用的技术方案是一种非结构化环境下的高精密靶球中心提取方法，其特征是，该方法基于中值滤波与删除小面积的噪点对拍摄所得的图像进行去噪并二值化处理等预处理，从而获取高精密靶球在图像中的轮廓点集；采用快速排序算法，对该轮廓点集进行针对y坐标的排序，获取表面灰度不均匀的高精密靶球轮廓上的可用于椭圆拟合的有效拟合点集；采用椭圆拟合算法，算得图像中表面灰度不均匀的高精密靶球的轮廓中心所在的坐标值；方法具体步骤如下：

第一步 基于中值滤波对图像进行去噪的预处理

由于由摄像机所拍摄的原始图像src包含噪声影响，为了提高后续轮廓提取与特征点集合获取的稳定性与鲁棒性，首先对原始图像src进行感兴趣球体区域选取，设定为src的感兴趣区域srcROI。然后对srcROI进行中值滤波，获得滤除噪声后的图像为medDst；

根据图像特征，设定二值化阈值thr，medDst图像中medDst(x,y)>thr的像素点的灰度值均赋值为255，其中medDst(x,y)表示medDst图像中坐标为(x,y)的像素点灰度值，medDst(x,y)<＝thr的像素点的灰度值则均赋值为0，获得二值化图像thrDst；

并且，由于现场环境下图像具有复杂背景，在图像thrDst中，检索所有连通区域轮廓并分别进行面积统计，并根据连通区域的面积大小进行快速排序，选取面积最大的连通区域轮廓，即高精密靶球在图像thrDst中的轮廓，以单独留下高精密靶球轮廓点集，利用一个动态序列max Area储存轮廓点集；

第二步 基于快速排序算法进行有效拟合点集合的筛选

对所获得的轮廓点集合max Area进行筛选，选取可用于椭圆拟合的有效拟合点集，具体步骤如下：

1)从轮廓点集序列max Area的各个分区中选取出序号为n的首序号，首次操作时n＝0，且整个序列为一个分区的点坐标max Area[n]，该点max Area[n]作为基准点，纵坐标y_n作为基准数y₀；

2)向后检索max Area[n+1]，若max Area[n+1]的纵坐标y大于基准数y₀的，则maxArea[n+1]移动到基准点max Area[n]的右边，基准点max Area[n]向后移动一位，成为maxArea[n+1]，而max Area[n+1]变为max Area[n]；

3)继续向后检索max Area[i]，i＝n+2,i＝n+3...,…重复2)步骤；完成针对首个基准数y₀的分区。此时y坐标值小于y₀的坐标点均分配到了y₀左边区域，y坐标值大于y₀的坐标点均分配到了y₀右边区域；

4)针对左边区域和右边区域分别重复进行1)、2)、3)步骤，直到各个分区只剩下一个点；

至此，完成了针对max Area点序列y坐标值的从小到大的排序；取max Area序列中序号为0第一边界特征点(x₀,y₀)为有效拟合点集的起始点，根据高精密靶球的特点，设定阈值h，将y₀+h以下的所有点从max Area中剔除，即以[y₀,y₀+h]区间内的所有点作为用于拟合椭圆的有效拟合点集，形成一个新的圆弧状点序列称为seq；

第三步 靶球中心的计算

利用圆锥曲线方程将高精密靶球的轮廓表示为斜椭圆形式，如下式所示：

Ax²+Bxy+Cy²+Dx+Ey+F＝0 (1)

其中，A,B,C,D,E,F为椭圆曲线的常量参数，x,y分别是椭圆曲线上一点的横坐标和纵坐标。

常量参数约束条件设为A+C＝1。应用上述方程对边缘检测后的离散点进行最小二乘处理，得到方程中的各常量参数。也即求目标函数：

的最小值来确定各系数。其中，x_i,y_i分别是seq中存储的序号为i的有效拟合点的横纵坐标，n为seq存储点的总数。再由极值原理，使得(A,B,C,D,E,F)的值为最小，则有：

由此将seq中存储的有效拟合点的坐标分别带入公式(3)中，可得一个线性方程组,然后应用主元高斯消去法，结合约束条件,即求得了方程系数A,B,C,D,E,F的值，将该方程所表示的椭圆视为高精密靶球在图像中的完整轮廓；

其中椭圆轮廓中心(x_c,y_c)可由公式(4)求出：

该椭圆的中心点(x_c,y_c)即被认为图像中高精密靶球的轮廓中心。

本发明的有益效果是在非结构化环境下通过图像二值化后获得的不规则的高精密球体轮廓中，选取用于拟合椭圆的有效拟合点集合，再利用基于最小二乘法的椭圆拟合法的方法求取的高精密球体的中心点，提取精度高，对后续摄像机标定、图像处理等操作具有一定意义。尤其提高了利用高精密靶球的标定方法的精度，对视觉测量精度有所提升。

附图说明

图1为方法流程图。

图2为算法演示图。其中：h-阈值；1-第一边界特征点(x₀,y₀)，2-直线23的左点，其坐标y₂＝y₀+h；3-直线23的右点，其坐标y₃＝y₀+h；4-经过预处理后由1，2，3点所构成的弧形，是经筛选获得的有效拟合点集，即获得的不规则高精密靶球轮廓。

图3中a)为去噪并且二值化预处理后所获得的图像，b)为检测出的图像轮廓集合。

图4中，a)为经过筛选后用于椭圆拟合的有效拟合点集合seq，不含下方直线，直线仅使轮廓形成连通区域便于检测，b)为最终拟合所得椭圆在原图像中的示意图。

具体实施方式

下面结合附图和技术方案详细说明本发明的具体实施方式。

实施例1，本发明的被测物为一组圆心距离为59.9506mm的高精密标准靶球。采用2台View Works摄像机，获取原始的靶球图像，作为原始含噪图像src进行处理。本例在Visual Studio2013平台，C/C++语言与OpenCV视觉库的环境下进行操作。

然后按照附图1所示的流程图进行如下操作。

第一步，为了提高后续轮廓提取与特征点集获取的稳定性与鲁棒性，对图像src进行去噪处理。通过函数cvSmooth，其中输入方法参数设定为CV_MEDIAN，对图像src进行中值滤波，获得结果图像medDst如附图2所示。然后设定二值化阈值thr＝55，进行图像的二值化处理获得二值化图像thrDst。并由于现场环境下图像具有复杂背景，在阈值设置不准确时，会留下许多干扰轮廓，所以需要进行删除小面积噪点轮廓的处理，以单独留下高精密靶球的轮廓点集。利用函数cvFindCont ours寻找到图像中的所有连通区域的轮廓序列，其所有连通区域的轮廓的动态序列为pcvSeq,针对序列中各个轮廓面积的大小进行快速排序，输出一组存储着面积最大与次大的连通区域轮廓的动态序列数组max Area[2]，其中maxArea[0]为图像中连通区域面积最大的高精密靶球轮廓，max Area[1]为图像中连通区域面积次大的高精密靶球轮廓。

第二步，基于快速排序算法进行有效拟合点的筛选。由于高精密靶球表面在非结构化环境下，表面灰度分布不均匀，造成了通过二值化图像thrDst获取的高精密靶球轮廓图像不规则和圆度低等问题，难以进行精确的椭圆拟合算取其轮廓中心。所以首先需要对所获得的轮廓点集max Area[0]与max Area[1]进行筛选，选取可用于椭圆拟合的有效轮廓点集，具体步骤如下：

1)从轮廓点集序列max Area的各个分区中选取出首序号，序号为n，首次操作时n＝0且整个序列为一个分区的点坐标max Area[n](max Area[n]表示轮廓点集中序号为n的轮廓点的纵坐标y_n作为基准数y₀，该点max Area[n]作为基准点；

2)向后检索max Area[n+1]，若max Area[n+1]的纵坐标y大于基准数y₀的，则maxArea[n+1]移动到基准点max Area[n]的右边，基准点max Area[n]向后移动一位，成为maxArea[n+1]，而max Area[n+1]变为max Area[n]；

3)继续向后检索max Area[i]，i＝n+2,i＝n+3...,…重复2)步骤；完成针对首个基准数y₀的分区。此时y坐标值小于y₀的坐标点均分配到了y₀左边区域，y坐标值大于y₀的坐标点均分配到了y₀右边区域；

4)针对左边区域和右边区域分别重复进行1)、2)、3)步骤，直到各个分区只剩下一个点；

以此，再取经排序后的max Area[0]序号为0第一边界特征点(x₀,y₀)为有效拟合点集的起始点，基于本实施例中高精密靶球的轮廓特点，选定阈值h＝80，利用函数cvSeqRemove，将y₀+80以下的所有点从动态序列max Area[0]中剔除，以[y₁,y₁+80]区间内的所有点作为用于拟合椭圆的有效点集,形成一个新动态序列seq₀。

对于max Area[1]也进行同max Area[0]的同理操作，获得max Area[1]的有效拟合点集，形成一个动态序列为seq₁。

第三步，进行靶球中心的计算，由于利用圆锥曲线方程可以将seq₀的斜椭圆表示为公式(1)。

为了避免式(1)的零解,并将解的任何整数倍都视为对同一椭圆的表述,对参数做一些限制，约束条件设为A+C＝1。显然，直接应用上述方程对边缘检测后的离散点进行最小二乘处理，就可以得到方程中的各系数。也即，求目标函数(2)最小值来确定各系数，再由极值原理，使得(A,B,C,D,E,F)的值为最小，必有(3)式的关系。

由此可得一个线性方程组,然后应用求解线性方程组的算法(如全主元高斯消去法),结合约束条件,即求得了方程系数A,B,C,D,E,F的值，视为高精密靶球在图像中的完整轮廓；该椭圆的中心点即可被认为max Area[0]的轮廓中心

同理获得另一个高精密靶球max Area[1]的轮廓中心计算两者轮廓中心的距离，获取数据为59.94664652mm。通过与制造商给予的两球球心距离59.9506mm进行对比，认为本方法精度符合预期。由此认为本方法可以获取图像中高精密靶球的精确中心点，对后续摄像机标定、图像处理等操作具有一定意义。

Claims (1)

1.一种非结构化环境下的高精密靶球中心提取方法，其特征是，该方法基于中值滤波与删除小面积的噪点对拍摄所得的图像进行去噪并二值化处理等预处理，从而获取高精密靶球在图像中的轮廓点集；采用快速排序算法，对该轮廓点集进行针对y坐标的排序，获取表面灰度不均匀的高精密靶球轮廓上的用于椭圆拟合的有效拟合点集；采用椭圆拟合算法，算得图像中表面灰度不均匀的高精密靶球的轮廓中心所在的坐标值；方法的具体步骤如下：

第一步 基于中值滤波对图像进行去噪的预处理

由于由摄像机所拍摄的原始图像src包含噪声影响，为了提高后续轮廓提取与特征点集合获取的稳定性与鲁棒性，首先对原始图像src进行感兴趣球体区域选取，设定为src的感兴趣区域srcROI；然后对srcROI进行中值滤波，获得滤除噪声后的图像为medDst；

根据图像特征，设定二值化阈值thr，medDst图像中medDst(x,y)>thr的像素点的灰度值均赋值为255，其中medDst(x,y)表示medDst图像中坐标为(x,y)的像素点灰度值，medDst(x,y)<＝thr的像素点的灰度值则均赋值为0，获得二值化图像thrDst；

并且，由于现场环境下图像具有复杂背景，在图像thrDst中，检索所有连通区域轮廓并分别进行面积统计，并根据连通区域的面积大小进行快速排序，选取面积最大的连通区域轮廓，即高精密靶球在图像thrDst中的轮廓，以单独留下高精密靶球轮廓点集，利用一个动态序列max Area储存轮廓点集；

第二步 基于快速排序算法进行有效拟合点集合的筛选

对所获得的轮廓点集合max Area进行筛选，选取可用于椭圆拟合的有效拟合点集，具体步骤如下：

1)从轮廓点集序列max Area的各个分区中选取出序号为n的首序号，首次操作时n＝0，且整个序列为一个分区的点坐标max Area[n]，它表示轮廓点集中序号为n的轮廓点，其纵坐标y_n作为基准数y₀，将该点max Area[n]作为基准点；

2)向后检索max Area[n+1]，若max Area[n+1]的纵坐标y大于基准数y₀的，则max Area[n+1]移动到基准点max Area[n]的右边，基准点max Area[n]向后移动一位，成为max Area[n+1]，而max Area[n+1]变为max Area[n]；

3)继续向后检索max Area[i]，i＝n+2,i＝n+3...,…重复2)步骤；完成针对首个基准数y₀的分区；此时y坐标值小于y₀的坐标点均分配到了y₀左边区域，y坐标值大于y₀的坐标点均分配到了y₀右边区域；

4)针对左边区域和右边区域分别重复进行1)、2)、3)步骤，直到各个分区只剩下一个点；至此，完成了针对max Area点序列y坐标值的从小到大的排序；取max Area序列中序号为0的第一边界特征点(x₀,y₀)为有效拟合点集的起始点，根据高精密靶球的特点，设定阈值h，将y₀+h以下的所有点从max Area中剔除，即以[y₀,y₀+h]区间内的所有点作为用于拟合椭圆的有效拟合点集，形成一个新的圆弧状点序列称为seq；

第三步 靶球中心的计算

利用圆锥曲线方程将高精密靶球的轮廓表示为斜椭圆形式，如下式所示：

Ax²+Bxy+Cy²+Dx+Ey+F＝0 (1)

其中，A,B,C,D,E,F为椭圆曲线的常量参数，x,y分别是椭圆曲线上一点的横坐标和纵坐标；

常量参数约束条件设为A+C＝1；应用上述方程对边缘检测后的离散点进行最小二乘处理，得到方程中各常量参数；求目标函数：

<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>A</mi> <mo>,</mo> <mi>B</mi> <mo>,</mo> <mi>C</mi> <mo>,</mo> <mi>D</mi> <mo>,</mo> <mi>E</mi> <mo>,</mo> <mi>F</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>n</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msup> <mrow> <mo>(</mo> <msubsup> <mi>Ax</mi> <mi>i</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>Bx</mi> <mi>i</mi> </msub> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>+</mo> <msubsup> <mi>Cy</mi> <mi>i</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>Dx</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>Ey</mi> <mi>i</mi> </msub> <mo>+</mo> <mi>F</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

的最小值来确定各系数；其中，x_i,y_i分别是seq中存储的序号为i的有效拟合点的横纵坐标，n为seq存储点的总数；再由极值原理，使得(A,B,C,D,E,F)的值为最小，则有：

由此将seq中存储的有效拟合点的坐标分别带入公式(3)中，可得一个线性方程组,然后应用主元高斯消去法，结合约束条件,即求得了方程系数A,B,C,D,E,F的值，将该方程所表示的椭圆视为高精密靶球在图像中的完整轮廓；

其中椭圆轮廓中心(x_c,y_c)由公式(4)求出：

<mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>c</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>B</mi> <mi>E</mi> <mo>-</mo> <mn>2</mn> <mi>C</mi> <mi>D</mi> </mrow> <mrow> <mn>4</mn> <mi>A</mi> <mi>C</mi> <mo>-</mo> <msup> <mi>B</mi> <mn>2</mn> </msup> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>c</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>B</mi> <mi>D</mi> <mo>-</mo> <mn>2</mn> <mi>A</mi> <mi>E</mi> </mrow> <mrow> <mn>4</mn> <mi>A</mi> <mi>C</mi> <mo>-</mo> <msup> <mi>B</mi> <mn>2</mn> </msup> </mrow> </mfrac> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

该椭圆的中心点(x_c,y_c)即被认为图像中高精密靶球中心。