CN105335988B - 一种基于分层处理的亚像素中心提取方法 - Google Patents

Abstract

本发明一种基于分层处理的亚像素中心提取方法属于计算机视觉测量技术领域，涉及一种基于分层处理的亚像素中心提取方法。该方法采用分层处理，通过在不同分辨率图像中提取光条的特征信息，实现特征光条的高精度的亚像素中心提取。该方法首先通过对原图像的压缩，将高分辨率图像压缩为低分辨率图像，针对低分辨率图像提取光条的法向量；然后在高分辨率图像中，采用差分的方式计算高分辨率图像中光条的法向量。最后在光条法向量上采用灰度重心法计算光条中心，实现光条的亚像素中心的提取，并通过标准光条的重建验证了该提取方法的有效性。该方法测量精度高，运算速度快，计算时间短，实现了光条的亚像素提取，可满足光条中心的高精度快速提取。

Description

一种基于分层处理的亚像素中心提取方法

技术领域

本发明属于计算机视觉测量技术领域，涉及一种基于分层处理的亚像素中心提取方法。

背景技术

大型零构件制造和装配精度是飞机、汽车等重大装备质量和性能的重要保障，因此高精度三维测量在制造装配过程中至关重要。基于辅助激光的视觉测量具有非接触性、大信息、测量速度快等优势，已广泛运用在大型零件测量中。是通过双目相机实时采集由激光器投射在被测物表面的激光扫描信息，基于双目立体视觉理论实现激光特征信息的重建，进而实现被测物表面形面测量。其中光条中心的提取是保证测量精度的重要环节，但是目前像素级的提取已经不能满足测量精度的要求；而高精度的光条的中心提取需要耗费较多的时间，不能满足快速测量的要求。如何实现光条中心的快速高精度的亚像素提取是目前需重要解决的问题。

C.Steger发表的期刊《An unbiased detector of curvilinear structures》(C.Steger,An unbiased detector of curvilinear structures[J],Pattern Analysisand Machine Intelligence,IEEE Transactions on，1998，20(2),113-125.)提出了Hessian矩阵得到图像中条纹的法线方向，通过法线方向求极值点得到光条纹中心的亚像素位置，该刚发具有精度高、稳健性好等优点，但运算量大，难以实现快速提取光条中心。魏振忠等人发明的“一种结构光光条中心的提取方法”,专利号CN101504770。该发明通过光条中心点与所述光条中心点处法线方向之间的多次迭代,获取结构光光条中心；对所述获取的结构光光条中心进行平滑操作,提取最终的结构光光条中心，该方法测量精度高可以去除冗余的计算步骤，但是计算时间较长无法满足现场快速测量要求。

发明内容

本发明要解决的技术难题是针对难以实现光条中心的快速高精度的亚像素提取问题，发明了一种基于分层处理的亚像素中心提取方法。该方法采用分层处理，通过在低分辨率图像中计算光条中心法向量，在高分辨率图像高精度提取光条中的亚像素，在光条法向量上采用灰度重心法计算光条中心，实现光条的亚像素中心的提取；提高提取效率，实现快速高精度的光条中心提取。

本发明采用的技术方案是一种基于分层处理的亚像素中心提取方法，其特征是，该方法采用分层处理，通过在不同分辨率图像中提取光条的特征信息，实现特征光条的高精度的亚像素中心提取；该方法首先通过对原图像的压缩，将高分辨率图像压缩为低分辨率图像，针对低分辨率图像提取光条的法向量；然后在高分辨率图像中，采用差分的方式计算高分辨率图像中光条的法向量；最后在光条法向量上采用灰度重心法计算光条中心，实现光条的亚像素中心的提取，并通过标准光条的重建验证了该提取方法的有效性；方法具体步骤如下：第一步低分辨图像中的光条法向量提取

1)低分辨率图像压缩方法

对于双目相机采集的特征光条图像，其分辨率为m×n，按照压缩比例因子τ定义τ为4的整数倍，即τ＝4s(s＝1,2,3...)，将图像进行压缩，即将图像中τ×τ个像素进行灰度的累加，然后求平均灰度，压缩为一个像素；其计算准则如下：

其中，I^c _i,j为压缩图像的第i行、j列的像素灰度值，I_{τ(i-1)+δ,τ(j-1)+σ}为在高分辨图像中第τ(i-1)+δ行、τ(j-1)+σ列的像素灰度值，σ和δ分别是计算系数，m和n分别是高分辨率图像的行列数；

2)低分辨率图像中的光条中心提取

将低分辨率图像进行滤波处理，然后采用Sobel边缘检测算子提取光条边界，计算方法如下：

其中，g(i,j)为图像坐标为(i,j)的Sobel边缘检测算子，d_x和d_y分别为计算的卷积模板。

根据所提取的光条边界图像，搜寻低分辨率图像中光条在每行中的光条边界，采用几何中心法计算光条的中心坐标：

其中，分别为图像第i行左、右边界像素坐标；当像素坐标为非整数时，对像素坐标进行求整，其几何中心的像素坐标为

3)低分辨率图像中光条中心法矢量的计算

选取光条几何中心的前后w行的中心进行曲线拟合，每次拟合的点数至少为四个点，其选取的光条几何中心数列为：

{P_k|k＝i-w,i-w+1,...,i-1,i,i+1,...,i+w-1,i+w；k≥1；w≥3} (4)

其中i为低分辨率图像的行数。因为局部曲线较小，采用二次曲线进行拟合，其拟合公式为：

f_i(x)＝a_ix²+b_ix+c_i (5)

其中，a_i、b_i、c_i分别为第i行中心拟合曲线的拟合系数，根据拟合曲线通过偏导数的求解，计算第i行中心的法向量

其中，为f_i(x)在x＝v_i位置时的相对于x的偏导数，即为该点的法向量，根据法向量求解公式计算出在低分辨率图像中的每个几何中心的法相方向；

第二步高分辨率图像中的光条中心亚像素提取

1)光条中心粗定位

对高分辨图像进行滤波处理，按照低分辨率图像中边界提取算法，即公式(1)提取高分辨率中的光条边界，根据第二步中几何中心的计算方法，在光条宽度上计算光条第i行的几何中心，其计算公式如下：

其中，分别为图像第i行左、右边界像素坐标；当像素坐标为非整数时，对像素坐标进行求整，其几何中心的像素坐标为

2)高分辨图像中的法矢量计算

将低分辨率图像求解的光条中心的法向量还原到高分辨图像的光条中，低分辨率图像的一行像素代表高分辨率图像的τ行像素，定义低分辨率中每行中心的光条法向量为高分辨率图像中τ/2行光条的法向量，即

其中q_{τ(i-1)+(τ+1)/2}为在高分辨图像中τ(i-1)+(τ+1)/2行位置的法向量，根据前后两个光条法向量，通过差值计算高分辨率图像中中间行的法向量，计算公式如下：

3)灰度重心法精提取光条中心

沿每行光条中心的法向量搜索光条，在光条法向宽度上计算光条的灰度重心，计算方法如下：

其中，(u_e,v_e)为第e个光条灰度重心坐标，I_ij为第i行第j列灰度值；

第三步光条提取精度的验证

通过重建光条信息，计算标准圆柱件的重建精度验证光条的提取精度；首先基于极限约束对左右高分辨图像提取的灰度重心进行匹配，计算方法如下：

其中，x_e'＝(u_e,v_e)为左相机的灰度重心坐标；x_e′′＝(u_e',v_e')为与x_e'相匹配右图像重心坐标；F为通过八点法计算的两相机之间的基本矩阵；若左右图像中两点满公式(11)，则左右图像中的重心点为匹配点；将左右图像匹配上的中间点进行三维重建，通过三维重建点拟合标准圆柱件直径R_f，计算拟合直径R_f与标准直径R径评价重建精度η，计算公式如下：

从而验证了该提取方法的有效性。

本发明的有益效果是提取方法首先通过对原图像的压缩，针对低分辨率图像提取光条的法向量；然后在高分辨率图像中，采用差分的方式计算高分辨率图像中光条的法向量；最后在光条法向量上采用灰度重心法计算光条中心，实现光条的亚像素中心的提取。该方法测量精度高，运算速度快，计算时间短，实现了光条的亚像素提取，可满足光条中心的高精度快速提取。

附图说明

图1为高分辨率光条图像的示意图。其中，1-高分辨图像，2-原始光条。

图2为压缩后的低分辨率图像，其中，3-低分辨率图像，4-压缩后光条， 分别是压缩后的低分辨率图像中第1、2、3行的法向量。

图3为基于分层处理的亚像素中心提取流程图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

实施例中，本发明采用分别配置广角镜头的两个摄像机拍摄一幅光条图像。摄像机型号为viewworks VC-12MC-M/C 65摄像机，分辨率：4096×3072，图像传感器：CMOS，帧率：全画幅，最高64.3fps，重量：420g。广角镜头型号为EF16-35mmf/2.8LIIUSM，参数如下所示，镜头焦距：f＝16-35，APS焦距：25.5-52.5，光圈：F2.8，镜头尺寸：82×106。拍摄条件如下：图片像素为4096×3072，镜头焦距为17mm，物距为750mm，视场约为720mm×1300mm。被测标准物体为半径为600mm，长1200mm的标准圆柱体。首先，调整激光器位置使光条投射到标准圆柱体，调整相机焦距采集清晰光条图像。

提取方法基于分层处理，通过在不同分辨率图像中提取光条的特征信息，实现特征光条的高精度的亚像素中心提取；该方法首先通过对原图像的压缩，将高分辨率图像压缩为低分辨率图像，针对低分辨率图像提取光条的法向量；然后在高分辨率图像中，采用差分的方式计算高分辨率图像中光条的法向量；最后在光条法向量上采用灰度重心法计算光条中心，实现光条的亚像素中心的提取，并通过标准光条的重建验证了该提取方法的有效性。

附图3为基于分层处理的亚像素中心提取流程图，整个提取过程分为低分辨率图像压缩、低分辨率图像光条中心提取、低分辨图像光条法矢量计算、高分辨率法矢量差值计算等几个主要步骤。根据低分辨率图像提取法矢量方向，通过差分计算获得高分辨率图像的法矢量，采用灰度重心法获得光条中心，最终完成光条中心的亚像素提取。提取方法的具体步骤如下：

第一步低分辨图像中的光条法向量提取

1)低分辨率图像压缩方法

对于双目相机采集的特征光条图像，按照压缩比例因子4将图像进行压缩，根据公式(1)获得压缩后的图像，如附图2中3所示；

2)低分辨率图像中的光条中心提取

将低分辨率图像进行滤波处理，然后采用Sobel边缘检测算子提取光条边界，根据公式(2)获得图像边界；

3)低分辨率图像中光条中心法矢量的计算

选取光条几何中心的前后4行的中心进行曲线拟合，利用公式(5)拟合光条曲线计算光条法向量，如附图2所示，分别是压缩后的低分辨率图像中第1、2、3行的法向量；

第二步高分辨率图像中的光条中心亚像素提取

1)光条中心粗定位

图1为高分辨率光条图像的示意图，对高分辨图像进行滤波处理，按照低分辨率图像中边界提取算法，即公式(1)提取高分辨率中的光条边界，根据第二步中几何中心的计算方法，在光条宽度上按照公式(7)计算光条的几何中心，当像素坐标为非整数时，对像素坐标进行求整；

2)高分辨图像中的法矢量计算

将低分辨率图像求解的光条中心的法向量还原到高分辨图像的光条中，低分辨率图像的一行像素代表高分辨率图像的4行像素，根据前后相邻的法矢量，采用差分算法，基于公式(8)和公式(9)计算高分辨图像中几何中心的法向量；

3)灰度重心法精提取光条中心

沿每行光条中心的法向量搜索光条，在光条法向宽度上计算光条的灰度重心；

第三步光条提取精度的验证

通过重建光条信息，计算标准圆柱件的重建精度验证光条的提取精度；首先基于极限约束对左右高分辨图像提取的灰度重心进行匹配，通过公式(11)判断左右图像的匹配点；将左右图像匹配上的中间点进行三维重建，通过三维重建点拟合标准圆柱件直径，计算拟合直径602mm与标准直径600m评价重建精度，根据公式(12)重建精度为0.33％，相对于光条像素级提取算法，精度提高了74.5％，验证了该提取方法的有效性。

本发明首先通过对原图像的压缩，针对低分辨率图像提取光条的法向量；然后在高分辨率图像中，采用差分的方式计算高分辨率图像中光条的法向量；最后在光条法向量上采用灰度重心法计算光条中心，实现光条的亚像素中心的提取。该方法测量精度高，运算速度快，实现了光条的亚像素提取，可满足光条中心的高精度快速提取。

Claims (1)

1.一种基于分层处理的亚像素中心提取方法，其特征是，该方法采用分层处理，通过在不同分辨率图像中提取光条的特征信息，实现特征光条的高精度的亚像素中心提取；首先通过对原图像的压缩，将高分辨率图像压缩为低分辨率图像，针对低分辨率图像提取光条的法向量；再在高分辨率图像中，采用差分的方式计算高分辨率图像中光条的法向量；最后，在光条法向量上采用灰度重心法计算光条中心，实现光条的亚像素中心的提取，并通过标准光条的重建验证了该提取方法的有效性；方法具体步骤如下：

第一步 低分辨图像中的光条法向量提取

1)低分辨率图像压缩方法

对于双目相机采集的特征光条图像，其分辨率为m×n，按照压缩比例因子τ， 定义τ为4的整数倍，即τ＝4s，其中s为正整数，将图像进行压缩，即将图像中τ×τ个像素进行灰度的累加，然后求平均灰度，压缩为一个像素；其计算准则如下：

其中，I^c _i,j为压缩图像的第i行、j列的像素灰度值，I_{τ(i-1)+δ,τ(j-1)+σ}为在高分辨图像中第τ(i-1)+δ行、τ(j-1)+σ列的像素灰度值，σ和δ分别是计算系数，m和n分别是高分辨率图像的行列数；

2)低分辨率图像中的光条中心提取

将低分辨率图像进行滤波处理，然后采用Sobel边缘检测算子提取光条边界，计算方法如下：

其中，g(i,j)为图像坐标为(i,j)的Sobel边缘检测算子，d_x和d_y分别为计算的卷积模板；

根据所提取的光条边界图像，搜寻低分辨率图像中光条在每行中的光条边界，采用几何中心法计算光条的中心坐标：

其中，分别为图像第i行左、右边界像素坐标；当像素坐标为非整数时，对像素坐标进行求整，其几何中心的像素坐标为

3)低分辨率图像中光条中心法矢量的计算

选取光条几何中心的前后w行的中心进行曲线拟合，每次拟合的点数至少为四个点，其选取的光条几何中心数列为：

{P_k|k＝i-w,i-w+1,…,i-1,i,i+1,…,i+w-1,i+w；k≥1；w≥3} (4)

其中i为低分辨率图像的行数；因为局部曲线较小，采用二次曲线进行拟合，其拟合公式为：

f_i(x)＝a_ix²+b_ix+c_i (5)

其中，a_i、b_i、c_i分别为第i行中心拟合曲线的拟合系数，根据拟合曲线通过偏导数的求解，计算第i行中心的法向量

其中，为f_i(x)在位置时的相对于x的偏导数，即为该点的法向量，

根据法向量求解公式计算出在低分辨率图像中的每个几何中心的法向方向；

第二步高分辨率图像中的光条中心亚像素提取

1)光条中心粗定位

对高分辨图像进行滤波处理，按照低分辨率图像中边界提取算法，即公式(1)提取高分辨率中的光条边界，根据第二步中几何中心的计算方法，在光条宽度上计算光条第i行的几何中心，其计算公式如下：

其中，分别为图像第i行左、右边界像素坐标；当像素坐标为非整数时，对像素坐标进行求整，其几何中心的像素坐标为

2)高分辨图像中的法矢量计算

将低分辨率图像求解的光条中心的法向量还原到高分辨图像的光条中，低分辨率图像的一行像素代表高分辨率图像的τ行像素，定义低分辨率中每行中心的光条法向量为高分辨率图像中τ/2行光条的法向量，即

其中q_{τ(i-1)+(τ+1)/2}为在高分辨图像中τ(i-1)+(τ+1)/2行位置的法向量，根据前后两个光条法向量，通过差值计算高分辨率图像中中间行的法向量，计算公式如下：

3)灰度重心法精提取光条中心

沿每行光条中心的法向量搜索光条，在光条法向宽度上计算光条的灰度重心，计算方法如下：

其中，为第e个光条灰度第λ行重心坐标，为第e个光条第λ行第o列灰度值，

第三步 光条提取精度的验证

通过重建光条信息，计算标准圆柱件的重建精度验证光条的提取精度；首先基于极限约束对左右高分辨图像提取的灰度重心进行匹配，计算方法如下：

其中，x_e'＝(u_e',v_e')为左相机的灰度重心坐标；x_e′′＝(u_e′′,v_e′′)为与x_e'相匹配右图像重心坐标；F为通过八点法计算的两相机之间的基本矩阵；若左右图像中两点满足公式(11)，则左右图像中的重心点为匹配点；将左右图像匹配上的中间点进行三维重建，通过三维重建点拟合标准圆柱件直径R_f，计算拟合直径R_f与标准直径R评价重建精度η，计算公式如下：

从而验证了该提取方法的有效性。