CN111508022B - 一种基于随机采样一致性的线激光条纹定位方法 - Google Patents

Abstract

本发明公开了一种基于随机采样一致性的线激光条纹定位方法，属于工业机器视觉领域，包括如下步骤：首先对工业相机采集的线激光图片进行二值化处理，利用张氏骨架提取法对图片进行骨架提取，得到线激光直线的数据；对数据构建距离二叉树，随机一个像素点找到其附近一定数目的点数构建子数据集，对子数据集进行随机采样一致性拟合，对拟合结果进行内点阈值Th₁判断，再将得到的直线在全局数据点内进行内点阈值Th₂判断，对初步得到的直线分类再进行随机采样一致性拟合得到最终的直线分类结果进而实现线激光的定位。本发明方法考虑了实际采集图像中存在激光条纹数据缺失、断裂、过曝和杂光干扰等异常情况，适用于一般工业环境中的线激光定位检测，降低保守性。

Description

一种基于随机采样一致性的线激光条纹定位方法

技术领域

本发明属于工业机器视觉领域，涉及一种基于随机采样一致性的线激光条纹定位方法。

背景技术

近年来，机器视觉技术逐渐应用到工业生产中，带来了巨大的经济效益。在焊接，抓取，喷涂等行业中，通过视觉技术对物体实现三维测量和定位是目前的研究热点。线结构光三维测量由于其成本低、体积小、质量轻、方便灵活等特点,在三维视觉测量与检测中获得了广泛应用。线结构光三维测量技术是以线激光为结构光源，通过对激光条纹照射在待测物体上的形变图像进行分析，解算出需要的三维定位信息。

线激光在焊缝定位中的条纹图像一般由多条直线构成，准确快速的提取出激光条纹图像中的直线参数对焊缝定位的精度和效率意义重大。激光条纹具有一定的宽度，在实际的工业生产环境中又存在杂光、漫反射等多种干扰因素，影响条纹图像的成像质量，对条纹直线参数的精确提取造成困难。

发明内容

针对上述现有技术中存在的问题，本发明提供了一种基于随机采样一致性的线激光条纹定位方法。考虑到工业生产环境下采集的条纹图像可能出现的缺失、断裂、过曝和杂光干扰等异常情况，设计了基于随机采样一致性(Random Sample Consensus,RANSAC)的激光条纹直线分类提取算法，使提取出的直线数据能准确还原图像中的条纹直线信息，对各种干扰有较好的抑制作用，从而实现对激光条纹的定位。

本发明的技术方案：

一种基于随机采样一致性的线激光条纹定位方法，包括以下步骤：

步骤(1)对激光条纹图像进行形态学滤波，二值化分割等预处理操作，对预处理后的图像利用张氏骨架提取法进行骨架提取，获取所有骨架的像素点坐标，建立数据集DATA1并对数据集DATA1构造距离二叉树，拷贝数据集DATA1得到数据集DATA1_copy；

其中：数据集DATA1是骨架提取出的所有像素点坐标的二维数据集合表示。

步骤(2)随机选取数据集DATA1内的一个像素点，搜索离它最近的n(n>100)个的数据点，建立数据集DATA2；

其中：数据集DATA2是随机像素点邻域内所有像素点的二维数据集合表示。

步骤(3)根据随机采样一致性原理，在数据集DATA2内随机采样i(i>100)次，每次采样k(k>2)个点，拟合直线l_i，计算数据集DATA2中各坐标点到直线l_i的距离d，将距离d小于阈值Th_d的点判断为直线l_i的内点，统计为内点数N_i；

其中：第i次采样拟合出的直线方程l_i的一般形式为，Ax+By+C＝0，A，B和C是拟合出的直线方程参数；x为像素点的横坐标，y为像素点的纵坐标。对于数据集DATA2的任一点(x₀,y₀)，其到直线的距离d表示为

阈值Th_d用来表征数据集DATA2中的所有点相对于直线l_i的偏离度，其参数设定依据激光线宽决定，一般可取1～2个像素宽度；N_i是第i采样拟合过程中，数据集DATA2中所有满足距离阈值Th_d的所有点的集合表示。

步骤(4)选择内点数N_i最多的直线l_m，如果其内点数N_m小于阈值Th₁，则返回步骤(2)操作；如果内点数N_m大于阈值Th₁，则计算直线l_m在数据集DATA1_copy中的内点数N_{m_copy}，如果内点数N_{m_copy}大于阈值Th₂，则将内点数N_{m_copy}存入新的数据集DATA_m中，并将直线l_m的内点从数据集DATA1中删除，更新数据集DATA1；否则直接转步骤(2)操作；

其中：阈值Th₁用来衡量筛选出的直线l_m在邻域点内是否为一条合理的直线，是对筛选出的直线l_m的内点数目N_m的约束，其设定可取步骤(2)中搜索最近点数目的一半；N_{m_copy}是直线l_m在全局像素点集DATA1_copy中的内点集合；阈值Th₂用来衡量筛选出的直线l_m在数据集DATA1_copy内是否为一条合理的直线，本实验设定的取值为数据集DATA1_copy点数的一半。

步骤(5)当步骤(4)中更新后数据集DATA1中的点数量小于阈值Th_{_Num}时，表明此时所有的骨架点已经分类为各条直线的内点数据DATA_m和无效点数据DATA1，停止循环。根据内点数据DATA_m利用最小二乘拟合出各直线后再以IGGⅢ加权最小二乘回归的方法优化拟合各条直线参数，从而实现激光条纹参数的定位提取；

其中：Th_{_Num}是一个终止阈值，即当数据集DATA1中的点数目小于一定点数时，认为直线分类的所有可能均已被查找完毕，考虑到噪点干扰，阈值Th_{_Num}的设定可设为20个点；DATA_m保存的是所有直线分类所对应的内点；IGGⅢ是权值分配函数，分配每一个点的权值w_i，对于每一类直线其内点的权值具体分配如下：

式中，k₀和k₁为调和系数，k₀通常取1.0～1.5，k₁通常取2.5～3.0；u_i是距离比值系数，u_i＝d_i/σ，d_i为点(x_i,y_i)到直线的距离，

A_ls，B_ls和C_ls是最小二乘拟合出的直线方程参数，σ为距离均方根，

本发明考虑到工业环境中采集到的线激光条纹图像可能会受到各种干扰的情况，先通过张氏骨架提取方法提取出有宽度的激光条纹图像上的骨架像素点，再根据随机采样一致性原理，提取的像素点分类为各条直线上的像素点数据以及无效噪声点数据，最后通过随机采样一致性拟合出各条直线的参数，实现激光条纹的精确定位。相比传统方法效率更高，对噪声的容错性更好，能够明确辨识出激光条纹图像上不同直线的数据和噪声数据。

附图说明

图1是一种基于随机采样的线激光条纹定位方法流程图；

图2是目标像素点P₁(i,j)周围8邻域像素点示意图；

图3是含断裂数据的原始图；

图4是含断裂数据的骨架提取二值图；

图5是含断裂数据的直线分类结果图；

图6是含过曝数据和杂光干扰的原始图；

图7是含过曝数据和杂光干扰的骨架提取二值图；

图8是含过曝数据和杂光干扰的直线分类结果图；

图9是含缺失数据的原始图；

图10是含缺失数据的骨架提取二值图；

图11是含缺失数据的直线分类结果图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

如图1所示，一种基于随机采样的线激光条纹定位方法流程图，包括以下步骤：

步骤(1)对激光条纹图像进行形态学滤波，二值化分割等预处理操作，对预处理后的图像利用张氏骨架提取法进行骨架提取，获取所有骨架的像素点坐标，建立数据集DATA1并对数据集DATA1构造距离二叉树，拷贝数据集DATA1得到数据集DATA1_copy；

步骤(2)随机选取数据集DATA1内的一个像素点，搜索离它最近的n(n>100)个的数据点，建立数据集DATA2；

步骤(3)根据随机采样一致性原理，在数据集DATA2内随机采样i(i>100)次，每次采样k(k>2)个点，拟合直线l_i，计算数据集DATA2中各坐标点到直线l_i的距离d，将距离d小于阈值Th_d的点判断为直线l_i的内点，统计为内点数N_i；

所述拟合直线l_i，计算数据集DATA2中各坐标点到直线l_i的距离d，将距离d小于阈值Th_d的点判断为l_i的内点，统计内点数N_i，具体为：第i次采样拟合出的直线方程l_i的一般形式为：Ax+By+C＝0，其中A，B和C是拟合出的直线方程参数；x为像素点的横坐标，y为像素点的纵坐标；对于数据集DATA2的任一点(x₀,y₀)，其到直线的距离d表示为

阈值Th_d用来表征数据集DATA2中的所有点相对于直线l_i的偏离度；N_i是第i采样拟合过程中，数据集DATA2中所有满足距离阈值Th_d的所有点的集合表示。

步骤(4)选择内点数N_i最多的直线l_m，如果其内点数N_m小于阈值Th₁，则返回步骤(2)操作；如果内点数N_m大于阈值Th₁，则计算直线l_m在数据集DATA1_copy中的内点数N_{m_copy}，如果内点数N_{m_copy}大于阈值Th₂，则将内点数N_{m_copy}存入新的数据集DATA_m中，并将直线l_m的内点从数据集DATA1中删除，更新数据集DATA1；否则直接转步骤(2)操作；

所述阈值Th₁用来衡量筛选出的直线l_m在邻域点内是否为一条合理的直线，是对筛选出的直线l_m的内点数目N_m的约束，其设定可取步骤(2)中搜索最近点数目的一半；内点数N_{m_copy}是直线l_m在全局像素点数据集DATA1_copy中的内点集合；阈值Th₂用来衡量筛选出的直线l_m在数据集DATA1_copy内是否为一条合理的直线，本实验设定的取值为数据集DATA1_copy点数的一半。

步骤(5)当步骤4)中更新后数据集DATA1中的点数量小于阈值Th_{_Num}时，表明此时所有的骨架点已经分类为各条直线的内点数据DATA_m和无效点数据DATA1，停止循环。根据内点数据DATA_m利用最小二乘拟合出各直线后再以IGGⅢ加权最小二乘回归的方法优化拟合各条直线参数，从而实现激光条纹参数的定位提取。

所述阈值Th_{_Num}是一个终止阈值，即当数据集DATA1中的点数目小于一定点数时，认为直线分类的所有可能均已被查找完毕，阈值Th_{_Num}的设定可设为20个点；所述内点数据DATA_m保存的是所有直线分类所对应的内点；所述IGGⅢ是权值分配函数，分配每一个点的权值w_i，对于每一类直线其内点的权值具体分配如下式所示：

其中，u_i是距离比值系数，u_i＝d_i/σ；k₀和k₁为调和系数，k₀通常取1.0～1.5，k₁通常取2.5～3.0，d_i为点(x_i,y_i)到直线的距离，公示为：

其中，A_ls，B_ls和C_ls是最小二乘拟合出的直线方程参数，σ为距离均方根，公式为：

作为本发明的进一步说明：

步骤(1)中对预处理后的图片进行二值化，具体为根据激光相机采集的图片类型决定是否需要对图片进行灰度阈值化，再将图片转化成二值图像，即所有的像素点非0即1，黑色为0，白色为1。如图3所示是激光相机采集含断裂数据的原始图，如图6所示是含过曝数据和杂光干扰的原始图，如图9所示含缺失数据的原始图。

骨架提取，获取目标处理数据具体为：利用张氏骨架提取法对二值图像进行骨架提取，对于二值图像的第i行和第j列的像素点P₁(i,j)，搜索其周围8邻域像素点，如图2所示是目标像素点P₁(i,j)周围8邻域像素点示意图，其对应的序号分别记为P₂(i-1,j)，P₃(i-1,j+1)，P₄(i,j+1)，P₅(i+1,j+1)，P₆(i+1,j)，P₇(i+1,j-1)，P₈(i,j-1)，P₉(i-1,j-1)一共8个像素点，判断是否满足下列4个条件：

①2≤B(P₁)≤6

②A(P₁)＝1

③P₂*P₄*P₆＝0

④P₄*P₆*P₈＝0

其中，条件①是中心像素P₁周围的目标像素(二值中的1)的个数之和在2和6之间；条件②是中心像素周围的8邻域像素中，按顺时针方向，相邻两个像素出现0到1变化的次数；条件③和④是对应序号像素的像素值的乘积为0，条件③对应于偶次迭代次数，条件④对应于奇次迭代次数。对于③和④也有另一种等价模式如下：

⑤P₂*P₄*P₈＝0

⑥P₂*P₆*P₈＝0

如果当前像素点满足上述所示的四个条件，则删除当前像素点，遍历所有点，直到没有点可删除，遍历结束，骨架提取完毕。如图4所示是对含断裂数据的骨架提取结果；如图7所示是对含过曝数据和杂光干扰的骨架提取结果；如图10所示是对含缺失数据的骨架提取结果。

步骤(2)—(4)为初步直线分类，具体如下：

对提取出来的目标处理数据DATA1构建KD树，在对数据集DATA1只进行拷贝一次得到DATA1_copy用于后续计算直线在全局数据下的内点数。

在DATA1中随机生成一个点P,搜索离P点最近的一定数目的点(>100)，对于搜索出来的最近点进行随机采样直线拟合，每一次采样点数选取3个点，最大迭代次数设为200次，对每一次拟合得到的直线统计其内点，内点判断的依据是点到直线的距离d是否小于距离阈值Th_d，如果小于则认为该点是一个内点，否则认为是一个外点，提取出内点最多的直线方程l_m，其对应的内点数目为N_m，对内点数目进行判断，若内点数N_m小于阈值Th₁，则返回重新随机生成一个点，重复上述操作，否则对直线l_m在数据集DATA1_copy里计算其内点数目N_{m_copy}，并再进行一次内点阈值判断，若N_{m_copy}小于阈值Th₂，则重新生成一个随机点，重复开始步骤，否则在数据集DATA1删除掉含有直线l_m的内点，更新DATA1，并判断DATA1的点数是否小于Th_Num，若成立，则表明数据集里的直线划分完毕，否则重新对DATA1进行构建KD树，重复开始操作，直到满足DATA1的点数小于Th_Num，停止搜索，得到初步分类直线的结果。

步骤(5)为最终直线分类，具体如下：

对初步分出来的直线，需要进一步拟合，利用最小二乘拟合出各直线后再以IGGⅢ加权最小二乘回归的方法优化拟合各条直线参数，即为最终的直线分类结果，从而实现对线激光条纹的定位。如图5所示是含断裂数据的直线分类结果；如图8所示是含过曝数据和杂光干扰的直线分类结果；如图11所示是含缺失数据的直线分类结果。

Claims (4)

1.一种基于随机采样一致性的线激光条纹定位方法，其特征在于，包括以下步骤：

1)对激光条纹图像进行形态学滤波，二值化分割预处理操作，对预处理后的图像利用张氏骨架提取法进行骨架提取，获取所有骨架的像素点坐标，建立数据集DATA1并对数据集DATA1构造距离二叉树，拷贝数据集DATA1得到数据集DATA1_copy；

2)随机选取数据集DATA1内的一个像素点，搜索离它最近的n(n＞100)个的数据点，建立数据集DATA2；

3)根据随机采样一致性原理，在数据集DATA2内随机采样i(i＞100)次，每次采样k(k＞2)个点，拟合直线l_i，计算数据集DATA2中各坐标点到直线l_i的距离d，将距离d小于阈值Th_d的点判断为直线l_i的内点，统计为内点数N_i；

4)选择内点数N_i最多的直线l_m，如果其内点数N_m小于阈值Th₁，则返回步骤2)操作；如果内点数N_m大于阈值Th₁，则计算直线l_m在数据集DATA1_copy中的内点数N_{m_copy}，如果内点数N_{m_copy}大于阈值Th₂，则将内点数N_{m_copy}存入新的数据集DATA_m中，并将直线l_m的内点从数据集DATA1中删除，更新数据集DATA1；否则直接转步骤2)操作；

5)当步骤4)中更新后数据集DATA1中的点数量小于阈值Th_{_Num}时，表明此时所有的骨架点已经分类为各条直线的内点数据DATA_m和无效点数据DATA1，停止循环；根据内点数据DATA_m利用最小二乘拟合出各直线后再以IGGⅢ加权最小二乘回归的方法优化拟合各条直线参数，从而实现激光条纹参数的定位提取。

2.一种基于随机采样一致性的线激光条纹定位方法，其特征在于，步骤3)中所述拟合直线l_i，计算数据集DATA2中各坐标点到直线l_i的距离d，将距离d小于阈值Th_d的点判断为l_i的内点，统计内点数N_i，具体为：第i次采样拟合出的直线方程l_i的一般形式为：Ax+By+C＝0，其中A，B和C是拟合出的直线方程参数；x为像素点的横坐标，y为像素点的纵坐标；对于数据集DATA2的任一点(x₀,y₀)，其到直线的距离d表示为

阈值Th_d用来表征数据集DATA2中的所有点相对于直线l_i的偏离度；N_i是第i采样拟合过程中，数据集DATA2中所有满足距离阈值Th_d的所有点的集合表示。

3.一种基于随机采样一致性的线激光条纹定位方法，其特征在于，步骤4)中所述阈值Th₁用来衡量筛选出的直线l_m在邻域点内是否为一条合理的直线，是对筛选出的直线l_m的内点数目N_m的约束，其设定可取步骤2)中搜索最近点数目的一半；内点数N_{m_copy}是直线l_m在全局像素点数据集DATA1_copy中的内点集合；阈值Th₂用来衡量筛选出的直线l_m在数据集DATA1_copy内是否为一条合理的直线，本实验设定的取值为数据集DATA1_copy点数的一半。

4.一种基于随机采样一致性的线激光条纹定位方法，其特征在于，步骤5)中所述阈值Th_{_Num}是一个终止阈值，即当数据集DATA1中的点数目小于一定点数时，认为直线分类的所有可能均已被查找完毕，阈值Th_{_Num}的设定可设为20个点；所述内点数据DATA_m保存的是所有直线分类所对应的内点；所述IGGⅢ是权值分配函数，分配每一个点的权值w_i，对于每一类直线其内点的权值具体分配如下式所示：

其中，u_i是距离比值系数，u_i＝d_i/σ；k₀和k₁为调和系数，k₀通常取1.0～1.5，k₁通常取2.5～3.0，d_i为点(x_i,y_i)到直线的距离，公示为：

其中，A_ls，B_ls和C_ls是最小二乘拟合出的直线方程参数，σ为距离均方根，公式为：

Images