CN111508022B - 一种基于随机采样一致性的线激光条纹定位方法 - Google Patents
一种基于随机采样一致性的线激光条纹定位方法 Download PDFInfo
- Publication number
- CN111508022B CN111508022B CN202010304222.8A CN202010304222A CN111508022B CN 111508022 B CN111508022 B CN 111508022B CN 202010304222 A CN202010304222 A CN 202010304222A CN 111508022 B CN111508022 B CN 111508022B
- Authority
- CN
- China
- Prior art keywords
- straight line
- points
- point
- data
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于随机采样一致性的线激光条纹定位方法,属于工业机器视觉领域,包括如下步骤:首先对工业相机采集的线激光图片进行二值化处理,利用张氏骨架提取法对图片进行骨架提取,得到线激光直线的数据;对数据构建距离二叉树,随机一个像素点找到其附近一定数目的点数构建子数据集,对子数据集进行随机采样一致性拟合,对拟合结果进行内点阈值Th1判断,再将得到的直线在全局数据点内进行内点阈值Th2判断,对初步得到的直线分类再进行随机采样一致性拟合得到最终的直线分类结果进而实现线激光的定位。本发明方法考虑了实际采集图像中存在激光条纹数据缺失、断裂、过曝和杂光干扰等异常情况,适用于一般工业环境中的线激光定位检测,降低保守性。
Description
技术领域
本发明属于工业机器视觉领域,涉及一种基于随机采样一致性的线激光条纹定位方法。
背景技术
近年来,机器视觉技术逐渐应用到工业生产中,带来了巨大的经济效益。在焊接,抓取,喷涂等行业中,通过视觉技术对物体实现三维测量和定位是目前的研究热点。线结构光三维测量由于其成本低、体积小、质量轻、方便灵活等特点,在三维视觉测量与检测中获得了广泛应用。线结构光三维测量技术是以线激光为结构光源,通过对激光条纹照射在待测物体上的形变图像进行分析,解算出需要的三维定位信息。
线激光在焊缝定位中的条纹图像一般由多条直线构成,准确快速的提取出激光条纹图像中的直线参数对焊缝定位的精度和效率意义重大。激光条纹具有一定的宽度,在实际的工业生产环境中又存在杂光、漫反射等多种干扰因素,影响条纹图像的成像质量,对条纹直线参数的精确提取造成困难。
发明内容
针对上述现有技术中存在的问题,本发明提供了一种基于随机采样一致性的线激光条纹定位方法。考虑到工业生产环境下采集的条纹图像可能出现的缺失、断裂、过曝和杂光干扰等异常情况,设计了基于随机采样一致性(Random Sample Consensus,RANSAC)的激光条纹直线分类提取算法,使提取出的直线数据能准确还原图像中的条纹直线信息,对各种干扰有较好的抑制作用,从而实现对激光条纹的定位。
本发明的技术方案:
一种基于随机采样一致性的线激光条纹定位方法,包括以下步骤:
步骤(1)对激光条纹图像进行形态学滤波,二值化分割等预处理操作,对预处理后的图像利用张氏骨架提取法进行骨架提取,获取所有骨架的像素点坐标,建立数据集DATA1并对数据集DATA1构造距离二叉树,拷贝数据集DATA1得到数据集DATA1copy;
其中:数据集DATA1是骨架提取出的所有像素点坐标的二维数据集合表示。
步骤(2)随机选取数据集DATA1内的一个像素点,搜索离它最近的n(n>100)个的数据点,建立数据集DATA2;
其中:数据集DATA2是随机像素点邻域内所有像素点的二维数据集合表示。
步骤(3)根据随机采样一致性原理,在数据集DATA2内随机采样i(i>100)次,每次采样k(k>2)个点,拟合直线li,计算数据集DATA2中各坐标点到直线li的距离d,将距离d小于阈值Thd的点判断为直线li的内点,统计为内点数Ni;
其中:第i次采样拟合出的直线方程li的一般形式为,Ax+By+C=0,A,B和C是拟合出的直线方程参数;x为像素点的横坐标,y为像素点的纵坐标。对于数据集DATA2的任一点(x0,y0),其到直线的距离d表示为阈值Thd用来表征数据集DATA2中的所有点相对于直线li的偏离度,其参数设定依据激光线宽决定,一般可取1~2个像素宽度;Ni是第i采样拟合过程中,数据集DATA2中所有满足距离阈值Thd的所有点的集合表示。
步骤(4)选择内点数Ni最多的直线lm,如果其内点数Nm小于阈值Th1,则返回步骤(2)操作;如果内点数Nm大于阈值Th1,则计算直线lm在数据集DATA1copy中的内点数Nm_copy,如果内点数Nm_copy大于阈值Th2,则将内点数Nm_copy存入新的数据集DATAm中,并将直线lm的内点从数据集DATA1中删除,更新数据集DATA1;否则直接转步骤(2)操作;
其中:阈值Th1用来衡量筛选出的直线lm在邻域点内是否为一条合理的直线,是对筛选出的直线lm的内点数目Nm的约束,其设定可取步骤(2)中搜索最近点数目的一半;Nm_copy是直线lm在全局像素点集DATA1copy中的内点集合;阈值Th2用来衡量筛选出的直线lm在数据集DATA1copy内是否为一条合理的直线,本实验设定的取值为数据集DATA1copy点数的一半。
步骤(5)当步骤(4)中更新后数据集DATA1中的点数量小于阈值Th_Num时,表明此时所有的骨架点已经分类为各条直线的内点数据DATAm和无效点数据DATA1,停止循环。根据内点数据DATAm利用最小二乘拟合出各直线后再以IGGⅢ加权最小二乘回归的方法优化拟合各条直线参数,从而实现激光条纹参数的定位提取;
其中:Th_Num是一个终止阈值,即当数据集DATA1中的点数目小于一定点数时,认为直线分类的所有可能均已被查找完毕,考虑到噪点干扰,阈值Th_Num的设定可设为20个点;DATAm保存的是所有直线分类所对应的内点;IGGⅢ是权值分配函数,分配每一个点的权值wi,对于每一类直线其内点的权值具体分配如下:
式中,k0和k1为调和系数,k0通常取1.0~1.5,k1通常取2.5~3.0;ui是距离比值系数,ui=di/σ,di为点(xi,yi)到直线的距离,Als,Bls和Cls是最小二乘拟合出的直线方程参数,σ为距离均方根,
本发明考虑到工业环境中采集到的线激光条纹图像可能会受到各种干扰的情况,先通过张氏骨架提取方法提取出有宽度的激光条纹图像上的骨架像素点,再根据随机采样一致性原理,提取的像素点分类为各条直线上的像素点数据以及无效噪声点数据,最后通过随机采样一致性拟合出各条直线的参数,实现激光条纹的精确定位。相比传统方法效率更高,对噪声的容错性更好,能够明确辨识出激光条纹图像上不同直线的数据和噪声数据。
附图说明
图1是一种基于随机采样的线激光条纹定位方法流程图;
图2是目标像素点P1(i,j)周围8邻域像素点示意图;
图3是含断裂数据的原始图;
图4是含断裂数据的骨架提取二值图;
图5是含断裂数据的直线分类结果图;
图6是含过曝数据和杂光干扰的原始图;
图7是含过曝数据和杂光干扰的骨架提取二值图;
图8是含过曝数据和杂光干扰的直线分类结果图;
图9是含缺失数据的原始图;
图10是含缺失数据的骨架提取二值图;
图11是含缺失数据的直线分类结果图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
如图1所示,一种基于随机采样的线激光条纹定位方法流程图,包括以下步骤:
步骤(1)对激光条纹图像进行形态学滤波,二值化分割等预处理操作,对预处理后的图像利用张氏骨架提取法进行骨架提取,获取所有骨架的像素点坐标,建立数据集DATA1并对数据集DATA1构造距离二叉树,拷贝数据集DATA1得到数据集DATA1copy;
步骤(2)随机选取数据集DATA1内的一个像素点,搜索离它最近的n(n>100)个的数据点,建立数据集DATA2;
步骤(3)根据随机采样一致性原理,在数据集DATA2内随机采样i(i>100)次,每次采样k(k>2)个点,拟合直线li,计算数据集DATA2中各坐标点到直线li的距离d,将距离d小于阈值Thd的点判断为直线li的内点,统计为内点数Ni;
所述拟合直线li,计算数据集DATA2中各坐标点到直线li的距离d,将距离d小于阈值Thd的点判断为li的内点,统计内点数Ni,具体为:第i次采样拟合出的直线方程li的一般形式为:Ax+By+C=0,其中A,B和C是拟合出的直线方程参数;x为像素点的横坐标,y为像素点的纵坐标;对于数据集DATA2的任一点(x0,y0),其到直线的距离d表示为阈值Thd用来表征数据集DATA2中的所有点相对于直线li的偏离度;Ni是第i采样拟合过程中,数据集DATA2中所有满足距离阈值Thd的所有点的集合表示。
步骤(4)选择内点数Ni最多的直线lm,如果其内点数Nm小于阈值Th1,则返回步骤(2)操作;如果内点数Nm大于阈值Th1,则计算直线lm在数据集DATA1copy中的内点数Nm_copy,如果内点数Nm_copy大于阈值Th2,则将内点数Nm_copy存入新的数据集DATAm中,并将直线lm的内点从数据集DATA1中删除,更新数据集DATA1;否则直接转步骤(2)操作;
所述阈值Th1用来衡量筛选出的直线lm在邻域点内是否为一条合理的直线,是对筛选出的直线lm的内点数目Nm的约束,其设定可取步骤(2)中搜索最近点数目的一半;内点数Nm_copy是直线lm在全局像素点数据集DATA1copy中的内点集合;阈值Th2用来衡量筛选出的直线lm在数据集DATA1copy内是否为一条合理的直线,本实验设定的取值为数据集DATA1copy点数的一半。
步骤(5)当步骤4)中更新后数据集DATA1中的点数量小于阈值Th_Num时,表明此时所有的骨架点已经分类为各条直线的内点数据DATAm和无效点数据DATA1,停止循环。根据内点数据DATAm利用最小二乘拟合出各直线后再以IGGⅢ加权最小二乘回归的方法优化拟合各条直线参数,从而实现激光条纹参数的定位提取。
所述阈值Th_Num是一个终止阈值,即当数据集DATA1中的点数目小于一定点数时,认为直线分类的所有可能均已被查找完毕,阈值Th_Num的设定可设为20个点;所述内点数据DATAm保存的是所有直线分类所对应的内点;所述IGGⅢ是权值分配函数,分配每一个点的权值wi,对于每一类直线其内点的权值具体分配如下式所示:
其中,ui是距离比值系数,ui=di/σ;k0和k1为调和系数,k0通常取1.0~1.5,k1通常取2.5~3.0,di为点(xi,yi)到直线的距离,公示为:
其中,Als,Bls和Cls是最小二乘拟合出的直线方程参数,σ为距离均方根,公式为:
作为本发明的进一步说明:
步骤(1)中对预处理后的图片进行二值化,具体为根据激光相机采集的图片类型决定是否需要对图片进行灰度阈值化,再将图片转化成二值图像,即所有的像素点非0即1,黑色为0,白色为1。如图3所示是激光相机采集含断裂数据的原始图,如图6所示是含过曝数据和杂光干扰的原始图,如图9所示含缺失数据的原始图。
骨架提取,获取目标处理数据具体为:利用张氏骨架提取法对二值图像进行骨架提取,对于二值图像的第i行和第j列的像素点P1(i,j),搜索其周围8邻域像素点,如图2所示是目标像素点P1(i,j)周围8邻域像素点示意图,其对应的序号分别记为P2(i-1,j),P3(i-1,j+1),P4(i,j+1),P5(i+1,j+1),P6(i+1,j),P7(i+1,j-1),P8(i,j-1),P9(i-1,j-1)一共8个像素点,判断是否满足下列4个条件:
①2≤B(P1)≤6
②A(P1)=1
③P2*P4*P6=0
④P4*P6*P8=0
其中,条件①是中心像素P1周围的目标像素(二值中的1)的个数之和在2和6之间;条件②是中心像素周围的8邻域像素中,按顺时针方向,相邻两个像素出现0到1变化的次数;条件③和④是对应序号像素的像素值的乘积为0,条件③对应于偶次迭代次数,条件④对应于奇次迭代次数。对于③和④也有另一种等价模式如下:
⑤P2*P4*P8=0
⑥P2*P6*P8=0
如果当前像素点满足上述所示的四个条件,则删除当前像素点,遍历所有点,直到没有点可删除,遍历结束,骨架提取完毕。如图4所示是对含断裂数据的骨架提取结果;如图7所示是对含过曝数据和杂光干扰的骨架提取结果;如图10所示是对含缺失数据的骨架提取结果。
步骤(2)—(4)为初步直线分类,具体如下:
对提取出来的目标处理数据DATA1构建KD树,在对数据集DATA1只进行拷贝一次得到DATA1copy用于后续计算直线在全局数据下的内点数。
在DATA1中随机生成一个点P,搜索离P点最近的一定数目的点(>100),对于搜索出来的最近点进行随机采样直线拟合,每一次采样点数选取3个点,最大迭代次数设为200次,对每一次拟合得到的直线统计其内点,内点判断的依据是点到直线的距离d是否小于距离阈值Thd,如果小于则认为该点是一个内点,否则认为是一个外点,提取出内点最多的直线方程lm,其对应的内点数目为Nm,对内点数目进行判断,若内点数Nm小于阈值Th1,则返回重新随机生成一个点,重复上述操作,否则对直线lm在数据集DATA1copy里计算其内点数目Nm_copy,并再进行一次内点阈值判断,若Nm_copy小于阈值Th2,则重新生成一个随机点,重复开始步骤,否则在数据集DATA1删除掉含有直线lm的内点,更新DATA1,并判断DATA1的点数是否小于ThNum,若成立,则表明数据集里的直线划分完毕,否则重新对DATA1进行构建KD树,重复开始操作,直到满足DATA1的点数小于ThNum,停止搜索,得到初步分类直线的结果。
步骤(5)为最终直线分类,具体如下:
对初步分出来的直线,需要进一步拟合,利用最小二乘拟合出各直线后再以IGGⅢ加权最小二乘回归的方法优化拟合各条直线参数,即为最终的直线分类结果,从而实现对线激光条纹的定位。如图5所示是含断裂数据的直线分类结果;如图8所示是含过曝数据和杂光干扰的直线分类结果;如图11所示是含缺失数据的直线分类结果。
Claims (4)
1.一种基于随机采样一致性的线激光条纹定位方法,其特征在于,包括以下步骤:
1)对激光条纹图像进行形态学滤波,二值化分割预处理操作,对预处理后的图像利用张氏骨架提取法进行骨架提取,获取所有骨架的像素点坐标,建立数据集DATA1并对数据集DATA1构造距离二叉树,拷贝数据集DATA1得到数据集DATA1copy;
2)随机选取数据集DATA1内的一个像素点,搜索离它最近的n(n>100)个的数据点,建立数据集DATA2;
3)根据随机采样一致性原理,在数据集DATA2内随机采样i(i>100)次,每次采样k(k>2)个点,拟合直线li,计算数据集DATA2中各坐标点到直线li的距离d,将距离d小于阈值Thd的点判断为直线li的内点,统计为内点数Ni;
4)选择内点数Ni最多的直线lm,如果其内点数Nm小于阈值Th1,则返回步骤2)操作;如果内点数Nm大于阈值Th1,则计算直线lm在数据集DATA1copy中的内点数Nm_copy,如果内点数Nm_copy大于阈值Th2,则将内点数Nm_copy存入新的数据集DATAm中,并将直线lm的内点从数据集DATA1中删除,更新数据集DATA1;否则直接转步骤2)操作;
5)当步骤4)中更新后数据集DATA1中的点数量小于阈值Th_Num时,表明此时所有的骨架点已经分类为各条直线的内点数据DATAm和无效点数据DATA1,停止循环;根据内点数据DATAm利用最小二乘拟合出各直线后再以IGGⅢ加权最小二乘回归的方法优化拟合各条直线参数,从而实现激光条纹参数的定位提取。
3.一种基于随机采样一致性的线激光条纹定位方法,其特征在于,步骤4)中所述阈值Th1用来衡量筛选出的直线lm在邻域点内是否为一条合理的直线,是对筛选出的直线lm的内点数目Nm的约束,其设定可取步骤2)中搜索最近点数目的一半;内点数Nm_copy是直线lm在全局像素点数据集DATA1copy中的内点集合;阈值Th2用来衡量筛选出的直线lm在数据集DATA1copy内是否为一条合理的直线,本实验设定的取值为数据集DATA1copy点数的一半。
4.一种基于随机采样一致性的线激光条纹定位方法,其特征在于,步骤5)中所述阈值Th_Num是一个终止阈值,即当数据集DATA1中的点数目小于一定点数时,认为直线分类的所有可能均已被查找完毕,阈值Th_Num的设定可设为20个点;所述内点数据DATAm保存的是所有直线分类所对应的内点;所述IGGⅢ是权值分配函数,分配每一个点的权值wi,对于每一类直线其内点的权值具体分配如下式所示:
其中,ui是距离比值系数,ui=di/σ;k0和k1为调和系数,k0通常取1.0~1.5,k1通常取2.5~3.0,di为点(xi,yi)到直线的距离,公示为:
其中,Als,Bls和Cls是最小二乘拟合出的直线方程参数,σ为距离均方根,公式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010304222.8A CN111508022B (zh) | 2020-04-17 | 2020-04-17 | 一种基于随机采样一致性的线激光条纹定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010304222.8A CN111508022B (zh) | 2020-04-17 | 2020-04-17 | 一种基于随机采样一致性的线激光条纹定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111508022A CN111508022A (zh) | 2020-08-07 |
CN111508022B true CN111508022B (zh) | 2022-01-14 |
Family
ID=71877759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010304222.8A Active CN111508022B (zh) | 2020-04-17 | 2020-04-17 | 一种基于随机采样一致性的线激光条纹定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111508022B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112099039B (zh) * | 2020-08-25 | 2024-05-31 | 西北工业大学 | 一种基于激光雷达的室内相对定位方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3035235B1 (en) * | 2014-12-17 | 2023-07-19 | Exipple Studio, Inc. | Method for setting a tridimensional shape detection classifier and method for tridimensional shape detection using said shape detection classifier |
CN104809433B (zh) * | 2015-04-21 | 2017-12-15 | 电子科技大学 | 一种基于最大稳定区域和随机采样的斑马线检测方法 |
CN104880160B (zh) * | 2015-05-27 | 2017-05-17 | 西安交通大学 | 一种工件表面轮廓的二维激光实时探测方法 |
US10156441B2 (en) * | 2016-01-05 | 2018-12-18 | Texas Instruments Incorporated | Ground plane estimation in a computer vision system |
CN109376586B (zh) * | 2018-09-05 | 2020-12-29 | 武汉中海庭数据技术有限公司 | 基于激光点云的道路边界线交互式自动提取方法 |
-
2020
- 2020-04-17 CN CN202010304222.8A patent/CN111508022B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111508022A (zh) | 2020-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110866924B (zh) | 一种线结构光中心线提取方法及存储介质 | |
CN109580630B (zh) | 一种机械零部件缺陷的视觉检测方法 | |
CN104008553B (zh) | 融合影像梯度信息和分水岭方法的裂缝检测方法 | |
JP6099479B2 (ja) | ひび割れ検出方法 | |
CN117237368B (zh) | 一种桥梁裂缝检测方法及*** | |
CN110473187B (zh) | 一种面向对象的线扫描三维路面裂缝提取方法 | |
CN114219805B (zh) | 一种玻璃缺陷智能检测方法 | |
JP5852919B2 (ja) | ひび割れ検出方法 | |
CN102169581A (zh) | 一种基于特征向量的快速高精度鲁棒性匹配方法 | |
CN111354047B (zh) | 一种基于计算机视觉的摄像模组定位方法及*** | |
CN111523535B (zh) | 基于机器视觉与深度学习的类圆对象识别计数检测算法 | |
CN111968079B (zh) | 基于断面局部极值及分段稀疏的三维路面裂缝提取方法 | |
CN111932494B (zh) | 一种轮胎磨损程度评价方法及装置 | |
CN113252103A (zh) | 一种基于matlab图像识别技术计算物料堆体积及质量的方法 | |
CN111508022B (zh) | 一种基于随机采样一致性的线激光条纹定位方法 | |
CN113222992A (zh) | 基于多重分形谱的裂纹特征表征方法及*** | |
CN112231848B (zh) | 一种构建车辆喷涂模型的方法及*** | |
CN114881998A (zh) | 一种基于深度学习的工件表面缺陷检测方法及*** | |
CN114612412A (zh) | 三维点云数据的处理方法及其用途、电子设备、存储介质 | |
CN117437489A (zh) | 基于决策树模型的城市绿地提取方法 | |
CN115953604B (zh) | 一种不动产地理信息测绘数据采集方法 | |
CN113155057A (zh) | 一种使用非特制靶标的线结构光平面标定方法 | |
JP3749726B1 (ja) | 周期性ノイズ下での低コントラスト欠陥検査方法、繰返しパターン下での低コントラスト欠陥検査方法 | |
CN114742849B (zh) | 一种基于图像增强的水准仪距离测量方法 | |
CN111899297B (zh) | 线结构光条纹中心提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |