CN117953268A - 一种基于线激光图像的单板深度缺陷识别方法及*** - Google Patents
一种基于线激光图像的单板深度缺陷识别方法及*** Download PDFInfo
- Publication number
- CN117953268A CN117953268A CN202311714377.9A CN202311714377A CN117953268A CN 117953268 A CN117953268 A CN 117953268A CN 202311714377 A CN202311714377 A CN 202311714377A CN 117953268 A CN117953268 A CN 117953268A
- Authority
- CN
- China
- Prior art keywords
- line laser
- depth
- defect
- image
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 72
- 238000007637 random forest analysis Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000007670 refining Methods 0.000 claims abstract description 5
- 238000003708 edge detection Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000003066 decision tree Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 15
- 238000007635 classification algorithm Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 239000002023 wood Substances 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 5
- 229910052782 aluminium Inorganic materials 0.000 description 5
- 238000005452 bending Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 230000002068 genetic effect Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明属于机器视觉技术领域,提供了一种基于线激光图像的单板深度缺陷识别方法及***,所述方法包括:获取待检测单板的线激光图像;对所述线激光图像进行边缘提取,并细化得到单像素边缘线;计算单像素边缘线中每个像素的深度值;将所述单像素边缘线的深度值进行子区域划分,每个子区域包含N个连续深度值,基于所述单板深度缺陷识别模型,对每个子区域分别进行深度缺陷识别;其中,所述单板深度缺陷识别模型是基于所述单板缺陷特征数据集,采用随机森林算法训练得到的;所述单板缺陷特征数据集多条缺陷特征数据,每条缺陷特征数据均包括N个连续深度值数据及缺陷类型。本发明实现了单板深度缺陷的自动识别。
Description
技术领域
本发明属于机器视觉技术领域,尤其涉及一种基于线激光图像的单板深度缺陷识别方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
单板在生产加工的过程中,需要对其表面深度信息进行识别分类处理工作,以保证生产的单板产品拥有平整的加工表面和良好的力学性能。木材单板的表面除了存在颜色特征较为明显的疤结、污染等缺陷之外,还存在颜色特征不明显的深度缺陷,通常情况下,深度缺陷指的是单板表面不平整的缺陷,即沿着单板厚度方向的缺陷,比如皱缩、刀痕、孔洞、裂缝等缺陷,如图1(a)-图1(d)所示,这些深度缺陷在特定的木材材料上是较为严重的缺陷情况。
如今,目前针对单板缺陷的机器视觉检测技术均是基于颜色和形态特征的,对于疤结、污染等缺陷具有较好的检测精度,而深度缺陷例如皱缩、刀痕等,颜色特征不明显,并且颜色和形态均易于与木材单板上固有的纹理相混淆,因此现有的基于色彩或形状特征的检测技术均不适用于深度缺陷的检测识别。
发明内容
为克服上述现有技术的不足,本发明提供了一种基于线激光图像的单板深度缺陷识别方法及***,实现了木材单板深度缺陷的自动检测。
为实现上述目的,本发明的第一方面提供了一种基于线激光图像的单板深度缺陷识别方法,包括:
获取待检测单板的线激光图像;
对所述线激光图像进行边缘提取,并细化得到单像素边缘线;
计算单像素边缘线中每个像素的深度值;
将所述单像素边缘线的深度值进行子区域划分,每个子区域包含N个连续深度值,基于所述单板深度缺陷识别模型,对每个子区域分别进行深度缺陷识别;
其中,所述单板深度缺陷识别模型是基于所述单板缺陷特征数据集,采用随机森林算法训练得到的;所述单板缺陷特征数据集多条缺陷特征数据,每条缺陷特征数据均包括N个连续深度值数据及缺陷类型。
一些实施例中,获取待检测单板的线激光图像后,还对所述线激光图像进行高斯滤波处理。
一些实施例中,对所述线激光图像进行边缘提取具体包括:
基于Canny边缘检测算法对所述线激光图像中的线激光进行粗定位;
通过OTSU算法获取所述线激光图像的最佳阶跃强度阈值;
基于所述最佳阶跃强度阈值,对粗定位的线激光图像,基于Zernike矩边缘检测算法进行边缘检测。
一些实施例中,所述计算单像素边缘线中每个像素的深度值具体包括:
根据图像像素数量、图像分辨率和图像上线激光的实际长度,计算图像的像素当量;
根据线激光投射的水平倾角,计算单像素边缘线中各个像素点相对于基准线激光图像偏移的像素个数;
根据偏移的像素个数和像素当量,计算单像素边缘线中各个像素点的实际偏移量;
根据线激光投射角度和各个像素点的实际偏移量,计算单像素边缘线中各个像素点的深度值。
一些实施例中,所述随机森林算法的子决策树数量为N。
一些实施例中,将所述单像素边缘线的深度值进行子区域划分时,还对各个子区域进行编号,对识别出深度缺陷的子区域,获取所述子区域的缺陷类型和编号。
本发明的第二方面提供了一种基于线激光图像的单板深度缺陷识别***,包括:
图像获取模块,被配置为获取待检测单板的线激光图像;
边缘提取模块,被配置为对所述线激光图像进行边缘提取,并细化得到单像素边缘线;
深度转换模块,被配置为计算单像素边缘线中每个像素的深度值;
缺陷识别模块,被配置为将所述单像素边缘线的深度值进行子区域划分,每个子区域包含N个连续深度值,基于所述单板深度缺陷识别模型,对每个子区域分别进行深度缺陷识别;
其中,所述单板深度缺陷识别模型是基于所述单板缺陷特征数据集,采用随机森林算法训练得到的;所述单板缺陷特征数据集多条缺陷特征数据,每条缺陷特征数据均包括N个连续深度值数据及缺陷类型。
本发明的第三方面提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的基于线激光图像的单板深度缺陷识别方法。
本发明的第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述的基于线激光图像的单板深度缺陷识别方法。
本发明的第五方面提供了一种单板深度缺陷识别***,包括:线激光模块、图像采集模块、上位机和信号控制模块;
所述线激光模块设于图像拍摄区域一侧,用于在单板表面投射线激光;所述图像采集模块用于采集包含线激光的单板表面图像,并发送至上位机;
所述上位机用于执行所述的基于线激光图像的单板深度缺陷识别方法;
所述信号控制模块用于对传送机构的速度和/或图像采集模块的拍摄频率进行控制。
以上一个或多个技术方案存在以下有益效果:
通过引入线激光扫描技术,将单板表面的深度缺陷以激光线弯折变化的形式表现出来,通过弯曲的激光线提取边缘信息,进而基于边缘信息来判断深度缺陷种类,实现了单板深度缺陷的自动识别。
与传统的直入射式三角测量法相比,将线激光器的位置与工业相机的位置进行对换,线激光器斜向单板表面投射线激光,相机安装于被测木板的上方进行图像采集工作。通过调整线激光器的位置和角度,可以获取不同长度和入射角度的线激光,使整个***更加灵活。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1(a)为单板上的皱缩缺陷示例;
图1(b)为单板上的刀痕缺陷示例;
图1(c)为单板上的孔洞缺陷示例;
图1(d)为单板上的裂缝缺陷示例;
图2为本发明一个或多个实施例中单板深度缺陷***;
图3为本发明一个或多个实施例中图像采集平台示意图;
图4为本发明一个或多个实施例中单板深度缺陷检测方法整体框架图;
图5为本发明一个或多个实施例中单板深度缺陷检测方法流程图;
图6为本发明一个或多个实施例中线激光器、图像采集模块和单板的位置关系图;
图7(a)为线激光图像原图;
图7(b)为线激光图像基于均值滤波处理后的效果图;
图7(c)为线激光图像基于中值滤波处理后的效果图;
图7(d)为线激光图像基于双边滤波处理后的效果图;
图7(e)为线激光图像基于高斯滤波处理后的效果图;
图8为基于本发明一个或多个实施例中边缘检测方法流程图;
图9(a)为基于随机森林算法的分类结果图;
图9(b)为基于BP神经网络算法的分类结果图;
图9(c)为基于卷积神经网络算法的分类结果图;
图9(d)为基于本发明一个或多个实施例提供的单板深度缺陷识别方法的分类结果图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本发明一个或多个实施例提供的使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
根据参考单板国家标准(GB/T13010-2020)、生产实际的需要和生产工艺要求,将单板上的深度缺陷分为皱缩、刀痕、孔洞、裂缝四种基本缺陷类型。
由上述分析可知,传统的图像处理方法很难适用于木材表面深度缺陷的检测识别,本发明的一个或多个实施例引入线激光扫描技术,提供了一种基于线激光图像的单板深度缺陷识别方法及***,将单板表面的深度缺陷以激光线弯折变化的形式表现出来,通过弯曲的激光线提取边缘信息,然后由机器学习技术识别激光线的边缘信息来判断深度缺陷种类,可以实现单板深度缺陷的检测识别。
具体地,单板深度缺陷识别***与图像采集平台相配合,包括线激光模块、图像采集模块、上位机和信号控制模块。所述线激光模块用于在单板表面投射线激光;所述图像采集模块用于采集包含线激光的单板表面图像,并发送至上位机;所述上位机用于接收传送机构和图像采集模块的控制指令并发送至信号控制模块,以及基于单板表面图像上的线激光,执行深度缺陷识别;所述信号控制模块用于响应于上位机的控制指令,对传送机构和/或图像采集模块进行控制。图像采集模块的拍摄频率与所述传送机构的速度相适应,使得针对同一单板获取的线激光图像能够覆盖整个单板表面。
深度缺陷识别***的总体架构如图2所示,其中,所述图像采集平台包括传送机构,所述传送机构包括两个传送带,在两个传送带之间设有基准平面,所述基准平面采用铝制板材,所述基准平面的一侧设有线激光模块,所述基准平面的上方设有图像采集模块,作为一种具体的实现方式,如图3所示,所述基准平面两侧均设有支架,两个支架上方经横梁连接,所述线激光模块安装于一侧的支架上,与铝制板材成固定角度,向铝制板材上投射线激光,线激光的长度等于基准平面的长度;图像采集模块安装于铝制板材的正上方。所述图像采集模块、信号控制模块以及上位机通过交换机建立局域网。经由所述上位机可以设定传送带的速度发送至信号控制模块,也可以作为图像处理模块,用于对单板线激光图像进行深度缺陷识别。
信号控制模块控制单板传送带的速度达到生产设定速度,单板跟随传送带到达基面位置,线激光模块在单板表面投射线激光,图像采集模块随即获取线激光图像,并通过交换机传递给上位机,在上位机对线激光图像进行机器视觉处理获取深度缺陷的类别和位置,并将处理的获得数据信息通过图形界面展示出来,最终反馈给工作人员,完成单板表面缺陷识别工作。通过单板表面缺陷识别***相对于传统的人工识别,具有识别速度快,识别精度较高等优势。
所述基准平面除了可以标识图像采集区域以外,还用于确定线激光基准线。在本***中,确定线激光基准线是一项关键技术,它作为后续图像处理的标尺,对基准线激光成线平面的平面度有着较高的要求,即线激光器能够在承接木板的平面上,形成一条平直连续的均匀激光线,以确保后续的图像处理和检测结果的准确性和可靠性,所以在图像采集模块中需要存在一个基准平面。为了实现高质量的线激光基准线,选取了平整度为0.005mm的铝制板材作为承载木板的基准平面,并在该平面上采集线激光基准线图像。通过这种方法,我们可以确保线激光器所发出的光束能够在一个平整且稳定的表面上进行成像,从而获取一条高质量的线激光基准线图像。这条基准线不仅能够提供准确的测量参考,还能够为后续的图像处理提供高质量的标尺,确保整个***的准确性和可靠性。
为确保采集到线激光图像更准确的反应单板的深度缺陷情况,激光束在单板上的成像应该密度均匀、稳定且平直,基于此,对线激光器内部的光学棱镜进行选型,一些实施例中,可选用鲍威尔棱镜的线激光发射器。图像采集模块采用工业相机进行图像采集。工业相机选型的两个重要依据分别为分辨率和采集帧率:更高的分辨率下,采集图像更清晰,单板图像的细节更多;而采集帧率直接影响采集的速度,采集帧率越高,图像的采集速度越快,这在一定程度上影响***的检测速度。信号控制模块主要包括光电编码器、光电开关及对应驱动电路等。通过上位机或PLC向信号控制模块发送控制命令,控制单板缺陷识别***的传动机构以设定速度运行,以及控制图像采集模块以设定的频率拍照。在图像采集的过程中,需要信号控制模块控制相机拍照速度与单板的移动速度相适应,确保获取单板到在规定位置完成图像采集工作。
本领域技术人员可以理解,上述线激光模块、图像采集模块以及信号控制模块的选项可以根据需求进行选择,只要能够实现上述功能即可,在此不做具体限定。
所述单板深度缺陷识别***的工作过程如下:
(1)信号控制模块控制传送装置将单板匀速传入拍摄区域;
(2)线激光模块向单板表面投射一条均匀笔直的线激光,对于存在深度缺陷的单板表面位置,线激光会发生偏折,图像采集模块在信号控制模块的控制下,配合传送装置的速度拍摄线激光图像;
(3)图像采集模块将采集到的线激光图像通过局域网传递给图像处理模块,在图像处理模块中进行图像处理和检测工作,识别和判断图像上的深度缺陷类型和位置并记录,为后续的生产加工提供数据支持。
本发明的一个或多个实施例提供了一种基于线激光图像的单板深度缺陷识别方法,如图4所示,基于单板深度缺陷识别模型进行深度缺陷识别。
单板深度缺陷识别模型的构建整体思路为:首先调整线激光器至合适角度,方便获取包含深度缺陷细节的线激光图像;然后使用工业相机拍摄线激光图像,将线激光图像进行预处理后,从线激光图像上获取亚像素坐标。把获取到的亚像素坐标与预先获取的线激光基准线进行对比获得每个像素的偏移量,进而计算每个像素的深度值,以像素深度值作为样本数据进行搭建和优化数据集;最后,在数据集上训练并优化数据分类机器学习算法,获得最优分类网络模型。所述单板深度缺陷识别模型的构建方法具体包括:
步骤1:构建单板深度缺陷数据集。所述步骤1具体包括:
步骤101:对激光模块发射的激光角度进行矫正,获取线激光样本图像,所述线激光样本图像覆盖所有待识别的缺陷类型。
与传统的直入射式三角测量法相比,本***将线激光器的位置与工业相机的位置进行对换,线激光器斜向单板表面投射线激光,相机安装于被测木板的上方进行图像采集工作。通过调整线激光器的位置和角度,可以获取不同长度和入射角度的线激光,使整个***更加灵活;同时,相机位置固定可以确定一个准确的图像精度,使获取的图像尺寸计算更加准确。通过线激光结构的改进设计,更适应单板生产过程的需要。
如图6所示,在确定线激光器的位置时,要考虑线激光器到相机的距离和线激光器的倾斜角度;其次线激光对被测表面不能有所遗漏,所以要保证线激光投射的初始位置在相机采集视野之内,同时要确保线激光的长度达到覆盖整个被测表面的宽度。
通过实验发现,在较大的倾斜角度时,对于孔洞等较为明显的深度缺陷,线激光的变化比较容易发现,但是由于单板表面还存在较为细小的深度缺陷,如刀痕、较小的裂缝等,线激光在这些深度缺陷位置的变化情况并不明显。根据公式(1)所示,线激光在不同高度到相机的水平距离L等于此时被测物体表面的高度H与线激光与水平面的倾角θ正切值的比值,当线激光器与工业相机之间的距离确定时,较小的倾角会有一个较大的正切值,从而在工业相机拍摄的图像中放大发射的线激光在不平整的单板表面的弯折度,获取弯折特征较为明显的线激光图像。
根据公式(1),同样可以根据图像上的像素数计算出被测物体的表面高度。在实验中,首先需要确定拍摄线激光的基准平面,并获取线激光图像在基准平面上像素坐标,以线激光在基准面上的像素坐标作为标准,判断线激光投射在单板表面的弯折程度。通过调整投射角度,获取不同倾斜角度的线激光图像,可以确定当线激光器的倾角为15°时,线激光的弯曲程度足够明显,对于单板表面较为细小的裂缝缺陷也能反映出来,并且线激光的宽度没有超过宽度要求。
在确定工业相机的拍摄高度的情况下,能够将图像上线激光点的坐标转换为深度数据,包括以下步骤:
(1)通过拍摄标准长度计算出拍摄的图像分辨率与实际长度的关系,根据图像像素数量、图像分辨率和图像上线激光的实际长度,计算图像的像素当量。
(2)在确定的水平倾角θ时,根据线激光投射的水平倾角,计算图像上线激光上各个点与基准线激光之间偏移的像素个数;
(3)根据偏移的像素个数和像素当量,计算线激光上各个点的实际偏移量l,如公式(2)。
(4)根据三角函数关系,计算线激光上各个点与基准面的高度差h,即深度值,如公式(3),由此可以计算线激光图像反应的单板表面的深度信息。
l=Δp×a (2)
h=l×tanθ (3)
公式(2)中,l为实际距离线激光偏移量,Δp为基线与对应点的像素差,a为图像的像素当量;公式(3)中,h为此位置与基准面的高度差。
步骤102:对线激光样本图像进行预处理。
单板表面深度信息由线激光的边缘信息获取,在图像采集***中,由于线激光本身的光学性质和环境因素的影响,获取到的线激光往往存在较大的噪声,特别是边缘位置存在大量小型的齿状边缘,这些对于线激光边缘的提取有着不容忽视的影响;其次,在大视场获取图像的情况下,相机的分辨率对应的图像精度会严重降低,而单板表面存在比较细微的深度缺陷又对图像的精度提出了较高的要求。因此在获取边缘时,首先,需要对这些噪声信息进行过滤处理,完成对图像的预处理。
根据单板上线激光图像的像素分布和以红色为主要颜色的特征,对图像的R通道进行分离并采用常用的几种进行滤波方法进行实验,滤波器统一设定为7×7尺寸,对比结果如图7(a)-图7(e),均值滤波和中值滤波对边缘进行平滑的同时,损失了大量细节信息,双边滤波处理后相较于原图,边缘没有进行很好的平滑,相较于均值滤波、中值滤波和双边滤波,高斯滤波对于边缘取得了平滑效果,并且没有改变原图像的边缘方向。
步骤103:对预处理后的线激光样本图像进行边缘提取。
本发明一个或多个实施例提供的中,线激光在平整的单板表面投射出一条完整的线,对应其应该是一条连续的函数,所以本发明一个或多个实施例提供的中的线激光图像具备符合应用亚像素算法的要求,可以应用亚像素级算法,对线激光图像进行高精度处理。
Zernike正交矩边缘检测算法因为不受图像旋转变化影响因而具备良好的抗噪性,对于检测线激光较为精细的边缘,具有良好的适应性,根据检测精度要求,Zernike矩边缘检测算法中取了两个阈值:距离阈值δ和阶跃强度阈值k,对参数d与k做阈值运算,当|Z11|≥k,d≤δ时,则认为被检测的像素点为边缘点,输出此时计算的(xs,ys)具有亚像素精度。本发明一个或多个实施例提供的采用了5×5的Zernike矩为计算模板。
为减小亚像素边缘检测算法的计算量和提高边缘点的判断条件的准确度,基于Canny算子粗定位的快速算法和基于OTSU算法的进行灰度阈值优化。具体地,将高斯算子滤波后的Canny边缘检测算法作为粗定位算法,获取像素级图像边缘坐标,通过OTSU算法自动获取每张线激光图像的最佳k阈值,对Zernike矩亚像素边缘检测算法进行了改进,改进后的亚像素边缘检测流程如图8所示。
针对单板线激光图像黑色背景上存在一条明亮线的特点,本发明一个或多个实施例提供的首先将Canny算子对高斯滤波后的线激光图像进行像素级边缘提取,Canny算子对于高斯滤波后的线激光图像提取边缘坐标时,Canny算子边缘提取后同一横坐标位置的边缘点不会超过三个,因此Zernike矩边缘检测算法需要计算的像素数原图像的4092×252像素降低为不超过4092×3个像素,大大减少了线激光边缘检测的计算量,同时,Canny算子具有较好的像素级边缘提取精度,适合作为本发明一个或多个实施例提供的线激光Zernike矩亚像素边缘提取算法的粗定位算法,提高亚像素边缘算法的检测速度和检测精度。
根据本发明一个或多个实施例提供的提出的由像素反映到实际单板表面深度的计算公式(2)和(3)计算得到,将本发明一个或多个实施例提供的亚像素边缘提取算法、Canny边缘检测算子与实际单板表面深度情况进行对比,其中测量值为木板表面到基准面得高度,结果如表1所示,单位为毫米,可以看出本发明一个或多个实施例提供的提出的亚像素边缘检测算法计算最符合单板表面的真实高度。
表1实际检测效果对比
步骤104:将边缘数据上边缘点的图像坐标转换为深度数据,得到一个线激光样本图像的一维数据特征。
将亚像素边缘提取算法获取的边缘数据进行细化,得到单像素边缘线,计算每个像素对应的深度值,获取到的深度值作为一维数据特征,将其写入数据表格,得到线激光样本深度数据集。
步骤105:构建单板深度缺陷数据集。
边缘检测提取的深度信息为离散的单个点信息,线激光识别的缺陷不能由独立的点数据进行判断,而是需要在一定的区域内,通过一段连续的数据作为输入信号来反映单板上的缺陷类型。对于一条完整的线激光边缘坐标高度差数据,其数据量大,造成一维特征数目多,导致分类算法难以拟合收敛,同时机器学习的耗时也会加长,同时对硬件的要求也会变高,不符合实际的生产要求,且在一条完整的线激光,可能存在多个深度缺陷信息,对于缺陷的标注有着较大的困难,也难以确定缺陷所在线激光上的具***置。
针对上述问题,一些实施例中,将一条线激光的数据按照滑窗算法的思想,即根据等长度的滑窗在线激光边缘数据上移动,通过不重叠的滑窗计算每个单元框内的数据个数进行等距离划分,将一条线激光划分为多个子区域,对每个子区域进行编号和缺陷标注,通过计算得到,采取93连续像素点作为一个子区域长度时,对应在单板上的实际长度为8mm,符合缺陷检测的长度要求,因此,拟采取93个连续数据点作为输入特征,根据不同算法的搭建要求搭建分类算法,设置5个输出层获取分类结果,分别为刀痕、皱缩、孔洞、裂缝和正常单板。
针对一维数据分类算法对数据的要求,将获取的线激光与基线高度差作为特征,使用数字代表相应的分类,对数据集进行标注,其中,1是刀痕缺陷,2是皱缩缺陷,3是孔洞缺陷,4是裂缝缺陷,5是正常单板。不同高度差对应的缺陷类型如下:
(1)刀痕缺陷:通过第三章公式计算,0.05mm对应的像素数为0.592,结合单板板厚2mm,所以将高度差像素数据在(0,23.083]和(24.267,35.513]区间中的行数据,标记为1。
(2)皱缩缺陷:高度差像素数据大于35.513的行数据,标记为2。
(3)孔洞缺陷:一行数据中间存在0数据,连续为0数据大于18个,标记为3。(4)裂缝缺陷:一行数据中间存在0数据,连续为0数据小于18个,标记为4。
(5)正常单板:高度差像素数据在[23.083,24.267]区间中的行数据,标记为5。
最终获得1500条深度缺陷特征信息,每一条缺陷特征数据均包括93个像素点对应深度数据,以及类别标识。作为一个示例,可采用表格存储,表格的每一行对应一条缺陷特征数据,共94列,前93列为93个像素点对应的深度数据,最后一列标识本条数据的类别。
后续对待检测线激光图像,基于相同划分规则,划分为多个子区域,对每个子区域进行缺陷识别分类,通过获取每个子区域编号,获取子区域的类别信息和编号信息,即可确定缺陷的位置。
步骤2:基于单板深度缺陷数据集,采用随机森林算法,训练得到单板深度缺陷识别模型。
机器学习分类算法在解决数据分类问题方面具有良好的表现,针对反映单板深度缺陷的线激光边缘信息数据特点,本发明一个或多个实施例提供的采用机器学习分类算法作为完成单板深度缺陷分类工作的关键技术进行研究。
对于随机森林算法,影响随机森林算法精度的主要因素为树的数量和深度、从数据集获取数据的随机性以及叶子节点数目,随机森林算法中包含的子决策树数量和深度对于模型准确性有很大的影响。通常,子决策树数量越多,模型的准确性越高,但是同时也会增加计算复杂度。随机森林的深度过大或者过小都会影响模型的准确性,需要根据具体问题来确定最优的树数量和森林深度。随机森林算法的随机性也对模型准确性有影响,其随机性主要包括数据采样和特征选择的随机性,随机性的引入可以提高模型的泛化能力和稳定性。叶子节点数目作为随机森林算法的重要算法参数,对算法的精准也有着重要影响。
根据单板数据集特点,设定算法包含93个子决策树,每个决策树包含最小叶子数目为5,通过随机分配数据集为训练集和测试集,提升数据采样和特征选择的随机性,每次训练重新计算评估特征的重要性。
在增强算法的随机性的基础上,提出应用遗传算法优化随机森林算法参数,遗传算法是一种基于生物进化原理的优化算法。它通过模拟生物进化的过程,将最优解从初始种群中筛选出来,并通过遗传操作(如交叉、变异等)产生新的个体,最终达到优化目标。遗传算法对于解决复杂的非线性优化问题具有良好的表现,具体地,将随机森林的决策树数量和森林层数作为优化的超参数进行遗传算法优化,完成随机森林算法的优化设计。
为验证提出的单板深度缺陷分类算法的优势,本发明一个或多个实施例提供的通过MATLAB软件搭建了随机森林算法、BP神经网络算法、卷积神经网络算法和本发明一个或多个实施例提供的提出的单板深度缺陷识别算法,并对单板表面深度缺陷数据的分类对比实验。在本发明一个或多个实施例提供的中,根据缺陷检测的要求,单个的深度信息点无法表明区域内的缺陷信息,通过计算得,采取93连续像素点坐标时,对应在单板上的实际长度为8mm,符合缺陷检测的长度要求,因此在本发明一个或多个实施例提供的中采取93个连续点作为输入特征,根据不同算法的要求搭建分类算法。单板深度缺陷识别为五分类问题,使用数字代表相应的分类,其中,1是刀痕缺陷,2是皱缩缺陷,3是孔洞缺陷,4是裂缝缺陷,5是正常无深度缺陷的单板,设置5个输出层获取分类结果,并保存实验中的神经网络模型。
实验将获取数据集按照8:2分为训练集和测试集,四个分类算法在测试集上的准确率如图9(a)-图9(d)所示,图中星号为训练集识别分类结果,圆圈为测试集识别分类结果,从图中可以看出本发明一个或多个实施例提供的单板深度缺陷识别算法离散程度最低,识别效果最好。
表2中给出了四种分类算法的分类结果对比情况,综合四种分类算法的实验结果进行分析。本发明一个或多个实施例提供的提出的单板深度缺陷分类算法相较于随机森林算法,在训练集上准确率比随机森林算法高0.91%,比BP神经网络算法高5.5%,比卷积神经网络算法高1%;在测试集上相较于随机森林算法准确率高2.67%,查准率高1.83%,查全率高2.84%,F1分数高2.33%;相较于BP神经网络算法,准确率高14.67%,查准率高13.26%,查全值高14.39%,F1分数高13.82%;相较于卷积神经网络算法,准确率高5.67%,查准率高5.43%,查全值高5.59%,F1分数高5.5%。
表2实验结果对比表
通过实验结果的混合矩阵准确率对比表,在单板表面深度缺陷数据分类问题中,本发明一个或多个实施例提供的提出的基于改进随机森林的单板深度缺陷分类算法在查准率、查全率、F1分数、训练集准确率和训练集准确率方面均表现为最佳。
基于上述单板深度缺陷识别模型,如图5所示,所述单板深度缺陷识别方法具体包括包括以下步骤:
步骤1:获取待检测单板的线激光图像;
步骤2:对所述线激光图像进行边缘提取,并细化得到单像素边缘线;
步骤3:计算单像素边缘线中每个像素的深度值;
步骤4:将所述单像素边缘线的深度值进行子区域划分,每个子区域包含N个连续深度值,基于所述单板深度缺陷识别模型,对每个子区域分别进行深度缺陷识别。
所述步骤1获取待检测单板的线激光图像后,还对所述线激光图像进行高斯滤波处理。
所述步骤2中对所述线激光图像进行边缘提取具体包括:基于Canny边缘检测算法对所述线激光图像中的线激光进行粗定位;通过OTSU算法获取所述线激光图像的最佳阶跃强度阈值;基于所述最佳阶跃强度阈值,对粗定位的线激光图像,基于Zernike矩边缘检测算法进行边缘检测。
所述步骤3具体包括:
步骤301:根据图像像素数量、图像分辨率和图像上线激光的实际长度,计算图像的像素当量;
步骤302:根据线激光投射的水平倾角,计算单像素边缘线中各个像素点相对于基准线激光图像偏移的像素个数;
步骤303:根据偏移的像素个数和像素当量,计算单像素边缘线中各个像素点的实际偏移量;
步骤304:根据线激光投射角度和各个像素点的实际偏移量,计算单像素边缘线中各个像素点的深度值。
步骤305:通过分类网络模型识别图像上的类别,同时输出图像上缺陷位置的区域编号,完成单板表面深度缺陷识别任务。
上述滤波、边缘检测以及计算深度值的具体方法,均与上文中针对线激光样本图像的处理方法相同,具体参见上文说明。
所述步骤4中将所述单像素边缘线的深度值进行子区域划分时,还对各个子区域进行编号,对识别出深度缺陷的子区域,获取所述子区域的缺陷类型和编号。
本领域技术人员可以理解,同一单板的表面由连续的多个线激光图像反映,通过对多个线激光图像进行深度缺陷识别,能够准确识别出单板上的所有深度缺陷。
基于上述方法,本发明的一个或多个实施例还提供了基于线激光图像的单板深度缺陷识别***,其特征在于,包括:
图像获取模块,被配置为获取待检测单板的线激光图像;
边缘提取模块,被配置为对所述线激光图像进行边缘提取,并细化得到单像素边缘线;
深度转换模块,被配置为计算单像素边缘线中每个像素的深度值;
缺陷识别模块,被配置为将所述单像素边缘线的深度值进行子区域划分,每个子区域包含N个连续深度值,基于所述单板深度缺陷识别模型,对每个子区域分别进行深度缺陷识别;
其中,所述单板深度缺陷识别模型是基于所述单板缺陷特征数据集,采用随机森林算法训练得到的;所述单板缺陷特征数据集多条缺陷特征数据,每条缺陷特征数据均包括N个连续深度值数据及缺陷类型。
所述***还包括预处理模块,被配置为获取待检测单板的线激光图像后,还对所述线激光图像进行高斯滤波处理。
本发明的一个或多个实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现基于线激光图像的单板深度缺陷识别方法。
在一些实施例中,所述基于线激光图像的单板深度缺陷识别方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元。在一些实施例中,计算机程序的部分或者全部可以经由RAM和/或ROM和/或通信单元而被载入和/或安装到电子设备。当计算机程序加载到RAM和/或ROM并由电子设备执行时,可以执行上文描述的方法的一个或多个步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于线激光图像的单板深度缺陷识别方法,其特征在于,包括:
获取待检测单板的线激光图像;
对所述线激光图像进行边缘提取,并细化得到单像素边缘线;
计算单像素边缘线中每个像素的深度值;
将所述单像素边缘线的深度值进行子区域划分,每个子区域包含N个连续深度值,基于所述单板深度缺陷识别模型,对每个子区域分别进行深度缺陷识别;
其中,所述单板深度缺陷识别模型是基于所述单板缺陷特征数据集,采用随机森林算法训练得到的;所述单板缺陷特征数据集多条缺陷特征数据,每条缺陷特征数据均包括N个连续深度值数据及缺陷类型。
2.如权利要求1所述的基于线激光图像的单板深度缺陷识别方法,其特征在于,获取待检测单板的线激光图像后,还对所述线激光图像进行高斯滤波处理。
3.如权利要求1或2所述的基于线激光图像的单板深度缺陷识别方法,其特征在于,对所述线激光图像进行边缘提取具体包括:
基于Canny边缘检测算法对所述线激光图像中的线激光进行粗定位;
通过OTSU算法获取所述线激光图像的最佳阶跃强度阈值;
基于所述最佳阶跃强度阈值,对粗定位的线激光图像,基于Zernike矩边缘检测算法进行边缘检测。
4.如权利要求1所述的基于线激光图像的单板深度缺陷识别方法,其特征在于,所述计算单像素边缘线中每个像素的深度值具体包括:
根据图像像素数量、图像分辨率和图像上线激光的实际长度,计算图像的像素当量;
根据线激光投射的水平倾角,计算单像素边缘线中各个像素点相对于基准线激光图像偏移的像素个数;
根据偏移的像素个数和像素当量,计算单像素边缘线中各个像素点的实际偏移量;
根据线激光投射角度和各个像素点的实际偏移量,计算单像素边缘线中各个像素点的深度值。
5.如权利要求1所述的基于线激光图像的单板深度缺陷识别方法,其特征在于,所述随机森林算法的子决策树数量为N。
6.如权利要求1所述的基于线激光图像的单板深度缺陷识别方法,其特征在于,将所述单像素边缘线的深度值进行子区域划分时,还对各个子区域进行编号,对识别出深度缺陷的子区域,获取所述子区域的缺陷类型和编号。
7.一种基于线激光图像的单板深度缺陷识别***,其特征在于,包括:
图像获取模块,被配置为获取待检测单板的线激光图像;
边缘提取模块,被配置为对所述线激光图像进行边缘提取,并细化得到单像素边缘线;
深度转换模块,被配置为计算单像素边缘线中每个像素的深度值;
缺陷识别模块,被配置为将所述单像素边缘线的深度值进行子区域划分,每个子区域包含N个连续深度值,基于所述单板深度缺陷识别模型,对每个子区域分别进行深度缺陷识别;
其中,所述单板深度缺陷识别模型是基于所述单板缺陷特征数据集,采用随机森林算法训练得到的;所述单板缺陷特征数据集多条缺陷特征数据,每条缺陷特征数据均包括N个连续深度值数据及缺陷类型。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-6任一项所述的基于线激光图像的单板深度缺陷识别方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6任一项所述的基于线激光图像的单板深度缺陷识别方法。
10.一种单板深度缺陷识别***,其特征在于,包括:线激光模块、图像采集模块、上位机和信号控制模块;
所述线激光模块设于图像拍摄区域一侧,用于在单板表面投射线激光;所述图像采集模块用于采集包含线激光的单板表面图像,并发送至上位机;
所述上位机用于执行如权利要求1-6任一项所述的基于线激光图像的单板深度缺陷识别方法;
所述信号控制模块用于对传送机构的速度和/或图像采集模块的拍摄频率进行控制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311714377.9A CN117953268A (zh) | 2023-12-12 | 2023-12-12 | 一种基于线激光图像的单板深度缺陷识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311714377.9A CN117953268A (zh) | 2023-12-12 | 2023-12-12 | 一种基于线激光图像的单板深度缺陷识别方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117953268A true CN117953268A (zh) | 2024-04-30 |
Family
ID=90796985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311714377.9A Pending CN117953268A (zh) | 2023-12-12 | 2023-12-12 | 一种基于线激光图像的单板深度缺陷识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117953268A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010014670A (ja) * | 2008-07-07 | 2010-01-21 | Mitsubishi Nuclear Fuel Co Ltd | 外観検査装置、外観検査方法、画像処理方法及びこれを利用した外観検査装置 |
CN104005325A (zh) * | 2014-06-17 | 2014-08-27 | 武汉武大卓越科技有限责任公司 | 基于深度和灰度图像的路面裂缝检测装置和方法 |
CN112355478A (zh) * | 2020-10-30 | 2021-02-12 | 北京博清科技有限公司 | 焊接控制方法、装置及电子设备 |
WO2022180667A1 (ja) * | 2021-02-24 | 2022-09-01 | 株式会社Rist | 表面形状検査装置及び表面形状検査方法 |
KR102464145B1 (ko) * | 2021-12-24 | 2022-11-09 | 한국건설기술연구원 | 3차원 스캔을 이용한 노면상태 조사장치 및 이를 이용한 노면상태 조사 방법 |
-
2023
- 2023-12-12 CN CN202311714377.9A patent/CN117953268A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010014670A (ja) * | 2008-07-07 | 2010-01-21 | Mitsubishi Nuclear Fuel Co Ltd | 外観検査装置、外観検査方法、画像処理方法及びこれを利用した外観検査装置 |
CN104005325A (zh) * | 2014-06-17 | 2014-08-27 | 武汉武大卓越科技有限责任公司 | 基于深度和灰度图像的路面裂缝检测装置和方法 |
CN112355478A (zh) * | 2020-10-30 | 2021-02-12 | 北京博清科技有限公司 | 焊接控制方法、装置及电子设备 |
WO2022180667A1 (ja) * | 2021-02-24 | 2022-09-01 | 株式会社Rist | 表面形状検査装置及び表面形状検査方法 |
KR102464145B1 (ko) * | 2021-12-24 | 2022-11-09 | 한국건설기술연구원 | 3차원 스캔을 이용한 노면상태 조사장치 및 이를 이용한 노면상태 조사 방법 |
Non-Patent Citations (2)
Title |
---|
FAN YANG,等: "Wood Veneer Defect Detection System Based on Machine Vision", INTERNATIONAL SYMPOSIUM ON COMMUNICATION ENGINEERING & COMPUTER SCIENCE (CECS 2018),ADVANCES IN COMPUTER SCIENCE RESEARCH, vol. 86, 31 December 2018 (2018-12-31), pages 413 - 418 * |
杨军涛;李志勇;范力予;黄强;: "基于线激光扫描的焊缝表面缺陷检测***", 焊接, no. 02, 25 February 2016 (2016-02-25) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109357630B (zh) | 一种多类型工件批量视觉测量***及方法 | |
CN108562250B (zh) | 基于结构光成像的键盘键帽平整度快速测量方法与装置 | |
CN108027248A (zh) | 具有基于特征的定位和导航的工业车辆 | |
CN112651968B (zh) | 一种基于深度信息的木板形变与凹坑检测方法 | |
US6728593B2 (en) | System for analysis of fabric surface | |
CN111284154A (zh) | 一种基于图像识别的印控机盖章控制方法、装置及*** | |
JP6264132B2 (ja) | 車体塗装面の検査装置および検査方法 | |
CN107816943B (zh) | 一种物流箱体积重量测量***及其实现方法 | |
CN112233116B (zh) | 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法 | |
CN111982921A (zh) | 孔缺陷的检测方法、装置、传送平台及存储介质 | |
CN105718931B (zh) | 用于确定采集图像中的杂斑的***和方法 | |
EP3358526A1 (en) | System and method for scoring color candidate poses against a color image in a vision system | |
JPH03257304A (ja) | 位置認識装置 | |
CN108802051B (zh) | 一种柔性ic基板直线线路气泡及折痕缺陷检测***及方法 | |
JP2021039734A (ja) | 光学コードのモジュールサイズの特定 | |
CN114612471B (zh) | 一种复杂纹理瓷砖表面缺陷检测方法 | |
CN113252103A (zh) | 一种基于matlab图像识别技术计算物料堆体积及质量的方法 | |
CN113298787B (zh) | 板材封边缺陷检测方法、控制器及计算机可读存储介质 | |
CN114494468A (zh) | 三维彩色点云构建方法、装置、***及存储介质 | |
CN117953268A (zh) | 一种基于线激光图像的单板深度缺陷识别方法及*** | |
JPH0762606B2 (ja) | パターン位置認識装置 | |
CN110751690B (zh) | 铣床刀头视觉定位方法 | |
JPH11125514A (ja) | 曲げ角度検出装置 | |
CN111563410A (zh) | 一种泡沫图像运动速度检测的处理方法 | |
CN115791801A (zh) | 基于机器视觉的3d玻璃在线监测平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |