CN115511775A - 一种基于语义分割的轻量型瓷砖表面缺陷检测方法 - Google Patents
一种基于语义分割的轻量型瓷砖表面缺陷检测方法 Download PDFInfo
- Publication number
- CN115511775A CN115511775A CN202110695481.2A CN202110695481A CN115511775A CN 115511775 A CN115511775 A CN 115511775A CN 202110695481 A CN202110695481 A CN 202110695481A CN 115511775 A CN115511775 A CN 115511775A
- Authority
- CN
- China
- Prior art keywords
- image
- semantic segmentation
- defect detection
- defect area
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 138
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 230000011218 segmentation Effects 0.000 title claims abstract description 65
- 239000000919 ceramic Substances 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000012805 post-processing Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 33
- 238000011176 pooling Methods 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims 1
- 238000010606 normalization Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 19
- 238000004519 manufacturing process Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 239000004566 building material Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000018044 dehydration Effects 0.000 description 1
- 238000006297 dehydration reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007641 inkjet printing Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于语义分割的轻量型瓷砖表面缺陷检测方法,用于对瓷砖表面的缺陷进行检测,其特征在于,包括:使用高分辨率相机对瓷砖表面进行采集得到待检测图像,并对该待检测图像进行预处理得到预处理图像;建立用于瓷砖表面缺陷检测的轻量型语义分割网络并对该轻量型语义分割网络进行训练得到瓷砖表面缺陷检测网络;将预处理图像输入到瓷砖表面缺陷检测网络进行缺陷检测,从而检测出疑似缺陷区域;对疑似缺陷区域进行后处理,并判断疑似缺陷区域的面积是否大于给定阈值,当判断为是时则将疑似缺陷区域标记为缺陷区域;获取缺陷区域的最小外接正矩形,并将该最小外接正矩形映射回待检测图像并画框标记。
Description
技术领域
本发明涉及一种基于语义分割的轻量型瓷砖表面缺陷检测方法。
背景技术
瓷砖具有抗腐耐磨、防水、纹理丰富等优点,现已成为备受欢迎的装饰装修建材产品。随着生活水平的提高,人们追求美的需求也越来越高,于是市场上逐渐流行各种风格迥异,纹理复杂的艺术瓷砖。这些多姿多彩的瓷砖对其生产工艺提出了更高的要求。
瓷砖生产环节一般经过原材料混合研磨、脱水、压胚、喷墨印花、淋釉、烧制、抛光,最后进行质量检测和包装。得益于产业自动化的发展,目前瓷砖大部分的生产环节已基本实现无人化,但最后的质检环节仍主要靠人工完成。通常一条产线需要配2~6名质检工,长时间工作在高光下观察瓷砖表面并寻找瑕疵,很容易造成视觉疲劳,直接导致人工质检质量的下降。人工质检不仅效率低下、成本高,而且质量因人而异,参次不齐。因此实现瓷砖表面检测自动化是瓷砖行业生产和质量管理的重要环节,也是困扰该行业多年的技术瓶颈。瓷砖产线中常见的瑕疵包括粉团、角裂、滴釉、断墨、滴墨、B孔、落脏、边裂、缺角、砖渣、白边、拉线等。在这些瑕疵中,拉线的宽度通常在1~2毫米,高度与瓷砖高度一致,在复杂的瓷砖背景图案中极不容易辨识,因此人工质检难度较高,并且目前还没有专门针对拉线缺陷检测的有效方案。
申请号为201910062683.6的专利公开了基于差影法与局部方差测量算子的复杂瓷砖表面缺陷检测方法。该方法首先使用聚类法分割出图像中的显著性区域,接着采用差影法获取图像的大致缺陷区域,然后通过计算缺陷边缘像素点与其周围像素点的局部方差值提取缺陷瓷砖的轮廓,最后经过平滑和填充等形态学操作之后最终获得精确完整的缺陷区域。该方法能够有效、稳定地从复杂的瓷砖背景中检测出缺陷,但是该方法需要提前准备好无缺陷的标准瓷砖图像,这不仅增加了检测的复杂性而且限制了瓷砖表面图案种类的多样化。
申请号为202010222390.2的专利公开了一种马赛克瓷砖缺陷检测方法及装置。该方法首先对待检测图片进行预处理,接着将其输入到GoogleNet卷积神经网络中进行检测,最后当概率值大于等于50%时则做出有缺陷判断。该方法中的GoogleNet卷积神经网络的输入尺寸为224x224x3,其网络的参数量、计算量较大,分别为6.99M和1.58G,不太适用于快速的流水线生产场景。此外,该方法在预处理时对待检测图片做了降采样处理,这会导致一部分图像细节特征的损失,从而降低了检测的准确率。
申请号为202010469022.8的专利公开了一种基于特征融合的深度神经网络表面缺陷检测方法。该方法采用了编码器-解码器网络结构,首先特征提取模块采用ResNet50提取表面缺陷特征,然后利用编码特征融合模块将各卷积层特征融合,最后利用两级级联解码模块实现表面缺陷的检测。该方法同样存在计算量大的缺点。
其他用于不同检测对象的方法例如申请号为202011059937.8公开的少样本学习的钢轨表面缺陷检测方法及装置、申请号为201910676299.5公开的一种基于卷积神经网络的热轧带钢表面缺陷分类方法、申请号为202011558112.0公开的一种基于YOLOv3改进网络的长竹条表面缺陷检测方法及***、申请号为202010674099.9的专利公开的基于深度学习的飞机发动机叶片表面缺陷检测方法等,这些方法在复杂背景下的检测效果较差,且网络参数、计算量较多,检测时间较长。
经总结发现,现有的技术应用于拉线缺陷检测的方法主要有以下缺点:
(1)传统的机器视觉算法主要包括差分阈值法和模板匹配法。这两种方法都需要固定版面,即事先准备好无缺陷的标准图像与生产过程中实时检测的图像做对比,其不但牺牲了瓷砖图案的多样性且阈值不易确定,鲁棒性差。
(2)经典的目标检测网络如VGG-NET、YOLO-V3等,以及在此基础上改进的网络不适用于复杂背景下的缺陷检测;
(3)经典的语义分割网络如FCN(FullyConvolutionalNetworks)、U-NET等,以及在此基础上改进的网络虽然检测精度高,但由于模型参数多,运算量巨大,往往不能满足流水生产线实时性的要求。
发明内容
为解决上述问题,提供一种基于语义分割的轻量型瓷砖表面缺陷检测方法,本发明采用了如下技术方案:
本发明提供的基于语义分割的轻量型瓷砖表面缺陷检测方法,其特征在于,包括:使用高分辨率相机对瓷砖表面进行采集得到待检测图像,并对该待检测图像进行预处理得到预处理图像;建立用于瓷砖表面缺陷检测的轻量型语义分割网络并对该轻量型语义分割网络进行训练得到瓷砖表面缺陷检测网络;将预处理图像输入到瓷砖表面缺陷检测网络进行缺陷检测,从而检测出疑似缺陷区域;对疑似缺陷区域进行后处理,并判断疑似缺陷区域的面积是否大于给定阈值,当判断为是时则将疑似缺陷区域标记为缺陷区域;获取缺陷区域的最小外接正矩形,并将该最小外接正矩形映射回待检测图像并画框标记,轻量型语义分割网络包括依次设置的4个卷积层、第一池化层、8个卷积层、第二池化层、8个卷积层、第三池化层、2个InceptionV1模块以及一个结束卷积层,卷积层采用3×3大小的卷积核。
本发明提供的基于语义分割的轻量型瓷砖表面缺陷检测方法,还可以具有这样的技术特征,将待检测图像转换成灰度图像;对灰度图像进行二值化形成二值图像;对二值图像分别进行水平投影和垂直投影,统计每一行、每一列上的白色像素点个数,并将统计结果作为两个离散数列;取离散数列的中值作为阈值,分别判断二值图像的每一行以及每一列上白色像素点的个数是否小于阈值,若判断为是则去除对应的行以及列并形成处理后图像;对处理后图像进行缩放使得调整后的处理后图像的大小满足以下表达式:
Hnew=[H/1408]*1408
Wnew=[W/512]*512
式中,H、W分别为待检测图像的高和宽,[]为对小数部分进行四舍五入的取整操作,Hnew、Wnew分别为调整后的处理后图像的高和宽,将调整后的处理后图像裁剪为若干张1408×512大小的小图作为预处理图像。
本发明提供的基于语义分割的轻量型瓷砖表面缺陷检测方法,还可以具有这样的技术特征,分别对第一池化层、第二以及第三的输入图像的分辨率进行减半处理,所有卷积层之后均加上Batchnormal层和Relu层,Batchnormal层的函数公式为:
式中,f(x)为激活函数Relu的输出,x为激活函数的输入。
本发明提供的基于语义分割的轻量型瓷砖表面缺陷检测方法,还可以具有这样的技术特征,步骤S2中使用adam优化器来训练轻量型语义分割网络,并且在训练过程中交替训练正负样本,在每一次迭代后进行样本打乱,损失函数BCELoss公式为:
式中,o为输出值,t为标签值,N为样本数量。
本发明提供的基于语义分割的轻量型瓷砖表面缺陷检测方法,还可以具有这样的技术特征,步骤S3中的缺陷检测为使用多个卷积层和池化层对输入的预处理图像进行特征提取,再通过使用Sigmoid函数输出一张分辨率为预处理图像的1/8的分割掩码,该分割掩码中每一个像素值为对应的像素是缺陷的概率,Sigmoid函数公式为:
式中,S(x)为sigmoid函数输出,x为sigmoid函数输入。
本发明提供的基于语义分割的轻量型瓷砖表面缺陷检测方法,还可以具有这样的技术特征,步骤S4中的后处理包括:将每一张分割掩码乘以255并做拼接处理,得到预输入图像;对预输入图像进行二值化;对二值化后的图像进行垂直投影,统计每一列上的白色像素点个数,判断白色像素点个数是否小于给定阈值,若判断为是则将相应的列上的像素值全置为0。
本发明提供的基于语义分割的轻量型瓷砖表面缺陷检测方法,还可以具有这样的技术特征,计算缺陷区域的外轮廓坐标;根据外轮廓坐标计算包覆此轮廓的最小外接正矩形坐标从而得到与每一块缺陷区域相对应的若干个最小外接正矩形;将每一块缺陷区域上的若干个最小外接正矩形合并成一个垂直矩形;根据待检测图像与缺陷区域之间的映射关系,计算出待检测图像中与垂直矩形相对应的矩形坐标,并根据该矩形坐标在待检测图像上画矩形框来标记出缺陷区域。
发明作用与效果
根据本发明的基于语义分割的轻量型瓷砖表面缺陷检测方法,由于轻量型语义分割网络进行训练得到瓷砖表面缺陷检测网络,并将预处理图像进行缺陷检测,从而检测出疑似缺陷区域。对疑似缺陷区域进行后处理,并判断疑似缺陷区域的面积是否大于给定阈值来标记是否为缺陷区域。获取缺陷区域的最小外接正矩形并映射回待检测图像,最后画框标记。因此本实施例专门用于瓷砖缺陷检测的轻量型语义分割网络,具有检测精度高、网络参数少、计算量小、鲁棒性高等特点。在实际产线上能够跟上流水生产的速度,实时给出检测结果;同时,能够代替人工对瓷砖表面拉线缺陷进行自动检测,节约人工成本,提高缺陷检测的可靠性和高效性;另外,本实施例也能都对其他种类的瓷砖表面缺陷进行检测,只需要采集不同的缺陷样本进行模型训练。
附图说明
图1是本发明实施例中的基于语义分割的轻量型瓷砖表面缺陷检测方法的流程图;
图2是本发明实施例中图像预处理的流程图;
图3是本发明实施例中轻量型语义分割网络的结构图;
图4是本发明实施例中训练轻量型语义分割网络的流程图;
图5是本发明实施例中图像后处理的流程图;
图6是本发明实施例中标记缺陷区域的流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,以下结合实施例及附图对本发明的基于语义分割的轻量型瓷砖表面缺陷检测方法作具体阐述。
<实施例>
图1是本发明实施例中的基于语义分割的轻量型瓷砖表面缺陷检测方法的流程图。
如图1所示,基于语义分割的轻量型瓷砖表面缺陷检测方法具体包括步骤S1至步骤S5。
步骤S1,使用高分辨率相机对瓷砖表面进行采集得到待检测图像,并对该待检测图像进行预处理得到预处理图像。
图2是本发明实施例中图像预处理的流程图。
如图2所示,本实施例的步骤S1中使用300dpi的高清工业摄像头采集产线上的瓷砖表面图像,在将采集的图像输入到卷积网络进行缺陷检测之前,需要进行图像预处理,该预处理过程具体包括如下子步骤:
步骤S1-1,将待检测图像转换成灰度图像;
步骤S1-2,对灰度图像进行二值化形成二值图像;
步骤S1-3,对二值图像分别进行水平投影和垂直投影,统计每一行、每一列上的白色像素点个数,并将统计结果作为两个离散数列;
步骤S1-4,取离散数列的中值作为阈值,分别判断二值图像的每一行以及每一列上白色像素点的个数是否小于阈值,若判断为是则去除对应的行以及列并形成处理后图像;
步骤S1-5,对处理后图像进行缩放使得调整后的处理后图像的大小满足以下表达式:
Hnew=[H/1408]*1408
Wnew=[W/512]*512
式中,H、W分别为待检测图像的高和宽,[]为对小数部分进行四舍五入的取整操作,Hnew、Wnew分别为调整后的处理后图像的高和宽,将调整后的处理后图像裁剪为若干张1408×512大小的小图作为预处理图像。
步骤S2,建立用于瓷砖表面缺陷检测的轻量型语义分割网络并对该轻量型语义分割网络进行训练得到瓷砖表面缺陷检测网络。
图3是本发明实施例中轻量型语义分割网络的结构图。
如图3所示,本实施例使用深度学习框架Pytorch构建轻量型语义分割网络,该轻量型语义分割网络包含21个卷积层,2个InceptionV1模块和3个最大池化层,每个池化层对输入图像(即image)的分辨率减半以增大感受野,除最后一个卷积层外所有卷积层之后均加上Batchnormal层和Relu层。其中第一个池化层前有4个卷积层,第二个、第三个池化层前各有8个卷积层。第三个池化层后连续使用两个InceptionV1模块来构建稀疏连接,给网络引入多尺度的感受野和特征融合,最后使用一个1×1的卷积层对输出进行通道融合。这样的结构设计能够在高分辨率的输入图像中获得较大的感受野同时能捕捉到细小的图像特征。此外,网络中卷积层几乎都是采用3×3大小的卷积核,若干层3×3卷积的堆叠不仅增强了网络的非线性表达能力,而且能够在减少网络参数的同时得到与大卷积核卷积层相同的特征提取能力。
具体地,Batchnormal函数公式为:
Relu函数公式为:
式中,f(x)为激活函数Relu的输出,x为激活函数的输入。
轻量型语义分割网络各层的详细参数如下表1所示。
表1轻量型语义分割网络参数表
其中两个InceptionV1模块具体参数如下表2所示。
表2InceptionV1模块参数表
其中第26层卷积层的激活函数是Sigmoid。通过与经典的语义分割网络FCN和U-NET网络对比,可见本网络拥有很小的参数量和计算量,是一种轻量型语义分割网络,具体对比情况如下表3所示。
表3本网络与FCN和U-Net网络的参数量、计算量对比
以上为轻量型语义分割网络的具体结构,本实施例中,该轻量型语义分割网络还需要预先通过训练过程进行训练得到,具体地:
图4是本发明实施例中训练轻量型语义分割网络的流程图。
如图4所示,首先读取数据集(即预先准备的训练集,该训练集中包含多个图像,各个图像通过步骤S1中的预处理过程进行预处理)进行迭代训练,达到迭代次数后读取验证集进行模型评估,若评估结果达到指标则结束训练并保存模型,否则继续训练。另外,使用adam优化器来来训练轻量型语义分割网络,并且在训练过程中交替训练正负样本,在每一次迭代后进行样本打乱,损失函数BCELoss公式为:
式中,o为输出值,t为标签值,N为样本数量。
步骤S3,将预处理图像输入到瓷砖表面缺陷检测网络进行缺陷检测,从而检测出疑似缺陷区域。
待检测瓷砖图像经过步骤S1中的预处理后输入到训练好的轻量型语义分割网络,经过多个卷积层和池化层的特征提取,再通过使用Sigmoid函数输出一张分辨率为预处理图像的1/8的分割掩码,该分割掩码中每一个像素值为对应的像素是缺陷的概率,Sigmoid函数公式为:
式中,S(x)为sigmoid函数输出,x为sigmoid函数输入。
通过与FCN和U-Net网络进行对比,可见本网络在不降低检测精度的情况下,大大减少了参数量和计算量。网络的性能指标对比情况如下表4所示,表中各项参数的计算在以下实验环境中进行:Ubuntu 18.04.5LTS,Intel(R)Xeon(R)Silver [email protected],内存为64G,显存为11G,显卡型号为2080Ti。
表4本网络与FCN和U-Net网络的性能指标对比
步骤S4,对疑似缺陷区域进行后处理,并判断疑似缺陷区域的面积是否大于给定阈值,当判断为是时则将疑似缺陷区域标记为缺陷区域。
图5是本发明实施例中图像后处理的流程图。
如图5所示,后处理的具体过程如下:
将每一张分割掩码乘以255并做拼接处理,得到预输入图像;
对预输入图像进行二值化;
对二值化后的图像进行垂直投影,统计每一列上的白色像素点个数,判断白色像素点个数是否小于给定阈值,若判断为是则将相应的列上的像素值全置为0。
步骤S5,获取缺陷区域的最小外接正矩形,并将该最小外接正矩形映射回待检测图像并画框标记。
图6是本发明实施例中标记缺陷区域的流程图。
如图6所示,步骤S5包括如下子步骤:
步骤S5-1,计算缺陷区域的外轮廓坐标;
步骤S5-2,根据外轮廓坐标计算包覆此轮廓的最小外接正矩形坐标从而得到与每一块缺陷区域相对应的若干个最小外接正矩形;
步骤S5-3,将每一块缺陷区域上的若干个最小外接正矩形合并成一个垂直矩形;
步骤S5-4,根据待检测图像与缺陷区域之间的映射关系,计算出待检测图像中与垂直矩形相对应的矩形坐标,并根据该矩形坐标在待检测图像上画矩形框来标记出缺陷区域。
通过上述步骤,即可完成对瓷砖表面缺陷的检测。
实施例作用与效果
根据本实施例提供的基于语义分割的轻量型瓷砖表面缺陷检测方法,由于轻量型语义分割网络进行训练得到瓷砖表面缺陷检测网络,并将预处理图像进行缺陷检测,从而检测出疑似缺陷区域。对疑似缺陷区域进行后处理,并判断疑似缺陷区域的面积是否大于给定阈值来标记是否为缺陷区域。获取缺陷区域的最小外接正矩形并映射回待检测图像,最后画框标记。因此本实施例专门用于瓷砖缺陷检测的轻量型语义分割网络,具有检测精度高、网络参数少、计算量小、鲁棒性高等特点。在实际产线上能够跟上流水生产的速度,实时给出检测结果;同时,能够代替人工对瓷砖表面拉线缺陷进行自动检测,节约人工成本,提高缺陷检测的可靠性和高效性;另外,本实施例也能都对其他种类的瓷砖表面缺陷进行检测,只需要采集不同的缺陷样本进行模型训练。
实施例中,轻量型语义分割网络包括依次设置的4个卷积层、第一池化层、8个卷积层、第二池化层、8个卷积层、第三池化层、2个InceptionV1模块以及一个结束卷积层,所述卷积层采用3×3大小的卷积核,最后使用一个1×1的卷积层对输出进行通道融合。这样的结构设计能够在高分辨率的输入图像中获得较大的感受野同时能捕捉到细小的图像特征。此外,网络中的卷积层几乎都是采用3×3大小的卷积核,若干层3×3卷积的堆叠不仅增强了网络的非线性表达能力,而且能够在减少网络参数量的同时得到与大卷积核卷积层相同的特征提取能力。
上述实施例仅用于举例说明本发明的具体实施方式,而本发明不限于上述实施例的描述范围。
Claims (7)
1.一种基于语义分割的轻量型瓷砖表面缺陷检测方法,用于对瓷砖表面的缺陷进行检测,其特征在于,包括以下步骤:
步骤S1,使用高分辨率相机对所述瓷砖表面进行采集得到待检测图像,并对该待检测图像进行预处理得到预处理图像;
步骤S2,建立用于瓷砖表面缺陷检测的轻量型语义分割网络并对该轻量型语义分割网络进行训练得到瓷砖表面缺陷检测网络;
步骤S3,将所述预处理图像输入到所述瓷砖表面缺陷检测网络进行缺陷检测,从而检测出疑似缺陷区域;
步骤S4,对所述疑似缺陷区域进行后处理,并判断所述疑似缺陷区域的面积是否大于给定阈值,当判断为是时则将所述疑似缺陷区域标记为缺陷区域;
步骤S5,获取所述缺陷区域的最小外接正矩形,并将该最小外接正矩形映射回所述待检测图像并画框标记,
其中,所述轻量型语义分割网络包括依次设置的4个卷积层、第一池化层、8个卷积层、第二池化层、8个卷积层、第三池化层、2个InceptionV1模块以及一个结束卷积层,
所述卷积层采用3×3大小的卷积核。
2.根据权利要求1所述的基于语义分割的轻量型瓷砖表面缺陷检测方法,其特征在于:
其中,所述步骤S1包括如下子步骤:
步骤S1-1,将所述待检测图像转换成灰度图像;
步骤S1-2,对所述灰度图像进行二值化形成二值图像;
步骤S1-3,对所述二值图像分别进行水平投影和垂直投影,统计每一行、每一列上的白色像素点个数,并将统计结果作为两个离散数列;
步骤S1-4,取所述离散数列的中值作为阈值,分别判断所述二值图像的每一行以及每一列上白色像素点的个数是否小于所述阈值,若判断为是则去除对应的所述行以及所述列并形成处理后图像;
步骤S1-5,对所述处理后图像进行缩放使得调整后的所述处理后图像的大小满足以下表达式:
Hnew=[H/1408]*1408
Whew=[W/512]*512
式中,H、W分别为所述待检测图像的高和宽,[]为对小数部分进行四舍五入的取整操作,Hnew、Wnew分别为调整后的所述处理后图像的高和宽,
将调整后的所述处理后图像裁剪为若干张1408×512大小的小图作为所述预处理图像。
6.根据权利要求5所述的基于语义分割的轻量型瓷砖表面缺陷检测方法,其特征在于:
其中,所述后处理包括:
将每一张所述分割掩码乘以255并做拼接处理,得到预输入图像;
对所述预输入图像进行二值化;
对二值化后的所述图像进行垂直投影,统计每一列上的白色像素点个数,判断所述白色像素点个数是否小于给定阈值,若判断为是则将相应的所述列上的像素值全置为0。
7.根据权利要求1所述的基于语义分割的轻量型瓷砖表面缺陷检测方法,其特征在于:
其中,所述步骤S5包括以下子步骤:
步骤S5-1,计算缺陷区域的外轮廓坐标;
步骤S5-2,根据外轮廓坐标计算包覆此轮廓的最小外接正矩形坐标从而得到与每一块所述缺陷区域相对应的若干个最小外接正矩形;
步骤S5-3,将每一块所述缺陷区域上的若干个最小外接正矩形合并成一个垂直矩形;
步骤S5-4,根据所述待检测图像与所述缺陷区域之间的映射关系,计算出所述待检测图像中与所述垂直矩形相对应的矩形坐标,并根据该矩形坐标在所述待检测图像上画矩形框来标记出所述缺陷区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110695481.2A CN115511775A (zh) | 2021-06-23 | 2021-06-23 | 一种基于语义分割的轻量型瓷砖表面缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110695481.2A CN115511775A (zh) | 2021-06-23 | 2021-06-23 | 一种基于语义分割的轻量型瓷砖表面缺陷检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115511775A true CN115511775A (zh) | 2022-12-23 |
Family
ID=84500311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110695481.2A Pending CN115511775A (zh) | 2021-06-23 | 2021-06-23 | 一种基于语义分割的轻量型瓷砖表面缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115511775A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116580026A (zh) * | 2023-07-12 | 2023-08-11 | 深圳市致尚科技股份有限公司 | 精密零部件外观缺陷自动光学检测方法、设备及存储介质 |
CN117250201A (zh) * | 2023-11-08 | 2023-12-19 | 深圳市洪发建筑工程有限公司 | 一种泳池砖层缺陷检测方法及*** |
-
2021
- 2021-06-23 CN CN202110695481.2A patent/CN115511775A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116580026A (zh) * | 2023-07-12 | 2023-08-11 | 深圳市致尚科技股份有限公司 | 精密零部件外观缺陷自动光学检测方法、设备及存储介质 |
CN116580026B (zh) * | 2023-07-12 | 2023-09-12 | 深圳市致尚科技股份有限公司 | 精密零部件外观缺陷自动光学检测方法、设备及存储介质 |
CN117250201A (zh) * | 2023-11-08 | 2023-12-19 | 深圳市洪发建筑工程有限公司 | 一种泳池砖层缺陷检测方法及*** |
CN117250201B (zh) * | 2023-11-08 | 2024-02-13 | 深圳市洪发建筑工程有限公司 | 一种泳池砖层缺陷检测方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960245B (zh) | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 | |
CN111325203B (zh) | 一种基于图像校正的美式车牌识别方法及*** | |
CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
CN110544251B (zh) | 基于多迁移学习模型融合的大坝裂缝检测方法 | |
CN104992449B (zh) | 基于机器视觉的信息识别及表面缺陷在线检测方法 | |
CN112233067A (zh) | 一种热轧钢卷端面质量检测方法及*** | |
CN109444169B (zh) | 一种轴承缺陷检测方法及*** | |
CN107543828A (zh) | 一种工件表面缺陷检测方法及*** | |
CN110033431B (zh) | 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 | |
CN108181316B (zh) | 一种基于机器视觉的竹条缺陷检测方法 | |
CN111582294A (zh) | 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 | |
CN109215009B (zh) | 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法 | |
CN112613097A (zh) | 一种基于计算机视觉的bim快速化建模方法 | |
CN112907519A (zh) | 一种基于深度学习的金属曲面缺陷分析***及方法 | |
CN115511775A (zh) | 一种基于语义分割的轻量型瓷砖表面缺陷检测方法 | |
CN108985337A (zh) | 一种基于图像深度学习的产品表面划痕检测方法 | |
CN109376740A (zh) | 一种基于视频的水尺读数检测方法 | |
CN110473201A (zh) | 一种刹车片表面缺陷的自动检测方法及装置 | |
CN111612747B (zh) | 产品表面裂缝快速检测方法及检测*** | |
CN113869300A (zh) | 基于多视觉融合的工件表面缺陷和字符识别的方法及*** | |
CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
CN113393438B (zh) | 一种基于卷积神经网络的树脂镜片缺陷检测方法 | |
CN109101976A (zh) | 一种灭弧栅片表面缺陷的检测方法 | |
CN113240623A (zh) | 一种路面病害检测方法及装置 | |
CN116824347A (zh) | 一种基于深度学习的道路裂纹检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |