CN110826416A

CN110826416A - 一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置

Info

Publication number: CN110826416A
Application number: CN201910963407.7A
Authority: CN
Inventors: 王志锋; 周壮壮; 卢清华
Original assignee: Foshan University
Current assignee: Foshan University
Priority date: 2019-10-11
Filing date: 2019-10-11
Publication date: 2020-02-21
Anticipated expiration: 2039-10-11
Also published as: CN110826416B

Abstract

本发明涉及视觉检测技术领域，具体涉及一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置，首先获取图像数据集，所述图像数据集为待检测卫浴陶瓷的表面图像的集合；并标注所述表面图像的缺陷类型和缺陷最小外接矩形，生成图像特征集；进而将所述图像特征集划分为训练集、验证集和测试集，根据所述训练集的缺陷最小外接矩形生成候选框；接着将所述候选框输入到Faster R‑CNN神经网络进行训练，生成表面缺陷检测模型；最后将所述测试集输入所述检测模型，检测出待检测卫浴陶瓷的缺陷类型，本发明可以对卫浴陶瓷表面缺陷检测进行准确的识别与定位。

Description

一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置

技术领域

本发明涉及视觉检测技术领域，具体涉及一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置。

背景技术

在工厂实际生产线中，由于产品运输、制造工艺不稳定、人为干扰等不可控因素的存在，产品不可避免的存在某些缺陷。其中，表面缺陷对产品质量的影响尤为突出，如划痕、裂缝等，该类缺陷不仅影响产品外观甚至会造成产品某些功能不能正常实现。因此，表面缺陷检测是提高生产效率及良品率的关键所在。对于喷釉烧制后的马桶工件，该工件表面光滑易反光且缺陷部分对比度不明显，在普通环境光照射下缺陷处难以识别。此外，由于不同型号的马桶拥有不同的型面，且马桶存在突出的边缘，这些特点均会对识别算法造成一定干扰。

表面缺陷检测技术是智能生产线中极其重要的环节，传统人工质检或离线抽样检查因劳动强度高、工作量大以及易受主观影响而不能保持长期高效的检测效率，从而在一定程度上制约了工厂生产效率。

支持向量机与传统图像处理技术的结合适用于小样本的缺陷检测，但检测结果的好坏很大程度上取决于提取到的特征质量。因此，该类方法对开发人员的相关专业知识要求较高，同时当识别任务发生变化时，其算法的鲁棒性有待进一步提高。

因此，如何对卫浴陶瓷表面缺陷检测进行准确的识别与定位，成为亟待解决的问题。

发明内容

为解决上述问题，本发明提供一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置，可以对卫浴陶瓷表面缺陷检测进行准确的识别与定位。

为了实现上述目的，本发明提供以下技术方案：

根据本发明第一方面实施例的一种基于深度学习的卫浴陶瓷表面缺陷检测方法，包括：

获取图像数据集，所述图像数据集为待检测卫浴陶瓷的表面图像的集合；

标注所述表面图像的缺陷类型和缺陷最小外接矩形，生成图像特征集；

将所述图像特征集划分为训练集、验证集和测试集，根据所述训练集的缺陷最小外接矩形生成候选框；

将所述候选框输入到Faster R-CNN神经网络进行训练，生成表面缺陷检测模型；

将所述测试集输入所述检测模型，检测出待检测卫浴陶瓷的缺陷类型。

根据本发明的一些实施例，在标注所述表面图像的缺陷类型和缺陷最小外接矩形之前，包括：

对所述表面图像进行尺寸归一化处理，生成归一化图像；

使用高斯滤波剔除所述归一化图像中包含的噪声，使用拉普拉斯变换增强所述归一化图像的对比度；

依次延逆时针方向将所述表面图像旋转90°、180°、270°，并在每个旋转角度的表面图像进行随机剪裁，以增强所述表面图像的清晰度。

根据本发明的一些实施例，所述根据所述训练集的缺陷最小外接矩形生成候选框，包括：

采用K-Means算法，以最小类内距离为评价指标，对所述缺陷最小外接矩形进行聚类；

用聚类得到的尺寸替换所述缺陷最小外接矩形的尺寸，生成所述缺陷最小外接矩形的预选框；

采用Faster R-CNN神经网络框从所述预选框中选出所述缺陷最小外接矩形的候选框。

根据本发明的一些实施例，所述将所述候选框输入到Faster R-CNN神经网络进行训练，生成表面缺陷检测模型，包括：

对所述候选框进行多尺度特征融合，识别所述候选框包含的特征图缺陷类型和坐标；

对所述候选框进行筛选，生成标注框；

将所述验证集输入Faster R-CNN神经网络进行训练，得到表面缺陷的结果框；

采用多任务损失函数计算所述结果框和所述标注框的偏差，所述多任务损失函数包括分类损失函数和回归损失函数，当所述偏差低于设定阈值时，则完成对Faster R-CNN神经网络的训练；

将完成训练后的Faster R-CNN神经网络作为检测模型。

根据本发明的一些实施例，所述对所述候选框进行多尺度特征融合，识别所述候选框包含的特征图缺陷类型和坐标框坐标，包括：

将特征金字塔网络加入VGG16卷积神经网络中，合并所述候选框包含的多个特征图，多个所述特征图具有各自的尺寸和感受野；

将多个所述特征图输入RPN网络中，识别所述特征图的缺陷类型和坐标框坐标；

将所述特征图根据各自的锚点映射到候选框中。

根据本发明的一些实施例，所述对所述候选框进行筛选，生成标注框，包括：

步骤2.1、剔除超出所述表面图像的边界的候选框；

步骤2.2、过滤掉宽度或高度小于设定阈值的候选框；

步骤2.3、计算候选框与标注框的重叠度，根据所述重叠度对候选框排序，提取排序在前面的N个候选框；

步骤2.4、使用非极大值抑制算法对步骤2.3提取的候选框进行过滤；

步骤2.5、若经过步骤2.4过滤后的候选框数量仍大于设定阈值S，则选取排序在前面的S个候选框作为标注框。

根据本发明第二方面实施例的一种基于深度学习的卫浴陶瓷表面缺陷检测装置，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现本发明第一方面所述的基于深度学习的卫浴陶瓷表面缺陷检测方法。

本发明的有益效果是：本发明公开一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置，首先获取图像数据集，所述图像数据集为待检测卫浴陶瓷的表面图像的集合；并标注所述表面图像的缺陷类型和缺陷最小外接矩形，生成图像特征集；进而将所述图像特征集划分为训练集、验证集和测试集，根据所述训练集的缺陷最小外接矩形生成候选框；接着将所述候选框输入到Faster R-CNN神经网络进行训练，生成表面缺陷检测模型；最后将所述测试集输入所述检测模型，检测出待检测卫浴陶瓷的缺陷类型。本发明可以对卫浴陶瓷表面缺陷检测进行准确的识别与定位。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一种基于深度学习的卫浴陶瓷表面缺陷检测方法的流程示意图；

图2是本发明实施例步骤S300的流程示意图；

图3是本发明实施例中标准Faster R-CNN算法生成的原始框；

图4是本发明实施例中基于K-Means聚类算法生成的候选框；

图5是本发明实施例步骤S400的流程示意图；

图6是本发明实施例提供的多尺度特征融合结构图。

具体实施方式

以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

根据本申请的第一方面，参考图1，本申请实施例提供的一种基于深度学习的卫浴陶瓷表面缺陷检测方法，包括以下步骤：

步骤S100、获取图像数据集，所述图像数据集为待检测卫浴陶瓷的表面图像的集合。

在一个可选的实施例中，使用工业相机在同轴光源的照射下对卫浴陶瓷表面进行图像采集，从而获取待检测卫浴陶瓷表面缺陷的图像数据集，所述图像数据集为待检测卫浴陶瓷的表面图像的集合。

步骤S200、标注所述表面图像的缺陷类型和缺陷最小外接矩形，生成图像特征集。

在一个可选的实施例中，使用labelImg图片标注工具对所述表面图像进行人工标注，从而框定缺陷范围，将标注后的表面图像汇集成图像特征集，将所述图像特征集以xml文件格式进行存储，用于后续的模型训练。可选地，人工标注的内容包括：缺陷类型、缺陷最小外接矩形的坐标，所述缺陷类型包括针孔、硬裂、裂纹、麻点、坑包、杂质。

步骤S300、将所述图像特征集划分为训练集、验证集和测试集，根据所述训练集中的缺陷最小外接矩形生成候选框。

步骤S400、将所述候选框输入到Faster R-CNN神经网络进行训练，生成表面缺陷检测模型。

步骤S500、将所述测试集输入所述检测模型，检测出待检测卫浴陶瓷的缺陷类型。

本实施例首先获取图像数据集，并标注所述表面图像的缺陷类型和缺陷最小外接矩形，生成图像特征集，从而形成用于模型训练的表面图像样本；进而对表面图像样本进行初步处理，将所述图像特征集划分为训练集、验证集和测试集，根据所述训练集中的缺陷最小外接矩形生成候选框；接着将所述候选框输入到Faster R-CNN神经网络进行训练，生成表面缺陷检测模型；最后将所述测试集输入所述检测模型，检测出待检测卫浴陶瓷的缺陷类型。本发明提供的实施例在训练好检测模型后，只需将待检测的表面图像输入检测模型，即可自动识别卫浴陶瓷表面缺陷检测的缺陷区域和缺陷类型，在检测过程中无需人工处理，可以对卫浴陶瓷表面缺陷检测进行准确的识别与定位。

在一个优选的实施例中，在步骤S200之前，包括：

对所述表面图像进行尺寸归一化处理，生成归一化图像；

使用高斯滤波剔除所述表面图像中包含的噪声，使用拉普拉斯变换增强所述表面图像的对比度。

依次延逆时针方向将所述表面图像旋转90°、180°、270°，并在每个旋转角度的表面图像进行随机剪裁，以增强所述表面图像的清晰度。从而增强了所述表面图像中缺陷区域与背景区域的区分度。降低了表面图像因对比度较低，缺陷较小所导致的查准率与召回率降低的问题。

参考图2，在一个优选的实施例中，所述步骤S300中，根据所述训练集中的缺陷最小外接矩形生成候选框，包括：

步骤S310、采用K-Means算法，以最小类内距离为评价指标，对所述缺陷最小外接矩形进行聚类；

步骤S320、用聚类得到的尺寸替换所述缺陷最小外接矩形的尺寸，生成所述缺陷最小外接矩形的预选框；

步骤S330、采用Faster R-CNN神经网络框从所述预选框中选出所述缺陷最小外接矩形的候选框。

本实施例中，所述尺寸包括尺寸大小和长宽比，通过对缺陷最小外接矩形进行调整，改变直接采用RPN网络生成的候选框的尺寸与长宽比，使其适用于卫浴陶瓷表面缺陷的定位与框选。

为直观的展示K-Means聚类算法对候选框尺寸和长宽比的改进，在一个对比性的示例中，如图3和图4所示，其中图3为标准Faster R-CNN算法生成的原始框，图4为基于K-Means聚类算法生成的候选框。由图3可以看出，大部分原始框标注的区域包含背景过多，这会增加算法计算成本并增大模型收敛难度。由图4看出，大部分候选框都标注出了缺陷所在的位置，较小尺寸的候选框有利于识别针孔、坑包、麻点、杂质缺陷，接近长方形的候选框有利于识别裂缝和硬裂缺陷，通过多种尺寸与长宽比的组合，候选框能够覆盖大部分类型的缺陷，并有效降低算法复杂度。

参考图5，在一个优选的实施例中，所述步骤S400包括：

步骤S410、对所述候选框进行多尺度特征融合，识别所述候选框包含的特征图缺陷类型和坐标。

在本实施例中，特征图是指：经特征提取网络提取后，生成的特征值矩阵，用于对感受野进行分类，感受野的值越大表示其能接触到的图像范围越大，即该神经元包含的特征越抽象，语义层次越高；感受野的值越小，表示其包含的特征更加趋向于局部和细节；特征提取网络是缺陷检测模型中的重要组成部分，特征图获取是目标检测的重要步骤。

在深度网络中，底层特征虽然具有较少的语义信息但目标定位准确，高层特征语义信息丰富适合检测小目标但定位效果不理想。为提高模型定位与检测精度，本实施例采用多特征融合技术为后续网络结构提供更多的语义信息和细粒度特征，增加模型了对小目标的特征提取能力，在一定程度上提高了查准率。

在一个具体实施例中，所述步骤S410包括：

1.1、将特征金字塔网络加入VGG16卷积神经网络中，合并所述候选框包含的多个特征图，多个所述特征图具有各自的尺寸和感受野；

1.2、将多个所述特征图输入RPN网络中，识别所述特征图的缺陷类型和坐标框坐标；

1.3、将所述特征图根据各自的锚点映射到候选框中。

在本实施例中，感受野是指：卷积神经网络每一层输出的特征图上的像素点在输入图片上映射的区域大小。锚点是指：特征提取网络提取到的特征图上的像素点。RPN网络是指区域生成网络(Region-Proposal-Network)。本发明实施例提供的多尺度特征融合结构图如图6所示。图中虚线框内是横向连接，1*1的卷积核用来调节特征图的维度，使其能够与上采样后的特征矩阵融合。首先对具有更抽象、语义特征更强的高层特征进行2倍上采样，再通过矩阵加法把它横向连接到上一层特征。融合后使用3*3的卷积核对每个新特征卷积，以消除上采样后的混叠效应。通过融合低层高分辨率特征和高层高语义信息特征，使得所有尺度下的特征都具有丰富的语义特征，并且在每个融合后的特征层上进行单独预测，来增强对小目标的检测能力。

本实施例中，直接由锚点生成的候选框数量过多，且部分候选框并未框选出缺陷区域。若所有候选框均参与训练，则会极大地增加模型训练时间成本，同时可能导致对算法模型的训练难以收敛，为此，本实施例还提供以下步骤。

步骤S420、对所述候选框进行筛选，生成标注框。具体包括以下步骤：

步骤2.1、剔除超出所述表面图像边界的候选框；

步骤2.2、过滤掉宽度或高度小于设定阈值的候选框；

所述N、S的值根据缺陷的实际大小进行设置，例如，所述排序在前面的N个候选框可按照一定的百分比进行选取，例如，可选取排序在前10％的候选框；或者直接选择一定数量的候选框，例如排序位于前1000张的候选框，本领域技术人员清楚，选取的候选框数量越多，多检测模型的训练精度越有利，因此，选择的候选框需要满足一定的数量，将N设定为1000，将S设定为300。

步骤S430、将所述验证集输入Faster R-CNN神经网络进行训练，得到表面缺陷的结果框。

步骤S440、采用多任务损失函数计算所述结果框和所述标注框的偏差，所述多任务损失函数包括分类损失函数和回归损失函数，当所述偏差低于设定阈值时，则完成对Faster R-CNN神经网络的训练。

步骤S450、将完成训练后的Faster R-CNN神经网络作为检测模型。

在一个示例中，本实施例步骤S500中，将所述测试集输入所述检测模型，检测出待检测卫浴陶瓷的缺陷类型；与基于支持向量机的现有缺陷检测方法对比实验结果如表1所示。

表1：对比实验结果

模型	查准率(precision)	召回率(recall)	检测时间ms/张
				现有缺陷检测方法	0.603	0.416	630
本实施例	0.903	0.886	165

从表1的对比数据可知：本实施例提供的方法具有更高的查准率、召回率，以及更短的检测时间，因此，本发明提高了卫浴陶瓷表面缺陷检测的精度，提高了对卫浴陶瓷表面微小缺陷的感知能力。

根据本申请的第二方面，本发明还提供一种基于深度学习的卫浴陶瓷表面缺陷检测装置，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现第一方面实施例中所述的基于深度学习的卫浴陶瓷表面缺陷检测方法。

所述一种基于深度学习的卫浴陶瓷表面缺陷检测装置可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种基于深度学习的卫浴陶瓷表面缺陷检测装置，可运行的装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种基于深度学习的卫浴陶瓷表面缺陷检测装置的示例，并不构成对一种基于深度学习的卫浴陶瓷表面缺陷检测装置的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种基于深度学习的卫浴陶瓷表面缺陷检测装置还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central-Processing-Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital-Signal-Processor，DSP)、专用集成电路(Application-Specific-Integrated-Circuit，ASIC)、现场可编程门阵列(Field-Programmable-Gate-Arr ay，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种基于深度学习的卫浴陶瓷表面缺陷检测装置的控制中心，利用各种接口和线路连接整个一种基于深度学习的卫浴陶瓷表面缺陷检测装置可运行装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种基于深度学习的卫浴陶瓷表面缺陷检测装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart-Media-Card，SMC)，安全数字(Secure-Digital，SD)卡，闪存卡(Flash-Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims

1.一种基于深度学习的卫浴陶瓷表面缺陷检测方法，其特征在于，包括：

2.根据权利要求1所述的一种基于深度学习的卫浴陶瓷表面缺陷检测方法，其特征在于，在标注所述表面图像的缺陷类型和缺陷最小外接矩形之前，包括：

对所述表面图像进行尺寸归一化处理，生成归一化图像；

3.根据权利要求2所述的一种基于深度学习的卫浴陶瓷表面缺陷检测方法，其特征在于，所述根据所述训练集的缺陷最小外接矩形生成候选框，包括：

4.根据权利要求3所述的一种基于深度学习的卫浴陶瓷表面缺陷检测方法，其特征在于，所述将所述候选框输入到Faster R-CNN神经网络进行训练，生成表面缺陷检测模型，包括：

对所述候选框进行筛选，生成标注框；

将完成训练后的Faster R-CNN神经网络作为检测模型。

5.根据权利要求4所述的一种基于深度学习的卫浴陶瓷表面缺陷检测方法，其特征在于，所述对所述候选框进行多尺度特征融合，识别所述候选框包含的特征图缺陷类型和坐标框坐标，包括：

将所述特征图根据各自的锚点映射到候选框中。

6.根据权利要求5所述的一种基于深度学习的卫浴陶瓷表面缺陷检测方法，其特征在于，所述对所述候选框进行筛选，生成标注框，包括：

步骤2.1、剔除超出所述表面图像的边界的候选框；

步骤2.2、过滤掉宽度或高度小于设定阈值的候选框；

7.一种基于深度学习的卫浴陶瓷表面缺陷检测装置，其特征在于，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于深度学习的卫浴陶瓷表面缺陷检测方法。