CN116152209A - 一种耳机罩缺陷检测方法、装置、设备及存储介质 - Google Patents
一种耳机罩缺陷检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116152209A CN116152209A CN202310175412.8A CN202310175412A CN116152209A CN 116152209 A CN116152209 A CN 116152209A CN 202310175412 A CN202310175412 A CN 202310175412A CN 116152209 A CN116152209 A CN 116152209A
- Authority
- CN
- China
- Prior art keywords
- defect
- data set
- sample
- network
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 142
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000011218 segmentation Effects 0.000 claims abstract description 38
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000008485 antagonism Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000007246 mechanism Effects 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims description 21
- 238000010276 construction Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 4
- 238000011897 real-time detection Methods 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 239000010985 leather Substances 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种耳机罩缺陷检测方法、装置、设备及存储介质，包括：首先采集耳机罩表面样本构造样本数据集；其次进行亮度均衡算法处理，可以提高缺陷区域的对比度，帮助网络模型更好地训练；然后构造深度卷积生成对抗网络DCGAN模型，用于扩充缺陷样本；然后将扩充的缺陷样本加入的初始的样本数据集中，作为新的样本数据集；最后将UNet作为主干网络，并加入了注意力机制构建语义分割网络Attention‑UNet，用于对实时采集的耳机罩图片进行缺陷检测，提取出当前耳机罩图片中的缺陷区域，进而实现整个缺陷检测过程。该方法可以解决基于传统的耳机罩缺陷检测方法容易受环境、光照等因素影响，检测精度低，以及在深度学习中部分缺陷样本不足等问题。
Description
技术领域
本发明涉及缺陷检测技术领域，特别涉及一种耳机罩缺陷检测方法、装置、设备及存储介质。
背景技术
由于耳机罩是一个复杂的立体物品，需要检测的缺陷种类多，且检测难度高，所以目前检测耳机罩缺陷主要还是使用人工目检这种传统的方法，但是这种方法存在着很多问题：1、劳动强度大、检测稳定性及一致性差；2、自动化程度低、生产效率低；3、难以形成精益化生产；4、招工难、用工难、培训难、成本高。
有一些企业尝试使用基于机器视觉和传统图像处理的方法去检测耳机罩缺陷，这种方法是通过适当的光源和图像传感器(CCD摄像机)获取产品的表面图像，利用相应的图像处理算法提取图像的特征信息，然后根据特征信息进行表面缺陷的定位、识别。目前基于机器视觉和传统图像处理的耳机罩缺陷检测方法存在以下问题：1、受环境、光照、生产工艺和噪声等多重因素影响，要求检测***的信噪比一般比较低，对微弱的缺陷信号难以检出或不能与噪声有效区分；2、基于机器视觉和传统图像处理的缺陷检测方法的准确性不高，当检测对象多样、表面缺陷种类繁多、形态多样、背景复杂时，缺陷的特征提取较为困难，传统算法的延展性不足，难以形成一个有效统一的缺陷识别方法，且在面对数据量较大的时候，提取缺陷特征的算法能力不足，实时性不高。
因此，耳机罩外观缺陷特征提取困难以及部分缺陷样本少导致样本不均衡是亟待解决的技术问题。
发明内容
本发明主要解决耳机罩外观缺陷特征提取困难以及部分缺陷样本少导致样本不均衡的技术问题。为了解决该技术问题，本发明采取的技术方案是：一种耳机罩缺陷检测方法、装置、设备及存储介质。
根据本发明的第一方面，一种耳机罩缺陷检测方法，包括以下步骤：
采集耳机罩表面样本，构造样本数据集，所述样本数据集包括正常样本和缺陷样本；
采用局部亮度均衡算法对样本数据集进行预处理；
构造深度卷积生成对抗网络DCGAN模型，对预处理后的缺陷样本进行扩充；
将扩充生成的缺陷样本加入到初始的样本数据集中，作为新的样本数据集；
构造语义分割网络模型，并输入新的样本数据集进行网络训练；
实时加载待检测图片，进行预处理后，使用训练好的语义分割网络模型对待检测图片中缺陷区域进行检测，并将检测结果进行显示。
进一步地，所述采用局部亮度均衡算法对样本数据集进行预处理，包括：
获取样本数据集中每个原像素点的灰度值为xi，计算每个原像素点的缩放比例Xi，计算公式为：
给定附加比例系数α，计算均衡后的灰度值Xout，计算公式为：
将每个原像素点的灰度值替换为均衡后的灰度值，即完成样本数据集的预处理。
进一步地，所述构造深度卷积生成对抗网络DCGAN模型，对预处理后的缺陷样本进行扩充，包括：
a、训练判别器D：
初始化判别器D的网络参数，利用训练集中的n个样本来训练判别器D；
b、固定判别器D，训练生成器G：
初始化生成器G的网络参数，利用高斯噪声使生成器G生成假图，使生成器G的能力不断提高，直到判别器D判断假图是否为假的概率为50％时停止；
c、固定生成器G，训练判别器D：
固定生成器G，然后开始训练判别器D，判别器D通过不断训练，直到可以准确的判断出所有的假图；
d、循环步骤b和步骤c的过程，多次更新迭代后，理想状态下，最终判别器D无法区分图片是来自真实的缺陷样本集合，还是来自生成器G生成的缺陷样本，此时辨别正确的概率为50％；同时观察生成器G生成的缺陷样本质量来判断生成器G训练的结果是否符合要求，若符合要求，则训练完成，否则返回步骤b。
进一步地，所述语义分割网络是采用UNet作为主干网络，并加入了Attention机制，语义分割网络的输入和输出尺寸是一致的，语义分割网络包括：特征提取网络和上采样层，其中特征提取网络包含4个Conv卷积块结构来提取特征，每一个Conv卷积块包含一个卷积层、一个Relu激活层和归一化层；4个上采样层完成从特征向量中还原出图像的底层特征来得到生成图像，每个上采样层都对输入进行卷积、Relu激活和归一化处理，所有卷积层使用的卷积核大小均为3*3，步长为2；上采样操作的尺寸大小均为2。
进一步地，所述语义分割网络的训练过程中，构造并利用损失函数与随即梯度下降算法更新网络权重参数，直至模型损失收敛，所述损失函数的表达式如下：
其中m代表batch_size的大小，n代表缺陷类别数量，p(xij)为真实标签值，q(xij)为网络训练值。
进一步地，在所述语义分割网络的训练之前，还包括：对新的样本数据集进行数据增强。
进一步地，所述数据增强包括：几何变换、色彩变化和随机剪裁。
根据本发明的第二方面，一种耳机罩缺陷检测装置，包括以下模块：
初始数据集构造模块，用于采集耳机罩表面样本，构造样本数据集，所述样本数据集包括正常样本和缺陷样本；
数据集预处理模块，用于采用局部亮度均衡算法对样本数据集进行预处理；
缺陷样本扩充模块，用于构造深度卷积生成对抗网络DCGAN模型，对预处理后的缺陷样本进行扩充；
新数据集构造模块，用于将扩充生成的缺陷样本加入到初始的样本数据集中，作为新的样本数据集；
语义分割网络构造及训练模块，用于构造语义分割网络模型，并输入新的样本数据集进行网络训练；
缺陷实时检测模块，用于实时加载待检测图片，进行预处理后，使用训练好的语义分割网络模型对待检测图片中缺陷区域进行检测，并将检测结果进行显示。
根据本发明的第三方面，一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的耳机罩缺陷检测方法的步骤。
根据本发明的第四方面，一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的耳机罩缺陷检测方法的步骤。
本发明提供的技术方案具有以下有益效果：
本发明通过构建并训练语义分割网络Attention-UNet，属于深度学习方法，为耳机罩缺陷检测提供一种全新的方法，该方法不容易受环境、光照、生产工艺和噪声等多重因素的影响，鲁棒性较好，可以更准确、更精细的检测出缺陷的边缘，方便更好提取出缺陷区域，因此可以大大提高缺陷检测的准确率。
本发明通过构建并训练深度卷积生成对抗网络DCGAN，能够使用该网络进行缺陷样本扩充，因此解决了缺陷检测样本数据不足导致的样本不均衡的问题，避免了过拟合现象的产生，能够生成丰富多样且逼真的的训练集样本。
本发明通过设计了一种局部亮度均衡算法，该算法的主要原理是对原图像素点的灰度值附加比例系数，实现对低亮度区域增益，高亮区域的抑制，因此针对性的解决了耳机罩这种黑色皮质产品表面产生反光导致图像局部过曝的问题。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明一种耳机罩缺陷检测方法的总体流程图；
图2为本发明用于缺陷样本生成的深度卷积生成对抗网络DCGAN网络的结构图；
图3为本发明用于缺陷检测的语义分割网络Attention-UNet的结构图；
图4为本发明Attention Gate(AG)的结构图；
图5为本发明一种耳机罩缺陷检测装置的结构示意图；
图6为本发明一种电子设备的结构示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
首先，需要说明一下本发明的技术关键点在于以下几点：
1、设计了一种亮度均衡算法，可以针对性的解决耳机罩这种黑色皮质产品表面产生反光导致图像局部过曝的问题。
2、使用生成对抗网络生成耳机罩缺陷样本来扩充数据集，可以解决传统数据增强方式存在的容易丢失目标特征的问题，能够为缺陷检测提供更多逼真的缺陷样本数据集，从而提高检测效果。技术关键点在于搭建合适的深度卷积生成对抗网络DCGAN网络模型、构造恰当的损失函数以及选取最佳的网络初始化参数使得生成缺陷样本效果最好。
3、使用语义分割网络Attention-UNet，可以更准确、更精细的检测出缺陷的边缘，方便更好提取出缺陷区域。技术关键点在于搭建合适的Attention-UNet网络模型、构造恰当的损失函数以及选取最佳的网络初始化参数使得缺陷检测效果最好。
基于上述技术关键点，本发明的技术方案是这样实施的，参考图1，本发明提供了一种耳机罩缺陷检测方法，其主要包括以下步骤：
S1：采集耳机罩表面样本，构造样本数据集，所述样本数据集包括正常样本和缺陷样本；
具体地，使用相机和光源组成的硬件平台，对耳机罩进行正常样本和缺陷样本的采集，并把采集到的样本存储到计算机中作为初始的样本数据集。
S2：采用局部亮度均衡算法对样本数据集进行预处理；
需要说明的是，对耳机罩表面样本数据集进行传统算法预处理，可以提高缺陷区域的对比度，帮助网络模型更好地训练。耳机罩的材质为黑色皮质，这种皮制产品表面容易产生反光，虽然通过较好的打光方式可以抑制一部分反光，但还是存在一些局部区域反光比较严重，这些区域对后续的缺陷检测有一定的影响，故本发明设计了一种局部亮度均衡算法，对曝光区域进行补正。该算法的主要原理就是对原图像素点的灰度值附加比例系数，实现对低亮度区域增益，高亮区域的抑制。
该算法具体是这样实现的：
获取样本数据集中每个原像素点的灰度值为xi，计算每个原像素点的缩放比例Xi，计算公式为：
给定附加比例系数α，计算均衡后的灰度值Xout，计算公式为：
将每个原像素点的灰度值替换为均衡后的灰度值，即完成样本数据集的预处理。
附加比例系数α一般取0.5，α越小对高亮区域的抑制越大。
S3：构造深度卷积生成对抗网络DCGAN模型，对预处理后的缺陷样本进行扩充；
需要说明的是，由于在耳机罩在生产加工的过程中有一些缺陷类型存在量较小且不易收集，为了均衡每种缺陷样本类型的数量，于是需要对其进行扩充。参考图2，图2是用于缺陷样本生成的深度卷积生成对抗网络DCGAN网络结构图。
深度卷积生成对抗网络的训练过程如下：
a、训练判别器D：
初始化判别器D的网络参数，利用训练集中的n个样本来训练判别器D；
b、固定判别器D，训练生成器G：
初始化生成器G的网络参数，利用高斯噪声使生成器G生成假图，使生成器G的能力不断提高，直到判别器D判断假图是否为假的概率为50％时停止；
c、固定生成器G，训练判别器D：
固定生成器G，然后开始训练判别器D，判别器D通过不断训练，直到可以准确的判断出所有的假图；
d、循环步骤b和步骤c的过程，多次更新迭代后，理想状态下，最终判别器D无法区分图片是来自真实的缺陷样本集合，还是来自生成器G生成的缺陷样本，此时辨别正确的概率为50％；同时观察生成器G生成的缺陷样本质量来判断生成器G训练的结果是否符合要求，若符合要求，则训练完成，否则返回步骤b。
这里，一般以IS作为评价指标，IS评价指标越大，说明两个分布的差异越大，IS评价指标的计算公式如下：
IS(G)＝exp(Εx～PgDKL(p(y|x)||p(y)))) (3)
当深度卷积生成对抗网络DCGAN训练完成后，即实现了缺陷样本的扩充。
S4：将扩充生成的缺陷样本加入到初始的样本数据集中，作为新的样本数据集；
在S4之后，还包括：对新的样本数据集进行数据增强，对有缺陷的耳机罩图像进行几何变换(比如缩放、位移、旋转、对比度变换)、色彩变化、随机剪裁等方法，这些方法可以改变图像中特征的位置信息、色彩、大小等，在一定程度上能够增加训练图像的多样性。
S5：构造语义分割网络模型，并输入新的样本数据集进行网络训练；
本实施例中的语义分割网络是采用UNet作为主干网络，并加入了Attention机制，该网络的输入和输出尺寸是一致的，该网络包括：特征提取网络和下采样层，其中的特征提取网络包含4个Conv卷积块结构来提取特征，每一个卷积块包含一个卷积层、一个Relu激活层和归一化层；4个上采样完成从特征向量中还原出图像的底层特征来得到生成图像。每个上采样层都对输入进行卷积、Relu激活和归一化处理。所有卷积层使用的卷积核大小均为3*3，步长为2；上采样操作的尺寸大小均为2。参考图3，图3是用于缺陷检测的Attention-UNet的网络结构图。其中的Attention Gate(AG)的结构参考图4。
对Attention-UNet网络模型进行训练：构造并利用损失函数与随机梯度下降算法(SGD算法)更新网络权重参数，直至模型损失收敛，网络权重参数利用下述损失函数进行训练。式(4)(5)为注意力分数计算公式，式(6)为损失函数。
其中m代表batch_size的大小，n代表缺陷类别数量，p(xij)为真实标签值，q(xij)为网络训练值。
S6：实时加载待检测图片，进行预处理后，使用训练好的语义分割网络模型对待检测图片中缺陷区域进行检测，并将检测结果进行显示；
需要说明的是，步骤S6中的预处理过程与步骤S2一样，均是采用一种局部亮度均衡算法，对曝光区域进行补正。
本实施例中，将检测结果显示在待检测图片上，在其他实施例中，也可以将检测结果显示在计算机、手机APP上，便于用户远程监控。
下面对本发明提供的一种耳机罩缺陷检测装置进行描述，下文描述的耳机罩缺陷检测装置与上文描述的耳机罩缺陷检测方法可相互对应参照。
参考图5，本发明实施例提供了一种耳机罩缺陷检测装置，包括以下模块：
初始数据集构造模块510，用于采集耳机罩表面样本，构造样本数据集，所述样本数据集包括正常样本和缺陷样本；
数据集预处理模块520，用于采用局部亮度均衡算法对样本数据集进行预处理；
缺陷样本扩充模块530，用于构造深度卷积生成对抗网络DCGAN模型，对预处理后的缺陷样本进行扩充；
新数据集构造模块540，用于将扩充生成的缺陷样本加入到初始的样本数据集中，作为新的样本数据集；
语义分割网络构造及训练模块550，用于构造语义分割网络模型，并输入新的样本数据集进行网络训练；
缺陷实时检测模块560，用于实时加载待检测图片，进行预处理后，使用训练好的语义分割网络模型对待检测图片中缺陷区域进行检测，并将检测结果进行显示。
基于但不限于上述装置，数据集预处理模块520具体用于：
获取样本数据集中每个原像素点的灰度值为xi，计算每个原像素点的缩放比例Xi，计算公式为：
给定附加比例系数α，计算均衡后的灰度值Xout，计算公式为：
将每个原像素点的灰度值替换为均衡后的灰度值，即完成样本数据集的预处理。
基于但不限于上述装置，缺陷样本扩充模块530具体用于：
a、训练判别器D：
初始化判别器D的网络参数，利用训练集中的n个样本来训练判别器D；
b、固定判别器D，训练生成器G：
初始化生成器G的网络参数，利用高斯噪声使生成器G生成假图，使生成器G的能力不断提高，直到判别器D判断假图是否为假的概率为50％时停止；
c、固定生成器G，训练判别器D：
固定生成器G，然后开始训练判别器D，判别器D通过不断训练，直到可以准确的判断出所有的假图；
d、循环步骤b和步骤c的过程，多次更新迭代后，理想状态下，最终判别器D无法区分图片是来自真实的缺陷样本集合，还是来自生成器G生成的缺陷样本，此时辨别正确的概率为50％；同时观察生成器G生成的缺陷样本质量来判断生成器G训练的结果是否符合要求，若符合要求，则训练完成，否则返回步骤b。
这里，判断是否符合要求一般以IS作为评价指标，IS评价指标越大，说明两个分布的差异越大。
当深度卷积生成对抗网络DCGAN训练完成后，即实现了缺陷样本的扩充。
基于但不限于上述装置，在缺陷样本扩充模块530和语义分割网络构造及训练模块550之间，还可以包含数据增强模块，具体用于对新的样本数据集进行数据增强，对有缺陷的耳机罩图像进行几何变换(比如缩放、位移、旋转、对比度变换)、色彩变化、随机剪裁等方法，这些方法可以改变图像中特征的位置信息、色彩、大小等，在一定程度上能够增加训练图像的多样性。
基于上不限于上述装置，语义分割网络构造及训练模块550中，构造的语义分割网络是采用UNet作为主干网络，并加入了Attention机制，语义分割网络的输入和输出尺寸是一致的，语义分割网络包括：特征提取网络和上采样层，其中特征提取网络包含4个Conv卷积块结构来提取特征，每一个Conv卷积块包含一个卷积层、一个Relu激活层和归一化层；4个上采样层完成从特征向量中还原出图像的底层特征来得到生成图像，每个上采样层都对输入进行卷积、Relu激活和归一化处理，所有卷积层使用的卷积核大小均为3*3，步长为2；上采样操作的尺寸大小均为2。
在语义分割网络的训练过程中，构造并利用损失函数与随即梯度下降算法更新网络权重参数，直至模型损失收敛，损失函数的表达式如下：
其中m代表batch_size的大小，n代表缺陷类别数量，p(xij)为真实标签值，q(xij)为网络训练值。
参考图6，示例了一种电子设备的实体结构示意图，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610、通信接口620、存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行耳机罩缺陷检测方法的步骤，具体包括：采集耳机罩表面样本，构造样本数据集，所述样本数据集包括正常样本和缺陷样本；采用局部亮度均衡算法对样本数据集进行预处理；构造深度卷积生成对抗网络DCGAN模型，对预处理后的缺陷样本进行扩充；将扩充生成的缺陷样本加入到初始的样本数据集中，作为新的样本数据集；构造语义分割网络模型，并输入新的样本数据集进行网络训练；实时加载待检测图片，进行预处理后，使用训练好的语义分割网络模型对待检测图片中缺陷区域进行检测，并将检测结果进行显示。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random15 Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现耳机罩缺陷检测方法的步骤，具体包括：采集耳机罩表面样本，构造样本数据集，所述样本数据集包括正常样本和缺陷样本；采用局部亮度均衡算法对样本数据集进行预处理；构造深度卷积生成对抗网络DCGAN模型，对预处理后的缺陷样本进行扩充；将扩充生成的缺陷样本加入到初始的样本数据集中，作为新的样本数据集；构造语义分割网络模型，并输入新的样本数据集进行网络训练；实时加载待检测图片，进行预处理后，使用训练好的语义分割网络模型对待检测图片中缺陷区域进行检测，并将检测结果进行显示。
本发明提供了一种耳机罩缺陷检测方法、装置、设备及存储介质，该方案实施后，带来的有益效果主要体现在以下几个方面：
1、传统的数据增强技术一般是对图像进行几何变换，这些方式能够改变目标特征的位置，在一定程度上能够提高样本的丰富性，但也存在丢失目标特征的风险，故本发明通过构建并训练深度卷积生成对抗网络DCGAN，能够使用该网络进行缺陷样本扩充，解决了缺陷检测样本数据不足的问题，避免了过拟合现象的产生。基于生成对抗网络生成图像的方法扩充数据集能够解决传统方法存在的不足，能够生成丰富多样且逼真的的训练集样本。
2、目前在耳机罩检测领域，常用的缺陷检测方法往往是传统图像处理的方法，这类受环境、光照、生产工艺和噪声等多重因素影响较大，鲁棒性较差，需要经常对算法进行调整，这是一件非常耗费人力、时间的事情。故本发明通过构建并训练语义分割网络Attention-UNet进行缺陷检测。该方法属于深度学习方法，为耳机罩缺陷检测提供一种全新的方法，大大提高了缺陷检测的准确率。
3、耳机罩的材质通常为黑色皮质，这种皮制产品表面容易产生反光，虽然通过较好的打光方式可以抑制一部分反光，但还是存在一些局部区域反光比较严重，这些区域对后续的缺陷检测有一定的影响，故本发明通过设计了一种局部亮度均衡算法，该算法的主要原理是对原图像素点的灰度值附加比例系数，实现对低亮度区域增益，高亮区域的抑制，因此针对性的解决了耳机罩这种黑色皮质产品表面产生反光导致图像局部过曝的问题。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种耳机罩缺陷检测方法，其特征在于，包括以下步骤：
采集耳机罩表面样本，构造样本数据集，所述样本数据集包括正常样本和缺陷样本；
采用局部亮度均衡算法对样本数据集进行预处理；
构造深度卷积生成对抗网络DCGAN模型，对预处理后的缺陷样本进行扩充；
将扩充生成的缺陷样本加入到初始的样本数据集中，作为新的样本数据集；
构造语义分割网络模型，并输入新的样本数据集进行网络训练；
实时加载待检测图片，进行预处理后，使用训练好的语义分割网络模型对待检测图片中缺陷区域进行检测，并将检测结果进行显示。
2.根据权利要求1所述的耳机罩缺陷检测方法，其特征在于，所述采用局部亮度均衡算法对样本数据集进行预处理，包括：
获取样本数据集中每个原像素点的灰度值为xi，计算每个原像素点的缩放比例Xi，计算公式为：
给定附加比例系数α，计算均衡后的灰度值Xout，计算公式为：
将每个原像素点的灰度值替换为均衡后的灰度值，即完成样本数据集的预处理。
3.根据权利要求1所述的耳机罩缺陷检测方法，其特征在于，所述构造深度卷积生成对抗网络DCGAN模型，对预处理后的缺陷样本进行扩充，包括：
a、训练判别器D：
初始化判别器D的网络参数，利用训练集中的n个样本来训练判别器D；
b、固定判别器D，训练生成器G：
初始化生成器G的网络参数，利用高斯噪声使生成器G生成假图，使生成器G的能力不断提高，直到判别器D判断假图是否为假的概率为50％时停止；
c、固定生成器G，训练判别器D：
固定生成器G，然后开始训练判别器D，判别器D通过不断训练，直到可以准确的判断出所有的假图；
d、循环步骤b和步骤c的过程，多次更新迭代后，理想状态下，最终判别器D无法区分图片是来自真实的缺陷样本集合，还是来自生成器G生成的缺陷样本，此时辨别正确的概率为50％；同时观察生成器G生成的缺陷样本质量来判断生成器G训练的结果是否符合要求，若符合要求，则训练完成，否则返回步骤b。
4.根据权利要求1所述的耳机罩缺陷检测方法，其特征在于，所述语义分割网络是采用UNet作为主干网络，并加入了Attention机制，语义分割网络的输入和输出尺寸是一致的，语义分割网络包括：特征提取网络和上采样层，其中特征提取网络包含4个Conv卷积块结构来提取特征，每一个Conv卷积块包含一个卷积层、一个Relu激活层和归一化层；4个上采样层完成从特征向量中还原出图像的底层特征来得到生成图像，每个上采样层都对输入进行卷积、Relu激活和归一化处理，所有卷积层使用的卷积核大小均为3*3，步长为2；上采样操作的尺寸大小均为2。
5.根据权利要求1所述的耳机罩缺陷检测方法，其特征在于，所述语义分割网络的训练过程中，构造并利用损失函数与随即梯度下降算法更新网络权重参数，直至模型损失收敛，所述损失函数的表达式如下：
其中m代表batch_size的大小，n代表缺陷类别数量，p(xij)为真实标签值，q(xij)为网络训练值。
6.根据权利要求1所述的耳机罩缺陷检测方法，其特征在于，在所述语义分割网络的训练之前，还包括：对新的样本数据集进行数据增强。
7.根据权利要求6所述的耳机罩缺陷检测方法，其特征在于，所述数据增强包括：几何变换、色彩变化和随机剪裁。
8.一种耳机罩缺陷检测装置，其特征在于，包括以下模块：
初始数据集构造模块，用于采集耳机罩表面样本，构造样本数据集，所述样本数据集包括正常样本和缺陷样本；
数据集预处理模块，用于采用局部亮度均衡算法对样本数据集进行预处理；
缺陷样本扩充模块，用于构造深度卷积生成对抗网络DCGAN模型，对预处理后的缺陷样本进行扩充；
新数据集构造模块，用于将扩充生成的缺陷样本加入到初始的样本数据集中，作为新的样本数据集；
语义分割网络构造及训练模块，用于构造语义分割网络模型，并输入新的样本数据集进行网络训练；
缺陷实时检测模块，用于实时加载待检测图片，进行预处理后，使用训练好的语义分割网络模型对待检测图片中缺陷区域进行检测，并将检测结果进行显示。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的耳机罩缺陷检测方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的耳机罩缺陷检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310175412.8A CN116152209A (zh) | 2023-02-27 | 2023-02-27 | 一种耳机罩缺陷检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310175412.8A CN116152209A (zh) | 2023-02-27 | 2023-02-27 | 一种耳机罩缺陷检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116152209A true CN116152209A (zh) | 2023-05-23 |
Family
ID=86356130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310175412.8A Pending CN116152209A (zh) | 2023-02-27 | 2023-02-27 | 一种耳机罩缺陷检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116152209A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116452581A (zh) * | 2023-06-13 | 2023-07-18 | 常州满旺半导体科技有限公司 | 一种基于机器视觉的电压源状态智能检测***及方法 |
| CN116993733A (zh) * | 2023-09-27 | 2023-11-03 | 深圳市冉希古科技有限公司 | 一种耳机套外形质量检测方法及*** |
| CN117197095A (zh) * | 2023-09-14 | 2023-12-08 | 四川轻化工大学 | 基于半监督生成对抗分割模型的表面缺陷检测方法和*** |
-
2023
- 2023-02-27 CN CN202310175412.8A patent/CN116152209A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116452581A (zh) * | 2023-06-13 | 2023-07-18 | 常州满旺半导体科技有限公司 | 一种基于机器视觉的电压源状态智能检测***及方法 |
| CN116452581B (zh) * | 2023-06-13 | 2023-08-25 | 常州满旺半导体科技有限公司 | 一种基于机器视觉的电压源状态智能检测***及方法 |
| CN117197095A (zh) * | 2023-09-14 | 2023-12-08 | 四川轻化工大学 | 基于半监督生成对抗分割模型的表面缺陷检测方法和*** |
| CN117197095B (zh) * | 2023-09-14 | 2024-04-16 | 四川轻化工大学 | 基于半监督生成对抗分割模型的表面缺陷检测方法和*** |
| CN116993733A (zh) * | 2023-09-27 | 2023-11-03 | 深圳市冉希古科技有限公司 | 一种耳机套外形质量检测方法及*** |
| CN116993733B (zh) * | 2023-09-27 | 2024-01-09 | 深圳市冉希古科技有限公司 | 一种耳机套外形质量检测方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108647585B (zh) | 一种基于多尺度循环注意力网络的交通标识符检测方法 | |
| CN116152209A (zh) | 一种耳机罩缺陷检测方法、装置、设备及存储介质 | |
| CN108230278B (zh) | 一种基于生成对抗网络的图像去雨滴方法 | |
| CN113486981B (zh) | 基于多尺度特征注意力融合网络的rgb图像分类方法 | |
| CN106780485A (zh) | 基于超像素分割和特征学习的sar图像变化检测方法 | |
| CN112132012B (zh) | 基于生成对抗网络的高分辨率sar船舶图像生成方法 | |
| CN114387207B (zh) | 基于自注意力机制与双重领域自适应的轮胎瑕疵检测方法及模型 | |
| CN111242864B (zh) | 一种基于Gabor纹理约束的手指静脉图像修复方法 | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| CN107784288A (zh) | 一种基于深度神经网络的迭代定位式人脸检测方法 | |
| CN108985200A (zh) | 一种基于终端设备的非配合式的活体检测算法 | |
| CN112560710B (zh) | 一种用于构建指静脉识别***的方法及指静脉识别*** | |
| CN112614117A (zh) | 设备区域提取模型训练方法、设备区域提取方法及装置 | |
| CN114266894A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
| CN112348808A (zh) | 屏幕透图检测方法及装置 | |
| CN110660048B (zh) | 一种基于形状特征的皮革表面缺陷检测方法 | |
| CN116797590A (zh) | 一种基于机器视觉的Mura缺陷检测方法及*** | |
| CN111275126A (zh) | 样本数据集生成方法、装置、设备及存储介质 | |
| CN110675311A (zh) | 一种素描序约束下的素描生成的方法、装置及存储介质 | |
| CN108876776B (zh) | 一种分类模型生成方法、眼底图像分类方法及装置 | |
| CN117253071B (zh) | 基于多级伪标签增强的半监督目标检测方法及*** | |
| CN117292117A (zh) | 一种基于注意力机制的小目标检测方法 | |
| CN116958736A (zh) | 一种基于跨模态边缘引导的rgb-d显著性目标检测方法 | |
| CN115690536A (zh) | 一种单帧红外小目标检测方法及装置 | |
| CN110956623A (zh) | 皱纹检测方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |