CN113591948A - 一种缺陷模式识别方法、装置、电子设备和存储介质 - Google Patents
一种缺陷模式识别方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113591948A CN113591948A CN202110808135.0A CN202110808135A CN113591948A CN 113591948 A CN113591948 A CN 113591948A CN 202110808135 A CN202110808135 A CN 202110808135A CN 113591948 A CN113591948 A CN 113591948A
- Authority
- CN
- China
- Prior art keywords
- model
- defect
- image
- training
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 170
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000012567 pattern recognition method Methods 0.000 title abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000004519 manufacturing process Methods 0.000 claims abstract description 21
- 238000003909 pattern recognition Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 76
- 230000006870 function Effects 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000009776 industrial production Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 14
- 230000002950 deficient Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提出一种缺陷模式识别方法、装置、电子设备和存储介质，属于缺陷检测技术领域和无监督学习技术领域。其中，所述方法包括：采集生产过程中的产品图像；根据预设的缺陷模式识别模型，对所述产品图像中产品的缺陷模式进行识别；其中，所述预设的缺陷模式识别模型输出所述产品图像中产品对应各缺陷模式的概率，并选取概率最大的缺陷模式作为所述产品的缺陷模式识别结果。本公开有效提高了缺陷模式的识别精度和效率并且能够大大降低人工成本，在工业生产方面有着巨大的应用前景。
Description
技术领域
本公开属于缺陷检测技术领域和无监督学习技术领域，特别涉及一种缺陷模式识别方法、装置、电子设备和存储介质。
背景领域
在工业生产制造中，由于生产过程是一个多因素耦合的复杂过程，极易受到外部环境和人为因素的干扰，所以生产线上的产品经常会出现各种各样的缺陷模式，不仅影响产品的外观，而且对产品的质量和寿命造成很大的影响。生产过程中的任何异常都会导致产品缺陷产生，而一些典型缺陷模式的产生往往可以与生产线故障源相关联，所以准确的识别产品的各种缺陷模式，可以辅助监测生产线上存在的故障源，从而及时调整和改进相应的生产参数，避免因出现大批量的缺陷产品而造成巨大的损失。及时识别异常产品的缺陷模式是提高生产质量和生产效率的有效途径，所以缺陷模式识别方法具有十分重要的研究意义。
早期的产品缺陷模式识别主要是通过机器学习方法进行的，如支持向量机、反向传播网络等。这些方法与用肉眼直接对产品缺陷进行识别相比，大大降低了工作量。但是这些早期方法存在以下不足：识别准确率低且需要大量的标签数据对模型进行训练。近年来随着深度学习的发展，大量基于卷积神经网络的算法在视觉任务中大放异彩。由于卷积神经网络具有非常强大的特征提取能力，使其在图像识别领域取得了显著的成绩。同时，卷积神经网络在缺陷检测任务中也得到了广泛的应用。
与传统的机器学习方法相比，基于卷积神经网络的深度学习方法在缺陷识别领域具有更高的识别准确率和工作效率。但是这种方法和机器学习方法具有同样的缺点，模型训练需要大量的标签数据，而具有缺陷模式标签的图像是不容易获取的，因为获取带有产品缺陷模式标签的图像需要人工监督，即需要大量有经验的专业人员进行人工标注，这是非常昂贵且耗时的。另外在人工在大量标注产品缺陷模式时容易受主观因素影响，导致模型在错误的标签下训练，影响模型对产品缺陷模式识别的准确性。除了获取大量的标注比较困难以外，在某些高度自动化的生产场景中，产品的良率特别高，收集缺陷样本非常耗时，而当前的用于缺陷检测的深度学习方法大多是基于缺陷样本建立模型，缺陷样本的缺乏导致模型难以上线。除了产品良率高导致的缺陷样本难收集以外，针对某些行业比如汽车行业的多型号小批量生产场景(每种型号产品只生产几天)，在完成缺陷样本收集前某种型号产品已经不再生产了，这种场景下是无法使用基于缺陷样本建模的技术路线的。此外，由于缺陷是由生产过程中的非受控因素产生的，缺陷的形态是多种多样的，各种形态的样本很难收集完整，这也会导致基于缺陷样本建立模型的方法很难将缺陷的漏检控制为0。
发明内容
本公开的目的是为了解决现有缺陷模式识别方法的效率和准确率低，模型泛化能力差，需要大量耗时耗力的人工标注图像作为训练数据等问题，提出一种缺陷模式识别方法、装置、电子设备和存储介质。本公开有效提高了缺陷模式的识别精度和效率并且能够大大降低人工成本，在工业生产方面有着巨大的应用前景。
本公开第一方面实施例提出一种缺陷模式识别方法，包括：
采集生产过程中的产品图像；
根据预设的缺陷模式识别模型，对所述产品图像中产品的缺陷模式进行识别；其中，所述预设的缺陷模式识别模型输出所述产品图像中产品对应各缺陷模式的概率，并选取概率最大的缺陷模式作为所述产品的缺陷模式识别结果。
在本公开的一个实施例中，
在所述根据预设的缺陷模式识别模型，对所述产品图像中产品的缺陷模式进行识别之前，还包括：
训练所述缺陷模式识别模型；
其中，所述训练所述缺陷模式识别模型包括：
获取所述产品在生产过程中的图像组成数据集，其中所述图像包括所述产品的缺陷图像和正常图像；
将所述数据集划分为无标签数据集和标签数据集；其中，所述标签数据集包括图像和所述图像中所述产品的缺陷模式；
构建无监督预训练模型，利用所述无标签数据集训练所述无监督预训练模型，得到所述无监督预训练模型的参数；
构建分类微调模型，将所述无监督预训练模型的参数作为所述分类微调模型的初始化参数，利用所述标签数据集训练所述分类微调模型，将训练完毕的分类微调模型作为缺陷模式识别模型。
在本公开的一个实施例中，所述利用所述标签数据集训练所述分类微调模型，包括：
将所述标签数据集按照设定的比例分为训练集、验证集和测试集；
设置所述分类微调模型的损失函数；
根据所述损失函数，利用所述标签数据集中的训练集训练所述分类微调模型，达到设置的迭代次数，得到训练完毕的分类微调模型；
利用所述验证集检测所述训练完毕的分类微调模型的准确率，选取在所述验证集上识别准确率最高的分类微调模型作为缺陷模式识别模型。
在本公开的一个实施例中，在所述利用所述无标签数据集训练所述无监督预训练模型之前，还包括对所述无标签数据集中的图像进行图像增强；
在所述利用所述标签数据集中的训练集训练所述分类微调模型之前，还包括对所述标签数据集中的训练集中的图像进行图像增强；
所述图像增强包括：平移、翻转、随机噪声添加、旋转和裁剪中的一种或多种。
在本公开的一个实施例中，所述利用所述无标签数据集训练所述无监督预训练模型，包括：
将所述无标签数据集中的每张图像分别作为目标样本；
根据K近邻递归传递算法，所述无标签数据集映射到低维以得到对应的低维数据集，从所述低维数据集中找出与所述目标样本属于同一缺陷模式的样本组成所述目标样本的正样本集合；
利用所述目标样本的正样本集合，通过采样从所述低维数据集中获取所述目标样本的困难正样本集合和困难负样本集合；
根据所述困难正样本集合和困难负样本集合，构建无标签数据集中每张图像的损失函数；
根据所述损失函数，将所述无标签数据集输入所述分类微调模型进行训练，达到设置的迭代次数，得到训练完毕的无监督预训练模型。
在本公开的一个实施例中，所述K近邻递归传递算法包括：
将所述无标签数据集记为A＝{ai}，将所述无标签数据集映射到低维集合B＝{bi}，i＝{1,2,...,n}，其中，n为所述无标签数据集中的图像总数；
所述无标签数据集中任一图像ai被识别为第r类缺陷模式的概率为：
其中，
为第r类缺陷模式的特征，bi是所述无标签数据集中第i张图像ai映射到低维后的数据，
是当前批次图像的缺陷特征，τ是无监督模型的温度系数；
将所述ai作为目标样本，根据计算得到的所述概率，从所述低维集合B中获取与目标样本缺陷模式类别相同的样本组成ai的正样本集合H(i)；
所述采样的具体方法为：
从所述正样本集合H(i)中选取与所述目标样本ai同一缺陷模式下相似度最低的Q个样本组成ai的困难正样本集合Hp(i)；从所述低维集合B中选取其他缺陷模式内与目标样本特征相似的样本组成ai的困难负样本集合Hn(i)；从所述低维集合B中选取bi的Z个相邻的样本组成所述目标样本ai的的临近样本集合Hz(i)，其中所述Hz(i)包括所述Hn(i)中部分负样本；则所述目标样本ai的困难负样本集合表示为：Hn(i)＝Hz(i)-H(i)。
在本公开的一个实施例中，所述无标签数据集中每张图像的损失函数为：
其中，
为集合Hp(i)中样本图像特征，
是集合Hn(i)∪Hp(i)中样本图像特征。
本公开第二方面实施例提出一种缺陷模式识别装置，包括：
采集模块，用于采集生产过程中的产品图像；
识别模块，用于根据预设的缺陷模式识别模型，对所述产品图像中产品的缺陷模式进行识别；其中，所述预设的缺陷模式识别模型输出所述产品图像中产品对应各缺陷模式的概率，并选取概率最大的缺陷模式作为所述产品的缺陷模式识别结果。
本公开第三方面实施例提出一种电子设备，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种缺陷模式识别方法。
本公开第四方面实施例提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述一种缺陷模式识别方法。
本公开的特点及有益效果在于：
本公开基于无监督学习，在学习过程中分别建立无监督预训练模型和缺陷分类微调模型。通过使用无标签图像在无监督预训练模型进行预训练可以获取丰富的产品特征表示，以充分利用容易获取的无标签图像。经过无监督预训练的模型的参数可以作为缺陷分类微调模型的初始化参数，这样无监督预训练模型学习的产品特征可以广泛地转移到下游缺陷分类微调模型。这是一种以最小的人工监督成本进行缺陷模式识别的新策略。
本公开使用以不变性传播方法为基础的无监督预训练模型，不需要专业人员对图像进行大量标注，可以显著减少人工监督带来的人为影响和人力成本。此外，使用无监督模型进行预训练可以更好的提取图像特征，能够有效提高缺陷模式识别的准确率。
本公开使用了多种数据增强方法，可以避免因数据集中存在类别不平衡导致的模型对占比小的缺陷类别的泛化能力不足，对占比例较大的缺陷类别出现过拟合现象。提高了模型的普适性，增强了模型的鲁棒性
本公开在于提供一种可以实际应用于工业现场的基于无监督学习的缺陷模式识别方法及装置，有效提高了识别精度和效率并且能够大大降低人工成本，在工业生产方面有着巨大的应用前景。
附图说明
图1为本公开实施例的一种缺陷模式识别方法的整体流程图。
图2为本公开实施例中18层残差神经网络图。
图3为本公开实施例中K近邻算法递归传递的可视化过程图。
具体实施方式
本公开提出一种缺陷模式识别方法、装置、电子设备和存储介质，下面结合附图和具体实施例进一步详细说明如下。
本公开第一方面实施例提出一种缺陷模式识别方法，整体流程如图1所示，包括以下步骤：
步骤1.获取数据集：在任一产品的实际生产线上采集该产品图像数据，包括生产过程中出现的该产品的各类缺陷图像和正常图像(所述正常图像即该产品无缺陷)。
步骤2.对步骤1获取的数据集进行划分：将数据集中的产品图像按照设定的比例(本公开的一个实施例中所述比例设置为为8：2，无标签数据应多于标签数据)划分为无标签数据集和标签数据集，其中，标签数据集通过人工标注每张产品图像对应的缺陷模式(包括各种缺陷和无缺陷)。其中，将无标签数据集作为预训练模型的训练集。将标签数据集用于分类微调模型的训练、验证和测试，其中将标签数据集按照设定的比例分为训练集、验证集和测试集(本公开的一个实施例所述比例设置为8：1：1)；
实际生产过程中各类缺陷模式发生的概率不同导致采集的数据集中各类缺陷模式图像数量存在很大的差异，数据集存在的严重不平衡问题，导致模型对小比例的图像类别泛化能力不足，对大比例的图像类别出现过拟合现象。针对此问题，在步骤2中对两个训练集图像进行数据增强，以平衡数据集中每类缺陷模式的图像数量比例差异大的问题，提高模型的鲁棒性。数据增强算法扩展了特定缺陷模式的图像，同时保留了图像的高级语义特征。为了避免模型过于依赖同类数据，本公开的一个实施例使用5种数据增强方法：分别为平移，翻转，随机噪声添加，旋转和裁剪。图像平移是沿垂直或水平方向(或同时沿两个方向)移动。翻转不同于180度旋转，是一种类似镜子的空间翻转。由于模型在学习高频特征时容易出现过拟合，因此在数据集中随机加入噪声，以消除高频特征带来的过拟合问题。旋转是随机顺时针或逆时针旋转图像。裁剪是随机选择图像的一部分剪切掉，然后调整到原始图像的大小。
步骤3.以不变性传播方法为基础构建无监督预训练模型并设置该模型的损失函数；
构建的无监督预训练模型结构主要包括：
以图2所示的18层残差神经网络为主干网络，第1个卷积层的卷积核尺寸为3*3，通道数为3，步长为1，该卷积层的输入为步骤2中的无标签数据集中的图像；在第1个卷积层后面设置一个最大池化层，卷积核尺寸为3*3，步长为2；第2-17个卷积层中每两个卷积层设置一个残差模块，每两个残差模块构成一个卷积组，共4个卷积组。第1个卷积组的卷积核尺寸为3*3，通道数为64，步长为1；第2个卷积组卷积核尺寸为3*3，通道数为128，步长为2；第3个卷积组卷积核尺寸为3*3，通道数为256，步长为2；第4个卷积组卷积核尺寸为3*3，通道数为521，步长为2。在第17个卷积层后面依次设置一个平均池化层和全连接层。
无监督预训练模型在学习过程中通过K近邻递归传递算法获得图像特征，模型输入的无标签数据集图像样本的特征空间中，将任一图像样本作为目标样本，如果对于该目标样本的K个最近的图像样本都属于同一类缺陷模式，那么这个目标样本也可以认为是属于该类缺陷模式的图像样本；通过这个过程，可以广泛地找到此类缺陷模式在不同图像样本中的特征表示，具体实现过程如下：定义一个无标签数据集A＝{ai}，然后将所述无标签数据集映射到低维集合B＝{bi}(本实施例为2维)，i＝{1,2,...,n}，其中，n为无标签数据集中的图像总数；降维后，具有相同缺陷模式语义特征的图像样本被聚集，不同语义特征的图像样本被分离。无标签数据集中任一图像被识别为第r类缺陷模式的概率定义为：
这里的
是第r类缺陷模式的特征，bi是无标签数据集中第i张图像ai映射到低维后的数据，
是当前批次图像的缺陷特征，τ是无监督模型的温度系数。
将任一ai作为目标样本，通过上述方法对数据集A的低维映射集合B进行缺陷模式概率计算，从低维集合B中获取与目标样本缺陷模式类别相同的样本，可以找到数据集A中与目标样本缺陷模式类别相同的图像。将低维集合中与bi同一缺陷模式下的样本组成目标样本ai的正样本集合H(i)K近邻算法在特征空间内发现更多属于H(i)的正样本，并且还在模型中设定K值很小以保证较高的图像语义一致性。在K近邻算法的不断递归传递过程中能够发现的相同缺陷模式的不同实例，更多不同的图像样本可以使预训练模型能够更好的学习缺陷表示特征，学习到的类内语义更加丰富，而不受类内图像变化的影响。
图3为本公开实施例中K近邻算法递归传递的可视化过程图。图3对整个过程进行了可视化演示，图3中的点代表低维映射集合B中所有样本，其中黑色的点为目标样本，灰色的点是与目标样本缺陷模式相同的样本。如图3(a)所示，首先在集合B中随机选择一个目标样本；如图3(b)所示，经过K近邻算法后，与目标样本缺陷模式相同的样本开始被发现；如图3(c)所示，K近邻算法发现更多的与目标样本缺陷模式相同的样本。在每一步的K近邻递归传递中，发现的与本缺陷模式(即目标样本的缺陷模式)相同的图像样本都被添加到该目标样本的正样本集合H(i)中。同一缺陷模式的产品图像停留在相同的高密度区域，相同的缺陷模式样本会更加地保持一致。
针对缺陷图像数据特征，本公开使用一种新的采样方法。该采样过程将与目标样本图像相似程度较低的同类缺陷模式样本视为困难正样本，并使目标样本与同类缺陷模式的困难正样本更加的一致。通过硬采样过程，模型可以充分获取同一缺陷模式内不同图像间的一致性表示特征。
通过K近邻算法可以找出无标签数据集中属于同一类缺陷模式的图像；
经过K近邻算法获取各目标样本的H(i)之后，进一步在低维集合中进行采样，获取目标样本对应的困难正样本集合和困难负样本集合；本公开的实施例中，这种采样方法的具体实现过程如下：
构造一个目标样本对应的困难正样本集合Hp(i)(所述困难正样本集合Hp(i)属于正样本集合H(i))，它包括与目标样本同一缺陷模式下相似度最低的Q个样本。所述困难正样本集合里的样本与目标样本特征相差很大，因此它们可以提供更多的相同缺陷模式内的不同表示特征，这有对于预训练模型的学习。相应地，从低维集合B中选取其他缺陷模式内与目标样本特征相似的样本组成目标样本ai的困难负样本集合Hn(i)。把低维中bi的Z个相邻的样本组成目标样本ai的临近样本集合Hz(i)，这里设置Z足够大以至于Hz(i)包括了部分负样本。所以目标样本ai的困难负样本集合可以表示为：Hn(i)＝Hz(i)-H(i)。在这种采样方法下可以定义无标签数据集中每张图像ai的损失函数(该损失函数即无监督预训练模型的损失函数)：
这里的τ是温度系数，
是集合Hp(i)中样本图像特征，
是集合Hn(i)∪Hp(i)中样本图像特征。
步骤4.将无标签数据集输入到构建的无监督预训练模型进行训练，达到设置的迭代次数(每次迭代所有训练集样本都经过模型进行训练)，训练完毕，得到训练完毕的无监督预训练模型及无监督预训练模型的参数；
步骤5.构建分类微调模型，所述分类微调模型的初始化参数为无监督预训练模型的参数，然后设置所述分类微调模型的损失函数。使用标签数据集中的训练集对所述分类微调模型进行训练，训练固定次数后输入验证集检测分类微调模型的准确率，选取在验证集上识别准确率最高的分类微调模型作为缺陷模式识别模型；
分类微调模型的主干网络使用18层残差神经网络。网络具体结构如下：第1个卷积层的卷积核尺寸为3*3，通道数为3，步长为1，该卷积层的输入为步骤2中的标签图像；在第1个卷积层后面设置一个最大池化层，卷积核尺寸为3*3，步长为2；第2-17个卷积层中每两个卷积层设置一个残差模块，每两个残差模块构成一个卷积组，共4个卷积组。第1个卷积组的卷积核尺寸为3*3，通道数为64，步长为1；第2个卷积组卷积核尺寸为3*3，通道数为128，步长为2；第3个卷积组卷积核尺寸为3*3，通道数为256，步长为2；第4个卷积组卷积核尺寸为3*3，通道数为521，步长为2。在第17个卷积层后面设置一个平均池化层和全连接层；在全连接层之后设置一个softmax层，softmax层的主要作用是将多个神经元的输出映射到(0，1)的区间内，即输入图像对应的每类缺陷模式的概率，softmax函数为：
这里的wi表示标签数据集中第i张图像。
然后定义分类微调模型的损失函数，给定带有m个不同缺陷模式标签的训练集，使用多分类交叉熵损失函数作为分类微调模型的损失函数L：
这里的p表示真实标签的分布，q是模型预测标签的分布。
为了防止模型过拟合，在分类微调模型全连接层设置了dropout，固定概率为0.5。一般来说，已知的训练数据集很小。用有限的训练数据集训练人工神经网络时，神经网络模型会出现过拟合问题。dropout是帮助减少模型过拟合的有效技术；
将标签数据集中的训练集输入构建的分类微调模型进行训练，达到设置的迭代次数(每次迭代所有训练集样本都经过模型进行训练)，训练完毕，得到训练完毕的分类微调模型。然后利用验证集检测分类微调模型的准确率，选取在验证集上识别准确率最高的分类微调模型作为缺陷模式识别模型。步骤6.使用步骤5得到的缺陷模式识别模型对测试集的各类缺陷模式图像和正常无缺陷图像进行识别测试，得到所述模型对此产品缺陷模式的识别准确率。
步骤7.采集实际生产过程中的该产品图像，将该产品图像输入缺陷模式识别模型，该模型首先输出该图像中的产品对应各缺陷模式的概率，然后模型自动选取概率最大的缺陷模式作为输入图像中产品的缺陷模式识别结果。其中本公开中无缺陷也是缺陷模式的一种类别。
为了实现上述实施例，本公开第二方面实施例提出一种缺陷模式识别装置，包括：采集模块，用于采集生产过程中的产品图像；识别模块，用于根据预设的缺陷模式识别模型，对所述产品图像中产品的缺陷模式进行识别；其中，所述预设的缺陷模式识别模型输出所述产品图像中产品对应各缺陷模式的概率，并选取概率最大的缺陷模式作为所述产品的缺陷模式识别结果。
为了实现上述实施例，本公开第三方面实施例提出一种电子设备，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述实施例的一种缺陷模式识别方法。
为了实现上述实施例，本公开第四方面实施例提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，用于执行上述实施例的一种缺陷模式识别方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例的一种缺陷模式识别方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种缺陷模式识别方法，其特征在于，包括：
采集生产过程中的产品图像；
根据预设的缺陷模式识别模型，对所述产品图像中产品的缺陷模式进行识别；其中，所述预设的缺陷模式识别模型输出所述产品图像中产品对应各缺陷模式的概率，并选取概率最大的缺陷模式作为所述产品的缺陷模式识别结果。
2.根据权利要求1所述的方法，其特征在于，在所述根据预设的缺陷模式识别模型，对所述产品图像中产品的缺陷模式进行识别之前，还包括：
训练所述缺陷模式识别模型；
其中，所述训练所述缺陷模式识别模型包括：
获取所述产品在生产过程中的图像组成数据集，其中所述图像包括所述产品的缺陷图像和正常图像；
将所述数据集划分为无标签数据集和标签数据集；其中，所述标签数据集包括图像和所述图像中所述产品的缺陷模式；
构建无监督预训练模型，利用所述无标签数据集训练所述无监督预训练模型，得到所述无监督预训练模型的参数；
构建分类微调模型，将所述无监督预训练模型的参数作为所述分类微调模型的初始化参数，利用所述标签数据集训练所述分类微调模型，将训练完毕的分类微调模型作为缺陷模式识别模型。
3.根据权利要求2所述的方法，其特征在于，所述利用所述标签数据集训练所述分类微调模型，包括：
将所述标签数据集按照设定的比例分为训练集、验证集和测试集；
设置所述分类微调模型的损失函数；
根据所述损失函数，利用所述标签数据集中的训练集训练所述分类微调模型，达到设置的迭代次数，得到训练完毕的分类微调模型；
利用所述验证集检测所述训练完毕的分类微调模型的准确率，选取在所述验证集上识别准确率最高的分类微调模型作为缺陷模式识别模型。
4.根据权利要求3所述的方法，其特征在于，在所述利用所述无标签数据集训练所述无监督预训练模型之前，还包括对所述无标签数据集中的图像进行图像增强；
在所述利用所述标签数据集中的训练集训练所述分类微调模型之前，还包括对所述标签数据集中的训练集中的图像进行图像增强；
所述图像增强包括：平移、翻转、随机噪声添加、旋转和裁剪中的一种或多种。
5.根据权利要求2-4任一种所述的方法，其特征在于，所述利用所述无标签数据集训练所述无监督预训练模型，包括：
将所述无标签数据集中的每张图像分别作为目标样本；
根据K近邻递归传递算法，所述无标签数据集映射到低维以得到对应的低维数据集，从所述低维数据集中找出与所述目标样本属于同一缺陷模式的样本组成所述目标样本的正样本集合；
利用所述目标样本的正样本集合，通过采样从所述低维数据集中获取所述目标样本的困难正样本集合和困难负样本集合；
根据所述困难正样本集合和困难负样本集合，构建无标签数据集中每张图像的损失函数；
根据所述损失函数，将所述无标签数据集输入所述分类微调模型进行训练，达到设置的迭代次数，得到训练完毕的无监督预训练模型。
6.根据权利要求5所述的方法，其特征在于，所述K近邻递归传递算法包括：
将所述无标签数据集记为A＝{ai}，将所述无标签数据集映射到低维集合B＝{bi}，i＝{1,2,...,n}，其中，n为所述无标签数据集中的图像总数；
所述无标签数据集中任一图像ai被识别为第r类缺陷模式的概率为：
其中，
为第r类缺陷模式的特征，bi是所述无标签数据集中第i张图像ai映射到低维后的数据，
是当前批次图像的缺陷特征，τ是无监督模型的温度系数；
将所述ai作为目标样本，根据计算得到的所述概率，从所述低维集合B中获取与目标样本缺陷模式类别相同的样本组成ai的正样本集合H(i)；
所述采样的具体方法为：
从所述正样本集合H(i)中选取与所述目标样本ai同一缺陷模式下相似度最低的Q个样本组成ai的困难正样本集合Hp(i)；从所述低维集合B中选取其他缺陷模式内与目标样本特征相似的样本组成ai的困难负样本集合Hn(i)；从所述低维集合B中选取bi的Z个相邻的样本组成所述目标样本ai的的临近样本集合Hz(i)，其中所述Hz(i)包括所述Hn(i)中部分负样本；则所述目标样本ai的困难负样本集合表示为：Hn(i)＝Hz(i)-H(i)。
7.根据权利要求6所述的方法，其特征在于，所述无标签数据集中每张图像的损失函数为：
其中，
为集合Hp(i)中样本图像特征，
是集合Hn(i)∪Hp(i)中样本图像特征。
8.一种缺陷模式识别装置，其特征在于，包括：
采集模块，用于采集生产过程中的产品图像；
识别模块，用于根据预设的缺陷模式识别模型，对所述产品图像中产品的缺陷模式进行识别；其中，所述预设的缺陷模式识别模型输出所述产品图像中产品对应各缺陷模式的概率，并选取概率最大的缺陷模式作为所述产品的缺陷模式识别结果。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110808135.0A CN113591948A (zh) | 2021-07-16 | 2021-07-16 | 一种缺陷模式识别方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110808135.0A CN113591948A (zh) | 2021-07-16 | 2021-07-16 | 一种缺陷模式识别方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113591948A true CN113591948A (zh) | 2021-11-02 |
Family
ID=78247745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110808135.0A Pending CN113591948A (zh) | 2021-07-16 | 2021-07-16 | 一种缺陷模式识别方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113591948A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220091576A1 (en) * | 2020-09-24 | 2022-03-24 | International Business Machines Corporation | Detection of defect in edge device manufacturing by artificial intelligence |
| CN115129019A (zh) * | 2022-08-31 | 2022-09-30 | 合肥中科迪宏自动化有限公司 | 生产线故障分析模型的训练方法及生产线故障分析方法 |
| CN115660596A (zh) * | 2022-11-03 | 2023-01-31 | 创启科技(广州)有限公司 | 一种移动终端的数据交互方法及移动终端 |
| CN115908407A (zh) * | 2023-01-05 | 2023-04-04 | 佰聆数据股份有限公司 | 基于红外图像温度值的电力设备缺陷检测方法及装置 |
-
2021
- 2021-07-16 CN CN202110808135.0A patent/CN113591948A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220091576A1 (en) * | 2020-09-24 | 2022-03-24 | International Business Machines Corporation | Detection of defect in edge device manufacturing by artificial intelligence |
| US11493901B2 (en) * | 2020-09-24 | 2022-11-08 | International Business Machines Corporation | Detection of defect in edge device manufacturing by artificial intelligence |
| CN115129019A (zh) * | 2022-08-31 | 2022-09-30 | 合肥中科迪宏自动化有限公司 | 生产线故障分析模型的训练方法及生产线故障分析方法 |
| CN115660596A (zh) * | 2022-11-03 | 2023-01-31 | 创启科技(广州)有限公司 | 一种移动终端的数据交互方法及移动终端 |
| CN115660596B (zh) * | 2022-11-03 | 2023-07-04 | 创启科技(广州)有限公司 | 一种移动终端的数据交互方法及移动终端 |
| CN115908407A (zh) * | 2023-01-05 | 2023-04-04 | 佰聆数据股份有限公司 | 基于红外图像温度值的电力设备缺陷检测方法及装置 |
| CN115908407B (zh) * | 2023-01-05 | 2023-05-02 | 佰聆数据股份有限公司 | 基于红外图像温度值的电力设备缺陷检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113591948A (zh) | 一种缺陷模式识别方法、装置、电子设备和存储介质 | |
| CN116188475B (zh) | 一种外观缺陷自动光学检测的智慧控制方法、***及介质 | |
| CN112766110A (zh) | 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置 | |
| CN112949408B (zh) | 一种过鱼通道目标鱼类实时识别方法和*** | |
| CN111008641B (zh) | 一种基于卷积神经网络的输电线路杆塔外力破坏检测方法 | |
| CN116030237A (zh) | 工业缺陷检测方法、装置及电子设备、存储介质 | |
| CN114155213A (zh) | 基于主动学习的芯片缺陷检测方法和装置 | |
| CN112419268A (zh) | 一种输电线路图像缺陷检测方法、装置、设备及介质 | |
| CN111476307A (zh) | 一种基于深度领域适应的锂电池表面缺陷检测方法 | |
| CN113469950A (zh) | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 | |
| CN113781483B (zh) | 工业产品外观缺陷检测方法和装置 | |
| CN116883390B (zh) | 模糊抵抗性半监督缺陷检测方法、装置及存储介质 | |
| CN114781520A (zh) | 基于改进lof模型的天然气行为异常检测方法及*** | |
| CN113191419B (zh) | 一种基于轨迹关键点匹配及区域划分的暂降同源事件检测、类型辨识方法 | |
| CN113628252A (zh) | 一种基于热成像视频的泄漏气体云团检测方法 | |
| CN112396580A (zh) | 一种圆形零件缺陷检测方法 | |
| CN112614094A (zh) | 基于序列状态编码的绝缘子串异常定位识别方法 | |
| CN115761359A (zh) | 一种基于迁移学习和无监督学习方法的光伏图像缺陷分类方法 | |
| Liu et al. | Component detection for power line inspection using a graph-based relation guiding network | |
| CN115511798A (zh) | 一种基于人工智能技术的肺炎分类方法及装置 | |
| CN114528906A (zh) | 一种旋转机械的故障诊断方法、装置、设备和介质 | |
| CN112949634A (zh) | 一种铁路接触网鸟窝检测方法 | |
| CN111369508A (zh) | 一种金属三维点阵结构的缺陷检测方法及*** | |
| CN116486178B (zh) | 一种缺陷检测方法、装置、电子设备及存储介质 | |
| CN113808079B (zh) | 基于深度学习模型AGLNet的工业产品表面缺陷自适应检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |