CN116051479A - 融合跨域迁移和异常检测的纺织品缺陷识别方法 - Google Patents
融合跨域迁移和异常检测的纺织品缺陷识别方法 Download PDFInfo
- Publication number
- CN116051479A CN116051479A CN202211679870.7A CN202211679870A CN116051479A CN 116051479 A CN116051479 A CN 116051479A CN 202211679870 A CN202211679870 A CN 202211679870A CN 116051479 A CN116051479 A CN 116051479A
- Authority
- CN
- China
- Prior art keywords
- domain
- data
- feature
- fabric
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 73
- 239000004753 textile Substances 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000013508 migration Methods 0.000 title claims abstract description 14
- 230000005012 migration Effects 0.000 title claims abstract description 14
- 239000004744 fabric Substances 0.000 claims abstract description 58
- 230000007246 mechanism Effects 0.000 claims abstract description 8
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 230000000877 morphologic effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000001902 propagating effect Effects 0.000 claims description 2
- 238000010845 search algorithm Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 8
- 238000002372 labelling Methods 0.000 abstract description 4
- 238000009826 distribution Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 230000035922 thirst Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种融合跨域迁移和异常检测的纺织品缺陷识别方法。引入半监督学习机制，深度挖掘源域和目标域的特征分布，并利用生产对抗的方式实现领域迁移，在织物样式发生变化时仍能准确识别。针对织物的小尺度表面缺陷，设计一种基于多层级特征匹配的无监督异常检测方法，利用知识蒸馏和多层级特征匹配机制，使模型更具针对性，无需标注便能准确检测织物缺陷，实现织物的低成本、高精度识别。
Description
技术领域
本发明涉及深度学习、领域自适应、异常检测和纺织品缺陷识别领域，具体涉及一种融合跨域迁移和异常检测的纺织品缺陷识别方法。
背景技术
纺织品是人们日常生活和工业领域都不可或缺的材料，其需求量也是日益增加。但在生产过程中，由于织线材料、机器故障、人工操作失误、生产环境等客观因素的存在，纺织品表面会形成各种缺陷，质量检测从而成为重中之重。在工业现场，织物的制造是一环扣一环的，更早的发现缺陷可以更大程度的减小损失。鉴于传统检测方法的诸多弊端，实现织物疵点的自动分类已成为行业趋势。
随着硬件设备的发展，深度学习方法在近年来被广泛地应用于织物的缺陷识别中，推动了该行业相关的研究与应用，涌现出了许多基于深度卷积神经网络的缺陷检测方案。它可以自动地从织物图像中提取特征，FasterR-CNN、SSD和YOLO等多种通用监督式深度学习算法均在本领域得到了广泛的研究与应用。然而现有的织物缺陷存在着尺度不一的特点。针对不同大小尺度的织物缺陷，其检测的难易程度不一样，如果用现有的深度学习方法直接进行混合尺度的检测，不仅对算法的要求高，而且在检测效率和准确性方面很难达到理想的识别效果，不能满足实时的生产需求。
且上述监督式深度学习模型存在数据饥渴特性，在模型训练过程中需要投喂大量缺陷数据，而在纺织品实际生产过程中缺陷数据的获取难度远高于正常数据。除此之外，这些深度学习方法训练得到的模型是经过固化的，当纺织品的样式出现变化时，旧的模型将不再适用于新的样式，如果要完成纺织品风格的迁移，则必须重新收集数据，整合新旧样式，重新训练模型，而数据的收集和标注是需要耗费精力且低效的。
因此，如何针对纺织品缺陷数据量少和标注成本高、缺陷尺度不一和缺陷样式多种多样这些问题，实现织物缺陷的高精度识别是本发明急需解决的一个问题。
发明内容
本发明的目的在于解决如何在纺织品的生产过程中用最低成本，最高效率的方式完成织物缺陷识别的问题，由于在实际的纺织品生产过程中，只需识别出织物缺陷，保留正常织物，而大尺度缺陷特征更加明显，更容易被模型识别，根据这种思路，提供一种融合跨域迁移和异常检测的纺织品缺陷识别方法，可以在仅标注少量织物数据的前提下，实现多尺度多样式的高精度识别，先将图像送入形态类缺陷识别网络，识别是否存在大尺度缺陷，再送入表面缺陷检测网络检测小尺度缺陷，如果先证实存在大尺度缺陷，则可跳过小尺度缺陷检测，直接输出结果。
为实现上述目的，本发明的技术方案是：一种融合跨域迁移和异常检测的纺织品缺陷识别方法，包括如下步骤：
步骤1、织物图像数据预处理
通过机器采集织物图像作为原始数据集，对原始数据集中的初始数据进行处理，挑选出一种固定样式作为源域，其他样式整合作为目标域；
步骤2、建立织物数据图像库
将图像集分为正常图像、大尺度形态类缺陷图像和小尺度表面缺陷图像，并对形态类缺陷图像中的部分数据进行标注，保留标记信息；
步骤3、织物的形态类缺陷识别
针对织物中的大尺度形态类缺陷，提出一种改进的半监督跨域神经网络SSDANN，由特征提取器、标签预测器和域判别器组成；特征提取器通过源域和带标记的目标域来实现不同风格数据之间的映射；域判别器通过无监督学习方式来实现数据从源域到目标域的迁移；
在SSDANN训练过程中，分别将源域和目标域数据输入到特征提取器提取织物的深度特征，后续将特征信息送入标签预测器G和域判别器D这两个分支；源域数据进行有监督学习，并对标签预测器进行优化；源域数据和未标记的目标域数据输入到域判别器进行无监督学习，混淆源域和目标域之间的特征信息；
步骤4、织物的表面缺陷检测
针对织物中的小尺度表面缺陷，提出一种无需缺陷数据参与训练的异常检测方法：首先，针对通用领域和织物领域的领域差异问题，采用知识蒸馏技术提升深度模型对织物图像特征表达能力；其次，设计多层级特征提取方法，构建正常数据特征记忆单元，生成并存储正常织物样本的多层级隐含特征；最后，提出基于记忆单元的多层级特征匹配机制，通过最近邻检索算法计算待测试样本的异常分数，判断织物状态。
相较于现有技术，本发明具有以下有益效果：本发明针对织物的大尺度形态类缺陷，提出一种多风格织物缺陷识别网络，引入半监督学习机制，深度挖掘源域和目标域的特征分布，并利用生产对抗的方式实现领域迁移，在织物样式发生变化时仍能准确识别。针对织物的小尺度表面缺陷，设计一种基于多层级特征匹配的无监督异常检测方法，利用知识蒸馏和多层级特征匹配机制，使模型更具针对性，无需标注便能准确检测织物缺陷，实现织物的低成本、高精度识别。
附图说明
图1为本发明纺织品多尺度缺陷识别流程图。
图2为SSDANN网络结构图
图3为知识蒸馏过程示意图。
图4为基于多层级特征匹配的异常判定框架示意图
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
如图1，本实例的一种基于跨域研究和异常检测相结合的纺织品缺陷识别方法，该方法根据缺陷尺度的不同，分别设计了形态类缺陷识别网络和表面缺陷识别网络。
基于大尺度缺陷的跨域神经网络模块，将数据划分成源域和目标域，源域为某种固定样式，目标域为其他样式的整合，该模块可学习两个领域之间的数据特征，域判别器通过生成对抗的方式拉近不同样式织物的潜在联系，标签预测器则直接对纺织品缺陷进行识别。
基于小尺度表面缺陷的多层级特征匹配网络模块，当跨域网络输出结果为正常时，再送入该异常检测网络进行判别，知识蒸馏和多层级特征匹配的引入可以加强对小尺度缺陷的特征提取能力，提高精度，最终根据网络输出的异常分数与阈值的关系来判断织物缺陷状态。
图2为本发明针对织物中的形态类缺陷设计的SSDANN网络结构图，特征提取器由多个卷积和池化层组成，作用是将数据映射到特定的特征空间，实现标签预测器对织物类别的区分和域判别器对织物来自源域还是目标域的混淆。以sigm作为其中的激活函数，其输出为：
Gf(x；W,b)＝sigm(Wx+b) (1)
上式中，x为源域和目标域样本，W为权重因子，b为偏置项。将源域的带标记数据送入特征提取器中，再将输出部分送入标签预测器中。标签预测器会对源域数据进行分类，并尽可能分类出正确的标签。标签预测器的输出为Softmax激活函数，将xs看作源域的示例，ys看作xs对应的标签，标签预测器的输出可表示为：
Gp(Gf(xs)；Z,k)＝softmax(ZGf(xs)+k) (2)
上式中，Gf(xs)代表标签预测器的输入，同时也是特征提取器的输出，Z为权值因子，k为偏置项。在模型测试和实际使用阶段只会用到特征提取器和标签预测器，其损失函数可表示为：
上式中，Gp(Gf(xs))为标签预测器的输出，ys为源域样本xs对应的标签。特征提取器和标签分类器形成了一个前馈神经网络。针对源域纺织品的固定样式，有如下优化目标函数：
上式中，n代表源域样本个数，
表示第i个样本的标签预测损失，λ表示一个正则化项参数，R(W,b)代表一个正则化器，起到防止标签预测网络过拟合的作用。域分类器用于对整体的输入数据进行域鉴别，判断数据来自源域还是目标域，可以理解为一个二分类器。如图中的箭头所示，这是一个无监督学习过程，在这个阶段，输入到特征提取器的只有未经标记的源域数据和目标域数据，处理后输入域分类器进行域鉴别，域分类器采用sigmoid激活函数，其输出表示为：
Gd(Gf(xm)；O,p)＝sigm(OTGf(xm)+p) (5)
上式中，xm表示源域和目标域的整合数据，O和p分别代表权值和偏置项。域分类器将二元交叉熵作为损失函数，其输出表示为：
上式中，di为0或1，表示第i个样本的域标签。特征提取器需要尽可能的干扰域判别器，最好能使之无法辨认di来自源域还是目标域，而域分类器则要竭力辨别特征的来源，通过这样的对抗性训练，就可以在源域数据和目标域数据之间实现类似的特性分布，共享域不变特征。为了简化训练过程，在特征提取器和域分类器之间中引入一个梯度反转层(GRL)。在正向传播中，GRL视作一个恒等变换，在反向传播中则实现梯度取反，乘以一个-α并传递到前一层。梯度反转层的正向和反向传播表示如下：
式中，I是一个单位矩阵。在反向传播过程中，域分类损失的梯度在反向传播到特征提取器的参数之前被自动倒置，实现了一个类似于GAN的对抗性损失。域鉴别器的目标优化函数为：
不同样式的纺织品风格差异不一，原有网络很难在风格迥异的纺织品数据中提取特征，分类效果差强人意，难以满足工业生产的需求。故本发明提出的SSDANN网络增加了半监督学习机制，只需要在目标域中标记少量样本进行训练。将带有标注信息的目标域数据(xpt,ypt)输入到特征提取器中提取特征，得到输出如下所示：
Gf(xpt；W,b)＝ReLU(Wxpt+b) (9)
然后同上述的源域数据一样，将特征提取器的输出输入到标签预测器，输出结果为：
Gp(Gf(xpt)；O,p)＝softmax(OGf(xpt)+p) (10)
已标记的目标域数据的标签分类损失为：
带标签的目标域数据损失函数计算方式和(公式3)一样，网络采用梯度下降法进行反向传播，实现网络参数的迭代更新。在SSDANN中，由于半监督学习机制的存在，可以提取目标域数据的特征，更好的区分不同样式的纺织品缺陷。在测试阶段，将目标域测试数据xtt输入到网络中进行测试，先后通过特征提取器和标签预测器，最后在标签预测器中进行分类，得到的输出如下所示：
yt＝Gp(Gf(xtt)；O,p)＝softmax(OGf(xtt)+p)(12)
上式中，yt表示一个一维向量，每个元素值代表纺织品缺陷类别的概率，以其中最大值的索引作为最终输出，即相对应类别的标签。
图3是本发明中知识蒸馏的算法示意图，深度卷积神经网络可以提取输入图像的高质量视觉特征。然而，纺织品图像和公共领域的图像存在较大差距，直接引入公共领域的深度学习模型会出现性能退化现象。针对上述领域差异问题，本文采用教师学生框架，将CNN在公开数据集中习得的知识迁移到织物图像领域，使深度学习模型在保留原有高质量图像特征提取能力的同时，具备更强的纺织品领域针对性。
本网络主要包括两个结构相同的CNN模型，训练样本为正常织物图像。公共领域模型作为教师T，负责传授知识，模型的网络权重参数固定不变；纺织品领域模型作为学生S，吸收并学习知识，在训练过程中依据损失值更新网络权重参数。假设
和
分别表示训练样本I经过教师模型和学生模型所输出的第l层特征图，训练的总损失函数可以通过下式表述：
其中，vec(x)表示对特征图执行向量化操作，将特征矩阵转化为1维的特征向量，训练过程中用随机梯度下降算法更新学生模型。
图4为本发明针对小尺度表面缺陷所设计的基于多层级特征匹配的异常判定框架示意图。在训练阶段，以正常织物图像为输入，提取出深度学习模型的各层隐含特征图，构建基于正常数据的多层级特征记忆单元。在测试阶段，针对某个测试样本，经过同样的多层级特征提取操作，获取测试数据多层级特征，与所构建的记忆单元进行多层级特征匹配，计算出当前样本的异常分数，若此分数超过一定阈值，则判定织物存在表面缺陷。
假设Φl(Ii)∈R(w×h×c)表示第i个样本经过深度学习模型后的第l层特征图，w、h和c分别代表宽度、高度和通道数。记忆单元的表达式如下：
其中，P表示全局平均池化，将任意尺寸大小的输入拉伸为一个1维向量，N表示正常样本总数，本文所用到的层级数量为4个，l∈{1,2,3,4}对应经典残差网络ResNet中四个不同下采样尺度特征层级。
假设记忆单元M中第i个正常样本的l层级特征为
待测试样本的l层级特征表示为fl，则l层初始的异常分数
可以通过下式表示：
其中，
的物理含义为测试样本特征与记忆单元内对应特征的最小欧式距离。然而，正常数据本身就存在相对离群的特异样本特征，仅取距离最近的记忆特征作为评判依据，难以证明测试样本本身的异常。故本发明综合考虑多个近邻特征，设计一个异常分数校正模块来提升异常分数的置信度。异常分数修正因子可表示为：
其中Nk表示k最近邻检索，选出离测试特征fl最近的k个近邻记忆特征。最终异常分数s即可表示为：
当异常分数超过一定阈值时，即可判断样本出现异常，即该纺织品图像存在小尺度表面缺陷。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (3)
1.一种融合跨域迁移和异常检测的纺织品缺陷识别方法，其特征在于，包括如下步骤：
步骤1、织物图像数据预处理
通过机器采集织物图像作为原始数据集，对原始数据集中的初始数据进行处理，挑选出一种固定样式作为源域，其他样式整合作为目标域；
步骤2、建立织物数据图像库
将图像集分为正常图像、大尺度形态类缺陷图像和小尺度表面缺陷图像，并对形态类缺陷图像中的部分数据进行标注，保留标记信息；
步骤3、织物的形态类缺陷识别
针对织物中的大尺度形态类缺陷，提出一种改进的半监督跨域神经网络SSDANN，由特征提取器、标签预测器和域判别器组成；特征提取器通过源域和带标记的目标域来实现不同风格数据之间的映射；域判别器通过无监督学习方式来实现数据从源域到目标域的迁移；
在SSDANN训练过程中，分别将源域和目标域数据输入到特征提取器提取织物的深度特征，后续将特征信息送入标签预测器G和域判别器D这两个分支；源域数据进行有监督学习，并对标签预测器进行优化；源域数据和未标记的目标域数据输入到域判别器进行无监督学习，混淆源域和目标域之间的特征信息；
步骤4、织物的表面缺陷检测
针对织物中的小尺度表面缺陷，提出一种无需缺陷数据参与训练的异常检测方法：首先，针对通用领域和织物领域的领域差异问题，采用知识蒸馏技术提升深度模型对织物图像特征表达能力；其次，设计多层级特征提取方法，构建正常数据特征记忆单元，生成并存储正常织物样本的多层级隐含特征；最后，提出基于记忆单元的多层级特征匹配机制，通过最近邻检索算法计算待测试样本的异常分数，判断织物状态。
2.根据权利要求1所述的融合跨域迁移和异常检测的纺织品缺陷识别方法，其特征在于，所述SSDANN具体构成如下：
特征提取器由多个卷积和池化层组成，作用是将数据映射到特定的特征空间，实现标签预测器对织物类别的区分和域判别器对织物来自源域还是目标域的混淆；以sigm作为其中的激活函数，其输出为：
Gf(x；W,b)＝sigm(Wx+b) (1)
式中，x为源域和目标域样本，W为权重因子，b为偏置项；将源域的带标记数据送入特征提取器中，再将输出部分送入标签预测器中；标签预测器会对源域数据进行分类，并尽可能分类出正确的标签；标签预测器的输出为Softmax激活函数，将xs看作源域的示例，ys看作xs对应的标签，标签预测器的输出表示为：
Gp(Gf(xs)；Z,k)＝softmax(ZGf(xs)+k) (2)
式中，Gf(xs)代表标签预测器的输入，同时也是特征提取器的输出，Z为权值因子，k为偏置项；损失函数表示为：
式中，Gp(Gf(xs))为标签预测器的输出，ys为源域样本xs对应的标签；特征提取器和标签分类器形成一个前馈神经网络；针对源域织物的固定样式，有如下优化目标函数：
式中，n代表源域样本个数，
表示第i个样本的标签预测损失，λ表示一个正则化项参数，R(W,b)代表一个正则化器，起到防止标签预测网络过拟合的作用；
域分类器用于对整体的输入数据进行域鉴别，判断数据来自源域还是目标域，这是一个无监督学习过程，在这个阶段，输入到特征提取器的只有未经标记的源域数据和目标域数据，处理后输入域分类器进行域鉴别，域分类器采用sigmoid激活函数，其输出表示为：
Gd(Gf(xm)；O,p)＝sigm(OTGf(xm)+p) (5)
式中，xm表示源域和目标域的整合数据，O和p分别代表权值和偏置项；域分类器将二元交叉熵作为损失函数，其输出表示为：
式中，di为0或1，表示第i个样本的域标签；
为简化训练过程，在特征提取器和域分类器之间中引入一个梯度反转层GRL；在正向传播中，GRL视作一个恒等变换，在反向传播中则实现梯度取反，乘以一个-α并传递到前一层；梯度反转层的正向和反向传播表示如下：
式中，I是一个单位矩阵；在反向传播过程中，域分类损失的梯度在反向传播到特征提取器的参数之前被自动倒置，实现一个类似于GAN的对抗性损失；域鉴别器的目标优化函数为：
将带标记的目标域数据(xpt,ypt)输入到特征提取器中提取特征，得到输出如下所示：
Gf(xpt；W,b)＝ReLU(Wxpt+b) (9)
将特征提取器的输出输入到标签预测器，输出结果为：
Gp(Gf(xpt)；O,p)＝softmax(OGf(xpt)+p) (10)
已标记的目标域数据的标签分类损失为：
带标签的目标域数据损失函数计算方式和公式(3)一样，网络采用梯度下降法进行反向传播，实现网络参数的迭代更新；
在测试阶段，将目标域测试数据xtt输入到SSDANN中进行测试，先后通过特征提取器和标签预测器，最后在标签预测器中进行分类，得到的输出如下所示：
yt＝Gp(Gf(xtt)；O,p)＝softmax(OGf(xtt)+p)(12)
式中，yt表示一个一维向量，每个元素值代表织物缺陷类别的概率，以其中最大值的索引作为最终输出，即相对应类别的标签。
3.根据权利要求1所述的融合跨域迁移和异常检测的纺织品缺陷识别方法，其特征在于，所述无需缺陷数据参与训练的异常检测方法，构建了基于小尺度表面缺陷的多层级特征匹配网络，包括两个结构相同的CNN模型，训练样本为正常织物图像；公共领域模型作为教师T，负责传授知识，模型的网络权重参数固定不变；织物领域模型作为学生S，吸收并学习知识，在训练过程中依据损失值更新网络权重参数；假设
和
分别表示训练样本I经过教师T和学生S所输出的第l层特征图，训练的总损失函数通过下式表述：
其中，vec(x)表示对特征图执行向量化操作，将特征矩阵转化为1维的特征向量，训练过程中用随机梯度下降算法更新学生模型；
在训练阶段，以正常织物图像为输入，提取出多层级特征匹配网络的各层隐含特征图，构建基于正常数据的多层级特征记忆单元；在测试阶段，针对某个测试样本，提取出测试样本的多层级特征匹配网络的各层隐含特征图，与基于正常数据的多层级特征记忆单元进行多层级特征匹配，计算出当前样本的异常分数，若此分数超过预定阈值，则判定织物存在表面缺陷；
假设Φl(Ii)∈R(w×h×c)表示第i个样本经过多层级特征匹配网络后的第l层特征图，w、h和c分别代表宽度、高度和通道数；基于正常数据的多层级特征记忆单元的表达式如下：
其中，P表示全局平均池化，将任意尺寸大小的输入拉伸为一个1维向量，N表示正常样本总数，l∈{1,2,3,4}对应经典残差网络ResNet中四个不同下采样尺度特征层级。
假设基于正常数据的多层级特征记忆单元M中第i个正常样本的l层级特征为
待测试样本的l层级特征表示为fl，则l层初始的异常分数
通过下式表示：
其中，
的物理含义为测试样本特征与基于正常数据的多层级特征记忆单元内对应特征的最小欧式距离；综合考虑多个近邻特征，设计一个异常分数校正模块来提升异常分数的置信度；异常分数修正因子表示为：
其中Nk表示k最近邻检索，选出离测试特征fl最近的k个近邻记忆特征；最终异常分数s即表示为：
当异常分数超过预定阈值时，即可判断样本出现异常，即该纺织品图像存在小尺度表面缺陷。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211679870.7A CN116051479A (zh) | 2022-12-26 | 2022-12-26 | 融合跨域迁移和异常检测的纺织品缺陷识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211679870.7A CN116051479A (zh) | 2022-12-26 | 2022-12-26 | 融合跨域迁移和异常检测的纺织品缺陷识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116051479A true CN116051479A (zh) | 2023-05-02 |
Family
ID=86119224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211679870.7A Pending CN116051479A (zh) | 2022-12-26 | 2022-12-26 | 融合跨域迁移和异常检测的纺织品缺陷识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116051479A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116777896A (zh) * | 2023-07-07 | 2023-09-19 | 浙江大学 | 一种表观缺陷跨域分类识别的负迁移抑制方法 |
| CN116862903A (zh) * | 2023-07-31 | 2023-10-10 | 梅卡曼德（北京）机器人科技有限公司 | 缺陷检测模型训练方法及装置、缺陷检测方法和电子设备 |
| CN117372424A (zh) * | 2023-12-05 | 2024-01-09 | 成都数之联科技股份有限公司 | 一种缺陷检测方法、装置、设备及存储介质 |
| CN116862903B (zh) * | 2023-07-31 | 2024-06-25 | 梅卡曼德（北京）机器人科技有限公司 | 缺陷检测模型训练方法及装置、缺陷检测方法和电子设备 |
-
2022
- 2022-12-26 CN CN202211679870.7A patent/CN116051479A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116777896A (zh) * | 2023-07-07 | 2023-09-19 | 浙江大学 | 一种表观缺陷跨域分类识别的负迁移抑制方法 |
| CN116777896B (zh) * | 2023-07-07 | 2024-03-19 | 浙江大学 | 一种表观缺陷跨域分类识别的负迁移抑制方法 |
| CN116862903A (zh) * | 2023-07-31 | 2023-10-10 | 梅卡曼德（北京）机器人科技有限公司 | 缺陷检测模型训练方法及装置、缺陷检测方法和电子设备 |
| CN116862903B (zh) * | 2023-07-31 | 2024-06-25 | 梅卡曼德（北京）机器人科技有限公司 | 缺陷检测模型训练方法及装置、缺陷检测方法和电子设备 |
| CN117372424A (zh) * | 2023-12-05 | 2024-01-09 | 成都数之联科技股份有限公司 | 一种缺陷检测方法、装置、设备及存储介质 |
| CN117372424B (zh) * | 2023-12-05 | 2024-03-08 | 成都数之联科技股份有限公司 | 一种缺陷检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111967294B (zh) | 一种无监督域自适应的行人重识别方法 | |
| Wang et al. | Learning fine-grained features via a CNN tree for large-scale classification | |
| Xu et al. | A weakly supervised surface defect detection based on convolutional neural network | |
| CN106778832B (zh) | 基于多目标优化的高维数据半监督集成分类方法 | |
| CN110956185A (zh) | 一种图像显著目标的检测方法 | |
| CN116051479A (zh) | 融合跨域迁移和异常检测的纺织品缺陷识别方法 | |
| CN109543693B (zh) | 基于正则化标签传播的弱标注数据降噪方法 | |
| CN111612051A (zh) | 一种基于图卷积神经网络的弱监督目标检测方法 | |
| CN114723994B (zh) | 一种基于双分类器对抗增强网络的高光谱图像分类方法 | |
| CN107220663B (zh) | 一种基于语义场景分类的图像自动标注方法 | |
| Zhan et al. | Fabric defect classification using prototypical network of few-shot learning algorithm | |
| CN114863091A (zh) | 一种基于伪标签的目标检测训练方法 | |
| CN114255371A (zh) | 一种基于组件监督网络的小样本图像分类方法 | |
| CN113283282A (zh) | 一种基于时域语义特征的弱监督时序动作检测方法 | |
| CN116110089A (zh) | 一种基于深度自适应度量学习的面部表情识别方法 | |
| CN117152503A (zh) | 一种基于伪标签不确定性感知的遥感图像跨域小样本分类方法 | |
| CN110717602B (zh) | 一种基于噪音数据的机器学习模型鲁棒性评估方法 | |
| Aljundi et al. | Continual novelty detection | |
| Ghanmi et al. | Table detection in handwritten chemistry documents using conditional random fields | |
| Gao et al. | An improved XGBoost based on weighted column subsampling for object classification | |
| CN113128410A (zh) | 一种基于轨迹关联学习的弱监督行人重识别方法 | |
| CN114078106A (zh) | 基于改进Faster R-CNN的疵点检测方法 | |
| CN116304941A (zh) | 一种基于多模型组合的海洋数据质量控制方法及装置 | |
| Din et al. | A reliable adaptive prototype-based learning for evolving data streams with limited labels | |
| CN116665039A (zh) | 基于两阶段因果干预的小样本目标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |