CN114494780A - 基于特征对比的半监督工业缺陷检测方法及*** - Google Patents

基于特征对比的半监督工业缺陷检测方法及*** Download PDF

Info

Publication number
CN114494780A
CN114494780A CN202210094096.7A CN202210094096A CN114494780A CN 114494780 A CN114494780 A CN 114494780A CN 202210094096 A CN202210094096 A CN 202210094096A CN 114494780 A CN114494780 A CN 114494780A
Authority
CN
China
Prior art keywords
pixels
input
feature
label
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210094096.7A
Other languages
English (en)
Inventor
乐心怡
王钰超
陈彩莲
关新平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Automobile Powder Metallurgy Co ltd
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202210094096.7A priority Critical patent/CN114494780A/zh
Publication of CN114494780A publication Critical patent/CN114494780A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于特征对比的半监督工业缺陷检测方法及***，包括：步骤S1：采集待测产品图片，随机对图片标注标签；步骤S2：对待测产品进行分类，分为有标签输入和无标签输入；步骤S3：对于有标签输入，用图片和对应的标签对于学生网络进行训练；对于无标签输入，输入到教师网络中产生相应的伪标签和表征；步骤S4：对于伪标签进行筛选，分出可靠像素和不可靠像素；步骤S5：对于可靠像素送入学生网络中进行监督；对于不可靠像素，根据其特征编码信息，对学生网络进行基于对比学习的特征优化。本发明在工业缺陷检测数据的标注缺乏的情况下，训练出有效的神经网络模型进行缺陷检测，减少了人工标注工作量，大大降低了成本。

Description

基于特征对比的半监督工业缺陷检测方法及***
技术领域
本发明涉及计算机视觉、深度学习技术领域，具体地，涉及一种基于特征对比的半监督工业缺陷检测方法及***。
背景技术
工业生产中，几乎所有产品都需要进行质检，大部分的质检过程是由质检员用肉眼视觉完成对产品缺陷的检测(以下称为视检)。由于产品的多样性、缺陷的多样性，大大增加了质检员的工作量和工作难度，导致人工视检效率下降且容易由于质检员的疲劳和失误导致漏检、错检等情况，提高生产线的时间成本并可能影响到上市产品的质量。所以，采用自动化检测技术具有很重要的价值。
早期的自动化检测方法倾向于根据缺陷的类型提取特定的手工图像特征，采用数字图像处理方法如阈值分割、椭圆Gabor滤波器、RGB直方图等选择特定的图像特征。数字图像处理方法的识别率对于各种因素，如光照、对比度等影响因素十分敏感，且其过于依赖提取的特定图像特征，无法应对复杂背景，多种缺陷的识别任务，不具备通用性。
近年来，借助机器学习领域深度学习研究的发展，将深度学习方法引入各类产品缺陷图像的检测，可以极大的提高识别的准确性，降低漏检率，提高鲁棒性。然而，现有的深度学习方法需要大量的训练数据，这在工业领域难以获得，并且对于这些海量数据进行标注，成本十分之高，包括人工标注成本、训练显卡资源成本，超长训练时间成本。
为了达到利用少部分样本和大量无标签样本的目的，半监督学习方法得到的广泛地关注。然而，大部分的半监督学习方法被运用在图片分类上，鲜有半监督学习方法与图片分割进行结合，运用在工业缺陷检测中。专利CN113436169A提出了一种基于GAN的半监督语义分割的工业设备表面裂纹检测方法及***，然而与本发明的核心——基于特征对比的额外监督具有显著的不同。该专利使用的基于GAN的生成标注的方法，具有训练难以收敛，较不稳定等缺点，而本发明基于特征对比的监督方法，是一种在理论和实验中都能保证稳定收敛的方法。
专利文献CN112801962A(申请号：CN202110066948.7)公开了一种基于正样本学习的半监督工业制品瑕疵检测方法及***，通过正样本图像训练图像修复网络和瑕疵分割预测网络；采用含待测瑕疵的图像输入图像修复网络得到恢复后的正品图像，计算两者差值的绝对值后将三幅图像拼接得到检测张量，通过分割预测网络根据检测张量生成分割掩模二值图像，得到瑕疵区域。但该发明不是基于特征对比，不能避免了语义上的混淆，缺陷检测的精度有限。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于特征对比的半监督工业缺陷检测方法及***。
根据本发明提供的一种基于特征对比的半监督工业缺陷检测方法，包括：
步骤S1：采集待测产品图片，随机对图片标注标签；
步骤S2：对待测产品进行分类，分为有标签输入和无标签输入；
步骤S3：对于有标签输入，用图片和对应的标签对于学生网络进行训练；
对于无标签输入，输入到教师网络中产生相应的伪标签和表征；
步骤S4：对于伪标签进行筛选，分出可靠像素和不可靠像素；
步骤S5：对于可靠像素送入学生网络中进行监督；对于不可靠像素，根据其特征编码信息，对学生网络进行基于对比学习的特征优化。
优选地，在所述步骤S3中：
对于有标签输入用图片和对应的标签对于学生网络进行训练的步骤如下：
步骤S3.1：对输入图片进行数据扩增；
步骤S3.2：用进行数据扩增后的输入图片训练一个教师网络，之后该教师网络不进行梯度更新；
步骤S3.3：用步骤S3.2的相同输入图片训练一个学生网络；
步骤S3.4：基于交叉熵进行教师网络和学生网络的训练。
优选地，所述基于交叉熵是用以衡量输入图像和真实标注的标签中语义信息的差别，其计算过程如下：
Figure BDA0003490186500000021
Figure BDA0003490186500000031
其中，yi为第i个特征向量中语义信息的差别；xi为特征向量第i个值，xj为特征向量第j个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵；Hy′(y)为交叉熵；y′i为理想结果、正确标签向量。
优选地，在所述步骤S4中：
利用熵值对于伪标签进行像素级别的筛选，具体步骤如下：
步骤S4.1：对于每个像素的预测概率分布，熵值根据如下公式计算：
Entropy(p)＝-pilog(pi)
其中Entropy(p)为熵值，p为待计算的像素，pi为像素p类别为i的概率；
步骤S4.2：计算所有像素的熵值，熵值排序位于后50％视为可靠像素，熵值排序位于前50％视为不可靠像素；
步骤S4.3：将可靠像素与可靠像素的伪标签视为有标签输入，作为学生网络的监督信息，损失函数为交叉熵。
优选地，在所述步骤S5中：
对于低可信度的标签根据特征编码信息对学生网络进行基于对比学习的特征优化的步骤为：
步骤S5.1：将不可像素的预测概率分布进行根据概率值的排序；
步骤S5.2：对于每个类别的可靠像素，当不可靠像素概率排序前三类别中不出现这个类别，则进行特征对比的损失计算优化，其计算过程如下所示：
Figure BDA0003490186500000032
Figure BDA0003490186500000033
其中，C是概率类别，M代表着图片上的位置信息，zi代表着相应位置的教师网络输出的表征，τ为预先设定的温度系数，N为预先设定的负样本个数，
Figure BDA0003490186500000034
为对应的正样本的表征，
Figure BDA0003490186500000035
为对应的负样本的表征，<，>表示向量间求内积的运算。
根据本发明提供的一种基于特征对比的半监督工业缺陷检测***，包括：
模块M1：采集待测产品图片，随机对图片标注标签；
模块M2：对待测产品进行分类，分为有标签输入和无标签输入；
模块M3：对于有标签输入，用图片和对应的标签对于学生网络进行训练；
对于无标签输入，输入到教师网络中产生相应的伪标签和表征；
模块M4：对于伪标签进行筛选，分出可靠像素和不可靠像素；
模块M5：对于可靠像素送入学生网络中进行监督；对于不可靠像素，根据其特征编码信息，对学生网络进行基于对比学习的特征优化。
优选地，在所述模块M3中：
对于有标签输入用图片和对应的标签对于学生网络进行训练的步骤如下：
模块M3.1：对输入图片进行数据扩增；
模块M3.2：用进行数据扩增后的输入图片训练一个教师网络，之后该教师网络不进行梯度更新；
模块M3.3：用模块M3.2的相同输入图片训练一个学生网络；
模块M3.4：基于交叉熵进行教师网络和学生网络的训练。
优选地，所述基于交叉熵是用以衡量输入图像和真实标注的标签中语义信息的差别，其计算过程如下：
Figure BDA0003490186500000041
Figure BDA0003490186500000042
其中，yi为第i个特征向量中语义信息的差别；xi为特征向量第i个值，xj为特征向量第j个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵；Hy′(y)为交叉熵；y'i为理想结果、正确标签向量。
优选地，在所述模块M4中：
利用熵值对于伪标签进行像素级别的筛选，具体步骤如下：
模块M4.1：对于每个像素的预测概率分布，熵值根据如下公式计算：
Entropy(p)＝-pilog(pi)
其中Entropy(p)为熵值，p为待计算的像素，pi为像素p类别为i的概率；
模块M4.2：计算所有像素的熵值，熵值排序位于后50％视为可靠像素，熵值排序位于前50％视为不可靠像素；
模块M4.3：将可靠像素与可靠像素的伪标签视为有标签输入，作为学生网络的监督信息，损失函数为交叉熵。
优选地，在所述模块M5中：
对于低可信度的标签根据特征编码信息对学生网络进行基于对比学习的特征优化的步骤为：
模块M5.1：将不可像素的预测概率分布进行根据概率值的排序；
模块M5.2：对于每个类别的可靠像素，当不可靠像素概率排序前三类别中不出现这个类别，则进行特征对比的损失计算优化，其计算过程如下所示：
Figure BDA0003490186500000051
Figure BDA0003490186500000052
其中，C是概率类别，M代表着图片上的位置信息，zi代表着相应位置的教师网络输出的表征,τ为预先设定的温度系数，N为预先设定的负样本个数，
Figure BDA0003490186500000053
为对应的正样本的表征，
Figure BDA0003490186500000054
为对应的负样本的表征，<,>表示向量间求内积的运算。
与现有技术相比，本发明具有如下的有益效果：
1、本发明具有半监督输入情况下进行模型训练的能力，使得工业缺陷检测模型的训练过程不需要大量的标注数据，大大节省了生产成本；
2、本发明基于特征对比，避免了语义上的混淆，极大的利用了无标注数据，大大提高了缺陷检测的精度；
3、本发明基于分割结果的不同类别的特征的可区分性，对于少量监督样本情况下的训练提供了额外的约束，使得在半监督情况下训练出的缺陷检测模型依然具有很强的检测能力。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的训练网络模型做缺陷检测后得到模型的简要过程的流程图；
图2为本发明的实施例的检测***与模块推理***的结构框图；
图3为本发明的算法简要说明图；
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1：
根据本发明提供的一种基于特征对比的半监督工业缺陷检测方法，如图1-图3所示，包括：
步骤S1：采集待测产品图片，随机对图片标注标签；
步骤S2：对待测产品进行分类，分为有标签输入和无标签输入；
步骤S3：对于有标签输入，用图片和对应的标签对于学生网络进行训练；
对于无标签输入，输入到教师网络中产生相应的伪标签和表征；
步骤S4：对于伪标签进行筛选，分出可靠像素和不可靠像素；
步骤S5：对于可靠像素送入学生网络中进行监督；对于不可靠像素，根据其特征编码信息，对学生网络进行基于对比学习的特征优化。
具体地，在所述步骤S3中：
对于有标签输入用图片和对应的标签对于学生网络进行训练的步骤如下：
步骤S3.1：对输入图片进行数据扩增；
步骤S3.2：用进行数据扩增后的输入图片训练一个教师网络，之后该教师网络不进行梯度更新；
步骤S3.3：用步骤S3.2的相同输入图片训练一个学生网络；
步骤S3.4：基于交叉熵进行教师网络和学生网络的训练。
具体地，所述基于交叉熵是用以衡量输入图像和真实标注的标签中语义信息的差别，其计算过程如下：
Figure BDA0003490186500000061
Figure BDA0003490186500000062
其中，yi为第i个特征向量中语义信息的差别；xi为特征向量第i个值，xj为特征向量第j个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵；Hy′(y)为交叉熵；y'i为理想结果、正确标签向量。
具体地，在所述步骤S4中：
利用熵值对于伪标签进行像素级别的筛选，具体步骤如下：
步骤S4.1：对于每个像素的预测概率分布，熵值根据如下公式计算：
Entropy(p)＝-pilog(pi)
其中Entropy(p)为熵值，p为待计算的像素，pi为像素p类别为i的概率；
步骤S4.2：计算所有像素的熵值，熵值排序位于后50％视为可靠像素，熵值排序位于前50％视为不可靠像素；
步骤S4.3：将可靠像素与可靠像素的伪标签视为有标签输入，作为学生网络的监督信息，损失函数为交叉熵。
具体地，在所述步骤S5中：
对于低可信度的标签根据特征编码信息对学生网络进行基于对比学习的特征优化的步骤为：
步骤S5.1：将不可像素的预测概率分布进行根据概率值的排序；
步骤S5.2：对于每个类别的可靠像素，当不可靠像素概率排序前三类别中不出现这个类别，则进行特征对比的损失计算优化，其计算过程如下所示：
Figure BDA0003490186500000071
Figure BDA0003490186500000072
其中，C是概率类别，M代表着图片上的位置信息，zi代表着相应位置的教师网络输出的表征,τ为预先设定的温度系数，N为预先设定的负样本个数，
Figure BDA0003490186500000073
为对应的正样本的表征，
Figure BDA0003490186500000074
为对应的负样本的表征，<,>表示向量间求内积的运算。
实施例2：
实施例2为实施例1的优选例，以更为具体地对本发明进行说明。
本领域技术人员可以将本发明提供的一种基于特征对比的半监督工业缺陷检测方法，理解为基于特征对比的半监督工业缺陷检测***的具体实施方式，即所述基于特征对比的半监督工业缺陷检测***可以通过执行所述基于特征对比的半监督工业缺陷检测方法的步骤流程予以实现。
根据本发明提供的一种基于特征对比的半监督工业缺陷检测***，包括：
模块M1：采集待测产品图片，随机对图片标注标签；
模块M2：对待测产品进行分类，分为有标签输入和无标签输入；
模块M3：对于有标签输入，用图片和对应的标签对于学生网络进行训练；
对于无标签输入，输入到教师网络中产生相应的伪标签和表征；
模块M4：对于伪标签进行筛选，分出可靠像素和不可靠像素；
模块M5：对于可靠像素送入学生网络中进行监督；对于不可靠像素，根据其特征编码信息，对学生网络进行基于对比学习的特征优化。
具体地，在所述模块M3中：
对于有标签输入用图片和对应的标签对于学生网络进行训练的步骤如下：
模块M3.1：对输入图片进行数据扩增；
模块M3.2：用进行数据扩增后的输入图片训练一个教师网络，之后该教师网络不进行梯度更新；
模块M3.3：用模块M3.2的相同输入图片训练一个学生网络；
模块M3.4：基于交叉熵进行教师网络和学生网络的训练。
具体地，所述基于交叉熵是用以衡量输入图像和真实标注的标签中语义信息的差别，其计算过程如下：
Figure BDA0003490186500000081
Figure BDA0003490186500000082
其中，yi为第i个特征向量中语义信息的差别；xi为特征向量第i个值，xj为特征向量第j个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵；Hy′(y)为交叉熵；y'i为理想结果、正确标签向量。
具体地，在所述模块M4中：
利用熵值对于伪标签进行像素级别的筛选，具体步骤如下：
模块M4.1：对于每个像素的预测概率分布，熵值根据如下公式计算：
Entropy(p)＝-pilog(pi)
其中Entropy(p)为熵值，p为待计算的像素，pi为像素p类别为i的概率；
模块M4.2：计算所有像素的熵值，熵值排序位于后50％视为可靠像素，熵值排序位于前50％视为不可靠像素；
模块M4.3：将可靠像素与可靠像素的伪标签视为有标签输入，作为学生网络的监督信息，损失函数为交叉熵。
具体地，在所述模块M5中：
对于低可信度的标签根据特征编码信息对学生网络进行基于对比学习的特征优化的步骤为：
模块M5.1：将不可像素的预测概率分布进行根据概率值的排序；
模块M5.2：对于每个类别的可靠像素，当不可靠像素概率排序前三类别中不出现这个类别，则进行特征对比的损失计算优化，其计算过程如下所示：
Figure BDA0003490186500000091
Figure BDA0003490186500000092
其中，C是概率类别，M代表着图片上的位置信息，zi代表着相应位置的教师网络输出的表征,τ为预先设定的温度系数，N为预先设定的负样本个数，
Figure BDA0003490186500000093
为对应的正样本的表征，
Figure BDA0003490186500000094
为对应的负样本的表征，<,>表示向量间求内积的运算。
实施例3：
实施例3为实施例1的优选例，以更为具体地对本发明进行说明。
1、一种基于特征对比的半监督工业缺陷检测***及方法，包括：
步骤A：采集待测产品图片，并且进行部分图片的像素级别的标注，形成有部分监督信息的输入样本。
步骤B：根据待测产品是否带有图片，将输入样本分为“有标签输入”和“无标签输入”。
步骤C：对于“有标签输入”，直接用这些图片和对应的标签，对于学生网络进行训练。
步骤D：对于“无标签输入”，将其输入到教师网络中，产生相应的伪标签和表征。
步骤E：利用熵值，对于伪标签进行像素级别的筛选，分出高可信度和低可信度的伪标签。
步骤F：对于高可信度的标签，直接送入学生网络中，进行监督。
步骤G：对于低可信度的标签，根据其特征编码信息，对学生网络进行基于对比学习的特征优化。
2、根据权利要求1所述的基于特征对比的半监督工业缺陷检测***及方法，所述步骤C包括：
步骤S1：对输入图片进行翻转、裁剪、改变尺寸、高斯模糊等数据扩增；
步骤S2：用进行数据扩增后的输入图片初步训练一个教师网络，之后该网络不进行梯度更新；
步骤S3：用上一步骤的相同输入图片训练一个学生网络；
步骤S4：训练中的loss函数的定义是基于交叉熵，进行教师网络和学生网络的训练。
3、根据权利要求1所述的基于特征对比的半监督工业缺陷检测***及方法，所述基于交叉熵是用以衡量输入图像和真实标注的标签中语义信息的差别，其计算过程如下：
Figure BDA0003490186500000101
Figure BDA0003490186500000102
其中，yi为第i个特征向量中语义信息的差别；
xi为特征向量第i个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵；
Hy′(y)为交叉熵；
yi＇为理想结果，即正确标签向量。
4、根据权利要求1所述的基于特征对比的半监督工业缺陷检测***及方法，所述步骤E包括：
步骤S1：对于每个像素的预测概率分布，其熵值根据如下公式：
Entropy(p)＝-pilog(pi)
Entropy(p)为熵值，p为待计算的像素，pi为像素p类别为i的概率
步骤S2：计算所有像素的熵值，熵值为排序较小的，位于后50％，视为可靠像素，位于前50％，视为不可靠像素。
步骤S3：将可靠像素与其伪标签当成是有标签输入，作为学生网络的监督信息，损失函数也为交叉熵。
5、根据权利要求1所述的基于特征对比的半监督工业缺陷检测***及方法，所述步骤G包括：
步骤S1：将不可像素的预测概率分布进行根据概率值的排序。
步骤S2：对于每个类别的可靠像素，当不可靠像素概率排序前三类别中不出现这个类别，则进行特征对比的损失计算优化，其计算过程如下所示：
Figure BDA0003490186500000111
Figure BDA0003490186500000112
其中，C是概率类别，M代表着图片上的位置信息，zi代表着相应位置的教师网络输出的表征,τ为预先设定的温度系数，N为预先设定的负样本个数，
Figure BDA0003490186500000113
为对应的正样本的表征，
Figure BDA0003490186500000114
为对应的负样本的表征，<,>表示向量间求内积的运算，log(x)和ex为常见的数学函数。
实施例4：
实施例4为实施例1的优选例，以更为具体地对本发明进行说明。
本发明提供了一种基于特征对比的半监督工业缺陷检测***及方法，涉及缺陷检测的硬件***与软件算法。硬件***包括检测台，成像装置，模型推理***。软件算法采用深度学习的分割方案，利用特征编码-解码网络，通过特征编码在不同类别中的区分性，提高分割精度。
本发明尤其针对工业，缺陷样本标注成本过高的问题，利用少部分标注样本和大部分未标注样本，实现缺陷检测准确率的提升，提供一种基于特征对比的半监督工业缺陷检测***及方法并提高检测方法的表现性能，进行以下的逐步操作：
步骤A：采集待测产品图片，并且进行部分图片的像素级别的标注，形成有部分监督信息的输入样本。
步骤B：根据待测产品是否带有图片，将输入样本分为“有标签输入”和“无标签输入”。
步骤C：对于“有标签输入”，直接用这些图片和对应的标签，对于学生网络进行训练。
步骤D：对于“无标签输入”，将其输入到教师网络中，产生相应的伪标签和表征。
步骤E：利用熵值，对于伪标签进行像素级别的筛选，分出高可信度和低可信度的伪标签。
步骤F：对于高可信度的标签，直接送入学生网络中，进行监督。
步骤G：对于低可信度的标签，根据其特征编码信息，对学生网络进行基于对比学习的特征优化。
其中，为了达到较好的检测效果，在数据预处理上需要多种数据增强技术配合使用。对于有标签输入，需要进行旋转、翻转、高斯模糊、上色等数据增强，并且依照一定的概率进行具体的数据增强操作。在具体的处理过程中，需要用到Opencv里的一些函数与方法。对于无标签图，数据扩增应该对其伪标签和原图一起进行，并且按照先进行弱数据扩增后进行强数据扩增的顺序进行。强数据扩增这里包括但并不限于随机抠图、随机类别替换等，依照均匀概率分布进行。
具体实施中，该发明所用的特征提取神经网络包括并不限于Resnet、VGG、MobileNet、ICNet等典型神经网络。基于特征对比的半监督工业缺陷检测***及方法，使用了残差网络进行特征提取，ResNet网络结构图，由四个残差块构成，每个残差块含有两层卷积层，均使用3*3的卷积核，通过前向的恒等映射，ResNet解决了诸多神经网络在往深度发展时会遇到的梯度消失问题，为实现更深的网络结构提供了技术基础。在本发明中，以ResNet18为例介绍ResNet的网络结构，在实际的实施中，已成功使用了ResNet34、ResNet50、ResNet101、ResNet152等这些更深的残差神经网络。特征提取通过以下步骤：
步骤S1.对已有数据集进行划分，以50％-25％-25％左右的比例分为训练集(training)，验证集(validating)和测试集(testing)，其中训练集用以训练网络，验证集用以调整选择网络参数，测试集用以确定模型的性能。
步骤S2.对于有标签数据和无标签数据都可以输入到ResNet网络中提取特征，输出的特征为向量化的表征形式。
步骤S3.得到了向量化的特征后，输入分割标签生成网络DeepLab v3+，这是一种结构复杂，利用了ResNet最浅层和最深层特征作为输入，并且运用ASPP模块，最后上采样到原图尺寸。
步骤S4.根据上一步的分割信息，我们利用DeepLab v3+产生到特征向量进行拼接，拼接后的特征向量进入3层全连接层，3层全连接层的神经元数量依次为256，128，labelnumber，即最后一层全连接层的输出通道数为需要进行分类的标签的数量，这一步体现了该方法对于多分类的问题的针对能力。
步骤S5.训练中的loss函数的定义基于交叉熵，用以衡量两个输入图像即待测图像(训练时的各类缺陷图像)与模板图像的特征向量中语义信息的差别，其计算过程如下：
Figure BDA0003490186500000121
Figure BDA0003490186500000122
xi为特征向量第i个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵。交叉熵越小，预测结果越准确，以该loss指导网络的训练过程。
如图1所示，本发明实现的基于特征对比的半监督工业缺陷检测***及方法的训练过程，具体包括以下步骤：
(1)采集真实的缺陷图像样本，包括固定待检测物体的专用夹具，固定于夹具之上的光源、相机
(2)对真实的待检测图像样本与利用数据增强技术生成的缺陷图像样本进行部分人工标注。
(3)训练学生-教师网络，通过ResNet提取图像特征，对特征向量进行拼接后，输入全连接层，在基于交叉熵的Loss函数指导下，完成对整个网络的训练。
本发明的***在实施中通过检测台、图像采集、算法推理三部分实现，如图2所示，其中，检测台包括部分生产线，为人工拾取产品进行拍摄或可嵌入自动化生产线的用于安装图像采集模块的平台，其上设置有相机安装支架以及必要的定位紧定装置。图像采集包括相机、光源以及相关配件，安装在平台的支架上。算法推理包括上位计算机以及相应神经网络模型与算法。该检测台设置了多自由度运动的机械臂装置，用于全方位获取待检测的工件图片，并且其控制***也适配于任意角度的检测。
本发明实现的基于特征对比的半监督工业缺陷检测***及方法的检测键盘缺陷的实例，具体包括以下步骤：
(1)键盘图片采集：键盘由夹具被固定于同一位置，键盘在采集到的图片中的位置具有极高的一致性，可以精确截取到每一个待检的键帽，精确拍摄得到键盘情况。
(2)对键盘图像所有样本利用数据增强技术生成的键盘缺陷图像样本进行像素级别的人工标注，统计出缺陷类别为：污点、重影、盲键、反键。
(3)利用教师-学生网络的结构，利用编码器提取图像特征，对特征向量进行拼接后，输入全连接层，在基于交叉熵的Loss函数和InfoNce Loss的指导下，完成对整个网络的训练。
在实际运用中，由于缺陷的种类不够多，可以根据以下形式进行数据扩增。通过图像处理，我们可以通过在正常的键帽图像上添加这些缺陷来人为生成更多同种类型的缺陷图像，以此增加训练数据。以及其颜色均为随机，所以生成的加工缺陷图像具有足够的多样性，其余缺陷生成方式类似。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的***、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于特征对比的半监督工业缺陷检测方法，其特征在于，包括：
步骤S1：采集待测产品图片，随机对图片标注标签；
步骤S2：对待测产品进行分类，分为有标签输入和无标签输入；
步骤S3：对于有标签输入，用图片和对应的标签对于学生网络进行训练；
对于无标签输入，输入到教师网络中产生相应的伪标签和表征；
步骤S4：对于伪标签进行筛选，分出可靠像素和不可靠像素；
步骤S5：对于可靠像素送入学生网络中进行监督；对于不可靠像素，根据其特征编码信息，对学生网络进行基于对比学习的特征优化。
2.根据权利要求1所述的基于特征对比的半监督工业缺陷检测方法，其特征在于，在所述步骤S3中：
对于有标签输入用图片和对应的标签对于学生网络进行训练的步骤如下：
步骤S3.1：对输入图片进行数据扩增；
步骤S3.2：用进行数据扩增后的输入图片训练一个教师网络，之后该教师网络不进行梯度更新；
步骤S3.3：用步骤S3.2的相同输入图片训练一个学生网络；
步骤S3.4：基于交叉熵进行教师网络和学生网络的训练。
3.根据权利要求2所述的基于特征对比的半监督工业缺陷检测方法，其特征在于：
所述基于交叉熵是用以衡量输入图像和真实标注的标签中语义信息的差别，其计算过程如下：
Figure FDA0003490186490000011
Figure FDA0003490186490000012
其中，yi为第i个特征向量中语义信息的差别；xi为特征向量第i个值，xj为特征向量第j个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵；Hy′(y)为交叉熵；y'i为理想结果、正确标签向量。
4.根据权利要求1所述的基于特征对比的半监督工业缺陷检测方法，其特征在于，在所述步骤S4中：
利用熵值对于伪标签进行像素级别的筛选，具体步骤如下：
步骤S4.1：对于每个像素的预测概率分布，熵值根据如下公式计算：
Entropy(p)＝-pilog(pi)
其中Entropy(p)为熵值，p为待计算的像素，pi为像素p类别为i的概率；
步骤S4.2：计算所有像素的熵值，熵值排序位于后50％视为可靠像素，熵值排序位于前50％视为不可靠像素；
步骤S4.3：将可靠像素与可靠像素的伪标签视为有标签输入，作为学生网络的监督信息，损失函数为交叉熵。
5.根据权利要求1所述的基于特征对比的半监督工业缺陷检测方法，其特征在于，在所述步骤S5中：
对于低可信度的标签根据特征编码信息对学生网络进行基于对比学习的特征优化的步骤为：
步骤S5.1：将不可像素的预测概率分布进行根据概率值的排序；
步骤S5.2：对于每个类别的可靠像素，当不可靠像素概率排序前三类别中不出现这个类别，则进行特征对比的损失计算优化，其计算过程如下所示：
Figure FDA0003490186490000021
其中，C是概率类别，M代表着图片上的位置信息，zi代表着相应位置的教师网络输出的表征,τ为预先设定的温度系数，N为预先设定的负样本个数，
Figure FDA0003490186490000022
为对应的正样本的表征，
Figure FDA0003490186490000023
为对应的负样本的表征，<,>表示向量间求内积的运算。
6.一种基于特征对比的半监督工业缺陷检测***，其特征在于，包括：
模块M1：采集待测产品图片，随机对图片标注标签；
模块M2：对待测产品进行分类，分为有标签输入和无标签输入；
模块M3：对于有标签输入，用图片和对应的标签对于学生网络进行训练；
对于无标签输入，输入到教师网络中产生相应的伪标签和表征；
模块M4：对于伪标签进行筛选，分出可靠像素和不可靠像素；
模块M5：对于可靠像素送入学生网络中进行监督；对于不可靠像素，根据其特征编码信息，对学生网络进行基于对比学习的特征优化。
7.根据权利要求6所述的基于特征对比的半监督工业缺陷检测***，其特征在于，在所述模块M3中：
对于有标签输入用图片和对应的标签对于学生网络进行训练的步骤如下：
模块M3.1：对输入图片进行数据扩增；
模块M3.2：用进行数据扩增后的输入图片训练一个教师网络，之后该教师网络不进行梯度更新；
模块M3.3：用模块M3.2的相同输入图片训练一个学生网络；
模块M3.4：基于交叉熵进行教师网络和学生网络的训练。
8.根据权利要求7所述的基于特征对比的半监督工业缺陷检测***，其特征在于：
所述基于交叉熵是用以衡量输入图像和真实标注的标签中语义信息的差别，其计算过程如下：
Figure FDA0003490186490000031
Figure FDA0003490186490000032
其中，yi为第i个特征向量中语义信息的差别；xi为特征向量第i个值，xj为特征向量第j个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵；Hy′(y)为交叉熵；y'i为理想结果、正确标签向量。
9.根据权利要求6所述的基于特征对比的半监督工业缺陷检测***，其特征在于，在所述模块M4中：
利用熵值对于伪标签进行像素级别的筛选，具体步骤如下：
模块M4.1：对于每个像素的预测概率分布，熵值根据如下公式计算：
Entropy(p)＝-pilog(pi)
其中Entropy(p)为熵值，p为待计算的像素，pi为像素p类别为i的概率；
模块M4.2：计算所有像素的熵值，熵值排序位于后50％视为可靠像素，熵值排序位于前50％视为不可靠像素；
模块M4.3：将可靠像素与可靠像素的伪标签视为有标签输入，作为学生网络的监督信息，损失函数为交叉熵。
10.根据权利要求6所述的基于特征对比的半监督工业缺陷检测***，其特征在于，在所述模块M5中：
对于低可信度的标签根据特征编码信息对学生网络进行基于对比学习的特征优化的步骤为：
模块M5.1：将不可像素的预测概率分布进行根据概率值的排序；
模块M5.2：对于每个类别的可靠像素，当不可靠像素概率排序前三类别中不出现这个类别，则进行特征对比的损失计算优化，其计算过程如下所示：
Figure FDA0003490186490000041
其中，C是概率类别，M代表着图片上的位置信息，zi代表着相应位置的教师网络输出的表征,τ为预先设定的温度系数，N为预先设定的负样本个数，
Figure FDA0003490186490000042
为对应的正样本的表征，
Figure FDA0003490186490000043
为对应的负样本的表征，<,>表示向量间求内积的运算。
CN202210094096.7A 2022-01-26 2022-01-26 基于特征对比的半监督工业缺陷检测方法及*** Pending CN114494780A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210094096.7A CN114494780A (zh) 2022-01-26 2022-01-26 基于特征对比的半监督工业缺陷检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210094096.7A CN114494780A (zh) 2022-01-26 2022-01-26 基于特征对比的半监督工业缺陷检测方法及***

Publications (1)

Publication Number Publication Date
CN114494780A true CN114494780A (zh) 2022-05-13

Family

ID=81476425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210094096.7A Pending CN114494780A (zh) 2022-01-26 2022-01-26 基于特征对比的半监督工业缺陷检测方法及***

Country Status (1)

Country Link
CN (1) CN114494780A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115587989A (zh) * 2022-10-21 2023-01-10 国家工业信息安全发展研究中心 一种工件ct图像缺陷检测分割方法及***
CN116030016A (zh) * 2023-01-10 2023-04-28 广州市易鸿智能装备有限公司 产品图像缺陷检测方法、装置、电子设备及存储介质
CN116309245A (zh) * 2022-09-07 2023-06-23 南京江源测绘有限公司 基于深度学习的地下排水管道缺陷智能检测方法与***
CN116883390A (zh) * 2023-09-04 2023-10-13 合肥中科类脑智能技术有限公司 模糊抵抗性半监督缺陷检测方法、装置及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309245A (zh) * 2022-09-07 2023-06-23 南京江源测绘有限公司 基于深度学习的地下排水管道缺陷智能检测方法与***
CN116309245B (zh) * 2022-09-07 2024-01-19 南京唐壹信息科技有限公司 基于深度学习的地下排水管道缺陷智能检测方法与***
CN115587989A (zh) * 2022-10-21 2023-01-10 国家工业信息安全发展研究中心 一种工件ct图像缺陷检测分割方法及***
CN115587989B (zh) * 2022-10-21 2023-08-18 国家工业信息安全发展研究中心 一种工件ct图像缺陷检测分割方法及***
CN116030016A (zh) * 2023-01-10 2023-04-28 广州市易鸿智能装备有限公司 产品图像缺陷检测方法、装置、电子设备及存储介质
CN116883390A (zh) * 2023-09-04 2023-10-13 合肥中科类脑智能技术有限公司 模糊抵抗性半监督缺陷检测方法、装置及存储介质
CN116883390B (zh) * 2023-09-04 2023-11-21 合肥中科类脑智能技术有限公司 模糊抵抗性半监督缺陷检测方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测***及方法
US10964004B2 (en) Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program, and deep learning system thereof
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及***
EP3502966A1 (en) Data generation apparatus, data generation method, and data generation program
CN111257341B (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN110648305B (zh) 工业图像检测方法、***与计算机可读记录介质
CN116188475B (zh) 一种外观缺陷自动光学检测的智慧控制方法、***及介质
CN111667455A (zh) 一种刷具多种缺陷的ai检测方法
CN111712769B (zh) 用于设定照明条件的方法、装置、***以及存储介质
US20220245402A1 (en) Ai-based pre-training model determination system, and ai-based vision inspection management system using same for product production lines
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN110751170A (zh) 面板质量检测方法、***、终端设备及计算机可读介质
CN114549414A (zh) 一种针对轨道数据的异常变化检测方法及***
CN113962980A (zh) 基于改进yolov5x的玻璃容器瑕疵检测方法及***
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN113205163A (zh) 数据标注方法及装置
CN117173154A (zh) 玻璃瓶的在线图像检测***及其方法
CN116912144A (zh) 一种基于大律算法与通道注意力机制的数据增强方法
CN114897909B (zh) 基于无监督学习的曲轴表面裂纹监测方法及***
CN112508946B (zh) 一种基于对抗神经网络的电缆隧道异常检测方法
CN114692887A (zh) 半监督学习***及半监督学习方法
Shin et al. Visualization for explanation of deep learning-based defect detection model using class activation map
CN117750643B (zh) 印制电路板的表面加工方法
Subha et al. A Novel Deep Learning Approach to Detect Manufacturing Defects over Textile Fabric Materials

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220831

Address after: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District

Applicant after: SHANGHAI JIAO TONG University

Applicant after: SHANGHAI AUTOMOBILE POWDER METALLURGY Co.,Ltd.

Address before: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District

Applicant before: SHANGHAI JIAO TONG University