CN114708518A - 基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法 - Google Patents

基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法 Download PDF

Info

Publication number
CN114708518A
CN114708518A CN202210378734.8A CN202210378734A CN114708518A CN 114708518 A CN114708518 A CN 114708518A CN 202210378734 A CN202210378734 A CN 202210378734A CN 114708518 A CN114708518 A CN 114708518A
Authority
CN
China
Prior art keywords
bolt
model
defect detection
training
semi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210378734.8A
Other languages
English (en)
Inventor
李刚
张运涛
汪文凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202210378734.8A priority Critical patent/CN114708518A/zh
Publication of CN114708518A publication Critical patent/CN114708518A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，包括以下步骤：采集不同部件的螺栓图像，建立不同类型缺陷的螺栓检测数据集；基于先验知识嵌入策略，对螺栓检测数据集进行特征处理，生成具有样本相关性特征的样本数据集；构建变分自编码器网络模型，变分自编码器网络模型由批归一化单元、图卷积神经网络单元以及卷积单元组成；基于变分自编码器网络模型，通过半监督学习的方式，将样本数据集输入到变分自编码器网络模型进行训练，构建螺栓缺陷检测模型，螺栓缺陷检测模型用于识别待检测螺栓图像的螺栓缺陷类型；本发明充分利用不同类别样本的相关性与依赖性提高长尾分布下的螺栓缺陷检测的准确度。

Description

基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法
技术领域
本发明涉及计算机视觉领域，具体而言，涉及基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法。
背景技术
输电线路作为电力***传输中的生命线路，其稳定运行对电网的安全有着至关重要的影响。传统的人工巡检方式已经不能满足当今社会的需求。因此，对于如何利用计算机视觉技术，从无人机航拍巡检图像中自动精确地定位并准确检测其缺陷，已成为一项关键技术问题。经典的机器学***衡也会造成深度学习模型最终训练效果极差。
现有技术中，根据在训练过程中是否使用标注数据，可将机器学习模型分为“有监督学习”、“无监督学习”和“半监督学习”3种。基于有监督学习的目标检测算法能否取得良好的性能的关键在于是否具备充足的标注样本数据。然而，在电力生产等诸多场景中，危机缺陷样本数据总量少且图像标注的成本较高等原因，使得获取大量标注的数据集的要求难以满足。无监督学习完全不利用标注数据，通过对数据内在特征挖掘，找到样本之间的关系。但由于无监督学习算法缺乏先验知识，无法预判输出结果的准确性，难以应用于实际生产中。半监督学习同时利用无标注数据和有标注数据进行协同训练。无标注数据在半监督学习模型中会被打上一个标签然后作为有标记数据使用，起到扩充数据集的作用，进而改进模型的质量。然后，在实际工作中，无标注数据的质量难以控制，不当的使用无标注数据会对性能带来极大的影响。
针对上述问题，目前已有使用基于半监督学***安科技(深圳)有限公司也公开了一种基于半监督学***翻转与数据增强等操作扩充的数据作为新的训练样本的方式，提高模型的检测泛化能力。但这种方式严重限制了无标注样本的可利用率，无法充分利用大量无标签样本中蕴含的信息来帮助提高模型精度。
其次，深度学习模型目前无法学习到类别A样本和类别B样本之间的区别，类别C样本与类别B样本之间的联系以及依赖信息，难以挖掘不同类别样本与样本之间背后的潜在知识信息。在目前的目标检测任务中，对于某个样本，类别标签要不是类别A，那么就是类别B，或者类别C等等。然而，这种标注方式除了标注类别信息外，不具有其他语义信息，每个类别标签视为是笛卡尔坐标系中彼此正交的轴上的基底，这意味着每个类别之间的欧式距离是一致的，这与现实中实际类别含义严重不符。也就是说，模型认为螺栓正常，螺栓缺销钉，螺栓缺螺母都是等价的类别，但是显然，螺栓正常和螺栓缺销钉特征极为相似，而螺栓正常与螺栓缺螺母具有明显的区别。
此外，目前针对长尾分布问题，无非采用以下两类方式处理：基于重采样加权重方式与平衡不同样本子集的方式。
一方面，基于重采样和加权重的方法，只能解决梯度回传时头部类相比于尾部类占据更多梯度回传问题，在自然界中，缺陷样本具有典型的长尾分布特点，不同的缺陷类具有不同数量的实例，更重要的是并非同一类的缺陷都出现在一张图像中，未解决针对尾部特征的小样本学***衡造成模型检测能力不稳定的问题。
发明内容
为克服现有技术的不足，本发明提出一种综合利用半监督学习与先验知识嵌入策略进行螺栓缺陷检测的方法，将多个相关任务放在一起协同训练，使得每个任务之间的参数和数据都能共享，从而增加模型的泛化能力，该方法具体为基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法。
为了实现上述技术目的，本发明提供了基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，包括以下步骤：
采集不同部件的螺栓图像，建立不同类型缺陷的螺栓检测数据集；
基于先验知识嵌入策略，对螺栓检测数据集进行特征处理，生成具有样本相关性特征的样本数据集，其中，样本相关性特征用于表示样本与样本之间的特征具有相关性；
构建变分自编码器网络模型，变分自编码器网络模型由批归一化单元、图卷积神经网络单元以及卷积单元组成；
基于变分自编码器网络模型，通过半监督学习的方式，将样本数据集输入到变分自编码器网络模型进行训练，构建螺栓缺陷检测模型，螺栓缺陷检测模型用于识别待检测螺栓图像的螺栓缺陷类型。
优选地，在采集不同部件的螺栓图像的过程中，螺栓图像包括正常螺栓图像、缺垫片螺栓图像、缺销钉螺栓图像、缺螺母螺栓图像。
优选地，在构建螺栓缺陷检测模型的过程中，基于变分自编码器网络模型，对样本数据集，通过CNN backbone模块进行特征提取，得到图像特征信息；
通过encoder模块将图像特征信息转换为特征序列，并融入位置信息编码，得到隐空间特征向量；
在先验知识的指导下，将隐空间特征向量转化为若干个中间特征，并通过前馈神经网络FNN，分解成目标坐标和分类标签；
根据目标坐标和分类标签，对样本进行标注，生成标注数据；
根据标注数据和未标注数据，对变分自编码器网络模型进行训练，构建螺栓缺陷检测模型。
优选地，在构建螺栓缺陷检测模型的过程中，构建螺栓缺陷检测模型包括还包括第一decoder模块和第二decoder模块；
第一decoder模块用于根据位置信息编码和中间特征，整合得到样本相关性特征，其中，样本相关性特征包括位置特征和类别特有特征信息；
第二decoder模块用于通过反卷积操作去除位置特征，获取类别特有特征信息，类别特有特征信息用于获取中间特征与对应的类别特有特征信息的特征匹配程度；
优选地，在对变分自编码器网络模型进行训练的过程中，根据标注数据和未标注数据，生成训练集；
将训练集，输入到变分自编码器网络模型，前向传播一次，之后通过反向传播算法对模型训练，用于获取预测类别、边界预测值、真实类别标签与边界。
优选地，在通过反向传播算法对模型训练的过程中，通过标注数据进行模型训练，获取分类损失和边界框回归损失；
分类损失的方程表达式为：
Figure BDA0003591362520000061
边界框回归损失的方程表达式为：
Figure BDA0003591362520000062
pi表示第i个anchor预测为真实标签的概率、
Figure BDA0003591362520000063
当正样本时为1当为负样本是为0、ti表示预测第i个anchor的边框回归参数、
Figure BDA0003591362520000064
表示第i个anchor对应的真实的边框回归参数、R为LOSSCIOU损失函数。
优选地，在通过反向传播算法对模型训练的过程中，LOSSCIOU损失函数的方程表达式为：
Figure BDA0003591362520000065
Figure BDA0003591362520000066
Figure BDA0003591362520000067
其中，IOU为预测的边框和真实的边框的交集和并集的比值、b，bgt分别是预测的边框和真实的边框的中心点、ρ2(b，bgt)表示预测的边框与真实的边框的中心点的欧式距离、c表示能够同时包含预测的边框和真实的边框的最小闭包区域的对角线距离、α是用于平衡比例的参数、v用来衡量锚框和预测框之间的比例一致性。
优选地，在通过反向传播算法对模型训练的过程中，通过限定每个卷积层输出特征之间的距离，使用未标注数据进行模型训练，其中，采用原始图像与对应的合成图像之间的特征匹配损失对模型训练过程进行约束：
Figure BDA0003591362520000071
其中，Ncls表示一个batch中样本数量、Nreg表示anchor位置的个数。
优选地，在使用未标注数据进行模型训练的过程中，以原始图像对应的特征信息Q作为输入，经第一decoder模块，可获得包含位置特征和类别特有特征信息。第二decoder模块采用反卷积整合第一decoder模块两种特征，得到特征信息。由对偶性可知：以得到特征信息作为输入，经第一、第二decoder模块同样可获得位置特征和类别特有特征信息。针对未标注数据样本无法直接计算分类和边界框回归损失，本发明利用未标注数据的特征提取的对偶性，设计了如下损失：
Figure BDA0003591362520000072
其中，T表示判别器中提取特征的层数，Di表示提取的特征，Ni表示第i层判别器网络提取的特征数量。
优选地，用于实现螺栓缺陷检测方法的螺栓缺陷检测***，包括：
数据采集模块，用于采集不同部件的螺栓图像，建立不同类型缺陷的螺栓检测数据集；
数据处理模块，用于基于先验知识嵌入策略，对螺栓检测数据集进行特征处理，生成具有样本相关性特征的样本数据集，其中，样本相关性特征用于表示样本与样本之间的特征具有相关性；
缺陷识别模块，用于通过构建变分自编码器网络模型，变分自编码器网络模型由批归一化单元、图卷积神经网络单元以及卷积单元组成；基于变分自编码器网络模型，通过半监督学习的方式，将样本数据集输入到变分自编码器网络模型进行训练，构建螺栓缺陷检测模型，螺栓缺陷检测模型用于识别待检测螺栓图像的螺栓缺陷类型。
本发明公开了以下技术效果：
本发明提出了一种基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法。一方面设计了一种独特的变分自编码器网络，将目标检测问题转变为一组图像变换的对偶问题，并将它们之间的对偶关系作为约束，同时训练两个学习模型，两个模型的性能相互促进。使模型最终能够在低比例的标注数据情况下达到或逼近监督学习模型性能结果，从而大大降低数据的标注成本；
另一方面，充分利用不同类别样本的相关性与依赖性提高长尾分布下的螺栓缺陷检测的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的螺栓缺陷检测方法的流程示意图；
图2为本发明实施例所述的变分自编码器结构示意图；
图3为本发明实施例所述的样本与样本之间关联关系示意图；
图4为本发明实施例所述的实物样本示意图；
图5位本发明实施例所述的不同模型检测效果对比图。
具体实施方式
下为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-5所示，本发明提供了1.基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，包括以下步骤：
采集不同部件的螺栓图像，建立不同类型缺陷的螺栓检测数据集；
基于先验知识嵌入策略，对螺栓检测数据集进行特征处理，生成具有样本相关性特征的样本数据集，其中，样本相关性特征用于表示样本与样本之间的特征具有相关性；
构建变分自编码器网络模型，变分自编码器网络模型由批归一化单元、图卷积神经网络单元以及卷积单元组成；
基于变分自编码器网络模型，通过半监督学习的方式，将样本数据集输入到变分自编码器网络模型进行训练，构建螺栓缺陷检测模型，螺栓缺陷检测模型用于识别待检测螺栓图像的螺栓缺陷类型。
进一步优选地，在采集不同部件的螺栓图像的过程中，螺栓图像包括正常螺栓图像、缺垫片螺栓图像、缺销钉螺栓图像、缺螺母螺栓图像。
进一步优选地，在构建螺栓缺陷检测模型的过程中，基于变分自编码器网络模型，对样本数据集，通过CNN backbone模块进行特征提取，得到图像特征信息；
通过encoder模块将图像特征信息转换为特征序列，并融入位置信息编码，得到隐空间特征向量；
在先验知识的指导下，将隐空间特征向量转化为若干个中间特征，并通过前馈神经网络FNN，分解成目标坐标和分类标签；
根据目标坐标和分类标签，对样本进行标注，生成标注数据；
根据标注数据和未标注数据，对变分自编码器网络模型进行训练，构建螺栓缺陷检测模型。
进一步优选地，优选地，在构建螺栓缺陷检测模型的过程中，构建螺栓缺陷检测模型包括还包括第一decoder模块和第二decoder模块；
第一decoder模块用于根据位置信息编码和中间特征，整合得到样本相关性特征，其中，样本相关性特征包括位置特征和类别特有特征信息；
第二decoder模块用于通过反卷积操作去除位置特征，获取类别特有特征信息，类别特有特征信息用于获取中间特征与对应的类别特有特征信息的特征匹配程度。
第一decoder模块用于根据位置信息编码和中间特征Q(中间特征Q指的是原始图像经特征提取网络获得特征)，整合得到特征信息H。所述特征信息H包含位置特征L和类别特有特征信息X、Y、Z与W。
第二decoder模块是将第一decoder模块整合得到的特征信息H，通过反卷积操作去除位置编码信息，得到特征信息R。
特征信息R指的是图像的类别特征信息(也就是特征信息H去除了位置信息)。特征信息R的获取的目的是为了计算原始图像中间特征Q与对应的合成图像特征R之间的特征匹配程度。
进一步优选地，在对变分自编码器网络模型进行训练的过程中，根据标注数据和未标注数据，生成训练集；
将训练集，输入到变分自编码器网络模型，前向传播一次，之后通过反向传播算法对模型训练，用于获取预测类别、边界预测值、真实类别标签与边界。
进一步优选地，在通过反向传播算法对模型训练的过程中，通过标注数据进行模型训练，获取分类损失和边界框回归损失；
分类损失的方程表达式为：
Figure BDA0003591362520000111
边界框回归损失的方程表达式为：
Figure BDA0003591362520000121
pi表示第i个anchor预测为真实标签的概率、
Figure BDA0003591362520000122
当正样本时为1当为负样本是为0、ti表示预测第i个anchor的边框回归参数、
Figure BDA0003591362520000123
表示第i个anchor对应的真实的边框回归参数、R为LOSSCIOU损失函数。
进一步优选地，在通过反向传播算法对模型训练的过程中，LOSSCIOU损失函数的方程表达式为：
Figure BDA0003591362520000124
Figure BDA0003591362520000125
Figure BDA0003591362520000126
其中，IOU为预测的边框和真实的边框的交集和并集的比值、b，bgt分别是预测的边框和真实的边框的中心点、ρ2(b，bgt)表示预测的边框与真实的边框的中心点的欧式距离、c表示能够同时包含预测的边框和真实的边框的最小闭包区域的对角线距离、α是用于平衡比例的参数、v用来衡量锚框和预测框之间的比例一致性。
进一步优选地，在通过反向传播算法对模型训练的过程中，通过限定每个卷积层输出特征之间的距离，使用未标注数据进行模型训练；其中，采用原始图像与对应的合成图像之间的特征匹配损失对模型训练过程进行约束：
Figure BDA0003591362520000131
其中，Ncls表示一个batch中样本数量、Nreg表示anchor位置的个数。
进一步优选地，在使用未标注数据进行模型训练的过程中，模型训练的过程表示为：
Figure BDA0003591362520000132
其中，T表示判别器中提取特征的层数，Di表示提取的特征，Ni表示第i层判别器网络提取的特征数量。
进一步优选地，用于实现螺栓缺陷检测方法的螺栓缺陷检测***，包括：
数据采集模块，用于采集不同部件的螺栓图像，建立不同类型缺陷的螺栓检测数据集；
数据处理模块，用于基于先验知识嵌入策略，对螺栓检测数据集进行特征处理，生成具有样本相关性特征的样本数据集，其中，样本相关性特征用于表示样本与样本之间的特征具有相关性；
缺陷识别模块，用于通过构建变分自编码器网络模型，变分自编码器网络模型由批归一化单元、图卷积神经网络单元以及卷积单元组成；基于变分自编码器网络模型，通过半监督学习的方式，将样本数据集输入到变分自编码器网络模型进行训练，构建螺栓缺陷检测模型，螺栓缺陷检测模型用于识别待检测螺栓图像的螺栓缺陷类型。
本发明提出了一种基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，如图1所示，为本发明实施例的整体流程图，包括以下步骤：
步骤1：建立不同类型缺陷的螺栓检测数据集。通过无人机对输电线路进行巡检，采集各种部件上的螺栓图像，所述螺栓图像分为螺栓-正常(ls-zc)、螺栓-缺垫片(ls-qdp)、螺栓-缺销钉(ls-qxd)、螺栓-缺螺母(ls-qlm)4类，合计1970张，各类样本示意图如下图所示。
步骤2：先验知识嵌入策略，所述先验知识嵌入策略是指利用已标注样本有效学习捕获和融合自然场景下不同类别样本与样本之间以及类别与类别之间的相关性、依赖性，使用图嵌入向量代替原本的one-hot编码来表示不同类别信息，增加类别标签中蕴含语义信息、提高不同类别样本之间的推理能力。所述图嵌入向量的优点在于：在判断一个样本类别时，单独从单个样本特征不确定时，可以将相关样本的特征聚合后补充在当前样本特征上，进而提高单个样本的判别能力。所述，图嵌入就是把图模型映射到低维向量空间，表示成的向量形式还应该尽量的保留图模型的结构信息和潜在的特性。样本与样本之间的关联关系如附图3，其中，节点IDx表示不同类别的螺栓样本，节点与节点之间的连线表示样本与样本之间特征具有相关性，不同样本与样本之间相关关系可以通过图中边进行传递。
步骤3：搭建变分自编码器网络模型。所述变分自编码器结构示意如附图2所示，其中，Sync BN表示批归一化、GCN表示图卷积神经网络、Conv表示卷积。
具体来说，首先，图像通过CNN backbone模块进行特征提取，得到图像的特征信息。其次，encoder模块将提取特征转换为1D的序列，同时融入位置信息编码，得到隐空间特征向量。然后，第一个decoder模块会在先验知识的引导下将隐空间特征向量转换为N个中间特征。之后，第二个decoder模块在位置信息编码的引导下将第一个decoder模块输出的N个中间特征转化为对应图像的特征向量。最后，通过前馈神经网络FNN将第一个decoder模块输出的N个中间特征解码成目标坐标和分类标签，并建立联合训练模型。该过程可以通过半监督学习的方式进行，从而降低对标注数据的依赖。
步骤4：利用标注数据与未标注数据进行协同训练，所述的协同训练是指利用少量已标注样本和大量未标注样本，通过对偶优化策略，将某一域中的图像转换到另一个域，同时转换后的图像还能够转换回原来的域。
对步骤1中得到的螺栓进行训练集与验证集的划分；对于训练集中有标签样本，在训练过程中每一个epoch中，同一组有标签样本输入到步骤3搭建的变分自编码器网络中前向传播一次，之后通过反向传播算法对模型训练。得到的预测类别以及边界预测值与真实类别标签与边界，通过公式(2)计算分类损失、公式(3)计算边界框回归损失：
Figure BDA0003591362520000161
Figure BDA0003591362520000162
Figure BDA0003591362520000163
公式(4)中，pi表示第i个anchor预测为真实标签的概率、
Figure BDA0003591362520000164
当正样本时为1，当为负样本是为0、ti表示预测第i个anchor的边框回归参数、
Figure BDA0003591362520000165
表示第i个anchor对应的“真实的边框”回归参数、Ncls表示一个batch中样本数量、Nreg表示anchor位置的个数(不是anchor个数)、R为LOSSCIOU损失函数。其中，LOSSCIOU的具体计算方法见公式(5)。
Figure BDA0003591362520000166
Figure BDA0003591362520000167
Figure BDA0003591362520000168
公式(5)中，IOU为“预测的边框”和“真实的边框”的交集和并集的比值、b，bgt分别是“预测的边框”和“真实的边框”的中心点、ρ2(b，bgt)表示“预测的边框”与“真实的边框”中心点的欧式距离、c表示能够同时包含“预测的边框”和“真实的边框”的最小闭包区域的对角线距离、α是用于平衡比例的参数、v用来衡量锚框(anchor)和预测框之间的比例一致性。
对于训练集无标签样本，在不可获得分类标签的情况下，通过将同一图像经步骤3定义的变分自编码器网络模型得到与原始图像相对应的合成图像。之后通过反向传播算法对螺栓检测模型进行训练，其中采用原始图像与对应的合成图像之间的特征匹配损失对螺栓检测模型的训练过程进行约束。具体来说，就是使用多层判别器从原始图像和合成图像中提取特征，然后计算每一层卷积输出特征之间的L1距离：
Figure BDA0003591362520000171
其中，T表示判别器中提取特征的层数，Di表示提取的特征，Ni表示第i层判别器网络提取的特征数量。
最后，利用测试集来验证螺栓缺陷检测模型的训练效果，以得到训练完毕的螺栓检测模型。
步骤5：采集待检测的螺栓图像，将其输入到训练完毕的螺栓缺陷检测模型中，检测螺栓的缺陷情况，该缺陷情况是有螺栓缺陷检测模型输出的表征螺栓缺陷情况的特征向量中置信度最高的缺陷情况标签与边界框信息。
本发明提出的方法以及对比实验的方法使用的螺栓缺陷数据集中的图像均是无人机在实际巡检过程中拍摄得到，并参考国家电网的输电线路设备标注方案对样本数据进行标注。已标注样本中每个图像都有一个对应的XML标注文件，XML文件中包含图像的名称、目标的类别以及边框的坐标信息。数据集包括螺栓-正常(ls-zc)、螺栓-缺垫片(ls-qdp)、螺栓-缺销钉(ls-qxd)、螺栓-缺螺母(ls-qlm)4类样本，合计1970张图片，各类样本示意图及数量分布如图4及表1所示。
表1
Figure BDA0003591362520000181
本发明采用平均精度(mean Average Precision,mAP)与推理速度(Frame PerSecond,FPS)作为目标检测的精度与处理速度的评价指标。其中mAP为所有类别精度的平均值，是衡量目标检测模型整体精度的指标。FPS表示每秒能够处理的图片的个数，可以有效的衡量算法的处理速度。
将本发明提出基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法与Faster R-CNN以及YOLOv5模型的实验结果进行比较。其中，Faster-RCNN与YOLOv5在全部标注螺栓数据集上进行标注后的数据与本发明提出的基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法使用40％的数据为标注数据、60％的数据为未标注数据。设置训练的Epoch为100，Batch size为8。训练过程中，前10个Epoch学习率从10-6逐步提升至10-3，10-19次Epoch学习率为10-2，20-100次Epoch为学习率降至10-4。为防止模型陷入局部最优点使用SGD优化器，设置动量系数为0.9，衰减系数为0.005，不同模型检测性能对比结果如表2所示。
表2
Figure BDA0003591362520000191
结果如表2所示，取IOU的阈值为0.5时，相比Faster R-CNN模型，本发明提出的方法的mAP提高了2.8％，FPS提高了3.3,提高了检测准确率和检测速度；与YOLOv5模型相比，本发明提出的方法提高了输电线路螺栓缺陷检测精度，但在检测速度上还有一定的提升空间。
从图5(a)与图5(b)和图5(c)对比效果可知，Faster R-CNN与YOLOv5模型对于小目标的检测的置信度均低于本发明提出的方法且Faster R-CNN存在漏检的情况。相对而言本发明提出的方法可以有效地检测出输电线路挂件上的螺栓目标，并且可以避免对小目标的错检。实验结果表明，在数据样本不平衡的情况下，本发明提出的方法能够有效提升模型的检测性能，同时申请提出的方法在初始化时仅使用了全部数据集的60％最终检测结果逼近使用全部数据集的模型。在一定程度上证明了本发明提出的方法可以有效降低标注图片数量进而降低图像的标注成本。
以上已将本发明做一详细说明，以上所述，仅为本发明之较佳实施例而已，当不能限定本发明实施范围，即凡依本发明范围所作均等变化与修饰，皆应仍属本发明涵盖范围内。如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，其特征在于，包括以下步骤：
采集不同部件的螺栓图像，建立不同类型缺陷的螺栓检测数据集；
基于先验知识嵌入策略，对所述螺栓检测数据集进行特征处理，生成具有样本相关性特征的样本数据集，其中，所述样本相关性特征用于表示样本与样本之间的特征具有相关性；
构建变分自编码器网络模型，所述变分自编码器网络模型由批归一化单元、图卷积神经网络单元以及卷积单元组成；
基于所述变分自编码器网络模型，通过半监督学习的方式，将所述样本数据集输入到所述变分自编码器网络模型进行训练，构建螺栓缺陷检测模型，所述螺栓缺陷检测模型用于识别待检测螺栓图像的螺栓缺陷类型。
2.根据权利要求1所述基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，其特征在于：
在采集不同部件的螺栓图像的过程中，所述螺栓图像包括正常螺栓图像、缺垫片螺栓图像、缺销钉螺栓图像、缺螺母螺栓图像。
3.根据权利要求2所述基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，其特征在于：
在构建螺栓缺陷检测模型的过程中，基于所述变分自编码器网络模型，对所述样本数据集，通过CNN backbone模块进行特征提取，得到图像特征信息；
通过encoder模块将所述图像特征信息转换为特征序列，并融入位置信息编码，得到隐空间特征向量；
在先验知识的指导下，将所述隐空间特征向量转化为若干个中间特征，并通过前馈神经网络FNN，分解成目标坐标和分类标签；
根据所述目标坐标和所述分类标签，对样本进行标注，生成标注数据；
根据所述标注数据和未标注数据，对所述变分自编码器网络模型进行训练，构建所述螺栓缺陷检测模型。
4.根据权利要求3所述基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，其特征在于：
在构建所述螺栓缺陷检测模型的过程中，所述构建所述螺栓缺陷检测模型包括还包括第一decoder模块和第二decoder模块；
所述第一decoder模块用于根据所述位置信息编码和所述中间特征，整合得到所述样本相关性特征，其中，所述样本相关性特征包括位置特征和类别特有特征信息；
所述第二decoder模块用于通过反卷积操作去除所述位置特征，获取所述类别特有特征信息，所述类别特有特征信息用于获取所述中间特征与对应的所述类别特有特征信息的特征匹配程度。
5.根据权利要求3所述基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，其特征在于：
在对所述变分自编码器网络模型进行训练的过程中，根据所述标注数据和所述未标注数据，生成训练集；
将所述训练集，输入到所述变分自编码器网络模型，前向传播一次，之后通过反向传播算法对模型训练，用于获取预测类别、边界预测值、真实类别标签与边界。
6.根据权利要求5所述基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，其特征在于：
在通过反向传播算法对模型训练的过程中，通过所述标注数据进行模型训练，获取分类损失和边界框回归损失；
所述分类损失的方程表达式为：
Figure FDA0003591362510000031
所述边界框回归损失的方程表达式为：
Figure FDA0003591362510000032
pi表示第i个anchor预测为真实标签的概率、
Figure FDA0003591362510000033
当正样本时为1当为负样本是为0、ti表示预测第i个anchor的边框回归参数、
Figure FDA0003591362510000034
表示第i个anchor对应的真实的边框回归参数、R为LOSSCIOU损失函数。
7.根据权利要求6所述基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，其特征在于：
在通过反向传播算法对模型训练的过程中，LOSSCIOU损失函数的方程表达式为：
Figure FDA0003591362510000035
Figure FDA0003591362510000036
Figure FDA0003591362510000037
其中，IOU为预测的边框和真实的边框的交集和并集的比值、b，bgt分别是预测的边框和真实的边框的中心点、ρ2(b，bgt)表示预测的边框与真实的边框的中心点的欧式距离、c表示能够同时包含预测的边框和真实的边框的最小闭包区域的对角线距离、α是用于平衡比例的参数、v用来衡量锚框和预测框之间的比例一致性。
8.根据权利要求7所述基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，其特征在于：
在通过反向传播算法对模型训练的过程中，通过限定每个卷积层输出特征之间的距离，使用所述未标注数据进行模型训练，其中，采用原始图像与对应的合成图像之间的特征匹配损失对模型训练过程进行约束：
Figure FDA0003591362510000041
其中，Ncls表示一个batch中样本数量、Nreg表示anchor位置的个数。
9.根据权利要求8所述基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，其特征在于：
在使用所述未标注数据进行模型训练的过程中，模型训练的过程表示为：
Figure FDA0003591362510000042
其中，T表示判别器中提取特征的层数，Di表示提取的特征，Ni表示第i层判别器网络提取的特征数量。
10.根据权利要求9所述基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，其特征在于：
用于实现所述螺栓缺陷检测方法的螺栓缺陷检测***，包括：
数据采集模块，用于采集不同部件的螺栓图像，建立不同类型缺陷的螺栓检测数据集；
数据处理模块，用于基于先验知识嵌入策略，对所述螺栓检测数据集进行特征处理，生成具有样本相关性特征的样本数据集，其中，所述样本相关性特征用于表示样本与样本之间的特征具有相关性；
缺陷识别模块，用于通过构建变分自编码器网络模型，所述变分自编码器网络模型由批归一化单元、图卷积神经网络单元以及卷积单元组成；基于所述变分自编码器网络模型，通过半监督学习的方式，将所述样本数据集输入到所述变分自编码器网络模型进行训练，构建螺栓缺陷检测模型，所述螺栓缺陷检测模型用于识别待检测螺栓图像的螺栓缺陷类型。
CN202210378734.8A 2022-04-12 2022-04-12 基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法 Pending CN114708518A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210378734.8A CN114708518A (zh) 2022-04-12 2022-04-12 基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210378734.8A CN114708518A (zh) 2022-04-12 2022-04-12 基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法

Publications (1)

Publication Number Publication Date
CN114708518A true CN114708518A (zh) 2022-07-05

Family

ID=82175268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210378734.8A Pending CN114708518A (zh) 2022-04-12 2022-04-12 基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114708518A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824271A (zh) * 2023-08-02 2023-09-29 上海互觉科技有限公司 基于三模态向量空间对齐的smt芯片缺陷检测***及方法
CN117420809A (zh) * 2023-12-18 2024-01-19 台山市南特金属科技有限公司 基于人工智能的曲轴加工优化决策方法及***
CN117523565A (zh) * 2023-11-13 2024-02-06 拓元(广州)智慧科技有限公司 尾部类样本标注方法、装置、电子设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824271A (zh) * 2023-08-02 2023-09-29 上海互觉科技有限公司 基于三模态向量空间对齐的smt芯片缺陷检测***及方法
CN116824271B (zh) * 2023-08-02 2024-02-09 上海互觉科技有限公司 基于三模态向量空间对齐的smt芯片缺陷检测***及方法
CN117523565A (zh) * 2023-11-13 2024-02-06 拓元(广州)智慧科技有限公司 尾部类样本标注方法、装置、电子设备和存储介质
CN117523565B (zh) * 2023-11-13 2024-05-17 拓元(广州)智慧科技有限公司 尾部类样本标注方法、装置、电子设备和存储介质
CN117420809A (zh) * 2023-12-18 2024-01-19 台山市南特金属科技有限公司 基于人工智能的曲轴加工优化决策方法及***
CN117420809B (zh) * 2023-12-18 2024-03-01 台山市南特金属科技有限公司 基于人工智能的曲轴加工优化决策方法及***

Similar Documents

Publication Publication Date Title
Lin et al. RSCM: Region selection and concurrency model for multi-class weather recognition
CN111368690B (zh) 基于深度学习的海浪影响下视频图像船只检测方法及***
CN114708518A (zh) 基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法
CN105574550A (zh) 一种车辆识别方法及装置
CN110969166A (zh) 一种巡检场景下小目标识别方法和***
CN111862065B (zh) 基于多任务深度卷积神经网络的输电线路诊断方法和***
CN111199238A (zh) 一种基于双流卷积神经网络的行为识别方法及设备
CN117516937A (zh) 基于多模态特征融合增强的滚动轴承未知故障检测方法
CN117829243A (zh) 模型训练方法、目标检测方法、装置、电子设备及介质
CN114332288B (zh) 基于短语驱动生成对抗网络的文本生成图像的方法及网络
Vijayaraju Image retrieval using image captioning
CN115620083A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN114510610A (zh) 面向多模态知识图谱构建的识别视觉概念的方法
Sugang et al. Object detection algorithm based on cosine similarity IoU
Nag et al. CNN based approach for post disaster damage assessment
Knapik et al. Evaluation of deep learning strategies for underwater object search
al Atrash et al. Detecting and Counting People's Faces in Images Using Convolutional Neural Networks
CN113407439B (zh) 一种用于软件自承认型技术债务的检测方法
CN113838130B (zh) 一种基于特征扩展性学习的弱监督目标定位方法
CN117953589B (zh) 一种交互动作检测方法、***、设备及介质
CN117786507B (zh) 全局和局部特征耦合指导的滚动轴承未知故障检测方法
Zhao et al. Image data analytics to support engineers’ decision-making
Patel et al. A Comprehensive Analysis of Object Detectors in Adverse Weather Conditions
CN118247644A (zh) 面向不良场景识别的弱监督人-物交互检测方法
CN118115932A (zh) 图像回归器训练方法与相关方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination