CN115393714A - 一种融合图论推理的输电线路螺栓缺销钉检测方法 - Google Patents
一种融合图论推理的输电线路螺栓缺销钉检测方法 Download PDFInfo
- Publication number
- CN115393714A CN115393714A CN202211027107.6A CN202211027107A CN115393714A CN 115393714 A CN115393714 A CN 115393714A CN 202211027107 A CN202211027107 A CN 202211027107A CN 115393714 A CN115393714 A CN 115393714A
- Authority
- CN
- China
- Prior art keywords
- image
- bolt
- algorithm
- model
- missing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种融合图论推理的输电线路螺栓缺销钉检测方法,所述检测方法基于的目标检测算法利用图像语义算法提取图像的结构语义特征,学习输电线路部件的空间关系和部件间的连接关系,并与特征提取网络输出的视觉特征相融合来增强特征,由分类器和回归器输出图中螺栓的位置并判定销钉是否缺失;所述图像语义算法以Faster R‑CNN框架为基础来加入GRM模块并构建GR‑RCNN算法,以加强目标检测算法对图中螺栓类小目标的识别能力,在判定销钉是否缺失时,以销钉未缺失的螺栓类图像为正样本,利用Fastflow算法来判定待检测图像中的螺栓是否缺销钉;本发明能提高小目标检测精度,和解决螺栓缺销钉的缺陷样本不足的问题。
Description
技术领域
本发明涉及机器学习、图像处理和无人机输电线路巡检技术领域,尤其是一种融合图论推理的输电线路螺栓缺销钉检测方法。
背景技术
现有技术的技术方案为:基于经典的目标检测算法框架(如Faster R-CNN),采用多尺度策略、数据增强、提高特征分辨率等方法加强算法对小目标的识别能力。再通过生成对抗网络生成新的缺陷样本来训练缺陷检测模型,实现对缺销钉的螺栓进行缺陷检测。
但现有的缺陷检测一般是对航拍图像使用目标检测算法找到目标,再对其进行缺陷检测,或者直接使用目标检测算法对部件进行缺陷检测。已有的目标检测算法检测输电线路上体积较大的部件如绝缘子、均压环、防震锤的精度较高,能够满足智能检测的要求。但是螺栓这种小目标一般在航拍图像中很难被目标检测算法检测出来。并且目前的算法大多是对各部件进行独立检测,而忽略了杆塔上部件之间的连接关系,较少地运用了输电线路巡检相关的业务知识。同时螺栓缺销钉缺陷的样本不足的问题导致对于需要大量样本的深度学习算法来说会极大程度的影响其缺陷检测的精度。因此本申请提案要解决的技术问题是提高小目标检测精度,和解决螺栓缺销钉的缺陷样本不足的问题。
发明内容
本发明提出一种融合图论推理的输电线路螺栓缺销钉检测方法,能提高小目标检测精度,和解决螺栓缺销钉的缺陷样本不足的问题。
本发明采用以下技术方案。
一种融合图论推理的输电线路螺栓缺销钉检测方法,所述检测方法基于的目标检测算法利用图像语义算法提取图像的结构语义特征,学习输电线路部件的空间关系和部件间的连接关系,并与特征提取网络输出的视觉特征相融合来增强特征,由分类器和回归器输出图中螺栓的位置并判定销钉是否缺失;
所述图像语义算法以Faster R-CNN框架为基础来加入GRM模块并构建GR-RCNN算法,以加强目标检测算法对图中螺栓类小目标的识别能力,该模块包括但不仅限于用在Faster R-CNN上,还可用于其他的目标检测算法;在判定销钉是否缺失时,以销钉未缺失的螺栓类图像为正样本,利用Fastflow算法来判定待检测图像中的螺栓是否缺销钉。
所述检测方法包括以下流程:
流程一、首先将航拍图像和图像数据输入结构语义表达模型进行训练,训练好的模型输出能够表达图像包含的空间结构的语义特征;
流程二、将结构语义表达模型的输出与航拍图像一起输入目标检测模型,进行识别检测以判定图像中是否有螺栓;
流程三、当判定图像中有螺栓后,再以缺陷检测算法检测图像中的螺栓是否缺销钉。
所述流程一、流程二采用的方法具体包括以下步骤;
步骤S1、制作电力巡检输电线路部件的图像数据集;
步骤S2、提取结构语义特征,以GRM模块(Graph Reasonning Module)作为特征提取网络的结构语义表达模型,模型的输入为图像的视觉特征,模型输出的图数据包含具有空间结构、部件连接关系的图像特征数据;图数据的节点为各部件图像特征和图像标签,边为连接关系,以公式表述为
P(S=(V,E,O,R)|I) 公式一;
其中I表示图像,V是I中各部件的图像特征对应的节点,表示节点之间的关系,即图数据中的边,O表示各部件的标签,R表示各连接关系的标签;GRM模块包括ORPObject Region Proposal目标候选区域)、RsPN(Relationship Proposal Network关系候选网络)和Graph Labeling(图数据标记),其用公式表达为:
P(S|I)=P(V|I)P(E|V,I)P(R,O|V,E,I) 公式二;
将结构语义表达模型嵌入Faster-RCNN形成GR-RCNN算法(Graph ReasonningRegion Convolutional Neural Networks),所述GR-RCNN算法包括一阶段算法和二阶段算法,通过融合结构语义表达模型的图像视觉特征来增强并提高最终的检测效果;
步骤S3、ORP中使用Faster R-CNN框架从输入图像中提取一组n个objectproposal,每个object proposal对应一个目标节点,包含空间区域经过池化的特征向量关于类C={1,...,k}中的初始预测的标签分布将所有proposals的向量集合分别表示为矩阵Ro∈Rn×4,Xo∈Rn×d,Po∈Rn×|C|;
步骤S4、引入RsPN网络进行学习并预测杆塔中输电线路部件之间的相关性;通过修剪没有关联的边,对结构语义模型进行稀疏操作,以保留有效的边,抑制毫无关联的边产生的噪声;
其中φ(x),ψ(y)分别为关系中主体与客体的投影函数,由两个相同结构的多层感知器构成,计算出分数矩阵S={sij}n×n;最后经过sigmoid激活函数将分数矩阵S各个元素映射到[0,1];
步骤S5、将处理后的分数矩阵S按降序进行排序,并选择前K对,然后使用NMS(NonMaximum Suppression非极大抑制)过滤掉与其他对象有明显重叠的对象对;
计算两个关系对{u,v}和{p,q}之间重叠程度的公式为:
其中字符I表示交集,U表示并集。将重叠度高的关系对去除之后,剩下m个关系对均为有效的关系E;最终可以得到图数据G=(V,E),即为经过稀疏操作后的图数据;
步骤S6、构建一个AGCN(Attention-based Graph Convolutional Network)来学习图数据的结构特征和上下文信息,AGCN由两层GCN网络和一个注意力模块组成,网络的逐层传播为:对于图数据中的目标节点i,通过训练后的隐藏权重矩阵W对相邻节点{zi∈Rd}进行线性变换,并集合一个权重α,最后经过激活函数ReLU;整个逐层传播过程用公式表示为:
或者等价于一个矩阵表示:
其中αi∈[0,1]n;
步骤S7、GCN中的图数据的连接关系是已知的且基于节点特征预测的αi,为αi添加一个可训练的注意力模块,以公式表述为
αi=softmax(ui) 公式八;
步骤S8、计算损失函数,具体为:公式二表述GR-RCNN分为的三部分中,P(V|I)使用与FasterR-CNN中RPN相同的损失函数;P(E|V,I)在RsPN上使用二元交叉熵损失和anchors的回归损失函数;P(R,O|V,E,I)使用两个多类交叉熵损失函数进行分类;
步骤S9、基于图数据对图像特征进行增强。通过上述步骤构建语义结构模型后,将Faster R-CNN提取的视觉特征与图数据的结构特征进行特征融合,其公式如下:
f′=εfWe 公式九;
ε为表示图数据节点的邻接矩阵,f是Faster R-CNN提取的视觉特征,We∈Rn×d是权重矩阵;
步骤S10、将增强的融合特征f′输入到Faster R-CNN网络的边界框回归层和分类层,得到螺栓是否存在的识别结果;
流程三采用的方法包括以下步骤;
步骤S11、根据步骤S10的识别结果检测到螺栓所在区域,经裁剪后得到螺栓图像;所述螺栓图像用于输入缺陷检测模型来检测螺栓是否缺销钉;
步骤S12、建立缺陷检测模型,缺陷检测模型的网络结构为一个特征提取器和一个FastFlow模块;
步骤S13、特征提取器直接使用CNN网络ResNet的前三个block中最后一层提取的特征图,进行多尺度卷积操作后,输入FastFlow模块;
步骤S14、FastFlow模块由3×3和1×1大小的多个可逆的变换块构成,如下公式表示
f1、f2、f3…fk为K个变换块。每个变换块变换流程如下:
ya,yb=split(y)
y′a=ya
y′b=s(ya)⊙yb+b(ya)
y′=concat(y′a,y′b),
公式十一;
其中s(ya)和b(ya)是两个神经网络的输出;split(·)和concat(·)函数按通道维度执行拆分和连接操作;
两个子网s(·)和b(·)将原始的归一化流转换为二维方式,在默认子网中采用二维卷积层来保留流模型中的空间信息,并相应地调整损失函数;模型采用全卷积网络,其中3×3卷积和1×1卷积交替出现,以在FastFlow模型中保留空间信息;
步骤S15、步骤S14中,f:X→Z表示将图像特征x∈px(x)投影到隐藏变量z∈pz(z)的可逆映射;对于这个函数,以变量的变换公式定义模型在X上的分布:
根据下列公式求特征图的对数似然估计函数值:
螺栓缺失销钉的图像为异常图像,其特征会超出分布范围,异常图像的似然值相比正常图像更低,其似然值可以作为异常得分;具体操作为:将每个通道的二位概率相加得到最终的概率图,并使用双线性插值将其上采样到输入图像的像素中去,最终异常像素点聚集处即为螺栓缺失的缺陷在图像中的位置。
所述检测方法由具有GPU计算设备的计算机执行。
所述待检测图像为无人机对输电线路进行智能巡检时的航拍图像。
本发明充分利用了输电线路部件的空间结构与部件间的连接特点,提高螺栓的检测精度,更加针对电力巡检场景。同时能够解决缺陷样本数量不足的问题。
本发明能针对无人机电力巡检场景提高小目标检测精度,并且能解决螺栓缺销钉的缺陷样本不足的问题。
本发明提出一种基于图像语义算法的杆塔螺栓缺销钉检测方法,针对螺栓目标小的问题,提出一种利用图像语义算法提取图像的结构语义特征的方法,并将其应用在目标检测算法里,使得目标检测算法可以学习输电线路部件的空间关系和部件间的连接关系,并利用这种关系特征辅助找出螺栓的位置;本发明有益效果为:该方法较为灵活,可以用于任何主流的目标检测算法中。针对螺栓缺销钉样本数量少的问题,提出利用工业异常的检测算法,只输入正样本来检测出螺栓图像是否缺销钉;充分利用了输电线路部件的空间结构与部件间的连接特点,提升了算法对小目标的识别精度。同时也解决了缺少缺陷样本的问题。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明:
附图1是本发明的流程示意图;
附图2是GR-RCNN算法的结构示意图;
附图3是螺栓缺销钉检测方法采用算法的结构示意图。
具体实施方式
如图所示,一种融合图论推理的输电线路螺栓缺销钉检测方法,所述检测方法基于的目标检测算法利用图像语义算法提取图像的结构语义特征,学习输电线路部件的空间关系和部件间的连接关系,并与特征提取网络输出的视觉特征相融合来增强特征,由分类器和回归器输出图中螺栓的位置并判定销钉是否缺失;
所述图像语义算法以Faster R-CNN框架为基础来加入GRM模块并构建GR-RCNN算法,以加强目标检测算法对图中螺栓类小目标的识别能力,在判定销钉是否缺失时,以销钉未缺失的螺栓类图像为正样本,利用Fastflow算法来判定待检测图像中的螺栓是否缺销钉。
所述检测方法包括以下流程:
流程一、首先将航拍图像和图像数据输入结构语义表达模型进行训练,训练好的模型输出能够表达图像包含的空间结构的语义特征;
流程二、将结构语义表达模型的输出与航拍图像一起输入目标检测模型,进行识别检测以判定图像中是否有螺栓;
流程三、当判定图像中有螺栓后,再以缺陷检测算法检测图像中的螺栓是否缺销钉。
所述流程一、流程二采用的方法具体包括以下步骤;
步骤S1、制作电力巡检输电线路部件的图像数据集;
步骤S2、提取结构语义特征,以GRM模块(Graph Reasonning Module)作为特征提取网络的结构语义表达模型,模型的输入为图像的视觉特征,模型输出的图数据包含具有空间结构、部件连接关系的图像特征数据;图数据的节点为各部件图像特征和图像标签,边为连接关系,以公式表述为
P(S=(V,E,O,R)|I) 公式一;
其中I表示图像,V是I中各部件的图像特征对应的节点,表示节点之间的关系,即图数据中的边,O表示各部件的标签,R表示各连接关系的标签;GRM模块包括ORPObject Region Proposal目标候选区域)、RsPN(Relationship Proposal Network关系候选网络)和Graph Labeling(图数据标记),其用公式表达为:
P(S|I)=P(V|I)P(E|V,I)P(R,O|V,E,I) 公式二;
将结构语义表达模型嵌入Faster-RCNN形成GR-RCNN算法(Graph ReasonningRegion Convolutional Neural Networks),所述GR-RCNN算法包括一阶段算法和二阶段算法,通过融合结构语义表达模型的图像视觉特征来增强并提高最终的检测效果;
GR-RCNN算法的具体算法结构如图2所示;
步骤S3、ORP中使用Faster R-CNN框架从输入图像中提取一组n个objectproposal,每个object proposal对应一个目标节点,包含空间区域经过池化的特征向量关于类C={1,...,k}中的初始预测的标签分布将所有proposals的向量集合分别表示为矩阵Ro∈Rn×4,Xo∈Rn×d,Po∈Rn×|C|;
步骤S4、引入RsPN网络进行学习并预测杆塔中输电线路部件之间的相关性;通过修剪没有关联的边,对结构语义模型进行稀疏操作,以保留有效的边,抑制毫无关联的边产生的噪声;
其中φ(x),ψ(y)分别为关系中主体与客体的投影函数,由两个相同结构的多层感知器构成,计算出分数矩阵S={sij}n×n;最后经过sigmoid激活函数将分数矩阵S各个元素映射到[0,1];
步骤S5、将处理后的分数矩阵S按降序进行排序,并选择前K对,然后使用NMS(NonMaximum Suppression非极大抑制)过滤掉与其他对象有明显重叠的对象对;
计算两个关系对{u,v}和{p,q}之间重叠程度的公式为:
其中字符I表示交集,U表示并集。将重叠度高的关系对去除之后,剩下m个关系对均为有效的关系E;最终可以得到图数据G=(V,E),即为经过稀疏操作后的图数据;
步骤S6、构建一个AGCN(Attention-based Graph Convolutional Network)来学习图数据的结构特征和上下文信息,AGCN由两层GCN网络和一个注意力模块组成,网络的逐层传播为:对于图数据中的目标节点i,通过训练后的隐藏权重矩阵W对相邻节点{zi∈Rd}进行线性变换,并集合一个权重α,最后经过激活函数ReLU;整个逐层传播过程用公式表示为:
或者等价于一个矩阵表示:
其中αi∈[0,1]n;
步骤S7、GCN中的图数据的连接关系是已知的且基于节点特征预测的αi,为αi添加一个可训练的注意力模块,以公式表述为
αi=softmax(ui) 公式八;
步骤S8、计算损失函数,具体为:公式二表述GR-RCNN分为的三部分中,P(V|I)使用与FasterR-CNN中RPN相同的损失函数;P(E|V,I)在RsPN上使用二元交叉熵损失和anchors的回归损失函数;P(R,O|V,E,I)使用两个多类交叉熵损失函数进行分类;
步骤S9、基于图数据对图像特征进行增强。通过上述步骤构建语义结构模型后,将Faster R-CNN提取的视觉特征与图数据的结构特征进行特征融合,其公式如下:
f′=εfWe 公式九;
ε为表示图数据节点的邻接矩阵,f是Faster R-CNN提取的视觉特征,We∈Rn×d是权重矩阵;
步骤S10、将增强的融合特征f′输入到Faster R-CNN网络的边界框回归层和分类层,得到螺栓是否存在的识别结果;
流程三采用的方法包括以下步骤;
步骤S11、根据步骤S10的识别结果检测到螺栓所在区域,经裁剪后得到螺栓图像;所述螺栓图像用于输入缺陷检测模型来检测螺栓是否缺销钉;
步骤S12、建立缺陷检测模型,缺陷检测模型的网络结构为一个特征提取器和一个FastFlow模块;
缺陷检测模型的网络结构,即螺栓缺销钉检测方法的算法结构,如图3所示;
步骤S13、特征提取器直接使用CNN网络ResNet的前三个block中最后一层提取的特征图,进行多尺度卷积操作后,输入FastFlow模块;
步骤S14、FastFlow模块由3×3和1×1大小的多个可逆的变换块构成,如下公式表示
f1、f2、f3…fk为K个变换块。每个变换块变换流程如下:
ya,yb=split(y)
y′a=ya
y′b=s(ya)⊙yb+b(ya)
y′=concat(y′a,y′b),
公式十一;
其中s(ya)和b(ya)是两个神经网络的输出;split(·)和concat(·)函数按通道维度执行拆分和连接操作;
两个子网s(·)和b(·)将原始的归一化流转换为二维方式,在默认子网中采用二维卷积层来保留流模型中的空间信息,并相应地调整损失函数;模型采用全卷积网络,其中3×3卷积和1×1卷积交替出现,以在FastFlow模型中保留空间信息;
步骤S15、步骤S14中,f:X→Z表示将图像特征x∈px(x)投影到隐藏变量z∈pz(z)的可逆映射;对于这个函数,以变量的变换公式定义模型在X上的分布:
根据下列公式求特征图的对数似然估计函数值:
螺栓缺失销钉的图像为异常图像,其特征会超出分布范围,异常图像的似然值相比正常图像更低,其似然值可以作为异常得分;具体操作为:将每个通道的二位概率相加得到最终的概率图,并使用双线性插值将其上采样到输入图像的像素中去,最终异常像素点聚集处即为螺栓缺失的缺陷在图像中的位置。
所述检测方法由具有GPU计算设备的计算机执行。
所述待检测图像为无人机对输电线路进行智能巡检时的航拍图像。
Claims (6)
1.一种融合图论推理的输电线路螺栓缺销钉检测方法,其特征在于:所述检测方法基于的目标检测算法利用图像语义算法提取图像的结构语义特征,学习输电线路部件的空间关系和部件间的连接关系,并与特征提取网络输出的视觉特征相融合来增强特征,由分类器和回归器输出图中螺栓的位置并判定销钉是否缺失;所述图像语义算法以Faster R-CNN框架为基础来加入GRM模块并构建GR-RCNN算法,以加强目标检测算法对图中螺栓类小目标的识别能力,在判定销钉是否缺失时,以销钉未缺失的螺栓类图像为正样本,利用Fastflow算法来判定待检测图像中的螺栓是否缺销钉。
2.根据权利要求1所述的一种融合图论推理的输电线路螺栓缺销钉检测方法,其特征在于:所述检测方法包括以下流程:
流程一、首先将航拍图像和图像数据输入结构语义表达模型进行训练,训练好的模型输出能够表达图像包含的空间结构的语义特征;
流程二、将结构语义表达模型的输出与航拍图像一起输入目标检测模型,进行识别检测以判定图像中是否有螺栓;
流程三、当判定图像中有螺栓后,再以缺陷检测算法检测图像中的螺栓是否缺销钉。
3.根据权利要求2所述的一种融合图论推理的输电线路螺栓缺销钉检测方法,其特征在于:所述流程一、流程二采用的方法具体包括以下步骤;
步骤S1、制作电力巡检输电线路部件的图像数据集;
步骤S2、提取结构语义特征,以GRM模块作为特征提取网络的结构语义表达模型,模型的输入为图像的视觉特征,模型输出的图数据包含具有空间结构、部件连接关系的图像特征数据;图数据的节点为各部件图像特征和图像标签,边为连接关系,以公式表述为
P(S=(V,E,O,R)|I) 公式一;
GRM模块包括目标候选区域ORP、关系候选网络RsPN和图数据标记Graph Labeling,其用公式表达为:
P(S|I)=P(V|I)P(E|V,I)P(R,O|V,E,I) 公式二;
将结构语义表达模型嵌入Faster-RCNN形成GR-RCNN算法(Graph Reasonning RegionConvolutional Neural Networks),所述GR-RCNN算法包括一阶段算法和二阶段算法,通过融合结构语义表达模型的图像视觉特征来增强并提高最终的检测效果;
步骤S3、ORP中使用Faster R-CNN框架从输入图像中提取一组n个object proposal,每个object proposal对应一个目标节点,包含空间区域经过池化的特征向量关于类C={1,...,k}中的初始预测的标签分布将所有proposals的向量集合分别表示为矩阵Ro∈Rn×4,Xo∈Rn×d,Po∈Rn×|C|;
步骤S4、引入RsPN网络进行学习并预测杆塔中输电线路部件之间的相关性;通过修剪没有关联的边,对结构语义模型进行稀疏操作,以保留有效的边,抑制毫无关联的边产生的噪声;
其中φ(x),ψ(y)分别为关系中主体与客体的投影函数,由两个相同结构的多层感知器构成,计算出分数矩阵S={sij)n×n;最后经过sigmoid激活函数将分数矩阵S各个元素映射到[0,1];
步骤S5、将处理后的分数矩阵S按降序进行排序,并选择前K对,然后使用NMS(NonMaximum Suppression非极大抑制)过滤掉与其他对象有明显重叠的对象对;
计算两个关系对{u,v}和{p,q}之间重叠程度的公式为:
其中字符I表示交集,U表示并集。将重叠度高的关系对去除之后,剩下m个关系对均为有效的关系E;最终可以得到图数据G=(V,E),即为经过稀疏操作后的图数据;
步骤S6、构建一个AGCN来学习图数据的结构特征和上下文信息,AGCN由两层GCN网络和一个注意力模块组成,网络的逐层传播为:对于图数据中的目标节点i,通过训练后的隐藏权重矩阵W对相邻节点{zi∈Rd}进行线性变换,并集合一个权重α,最后经过激活函数ReLU;整个逐层传播过程用公式表示为:
或者等价于一个矩阵表示:
其中αi∈[0,1]n;
步骤S7、GCN中的图数据的连接关系是已知的且基于节点特征预测的αi,为αi添加一个可训练的注意力模块,以公式表述为
αi=softmax(ui) 公式八;
步骤S8、计算损失函数,具体为:公式二表述GR-RCNN分为的三部分中,P(V|I)使用与FasterR-CNN中RPN相同的损失函数;P(E|V,I)在RsPN上使用二元交叉熵损失和anchors的回归损失函数;P(R,O|V,E,I)使用两个多类交叉熵损失函数进行分类;
步骤S9、基于图数据对图像特征进行增强。通过上述步骤构建语义结构模型后,将FasterR-CNN提取的视觉特征与图数据的结构特征进行特征融合,其公式如下:
f′=εfWe 公式九;
ε为表示图数据节点的邻接矩阵,f是FasterR-CNN提取的视觉特征,We∈Rn×d是权重矩阵;
步骤S10、将增强的融合特征f′输入到FasterR-CNN网络的边界框回归层和分类层,得到螺栓是否存在的识别结果。
4.根据权利要求3所述的一种融合图论推理的输电线路螺栓缺销钉检测方法,其特征在于:流程三采用的方法包括以下步骤;
步骤S11、根据步骤S10的识别结果检测到螺栓所在区域,经裁剪后得到螺栓图像;所述螺栓图像用于输入缺陷检测模型来检测螺栓是否缺销钉;
步骤S12、建立缺陷检测模型,缺陷检测模型的网络结构为一个特征提取器和一个FastFlow模块;
步骤S13、特征提取器直接使用CNN网络ResNet的前三个block中最后一层提取的特征图,进行多尺度卷积操作后,输入FastFlow模块;
步骤S14、FastFlow模块由3×3和1×1大小的多个可逆的变换块构成,如下公式表示
f1、f2、f3…fk为K个变换块。每个变换块变换流程如下:
ya,yb=split(y)
y′a=ya
y′b=s(ya)⊙yb+b(ya)
y′=concat(y′a,y′b),
公式十一;
其中s(ya)和b(ya)是两个神经网络的输出;split(·)和concat(·)函数按通道维度执行拆分和连接操作;
两个子网s(·)和b(·)将原始的归一化流转换为二维方式,在默认子网中采用二维卷积层来保留流模型中的空间信息,并相应地调整损失函数;模型采用全卷积网络,其中3×3卷积和1×1卷积交替出现,以在FastFlow模型中保留空间信息;
步骤S15、步骤S14中,f:X→Z表示将图像特征x∈px(x)投影到隐藏变量z∈pz(z)的可逆映射;对于这个函数,以变量的变换公式定义模型在X上的分布:
根据下列公式求特征图的对数似然估计函数值:
螺栓缺失销钉的图像为异常图像,其特征会超出分布范围,异常图像的似然值相比正常图像更低,其似然值可以作为异常得分;具体操作为:将每个通道的二位概率相加得到最终的概率图,并使用双线性插值将其上采样到输入图像的像素中去,最终异常像素点聚集处即为螺栓缺失的缺陷在图像中的位置。
5.根据权利要求1所述的一种融合图论推理的输电线路螺栓缺销钉检测方法,其特征在于:所述检测方法由具有GPU计算设备的计算机执行。
6.根据权利要求1所述的一种融合图论推理的输电线路螺栓缺销钉检测方法,其特征在于:所述待检测图像为无人机对输电线路进行智能巡检时的航拍图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211027107.6A CN115393714A (zh) | 2022-08-25 | 2022-08-25 | 一种融合图论推理的输电线路螺栓缺销钉检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211027107.6A CN115393714A (zh) | 2022-08-25 | 2022-08-25 | 一种融合图论推理的输电线路螺栓缺销钉检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115393714A true CN115393714A (zh) | 2022-11-25 |
Family
ID=84123159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211027107.6A Pending CN115393714A (zh) | 2022-08-25 | 2022-08-25 | 一种融合图论推理的输电线路螺栓缺销钉检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115393714A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117218457A (zh) * | 2023-11-07 | 2023-12-12 | 成都理工大学 | 一种基于双层二维归一化流的自监督工业异常检测方法 |
-
2022
- 2022-08-25 CN CN202211027107.6A patent/CN115393714A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117218457A (zh) * | 2023-11-07 | 2023-12-12 | 成都理工大学 | 一种基于双层二维归一化流的自监督工业异常检测方法 |
CN117218457B (zh) * | 2023-11-07 | 2024-01-26 | 成都理工大学 | 一种基于双层二维归一化流的自监督工业异常检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112884064B (zh) | 一种基于神经网络的目标检测与识别方法 | |
CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
Zhang et al. | CrackGAN: Pavement crack detection using partially accurate ground truths based on generative adversarial learning | |
CN112183788B (zh) | 一种域自适应设备运检***和方法 | |
CN111444939B (zh) | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 | |
CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
CN107239730B (zh) | 智能汽车交通标志识别的四元数深度神经网络模型方法 | |
CN112395957B (zh) | 一种针对视频目标检测的在线学习方法 | |
CN111539343A (zh) | 一种基于卷积注意力网络的黑烟车检测方法 | |
CN111898566B (zh) | 姿态估计方法、装置、电子设备和存储介质 | |
CN111223087B (zh) | 一种基于生成对抗网络的桥梁裂缝自动检测方法 | |
CN116342894B (zh) | 基于改进YOLOv5的GIS红外特征识别***及方法 | |
Li et al. | A review of deep learning methods for pixel-level crack detection | |
CN111208818A (zh) | 基于视觉时空特征的智能车预测控制方法 | |
CN111626357B (zh) | 一种基于神经网络模型的图像识别方法 | |
Jemilda et al. | Moving object detection and tracking using genetic algorithm enabled extreme learning machine | |
CN113870160A (zh) | 一种基于变换器神经网络的点云数据处理方法 | |
CN115393714A (zh) | 一种融合图论推理的输电线路螺栓缺销钉检测方法 | |
CN112444522B (zh) | 一种电力***绝缘子串缺陷检测方法 | |
CN115761667A (zh) | 一种基于改进fcos算法的无人车辆搭载摄像头目标检测方法 | |
CN111047571B (zh) | 一种具有自适应选择训练过程的图像显著目标检测方法 | |
CN113762007B (zh) | 一种基于外观和动作特征双预测的异常行为检测方法 | |
CN115240271A (zh) | 基于时空建模的视频行为识别方法与*** | |
CN114120076A (zh) | 基于步态运动估计的跨视角视频步态识别方法 | |
Yang et al. | Road Damage Detection and Classification Based on Multi-Scale Contextual Features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |