CN115761268A - 一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法 - Google Patents

Abstract

本发明公开了一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法，可以通过体征提取及纹理增强模块能够提取到具备纹理信息的判别性特征，同时通过特征融合模块对不同分辨率的特征进行融合，使得输出特征同时具备语义和像素级信息，最后通过杆塔部件缺陷识别模块对杆塔关键部件缺陷进行识别并输出缺陷的定位和置信度。此网络可直接应用于电力巡检过程，对杆塔的关键部件及缺陷进行识别，具有识别精度高、泛化能力强的特点，将传统电力巡检过程与前沿的深度学习方法和神经网络技术进行结合，可以有效地解决传统人工巡检效率低、现有检测方法效果差的问题，实现杆塔巡检过程的智能化和自主化，并在一定程度上能够保障电力线路的正常运转。

Description

一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法

技术领域

本发明属于电力巡检场景下杆塔关键部件及缺陷检测技术领域，特别是涉及一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法。

背景技术

随着我国科技的飞速发展和人民生活水平的提高，整个社会的用电需求愈来愈大，电力平稳安全地输电-变电-配电是保障人民正常生活的重要保障。为此，对输电-变电-配电过程中的关键电力设备的巡检是至关重要的。杆塔作为输电线路中的核心设备，是保障电力正常、平稳输送的关键，对杆塔关键部件如绝缘子、防震锤等装置的巡检也是电力巡检的重要一环。传统杆塔的电力巡检主要以人工为主，这种巡检方式存在着风险高、效率低、易漏检等问题。随着机器人技术的飞速发展，无人机辅助电力巡检已逐渐取代全人工巡检。无人机辅助巡检主要通过无人机拍摄杆塔图像，再将杆塔图像上传至检测***，通过人工检查或算法检测等手段对图像的缺陷进行检测。通常，这种缺陷检测方法需要人工设计特征提取器，并且只能对特定场景下的缺陷进行检测和识别。近年来，深度学习方法在各个领域得到了大量应用，其强大的特征表示能力为现有的目标检测任务提供了有力的支持。目前虽然国内有部分研究利用深度学习进行杆塔缺陷检测，但是现有方法通常采用异常检测网络导致不能精确定位缺陷位置，并且这些方法大多没有利用纹理特征，从而导致杆塔巡检效果不佳。

发明内容

针对以上技术问题，本发明提供一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法，避免现有技术难以定位缺陷和难以有效利用纹理信息的缺点，不仅可以实现对杆塔关键部件的检测，还能够有效利用纹理细节信息定位到关键部件缺陷的位置，进而取代人工杆塔巡检，为自主化、智能化杆塔的巡检提供一种新方案。

本发明解决其技术问题采用的技术方案是：

一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法，方法包括以下步骤：

S100：利用无人机航拍获取杆塔图像数据，并通过Labelme对杆塔图像数据中的待检测部件及缺陷进行标注生成数据集，对数据集进行预处理；

S200：构建杆塔关键部件缺陷识别网络模型，杆塔关键部件缺陷识别网络模型包括依次连接的特征提取及局部纹理增强模块、特征融合模块和杆塔部件缺陷识别模块，特征提取及局部纹理增强模块用于提取杆塔部件的多尺度判别性特征并对多尺度判别性特征中的关键部件进行纹理特征加强，得到纹理加强后的多尺度判别性特征，特征融合模块用于将纹理加强后的多尺度判别性特征进行融合，并将融合后的多尺度特征发送至杆塔部件缺陷识别模块进行缺陷识别得到分类结果和回归结果；

S300：根据预处理后的数据集对杆塔关键部件缺陷识别网络模型进行训练，采取预设的损失函数、分类结果和回归结果对训练后的杆塔关键部件缺陷识别网络模型计算损失值，根据损失值使用梯度下降法反向传播损失梯度进行网络权重更新，得到训练好的杆塔关键部件缺陷识别网络模型；

S400：获取实际杆塔图像，根据训练好的杆塔关键部件缺陷识别网络模型对实际杆塔图像中的杆塔关键部件及其缺陷进行检测和识别，得到检测结果。

优选地，特征提取及局部纹理增强模块包括第一残差块、第二残差块、第三残差块、局部纹理增强模块和第四残差块，S200中特征提取及局部纹理增强模块用于提取杆塔部件的多尺度判别性特征并对多尺度判别性特征中的关键部件进行纹理特征加强，得到纹理加强后的多尺度判别性特征，包括：

S210：将预处理后的数据集数据的图片大小统一裁剪为预设尺寸大小，依次经过第一残差块、第二残差块和第三残差块后分别得到三个不同尺度的判别性特征图C1、C2和C3；

S220：C2和C3作为局部纹理增强模块的输入得到具备纹理细节信息的特征图C4；

S230：将C4经过第四残差块得到具备语义信息和纹理细节信息的特征图C5，由此得到具备不同感受野的纹理加强后的多尺度判别性特征C1、C2、C4和C5，其中相邻尺度之间的分辨率差为2倍。

优选地，局部纹理增强模块包括通道纹理增强模块和邻域纹理增强模块，S220包括：

S221：将不同分辨率的两个特征图C2和C3进行拼接、降维获得融合特征F；

S222：将融合特征F输入至通道纹理增强模块进行通道纹理增强，得到通道纹理增强的融合特征；

S223：将融合特征F输入至邻域纹理增强模块进行邻域纹理增强，得到邻域纹理增强的融合特征；

S224：将通道纹理增强的融合特征和邻域纹理增强的融合特征进行拼接得到具备局部纹理增强的特征图。

优选地，S222包括：

S2221：将融合特征F经过全局平均池化层得到大小为C×1×1的全局特征g，计算全局特征g与融合特征F的余弦相似度得到相似性矩阵图S；其中，余弦相似度计算公式如下：

其中，g为全局特征，F_ij为融合特征图F在(i，j)位置上的特征值，S_ij表示相似性矩阵图S上任意位置(i,j)处的相似性值；

S2222：将相似性矩阵图S量化成N个层级L，每个层级L具有一定数量的点，具体地分配和计算方式如下：

其中，max(.)和min(.)分别表示最大和最小函数，L_n为量化后的第n个相似性层级特征向量,0≤n≤N；

S2223：根据上述的量化层级，将相似性矩阵每个像素位置的Sij编码成为统计编码向量E_ij，相似性矩阵S被量化统计编码成矩阵E(N×HW)，具体计算公式如下：

其中，S_i表示相似性矩阵在位置i处的值(0≤i≤HW)，E_i,n表示第i个位置n个层级的量化编码值；

S2224：将统计量化特征E和量化层级特征L进行拼接得到具有纹理统计信息的量化计数特征图C，通过多层感知机对具有纹理统计信息的特征图C进行升维，并和全局特征g进行拼接得到包含全局信息和局部信息的统计特征图D；

S2225：对统计特征图D分别进行两个1×1卷积并计算统计特征图D的邻接矩阵，通过Softmax函数对邻接矩阵进行归一化操作得到矩阵X，进而将归一化后的矩阵与经过1×1卷积的统计特征图D进行相乘得到重构的量化层级特征L'，计算公式如下：

X＝Softmax(φ₁(D)T·φ₂(D))

L′＝φ₃(D)·X

其中，φ₁、φ₂、φ₃表示1×1卷积操作；

S2226：将得到的重构特征L'和量化矩阵E相乘，得到通道纹理统计增强后的特征图F_c。

优选地，S223包括：

S2231：将输入特征F先后经过步长为1、填充为1的3x3卷积和1x1卷积，在保持特征图尺寸不变的情况下对特征进行降维得到新特征F1；

S2232：利用滑动窗口操作获取到新特征F1中具有邻域的特征块，其维度为(B，9C，P)，其中B为输入批次大小，C为通道数量，P为特征块的数量；

S2233：通过对具有邻域的特征块进行展开和通道变换得到新特征(B，P，C,3,3)，利用三维全局平均池化函数对邻域新特征进行操作得到邻域新特征的局部平均值F_avg；

S2234：计算局部平均值F_avg和新特征F1的余弦相似度，得到邻域的初步相似性矩阵S0，利用滑动窗口操作获取相似性矩阵S0的邻域的特征块，再通过自适应最大池化操作对相似性矩阵S0的邻域特征取出其局部最大值，得到最终的邻域相似性矩阵S'；

S2235：将邻域相似性矩阵S'量化成N个层级L'，每个层级L'具有一定数量的点，具体地分配和计算方式如下：

其中，L'_n为量化后的第n个相似性层级特征向量,0≤n≤N。

S2236：将邻域相似性矩阵每个像素位置S′_ij编码成为统计编码向量E'_ij，邻域相似性矩阵S'被量化统计编码成矩阵E'(N×HW)，具体计算公式如下：

其中，S'_i表示相似性矩阵在位置i处的值(0≤i≤HW)，E'_i,n表示第i个位置n个层级的量化编码值。

S2237：将统计量化特征E′和量化层级特征L′进行拼接得到具有纹理统计信息的量化计数特征图C′，通过多层感知机对具有纹理统计信息的特征图C′进行升维，并和全局特征g进行拼接得到包含全局信息和局部信息的统计特征图D′；

S2238：对统计特征图D′分别进行两个1×1卷积并计算统计特征图D′的邻接矩阵，通过Soffmax函数对邻接矩阵进行归一化操作得到矩阵X′，进而将归一化后的矩阵与经过1×1卷积的统计特征图D′进行相乘得到重构的量化层级特征L″，计算公式如下：

X′＝Softmax(φ₁(D′)^T·φ₂(D′))

L″＝φ₃(D′)·X′

其中，φ₁、φ₂、φ₃表示1×1卷积操作；

S2239：将得到的重构特征L″和量化矩阵E′相乘，得到邻域纹理统计增强后的特征图F_s。

优选地，S200中特征融合模块用于将纹理加强后的多尺度判别性特征进行融合，包括：

S225：将具备不同感受野的纹理加强后的多尺度判别性特征C2、C4和C5输入至1×1卷积进行降维，得到通道数为256的特征图；

S226：将降维后的多尺度判别性特征C2′、C4′和C5′自上向下进行特征融合，将上一层特征进行双线性插值得到和下一层特征相同大小的特征图，再将两张特征图进行逐元素相加，实现语义信息融合，得到融合后的多尺度特征C2″、C4″和C5″，最后将C5″通过3×3卷积得到特征C6，将特征C6通过3×3卷积得到特征C7，得到最后的输出结果C2″、C4″、C5″、C6和C7。

优选地，杆塔部件缺陷识别模块包括4个3×3卷积层、分类解码层和回归解码层，S200中将融合后的多尺度特征发送至杆塔部件缺陷识别模块进行缺陷识别得到分类结果和回归结果，包括：

将最后的输出结果C2″、C4″、C5″、C6和C7经过4个3×3卷积层，再分别经过分类解码层和回归解码层得到分类结果和回归结果。

优选地，预设的损失函数包括分类和回归损失，分类和回归损失分别选取FL loss和GIoU loss，计算公式如下：

FL(p,y)＝-y(1-p)^γlog(p)-(1-y)p^γlog(1-p)

其中，y代表分类的标签，p代表分类预测值，γ是超参数，IoU表示标签和预测框之间的交并比，M表示最小封闭形状，A_M表示M的面积，U表示G和P的并集面积，G表示真实框，M表示预测框。

本发明提出的一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法，可以通过纹理增强，使得网络模型能够提取到具备纹理信息的判别性特征，同时通过特征融合模块对不同分辨率的特征进行融合，使得输出特征同时具备语义和像素级信息，最后通过杆塔部件缺陷识别模块对杆塔关键部件缺陷进行识别并输出缺陷的定位和置信度。此网络可直接应用于电力巡检过程，对杆塔的关键部件及缺陷进行识别，具有识别精度高、泛化能力强的特点，将传统电力巡检过程与前沿的深度学习方法和神经网络技术进行结合，可以有效地解决传统人工巡检效率低、现有检测方法效果差的问题，实现杆塔巡检过程的智能化和自主化，并在一定程度上能够保障电力线路的正常运转。

附图说明

图1为本发明一实施例中一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法流程图；

图2为本发明一实施例中一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法的流程框图；

图3为本发明一实施例中杆塔关键部件缺陷识别网络模型的结构示意图；

图4为本发明的一种局部纹理增强模块的结果示意图；

图5为本发明的一种统计纹理量化模块的示意图；

图6为本发明针对不同场景下的检测识别结果示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。

在一个实施例中，如图1、2所示，一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法，方法包括以下步骤：

S100：利用无人机航拍获取杆塔图像数据，并通过Labelme(一种数据标注工具)对杆塔图像数据中的待检测部件及缺陷进行标注生成数据集，对数据集进行预处理。

具体地，得到数据集后，按比例8：1：1随机划分为训练、验证和测试数据集。通过旋转、平移、裁剪等预处理操作，对数据集进行数据增强处理，以增强杆塔缺陷的特征表达能力。

S200：构建杆塔关键部件缺陷识别网络模型，杆塔关键部件缺陷识别网络模型包括依次连接的特征提取及局部纹理增强模块、特征融合模块和杆塔部件缺陷识别模块，特征提取及局部纹理增强模块用于提取杆塔部件的多尺度判别性特征并对多尺度判别性特征中的关键部件进行纹理特征加强，得到纹理加强后的多尺度判别性特征，特征融合模块用于将纹理加强后的多尺度判别性特征进行融合，并将融合后的多尺度特征发送至杆塔部件缺陷识别模块进行缺陷识别得到分类结果和回归结果。

具体地，杆塔关键部件缺陷识别网络模型的结构示意图如图3所示，利用残差神经网络提取杆塔部件的多尺度判别性特征，利用不同分辨率的特征图，保证多尺度部件的特征能够充分提取和利用，进而保证网络模型在检测杆塔部件缺陷时，能有效利用杆塔边缘、轮廓等纹理信息，进而保证网络的检测精度。设计局部纹理增强网络，对杆塔如绝缘子、防震锤等关键部件进行纹理特征增强，以保证神经网络能够有效利用边缘、形状等有效纹理信息，提升网络对杆塔关键部件的缺陷识别能力。构建特征融合模块，利用多尺度特征金字塔结构对不同分辨率的特征图进行融合，以保证杆塔部件特征能够有效融合语义信息和像素信息，进一步提升杆塔部件特征的表达能力。

在一个实施例中，特征提取及局部纹理增强模块包括第一残差块、第二残差块、第三残差块、局部纹理增强模块和第四残差块，S200中特征提取及局部纹理增强模块用于提取杆塔部件的多尺度判别性特征并对多尺度判别性特征中的关键部件进行纹理特征加强，得到纹理加强后的多尺度判别性特征，包括：

S210：将预处理后的数据集数据的图片大小统一裁剪为预设尺寸大小，依次经过第一残差块、第二残差块和第三残差块后分别得到三个不同尺度的判别性特征图C1、C2和C3；

S220：C2和C3作为局部纹理增强模块的输入得到具备纹理细节信息的特征图C4；

S230：将C4经过第四残差块得到具备语义信息和纹理细节信息的特征图C5，由此得到具备不同感受野的纹理加强后的多尺度判别性特征C1、C2、C4和C5，其中相邻尺度之间的分辨率差为2倍。

具体地，在本实施例中，将预处理后的图片，其大小统一裁剪成1333×800输入残差网络。

在一个实施例中，如图4所示，局部纹理增强模块包括通道纹理增强模块和邻域纹理增强模块，S220包括：

S221：将不同分辨率的两个特征图C2和C3进行拼接、降维获得融合特征F；

S222：将融合特征F输入至通道纹理增强模块进行通道纹理增强，得到通道纹理增强的融合特征；

S223：将融合特征F输入至邻域纹理增强模块进行邻域纹理增强，得到邻域纹理增强的融合特征；

S224：将通道纹理增强的融合特征和邻域纹理增强的融合特征进行拼接得到具备局部纹理增强的特征图。

具体地，特征提取及局部纹理增强模块包括用于提取特征的残差网络和局部纹理增强模块，其中局部纹理增强模块由通道纹理增强模块和邻域纹理增强模块组成。区别于直接用残差网络提取特征，方法可以从通道和空间两个维度对纹理特征进行提取，这对于纹理特征明显的部件如绝缘子的检测效果有着明显的改善。

在一个实施例中，S222包括：

S2221：将融合特征F经过全局平均池化层得到大小为C×1×1的全局特征g，计算全局特征g与融合特征F的余弦相似度得到相似性矩阵图S；其中，余弦相似度计算公式如下：

其中，g为全局特征，F_ij为融合特征图F在(i，j)位置上的特征值，S_ij表示相似性矩阵图S上任意位置(i,j)处的相似性值；

S2222：将相似性矩阵图S量化成N个层级L，每个层级L具有一定数量的点，具体地分配和计算方式如下：

其中，max(.)和min(.)分别表示最大和最小函数，L_n为量化后的第n个相似性层级特征向量,0≤n≤N；

S2223：根据上述的量化层级，将相似性矩阵每个像素位置的S_ij编码成为统计编码向量E_ij，相似性矩阵S被量化统计编码成矩阵E(N×HW)，具体计算公式如下：

其中，S_i表示相似性矩阵在位置i处的值(0≤i≤HW)，E_i,n表示第i个位置n个层级的量化编码值；

S2224：将统计量化特征E和量化层级特征L进行拼接得到具有纹理统计信息的量化计数特征图C，通过多层感知机对具有纹理统计信息的特征图C进行升维，并和全局特征g进行拼接得到包含全局信息和局部信息的统计特征图D；

S2225：对统计特征图D分别进行两个1×1卷积并计算统计特征图D的邻接矩阵，通过Softmax函数对邻接矩阵进行归一化操作得到矩阵X，进而将归一化后的矩阵与经过1×1卷积的统计特征图D进行相乘得到重构的量化层级特征L'，计算公式如下：

X＝Softmax(φ₁(D)^T·φ₂(D)

L′＝φ₃(D)·X

其中，φ₁、φ₂、φ₃表示1×1卷积操作；

S2226：将得到的重构特征L'和量化矩阵E相乘，得到通道纹理统计增强后的特征图F_c。

具体地，统计纹理量化过程示意图如图5所示。

在一个实施例中，S223包括：

S2231：将输入特征F先后经过步长为1、填充为1的3x3卷积和1x1卷积，在保持特征图尺寸不变的情况下对特征进行降维得到新特征F1；

S2232：利用滑动窗口操作获取到新特征F1中具有邻域的特征块，其维度为(B，9C，P)，其中B为输入批次大小，C为通道数量，P为特征块的数量；

S2233：通过对具有邻域的特征块进行展开和通道变换得到新特征(B，P，C，3，3)，利用三维全局平均池化函数对邻域新特征进行操作得到邻域新特征的局部平均值F_avg；

S2234：计算局部平均值F_avg和新特征F1的余弦相似度，得到邻域的初步相似性矩阵S0，利用滑动窗口操作获取相似性矩阵S0的邻域的特征块，再通过自适应最大池化操作对相似性矩阵S0的邻域特征取出其局部最大值，得到最终的邻域相似性矩阵S′；

S2235：将邻域相似性矩阵S′量化成N个层级L′，每个层级L′具有一定数量的点，具体地分配和计算方式如下：

其中，L′_n为量化后的第n个相似性层级特征向量，0≤n≤N。

S2236：将邻域相似性矩阵每个像素位置S′_ij编码成为统计编码向量E′_ij，邻域相似性矩阵S′被量化统计编码成矩阵E′(N×HW)，具体计算公式如下：

其中，S′_i表示相似性矩阵在位置i处的值(0≤i≤HW)，E′_i，n表示第i个位置n个层级的量化编码值。

S2237：将统计量化特征E′和量化层级特征L′进行拼接得到具有纹理统计信息的量化计数特征图C′，通过多层感知机对具有纹理统计信息的特征图C′进行升维，并和全局特征g进行拼接得到包含全局信息和局部信息的统计特征图D′；

S2238：对统计特征图D′分别进行两个1×1卷积并计算统计特征图D′的邻接矩阵，通过Soffmax函数对邻接矩阵进行归一化操作得到矩阵X′，进而将归一化后的矩阵与经过1×1卷积的统计特征图D′进行相乘得到重构的量化层级特征L″，计算公式如下：

X′＝Soffmax(φ₁(D′)^T·φ₂(D′))

L″＝φ₃(D′)·X′

其中，φ₁、φ₂、φ₃表示1×1卷积操作；

S2239：将得到的重构特征L”和量化矩阵E'相乘，得到邻域纹理统计增强后的特征图F_s。

具体地，对每个像素点的邻域位置进行纹理增强，计算像素点与3×3邻域内平均值的余弦相似度图，并通过统计纹理特征提取、纹理特征增强对余弦相似图进行邻域纹理增强。

进一步地，特征提取及纹理增强模块可以实现杆塔的纹理特征有效提取，进而保证网络模型在检测杆塔部件缺陷时，能有效利用杆塔边缘、轮廓等纹理信息，进而保证网络的检测精度。

在一个实施例中，S200中特征融合模块用于将纹理加强后的多尺度判别性特征进行融合，包括：

S225：将具备不同感受野的纹理加强后的多尺度判别性特征C2、C4和C5输入至1×1卷积进行降维，得到通道数为256的特征图；

S226：将降维后的多尺度判别性特征C2'、C4'和C5'自上向下进行特征融合，将上一层特征进行双线性插值得到和下一层特征相同大小的特征图，再将两张特征图进行逐元素相加，实现语义信息融合，得到融合后的多尺度特征C2”、C4”和C5”，最后将C5”通过3×3卷积得到特征C6，将特征C6通过3×3卷积得到特征C7，得到最后的输出结果C2”、C4”、C5”、C6和C7。

具体地，对具有纹理信息的多尺度特征进行自上向下特征融合，以保证网络提取的特征能同时具备语义级纹理和像素级纹理，有效融合杆塔的判别性特征。

在一个实施例中，杆塔部件缺陷识别模块包括4个3×3卷积层、分类解码层和回归解码层，S200中将融合后的多尺度特征发送至杆塔部件缺陷识别模块进行缺陷识别得到分类结果和回归结果，包括：

将最后的输出结果C2”、C4”、C5”、C6和C7经过4个3×3卷积层，再分别经过分类解码层和回归解码层得到分类结果和回归结果。

具体地，分类解码层和回归解码层分别为1×1卷积层，分别通过1×1卷积得到网络的分类和回归结果，其中分类结果：分类分数即该目标是某类部件的分数，回归输出结果：预测框的偏移量，也就是定位坐标。分类结果和回归结果的维度分别为H×W×K以及H×W×4K，K为杆塔部件类别总数。

S300：根据预处理后的数据集对杆塔关键部件缺陷识别网络模型进行训练，采取预设的损失函数、分类结果和回归结果对训练后的杆塔关键部件缺陷识别网络模型计算损失值，根据损失值使用梯度下降法反向传播损失梯度进行网络权重更新，得到训练好的杆塔关键部件缺陷识别网络模型。

具体地，训练环境设置如下：CPU为i7-11700K，GPU为Nvidia GeForce RTX 3090显存24G，PyTorch版本为1.8.0，cuda版本为11.1。模型训练时的关键参数设置如下：优化器为随机梯度下降算法，初始学习率为0.01，加载数据线程数目为4，batch size设置为4，训练轮次为24，学习率在16和22轮次下降0.1倍。

在一个实施例中，预设的损失函数包括分类和回归损失，分类和回归损失分别选取FL loss和GIoU loss，计算公式如下：

FL(p,y)＝-y(1-p)^γlog(p)-(1-y)p^γlog(1-p)

其中，y代表分类的标签，p代表分类预测值，γ是超参数，IoU表示标签和预测框之间的交并比，M表示最小封闭形状，A_M表示M的面积，U表示G和P的并集面积，G表示真实框，M表示预测框。。

具体地，利用分类和回归损失对整体缺陷识别网络进行约束，保证网络能够学习到一组最优权重，进而实现杆塔关键部件缺陷的有效识别。

S400：获取实际杆塔图像，根据训练好的杆塔关键部件缺陷识别网络模型对实际杆塔图像中的杆塔关键部件及其缺陷进行检测和识别，得到检测结果。

具体地，检测识别杆塔的关键部件缺陷并可视化检测结果，进而实现电力巡检过程的智能化。检测识别结果如图6所示，其中，(a)(b)(c)分别为不同场景下的识别检测示意图，图6中，pinsug表示玻璃绝缘子，psusp表示悬垂线夹，pinsumiss表示绝缘子缺失，pvib表示防震锤，pvibmiss表示防震锤缺失，pinsub表示陶瓷绝缘子，plinkgrp表示连接组，pnest表示鸟巢。最后，在测试阶段通过载入训练好的网络权重，实现杆塔部件的检测和识别，并对其结果进行可视化，其中可视化结果输出的是置信度和定位框：定位框是由网络输出的检测坐标绘制出的矩形框，置信度是矩形框内目标属于某部件类别的置信度分数。

本发明基于局部纹理增强网络的杆塔关键部件缺陷识别结果，主要可以可视化网络对杆塔的如绝缘子轮廓、防震锤形状等关键部件缺陷的检测识别结果，能够直观地展现出杆塔部件缺陷的位置和置信度，进而推动杆塔巡检过程的智能化。

本发明能够取得下列有益效果：本发明提出的基于局部纹理增强网络的杆塔关键部件缺陷识别方法，可以通过通道纹理增强模块和邻域纹理增强模块作用，使得网络模型能够提取到具备纹理信息的判别性特征，同时通过多尺度特征融合模块对不同分辨率的特征进行融合，使得输出特征同时具备语义和像素级信息，最后通过缺陷识别网络对杆塔关键部件缺陷进行识别并输出缺陷的定位和置信度。此网络可直接应用于电力巡检过程，对杆塔的关键部件及缺陷进行识别，能够改善人工巡检效率低下的问题，并在一定程度上能够保障电力线路的正常运转。

本发明提出的基于局部纹理增强网络的杆塔关键部件缺陷识别方法，具有识别精度高、泛化能力强的特点，将传统电力巡检过程与前沿的深度学习方法和神经网络技术进行结合，可以有效地解决传统人工巡检效率低、现有检测方法效果差的问题，实现杆塔巡检过程的智能化和自主化。

以上对本发明所提供的一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法，其特征在于，所述方法包括以下步骤：

S100：利用无人机航拍获取杆塔图像数据，并通过Labelme对杆塔图像数据中的待检测部件及缺陷进行标注生成数据集，对所述数据集进行预处理；

S200：构建杆塔关键部件缺陷识别网络模型，所述杆塔关键部件缺陷识别网络模型包括依次连接的特征提取及局部纹理增强模块、特征融合模块和杆塔部件缺陷识别模块，所述特征提取及局部纹理增强模块用于提取杆塔部件的多尺度判别性特征并对所述多尺度判别性特征中的关键部件进行纹理特征加强，得到纹理加强后的多尺度判别性特征，所述特征融合模块用于将所述纹理加强后的多尺度判别性特征进行融合，并将融合后的多尺度特征发送至杆塔部件缺陷识别模块进行缺陷识别得到分类结果和回归结果；

S300：根据预处理后的数据集对所述杆塔关键部件缺陷识别网络模型进行训练，采取预设的损失函数、所述分类结果和回归结果对训练后的杆塔关键部件缺陷识别网络模型计算损失值，根据损失值使用梯度下降法反向传播损失梯度进行网络权重更新，得到训练好的杆塔关键部件缺陷识别网络模型；

S400：获取实际杆塔图像，根据所述训练好的杆塔关键部件缺陷识别网络模型对所述实际杆塔图像中的杆塔关键部件及其缺陷进行检测和识别，得到检测结果。

2.根据权利要求1所述的方法，其特征在于，特征提取及局部纹理增强模块包括第一残差块、第二残差块、第三残差块、局部纹理增强模块和第四残差块，S200中所述特征提取及局部纹理增强模块用于提取杆塔部件的多尺度判别性特征并对所述多尺度判别性特征中的关键部件进行纹理特征加强，得到纹理加强后的多尺度判别性特征，包括：

S210：将所述预处理后的数据集数据的图片大小统一裁剪为预设尺寸大小，依次经过所述第一残差块、所述第二残差块和所述第三残差块后分别得到三个不同尺度的判别性特征图C1、C2和C3；

S220：所述C2和C3作为局部纹理增强模块的输入得到具备纹理细节信息的特征图C4；

S230：将所述C4经过所述第四残差块得到具备语义信息和纹理细节信息的特征图C5，由此得到具备不同感受野的纹理加强后的多尺度判别性特征C1、C2、C4和C5，其中相邻尺度之间的分辨率差为2倍。

3.根据权利要求2所述的方法，其特征在于，所述局部纹理增强模块包括通道纹理增强模块和邻域纹理增强模块，S220包括：

S221：将不同分辨率的两个特征图C2和C3进行拼接、降维获得融合特征F；

S222：将所述融合特征F输入至所述通道纹理增强模块进行通道纹理增强，得到通道纹理增强的融合特征；

S223：将所述融合特征F输入至所述邻域纹理增强模块进行邻域纹理增强，得到邻域纹理增强的融合特征；

S224：将所述通道纹理增强的融合特征和所述邻域纹理增强的融合特征进行拼接得到具备局部纹理增强的特征图。

4.根据权利要求3所述的方法，其特征在于，S222包括：

S2221：将所述融合特征F经过全局平均池化层得到大小为C×1×1的全局特征g，计算所述全局特征g与所述融合特征F的余弦相似度得到相似性矩阵图S；其中，余弦相似度计算公式如下：

其中，g为全局特征，F_ij为融合特征图F在(i，j)位置上的特征值，S_ij表示相似性矩阵图S上任意位置(i,j)处的相似性值；

S2222：将所述相似性矩阵图S量化成N个层级L，每个层级L具有一定数量的点，具体地分配和计算方式如下：

其中，max(.)和min(.)分别表示最大和最小函数，L_n为量化后的第n个相似性层级特征向量,0≤n≤N；

S2223：根据上述的量化层级，将相似性矩阵每个像素位置的S_ij编码成为统计编码向量E_ij，所述相似性矩阵S被量化统计编码成矩阵E(N×HW)，具体计算公式如下：

其中，S_i表示相似性矩阵在位置i处的值(0≤i≤HW)，E_i,n表示第i个位置n个层级的量化编码值；

S2224：将统计量化特征E和量化层级特征L进行拼接得到具有纹理统计信息的量化计数特征图C，通过多层感知机对所述具有纹理统计信息的特征图C进行升维，并和所述全局特征g进行拼接得到包含全局信息和局部信息的统计特征图D；

S2225：对所述统计特征图D分别进行两个1×1卷积并计算所述统计特征图D的邻接矩阵，通过Softmax函数对所述邻接矩阵进行归一化操作得到矩阵X，进而将归一化后的矩阵与经过1×1卷积的所述统计特征图D进行相乘得到重构的量化层级特征L'，计算公式如下：

X＝Softmax(φ₁(D)^T·φ₂(D))

L′＝φ₃(D)·X

其中，φ₁、φ₂、φ₃表示1×1卷积操作；

S2226：将得到的重构特征L'和所述量化矩阵E相乘，得到通道纹理统计增强后的特征图F_c。

5.根据权利要求3所述的方法，其特征在于，S223包括：

S2231：将输入特征F先后经过步长为1、填充为1的3x3卷积和1x1卷积，在保持特征图尺寸不变的情况下对特征进行降维得到新特征F1；

S2232：利用滑动窗口操作获取到所述新特征F1中具有邻域的特征块，其维度为(B，9C，P)，其中B为输入批次大小，C为通道数量，P为特征块的数量；

S2233：通过对所述具有邻域的特征块进行展开和通道变换得到新特征(B，P，C,3,3)，利用三维全局平均池化函数对邻域新特征进行操作得到邻域新特征的局部平均值F_avg；

S2234：计算所述局部平均值F_avg和所述新特征F1的余弦相似度，得到邻域的初步相似性矩阵S0，利用滑动窗口操作获取所述相似性矩阵S0的邻域的特征块，再通过自适应最大池化操作对所述相似性矩阵S0的邻域特征取出其局部最大值，得到最终的邻域相似性矩阵S'；

S2235：将所述邻域相似性矩阵S'量化成N个层级L'，每个层级L'具有一定数量的点，具体地分配和计算方式如下：

其中，L'_n为量化后的第n个相似性层级特征向量,0≤n≤N；

S2236：将邻域相似性矩阵每个像素位置S′_ij编码成为统计编码向量E'_ij，所述邻域相似性矩阵S'被量化统计编码成矩阵E'(N×HW)，具体计算公式如下：

其中，S'_i表示相似性矩阵在位置i处的值(0≤i≤HW)，E'_i,n表示第i个位置n个层级的量化编码值；

S2237：将统计量化特征E'和量化层级特征L′进行拼接得到具有纹理统计信息的量化计数特征图C′，通过多层感知机对所述具有纹理统计信息的特征图C′进行升维，并和所述全局特征g进行拼接得到包含全局信息和局部信息的统计特征图D′；

S2238：对所述统计特征图D′分别进行两个1×1卷积并计算所述统计特征图D′的邻接矩阵，通过Softmax函数对所述邻接矩阵进行归一化操作得到矩阵X'，进而将归一化后的矩阵与经过1×1卷积的所述统计特征图D′进行相乘得到重构的量化层级特征L”，计算公式如下：

X'＝Softmax(φ₁(D')^T·φ₂(D'))

L″＝φ₃(D')·X'

其中，φ₁、φ₂、φ₃表示1×1卷积操作；

S2239：将得到的重构特征L″和所述量化矩阵E'相乘，得到邻域纹理统计增强后的特征图F_s。

6.根据权利要求5所述的方法，其特征在于，S200中所述特征融合模块用于将所述纹理加强后的多尺度判别性特征进行融合，包括：

S225：将具备不同感受野的纹理加强后的多尺度判别性特征C2、C4和C5输入至1×1卷积进行降维，得到通道数为256的特征图；

S226：将降维后的多尺度判别性特征C2'、C4'和C5'自上向下进行特征融合，将上一层特征进行双线性插值得到和下一层特征相同大小的特征图，再将两张特征图进行逐元素相加，实现语义信息融合，得到融合后的多尺度特征C2”、C4”和C5”，最后将C5”通过3×3卷积得到特征C6，将所述特征C6通过3×3卷积得到特征C7，得到最后的输出结果C2”、C4”、C5”、C6和C7。

7.根据权利要求6所述的方法，其特征在于，所述杆塔部件缺陷识别模块包括4个3×3卷积层、分类解码层和回归解码层，S200中将融合后的多尺度特征发送至杆塔部件缺陷识别模块进行缺陷识别得到分类结果和回归结果，包括：

将所述最后的输出结果C2”、C4”、C5”、C6和C7经过4个3×3卷积层，再分别经过分类解码层和回归解码层得到分类结果和回归结果。

8.根据权利要求7所述的方法，其特征在于，预设的损失函数包括分类和回归损失，分类和回归损失分别选取FLloss和GIoU loss，计算公式如下：

FL(p,y)＝-y(1-p)^γlog(p)-(1-y)p^γlog(1-p)

其中，y代表分类的标签，p代表分类预测值，γ是超参数，IoU表示标签和预测框之间的交并比，M表示最小封闭形状，A_M表示M的面积，U表示G和P的并集面积，G表示真实框，M表示预测框。

Images