CN117541534A - 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法 - Google Patents

一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法 Download PDF

Info

Publication number
CN117541534A
CN117541534A CN202311319249.4A CN202311319249A CN117541534A CN 117541534 A CN117541534 A CN 117541534A CN 202311319249 A CN202311319249 A CN 202311319249A CN 117541534 A CN117541534 A CN 117541534A
Authority
CN
China
Prior art keywords
model
image
cnn
bilstm
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202311319249.4A
Other languages
English (en)
Inventor
玄志恒
杨东东
杨绍辉
田野
邵震
韩明奇
刘瑞华
赵含笑
陈鹏
张悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Puyang Power Supply Co of State Grid Henan Electric Power Co Ltd
Original Assignee
Puyang Power Supply Co of State Grid Henan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Puyang Power Supply Co of State Grid Henan Electric Power Co Ltd filed Critical Puyang Power Supply Co of State Grid Henan Electric Power Co Ltd
Priority to CN202311319249.4A priority Critical patent/CN117541534A/zh
Publication of CN117541534A publication Critical patent/CN117541534A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于基于无人机和CNN‑BiLSTM模型的输电线路巡检方法。首先，通过无人机航拍图像数据收集大量不同天气条件下的不同输电线路图像，包括正常状态和各种缺陷情况。随后，对图像进行预处理，包括去噪、尺寸统一等。接着，采用CNN提取图像特征，并对其序列化以便BiLSTM进行时序建模。然后，构建CNN‑BiLSTM混合模型，以有效捕捉组件间的时序信息，实现对复杂缺陷的识别。接下来，利用准备的训练数据对模型进行训练与优化，调整超参数以达到最佳性能。最后，将训练好的CNN‑BiLSTM模型应用于新的无人机航拍图像进行缺陷检测，自动识别各类缺陷并返回位置和名称信息。通过该方法，实现了高效准确的输电线路巡检，提高了缺陷检测的效率和准确性。

Description

一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法
技术领域
本发明属于电力***的输电技术领域，具体涉及一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法。
背景技术
目前，无人机输电线路巡检作为一种高效、安全的巡检方式，在电力行业得到广泛应用。然而，现有的无人机输电线路巡检技术仍存在一些瓶颈、限制和不足之处。首先，传统的无人机巡检主要依赖人工视觉检查，对于大规模的输电线路网络来说，任务繁重且费时，易导致视疲劳和漏检等问题。同时，人工检查受到操作人员经验水平和环境因素的影响，巡检结果可能存在主观性和一致性差异。其次，传统无人机巡检缺乏智能化的图像分析和识别能力。虽然现有的目标检测算法可以检测出输电设备的缺陷，但在处理多尺度、复杂场景的航拍图像时，常常存在漏检或误检的问题，尤其是对于小尺寸或模糊的缺陷难以准确识别。
随着计算机视觉、深度学习等技术的不断发展，无人机输电线路巡检技术正朝着智能化、自动化方向发展。近年来，深度学习中的卷积神经网络(CNN)在图像处理和目标检测领域取得了重大突破，其在特征提取和图像识别方面具有优势。此外，循环神经网络(RNN)的一种变体——双向长短期记忆网络(BiLSTM)在序列建模方面表现出色，逐渐应用于图像序列处理任务。针对无人机输电线路巡检中存在的挑战，结合CNN和BiLSTM的混合模型被认为是未来的发展趋势。这种模型可以有效地融合图像特征提取和序列建模的优势，增强对复杂场景和小尺寸缺陷的检测能力，同时减轻人工视觉检查的负担，提高巡检的自动化程度和准确性。
本发明旨在提供一种基于CNN-BiLSTM混合模型的输电线路巡检图像检测方法，结合多尺度目标检测和注意力机制，以解决传统无人机巡检中的一系列问题。通过结合卷积神经网络(CNN)和双向长短期记忆网络(BiLSTM)，该方法能够克服传统无人机巡检中存在的瓶颈和限制，实现了智能化的图像分析和识别。传统的人工视觉检查存在视疲劳、漏检和误检等问题，而该混合模型能够有效地捕捉复杂场景和小尺寸缺陷，提高检测准确性和鲁棒性。其引入多尺度目标检测和注意力机制，进一步增强了模型对不同尺度缺陷的适应能力，提高了巡检效率和准确性。该技术的应用，可以显著降低人工成本和时间投入，实现部分自动化的线路巡检，为电力行业带来巨大的经济效益。同时，及时准确地发现和处理输电设备的缺陷，有助于提高电力***的可靠性和安全性，减少故障事故发生率，提高电力供应的稳定性。因此，该发明在技术上具有重要的创新和应用前景，有望为无人机输电线路巡检领域带来革命性的变革和优势。
发明内容
本发明涉及一种基于CNN-BiLSTM模型的输电线路巡检方法，尤其涉及使用无人机航拍图像进行输电设备缺陷检测的技术领域。
现有的输电线路巡检方法通常依赖人工巡视和图像分析，耗时且存在主观因素影响判断准确性。为解决上述问题，本发明提供了一种自动化的、高效的输电线路巡检方法，通过采用CNN-BiLSTM模型对无人机航拍图像进行处理，实现输电设备缺陷的自动检测与识别，以提高巡检效率和准确性。
本发明的目标在于提供一种基于CNN-BiLSTM模型的输电线路巡检方法，其包括以下步骤：
步骤S1：数据采集与预处理。收集大量不同输电线路、不同天气条件下的无人机航拍图像数据，包括正常状态和各种缺陷情况。对图像数据进行预处理，包括图像去噪、尺寸统一等，以准备数据用于后续模型训练。
步骤S2：特征提取与序列化。采用卷积神经网络(CNN)对预处理后的图像进行特征提取。CNN能够捕捉图像的局部和全局特征，为后续的序列建模提供有力支持。将提取的图像特征进行序列化，以便BiLSTM模型进行时序建模。
步骤S3：建立CNN-BiLSTM模型。搭建CNN-BiLSTM混合模型，将CNN提取的图像特征输入BiLSTM中进行序列建模。BiLSTM能够有效地捕捉组件之间的时序信息，对于识别复杂的缺陷情况具有优势。
步骤S4：模型训练与优化。使用步骤1中准备的训练数据对CNN-BiLSTM模型进行训练，并进行超参数调优，以获得最佳性能。模型训练的目标是使其能够准确识别不同类型的输电设备缺陷。
步骤S5：图像缺陷检测。利用训练好的CNN-BiLSTM模型对新的无人机航拍图像进行缺陷检测。模型能够自动识别出绝缘子破损、插销丢失、螺栓锈蚀、鸟巢、异物缠绕等常见缺陷，并返回缺陷位置和名称信息。
具体的，所述步骤S1数据采集与预处理包括以下子步骤：
步骤S1.1：数据收集。首先，收集大量不同输电线路、不同天气条件下的无人机航拍图像数据。这些数据包括正常状态的输电线路图像和各种缺陷情况下的输电线路图像，如绝缘子破损、插销丢失、螺栓锈蚀、鸟巢、异物缠绕等。数据采集可以通过无人机或其他适用的航拍设备在现场进行，确保数据的真实性和多样性。
步骤S1.2：数据标注。在获得图像数据后，需要对这些数据进行准确的标注，以便作为模型训练的依据。标注过程中，应明确每个图像中存在的缺陷类型和位置信息。对于每种缺陷，需要指定其在图像中的坐标或区域，以及缺陷的名称。数据标注是训练CNN-BiLSTM模型的关键步骤，其准确性直接影响模型的检测效果。
步骤S1.3：数据预处理。在进行模型训练前，对图像数据进行预处理是必要的。数据预处理旨在使图像数据达到统一的格式和质量，确保模型能够在一致的条件下进行训练。预处理包括以下几个方面：
图像去噪：由于航拍图像可能受到风、震动等因素的影响，可能存在噪点和不清晰的部分。因此，应采用去噪技术，如滤波算法，消除图像中的噪声。
尺寸统一：CNN-BiLSTM模型需要固定大小的输入，因此，需要将所有图像调整为相同的尺寸。可以通过插值方法或裁剪方式实现尺寸统一，确保图像输入具有相同的维度。
归一化：将图像像素值进行归一化处理，通常将像素值缩放到0到1的范围内，以便模型训练时更好地处理图像数据。
步骤S1.4：数据集划分。在完成数据预处理后，应将数据集划分为训练集、验证集和测试集，以用于CNN-BiLSTM模型的训练、调优和评估。通常，将大部分数据用于训练集，一部分用于验证集，少量用于测试集。划分数据集的目的是验证模型在未见过的数据上的泛化能力，以及调整模型的超参数，提高模型的性能。
具体的，所述步骤S2特征提取与序列化是为了从无人机航拍图像数据中捕捉有效的视觉特征，并将这些特征序列化为适合BiLSTM模型处理的输入格式。该步骤包括以下子步骤：
步骤S2.1：卷积神经网络(CNN)特征提取。图像数据通过预先训练的卷积神经网络(CNN)进行特征提取。具体地，所述CNN模型采用经典的卷积层、池化层和激活函数，通过一系列卷积操作，提取图像的局部特征和全局特征。所述CNN模型的权重和参数在预训练阶段已经通过大规模图像数据进行优化，使其具备对图像的有效特征提取能力。
步骤S2.2：序列化图像特征。从CNN中提取得到的图像特征被序列化为一维向量。具体的，所述的图像特征是通过将CNN最后一层的输出进行展平操作得到的。展平操作将图像特征从多维矩阵转换为一维向量，以便于后续的BiLSTM序列建模处理。
步骤S2.3：时间步划分。一维向量的图像特征被划分为等长的时间步。具体的，时间步的长度由输入BiLSTM模型的要求确定，通常根据具体应用场景和计算资源设置。将图像特征等分成时间步的目的是为了让BiLSTM能够按照序列顺序建模，捕捉图像数据中的时序信息。
步骤S2.4：序列化图像特征矩阵。将经过时间步划分的图像特征重新组织成序列化的特征矩阵。具体的，特征矩阵的行数对应于所述时间步的数量，列数等于每个时间步中所述图像特征的维度。通过这样的序列化操作，图像特征被有效地组织成BiLSTM模型可接受的输入格式。
具体的，所述步骤S3建立CNN-BiLSTM模型详细步骤如下：
步骤S3.1：卷积神经网络搭建。为了实现图像特征提取，所述的卷积神经网络部分采用具有多个卷积层和池化层的结构。其中，卷积层用于提取图像的局部特征，池化层则用于减少参数数量和降低模型的计算复杂度。设输入的航拍图像为X，第一层卷积层的输出为C1，C1的计算公式如下：
C1＝f(W1*X+b1)
其中，W1表示卷积核的权重参数，b1为偏置项，*表示卷积操作，f为激活函数(如ReLU函数)，C1的输出为特征图。
步骤S3.2：池化层处理。在所述的CNN中，池化层用于对特征图进行下采样，减少数据维度。常用的池化操作为最大池化或平均池化。设经过池化层处理后的输出为P1，P1的计算公式如下：
P1＝pooling(C1)
其中，pooling表示池化操作，P1为下采样后的特征图。
步骤S3.3：多层卷积和池化。为增强CNN的特征提取能力，可以采用多层卷积和池化结构。每一层的卷积核大小、步长、激活函数等参数可以根据具体任务进行设置。经过多层卷积和池化后，可以得到更加丰富的图像特征。
步骤S3.4：序列化图像特征。为了便于BiLSTM模型的时序建模，所述的CNN部分输出的特征图需要进行序列化处理。将多层卷积和池化后得到的特征图展平为一维向量，得到序列化的图像特征序列。这样，每个序列化的特征向量都代表了图像中的局部和全局信息。
步骤S3.5：双向长短期记忆网络(BiLSTM)搭建。为了对序列化的图像特征序列进行时序建模，所述的BiLSTM模型被引入。BiLSTM是一种能够捕捉序列信息的循环神经网络。该模型在时序上具有前向(正向)和后向(逆向)两个方向，分别对序列数据进行处理。设序列化的图像特征序列为S，BiLSTM的输出为H，前向和后向LSTM的计算过程如下：
前向LSTM计算：
后向LSTM计算：
其中，表示正向的输入序列，/>表示逆向的输入序列，/>为正向LSTM的输出，/>为逆向LSTM的输出。
步骤S3.6：融合前向和后向输出。为了融合前向和后向LSTM的输出，所述的BiLSTM模型将两个方向的输出进行连接得到最终的输出H，如下所示：
其中，[]表示连接操作，H为BiLSTM的最终输出特征序列。
具体的，为了建立高效准确的CNN-BiLSTM模型用于输电线路巡检，本发明采用以下具体步骤进行模型训练与优化：
步骤S4.1：数据集划分
所述的模型训练首先将数据集划分为训练集、验证集和测试集三个部分。训练集用于模型参数的学习，验证集用于调整超参数并避免过拟合，测试集用于最终模型性能的评估。
步骤S4.2：图像输入预处理。所述的图像输入预处理是为了将图像数据转换为模型可接受的格式。对训练集、验证集和测试集中的图像进行归一化处理，确保输入图像具有相同的尺寸和像素范围，以消除图像间的差异性。
步骤S4.3：CNN网络参数初始化。所述的CNN网络参数初始化阶段采用预训练的卷积神经网络进行初始化，如使用在大规模图像数据上预训练的VGG、ResNet等网络。这样的初始化有利于提高模型的收敛速度和泛化能力。
步骤S4.4：模型训练。所述的模型训练过程采用端到端的方式进行，即将预处理后的图像输入CNN网络，然后将CNN提取的特征序列输入BiLSTM网络，最后将BiLSTM的输出接入全连接层进行缺陷分类。采用交叉熵损失函数来度量模型预测值与真实标签之间的误差，并使用反向传播算法更新模型参数，优化模型的性能。
步骤S4.5：超参数调优。所述的超参数调优是为了找到CNN-BiLSTM模型的最佳配置。通过网格搜索、随机搜索或贝叶斯优化等技术，调整CNN和BiLSTM的超参数，如学习率、卷积核大小、BiLSTM的隐藏单元数量等，以提高模型的泛化能力和性能。
步骤S4.6：模型验证。所述的模型验证阶段使用验证集对训练得到的CNN-BiLSTM模型进行评估。计算模型在验证集上的损失值和准确率，根据验证结果进一步调整模型的结构和超参数，直至达到较好的验证性能。
步骤S4.7：模型测试与评估。所述的模型测试阶段使用测试集对优化后的CNN-BiLSTM模型进行最终的评估。计算模型在测试集上的准确率、召回率等性能指标，评估模型在实际输电线路巡检中的实际效果。
步骤S4.8：模型保存与部署。所述的模型保存与部署阶段将优化后的CNN-BiLSTM模型保存为可部署的格式，如HDF5或ONNX。该模型可在无人机巡检***中实时加载和运行，对输电线路航拍图像进行缺陷检测与识别。
所述的图像缺陷检测步骤涉及将训练好的CNN-BiLSTM模型应用于新的无人机航拍图像数据，以自动化地识别输电设备的缺陷并返回位置和名称信息。具体的图像缺陷检测步骤如下：
步骤S5.1：图像输入与预处理。在图像缺陷检测之前，首先将无人机航拍获取的图像输入到训练好的CNN-BiLSTM模型中。针对输入图像，进行预处理操作，包括图像去噪、尺寸统一等，以确保图像数据的质量和统一性，使其适合于模型的处理。
步骤S5.2：CNN特征提取。对经过预处理的图像，使用CNN进行特征提取。所述的CNN已经在前面的步骤中通过大量图像数据进行了训练，它能够自动地学习图像的局部和全局特征。通过卷积和池化等操作，CNN可以捕捉图像中的纹理、形状和结构等重要特征。
步骤S5.3：图像序列化。在得到CNN提取的图像特征后，将这些特征进行序列化处理。所谓图像序列化，是指将图像特征按照一定顺序组织成序列形式，使得BiLSTM能够对这些序列进行时序建模。例如，对于输电线路中的多个杆塔和绝缘子，将它们的特征序列化成一个整体输入到BiLSTM中。
步骤S5.4：BiLSTM时序建模与缺陷检测。经过图像序列化后，将序列化的图像特征输入到BiLSTM模型中进行时序建模。BiLSTM模型能够有效地捕捉组件之间的时序关系，从而对图像序列中的缺陷进行检测。通过学习多个输入图像之间的依赖关系，BiLSTM能够识别出绝缘子破损、插销丢失、螺栓锈蚀、鸟巢、异物缠绕等常见缺陷情况。
步骤S5.5：缺陷信息输出。经过BiLSTM模型的处理，图像缺陷检测阶段完成后，***将输出缺陷检测结果。输出结果包括缺陷的位置信息和缺陷名称信息。位置信息可以通过坐标或图像中的像素位置来表示，以确定缺陷在具体的输电设备上的位置。缺陷名称信息表示检测到的具体缺陷类型，例如绝缘子破损、插销丢失等。输出的信息将帮助输电部门确定哪些设备存在缺陷，从而有针对性地进行维修和处理。
本发明的有益效果：本发明基于CNN-BiLSTM模型的输电线路巡检方法具有显著的有益效果。通过引入卷积神经网络(CNN)和双向长短期记忆网络(BiLSTM)，该方法能够在处理无人机航拍图像数据时，自动识别输电设备的缺陷和异常情况。相较传统的人工巡视和图像分析方法，本发明实现了线路巡检的自动化和高效化，有效减轻了人工处理的工作量，提高了巡检的效率和准确性。同时，通过综合利用CNN的图像特征提取和BiLSTM的序列建模，该方法能够准确识别不同类型的缺陷，如绝缘子破损、插销丢失、螺栓锈蚀等，为输电部门提供了一种可靠的缺陷检测手段，有力地提升了输电线路的安全性和稳定性。本发明的实施还可为输电部门节约人力成本，并降低主观因素对巡检结果的影响，为输电行业带来巨大的价值和帮助。
附图说明
图1为本发明的主体步骤流程图；
图2为本发明的数据采集与预处理步骤图；
图3为本发明的特征提取与序列化步骤流程图；
图4为本发明的建立CNN-BiLSTM模型步骤流程图；
图5为本发明的模型训练与优化步骤流程图；
图6为本发明的图像缺陷检测步骤流程图；
图7为本发明的CNN-BiLSTM网络架构图；
图8为本发明实施例中检测效果示意图，左图检测框内为防震锤移位，右图检测框内为螺母未出牙。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围，以下结合实施例具体说明。
本发明的具体实施方式将通过以下具体的步骤和方法来描述，以实现基于无人机和CNN-BiLSTM模型的输电线路巡检方法。本实施方式的步骤如下：
步骤S1：数据采集与预处理。
S1.1：数据收集。首先，收集大量不同输电线路、不同天气条件下的无人机航拍图像数据。这些数据包括正常状态的输电线路图像和各种缺陷情况下的输电线路图像，如绝缘子破损、插销丢失、螺栓锈蚀、鸟巢、异物缠绕等。数据采集可以通过无人机或其他适用的航拍设备在现场进行，确保数据的真实性和多样性。
S1.2：数据标注。在获得图像数据后，需要对这些数据进行准确的标注，以便作为模型训练的依据。标注过程中，应明确每个图像中存在的缺陷类型和位置信息。对于每种缺陷，需要指定其在图像中的坐标或区域，以及缺陷的名称。数据标注是训练CNN-BiLSTM模型的关键步骤，其准确性直接影响模型的检测效果。
S1.3：数据预处理。在进行模型训练前，对图像数据进行预处理是必要的。数据预处理旨在使图像数据达到统一的格式和质量，确保模型能够在一致的条件下进行训练。预处理包括以下几个方面：
图像去噪：由于航拍图像可能受到风、震动等因素的影响，可能存在噪点和不清晰的部分。因此，应采用去噪技术，如滤波算法，消除图像中的噪声。
尺寸统一：CNN-BiLSTM模型需要固定大小的输入，因此，需要将所有图像调整为相同的尺寸。可以通过插值方法或裁剪方式实现尺寸统一，确保图像输入具有相同的维度。
归一化：将图像像素值进行归一化处理，通常将像素值缩放到0到1的范围内，以便模型训练时更好地处理图像数据。
S1.4：数据集划分。在完成数据预处理后，应将数据集划分为训练集、验证集和测试集，以用于CNN-BiLSTM模型的训练、调优和评估。通常，将大部分数据用于训练集，一部分用于验证集，少量用于测试集。划分数据集的目的是验证模型在未见过的数据上的泛化能力，以及调整模型的超参数，提高模型的性能。
步骤S2：特征提取与序列化。
S2.1：卷积神经网络(CNN)特征提取。图像数据通过预先训练的卷积神经网络(CNN)进行特征提取。具体地，所述CNN模型采用经典的卷积层、池化层和激活函数，通过一系列卷积操作，提取图像的局部特征和全局特征。所述CNN模型的权重和参数在预训练阶段已经通过大规模图像数据进行优化，使其具备对图像的有效特征提取能力。
步骤S2.2：序列化图像特征。从CNN中提取得到的图像特征被序列化为一维向量。具体的，所述的图像特征是通过将CNN最后一层的输出进行展平操作得到的。展平操作将图像特征从多维矩阵转换为一维向量，以便于后续的BiLSTM序列建模处理。
步骤S2.3：时间步划分。一维向量的图像特征被划分为等长的时间步。具体的，时间步的长度由输入BiLSTM模型的要求确定，通常根据具体应用场景和计算资源设置。将图像特征等分成时间步的目的是为了让BiLSTM能够按照序列顺序建模，捕捉图像数据中的时序信息。
步骤S2.4：序列化图像特征矩阵。将经过时间步划分的图像特征重新组织成序列化的特征矩阵。具体的，特征矩阵的行数对应于所述时间步的数量，列数等于每个时间步中所述图像特征的维度。通过这样的序列化操作，图像特征被有效地组织成BiLSTM模型可接受的输入格式。
步骤S3：建立CNN-BiLSTM模型
步骤S3.1：卷积神经网络搭建
在建立CNN-BiLSTM模型之前，首先搭建卷积神经网络(CNN)部分。所采用的CNN模型包含多个卷积层和池化层，以实现对图像的特征提取。具体地，将输入的航拍图像X通过以下计算得到第一层卷积层的输出C1：
C1＝f(W1*X+b1)
其中，W1表示卷积核的权重参数，b1为偏置项，*表示卷积操作，f为激活函数(如ReLU函数)，C1的输出为特征图，其中包含了图像的局部特征。
步骤S3.2：池化层处理
为了减少模型参数数量和计算复杂度，引入池化层对特征图进行下采样。常用的池化操作为最大池化或平均池化。设经过池化层处理后的输出为P1，其计算公式如下：
P1＝pooling(C1)
其中，pooling表示池化操作，P1为下采样后的特征图，它包含了特征图中的主要特征信息。
步骤S3.3：多层卷积和池化
为了增强CNN的特征提取能力，可以采用多层卷积和池化结构。每一层的卷积核大小、步长、激活函数等参数可以根据具体任务进行设置。通过多层卷积和池化，可以得到更加丰富的图像特征。
步骤S3.4：序列化图像特征
为了便于BiLSTM模型的时序建模，对CNN部分输出的特征图进行序列化处理。将多层卷积和池化后得到的特征图展平为一维向量，得到序列化的图像特征序列。这样，每个序列化的特征向量都代表了图像中的局部和全局信息。
步骤S3.5：双向长短期记忆网络(BiLSTM)搭建
为了对序列化的图像特征序列进行时序建模，引入双向长短期记忆网络(BiLSTM)模型。BiLSTM是一种能够捕捉序列信息的循环神经网络，其特点在于在时序上具有前向(正向)和后向(逆向)两个方向，分别对序列数据进行处理。设序列化的图像特征序列为S，BiLSTM的输出为H，前向和后向LSTM的计算过程如下：
前向LSTM计算：
后向LSTM计算：
其中，表示正向的输入序列，/>表示逆向的输入序列，/>为正向LSTM的输出，/>为逆向LSTM的输出。
步骤S3.6：融合前向和后向输出
为了融合前向和后向LSTM的输出，将两个方向的输出进行连接，得到最终的输出H，如下所示：
其中，[]表示连接操作，H为BiLSTM的最终输出特征序列。
步骤S4：模型训练与优化
步骤S4.1数据集划分
在模型训练过程中，首先将数据集划分为训练集、验证集和测试集三个部分。训练集用于模型参数的学习，验证集用于调整超参数并避免过拟合，测试集用于最终模型性能的评估。
步骤S4.2图像输入预处理
对训练集、验证集和测试集中的图像进行预处理操作，以将图像数据转换为模型可接受的格式。这包括图像去噪、尺寸统一等步骤，以确保输入图像具有相同的尺寸和像素范围，从而消除图像间的差异性。
步骤S4.3 CNN网络参数初始化
采用预训练的卷积神经网络进行初始化，如使用在大规模图像数据上预训练的VGG、ResNet等网络。这样的初始化有利于提高模型的收敛速度和泛化能力。
步骤S4.4模型训练
模型训练过程采用端到端的方式进行。首先，将经过预处理的图像输入CNN网络，然后将CNN提取的特征序列输入BiLSTM网络，最后将BiLSTM的输出接入全连接层进行缺陷分类。采用交叉熵损失函数来度量模型预测值与真实标签之间的误差，并使用反向传播算法更新模型参数，优化模型的性能。
步骤S4.5超参数调优
为了找到CNN-BiLSTM模型的最佳配置，进行超参数调优。通过网格搜索、随机搜索或贝叶斯优化等技术，调整CNN和BiLSTM的超参数，如学习率、卷积核大小、BiLSTM的隐藏单元数量等，以提高模型的泛化能力和性能。
步骤S4.6模型验证
使用验证集对训练得到的CNN-BiLSTM模型进行评估。计算模型在验证集上的损失值和准确率，根据验证结果进一步调整模型的结构和超参数，直至达到较好的验证性能。
步骤S4.7模型测试与评估
使用测试集对优化后的CNN-BiLSTM模型进行最终的评估。计算模型在测试集上的准确率、召回率等性能指标，评估模型在实际输电线路巡检中的实际效果。
步骤S4.8模型保存与部署
将优化后的CNN-BiLSTM模型保存为可部署的格式，如HDF5或ONNX。该模型可在无人机巡检***中实时加载和运行，对输电线路航拍图像进行缺陷检测与识别。
步骤S5：图像缺陷检测
步骤S5.1：图像输入与预处理
将新的无人机航拍图像输入到经过训练优化的CNN-BiLSTM模型中，用于缺陷检测。对输入图像进行预处理，包括图像去噪、尺寸统一等操作，确保图像数据的质量和格式与训练数据一致，以便于后续模型处理。
步骤S5.2：CNN特征提取
利用经过预训练的CNN模型对预处理后的图像进行特征提取。CNN模型采用具有多个卷积层和池化层的结构，通过卷积操作捕捉图像的局部特征，通过池化操作减少数据维度，得到特征图。CNN模型的参数已经在前面的模型训练阶段通过大量图像数据进行优化。
步骤S5.3：图像序列化
对CNN提取的特征图进行序列化处理，将其按照一定顺序组织成序列形式，以便于BiLSTM进行时序建模。例如，对于输电线路中的多个杆塔和绝缘子，将它们的特征序列化成一个整体输入到BiLSTM中。序列化的图像特征为一维向量，代表图像中的局部和全局信息。
步骤S5.4：BiLSTM时序建模与缺陷检测
经过图像序列化后，将序列化的图像特征输入到BiLSTM模型中进行时序建模。BiLSTM是一种循环神经网络，具有前向和后向两个方向的处理能力。BiLSTM能够有效地捕捉图像数据中的时序关系，对图像序列中的缺陷进行检测。通过学习多个输入图像之间的依赖关系，BiLSTM能够识别出绝缘子破损、插销丢失、螺栓锈蚀等常见缺陷情况。
步骤S5.5：缺陷信息输出
经过BiLSTM模型的处理，图像缺陷检测阶段完成后，***将输出缺陷检测结果。输出结果包括缺陷的位置信息和缺陷名称信息。位置信息可以通过坐标或图像中的像素位置来表示，以确定缺陷在具体的输电设备上的位置。缺陷名称信息表示检测到的具体缺陷类型，例如绝缘子破损、插销丢失等。
步骤S5.6：缺陷结果处理与反馈
根据输出的缺陷检测结果，将缺陷信息与图像对应起来，并标注在原始图像上，便于输电巡检人员直观了解检测结果。将缺陷检测结果反馈到输电巡检***中，便于数据记录和进一步分析，为输电部门制定维修计划和决策提供支持。
步骤S5.7：缺陷检测性能评估
对输出的缺陷检测结果进行性能评估，计算模型在测试集上的准确率、召回率等指标，以验证模型的性能。不断优化和调整CNN-BiLSTM模型，以提高缺陷检测的准确性和稳定性。
以下对本发明的有效性进行验证：
为了验证CNN-BiLSTM模型在输电线路巡检中的有效性，选择了多种常见的缺陷类型进行标注和训练。这些缺陷类型包括但不限于绝缘子破损、插销丢失、螺栓锈蚀、鸟巢、异物缠绕等。对于收集到的航拍图像数据，由专业的输电线路巡检人员进行了准确的缺陷标注。标注过程中，针对每张图像，标注人员根据实际图像内容，用矩形框标出缺陷区域，并指定缺陷类型。同时，对于同一种缺陷类型，还采用了不同位置和大小的样本，以确保模型能够较好地泛化和检测不同情况下的缺陷。
为了验证CNN-BiLSTM模型在输电线路巡检中的性能，采用了以下方法进行性能检测：将收集到的大量航拍图像数据划分为训练集、验证集和测试集。其中，训练集用于模型参数学习，验证集用于调整超参数并避免过拟合，测试集用于最终性能评估。在模型训练过程中，采用交叉熵损失函数来度量模型预测值与真实标签之间的误差。这可以帮助优化模型，使其更好地拟合实际输电线路巡检数据。采用准确率、召回率、F1-score等常用指标来评估模型的性能。准确率衡量了模型预测的正确率，召回率衡量了模型对真实缺陷的检测能力，F1-score综合考虑了准确率和召回率，对模型的综合性能进行评估。
在性能检测阶段，通过反复调整CNN-BiLSTM模型的超参数，如学习率、卷积核大小、BiLSTM的隐藏单元数量等，以达到较好的性能表现。通过网格搜索、随机搜索或贝叶斯优化等技术，找到了最佳的超参数配置，使得模型具备较高的准确率和召回率，并能在测试集上表现出良好的性能。
为了验证CNN-BiLSTM模型在实际输电线路巡检场景的可行性和实用性，在现场使用无人机进行航拍，并将采集到的图像输入到优化后的模型中进行缺陷检测。在实际测试中，对模型的检测结果与专业巡检人员的实际巡检结果进行对比和验证，以确保模型在实际场景中的准确性和稳定性。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的得同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法，其特征在于，包括以下步骤：
步骤S1：数据采集与预处理；收集大量不同输电线路、不同天气条件下的无人机航拍图像数据，包括正常状态和各种缺陷情况；对图像数据进行预处理，包括图像去噪、尺寸统一等，以准备数据用于后续模型训练；
步骤S2：特征提取与序列化；采用卷积神经网络(CNN)对预处理后的图像进行特征提取；CNN能够捕捉图像的局部和全局特征，为后续的序列建模提供有力支持；将提取的图像特征进行序列化，以便BiLSTM模型进行时序建模；
步骤S3：建立CNN-BiLSTM模型；搭建CNN-BiLSTM混合模型，将CNN提取的图像特征输入BiLSTM中进行序列建模；BiLSTM能够有效地捕捉组件之间的时序信息，对于识别复杂的缺陷情况具有优势；
步骤S4：模型训练与优化；使用步骤1中准备的训练数据对CNN-BiLSTM模型进行训练，并进行超参数调优，以获得最佳性能；模型训练的目标是使其能够准确识别不同类型的输电设备缺陷；
步骤S5：图像缺陷检测；利用训练好的CNN-BiLSTM模型对新的无人机航拍图像进行缺陷检测；模型能够自动识别出绝缘子破损、插销丢失、螺栓锈蚀、鸟巢、异物缠绕等常见缺陷，并返回缺陷位置和名称信息。
2.如权利要求1所述的一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法，其特征在于，所述步骤S1的数据采集与预处理子步骤S1.1至S1.4包括以下内容：
步骤S1.1：数据收集；收集不同输电线路、不同天气条件下的无人机航拍图像数据，包括正常状态的输电线路图像和各种缺陷情况下的输电线路图像，如绝缘子破损、插销丢失、螺栓锈蚀、鸟巢、异物缠绕等；数据采集通过无人机或其他适用的航拍设备在现场进行，确保数据的真实性和多样性；
步骤S1.2：数据标注；在获得图像数据后，对这些数据进行准确的标注，标注过程中明确每个图像中存在的缺陷类型和位置信息；对于每种缺陷，需要指定其在图像中的坐标或区域，以及缺陷的名称；数据标注确保模型训练的依据，其准确性直接影响模型的检测效果；
步骤S1.3：数据预处理；进行图像去噪、尺寸统一等预处理操作，使图像数据达到统一的格式和质量，确保模型能够在一致的条件下进行训练；
步骤S1.4：数据集划分；将数据集划分为训练集、验证集和测试集，用于CNN-BiLSTM模型的训练、调优和评估，以验证模型在未见过的数据上的泛化能力。
3.如权利要求1所述的一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法，其特征在于，所述步骤S2的特征提取与序列化子步骤S2.1至步骤S2.4包括以下内容：
步骤S2.1：卷积神经网络(CNN)特征提取；图像数据通过预先训练的CNN进行特征提取，通过卷积层、池化层和激活函数等操作，提取图像的局部特征和全局特征；
步骤S2.2：序列化图像特征；从CNN中提取得到的图像特征被序列化为一维向量，通过展平操作将图像特征从多维矩阵转换为一维向量，以便于后续的BiLSTM序列建模处理；
步骤S2.3：时间步划分；将一维向量的图像特征划分为等长的时间步，时间步的长度由输入BiLSTM模型的要求确定，以让BiLSTM能够按照序列顺序建模，捕捉图像数据中的时序信息；
步骤S2.4：序列化图像特征矩阵；将经过时间步划分的图像特征重新组织成序列化的特征矩阵，特征矩阵的行数对应于时间步的数量，列数等于每个时间步中图像特征的维度，以提供给BiLSTM模型进行时序建模。
4.如权利要求1所述的一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法，其特征在于，包括以下步骤：所述的建立CNN-BiLSTM模型的步骤如下：
步骤S3.1：卷积神经网络搭建，通过搭建卷积神经网络(CNN)来实现图像特征提取；所述的CNN网络采用具有多个卷积层和池化层的结构；具体地，卷积层用于提取图像的局部特征，池化层用于减少参数数量和降低模型的计算复杂度；设输入的航拍图像为X，第一层卷积层的输出为C1，C1的计算公式如下：
C1＝f(W1*X+b1)
其中，W1表示卷积核的权重参数，b1为偏置项，*表示卷积操作，f为激活函数(如ReLU函数)，C1的输出为特征图；
步骤S3.2：池化层处理；在所述的CNN中，池化层用于对特征图进行下采样，以减少数据维度；常用的池化操作有最大池化或平均池化；设经过池化层处理后的输出为P1，P1的计算公式如下：
P1＝pooling(C1)
其中，pooling表示池化操作，P1为下采样后的特征图，它包含了特征图中的主要特征信息；
步骤S3.3：多层卷积和池化；为增强CNN的特征提取能力，可以采用多层卷积和池化结构；每一层的卷积核大小、步长、激活函数等参数可以根据具体任务进行设置；经过多层卷积和池化后，可以得到更加丰富的图像特征；
步骤S3.4：序列化图像特征；为了便于BiLSTM模型的时序建模，所述的CNN部分输出的特征图需要进行序列化处理；将多层卷积和池化后得到的特征图展平为一维向量，得到序列化的图像特征序列；这样，每个序列化的特征向量都代表了图像中的局部和全局信息；
步骤S3.5：双向长短期记忆网络(BiLSTM)搭建；为了对序列化的图像特征序列进行时序建模，所述的BiLSTM模型被引入；BiLSTM是一种能够捕捉序列信息的循环神经网络；该模型在时序上具有前向(正向)和后向(逆向)两个方向，分别对序列数据进行处理；设序列化的图像特征序列为S，BiLSTM的输出为H，前向和后向LSTM的计算过程如下：
前向LSTM计算：
后向LSTM计算：
其中，表示正向的输入序列，/>表示逆向的输入序列，/>为正向LSTM的输出，/>为逆向LSTM的输出；
S3.6：融合前向和后向输出；为了融合前向和后向LSTM的输出，所述的BiLSTM模型将两个方向的输出进行连接得到最终的输出H，如下所示：
其中，[]表示连接操作，H为BiLSTM的最终输出特征序列。
5.如权利要求1所述的一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法，其特征在于包括以下步骤：
步骤S4.1：数据集划分步骤，将图像数据集划分为训练集、验证集和测试集；
步骤S4.2：图像输入预处理步骤，对训练集、验证集和测试集中的图像进行归一化处理，以确保输入图像具有相同的尺寸和像素范围；
步骤S4.3：CNN网络参数初始化步骤，使用预训练的卷积神经网络对CNN网络参数进行初始化；
步骤S4.4：模型训练步骤，将预处理后的图像输入CNN网络，然后将CNN提取的特征序列输入BiLSTM网络，最后将BiLSTM的输出接入全连接层进行缺陷分类；
步骤S4.5：超参数调优步骤，通过网格搜索、随机搜索或贝叶斯优化等技术，调整CNN和BiLSTM的超参数，以提高模型的泛化能力和性能；
步骤S4.6：模型验证步骤，使用验证集对训练得到的CNN-BiLSTM模型进行评估，进一步调整模型的结构和超参数；
步骤S4.7：模型测试与评估步骤，使用测试集对优化后的CNN-BiLSTM模型进行最终的评估，计算模型在测试集上的准确率、召回率等性能指标；
步骤S4.8：模型保存与部署步骤，将优化后的CNN-BiLSTM模型保存为可部署的格式，用于无人机巡检***中实时加载和运行，对输电线路航拍图像进行缺陷检测与识别。
6.如权利要求1所述的一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法，其特征在于，所述图像处理方法中，图像缺陷检测步骤包括以下子步骤：
步骤S5.1：图像输入与预处理步骤，将无人机航拍获取的图像输入到训练好的CNN-BiLSTM模型中，并进行图像去噪和尺寸统一等预处理操作；
步骤S5.2：CNN特征提取步骤，对经过预处理的图像，使用CNN进行特征提取，捕捉图像中的纹理、形状和结构等重要特征；
步骤S5.3：图像序列化步骤，将CNN提取的图像特征进行序列化处理，将图像特征序列输入到BiLSTM中进行时序建模；
步骤S5.4：BiLSTM时序建模与缺陷检测步骤，经过图像序列化后，将序列化的图像特征输入到BiLSTM模型中进行时序建模，识别输电线路中的绝缘子破损、插销丢失、螺栓锈蚀、鸟巢、异物缠绕等常见缺陷情况；
步骤S5.5：缺陷信息输出步骤，在图像缺陷检测阶段完成后，输出缺陷检测结果，包括缺陷的位置信息和缺陷名称信息，帮助输电部门确定设备存在的缺陷，进行维修和处理。
7.如权利要求1所述的一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法，其特征在于，所述图像处理方法中，图像缺陷检测步骤S5.5中的位置信息表示缺陷在具体的输电设备上的位置，通过坐标或图像中的像素位置来表示；缺陷名称信息表示检测到的具体缺陷类型，例如绝缘子破损、插销丢失。
8.如权利要求1所述的一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法，其特征在于，所述图像处理方法中，采用交叉熵损失函数度量模型预测值与真实标签之间的误差，并使用反向传播算法更新模型参数，优化模型的性能。
9.如权利要求1所述的一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法，其特征在于，所述图像处理方法中，CNN网络采用预训练的卷积神经网络进行初始化，如VGG、ResNet等网络，以提高模型的收敛速度和泛化能力。
10.如权利要求1所述的一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法，其特征在于，所述图像处理方法中，超参数调优采用网格搜索、随机搜索或贝叶斯优化等技术，调整CNN和BiLSTM的超参数，如学习率、卷积核大小、BiLSTM的隐藏单元数量等，以提高模型的泛化能力和性能。
CN202311319249.4A 2023-10-12 2023-10-12 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法 Withdrawn CN117541534A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311319249.4A CN117541534A (zh) 2023-10-12 2023-10-12 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311319249.4A CN117541534A (zh) 2023-10-12 2023-10-12 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法

Publications (1)

Publication Number Publication Date
CN117541534A true CN117541534A (zh) 2024-02-09

Family

ID=89783069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311319249.4A Withdrawn CN117541534A (zh) 2023-10-12 2023-10-12 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法

Country Status (1)

Country Link
CN (1) CN117541534A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117823741A (zh) * 2024-03-06 2024-04-05 福建巨联环境科技股份有限公司 一种结合智能机器人的管网非开挖修复方法及***
CN117974658A (zh) * 2024-03-29 2024-05-03 深圳市明谋科技有限公司 基于图像处理的线缆异常识别方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117823741A (zh) * 2024-03-06 2024-04-05 福建巨联环境科技股份有限公司 一种结合智能机器人的管网非开挖修复方法及***
CN117823741B (zh) * 2024-03-06 2024-05-31 福建巨联环境科技股份有限公司 一种结合智能机器人的管网非开挖修复方法及***
CN117974658A (zh) * 2024-03-29 2024-05-03 深圳市明谋科技有限公司 基于图像处理的线缆异常识别方法及***
CN117974658B (zh) * 2024-03-29 2024-06-11 深圳市明谋科技有限公司 基于图像处理的线缆异常识别方法及***

Similar Documents

Publication Publication Date Title
CN110598736B (zh) 一种电力设备红外图像故障定位、识别与预测方法
Doshi et al. Road damage detection using deep ensemble learning
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN110533086B (zh) 图像数据半自动标注方法
CN117541534A (zh) 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法
Liu et al. Key target and defect detection of high-voltage power transmission lines with deep learning
CN111507370A (zh) 获得自动标注图像中检查标签的样本图像的方法和装置
Ni et al. A generative adversarial learning strategy for enhanced lightweight crack delineation networks
CN113239800B (zh) 目标检测方法及目标检测装置
CN116229052B (zh) 一种基于孪生网络的变电站设备状态变化检测方法
CN114821155A (zh) 一种基于可变形nts-net神经网络的多标签分类方法及***
CN113962973A (zh) 一种基于卫星技术的输电线路无人机智能巡检***及方法
CN115546223A (zh) 一种列车车下设备紧固螺栓的缺失检测方法和***
CN115272830A (zh) 一种基于深度学习的受电弓异物检测方法
CN117009916A (zh) 基于多传感器信息融合与迁移学习的促动器故障诊断方法
Manninen et al. Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images
CN112598666B (zh) 一种基于卷积神经网络的电缆隧道异常检测方法
CN116681885B (zh) 输变电设备红外图像目标识别方法及***
CN116206222A (zh) 基于轻量化目标检测模型的输电线路故障检测方法及***
Xin et al. Research on Remote Sensing Image Target Detection Algorithm Based on YOLOv5
US20230084761A1 (en) Automated identification of training data candidates for perception systems
Xia et al. A multi-target detection based framework for defect analysis of electrical equipment
CN114140524A (zh) 一种多尺度特征融合的闭环检测***及方法
CN117767579B (zh) 基于AutoML的电网大数据分析方法及自动化建模***
Narlan et al. Automated pavement defect detection using YOLOv8 object detection algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20240209