CN115311584A - 一种基于深度学习的无人机高压电网视频巡检飘挂物方法 - Google Patents

一种基于深度学习的无人机高压电网视频巡检飘挂物方法 Download PDF

Info

Publication number
CN115311584A
CN115311584A CN202210973131.2A CN202210973131A CN115311584A CN 115311584 A CN115311584 A CN 115311584A CN 202210973131 A CN202210973131 A CN 202210973131A CN 115311584 A CN115311584 A CN 115311584A
Authority
CN
China
Prior art keywords
power grid
model
voltage power
hanging
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210973131.2A
Other languages
English (en)
Inventor
龙玉江
卫薇
李洵
方曦
钟掖
卢仁猛
王卓月
龙娜
甘润东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Power Grid Co Ltd
Original Assignee
Guizhou Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Power Grid Co Ltd filed Critical Guizhou Power Grid Co Ltd
Priority to CN202210973131.2A priority Critical patent/CN115311584A/zh
Publication of CN115311584A publication Critical patent/CN115311584A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的无人机高压电网视频巡检飘挂物方法，所述方法包括：S1、构建高压电网飘挂物标签图像数据集并进行标注；S2、构建电网飘挂物视频中关键帧提取模型，针对关键帧进行特征提取检测飘挂物；S3、基于高压电网飘挂物图像数据集以及巡检视频中与飘挂物无关的图像数据进行训练；S4、将待识别的电网飘挂物视频数据送入高压电网飘挂物关键帧提取模型并将获取到的关键帧图像输入目标检测模型进行检测，获取检测框目标检测结果；解决了现有技术视频中飘挂物图像不清晰且提取困难，这就会对前期的标注工作产生较坏的影响。巡检机器人对飘挂物检测精度不高，在巡检工作中，有时会造成漏检、误检等问题。

Description

一种基于深度学习的无人机高压电网视频巡检飘挂物方法
技术领域
本发明属于监控技术领域，尤其涉及一种基于深度学习的无人机高压电网视频巡检飘挂物方法。
背景技术
为了确保电网设备安全稳定运行，对输电线路必须经常进行易漂浮物大排查及清理工作。由于大风可能引发异物搭挂、导线舞动造成倒塔断线等设备损伤现象，及时发现和消除危及线路安全的隐患，利用无人机可以高效快速的将长距离电路进行快速检测巡查，使用深度学习的目标检测技术可以高效的检测电网中悬挂的异物，能够及时线路和设备进行详细检查，掌握每条运行线路、检查设备及接点有无悬挂物现象，及时发现隐患。但视频中飘挂物图像不清晰且提取困难，这就会对前期的标注工作产生较坏的影响。巡检机器人对飘挂物检测精度不高，在巡检工作中，有时会造成漏检，误检等现象。
发明内容
本发明要解决的技术问题是：提供一种基于深度学习的无人机高压电网视频巡检飘挂物方法，以解决现有技术视频中飘挂物图像不清晰且提取困难，这就会对前期的标注工作产生较坏的影响。巡检机器人对飘挂物检测精度不高，在巡检工作中，有时会造成漏检、误检等问题。
本发明的技术方案是：
一种基于深度学习的无人机高压电网视频巡检飘挂物方法，所述方法包括：
S1、构建高压电网飘挂物标签图像数据集并进行标注；
S2、构建电网飘挂物视频中关键帧提取模型，针对关键帧进行特征提取检测飘挂物；
S3、基于高压电网飘挂物图像数据集以及巡检视频中与飘挂物无关的图像数据进行训练；
S4、将待识别的电网飘挂物视频数据送入高压电网飘挂物关键帧提取模型并将获取到的关键帧图像输入目标检测模型进行检测，获取检测框目标检测结果。
关键帧提取模型使用残差网络模型，根据标注的数据集进行训练，该模型的作用是提取图像中的特征，然后使用softmax函数进行分类。
残差网络包括依次连接的5x5的卷积层和池化层，连接3x3的卷积层和1x1的卷积层，以及3x3的卷积层和池化层外加上一级的残差数据构成的残差块组成ResNet50模型，在模型的输出层使用标准化编码后使用softmax分类输出类别并进行打分。
关键帧提取模型将视频中提取到的每一帧图像进行序列化计算并提取特征后的向量，softmax分类模型的打分算法采用向量矢量计算方法，使用包括飘挂物的视频图像数据训练Resnet50与softmax分类模型后将训练数据喂入模型后输出的向量组成矩阵，对该矩阵的列与实际检测时输出的向量计算L2距离，最后打分是L2距离的均值。
关键帧提取模型采用分段检测的优化算法，在每一秒钟的所有帧按照模型打分进行阈值判断，分值大于80％则进行飘挂物检测识别，同时也根据实际检测效率和检测效果动态调整检测范围；然后对该帧后面连续30帧进行飘挂物检测；流程完毕后重新执行关键帧检测并重复上述流程。
基于高压电网飘挂物图像数据集以及巡检视频中与飘挂物无关的图像数据进行训练的方法为：在设置好Resnet50与分类模型结构并将训练集完成后，使用COCO2017分类数据集对模型进行预训练，将模型在多次迭代中学习网络参数；然后使用预训练学习好的模型进行迁移学习训练高压电网飘挂物图像数据集。
在训练中，首先将图像分批输入模型中，使用小批量梯度下降法迭代2000次，动量设置为0.9，学习率大小设置为0.001，权重衰减率0.0001，每个批次BatchSize为24。
经过预训练后，使用高压电网飘挂物标签文本数据集训练目标检测模型，小批量梯度下降法迭代3000次，动量设置为0.9，学习率大小设置为0.001，权重衰减率0.0001，每个批次为24；最终模型输出飘挂物的分类和特征向量。
本发明的有益效果：
1)本发明提出的无人机高压电网飘挂物巡检方法，通过使用视频关键帧提取以及使用深度学习目标检测模型检测飘挂物可以高效快速的将巡检视频中电网上可能跟存在的飘挂物检测出来，及时解决安全隐患。使在电网中飘挂物的目标位置更加精确，提高检测能力降低电网触网隐患；
2)本发明的采用了无人机采集视频流进行飘挂物检测，解决了视频检测中的空间冗余和时间冗余，将有效信息进行快速监测提高电网***的安全。
解决了现有技术视频中飘挂物图像不清晰且提取困难，这就会对前期的标注工作产生较坏的影响。巡检机器人对飘挂物检测精度不高，在巡检工作中，有时会造成漏检、误检等问题。
附图说明
图1为本发明的流程图；
图2为本发明的模型结构示意图。
具体实施方式
一种基于深度学习的无人机高压电网视频巡检飘挂物方法，如图1所示，包括以下步骤：
S1：构建高压电网飘挂物标签图像数据集并进行标注。
本实施例中，整理高压电网飘挂物数据集，也进行了模拟飘挂物悬挂在电网上的数据采集，并对所有的高压电网飘挂物标签图像进行标注，构建电网飘挂物标签图像数据集，然后按照预设比例划分至训练接和测试集，具体地，构建的高压电网飘挂物标签图像数据集D中的高压电网飘挂物图像按照预设的比例(1：3)划分至训练集Dtrain和Dtest。同时加入没有飘挂物的电网图像数据作为非关键帧数据进行识别。
S2：构建电网飘挂物视频中关键帧提取模型，针对该关键帧进行特征提取检测飘挂物。
具体地，如图2所示，关键帧提取模型，进一步具体地，该模型使用残差网络模型，根据标注的数据集进行训练，该模型的主要作用是提取图像中的特征，然后使用softmax函数进行分类，
具体地，残差网络包括依次连接的5x5的卷积层和池化层，连接3x3的卷积层和1x1的卷积层，以及3x3的卷积层和池化层外加上一级的残差数据构成的残差块组成ResNet50模型，在模型的输出层使用标准化编码后使用softmax分类输出类别并进行打分，
具体地，关键帧提取模型将视频中提取到的每一帧图像进行序列化计算并提取特征后的向量，softmax分类模型的打分算法采用向量矢量计算方法，使用包括飘挂物的视频图像数据训练Resnet50与softmax分类模型
后将训练数据喂入模型后输出的向量组成矩阵，对该矩阵的列与实际检测时输出的向量计算L2距离，最后打分是L2距离的均值。
具体地，视频图像数据存在较多的时间冗余和空间冗余，在一段较长的视频中，由于存在识别飘挂物目标仅需1帧即可确定是否存在，故关键帧提取模型分段检测的优化算法，在每一秒钟的所有帧按照模型打分进行阈值判断，分值大于80％则进行飘挂物检测识别，同时也可以根据实际检测效率和检测效果动态调整检测范围。然后对该帧后面连续30帧进行飘挂物检测。上述流程完毕后重新执行关键帧检测并重复上述流程。
S3：基于高压电网飘挂物图像数据集以及巡检视频中与飘挂物无关的图像数据进行训练
训练方式如下：
在设置好Resnet50与分类模型结构并将训练集完成后，使用COCO2017分类数据集对模型进行预训练，将模型在多次迭代中学习网络参数，使模型具有良好的检测性能。
然后使用预训练学习好的模型进行迁移学习训练高压电网飘挂物图像数据集。
在训练中，首先将图像分批输入模型中，使用小批量梯度下降法迭代2000次，动量设置为0.9，学习率大小设置为0.001，权重衰减率0.0001，每个批次BatchSize为24。
经过预训练后，使用高压电网飘挂物标签文本数据集训练目标检测模型，小批量梯度下降法迭代3000次，动量设置为0.9，学习率大小设置为0.001，权重衰减率0.0001，每个批次为24。最终模型输出飘挂物的分类和特征向量。
S4：将待识别的电网飘挂物视频数据送入高压电网飘挂物关键帧提取模型并将获取到的关键帧图像输入目标检测模型进行检测，获取检测框目标检测结果。
将确认关键帧的图像以及其后序的数据帧使用高压电网飘挂物目标检测模型检测特征提取，并将提取到的数据返回给工作人员。

Claims (8)

1.一种基于深度学习的无人机高压电网视频巡检飘挂物方法，其特征在于：所述方法包括：
S1、构建高压电网飘挂物标签图像数据集并进行标注；
S2、构建电网飘挂物视频中关键帧提取模型，针对关键帧进行特征提取检测飘挂物；
S3、基于高压电网飘挂物图像数据集以及巡检视频中与飘挂物无关的图像数据进行训练；
S4、将待识别的电网飘挂物视频数据送入高压电网飘挂物关键帧提取模型并将获取到的关键帧图像输入目标检测模型进行检测，获取检测框目标检测结果。
2.根据权利要求1所述的一种基于深度学习的无人机高压电网视频巡检飘挂物方法，其特征在于：关键帧提取模型使用残差网络模型，根据标注的数据集进行训练，该模型的作用是提取图像中的特征，然后使用softmax函数进行分类。
3.根据权利要求2所述的一种基于深度学习的无人机高压电网视频巡检飘挂物方法，其特征在于：残差网络包括依次连接的5x5的卷积层和池化层，连接3x3的卷积层和1x1的卷积层，以及3x3的卷积层和池化层外加上一级的残差数据构成的残差块组成ResNet50模型，在模型的输出层使用标准化编码后使用softmax分类输出类别并进行打分。
4.根据权利要求2所述的一种基于深度学习的无人机高压电网视频巡检飘挂物方法，其特征在于：关键帧提取模型将视频中提取到的每一帧图像进行序列化计算并提取特征后的向量，softmax分类模型的打分算法采用向量矢量计算方法，使用包括飘挂物的视频图像数据训练Resnet50与softmax分类模型后将训练数据喂入模型后输出的向量组成矩阵，对该矩阵的列与实际检测时输出的向量计算L2距离，最后打分是L2距离的均值。
5.根据权利要求2所述的一种基于深度学习的无人机高压电网视频巡检飘挂物方法，其特征在于：关键帧提取模型采用分段检测的优化算法，在每一秒钟的所有帧按照模型打分进行阈值判断，分值大于80％则进行飘挂物检测识别，同时也根据实际检测效率和检测效果动态调整检测范围；然后对该帧后面连续30帧进行飘挂物检测；流程完毕后重新执行关键帧检测并重复上述流程。
6.根据权利要求2所述的一种基于深度学习的无人机高压电网视频巡检飘挂物方法，其特征在于：基于高压电网飘挂物图像数据集以及巡检视频中与飘挂物无关的图像数据进行训练的方法为：在设置好Resnet50与分类模型结构并将训练集完成后，使用COCO2017分类数据集对模型进行预训练，将模型在多次迭代中学习网络参数；然后使用预训练学习好的模型进行迁移学习训练高压电网飘挂物图像数据集。
7.根据权利要求6所述的一种基于深度学习的无人机高压电网视频巡检飘挂物方法，其特征在于：在训练中，首先将图像分批输入模型中，使用小批量梯度下降法迭代2000次，动量设置为0.9，学习率大小设置为0.001，权重衰减率0.0001，每个批次BatchSize为24。
8.根据权利要求6所述的一种基于深度学习的无人机高压电网视频巡检飘挂物方法，其特征在于：经过预训练后，使用高压电网飘挂物标签文本数据集训练目标检测模型，小批量梯度下降法迭代3000次，动量设置为0.9，学习率大小设置为0.001，权重衰减率0.0001，每个批次为24；最终模型输出飘挂物的分类和特征向量。
CN202210973131.2A 2022-08-15 2022-08-15 一种基于深度学习的无人机高压电网视频巡检飘挂物方法 Pending CN115311584A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210973131.2A CN115311584A (zh) 2022-08-15 2022-08-15 一种基于深度学习的无人机高压电网视频巡检飘挂物方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210973131.2A CN115311584A (zh) 2022-08-15 2022-08-15 一种基于深度学习的无人机高压电网视频巡检飘挂物方法

Publications (1)

Publication Number Publication Date
CN115311584A true CN115311584A (zh) 2022-11-08

Family

ID=83862672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210973131.2A Pending CN115311584A (zh) 2022-08-15 2022-08-15 一种基于深度学习的无人机高压电网视频巡检飘挂物方法

Country Status (1)

Country Link
CN (1) CN115311584A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189063A (zh) * 2023-04-24 2023-05-30 青岛润邦泽业信息技术有限公司 一种用于智能视频监控的关键帧优化方法及装置
CN116363537A (zh) * 2023-05-31 2023-06-30 广东电网有限责任公司佛山供电局 一种变电站站外飘挂物隐患识别方法和***
CN116506471A (zh) * 2023-06-26 2023-07-28 中国铁建电气化局集团有限公司 无人机巡查***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647655A (zh) * 2018-05-16 2018-10-12 北京工业大学 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法
CN110347873A (zh) * 2019-06-26 2019-10-18 Oppo广东移动通信有限公司 视频分类方法、装置、电子设备及存储介质
CN113888465A (zh) * 2021-09-02 2022-01-04 地海光电技术有限公司 输电线悬挂异物检测方法、***及介质
CN113936175A (zh) * 2021-10-15 2022-01-14 上海交通大学 一种识别视频中的事件的方法及***
CN114187534A (zh) * 2021-11-15 2022-03-15 南方电网科学研究院有限责任公司 输电导线悬挂异物的检测方法、装置、介质及终端设备
CN114565822A (zh) * 2022-01-27 2022-05-31 国网浙江省电力有限公司湖州供电公司 一种基于深度学习的高压电网飘挂物检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647655A (zh) * 2018-05-16 2018-10-12 北京工业大学 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法
CN110347873A (zh) * 2019-06-26 2019-10-18 Oppo广东移动通信有限公司 视频分类方法、装置、电子设备及存储介质
CN113888465A (zh) * 2021-09-02 2022-01-04 地海光电技术有限公司 输电线悬挂异物检测方法、***及介质
CN113936175A (zh) * 2021-10-15 2022-01-14 上海交通大学 一种识别视频中的事件的方法及***
CN114187534A (zh) * 2021-11-15 2022-03-15 南方电网科学研究院有限责任公司 输电导线悬挂异物的检测方法、装置、介质及终端设备
CN114565822A (zh) * 2022-01-27 2022-05-31 国网浙江省电力有限公司湖州供电公司 一种基于深度学习的高压电网飘挂物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王红君;郝金龙;赵辉;岳有军;: "大规模复杂场景下基于ResNet的回环检测技术研究", 计算机应用与软件, no. 07, pages 131 - 135 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189063A (zh) * 2023-04-24 2023-05-30 青岛润邦泽业信息技术有限公司 一种用于智能视频监控的关键帧优化方法及装置
CN116363537A (zh) * 2023-05-31 2023-06-30 广东电网有限责任公司佛山供电局 一种变电站站外飘挂物隐患识别方法和***
CN116363537B (zh) * 2023-05-31 2023-10-24 广东电网有限责任公司佛山供电局 一种变电站站外飘挂物隐患识别方法和***
CN116506471A (zh) * 2023-06-26 2023-07-28 中国铁建电气化局集团有限公司 无人机巡查***
CN116506471B (zh) * 2023-06-26 2023-09-12 中国铁建电气化局集团有限公司 无人机巡查***

Similar Documents

Publication Publication Date Title
CN115311584A (zh) 一种基于深度学习的无人机高压电网视频巡检飘挂物方法
CN107742093B (zh) 一种红外图像电力设备部件实时检测方法、服务器及***
CN109376605B (zh) 一种电力巡检图像防鸟刺故障检测方法
CN110458798B (zh) 基于关键点检测的防振锤缺陷视觉检测方法、***及介质
CN109118479A (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN110569843B (zh) 一种矿井目标智能检测与识别方法
CN111339883A (zh) 复杂场景下基于人工智能的变电站内异常行为识别与检测方法
CN108958217A (zh) 一种基于深度学习的can总线报文异常检测方法
CN112906620B (zh) 无人机辅助的绝缘子故障检测方法、装置和电子设备
CN111862065B (zh) 基于多任务深度卷积神经网络的输电线路诊断方法和***
CN105303162B (zh) 一种基于目标建议算法的航拍图像绝缘子识别方法
CN114241364A (zh) 一种架空输电线路异物目标快速标定方法
CN111899216A (zh) 一种高铁接触网绝缘子紧固件的异常检测方法
CN115862073A (zh) 一种基于机器视觉的变电站危害鸟种目标检测和识别方法
Wang et al. Insulator defect recognition based on faster R-CNN
Lianqiao et al. Recognition and application of infrared thermal image among power facilities based on yolo
CN112149597A (zh) 一种基于深度学习的河流表面流速检测方法
CN107689015A (zh) 一种改进的电力***不良数据辨识方法
CN111241905A (zh) 基于改进ssd算法的输电线路鸟窝检测方法
CN111597868A (zh) 一种基于ssd的变电站隔离开关状态分析方法
CN114241423A (zh) 一种河道漂浮物智能检测方法及***
CN111666958A (zh) 基于图像识别的设备状态检测方法、装置、设备及介质
CN115937492B (zh) 一种基于特征识别的变电设备红外图像识别方法
CN111931577A (zh) 一种电网线路特定异物智能巡检方法
Zhang Faster R-CNN transmission line multi-target detection based on BAM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination