CN113239838B - 一种用于输电铁塔的无人机智能巡检识别方法 - Google Patents
一种用于输电铁塔的无人机智能巡检识别方法 Download PDFInfo
- Publication number
- CN113239838B CN113239838B CN202110562089.0A CN202110562089A CN113239838B CN 113239838 B CN113239838 B CN 113239838B CN 202110562089 A CN202110562089 A CN 202110562089A CN 113239838 B CN113239838 B CN 113239838B
- Authority
- CN
- China
- Prior art keywords
- module
- image
- feature
- insulator
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000005540 biological transmission Effects 0.000 title claims abstract description 17
- 238000007689 inspection Methods 0.000 title claims abstract description 17
- 239000012212 insulator Substances 0.000 claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000001537 neural effect Effects 0.000 claims abstract 2
- 238000001514 detection method Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 3
- 230000007547 defect Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明是一种用于输电铁塔的无人机智能巡检识别方法，采用智能巡检***对绝缘子进行巡检，所述智能巡检***包括无人机搭载的图像采集模块、预处理模块、特征提取模块、特征融合模块、预测判断模块及故障上报模块；所述识别方法具体包括以下步骤：1）拍摄绝缘子的图像并传输到预处理模块；2）对图像进行非局部平均去噪处理并输入特征提取模块；3）采用神经特征提取网络提取绝缘子形状特征及故障特征；4）将提取的高维特征进行特征融合；5）通过预测回归网络对特征判断，判断出所拍摄的绝缘子是否存在故障；本发明快速、准确地实现了输电铁塔绝缘子故障的实时识别，提高了绝缘子的维护效率。
Description
技术领域
本发明涉及输电铁塔故障巡检维护技术领域，具体是一种用于输电铁塔的无人机智能巡检识别方法。
背景技术
当今已经进入人工智能和大数据的时代，深度学习以及神经网络得到迅速发展。电网在我国占有十分重要的地位，电网的维护也显得重要，建设智能电网，不断得到重视。架空输电线路是将导线架起，使之远离地面的一种钢架结构设施。绝缘子在架空输电线路起着连接导线与金具的作用，绝缘子是否存在故障隐患，对电网的稳定运行有很大的影响，严重将导致绝缘子断裂，导线接地，引起巨大经济损失与人员伤亡，因此对绝缘子的故障早发现显得尤为重要，而绝缘子数量庞大，传统通过人工巡检的方式费时费力，且不能很好的判断绝缘子是否存在故障或缺陷。
发明内容
本发明的目的就是为了解决传统通过人工巡检的方式费时费力，且不能很好的判断绝缘子是否存在故障或缺陷的问题，提供一种用于输电铁塔的无人机智能巡检识别方法。
本发明的具体方案是：一种无人机图像智能巡检***包括图像采集模块、图像预处理模块、特征提取模块、特征融合模块、预测判断模块、故障上报模块。
所述的图像采集模块采用无人机搭载SHD10T3摄像云台拍摄绝缘子可见光图像，拍摄好的图像统一存储到图像数据库，便于后续模块处理。
所述图像预处理模块采用快速非局部均值去噪法降低在图像传输过程中产生的高斯噪声，其思想是利用图像中的冗余部分进行去噪，冗余部分指的是图像中重复或相似的邻域结构，首先通过欧氏距离衡量邻域之间的相似程度，再利用权值分配给予相似邻域较大权重，最后进行加权平均得到去噪后的图像；而其时间复杂度相对较高，导致计算时间过长，故对其积分图加速，并以欧氏距离取代高斯加权的欧氏距离，得到快速滤波降噪。
所述特征提取模块采用YOLO-V4tiny网络结构为基础，并提出改进网络，将Resnet_Y模块替换原有的CSPblock网络，Resnet_Y网络由两条支路组成，其中一条输入的特征先进行1×1卷积调整通道数，之后连接一个3×3卷积模块进行特征提取，另一条支路对输入的特征进行最大池化处理，对输入的层降采样，去除冗余信息，对特征进行压缩，扩大感受野；之后连接一个1×1卷积模块，对通道信息进行整合，跨通道信息交互，增强网络的非线性特性，最后将两条支路的特征信息相加输出。在主干特征网络增加辅助特征网络，提高检测精度，加入通道注意力与空间注意力算法，通道注意力算法增强了网络学习全局信息来有选择性的加强包含有用信息的特征并抑制无用特征；空间注意力算法是定位到目标的位置获取权重，增强对图像中感兴趣的目标区域进行特征提取，最终得到若干高维特征图，更改输出的特征层尺寸，使其适应绝缘子形状特征。使用MishReLU代替原LeakyReLU激活函数，使模型具有良好的泛化能力，且优化了质量。
所述特征融合模块使用BiFPN特征融合结构，在FPN特征融合结构上，增加跨单元之间的连接，让上级特征与融合后的特征联系，使得上下特征图有更密切的关联性，特征融合的结果更加优异。
所述预测判断模块使用YOLO预测结构，去除最大预测分辨率检测头，使用两个检测头，提高检测速率；增加大尺寸分辨率的预测结构，使用k-mean聚类选择适合绝缘子的先验框尺寸，提高了判断效率。
所述故障上报模块，将获得故障图像与故障信息，上传至客户端，进行报警，使用SIM7600G-H模块拨号上网，将故障信息以及故障图像进行发送。
本发明具有以下有益效果：1、采用无人机图像采集***传输的图像数据集，对图像数据集要预处理，使用快速非局部平均去噪法减除图像的高斯噪声，帮助图像的特征提取；图像识别模块采用端对端模式识别，以YOLO-V4tiny网络结构为基础，改进了特征提取网络，使其更加快速、准确，可实现输电铁塔绝缘子故障的实时识别；
2、利用图像识别***可进行缺陷识别，设计轻量级特征提取网络，可实现边缘快速计算；
3、提取缺陷特征后，识别出故障信息，利用4G网络将故障图像以及报警信号传输回信息管理***，通过报警信息确认故障图像，可以帮助检修人员及时到达现场，及时更换绝缘子，防止电网出现大面积停电。
附图说明
图1是本发明智能巡检***的结构示意图；
图2是本发明特征提取网络结构示意图；
图3是本发明特征融合网络结构示意图；
图4是本发明巡检所拍摄的具有缺陷的绝缘子图像。
具体实施方式
本实施例一种无人机图像智能巡检***包括图像采集模块、图像预处理模块、特征提取模块、特征融合模块、预测判断模块、故障上报模块。
参见图1，本实施例所述图像采集模块，采用无人机搭载SHD10T3摄像云台，该云台可采集光学变焦可见光图像和红外图像，由云台拍摄绝缘子可见光图像，每隔3秒采集一次，并同时输出HDMI实时信号，拍摄好的图像统一存储到TF卡中图像数据库，以便于后续模块处理；HDMI实时信号一端与大疆飞控天空端连接，将视频流信号传输回飞行控制器显示实时画面，另一端与数据转换模块相连，作为视频输入到检测模块。
本实施例所述图像预处理模块采用快速非局部均值去噪法降低在图像传输过程中产生的高斯噪声，其思想是利用图像中的冗余部分进行去噪，冗余部分指的是图像中重复或相似的邻域结构,首先通过欧氏距离衡量邻域之间的相似程度，再利用权值分配给予相似邻域较大权重，最后进行加权平均得到去噪后的图像。而其时间复杂度相对较高，导致计算时间过长，故对其积分图加速，积分图思想并以欧氏距离取代高斯加权的欧氏距离，得到快速滤波降噪。
参见图2，本实施例所述特征提取模块采用YOLO-V4tiny网络结构为基础，并提出改进网络，对输入的图像进行两次下采样，将Resnet_Y模块替换原有的CSPblock网络，提高了检测速率，并增加辅助特征网络，加入通道注意力与空间注意力算法，增强对图像中感兴趣的目标区域进行特征提取，以弥补速度提升带来的精度下降，最终得到若干高维特征图，更改输出的特征层尺寸，使其适应绝缘子形状特征。使用MishReLU代替原LeakyReLU激活函数，使模型具有良好的泛化能力，且优化了质量。
参见图3，本实施例所述特征融合模块使用BiFPN特征融合结构，增加一条单元之间的连接边，跨单元之间的连接，让上级特征与融合后的特征联系，使得上下特征图有更密切的关联性，使得特征融合的结果更加优异；相比于FPN特征金字塔结构，增加了下采样，使得不同尺度特征与特征之间的联系更多，最后输出两个检测分支。
参见图4，本实施例所述预测判断模块为以下几个步骤：
使用卷积块调整特征融合后的通道数，为B×(C+5)，其中B为每个格子所预测先验框的数量，C为类别数；
利用设置的先验框生成整个特征图上所有的先验框，本算法先验框数量为6个；将全部的先验框根据和真实框的IOU以及分配的网络划分为正、负、忽略样本；
随机采样选择部分先验框进行loss计算；将真实框编码为网络输出的相同形式，方便计算loss；计算分类、置信度、矩阵框位置和宽高的loss，并加权求和最终输出，供计算梯度和反向传播。
最终得到检测结果，可检测出绝缘子与绝缘子的伞裙自爆故障。
本实施例所述故障上报模块将获得故障图像与故障信息，上传至数据库，客户端在数据库读取数据，进行报警，使用SIM7600G-H模块拨号上网，将故障信息以及故障图像进行发送。
Claims (4)
1.一种用于输电铁塔的无人机智能巡检识别方法，其特征是：采用智能巡检***对绝缘子进行巡检，所述智能巡检***包括无人机搭载的图像采集模块、预处理模块、特征提取模块、特征融合模块、预测判断模块及故障上报模块；所述识别方法具体包括以下步骤：1)无人机搭载的图像采集模块拍摄绝缘子的图像并传输到预处理模块；2)预处理模块对图像进行非局部平均去噪处理并输入特征提取模块；3)特征提取模块采用神经特征提取网络提取绝缘子形状特征及故障特征；4)特征融合模块将提取的高维特征进行特征融合；5)预测判断模块通过预测回归网络对特征判断，判断出所拍摄的绝缘子是否存在故障；6)故障上报模块将被判定为故障的绝缘子图像与故障信息上传至客户端，并进行报警；
所述步骤2)中图像预处理模块采用快速非局部均值去噪法降低在图像传输过程中产生的高斯噪声，利用图像中的重复或相似的邻域结构进行去噪，首先通过欧氏距离衡量邻域之间的相似程度，再利用权值分配给予相似邻域较大权重，最后进行加权平均得到去噪后的图像；
所述步骤3)中特征提取模块采用YOLO-V4tiny网络结构为基础，将Resnet_Y网络替换YOLO-V4tiny网络结构中的CSPblock网络，所述Resnet_Y网络由两条支路组成，其中一条输入的特征先进行1×1卷积调整通道数，之后连接一个3×3卷积模块进行特征提取；另一条支路对输入的特征进行最大池化处理，对输入的层降采样、去除冗余信息，对特征进行压缩，扩大感受野；之后连接一个1×1卷积模块，对通道信息进行整合，跨通道信息交互，增强网络的非线性特性，最后将两条支路的特征信息相加输出；
所述步骤5)中预测判断模块通过预测回归网络对特征判断的具体步骤为：使用卷积块调整特征融合后的通道数为B×(C+5)，其中B为每个格子预测的先验框数量，C为类别数；
利用设置好的先验框生成特征图上所有的先验框，将全部的先验框根据和真实框的IOU以及分配的网络划分为正、负、忽略样本；
通过随机采样法选择部分先验框进行loss计算；将真实框编码成网络输出的相同形式来计算loss；计算分类、置信度、矩阵框位置和宽高的loss，然后加权求和得到最终输出，最后进行梯度和反向传播计算得到检测结果。
2.根据权利要求1所述一种用于输电铁塔的无人机智能巡检识别方法，其特征是：所述YOLO-V4tiny网络结构中加入通道注意力与空间注意力算法，通道注意力有选择性的加强包含有用信息的特征并抑制无用特征；空间注意力算法增强对图像中感兴趣的目标区域进行特征提取，最终得到若干高维特征图，更改输出的特征层尺寸，使其适应绝缘子形状特征。
3.根据权利要求1所述一种用于输电铁塔的无人机智能巡检识别方法，其特征是：所述步骤4)中特征融合模块使用BiFPN特征融合结构，在FPN特征融合结构上，增加跨单元之间的连接，让上级特征与融合后的特征联系，使得上下特征图有更密切的关联性，特征融合的结果更加优异。
4.根据权利要求1所述一种用于输电铁塔的无人机智能巡检识别方法，其特征是：所述步骤5)中预测判断模块使用YOLO预测结构，去除最大预测分辨率检测头，使用两个检测头提高检测速率；增加大尺寸分辨率的预测结构，使用k-mean聚类选择适合绝缘子的先验框尺寸以提高判断效率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110562089.0A CN113239838B (zh) | 2021-05-24 | 2021-05-24 | 一种用于输电铁塔的无人机智能巡检识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110562089.0A CN113239838B (zh) | 2021-05-24 | 2021-05-24 | 一种用于输电铁塔的无人机智能巡检识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113239838A CN113239838A (zh) | 2021-08-10 |
| CN113239838B true CN113239838B (zh) | 2022-09-20 |
Family
ID=77138377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110562089.0A Active CN113239838B (zh) | 2021-05-24 | 2021-05-24 | 一种用于输电铁塔的无人机智能巡检识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113239838B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114332697A (zh) * | 2021-12-19 | 2022-04-12 | 西安科技大学 | 输电线路中多类目标故障检测方法、***、设备及介质 |
| CN116721095B (zh) * | 2023-08-04 | 2023-11-03 | 杭州瑞琦信息技术有限公司 | 一种航拍式的道路照明故障检测方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110636715A (zh) * | 2019-08-27 | 2019-12-31 | 杭州电子科技大学 | 一种基于自学习的自动焊接及缺陷检测方法 |
| CN110674866A (zh) * | 2019-09-23 | 2020-01-10 | 兰州理工大学 | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110033453B (zh) * | 2019-04-18 | 2023-02-24 | 国网山西省电力公司电力科学研究院 | 基于改进YOLOv3的输变电线路绝缘子航拍图像故障检测方法 |
| CN112183667B (zh) * | 2020-10-31 | 2022-06-14 | 哈尔滨理工大学 | 一种协同深度学习的绝缘子故障检测方法 |
| CN112464910A (zh) * | 2020-12-18 | 2021-03-09 | 杭州电子科技大学 | 一种基于YOLO v4-tiny的交通标志识别方法 |
-
2021
- 2021-05-24 CN CN202110562089.0A patent/CN113239838B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110636715A (zh) * | 2019-08-27 | 2019-12-31 | 杭州电子科技大学 | 一种基于自学习的自动焊接及缺陷检测方法 |
| CN110674866A (zh) * | 2019-09-23 | 2020-01-10 | 兰州理工大学 | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113239838A (zh) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108109385B (zh) | 一种输电线防外破的车辆识别与危险行为判别***与方法 | |
| CN112381784B (zh) | 一种基于多光谱图像的设备检测*** | |
| CN106356757B (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
| CN113239838B (zh) | 一种用于输电铁塔的无人机智能巡检识别方法 | |
| CN111832398B (zh) | 一种无人机影像的配电线路杆塔导地线断股图像检测方法 | |
| CN113963315A (zh) | 一种复杂场景下实时视频多人行为识别方法及*** | |
| CN112183313A (zh) | 一种基于SlowFast的电力作业现场动作识别方法 | |
| CN112327906A (zh) | 一种基于无人机的智能自动巡检*** | |
| CN112083437A (zh) | 一种船用激光雷达与视频联合目标捕捉***及方法 | |
| CN103729620B (zh) | 一种基于多视角贝叶斯网络的多视角行人检测方法 | |
| CN116823800A (zh) | 一种基于深度学习的复杂背景下桥梁混凝土裂缝检测方法 | |
| CN103090946B (zh) | 果树单树产量测量的方法和*** | |
| CN116681979A (zh) | 一种复杂环境下的电力设备目标检测方法 | |
| CN112332541B (zh) | 一种用于变电站的监测***和方法 | |
| Yuan et al. | Identification method of typical defects in transmission lines based on YOLOv5 object detection algorithm | |
| CN111582069B (zh) | 一种空基监视平台的轨道障碍物零样本分类方法及装置 | |
| CN111354028B (zh) | 基于双目视觉的输电通道隐患物识别追踪方法 | |
| CN113902698A (zh) | 一种基于智能视觉控制的无人机云台渐进式目标对焦方法 | |
| Wang et al. | Improvements of YoloV3 for road damage detection | |
| CN114359167A (zh) | 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法 | |
| CN112883969A (zh) | 一种基于卷积神经网络的降雨强度检测方法 | |
| CN116994161A (zh) | 一种基于改进YOLOv5的绝缘子缺陷检测方法 | |
| CN114549432A (zh) | 无人机图像智能识别方法 | |
| CN113034598B (zh) | 一种基于深度学习的无人机电力巡线方法 | |
| CN114663814A (zh) | 一种基于机器视觉的果实检测及产量估计方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |