CN112614130A - 基于5G传输和YOLOv3的无人机输电线路绝缘子故障检测方法 - Google Patents

基于5G传输和YOLOv3的无人机输电线路绝缘子故障检测方法 Download PDF

Info

Publication number
CN112614130A
CN112614130A CN202110002537.1A CN202110002537A CN112614130A CN 112614130 A CN112614130 A CN 112614130A CN 202110002537 A CN202110002537 A CN 202110002537A CN 112614130 A CN112614130 A CN 112614130A
Authority
CN
China
Prior art keywords
insulator
transmission line
unmanned aerial
aerial vehicle
yolov3
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110002537.1A
Other languages
English (en)
Inventor
张义红
姜诗高
李德敏
曹永胜
林晓东
李帅
吴森
朱迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN202110002537.1A priority Critical patent/CN112614130A/zh
Publication of CN112614130A publication Critical patent/CN112614130A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Locating Faults (AREA)

Abstract

本发明公开了一种基于5G传输和改进YOLOv3的无人机输电线路绝缘子故障检测方法，属于传感器相关领域，包括：该发明通过建立一种改进的YOLOv3级联网络结构对输电线路绝缘子进行缺陷检测和故障定位，极大地提高缺陷检测准确率，实现故障绝缘子块的精确定位。针对偏远地区通信方案传输速度慢、信号不稳的问题，本方法拟采用5G无人机基站技术传输无人机拍摄的待巡线输电线路区域的视频数据，提高数据传输的实时性，并为后续绝缘子检测、定位与故障分类提供高分辨率的视频帧图像。

Description

基于5G传输和YOLOv3的无人机输电线路绝缘子故障检测方法
技术领域
本发明涉及一种基于5G传输和改进YOLOv3的输电线路绝缘子故障检测方法，属于传感器相关领域。
背景技术
无人机电力巡检是一种利用无人机自主作业完成对架空输电线路维护的新型巡检方式。无人机通过机身携带的图像采集设备和远程终端控制***，获取高清晰度的航拍绝缘子图像，并予以故障分析。与传统的人工巡检方式不同，无人机电力巡检具有复杂地形适应能力强、安全系数高、风险小、成本低、准确可靠等优点，已经成为输电线路运维技术的重点发展方向之一。然而，由于无人机航拍图像的复杂性与现有视觉识别算法技术的局限性，对小故障检测精度不高，计算复杂度高，难以实现实时性，限制了电力巡检在无人机上的应用深度和广度。
发明内容
本发明要解决的技术问题是：由于无人机航拍图像的复杂性与现有视觉识别算法技术的局限性，对小故障检测精度不高，计算复杂度高，难以实现实时性，限制了电力巡检在无人机上的应用深度和广度。
为了解决上述技术问题，本发明的技术方案是提供了一种基于5G传输和YOLOv3的无人机输电线路绝缘子故障检测方法，其特征在于，包括以下步骤：
利用无人机携带图像采集设备获取高清晰度的输电线路绝缘子视频图像，采用5G无人机基站技术将输电线路绝缘子视频图像数据传输至控制中心，控制中心将接收到的输电线路绝缘子视频图像输入改进的YOLOv3级联网络结构，由改进的YOLOv3级联网络结构对输电线路绝缘子进行检测，对输出输电线路绝缘子是否存在故障进行判断，其中：
改进的YOLOv3级联网络结构包括ResNet-50，输电线路绝缘子视频图像输入ResNet-50进行处理，由绝缘子检测网模块利用ResNet-50的输出来构建不同尺度的特征金字塔，不同尺度的特征金字塔再输入IoU预测分支，IoU预测分支通过预测目标候选包围框与真实目标标注的IoU，并基于此分类分数的乘积作为检测置信度，用于NMS计算。
优选地，对所述改进的YOLOv3级联网络结构进行训练时，由无人机采集真实环境下的绝缘子各类故障高清晰度混合照片，构建绝缘子数据集，利用GAN生成式对抗网络来对绝缘子数据集中的图像进行预处理，把缺陷绝缘子图像与各种复杂背景融合，扩充缺陷绝缘子数据集，然后将绝缘子图像数据集送进改进的YOLOv3级联网络结构中进行训练。
优选地，所述绝缘子检测网模块为具有侧向连接的自上而下的网络结构，用来构建不同尺寸的具有高级语义信息的特征图。
优选地，所述IoU预测分支将预测的IoU乘以分类概率和客观评分来计算最终的检测置信度，置信度与定位精度的相关性更大，然后将最终的检测置信度用作后续NMS的输入。
优选地，获得输电线路绝缘子视频图像后，得到输电线路绝缘子精确定位框图，随后对该输电线路绝缘子精确定位框图进行剪裁获得绝缘子有效剪裁框图，将绝缘子有效剪裁框图输入所述改进的YOLOv3级联网络结构。
本发明提供了一种基于5G传输和改进YOLOv3的输电线路绝缘子故障检测方法，该方法采用基于5G网络传输和改进YOLOv3的无人机图像自主检测绝缘子缺陷方法，充分发挥5G网络与YOLOv3检测网络各自的优势，解决传统算法对小故障检测精度低和输电线路巡线区域视频数据传输过程中信号保真度不足、传输延时高的问题，精确定位从实际检测环境采集的输入图像中出现的绝缘子缺陷。
与现有技术相比，本发明的有益效果是：充分发挥5G网络与YOLOv3网络各自的优势，能够提高无人机巡检识别处理速度和识别效率，实现电力巡检智能化，减少电力巡检人员工作量，更好发挥无人机电力巡检优势。
附图说明
图1为基于改进YOLOv3的输电线路绝缘子故障检测方法流程图；
图2为改进YOLOv3网络结构；
图3为基于5G技术的无人机视频传输方案结构图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
如图1所示，为改进YOLOv3的输电线路绝缘子故障检测方法流程图，利用无人机采集真实环境下的绝缘子各类故障高清晰度混合照片，构建绝缘子数据集，由于缺陷绝缘子数据集稀缺，利用GAN生成式对抗网络来对图像进行预处理，把缺陷绝缘子图像与各种复杂背景融合，扩充缺陷绝缘子数据集，然后将所述的绝缘子图像数据集送进改进型YOLOv3检测网络模型中进行训练，得到模型权重后，将其应用于实际输电线路绝缘子检测，得到绝缘子精确定位框图后，将其有效裁剪，在保留图像主要特征的同时减少图像参数，提高检测速度。并再次送入改进YOLOv3检测网络中，得到绝缘子故障分类，地面控制中心自动抓取当前实际检测环境中故障绝缘子的空间坐标并通知巡检人员解除故障。
图1中，检测模块一是对YOLOv3网络结构增加一种置信度机制，能够更好地对待巡线区域中绝缘子进行定位。而检测模块二是对定位出来的绝缘子图像裁剪后进行故障分类，极大地减少了图像中的冗余信息，能够加快检测速度。
受残差网络ResNet和特征金字塔方法的启发，本方法拟提出一种基于5G传输和改进YOLOv3的输电线路绝缘子故障检测方法。本方法使用的主干网络不同于初始YOLOv3中所选取的DarkNet-53，而是选取了更为广泛更好优化的ResNet-50代替。引入InsulatorDetection Network(IDN)模块来构建不同尺度的特征金字塔和IoU预测分支来衡量定位精度。
现在的很多网络都使用了利用单个高层特征，比如说Faster R-CNN利用下采样四倍的卷积层-Conv4，进行后续的物体的分类和bounding box的回归，但是小物体本身具有的像素信息本来较少，在下采样的过程中极易被丢失，为了处理这种物体大小差异带来的多尺度变化问题，引入了一种具有侧向连接的自上而下的网络结构，用来构建不同尺寸的具有高级语义信息的特征图，IDN模块如图2所示，这种网络结构是以特征金字塔为基础结构上，对每一层级的特征图分别进行预测，能在增加较少计算量的前提下，可以在上采样的过程中最大程度地保留特征图的语义信息，融合低分辨率语义信息较强的特征图和高分辨率语义信息较弱但空间信息丰富的特征图，从而得到既有良好空间信息又有较强的语义信息的特征图。
边界框回归是目标检测的关键步骤。在YOLOv3中，边界框回归采用L1损失函数。模型需要输出目标分类分数和与其对应的目标定位的包围框，在以往的模型中，经常使用分类分数作为目标定位准不准的置信度，并基于此对大量候选目标包围框NMS，现在越来越多的工作发现，分类分数高并不能保证定位精度高。与YOLOv4不同，没有直接用IoU Loss代替L1 Loss，而是增加一个分支来计算IoU Loss。IoU预测分支如图2所示，通过预测目标候选包围框与真实目标标注的IoU，并基于此分类分数的乘积作为检测置信度，用于NMS计算。在训练过程中，采用IoU感知损失来训练IoU预测分支；在测试时，将预测的IoU乘以分类概率和客观评分来计算最终的检测置信度，置信度与定位精度的相关性更大，然后将最终的检测置信度用作后续NMS的输入。通过引入IoU预测分支可以大幅提高绝缘子故障的定位精度。
目前5G作为新一代移动通信技术，以全新的网络架构，提供10Gbit/s以上的带宽、毫秒级时延、超高密度连接，实现网络性能新的跃升。本方法从科学问题角度出发大胆假设、严谨验证，创新性地提出在偏远地区时，利用多无人机搭载的5G基站构建成5G核心网，如图3所示，无人机通过搭载的高清摄像头采集巡线视频数据，并通过5G终端模组将采集的视频数据实时传输至地面控制中心，并为后续图像检测与故障定位提供有效的视频数据。5G网络的大带宽、低时延、高可靠等特点能够有效满足无人机高清视频数据传输与远程实时控制的需求。

Claims (5)

1.一种基于5G传输和YOLOv3的无人机输电线路绝缘子故障检测方法，其特征在于，包括以下步骤：
利用无人机携带图像采集设备获取高清晰度的输电线路绝缘子视频图像，采用5G无人机基站技术将输电线路绝缘子视频图像数据传输至控制中心，控制中心将接收到的输电线路绝缘子视频图像输入改进的YOLOv3级联网络结构，由改进的YOLOv3级联网络结构对输电线路绝缘子进行检测，对输出输电线路绝缘子是否存在故障进行判断，其中：
改进的YOLOv3级联网络结构包括ResNet-50，输电线路绝缘子视频图像输入ResNet-50进行处理，由绝缘子检测网模块利用ResNet-50的输出来构建不同尺度的特征金字塔，不同尺度的特征金字塔再输入IoU预测分支，IoU预测分支通过预测目标候选包围框与真实目标标注的IoU，并基于此分类分数的乘积作为检测置信度，用于NMS计算。
2.如权利要求1所述的一种基于5G传输和YOLOv3的无人机输电线路绝缘子故障检测方法，其特征在于，对所述改进的YOLOv3级联网络结构进行训练时，由无人机采集真实环境下的绝缘子各类故障高清晰度混合照片，构建绝缘子数据集，利用GAN生成式对抗网络来对绝缘子数据集中的图像进行预处理，把缺陷绝缘子图像与各种复杂背景融合，扩充缺陷绝缘子数据集，然后将绝缘子图像数据集送进改进的YOLOv3级联网络结构中进行训练。
3.如权利要求1所述的一种基于5G传输和YOLOv3的无人机输电线路绝缘子故障检测方法，其特征在于，所述绝缘子检测网模块为具有侧向连接的自上而下的网络结构，用来构建不同尺寸的具有高级语义信息的特征图。
4.如权利要求1所述的一种基于5G传输和YOLOv3的无人机输电线路绝缘子故障检测方法，其特征在于，所述IoU预测分支将预测的IoU乘以分类概率和客观评分来计算最终的检测置信度，置信度与定位精度的相关性更大，然后将最终的检测置信度用作后续NMS的输入。
5.如权利要求1所述的一种基于5G传输和YOLOv3的无人机输电线路绝缘子故障检测方法，其特征在于，获得输电线路绝缘子视频图像后，得到输电线路绝缘子精确定位框图，随后对该输电线路绝缘子精确定位框图进行剪裁获得绝缘子有效剪裁框图，将绝缘子有效剪裁框图输入所述改进的YOLOv3级联网络结构。
CN202110002537.1A 2021-01-04 2021-01-04 基于5G传输和YOLOv3的无人机输电线路绝缘子故障检测方法 Pending CN112614130A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110002537.1A CN112614130A (zh) 2021-01-04 2021-01-04 基于5G传输和YOLOv3的无人机输电线路绝缘子故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110002537.1A CN112614130A (zh) 2021-01-04 2021-01-04 基于5G传输和YOLOv3的无人机输电线路绝缘子故障检测方法

Publications (1)

Publication Number Publication Date
CN112614130A true CN112614130A (zh) 2021-04-06

Family

ID=75253375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110002537.1A Pending CN112614130A (zh) 2021-01-04 2021-01-04 基于5G传输和YOLOv3的无人机输电线路绝缘子故障检测方法

Country Status (1)

Country Link
CN (1) CN112614130A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192071A (zh) * 2021-06-29 2021-07-30 南方电网数字电网研究院有限公司 绝缘子绑扎线缺失识别方法、装置和计算机设备
CN113297996A (zh) * 2021-05-31 2021-08-24 贵州电网有限责任公司 一种基于YoloV3的无人机航拍绝缘子目标检测方法
CN113536938A (zh) * 2021-06-18 2021-10-22 云南电网有限责任公司 一种融合5g的输电线路山火智能预警方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033453A (zh) * 2019-04-18 2019-07-19 国网山西省电力公司电力科学研究院 基于改进YOLOv3的输变电线路绝缘子航拍图像故障检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033453A (zh) * 2019-04-18 2019-07-19 国网山西省电力公司电力科学研究院 基于改进YOLOv3的输变电线路绝缘子航拍图像故障检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIANG LONG ET AL.: "PP-YOLO: An Effective and Efficient Implementation of Object Detector", 《ARXIV:2007.12099V3》 *
唐小煜等: "基于U－net和YOLOv4的绝缘子图像分割与缺陷检测", 《华南师范大学学报(自然科学版)》 *
王海文等: "一种基于生成式对抗网络的图像数据扩充方法", 《计算机技术与发展》 *
赵宏大等: "5G通信技术在泛在电力物联网的应用", 《南方电网技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297996A (zh) * 2021-05-31 2021-08-24 贵州电网有限责任公司 一种基于YoloV3的无人机航拍绝缘子目标检测方法
CN113536938A (zh) * 2021-06-18 2021-10-22 云南电网有限责任公司 一种融合5g的输电线路山火智能预警方法及***
CN113192071A (zh) * 2021-06-29 2021-07-30 南方电网数字电网研究院有限公司 绝缘子绑扎线缺失识别方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN112614130A (zh) 基于5G传输和YOLOv3的无人机输电线路绝缘子故障检测方法
CN111431986B (zh) 基于5g和ai云边协同的工业智能质检***
CN110033453A (zh) 基于改进YOLOv3的输变电线路绝缘子航拍图像故障检测方法
WO2023216721A1 (zh) 一种混凝土大坝缺陷时序图像智能识别方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及***
CN113205039B (zh) 基于多dcnn网络的电力设备故障图像识别勘灾***及方法
CN112784718A (zh) 一种基于边缘计算与深度学习的绝缘子状态识别方法
CN113589837A (zh) 一种基于边缘云的电力实时巡检方法
CN116883801A (zh) 基于注意力机制与多尺度特征融合的YOLOv8目标检测方法
CN113252701B (zh) 基于云边协同的输电线路绝缘子自爆缺陷检测***及方法
CN113099242B (zh) 一种输电线路视频监测数据处理方法及***
CN114863118A (zh) 一种基于输电线路外部隐患自学习识别***、方法
CN116866512A (zh) 一种光伏电站巡检***及其运行方法
CN115082813A (zh) 检测方法、无人机、检测***及介质
CN114119528A (zh) 一种配电线路绝缘子的缺陷检测方法及装置
CN112734732A (zh) 基于改进ssd算法的铁路隧道漏缆卡具检测方法
CN115457411B (zh) 航油管线无人化巡视方法、装置和航油安全运维***
CN115765848A (zh) 一种5g网络信号强度检测***及使用方法
CN115147591A (zh) 一种变电设备红外图像电压致热型缺陷诊断方法及***
Sheng et al. A YOLOX-Based Detection Method of Triple-Cascade Feature Level Fusion for Power System External Defects
CN116909320B (zh) 一种基于蚁群算法的电力协同巡检策略分析方法
CN118212185A (zh) 基于yolo v8模型的光伏板异常检测方法
CN117291872A (zh) 一种无人机线路巡视缺陷内容识别***及方法
CN118196654A (zh) 一种用于无人机电力线巡检的视频帧优选方法及装置
Peng et al. Deep learning transmission line defect recognition based on improved Yolov5

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210406

WD01 Invention patent application deemed withdrawn after publication