CN113989209A - 基于Faster R-CNN的电力线异物检测方法 - Google Patents

基于Faster R-CNN的电力线异物检测方法 Download PDF

Info

Publication number
CN113989209A
CN113989209A CN202111228906.5A CN202111228906A CN113989209A CN 113989209 A CN113989209 A CN 113989209A CN 202111228906 A CN202111228906 A CN 202111228906A CN 113989209 A CN113989209 A CN 113989209A
Authority
CN
China
Prior art keywords
cnn
image
power line
faster
anchor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111228906.5A
Other languages
English (en)
Inventor
饶佳豪
田猛
王少飞
郑涵
姚鸿泰
李博文
龚立
王先培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202111228906.5A priority Critical patent/CN113989209A/zh
Publication of CN113989209A publication Critical patent/CN113989209A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉电网应用技术，具体涉及基于Faster R‑CNN的电力线异物检测方法，包括训练模式和诊断模式；训练模式通过训练数据集中的图片，返回迭代损失，得到一个稳定可用的模型；诊断模式通过输入待测试图像，得到电力线上面是否存在风筝异物以及风筝异物位置的诊断结果。可以有效利用无人机航拍图像，提高图片的利用率；成本低廉，只需要在现有的***中增加基于aster R‑CNN算法的电力线风筝异物检测模块，不需要增加其他硬件；训练好的模型对于不同背景环境下的电力线风筝异物都有良好的预测效果。

Description

基于Faster R-CNN的电力线异物检测方法
技术领域
本发明属于计算机视觉电网应用技术领域，特别涉及基于Faster R-CNN的电力线异物检测方法。
背景技术
随着交流输电电力线路行业规模的发展不断扩大，对输电线路的维护所耗费的人力资源和财物资源也不断的增加。许多输电线路都架设在检测人员不易到达的地方，并且在自然环境中的输电线路，非常容易受到“异物”的损害，如悬挂在电力线上的塑料袋、风筝、鸟窝等，倘若不能很快的发现这些“异物”，将有可能造成电力事故，影响到居民的生活用电和工业用电。
目前对于输电线路的巡视检查方法，主要是工作人员顺着电力线的方向逐步检视。但是现在所架设的输电网络跨度大，且所在的地势崎岖，会给工作人员的巡检工作带来极大的困难和危险。无人机巡检的出现使得巡检工作能在安全、不受地理条件、天气条件影响下进行。智能无人机巡检相较于人工巡检以及直升机巡检，优势为：①安全：可以免于将工作人员暴露在不良的巡检条件下，并且也降低了工作人员直接接触高压电路巡检的触电危险。②效率高：直接避免了人工巡检电路的效率低下的问题并大大降低了巡检时间。③便宜：直接减少了人力以及财力的投入，减少开销。④精确度高：由人力直接巡检时，可能会因为人眼大量使用而导致注意力下降，判断力不足，从而降低判断的精确度，而智能无人机巡检可以实时采集巡检图像并进行故障的判断，极大地提高了精确性和客观性。
现阶段大部分无人机采集图像的处理采用YOLO系列算法。YOLO系列是一种一阶段的目标检测算法，对于输入的图像，在回归思想的影响下，利用一个深度卷积神经网络便可以得到所需检测目标的位置以及种类信息。这种算法因为只有一阶段，所以检测速度很高，在各种需要实时检测的环境中经常得到应用。现在的YOLO系列算法中主要是YOLOv3以及YOLOv4。
YOLO算法的背景误检率低，通用性强，但是对比于R-CNN系列算法，YOLO对于物体的识别位置精准度较小且召回率低，但是此次对于电力线上的异物检测，首先我们需要对电力线上存在的异物种类进行检测，并能精确的标注出电力线上异物所在的位置，而YOLO系列算法并不能满足此类要求；同时，YOLO系列算法对于深度学习时所用的训练集大小有着一定的要求，目前无人机对电力线巡检时获得的图片非常的少，同时在电力线上有异物或者电力线断股等电力线异常状态出现的情况也十分少，此时使用对训练集大小有着比较苛刻要求的YOLO系列算法就会存在着训练效果不好、检测目标的效果也不好的情况。
首先选择CNN系列技术，但发现CNN对GPU的负荷太大，于是对图像进行Sobel算子边缘提取、Hough变换直线检测等预处理技术，使得漏检率大大降低，并且减轻了对GPU的消耗，同时改进的Epoch和学习率大小使得检测效率更高。
发明内容
针对背景技术存在的问题，本发明提供一种基于Faster R-CNN算法的电力线风筝异物检测方法，能够在复杂背景的图像中定位识别电力线并判断是否存在风筝等异物。
为解决上述技术问题，本发明采用如下技术方案：基于Faster R-CNN的电力线异物检测方法，包括训练模式和诊断模式；包括以下步骤：
步骤1、对巡检图像进行图像预处理，包括图像灰度化、图像灰度均衡化、对图像进行高斯滤波，去除在图像采集时出现的高斯噪声；
步骤2、对预处理后的图像利用Sobel算子进行边缘提取、然后对提取的边缘二值图像进行膨胀填充处理或腐蚀处理，利用Hough变换进行直线检测；
步骤3、设置不同的学习率，将标记好的图片放入Faster R-CNN网络进行训练，得到Faster R-CNN网络的电力线异物检测模型；
步骤4、比较不同学习率得到的训练模型的各项指标，选择合适的学习率；
步骤5、将待检测的航拍图像输入训练好的检测模型，Faster R-CNN网络通过计算返回风筝异物位置方框，完成诊断。
在上述基于Faster R-CNN的电力线异物检测方法中，Faster R-CNN网络模块具体实现的步骤包括：
1)、将航拍的图像输入Faster R-CNN网络；
2)、计算Faster R-CNN网络的实际输出，得到目标预测框的信息；
3)、计算目标预测框与目标真实框之间的数值差异；
4)、若两者差异超过阈值则调整Faster R-CNN网络参数设置；
5)、训练完成，获得电力线异物检测信息。
在上述基于Faster R-CNN的电力线异物检测方法中，Faster R-CNN网络中RPN网络的核心anchor机制的实现包括：
RPN网络中，原图中相应的映射区域与feature map中的每一个点对应，同时在原图中，以该区域的中心为锚点anchor，分别取三种尺寸27*27、28*28和29*29和三种长宽比例1：1、1：2、2：1的9种区域作为锚点框，共有W X H X 9的锚点框在Faster R-CNN中，其中W、H分别对应着feature map中的长和宽；在feature map中的每一个锚点anchor均为28维，将每个锚点anchor输入到RPN网络中，分别得到2k和4k两组数据；其中，k取9，代表每个锚点anchor框数目；2代表锚点anchor框属于前景和背景的两个数据，用来粗分类目标；4代表四个参数坐标回归值，用于粗定位Proposal框；对于每一个锚点anchor，均输出一个长度为2k+4k的向量，向量表示该锚点anchor对应的k个候选区域是前景还是后景的判断并能够获得位置的信息；RPB网络获得的结果经过ROIPooling层之后，在feature map上获得Proposal框所对应的特征图，最后再将结果带入到之后的网络之中，进行目标的类别判定和所在位置的细致回归。
与现有技术相比，本发明的有益效果：①可以有效利用无人机航拍图像，提高图片的利用率；②成本低廉，只需要在现有的***中增加一种基于Faster R-CNN算法的电力线异物检测模块，不需要增加其他硬件；③训练好的模型对于不同背景环境下的电力线都有良好的预测效果。④采用了高斯滤波，Sobel算子边缘提取，Hough变换直线检测，使得漏检率降低。⑤通过改变学习率和Epoch大小使得样本异物检测更为精确。
附图说明
图1为本发明一个实施例基于Faster R-CNN的电力线异物检测流程图；
图2为本发明一个实施例Faster R-CNN结构图。
具体实施方式
下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合具体实施例对本发明作进一步说明，但不作为本发明的限定。
本实施例基于Faster R-CNN的电力线异物检测方法，包括训练模式和诊断模式；训练模式通过训练数据集中的图片，返回迭代损失，得到一个稳定可用的模型；诊断模式通过输入待测试图像，得到电力线上面是否存在风筝异物以及风筝异物位置的诊断结果。首先采用图像灰度化、图像灰度均衡化、高斯滤波等技术去除高斯噪声。为了减少深度学习Faster RCNN对GPU的负荷，采用Sobel算子进行边缘提取，然后对提取的边缘二值图像进行膨胀填充处理，部分图像可能也会用到腐蚀处理，最后利用Hough变换进行直线检测。可以有效地提取出背景一般复杂图像中的电力线，并降低输电线的漏检率。通过改变学习率大小和每个Epoch大小来获得输电线路异物检测的最佳效果。
本实施例通过以下技术方案来实现，一种基于Faster R-CNN算法的电力线异物检测方法，包括以下步骤：
步骤S1，首先需要对巡检图像进行图像预处理，包括图像灰度化、图像灰度均衡化、对图像进行高斯滤波，去除在图像采集时可能出现的高斯噪声，这样处理过后的图像的边缘信息更易于提取且干扰更小。
步骤S2，对增强后的图像利用Sobel算子进行边缘提取、然后对提取的边缘二值图像进行膨胀填充处理，部分图像可能也会用到腐蚀处理，最后利用Hough变换进行直线检测。此方法可以有效地提取出背景一般复杂的图像中的电力线，并降低输电线的漏检率。
步骤S3，使用Faster R-CNN算法，输入训练数据集，训练模型，并使用不同的学习率进行实验。
步骤S4，比较不同学习率得到的训练模型的各项指标，选择最为合适的学习率。
步骤S5，将待检测的航拍图像输入训练好的模型，网络通过计算返回电力线风筝异物位置方框，完成诊断。
具体实施时，基于Faster R-CNN算法的电力线异物检测方法的输入为无人机航拍的包含电力线的图像，包括训练模式和诊断模式两个部分，如图1所示。
1)首先需要对巡检图像进行图像预处理，包括图像灰度化、图像灰度均衡化、对图像进行高斯滤波，对增强后的图像利用Sobel算子进行边缘提取、然后对提取的边缘二值图像进行膨胀填充处理，部分图像可能也会用到腐蚀处理，最后利用Hough变换进行直线检测。
2)设置不同的学习率，将标记好的图片放入Faster R-CNN算法进行训练，得到Faster R-CNN算法的电力线异物检测模型。
3)计量训练之后模型的各项指标，重复步骤2)，进行不同学习率的五次实验。
4)比较不同学习率得到的训练模型的各项指标，选择最为合适的学习率。
5)将待检测的航拍图像输入训练好的模型，网络通过计算返回风筝异物位置方框完成诊断。
Faster R-CNN网络模块具体实现的步骤包括：
a.将航拍绝缘子串图像输入Faster R-CNN网络；
b.计算网络的实际输出，得到目标预测框的信息；
c.计算目标预测框与目标真实框之间的数值差异；
d.若两者差异超过阈值则调整网络参数设置；
e.训练完成，获得电力线异物检测信息。
采用Faster R-CNN算法时，上述过程的具体实现方式如图2所示，其中重要的是RPN网络。
RPN网络中最重要的核心便是anchor机制。
在RPN网络中，原图中都有着相应的映射区域与feature map中的每一个点对应，同时在原图中，以该区域的中心为锚点(anchor)，分别取27*27、28*28和29*29三种尺寸和1：1、1：2、2：1三种长宽比例共9种区域作为锚点框，所以总共有W X H X 9的锚点框在FasterR-CNN中，其中W、H分别对应着feature map中的长和宽。在feature map中的每一个anchor点均为28维，将每一个锚点输入到RPN网络中，分别得到2k和4k两组数据。其中，k取9，代表每个锚点的anchor框数目；2代表此anchor框属于前景和背景的两个数据，可以用来粗分类目标；4代表四个参数坐标回归值，用于粗定位Proposal框。对于每一个锚点，都将输出一个长度为2k+4k的向量，而这个向量表示着此锚点对应的k个候选区域对于是前景还是后景的判断，并能够获得位置的大概信息。由RPB网络获得的结果经过ROIPooling层之后，就可以在feature map上获得Proposal框所对应的特征图，最后再将结果带入到之后的网络之中，进行目标的类别判定和所在位置的细致回归，最后的这个过程Fast R-CNN相同。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (3)

1.基于Faster R-CNN的电力线异物检测方法，包括训练模式和诊断模式；其特征在于：包括以下步骤：
步骤1、对巡检图像进行图像预处理，包括图像灰度化、图像灰度均衡化、对图像进行高斯滤波，去除在图像采集时出现的高斯噪声；
步骤2、对预处理后的图像利用Sobel算子进行边缘提取、然后对提取的边缘二值图像进行膨胀填充处理或腐蚀处理，利用Hough变换进行直线检测；
步骤3、设置不同的学习率，将标记好的图片放入Faster R-CNN网络进行训练，得到Faster R-CNN网络的电力线异物检测模型；
步骤4、比较不同学习率得到的训练模型的各项指标，选择合适的学习率；
步骤5、将待检测的航拍图像输入训练好的检测模型，Faster R-CNN网络通过计算返回风筝异物位置方框，完成诊断。
2.根据权利要求1所述基于Faster R-CNN的电力线异物检测方法，其特征在于：FasterR-CNN网络模块具体实现的步骤包括：
1)、将航拍的图像输入Faster R-CNN网络；
2)、计算Faster R-CNN网络的实际输出，得到目标预测框的信息；
3)、计算目标预测框与目标真实框之间的数值差异；
4)、若两者差异超过阈值则调整Faster R-CNN网络参数设置；
5)、训练完成，获得电力线异物检测信息。
3.根据权利要求2所述基于Faster R-CNN的电力线异物检测方法，其特征在于：FasterR-CNN网络中RPN网络的核心anchor机制的实现包括：
RPN网络中，原图中相应的映射区域与feature map中的每一个点对应，同时在原图中，以该区域的中心为锚点anchor，分别取三种尺寸27*27、28*28和29*29和三种长宽比例1∶1、1∶2、2∶1的9种区域作为锚点框，共有WXHX9的锚点框在Faster R-CNN中，其中W、H分别对应着feature map中的长和宽；在feature map中的每一个锚点anchor均为28维，将每个锚点anchor输入到RPN网络中，分别得到2k和4k两组数据；其中，k取9，代表每个锚点anchor框数目；2代表锚点anchor框属于前景和背景的两个数据，用来粗分类目标；4代表四个参数坐标回归值，用于粗定位Proposal框；对于每一个锚点anchor，均输出一个长度为2k+4k的向量，向量表示该锚点anchor对应的k个候选区域是前景还是后景的判断并能够获得位置的信息；RPB网络获得的结果经过ROIPooling层之后，在feature map上获得Proposal框所对应的特征图，最后再将结果带入到之后的网络之中，进行目标的类别判定和所在位置的细致回归。
CN202111228906.5A 2021-10-21 2021-10-21 基于Faster R-CNN的电力线异物检测方法 Pending CN113989209A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111228906.5A CN113989209A (zh) 2021-10-21 2021-10-21 基于Faster R-CNN的电力线异物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111228906.5A CN113989209A (zh) 2021-10-21 2021-10-21 基于Faster R-CNN的电力线异物检测方法

Publications (1)

Publication Number Publication Date
CN113989209A true CN113989209A (zh) 2022-01-28

Family

ID=79740087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111228906.5A Pending CN113989209A (zh) 2021-10-21 2021-10-21 基于Faster R-CNN的电力线异物检测方法

Country Status (1)

Country Link
CN (1) CN113989209A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926667A (zh) * 2022-07-20 2022-08-19 安徽炬视科技有限公司 基于云边端协同的图像识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926667A (zh) * 2022-07-20 2022-08-19 安徽炬视科技有限公司 基于云边端协同的图像识别方法
CN114926667B (zh) * 2022-07-20 2022-11-08 安徽炬视科技有限公司 基于云边端协同的图像识别方法

Similar Documents

Publication Publication Date Title
CN111091544B (zh) 铁路货车转向架侧面一体架构断裂故障检测方法
CN106056619A (zh) 基于梯度约束Radon变换的无人机视觉电线巡检方法
CN111539355A (zh) 一种基于深层神经网络的光伏板异物检测***及检测方法
CN110910440B (zh) 一种基于电力影像数据的输电线路长度确定方法和***
CN110530876B (zh) 基于长短期记忆神经网络的绝缘子污秽度发展预测方法
CN108734691A (zh) 一种输电线路缺陷图像识别方法
CN113947555A (zh) 基于深度神经网络的红外与可见光融合的视觉***及方法
CN113205039A (zh) 基于多dcnn网络的电力设备故障图像识别勘灾***及方法
Wang et al. Insulator defect recognition based on faster R-CNN
CN111667473A (zh) 基于改进Canny算法的绝缘子憎水性等级判断方法
CN113989209A (zh) 基于Faster R-CNN的电力线异物检测方法
CN110246131A (zh) 基于卷积神经网络的导线分股缺陷图像识别方法
CN116485802B (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质
CN109389152B (zh) 一种输电线路垂坠物的精细化识别方法
CN111415326A (zh) 一种用于铁路接触网螺栓异常状态的检测方法及***
CN116309407A (zh) 一种铁路接触网螺栓异常状态的检测方法
CN116071299A (zh) 一种绝缘子rtv喷涂缺陷检测方法及***
Yang et al. An intelligent identification algorithm for obtaining the state of power equipment in SIFT-based environments
CN114037840A (zh) 一种基于多特征融合的输电线路视物提取方法及***
CN111930982A (zh) 一种电网图像智能标签方法
Wang et al. Research on appearance defect detection of power equipment based on improved faster-rcnn
Wu et al. Detection method based on improved faster R-CNN for pin defect in transmission lines
CN117274903B (zh) 基于智能ai芯片的电力巡检智能预警设备及其方法
Li et al. Study on intelligent image recognition of non-linear short pointer SF6 meter readings
Liu et al. End-to-end high-speed railway dropper breakage and slack monitoring based on computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination