CN111402248A - 一种基于机器视觉的输电线路导线缺陷检测方法 - Google Patents

一种基于机器视觉的输电线路导线缺陷检测方法 Download PDF

Info

Publication number
CN111402248A
CN111402248A CN202010207255.0A CN202010207255A CN111402248A CN 111402248 A CN111402248 A CN 111402248A CN 202010207255 A CN202010207255 A CN 202010207255A CN 111402248 A CN111402248 A CN 111402248A
Authority
CN
China
Prior art keywords
network
image
lead
classification
rectangular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010207255.0A
Other languages
English (en)
Other versions
CN111402248B (zh
Inventor
杜启亮
黎春翔
田联房
邝东海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Original Assignee
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Zhuhai Institute of Modern Industrial Innovation of South China University of Technology filed Critical South China University of Technology SCUT
Priority to CN202010207255.0A priority Critical patent/CN111402248B/zh
Publication of CN111402248A publication Critical patent/CN111402248A/zh
Application granted granted Critical
Publication of CN111402248B publication Critical patent/CN111402248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的输电线路导线缺陷检测方法，包括：获取现场图像数据，制作训练数据集；构建和训练实例分割网络，获得预测模型；模型推导输入图片，获得导线的矩形区域图像、二值化掩膜图像；采用骨架算法提取导线骨架，并计算导线平均宽度，重构二值化掩膜图像；采用同态滤波算法消除矩形区域图像的光照不均影响，并结合重构的二值化掩膜图像提取分割后的导线区域图像；在导线区域上生成大量矩形框进行筛选；制作分类训练数据集，构建并训练浅层的分类网络，获得分类预测模型；导线段区域图片输入到分类预测模型，统计导线段状态的缺陷类型和缺陷比例。本发明能够精准分割导线并分段检测导线的状态，判断导线缺陷类型及缺陷程度。

Description

一种基于机器视觉的输电线路导线缺陷检测方法
技术领域
本发明涉及输电线路导线缺陷检测的技术领域，尤其是指一种基于机器视觉的输电线路导线缺陷检测方法。
背景技术
输电线路导线的安全关系到电力能否正常输送，导线相当于是电网***的血脉，用于传输、分配电力。但是在室外场景下，导线容易受到侵蚀、外力破坏的影响而出现腐蚀、磨损、导线断股等缺陷，这会对输电线路的正常运行造成极大的隐患。当前一些对于导线检测的方法主要是基于Hough变换以及形态类图像处理方法，一方面在室外场景下对多变的拍摄角度以及场景难以具有适普性，另一方面对于非直线的导线不具备分割和检测能力。
本方法旨在发明一种基于机器视觉的导线缺陷检测方法，该方法采用深度学习网络对无人机拍摄的室外输电线路场景图片进行分割，粗略定位导线的区域以及二值化掩膜，并对导线区域进行分段裁剪，通过浅层卷积神经网络对每段进行状态识别。从而实现在复杂、多变的场景下对导线进行有效地分割、精确地分段检测。
综合以上论述，发明一种基于机器视觉的导线缺陷检测方法具有较高的实际应用价值。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于机器视觉的输电线路导线缺陷检测方法，能够精准分割导线并分段检测导线的状态，判断导线的缺陷类型以及缺陷程度。
为实现上述目的，本发明所提供的技术方案为：一种基于机器视觉的输电线路导线缺陷检测方法，包括以下步骤：
1)获取现场图像数据，制作训练数据集；
2)构建和训练实例分割网络，获得预测模型；
3)模型推导输入图片，获得导线的矩形区域图像、二值化掩膜图像；
4)采用骨架算法提取导线骨架，得到导线的二值化骨架图，并计算导线平均宽度，重构导线区域的二值化掩膜图像；
5)采用同态滤波算法消除矩形区域图像的光照不均影响，并结合重构的二值化掩膜图像提取分割后的导线区域图像；
6)在导线区域上生成大量矩形框，并进行筛选，剔除重叠度高的矩形框；
7)裁剪矩形框并进行缩放处理，制作分类训练数据集，构建并训练浅层的分类网络，获得分类预测模型；
8)将测试数据获得的导线段区域图片输入到分类预测模型中获取导线段状态，统计导线段状态的缺陷类型和缺陷比例。
在步骤1)中，通过无人机对输电线路进行航线巡检，采集输电线路上的图像，并通过网络传输到远程的服务器端；其中，将获取的现场数据按7:3的比例划分为训练数据和测试数据，采用Labelme软件对训练数据进行导线点集标注，构建导线实例分割任务的训练数据集。
在步骤2)中，采用多任务的Mask R-CNN网络进行导线分割，采用pytorch构建MaskR-CNN网络，并对网络进行训练，获得预测模型；其中，该Mask R-CNN网络主要由基网络、区域建议网络RPN、RoIAlign模块、分类分支、坐标回归分支以及Mask分支组成；该Mask R-CNN网络推导包括以下步骤：
2.1)输入图像先通过基网络提取特征，获得不同尺度的特征图；
2.2)RPN进行区域建议，其在特征图上每个点生成不同尺度的矩形框，并通过网络进行粗分类和粗定位，基于置信度和非极大抑制思想筛除大量矩形框，将剩余矩形框送入后续网络中；
2.3)将不同大小和尺度的矩形框所在的特征图区域通过RoIAlign模块输出得到固定尺寸的特征图，RoIAlign先将矩形框分割成固定个数个单元，每个单元的边界不进行量化，在每个单元中计算固定四个坐标位置，然后采用双线性内插的方法计算这四个位置的值，并基于这四个位置的值进行最大池化操作；
2.4)将固定大小的特征图作为分类分支、坐标回归分支和Mask分支的输入；其中，分类分支是以热编码形式输出特征图类别，坐标回归分支为预测矩形框与真实目标区域的坐标、宽高偏差值，Mask分支输出以0、1值表述的目标的二值化掩膜图像；
在步骤3)中，将预测模型的权值写入网络中，输入测试图片进行前向计算，在网络输出端中，从分类分支得到导线的类别置信度，坐标回归分支获得导线的矩形框坐标，Mask分支获得导线的二值化掩膜图像，从而通过分割获得导线的矩形区域图像、二值化掩膜图像。
在步骤4)中，对导线的二值化掩膜图像采用Zhang-Zu骨架化算法进行骨架化处理，得到导线的二值化骨架图，统计二值化掩膜中1的个数以及骨架图中1的个数，计算导线的平均宽度，并基于该宽度进行适当调整，并且在二值化骨架图上，对每一点以导线平均宽度的一半作为半径画圆，得到宽度均匀的导线二值化掩膜图像。
在步骤5)中，采用同态滤波算法对导线矩形区域图像进行数据增强，即将像元灰度值看作是照度和反射度的组合，其中照度为图像的低频分量，反射度为图像的高频分量，通过在频域内分别处理照度和反射度对像元灰度值的影响，增强图像的暗区表现，降低光照不均对图像表现的影响。
在步骤6)中，在二值化骨架图中，对每个点生成一个边长为导线宽度的正方形矩形框，然后基于非极大抑制思想对矩形框进行筛选，筛选步骤如下：
6.1)先对所有矩形框，按其中心坐标的横坐标大小进行排序；
6.2)取第一个矩形框坐标，分别计算与剩余矩形框坐标的交并比大小，剔除与其交并比大于0.7的矩形框，仅保留与其交并比小于0.7的矩形框坐标，标记该矩形框为已遍历状态；
6.3)按顺序去下一个矩形框，若已被剔除则再顺延到下一个矩形框；
6.4)重复步骤6.2)、6.3)，直至所有矩形框坐标被遍历或是剔除，得到筛选之后重叠度小的矩形框坐标。
在步骤7)中，对步骤6)中所有矩形框坐标进行裁剪和缩放到32×32的固定大小，并按8:2比例划分训练数据集和测试数据集，将训练数据集进行分类，分为五个类：正常、背景、腐蚀、破损、断股，并采用pytorch构建一个浅层卷积神经网络作为分类网络，以交叉熵作为损失函数监督网络训练，将训练数据集输入分类网络中，获得分类预测模型。
在步骤8)中，将测试数据获得的导线段区域图片输入到预测分类模型中进行前向计算，在网络输出端获得每段导线区域的状态标签，并基于该状态标签统计整个导线的缺陷类型，即包含所有导线区域标签的类别集合，同时统计缺陷比例，即计算缺陷的矩形框数量占所有矩形框数量的比重。
本发明与现有技术相比，具有如下优点与有益效果：
1、采用深度学习实例分割算法对导线进行分割，提高了算法的鲁棒性，保证算法在杂、多变的场景下均具有较好的表现效果。
2、基于骨架化处理和导线宽度进行导线区域的重构，可以获得均匀分布的导线掩膜区域，该方法能够去除实例分割算法分割导线导致的掩膜不规则缺陷，保证了能够精准提取导线的区域。
3、采用同态滤波对局部图像进行数据增强，降低光照、阴影和成像对于导线段状态分类的影响，而局部图像数据增强降低了算法的处理时长，提升算法的实用性能。
4、采用浅层卷积神经网络对导线段进行状态分类，能够实现高精度的状态识别和缺陷定位，提升算法的精确度和鲁棒性。
附图说明
图1为本发明逻辑流程示意图。
图2为本发明的无人机采集的输电线路图像。
图3为Mask R-CNN的网络结构图。
图4为ResNet-50网络结构图。
图5为网络模块A所示。
图6为ID block结构图。
图7为conv block结构图。
图8为Mask预测分支网络结构图
图9为分割得到的导线的矩形区域图像。
图10为Mask分支输出的导线的二值化掩膜图像。
图11为导线骨架图。
图12为导线区域重构的二值化掩膜图像。
图13为矩形区域图像进行同态滤波数据增强之后的效果图。
图14为导线的分割效果图。
图15为导线区域上经筛选后的矩形框效果图。
图16为浅层卷积神经网络的网络结构图。
图17为最终导线检测效果图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示，本实施例所提供的基于机器视觉的输电线路导线缺陷检测方法，其具体情况如下：
步骤1：无人机对输电线路进行固定线路巡检，并在杆塔附近拍摄高压杆塔现场图像，如图2所示，并通过4G网络远距离传输到远程服务器端。
步骤2：将无人机采集的现场图像按7:3比例划分训练数据集和测试数据集，采用Labelme软件对训练数据集中的导线的边缘进行点集标注，获得对应图像的json格式的标签文件，标注文件包括图像中导线目标的矩形坐标数据、掩膜点集数据以及类别信息，并将图片和标签制作成训练数据集。
步骤3：采用pytorch库构建Mask R-CNN网络，Mask R-CNN网络结构如图3所示，主要由基网络ResNet-50、区域建议网络(RPN)和区域特征聚集模块(RoIAlign)、分类分支、坐标回归分支、Mask分支组成。图中，conv为传统卷积层，Softmax为用于分类输出层，FC为全连接层。整体网络其主要结构介绍如下：
基网络ResNet-50整体结构如图4所示，主要由ID block和conv block组成，IDblock和conv block主要由非线性激活函数ReLU和网络模块A组成，模块A如图5所示，IDblock如图6所示，conv block如图7所示。图中CONV2D为传统卷积层，BatchNorm为批归一化层，ReLU为非线性激活函数，MAXPOOL为最大池化层，AVGPOOL为平均池化层，FC为全连接层。
区域建议网络RPN由1个3×3、两个1×1卷积层和非线性函数Softmax构成，主要用于对基网络中最后特征图上生成的先验的矩形框进行粗分类和坐标回归，并基于分类置信度和矩形框的重叠度进行筛选，得到一定数量的潜在矩形框，用于后续处理。
RoIAlign主要是将矩形框所在的特征图进行池化得到固定大小的特征图。即将每个矩形框中的特征图先平均划分为14×14的单元格，对每个单元的边界不进行量化操作，然后在每个单元中计算固定四个坐标位置，双线性插值计算四个坐标的值，基于四个坐标的值进行最大池化操作。
预测输出分支包括分类分支、坐标回归分支和Mask分支。分类分支由3×3、1×1卷积层和输出层Softmax组成，输出矩形框中的目标类别以及置信度。坐标回归分支同样由3×3、1×1卷积层和输出层Softmax组成，输出矩形框与真实框之间的坐标、宽高偏差值。Mask分支用于预测目标的二值化掩膜，为一个全卷积的网络结构，同样采用ResNet-50网络结构，中间网络层的通道数channel均为256，其最后一层的通道数为类别数量，此处为2，结构示意图如图8所示。
输入图像先通过ResNet-50提取特征，RPN进行区域建议，获得大量潜在矩形框，然后每个矩形框所在特征图区域通过RoIAlign得到固定尺寸的特征图，将该特征图作为分类分支、坐标回归分支和Mask分支的输入，在Mask分支获得目标的二值化掩膜，在分类分支获得目标的类别结果，在坐标回归分支获得目标定位偏差值用于坐标校正。
步骤4：将实例分割训练数据集输入Mask R-CNN网络中，构建分类损失、坐标损失和掩膜损失之和的损失函数作为网络训练监督信号。设置超参数，Batch设置为4，初始学习率设置为0.001，采用Adam优化方法进行训练，当网络收敛时终止网络训练，获得实例分割预测模型。测试时，无人机采集的现场图像进行缩放处理，缩放到800×800大小，然后采用Mask R-CNN预测模型对缩放后的图像进行预测。在分类分支获得导线的置信度，在坐标回归分支获得目标定位偏差值用于坐标校正，通过分类和坐标回归分支的输出得到导线的矩形框的左上角和右下角的坐标。根据矩形框坐标将导线从现场图中裁剪出来，如图9所示。在Mask分支获得导线的二值化掩膜图，如图10所示。
步骤5：使用Opencv库中的skeleton函数调用Zhang-Suen骨架化算法对步骤4中获取的导线的二值化掩膜图进行骨架化处理，得到导线的二值化骨架图，如图11所示。统计二值化骨架图中像素值为1的个数作为导线长度，统计图10中二值化导线掩膜图中像素值为1的个数作为导线面积，将导线面积除以导线长度的商作为导线平均宽度值，并考虑误差情况下，将宽度值加上4作为最终宽度值。
步骤6：在二值化骨架图中，遍历所有像素值为1的点，对每个点处绘制一个值全为1，半径为最终宽度值的一半作圆，最后得到的二值化掩膜图像为重构之后的导线掩膜图，如图12所示，相对之前的分割所得的掩膜图宽度要更加均匀。
步骤7：对裁剪的导线的矩形区域图像进行同态滤波处理，设图像f(x,y)，其中x表示像素点的横坐标值，y表示像素点的纵坐标值，f(x,y)表示像素点的三色值。将f(x,y)表示为照射分量i(x,y)和反射分量r(x,y)的乘积。如式所示：
f(x,y)＝i(x,y)·r(x,y)
其中，0＜i(x,y)＜∞，0＜r(x,y)＜1。
对式两边取对数，并做傅里叶变化，得到线性组合的频率域，如下式所示：
ln f(x,y)＝ln i(x,y)+ln r(x,y)
FFT(ln f(x,y))＝FFT(ln i(x,y))+FFT(ln r(x,y))
式中，ln代表取对数操作，FFT代表傅里叶变换操作。
然后使用高斯高通滤波器对照射分量和反射分量进行调整，增强高频r(x,y)分量，加强对比度，同时衰减低频i(x,y)分量，降低动态范围。经过滤波之后再进行傅里叶反变换以及取反对数，最终得到变换之后的效果图，经同态滤波的效果图如图13所示。
步骤8：将同态滤波之后的矩形区域图像与重构的导线区域的二值化掩膜图像进行广播操作，得到分割后的导线区域图像，如图14所示。并在图11的二值化骨架图上每个像素值为1的点处生成一个边长为导线最终宽度值的正方形框，并得到其左上角和右下角坐标值。采用非极大抑制类似思想剔除重叠过大的矩形框。步骤如下：
8.1)先对所有正方形矩形框，按其中心坐标的横坐标值大小进行排序，得到排序后的一系列矩形框坐标值；
8.2)取第一个矩形框坐标，分别计算与剩余矩形框坐标的交并比大小，剔除与其交并比大于0.7的矩形框，仅保留与其交并比小于0.7的矩形框坐标。标记该矩形框为已遍历状态；
8.3)按顺序去下一个矩形框，若已被剔除则再顺延到下一个矩形框；
8.4)重复8.2)、8.3)步骤，直至所有矩形框坐标被遍历或是剔除，得到筛选之后重叠度较小的矩形框坐标。
筛选之后的矩形框效果图如图15所示。
步骤9：在步骤8中获取了被筛选后的矩形框坐标值，在图14的导线分割图中标记这些矩形框位置，并进行裁剪和缩放到固定尺寸32×32，得到导线每段的区域图像。并将所有导线段的区域图像先按比例8:2划分分类训练数据集和测试数据，然后划分类别，类别包括：正常、背景、腐蚀、破损和断股五类。并构建浅层卷积神经网络作为分类网络，以ResNet-18作为基网络进行特征提取，最后层为平均池化层、全连接层和softmax分类层，网络结构如图16所示。输入分类训练数据集，以交叉熵作为损失函数监督网络训练，设置超参数Batchsize为128，初始化权重为0.001，优化方法为Adam训练网络。得到分类预测模型。
步骤10：在测试导线输入时，先采用步骤8获得导线的分段图像，然后将每段输入进分类预测模型中进行状态识别，在网络输出端获取每段导线段图像的标签信息，并在分割图上将标签为异常的导线段区域标注出来，如图17所示。统计标签为正常和异常的图片数量，将异常的导线段图片数量除以总的矩形框数量作为缺陷比例。
综上所述，在采用以上方案，本发明为检测输电线路导线缺陷提供了新的方法，采用深度学习、传统图像处理算法实现了对导线的精确分割，并采用分段和分类思想实现对导线的分段状态检测，能够实现对导线缺陷的精准检测和定位，具有实际推广价值，值得推广。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (8)

1.一种基于机器视觉的输电线路导线缺陷检测方法，其特征在于，包括以下步骤：
1)获取现场图像数据，制作训练数据集；
2)构建和训练实例分割网络，获得预测模型；
3)模型推导输入图片，获得导线的矩形区域图像、二值化掩膜图像；
4)采用骨架算法提取导线骨架，得到导线的二值化骨架图，并计算导线平均宽度，重构导线区域的二值化掩膜图像；
5)采用同态滤波算法消除矩形区域图像的光照不均影响，并结合重构的二值化掩膜图像提取分割后的导线区域图像；
6)在导线区域上生成大量矩形框，并进行筛选，剔除重叠度高的矩形框；
7)裁剪矩形框并进行缩放处理，制作分类训练数据集，构建并训练浅层的分类网络，获得分类预测模型；
8)将测试数据获得的导线段区域图片输入到分类预测模型中获取导线段状态，统计导线段状态的缺陷类型和缺陷比例。
2.根据权利要求1所述的一种基于机器视觉的输电线路导线缺陷检测方法，其特征在于：在步骤1)中，通过无人机对输电线路进行航线巡检，采集输电线路上的图像，并通过网络传输到远程的服务器端；其中，将获取的现场数据按7:3的比例划分为训练数据和测试数据，采用Labelme软件对训练数据进行导线点集标注，构建导线实例分割任务的训练数据集。
3.根据权利要求1所述的一种基于机器视觉的输电线路导线缺陷检测方法，其特征在于：在步骤2)中，采用多任务的Mask R-CNN网络进行导线分割，采用pytorch构建Mask R-CNN网络，并对网络进行训练，获得预测模型；其中，该Mask R-CNN网络主要由基网络、区域建议网络RPN、RoIAlign模块、分类分支、坐标回归分支以及Mask分支组成；该Mask R-CNN网络推导包括以下步骤：
2.1)输入图像先通过基网络提取特征，获得不同尺度的特征图；
2.2)RPN进行区域建议，其在特征图上每个点生成不同尺度的矩形框，并通过网络进行粗分类和粗定位，基于置信度和非极大抑制思想筛除大量矩形框，将剩余矩形框送入后续网络中；
2.3)将不同大小和尺度的矩形框所在的特征图区域通过RoIAlign模块输出得到固定尺寸的特征图，RoIAlign先将矩形框分割成固定个数个单元，每个单元的边界不进行量化，在每个单元中计算固定四个坐标位置，然后采用双线性内插的方法计算这四个位置的值，并基于这四个位置的值进行最大池化操作；
2.4)将固定大小的特征图作为分类分支、坐标回归分支和Mask分支的输入；其中，分类分支是以热编码形式输出特征图类别，坐标回归分支为预测矩形框与真实目标区域的坐标、宽高偏差值，Mask分支输出以0、1值表述的目标的二值化掩膜图像；
在步骤3)中，将预测模型的权值写入网络中，输入测试图片进行前向计算，在网络输出端中，从分类分支得到导线的类别置信度，坐标回归分支获得导线的矩形框坐标，Mask分支获得导线的二值化掩膜图像，从而通过分割获得导线的矩形区域图像、二值化掩膜图像。
4.根据权利要求1所述的一种基于机器视觉的输电线路导线缺陷检测方法，其特征在于：在步骤4)中，对导线的二值化掩膜图像采用Zhang-Zu骨架化算法进行骨架化处理，得到导线的二值化骨架图，统计二值化掩膜中1的个数以及骨架图中1的个数，计算导线的平均宽度，并基于该宽度进行适当调整，并且在二值化骨架图上，对每一点以导线平均宽度的一半作为半径画圆，得到宽度均匀的导线二值化掩膜图像。
5.根据权利要求1所述的一种基于机器视觉的输电线路导线缺陷检测方法，其特征在于，在步骤5)中，采用同态滤波算法对导线矩形区域图像进行数据增强，即将像元灰度值看作是照度和反射度的组合，其中照度为图像的低频分量，反射度为图像的高频分量，通过在频域内分别处理照度和反射度对像元灰度值的影响，增强图像的暗区表现，降低光照不均对图像表现的影响。
6.根据权利要求1所述的一种基于机器视觉的输电线路导线缺陷检测方法，其特征在于：在步骤6)中，在二值化骨架图中，对每个点生成一个边长为导线宽度的正方形矩形框，然后基于非极大抑制思想对矩形框进行筛选，筛选步骤如下：
6.1)先对所有矩形框，按其中心坐标的横坐标大小进行排序；
6.2)取第一个矩形框坐标，分别计算与剩余矩形框坐标的交并比大小，剔除与其交并比大于0.7的矩形框，仅保留与其交并比小于0.7的矩形框坐标，标记该矩形框为已遍历状态；
6.3)按顺序去下一个矩形框，若已被剔除则再顺延到下一个矩形框；
6.4)重复步骤6.2)、6.3)，直至所有矩形框坐标被遍历或是剔除，得到筛选之后重叠度小的矩形框坐标。
7.根据权利要求1所述的一种基于机器视觉的输电线路导线缺陷检测方法，其特征在于：在步骤7)中，对步骤6)中所有矩形框坐标进行裁剪和缩放到32×32的固定大小，并按8:2比例划分训练数据集和测试数据集，将训练数据集进行分类，分为五个类：正常、背景、腐蚀、破损、断股，并采用pytorch构建一个浅层卷积神经网络作为分类网络，以交叉熵作为损失函数监督网络训练，将训练数据集输入分类网络中，获得分类预测模型。
8.根据权利要求1所述的一种基于机器视觉的输电线路导线缺陷检测方法，其特征在于：在步骤8)中，将测试数据获得的导线段区域图片输入到预测分类模型中进行前向计算，在网络输出端获得每段导线区域的状态标签，并基于该状态标签统计整个导线的缺陷类型，即包含所有导线区域标签的类别集合，同时统计缺陷比例，即计算缺陷的矩形框数量占所有矩形框数量的比重。
CN202010207255.0A 2020-03-23 2020-03-23 一种基于机器视觉的输电线路导线缺陷检测方法 Active CN111402248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010207255.0A CN111402248B (zh) 2020-03-23 2020-03-23 一种基于机器视觉的输电线路导线缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010207255.0A CN111402248B (zh) 2020-03-23 2020-03-23 一种基于机器视觉的输电线路导线缺陷检测方法

Publications (2)

Publication Number Publication Date
CN111402248A true CN111402248A (zh) 2020-07-10
CN111402248B CN111402248B (zh) 2023-05-09

Family

ID=71431091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010207255.0A Active CN111402248B (zh) 2020-03-23 2020-03-23 一种基于机器视觉的输电线路导线缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111402248B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001317A (zh) * 2020-08-25 2020-11-27 广东电网有限责任公司 基于语义信息的导线缺陷识别方法、***及终端设备
CN112040117A (zh) * 2020-07-22 2020-12-04 广东顺德电力设计院有限公司 一种高压电线巡检拍摄的方法及装置
CN112749894A (zh) * 2021-01-12 2021-05-04 云南电网有限责任公司电力科学研究院 一种缺陷检测模型评价方法以及装置
CN112749678A (zh) * 2021-01-22 2021-05-04 北京百度网讯科技有限公司 模型训练、矿产预测方法、装置、设备以及存储介质
CN112766137A (zh) * 2021-01-14 2021-05-07 华南理工大学 一种基于深度学习的动态场景异物入侵检测方法
CN112816496A (zh) * 2021-01-05 2021-05-18 广州市华颉电子科技有限公司 一种汽车域控制器的接口装配质量自动光学检测方法及装置
CN112991267A (zh) * 2021-02-08 2021-06-18 上海工程技术大学 一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法
CN113066051A (zh) * 2021-02-23 2021-07-02 湖南大学 一种坡口缺陷检测方法、计算设备及可读存储介质
CN113347330A (zh) * 2021-04-29 2021-09-03 华设设计集团股份有限公司 一种便携式钢桥螺栓脱落损伤识别设备及方法
CN113554589A (zh) * 2021-06-04 2021-10-26 奕目(上海)科技有限公司 基于深度学习的半导体芯片金线分割方法及***
CN113610854A (zh) * 2021-10-11 2021-11-05 深圳市商汤科技有限公司 一种线索缺陷检测方法、终端设备以及计算机存储介质
CN113744267A (zh) * 2021-11-04 2021-12-03 智洋创新科技股份有限公司 一种基于深度学习的输电导线覆冰检测和厚度估计的方法
CN113763363A (zh) * 2021-09-09 2021-12-07 华南理工大学 一种排水管道破裂缺陷检测及等级评定方法
CN114372957A (zh) * 2021-12-15 2022-04-19 康达洲际医疗器械有限公司 一种基于超声微泡造影的试剂定点释放方法与***
CN114627114A (zh) * 2022-05-12 2022-06-14 成都数联云算科技有限公司 产品缺陷严重程度测量方法及***及装置及介质
CN115908402A (zh) * 2022-12-30 2023-04-04 胜科纳米(苏州)股份有限公司 一种缺陷分析方法、装置、电子设备及存储介质
CN116433659A (zh) * 2023-06-09 2023-07-14 山东高速工程检测有限公司 一种三段式道路缺陷图像处理方法
CN116664571A (zh) * 2023-07-31 2023-08-29 湖南湘江电缆有限公司 一种基于机器视觉的线缆质量检测方法及设备
CN117094988A (zh) * 2023-10-16 2023-11-21 成都电科星拓科技有限公司 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法
CN117308794A (zh) * 2023-11-30 2023-12-29 杭州汇萃智能科技有限公司 一种线宽量测方法、***及计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886947A (zh) * 2019-02-19 2019-06-14 浙江理工大学 基于区域的卷积神经网络的高压电线缺陷检测方法
CN110378222A (zh) * 2019-06-14 2019-10-25 安徽南瑞继远电网技术有限公司 一种输电线路防震锤目标检测与缺陷识别方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886947A (zh) * 2019-02-19 2019-06-14 浙江理工大学 基于区域的卷积神经网络的高压电线缺陷检测方法
CN110378222A (zh) * 2019-06-14 2019-10-25 安徽南瑞继远电网技术有限公司 一种输电线路防震锤目标检测与缺陷识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汤踊;韩军;魏文力;丁建;彭新俊;: "深度学习在输电线路中部件识别与缺陷检测的研究", 电子测量技术 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040117A (zh) * 2020-07-22 2020-12-04 广东顺德电力设计院有限公司 一种高压电线巡检拍摄的方法及装置
CN112001317A (zh) * 2020-08-25 2020-11-27 广东电网有限责任公司 基于语义信息的导线缺陷识别方法、***及终端设备
CN112816496A (zh) * 2021-01-05 2021-05-18 广州市华颉电子科技有限公司 一种汽车域控制器的接口装配质量自动光学检测方法及装置
CN112749894A (zh) * 2021-01-12 2021-05-04 云南电网有限责任公司电力科学研究院 一种缺陷检测模型评价方法以及装置
CN112766137A (zh) * 2021-01-14 2021-05-07 华南理工大学 一种基于深度学习的动态场景异物入侵检测方法
CN112749678A (zh) * 2021-01-22 2021-05-04 北京百度网讯科技有限公司 模型训练、矿产预测方法、装置、设备以及存储介质
CN112991267A (zh) * 2021-02-08 2021-06-18 上海工程技术大学 一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法
CN113066051A (zh) * 2021-02-23 2021-07-02 湖南大学 一种坡口缺陷检测方法、计算设备及可读存储介质
CN113347330A (zh) * 2021-04-29 2021-09-03 华设设计集团股份有限公司 一种便携式钢桥螺栓脱落损伤识别设备及方法
CN113554589B (zh) * 2021-06-04 2023-05-02 奕目(上海)科技有限公司 基于深度学习的半导体芯片金线分割方法及***
CN113554589A (zh) * 2021-06-04 2021-10-26 奕目(上海)科技有限公司 基于深度学习的半导体芯片金线分割方法及***
CN113763363B (zh) * 2021-09-09 2023-08-01 华南理工大学 一种排水管道破裂缺陷检测及等级评定方法
CN113763363A (zh) * 2021-09-09 2021-12-07 华南理工大学 一种排水管道破裂缺陷检测及等级评定方法
CN113610854A (zh) * 2021-10-11 2021-11-05 深圳市商汤科技有限公司 一种线索缺陷检测方法、终端设备以及计算机存储介质
CN113610854B (zh) * 2021-10-11 2022-04-01 深圳市商汤科技有限公司 一种线索缺陷检测方法、终端设备以及计算机存储介质
WO2023060885A1 (zh) * 2021-10-11 2023-04-20 上海商汤智能科技有限公司 一种线索缺陷检测方法、终端设备、计算机存储介质和计算机程序产品
CN113744267A (zh) * 2021-11-04 2021-12-03 智洋创新科技股份有限公司 一种基于深度学习的输电导线覆冰检测和厚度估计的方法
CN114372957A (zh) * 2021-12-15 2022-04-19 康达洲际医疗器械有限公司 一种基于超声微泡造影的试剂定点释放方法与***
CN114627114A (zh) * 2022-05-12 2022-06-14 成都数联云算科技有限公司 产品缺陷严重程度测量方法及***及装置及介质
CN114627114B (zh) * 2022-05-12 2022-08-09 成都数联云算科技有限公司 产品缺陷严重程度测量方法及***及装置及介质
CN115908402B (zh) * 2022-12-30 2023-10-03 胜科纳米(苏州)股份有限公司 一种缺陷分析方法、装置、电子设备及存储介质
CN115908402A (zh) * 2022-12-30 2023-04-04 胜科纳米(苏州)股份有限公司 一种缺陷分析方法、装置、电子设备及存储介质
CN116433659A (zh) * 2023-06-09 2023-07-14 山东高速工程检测有限公司 一种三段式道路缺陷图像处理方法
CN116433659B (zh) * 2023-06-09 2023-08-29 山东高速工程检测有限公司 一种三段式道路缺陷图像处理方法
CN116664571A (zh) * 2023-07-31 2023-08-29 湖南湘江电缆有限公司 一种基于机器视觉的线缆质量检测方法及设备
CN116664571B (zh) * 2023-07-31 2023-10-10 湖南湘江电缆有限公司 一种基于机器视觉的线缆质量检测方法及设备
CN117094988A (zh) * 2023-10-16 2023-11-21 成都电科星拓科技有限公司 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法
CN117094988B (zh) * 2023-10-16 2024-02-02 成都电科星拓科技有限公司 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法
CN117308794A (zh) * 2023-11-30 2023-12-29 杭州汇萃智能科技有限公司 一种线宽量测方法、***及计算机存储介质
CN117308794B (zh) * 2023-11-30 2024-04-19 杭州汇萃智能科技有限公司 一种线宽量测方法、***及计算机存储介质

Also Published As

Publication number Publication date
CN111402248B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN111402248B (zh) 一种基于机器视觉的输电线路导线缺陷检测方法
CN111402247B (zh) 一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法
Tan et al. Multialgorithm fusion image processing for high speed railway dropper failure–defect detection
CN111652857B (zh) 一种绝缘子缺陷红外检测方法
CN109523529B (zh) 一种基于surf算法的输电线路缺陷识别方法
CN111008961B (zh) 一种输电线路设备缺陷检测方法及其***、设备、介质
CN108489996B (zh) 一种绝缘子的缺陷检测方法、***及终端设备
CN110346699B (zh) 基于紫外图像处理技术的绝缘子放电信息提取方法及装置
CN113205063A (zh) 一种输电导线缺陷的视觉识别及定位方法
CN112766137B (zh) 一种基于深度学习的动态场景异物入侵检测方法
CN115546630A (zh) 基于遥感影像特征目标检测的工地提取方法和***
CN116612098B (zh) 一种基于图像处理的绝缘子rtv喷涂质量评价方法和装置
CN113706566B (zh) 一种基于边缘检测的加香喷雾性能检测方法
CN113065484A (zh) 一种基于紫外图谱的绝缘子污秽状态评估方法
CN111008967B (zh) 一种绝缘子rtv涂层缺陷识别方法
CN110276747B (zh) 一种基于图像分析的绝缘子故障检测和故障评级方法
CN115272852A (zh) 一种输电线路保护区隐患识别方法、设备及介质
CN113012107B (zh) 电网缺陷检测方法及***
CN112614094B (zh) 基于序列状态编码的绝缘子串异常定位识别方法
CN116485802B (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质
CN114648736B (zh) 基于目标检测的鲁棒工程车辆识别方法及***
CN113487550B (zh) 一种基于改进激活函数的目标检测方法及装置
CN113643234B (zh) 一种复合绝缘子破损检测方法、终端设备及可读存储介质
CN116309407A (zh) 一种铁路接触网螺栓异常状态的检测方法
CN115761606A (zh) 基于图像处理的箱体电能表识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant