CN113487541B - 绝缘子检测方法及装置 - Google Patents

绝缘子检测方法及装置 Download PDF

Info

Publication number
CN113487541B
CN113487541B CN202110662619.9A CN202110662619A CN113487541B CN 113487541 B CN113487541 B CN 113487541B CN 202110662619 A CN202110662619 A CN 202110662619A CN 113487541 B CN113487541 B CN 113487541B
Authority
CN
China
Prior art keywords
insulator
anchor points
connection information
anchor point
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110662619.9A
Other languages
English (en)
Other versions
CN113487541A (zh
Inventor
魏宁
陈冠华
李向阳
陈鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Three Gorges University CTGU
Original Assignee
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges University CTGU filed Critical China Three Gorges University CTGU
Priority to CN202110662619.9A priority Critical patent/CN113487541B/zh
Publication of CN113487541A publication Critical patent/CN113487541A/zh
Application granted granted Critical
Publication of CN113487541B publication Critical patent/CN113487541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种绝缘子检测方法及装置，包括：将待检测绝缘子图像输入到多任务深度学习网络中，输出每个锚点的概率分布图和相邻两个锚点之间的连接信息分布图；根据每个锚点对应的概率分布图，获取每个锚点的候选位置，根据相邻两个锚点之间的连接信息分布图和相邻两个锚点之间任意候选位置的两两组合，计算每个组合对应的连接信息置信度；根据所有相邻两个锚点之间对于每个组合的连接信息置信度确定每条绝缘子上每个锚点的最终位置，根据每条绝缘子上各锚点的最终位置确定每条绝缘子的倾斜矩形框。本实施例避免检测结果中其它无用信息的干扰，使检测结果更精准。

Description

绝缘子检测方法及装置
技术领域
本发明涉及图像检测技术领域，尤其涉及一种绝缘子检测方法及装置。
背景技术
绝缘子是输电线路的重要组成部件之一，是保障电力***安全运行不可缺失的一部分，有着支撑线路、电气绝缘、增加爬电距离等重要作用。绝缘子出现缺陷会导致输电线路停止工作，造成巨大损失。为减少因绝缘子故障导致的输电事故，需要在事故发生前做出预防措施，规避事故的发生。而检修绝缘子的首要步骤就是确定绝缘子的位置。
之前，绝缘子巡检方式主要是人工巡检。这种巡检方式效率低，并且需要工人攀爬电塔，劳动强度太大，安全系数低。这种方式已逐渐被淘汰。随着计算机的兴起，利用计算机图像处理技术对绝缘子进行检测定位成为电网巡检的主要内容。目前主要的检测算法可以分为基于传统方法和基于深度学习的方法两种。
基于传统方法主要通过轮廓、纹理、颜色等特征来对绝缘子进行分割。传统方法由于不需要大量数据训练，因此，在理想背景下优势明显，但是此类方法在面对复杂背景时误检、漏检率较高，难以投入实际应用。
基于深度学***行于X和Y坐标轴，如图1中的白色矩形。当绝缘子倾斜时，轴向矩形的检测结果中包含了大量无用背景，因此现有的深度学习方法不适合对绝缘子这类具有方向姿态的条形物体进行标注和检测。
综上所述，深度学习方法虽然克服了传统方法存在的问题，但是使用轴向矩形导致对绝缘子的空间位置和姿态描述能力较差，从而导致对绝缘子的检测效果较差。
发明内容
本发明提供一种绝缘子检测方法及装置，用以解决现有技术中深度学习方法对绝缘子的检测效果较差的缺陷，达到提高对绝缘子检测精度的目的。
本发明提供一种绝缘子检测方法，包括：
将待检测绝缘子图像输入到多任务深度学习网络中，输出所述待检测绝缘子图像中的像素属于绝缘子上每个锚点的概率分布图，以及所述像素位于任意相邻两个锚点之间的连接线上时所述相邻两个锚点之间的连接信息分布图；
根据每个锚点对应的概率分布图，获取每个锚点在所述待检测绝缘子图像中的一个或多个候选位置，根据所述相邻两个锚点之间的连接信息分布图和所述相邻两个锚点之间任意候选位置的两两组合，计算所述相邻两个锚点之间对于每个组合的连接信息置信度；
根据所有相邻两个锚点之间对于每个组合的连接信息置信度确定每条绝缘子上每个锚点的最终位置，根据每条绝缘子上各锚点的最终位置确定每条绝缘子的倾斜矩形框；
其中，所述多任务深度学习网络通过以绝缘子图像样本作为样本，以所述绝缘子图像样本中绝缘子上每个锚点的实际位置作为标签进行训练获取。
根据本发明提供一种的绝缘子检测方法，所述多任务深度学习网络包括主干网络以及多个阶段网络；
每个阶段网络包括第一卷积网络和第二卷积网络；
相应地，所述将待检测绝缘子图像输入到多任务深度学习网络中，输出所述待检测绝缘子图像中的像素属于绝缘子上每个锚点的概率分布图，以及所述像素位于任意相邻两个锚点之间的连接线上时所述相邻两个锚点之间的连接信息分布图，包括：
将所述待检测绝缘子图像输入到所述主干网络，输出所述待检测绝缘子图像的特征图，将所述特征图同时输入与所述主干网络连接的阶段网络中的第一卷积网络和第二卷积网络；
经过所述第一卷积网络得到每个锚点的概率分布图，并将所有锚点的概率分布图进行拼接，经过所述第二卷积网络得到所有相邻两个锚点之间的连接信息分布图，并将所有相邻两个锚点之间的连接信息分布图进行拼接；
将所述概率分布图的拼接结果、所述连接信息分布图的拼接结果和所述特征图拼接成新的特征图同时输入到当前阶段网络的下一个阶段网络中，直到所述下一个阶段网络为最后一个阶段网络；
经过所述最后一个阶段网络的第一卷积网络输出每个锚点的概率分布图，经过所述最后一个阶段网络的第二卷积网络输出所述相邻两个锚点之间的连接信息分布图。
根据本发明提供的一种绝缘子检测方法，所述第一卷积网络包括多个连续的第一卷积层和多个连续的第二卷积层；
其中，所述第一卷积层的卷积核尺寸大于所述第二卷积层的卷积核尺寸；
所述第一卷积层位于所述第二卷积层的前面；
所述第二卷积网络的结构与所述第一卷积网络的结构相同。
根据本发明提供的一种绝缘子检测方法，所述将待检测绝缘子图像输入到多任务深度学习网络中，输出所述待检测绝缘子图像中的像素属于绝缘子上每个锚点的概率分布图，以及所述像素位于任意相邻两个锚点之间的连接线上时所述相邻两个锚点之间的连接信息分布图之前，还包括通过以下损失函数对所述多任务深度学习网络进行训练：
Figure BDA0003115961550000041
Figure BDA0003115961550000042
Figure BDA0003115961550000043
Figure BDA0003115961550000044
Figure BDA0003115961550000045
其中，f表示所述损失函数的值，N为所述阶段网络的总个数，
Figure BDA0003115961550000046
表示第n个阶段网络中锚点的概率分布图S的损失函数，
Figure BDA0003115961550000047
表示第n个阶段网络中相邻两个锚点之间的连接信息分布图R的损失函数，D表示每条绝缘子上的锚点数量，P表示所述绝缘子图像样本中的任一位置，W(P)表示位置P处的权重，当P不在绝缘子上时，W(P)为0；当P在绝缘子上时，W(P)不为0，
Figure BDA0003115961550000048
和
Figure BDA0003115961550000049
分别表示P点属于第d个锚点的实际概率和P点位于第d个锚点和第d+1个锚点之间时第d个锚点和第d+1个锚点之间的实际连接信息，Sd(P)和Rd(P)分别表示P点在第n个节点网络中第d个锚点对应的概率分布图中的概率和连接信息分布图中的连接信息，
Figure BDA00031159615500000410
和
Figure BDA00031159615500000411
分别表示所述绝缘子图像样本中距离P点最近的第d个和第d+1个锚点的实际坐标，
Figure BDA0003115961550000051
表示所述绝缘子上第d个锚点的实际坐标，σ2表示高斯方差。
根据本发明提供的一种绝缘子检测方法，所述根据每个锚点对应的概率分布图，获取每个锚点在所述待检测绝缘子图像中的一个或多个候选位置，包括：
对每个锚点对应的概率分布图进行高斯滤波，将在每个锚点对应的概率分布图中的概率大于第二预设阈值的波峰点作为每个锚点的候选位置。
根据本发明提供的一种绝缘子检测方法，通过以下公式根据所述相邻两个锚点之间的连接信息分布图和所述相邻两个锚点之间任意候选位置的两两组合，计算所述相邻两个锚点之间对于每个组合的连接信息置信度：
Figure BDA0003115961550000052
其中，Ej表示对于第j对编号为i和i-1的相邻两个锚点，在编号为i的锚点的候选位置为Xi，编号为i-1的锚点的候选位置为Xi-1的组合下的连接信息置信度，P(y)＝(1-y)Xi+yXi-1，表示Xi和Xi-1之间的任一位置，y位于0和1之间，D表示每条绝缘子上的锚点数量，Rj(P(y))表示第j对相邻两个锚点之间的连接信息分布图中位置P(y)处的连接信息。
根据本发明提供的一种绝缘子检测方法，所述根据每条绝缘子上各锚点的最终位置确定每条绝缘子的倾斜矩形框，包括：
将每条绝缘子上各锚点的最终位置按照所述锚点的预设连接顺序进行连接，得到所述绝缘子的主轴线，并计算所述主轴线的斜率；
从所述待检测绝缘子图像中获取以每条绝缘子上各锚点的最终位置为中心的最大区域，且所述区域中的各位置在各锚点对应的概率分布图中的概率均大于第三预设阈值；
根据以每条绝缘子的各锚点的最终位置为中心的区域，计算每条绝缘子的宽度；
根据每条绝缘子上两端锚点的最终位置，计算每条绝缘子的长度；
根据每条绝缘子的长度、宽度和主轴线的斜率，确定每条绝缘子的倾斜矩形框。
本发明还提供一种绝缘子检测装置，包括：
特征提取模块，用于将待检测绝缘子图像输入到多任务深度学习网络中，输出所述待检测绝缘子图像中的像素属于绝缘子上每个锚点的概率分布图，以及所述像素位于任意相邻两个锚点之间的连接线上时所述相邻两个锚点之间的连接信息分布图；
计算模块，用于根据每个锚点对应的概率分布图，获取每个锚点在所述待检测绝缘子图像中的一个或多个候选位置，根据所述相邻两个锚点之间的连接信息分布图和所述相邻两个锚点之间任意候选位置的两两组合，计算所述相邻两个锚点之间对于每个组合的连接信息置信度；
确定模块，用于根据所有相邻两个锚点之间对于每个组合的连接信息置信度确定每条绝缘子上每个锚点的最终位置，根据每条绝缘子上各锚点的最终位置确定每条绝缘子的倾斜矩形框；
其中，所述多任务深度学习网络通过以绝缘子图像样本作为样本，以所述绝缘子图像样本中绝缘子上每个锚点的实际位置作为标签进行训练获取。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述绝缘子检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述绝缘子检测方法的步骤。
本发明提供的绝缘子检测方法及装置，通过利用绝缘子自身所具有的线性规则排列特征，将绝缘子抽象为锚点和锚点间连接信息两部分，通过锚点来对绝缘子表面的重复特征进行学习，通过相邻两个锚点之间的连接信息学习绝缘子锚点间的特征，在进行检测时只需使用多任务深度学习网络预测出绝缘子的锚点位置和锚点连接信息就可得出绝缘子的位置和方向，避免检测结果中其它无用信息的干扰，使检测结果更精准。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术提供的绝缘子检测方法中绝缘子轴向矩形检测结果示意图；
图2是本发明提供的绝缘子检测方法的流程示意图之一；
图3是本发明提供的绝缘子检测方法中绝缘子锚点的概率分布和连接信息可视化结构示意图；
图4是本发明提供的绝缘子检测方法中绝缘子检测效果示意图；
图5是本发明提供的绝缘子检测方法中多任务深度学习网络的结构示意图；
图6是本发明提供的绝缘子检测方法的流程示意图之二；
图7是本发明提供的绝缘子检测装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图2描述本发明的绝缘子检测方法，该方法包括：步骤201，将待检测绝缘子图像输入到多任务深度学习网络中，输出所述待检测绝缘子图像中的像素属于绝缘子上每个锚点的概率分布图，以及所述像素位于任意相邻两个锚点之间的连接线上时所述相邻两个锚点之间的连接信息分布图；
其中，待检测绝缘子图像为需要进行检测的包含绝缘子的图像。待检测绝缘子图像中包含的绝缘子为一条或多条。每条绝缘子上锚点的数量和连接顺序预先确定。每条绝缘子上的相邻两个锚点根据锚点的连接顺序确定。
多任务深度学习网络一般包括共享层和多个分支，每个分支用于学习不同的任务。本实施例中的多任务深度学习网络包括两个分支，一个分支用于学习绝缘子上每个锚点的概率分布图，另一个分支用于学习绝缘子上相邻两个锚点之间的连接信息分布图。本实施例不限于多任务深度学习网络的具体结构。
假设待检测绝缘子图像I∈Rwxh中有M条绝缘子，每条绝缘子上有D个等间隔的锚点，则对第m个绝缘子的第d个锚点的坐标记作
Figure BDA0003115961550000081
根据待检测绝缘子图像中的每个像素属于第d个锚点的概率，构成第d个锚点对应的概率分布图，记作Sd∈Rwxh，则S＝(S1,S2,…,SD)表示所有锚点对应的概率分布图的集合，可视化结构如图3所示。其中图3右边的第一行图像中白色圆形内的黑点表示每个锚点对应的概率分布图中概率最大的点，白色圆形内的白色区域表示每个锚点对应的概率分布图中概率较大的点，白色圆形***的灰色区域表示每个锚点对应的概率分布图中概率较小的点。
每条绝缘子上任意相邻两个锚点之间的连接信息用向量
Figure BDA0003115961550000091
表示。在待检测绝缘子图像中某位置的两端为锚点的情况下，将这相邻两个锚点之间的坐标差作为相邻两个锚点之间的连接信息，将其他不位于相邻两个锚点之间的区域的连接信息设置为0。用集合R＝(R1,R2,…,RD-1)表示任意相邻两个锚点之间的连接信息分布图构成的集合，可视化结果见图3。其中图3右边的第二行图像中的箭头指示的向量为相邻两个锚点之间的连接信息。每相邻两个锚点对应一个连接信息分布图，因此连接信息分布图的数量为D-1。
步骤202，根据每个锚点对应的概率分布图，获取每个锚点在所述待检测绝缘子图像中的一个或多个候选位置，根据所述相邻两个锚点之间的连接信息分布图和所述相邻两个锚点之间任意候选位置的两两组合，计算所述相邻两个锚点之间对于每个组合的连接信息置信度；
可选地，对每个锚点对应的概率分布图进行分类，将平均概率大于预设值的每个类别中概率最大的点的坐标作为每个锚点的候选位置。本实施例不限于每个锚点的候选位置的具体确定方法。
在有多条绝缘子的情况下，每个锚点的候选位置也会有多个。相邻两个锚点之间任意候选位置的两两组合是指从相邻两个锚点中一个锚点的候选位置中任意选一个，从另一个锚点的候选位置中也任意选一个构成的组合。例如相邻两个锚点中一个锚点的候选位置有3个，另一个锚点的候选位置有2个，则有3*2＝6种组合。
可选地，对于每种组合中的候选锚点位置Xi和Xi-1，通过相邻两个锚点对应的连接信息分布图沿着候选锚点位置Xi和Xi-1之间的线段计算两个位置之间的线积分，得到相邻两个锚点之间对于每个组合的连接信息置信度。
步骤203，根据所有相邻两个锚点之间对于每个组合的连接信息置信度确定每条绝缘子上每个锚点的最终位置，根据每条绝缘子上各锚点的最终位置确定每条绝缘子的倾斜矩形框；
可选地，如果任意相邻两个锚点的任意两个组合之间存在任一锚点的候选位置相同，则将这两个组合中连接信息置信度较小的组合删除。删除后，如果任意两对相邻两个锚点对应的组合之间存在任意两个组合中任一锚点的候选位置相同，则将这两个组合分为一组。将具有同一组合的组合并成一个大组。如果任一大组中的组合数量为锚点总数D减去1，则将该组中的组合对应的每个锚点的候选位置作为每条绝缘子上各锚点的最终位置。绝缘子的条数与组合数量为锚点总数D减去1的大组的数量相同。
例如，每条绝缘子上有4个锚点。三对相邻两个锚点对应的两两组合数分别为4、3和2。第一对相邻两个锚点中锚点A的候选位置为坐标1和坐标2，另一个锚点B的候选位置为坐标3和坐标4。第一对相邻两个锚点对应的组合有(坐标1，坐标3)、(坐标1，坐标4)、(坐标2，坐标3)和(坐标2，坐标4)。(坐标1，坐标3)和(坐标1，坐标4)之间锚点A的候选位置相同，如果组合(坐标1，坐标3)的连接信息置信度小于组合(坐标1，坐标4)，则删除组合(坐标1，坐标3)。然后对于组合(坐标1，坐标4)和(坐标2，坐标4)中锚点B的候选位置相同，从中删除连接信息置信度较小的组合。
假设，删除处理后，第一对的组合为(坐标2，坐标4)，(坐标2，坐标3)，第二对的组合为(坐标3，坐标5)，第三对的组合为(坐标5，坐标7)。经过一轮分组得到的是{(坐标2，坐标3)，(坐标3，坐标5)}、{(坐标5，坐标7)，(坐标3，坐标5)}和{(坐标2，坐标4)}。合并后得到的大组为{(坐标2，坐标3)，(坐标3，坐标5)，(坐标5，坐标7)}和((坐标2，坐标4))。每条绝缘子上有4个锚点，组合数为4-1＝3的大组为{(坐标2，坐标3)，(坐标3，坐标5)，(坐标5，坐标7)}。将坐标2、坐标3、坐标5和坐标7作为某条绝缘子上4个锚点的最终位置。可选地，将组合数为锚点总数-1的大组中所有组合对应的连接信息置信度相加。通过非极大值抑制(Non-Maximum Suppression，NMS)将将相加结果较低的大组删除。根据每条绝缘子上各锚点的最终位置得到的检测结果如图4所示。其中，圆形表示锚点，椭圆形表示锚点之间的连接信息，倾斜矩形框表示绝缘子的检测结果。
其中，所述多任务深度学习网络通过以绝缘子图像样本作为样本，以所述绝缘子图像样本中绝缘子上每个锚点的实际位置作为标签进行训练获取。
在对多任务深度学习网络进行训练的过程中，首先对采集的绝缘子图像样本中每条绝缘子的锚点位置进行标注，然后将标注的绝缘子图像样本输入多任务深度学习网络中进行训练，对多任务深度学习网络的参数进行调整，得到最优参数。
本实施例通过利用绝缘子自身所具有的线性规则排列特征，将绝缘子抽象为锚点和锚点间连接信息两部分，通过锚点来对绝缘子表面的重复特征进行学习，通过相邻两个锚点之间的连接信息学习绝缘子锚点间的特征，在进行检测时只需使用多任务深度学习网络预测出绝缘子的锚点位置和锚点连接信息就可得出绝缘子的位置和方向，避免检测结果中其它无用信息的干扰，使检测结果更精准。
在上述实施例的基础上，如图5所示，本实施例中所述多任务深度学习网络包括主干网络以及多个阶段网络；每个阶段网络包括第一卷积网络和第二卷积网络；
可选地，主干网络为ResNet网络。阶段网络的个数为N，本实施例对阶段网络的个数不作限定。各阶段网络之间串联，主干网络与第一个阶段网络连接。所有阶段网络的网络结构相同。
每个阶段网络包括第一卷积网络和第二卷积网络，每个阶段中的第一卷积网络和第二卷积网络并行。本实施例对两个卷积网络的具体结构不作限定。
相应地，所述将待检测绝缘子图像输入到多任务深度学习网络中，输出所述待检测绝缘子图像中的像素属于绝缘子上每个锚点的概率分布图，以及所述像素位于任意相邻两个锚点之间的连接线上时所述相邻两个锚点之间的连接信息分布图，包括：将所述待检测绝缘子图像输入到所述主干网络，输出所述待检测绝缘子图像的特征图，将所述特征图同时输入与所述主干网络连接的阶段网络中的第一卷积网络和第二卷积网络；
通过主干网络从待检测绝缘子图像I中提取编码后的特征图F，之后重复N个阶段网络。特征图F同时输入第一个阶段网络中并行的两个卷积网络。
经过所述第一卷积网络得到每个锚点的概率分布图，并将所有锚点的概率分布图进行拼接，经过所述第二卷积网络得到所有相邻两个锚点之间的连接信息分布图，并将所有相邻两个锚点之间的连接信息分布图进行拼接；
第一卷积网络用于对待检测绝缘子图像进行锚点估计，得到锚点的概率分布图集合S。第二卷积网络用于对待检测绝缘子图像进行锚点连接信息估计，得到相邻两个锚点之间的连接信息分布图集合R。
可选地，对S和R两个集合分别使用1x1的卷积核将多张分布图进行累加，得到MS和MR。
将所述概率分布图的拼接结果、所述连接信息分布图的拼接结果和所述特征图拼接成新的特征图同时输入到当前阶段网络的下一个阶段网络中，直到所述下一个阶段网络为最后一个阶段网络；
接着，将MS、MR和F拼接成新的特征图F'同时输入下一个阶段网络中，直到下一个阶段网络为最后一个节点网络，即重复了N个阶段网络。
经过所述最后一个阶段网络的第一卷积网络输出每个锚点的概率分布图，经过所述最后一个阶段网络的第二卷积网络输出所述相邻两个锚点之间的连接信息分布图。
将最后一个网络输出的S和R作为多任务深度学习网络的输出。
本实施例通过将锚点估计特征、锚点连接信息估计特征在不同的卷积网络中同步传导，该方式与两者分步检测和训练的方式相比，检测和训练速度更快。
在上述各实施例的基础上，本实施例中所述第一卷积网络包括多个连续的第一卷积层和多个连续的第二卷积层；其中，所述第一卷积层的卷积核尺寸大于所述第二卷积层的卷积核尺寸；所述第一卷积层位于所述第二卷积层的前面；所述第二卷积网络的结构与所述第一卷积网络的结构相同。
可选地，第一卷积网络中第一卷积层有三层，卷积核的尺寸为3x3；第二卷积层有两层，卷积核的尺寸为1x1。第二卷积网络的结构与第一卷积网络的结构相同。
本实施例通过多个连续的第一卷积层和多个连续的第二卷积层扩大了锚点和锚点连接信息的感知范围。但是卷积层的不断增加也会引起梯度消失的问题，部分重要特征会在前向传播中丢失，并且卷积层越多，特征丢失风险越大。为解决该问题，网络使用了分阶段的结构，在进入每个阶段网络之前都将原始的特征F与前阶段网络特征MS和MR进行拼接合并。
在上述实施例的基础上，本实施例中所述将待检测绝缘子图像输入到多任务深度学习网络中，输出所述待检测绝缘子图像中的像素属于绝缘子上每个锚点的概率分布图，以及所述像素位于任意相邻两个锚点之间的连接线上时所述相邻两个锚点之间的连接信息分布图之前，还包括通过以下损失函数对所述多任务深度学习网络进行训练：
Figure BDA0003115961550000131
Figure BDA0003115961550000141
Figure BDA0003115961550000142
Figure BDA0003115961550000143
Figure BDA0003115961550000144
其中，f表示所述损失函数的值，N为所述阶段网络的总个数，
Figure BDA0003115961550000145
表示第n个阶段网络中锚点的概率分布图S的损失函数，
Figure BDA0003115961550000146
表示第n个阶段网络中相邻两个锚点之间的连接信息分布图R的损失函数，D表示每条绝缘子上的锚点数量，P表示所述绝缘子图像样本中的任一位置，W(P)表示位置P处的权重，当P不在绝缘子上时，W(P)为0；当P在绝缘子上时，W(P)不为0，
Figure BDA0003115961550000147
和
Figure BDA0003115961550000148
分别表示P点属于第d个锚点的实际概率和P点位于第d个锚点和第d+1个锚点之间时第d个锚点和第d+1个锚点之间的实际连接信息，Sd(P)和Rd(P)分别表示P点在第n个节点网络中第d个锚点对应的概率分布图中的概率和连接信息分布图中的连接信息，
Figure BDA0003115961550000149
和
Figure BDA00031159615500001410
分别表示所述绝缘子图像样本中距离P点最近的第d个和第d+1个锚点的实际坐标，
Figure BDA00031159615500001411
表示所述绝缘子上第d个锚点的实际坐标，σ2表示高斯方差。
具体地，在两个卷积网络使用多个卷积层来扩大网络对S和R特征的感知范围的情况下，会引起梯度消失的问题，部分重要特征会在前向传播中丢失。为解决该问题，本实施例对每个阶段网络都计算了损失函数fS和fR，将N个阶段网络的损失函数进行相加。W(P)为叠加在实际值上的蒙版，即仅在存在真实锚点处或相邻真实锚点之间的区域内不为零，一般设为1，因此只计算W(P)非零区域的损失。
可选地，若P点满足
Figure BDA00031159615500001412
且
Figure BDA0003115961550000151
则称P点在绝缘子上。θ表示向量
Figure BDA0003115961550000152
与
Figure BDA0003115961550000153
之间的夹角，width表示绝缘子的宽度。
在上述各实施例的基础上，本实施例中所述根据每个锚点对应的概率分布图，获取每个锚点在所述待检测绝缘子图像中的一个或多个候选位置，包括：对每个锚点对应的概率分布图进行高斯滤波，将在每个锚点对应的概率分布图中的概率大于第二预设阈值的波峰点作为每个锚点的候选位置。
具体地，多任务深度学习网络输出的概率分布图S上的每个点表示该点是锚点的概率。对每个锚点对应的概率分布图进行高斯滤波，得到高斯滤波的波峰点的位置。从该锚点对应的概率分布图中查找每个波峰点处的概率，将概率大于第二预设阈值的波峰点作为多任务深度学习网络预测的每个锚点的候选位置。
在上述各实施例的基础上，本实施例通过以下公式根据所述相邻两个锚点之间的连接信息分布图和所述相邻两个锚点之间任意候选位置的两两组合，计算所述相邻两个锚点之间对于每个组合的连接信息置信度：
Figure BDA0003115961550000154
其中，Ej表示对于第j对编号为i和i-1的相邻两个锚点，在编号为i的锚点的候选位置为Xi，编号为i-1的锚点的候选位置为Xi-1的组合下的连接信息置信度，P(y)＝(1-y)Xi+yXi-1，表示Xi和Xi-1之间的任一位置，y位于0和1之间，D表示每条绝缘子上的锚点数量，Rj(P(y))表示第j对相邻两个锚点之间的连接信息分布图中位置P(y)处的连接信息。
具体地，对多任务深度学习网络输出的相邻两个锚点之间的连接信息分布图R进行积分，得到每相邻两个锚点之间的连接信息置信度。
Figure BDA0003115961550000161
表示相邻两个锚点对应的候选锚点位置Xi和Xi-1组合之间的单位向量。||Xi-1-Xi||2表示两坐标之间的距离。P(y)＝(1-y)Xi+yXi-1代表Xi和Xi-1之间的任一位置。采用上述公式计算任意相邻两个锚点之间对于任意组合的连接信息置信度。
在上述各实施例的基础上，本实施例中所述根据每条绝缘子上各锚点的最终位置确定每条绝缘子的倾斜矩形框，包括：将每条绝缘子上各锚点的最终位置按照所述锚点的预设连接顺序进行连接，得到所述绝缘子的主轴线，并计算所述主轴线的斜率；
可选地，锚点的预设连接顺序为锚点的编号从小到大的顺序。每条绝缘子上的锚点按照锚点的编号从小到大的顺序依次进行连接，得到每条绝缘子的主轴线，从而进一步得到主轴线的斜率。
从所述待检测绝缘子图像中获取以每条绝缘子上各锚点的最终位置为中心的最大区域，且所述区域中的各位置在各锚点对应的概率分布图中的概率均大于第三预设阈值；根据每条绝缘子的各锚点对应的最大区域，计算每条绝缘子的宽度；
以每条绝缘子上的第一个锚点为例。在待检测绝缘子图像中找到以第一个锚点为中心的最大区域，且该区域需满足该区域中的各位置在第一个锚点对应的概率分布图中的概率均大于第三预设阈值。
由于锚点位于绝缘子的主轴线上，周围属于锚点的概率较大的像素也位于绝缘子上。所圈定的满足条件的最大区域的直径即为绝缘子的宽度。
根据每条绝缘子上两端锚点的最终位置，计算每条绝缘子的长度；根据每条绝缘子的长度、宽度和主轴线的斜率，确定每条绝缘子的倾斜矩形框。
例如，每条绝缘子上有D个锚点，则根据每条绝缘子上第一个锚点的最终位置和第D个锚点的最终位置之间的距离，得到每条绝缘子的长度。根据每条绝缘子的长度、宽度和主轴线的斜率得到绝缘子的倾斜矩形框。绝缘子检测过程如图6所示。
为了说明本实施例的检测效果，对检测效果进行评估和对比。常用的算法FasterRCNN、YOLO和SSD在检测目标时，使用的是传统的交并比(Intersection over Union，IoU)作为衡量预测结果好坏的标准。其中IoU定义如下：
Figure BDA0003115961550000171
其中，其中Bpre表示模型预测结果，BG表示实际检测结果。∩和∪分别表示交集和并集。
上述公式表示预测结果和实际检测结果之间交集和并集的比值。可以发现当绝缘子姿态呈非轴向排列时通常绝缘子只占轴向标注矩形中较小的区域，因此只用轴向标注区域的交集和并集不能很好度量模型对绝缘子预测的精度。
而本实施例提出更加合理的定向交并比(Directed Intersection of Union，DIoU)来计算倾斜绝缘子的误差。当绝缘子姿态呈非轴向排列时，绝缘子占本实施例检测出的非轴向标注矩形的几乎全部区域，实际的检测区域为包围绝缘子的非轴向最小倾斜矩形框，只有当预测结果和真实绝缘子区域完全重合时DIoU的值才为1，避免无用信息干扰。评估结果更加准确。
本实施例中的定向交并比考虑了绝缘子方向信息的影响，能更准确地描述绝缘子的位置和方向信息，使模型的评估结果更加准确、合理。
下面对本发明提供的绝缘子检测装置进行描述，下文描述的绝缘子检测装置与上文描述的绝缘子检测方法可相互对应参照。
如图7所示，该装置包括特征提取模块701、计算模块702和确定模块703，其中：
特征提取模块701用于将待检测绝缘子图像输入到多任务深度学习网络中，输出所述待检测绝缘子图像中的像素属于绝缘子上每个锚点的概率分布图，以及所述像素位于任意相邻两个锚点之间的连接线上时所述相邻两个锚点之间的连接信息分布图；
计算模块702用于根据每个锚点对应的概率分布图，获取每个锚点在所述待检测绝缘子图像中的一个或多个候选位置，根据所述相邻两个锚点之间的连接信息分布图和所述相邻两个锚点之间任意候选位置的两两组合，计算所述相邻两个锚点之间对于每个组合的连接信息置信度；
确定模块703用于根据所有相邻两个锚点之间对于每个组合的连接信息置信度确定每条绝缘子上每个锚点的最终位置，根据每条绝缘子上各锚点的最终位置确定每条绝缘子的倾斜矩形框；
其中，所述多任务深度学习网络通过以绝缘子图像样本作为样本，以所述绝缘子图像样本中绝缘子上每个锚点的实际位置作为标签进行训练获取。
本实施例通过利用绝缘子自身所具有的线性规则排列特征，将绝缘子抽象为锚点和锚点间连接信息两部分，通过锚点来对绝缘子表面的重复特征进行学习，通过相邻两个锚点之间的连接信息学习绝缘子锚点间的特征，在进行检测时只需使用多任务深度学习网络预测出绝缘子的锚点位置和锚点连接信息就可得出绝缘子的位置和方向，避免检测结果中其它无用信息的干扰，使检测结果更精准。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行绝缘子检测方法，该方法包括：将待检测绝缘子图像输入到多任务深度学习网络中，输出每个锚点的概率分布图和相邻两个锚点之间的连接信息分布图；根据每个锚点对应的概率分布图，获取每个锚点的候选位置，根据相邻两个锚点之间的连接信息分布图和相邻两个锚点之间任意候选位置的两两组合，计算每个组合对应的连接信息置信度；根据所有相邻两个锚点之间对于每个组合的连接信息置信度确定每条绝缘子上每个锚点的最终位置，根据每条绝缘子上各锚点的最终位置确定每条绝缘子的倾斜矩形框。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的绝缘子检测方法，该方法包括：将待检测绝缘子图像输入到多任务深度学习网络中，输出每个锚点的概率分布图和相邻两个锚点之间的连接信息分布图；根据每个锚点对应的概率分布图，获取每个锚点的候选位置，根据相邻两个锚点之间的连接信息分布图和相邻两个锚点之间任意候选位置的两两组合，计算每个组合对应的连接信息置信度；根据所有相邻两个锚点之间对于每个组合的连接信息置信度确定每条绝缘子上每个锚点的最终位置，根据每条绝缘子上各锚点的最终位置确定每条绝缘子的倾斜矩形框。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的绝缘子检测方法，该方法包括：将待检测绝缘子图像输入到多任务深度学习网络中，输出每个锚点的概率分布图和相邻两个锚点之间的连接信息分布图；根据每个锚点对应的概率分布图，获取每个锚点的候选位置，根据相邻两个锚点之间的连接信息分布图和相邻两个锚点之间任意候选位置的两两组合，计算每个组合对应的连接信息置信度；根据所有相邻两个锚点之间对于每个组合的连接信息置信度确定每条绝缘子上每个锚点的最终位置，根据每条绝缘子上各锚点的最终位置确定每条绝缘子的倾斜矩形框。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种绝缘子检测方法，其特征在于，包括：
将待检测绝缘子图像输入到多任务深度学习网络中，输出所述待检测绝缘子图像中的像素属于绝缘子上每个锚点的概率分布图，以及所述像素位于任意相邻两个锚点之间的连接线上时所述相邻两个锚点之间的连接信息分布图；其中，将所述相邻两个锚点之间的坐标差作为所述相邻两个锚点之间的区域的连接信息，将其他不位于相邻两个锚点之间的区域的连接信息设置为0；
根据每个锚点对应的概率分布图，获取每个锚点在所述待检测绝缘子图像中的一个或多个候选位置，根据所述相邻两个锚点之间的连接信息分布图和所述相邻两个锚点之间任意候选位置的两两组合，计算所述相邻两个锚点之间对于每个组合的连接信息置信度；其中，对于每种组合中的候选位置，通过所述相邻两个锚点对应的连接信息分布图沿着所述候选位置之间的线段计算两个候选位置之间的线积分，得到所述相邻两个锚点之间对于每个组合的连接信息置信度；
根据所有相邻两个锚点之间对于每个组合的连接信息置信度确定每条绝缘子上每个锚点的最终位置，根据每条绝缘子上各锚点的最终位置确定每条绝缘子的倾斜矩形框；
其中，所述多任务深度学习网络通过以绝缘子图像样本作为样本，以所述绝缘子图像样本中绝缘子上每个锚点的实际位置作为标签进行训练获取。
2.根据权利要求1所述的绝缘子检测方法，其特征在于，所述多任务深度学习网络包括主干网络以及多个阶段网络；
每个阶段网络包括第一卷积网络和第二卷积网络；
相应地，所述将待检测绝缘子图像输入到多任务深度学习网络中，输出所述待检测绝缘子图像中的像素属于绝缘子上每个锚点的概率分布图，以及所述像素位于任意相邻两个锚点之间的连接线上时所述相邻两个锚点之间的连接信息分布图，包括：
将所述待检测绝缘子图像输入到所述主干网络，输出所述待检测绝缘子图像的特征图，将所述特征图同时输入与所述主干网络连接的阶段网络中的第一卷积网络和第二卷积网络；
经过所述第一卷积网络得到每个锚点的概率分布图，并将所有锚点的概率分布图进行拼接，经过所述第二卷积网络得到所有相邻两个锚点之间的连接信息分布图，并将所有相邻两个锚点之间的连接信息分布图进行拼接；
将所述概率分布图的拼接结果、所述连接信息分布图的拼接结果和所述特征图拼接成新的特征图同时输入到当前阶段网络的下一个阶段网络中，直到所述下一个阶段网络为最后一个阶段网络；
经过所述最后一个阶段网络的第一卷积网络输出每个锚点的概率分布图，经过所述最后一个阶段网络的第二卷积网络输出所述相邻两个锚点之间的连接信息分布图。
3.根据权利要求2所述的绝缘子检测方法，其特征在于，所述第一卷积网络包括多个连续的第一卷积层和多个连续的第二卷积层；
其中，所述第一卷积层的卷积核尺寸大于所述第二卷积层的卷积核尺寸；
所述第一卷积层位于所述第二卷积层的前面；
所述第二卷积网络的结构与所述第一卷积网络的结构相同。
4.根据权利要求2所述的绝缘子检测方法，其特征在于，所述将待检测绝缘子图像输入到多任务深度学习网络中，输出所述待检测绝缘子图像中的像素属于绝缘子上每个锚点的概布图，以及所述像素位于任意相邻两个锚点之间的连接线上时所述相邻两个锚点之间的连接信息分布图之前，还包括通过以下损失函数对所述多任务深度学习网络进行训练：
Figure FDA0003520037390000021
Figure FDA0003520037390000031
Figure FDA0003520037390000032
Figure FDA0003520037390000033
Figure FDA0003520037390000034
其中，f表示所述损失函数的值，N为所述阶段网络的总个数，
Figure FDA0003520037390000035
表示第n个阶段网络中锚点的概率分布图S的损失函数，
Figure FDA0003520037390000036
表示第n个阶段网络中相邻两个锚点之间的连接信息分布图R的损失函数，D表示每条绝缘子上的锚点数量，P表示所述绝缘子图像样本中的任一位置，W(P)表示位置P处的权重，当P不在绝缘子上时，W(P)为0；当P在绝缘子上时，W(P)不为0，
Figure FDA0003520037390000037
和
Figure FDA0003520037390000038
分别表示P点属于第d个锚点的实际概率和P点位于第d个锚点和第d+1个锚点之间时第d个锚点和第d+1个锚点之间的实际连接信息，Sd(P)和Rd(P)分别表示P点在第n个节点网络中第d个锚点对应的概率分布图中的概率和连接信息分布图中的连接信息，
Figure FDA0003520037390000039
和
Figure FDA00035200373900000310
分别表示所述绝缘子图像样本中距离P点最近的第d个和第d+1个锚点的实际坐标，
Figure FDA00035200373900000311
表示所述绝缘子上第d个锚点的实际坐标，σ2表示高斯方差。
5.根据权利要求1-4任一所述的绝缘子检测方法，其特征在于，所述根据每个锚点对应的概率分布图，获取每个锚点在所述待检测绝缘子图像中的一个或多个候选位置，包括：
对每个锚点对应的概率分布图进行高斯滤波，将在每个锚点对应的概率分布图中的概率大于第二预设阈值的波峰点作为每个锚点的候选位置。
6.根据权利要求1-4任一所述的绝缘子检测方法，其特征在于，通过以下公式根据所述相邻两个锚点之间的连接信息分布图和所述相邻两个锚点之间任意候选位置的两两组合，计算所述相邻两个锚点之间对于每个组合的连接信息置信度：
Figure FDA0003520037390000041
其中，Ej表示对于第j对编号为i和i-1的相邻两个锚点，在编号为i的锚点的候选位置为Xi，编号为i-1的锚点的候选位置为Xi-1的组合下的连接信息置信度，P(y)＝(1-y)Xi+yXi-1，表示Xi和Xi-1之间的任一位置，y位于0和1之间，D表示每条绝缘子上的锚点数量，Rj(P(y))表示第j对相邻两个锚点之间的连接信息分布图中位置P(y)处的连接信息。
7.根据权利要求1-4任一所述的绝缘子检测方法，其特征在于，所述根据每条绝缘子上各锚点的最终位置确定每条绝缘子的倾斜矩形框，包括：
将每条绝缘子上各锚点的最终位置按照所述锚点的预设连接顺序进行连接，得到所述绝缘子的主轴线，并计算所述主轴线的斜率；
从所述待检测绝缘子图像中获取以每条绝缘子上各锚点的最终位置为中心的最大区域，且所述区域中的各位置在各锚点对应的概率分布图中的概率均大于第三预设阈值；
根据以每条绝缘子的各锚点的最终位置为中心的最大区域，计算每条绝缘子的宽度；
根据每条绝缘子上两端锚点的最终位置，计算每条绝缘子的长度；
根据每条绝缘子的长度、宽度和主轴线的斜率，确定每条绝缘子的倾斜矩形框。
8.一种绝缘子检测装置，其特征在于，包括：
特征提取模块，用于将待检测绝缘子图像输入到多任务深度学习网络中，输出所述待检测绝缘子图像中的像素属于绝缘子上每个锚点的概率分布图，以及所述像素位于任意相邻两个锚点之间的连接线上时所述相邻两个锚点之间的连接信息分布图；其中，将所述相邻两个锚点之间的坐标差作为所述相邻两个锚点之间的区域的连接信息，将其他不位于相邻两个锚点之间的区域的连接信息设置为0；
计算模块，用于根据每个锚点对应的概率分布图，获取每个锚点在所述待检测绝缘子图像中的一个或多个候选位置，根据所述相邻两个锚点之间的连接信息分布图和所述相邻两个锚点之间任意候选位置的两两组合，计算所述相邻两个锚点之间对于每个组合的连接信息置信度；其中，对于每种组合中的候选位置，通过所述相邻两个锚点对应的连接信息分布图沿着所述候选位置之间的线段计算两个候选位置之间的线积分，得到所述相邻两个锚点之间对于每个组合的连接信息置信度；
确定模块，用于根据所有相邻两个锚点之间对于每个组合的连接信息置信度确定每条绝缘子上每个锚点的最终位置，根据每条绝缘子上各锚点的最终位置确定每条绝缘子的倾斜矩形框；
其中，所述多任务深度学习网络通过以绝缘子图像样本作为样本，以所述绝缘子图像样本中绝缘子上每个锚点的实际位置作为标签进行训练获取。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述绝缘子检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述绝缘子检测方法的步骤。
CN202110662619.9A 2021-06-15 2021-06-15 绝缘子检测方法及装置 Active CN113487541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110662619.9A CN113487541B (zh) 2021-06-15 2021-06-15 绝缘子检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110662619.9A CN113487541B (zh) 2021-06-15 2021-06-15 绝缘子检测方法及装置

Publications (2)

Publication Number Publication Date
CN113487541A CN113487541A (zh) 2021-10-08
CN113487541B true CN113487541B (zh) 2022-05-03

Family

ID=77935106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110662619.9A Active CN113487541B (zh) 2021-06-15 2021-06-15 绝缘子检测方法及装置

Country Status (1)

Country Link
CN (1) CN113487541B (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101487866B (zh) * 2008-11-06 2010-12-08 姚建刚 基于红外热像交流输电线路瓷质零值绝缘子在线检测方法
US8023175B2 (en) * 2009-02-06 2011-09-20 The United States Of America As Represented By The Secretary Of The Army Dynamic imaging and/or identification apparatus and method thereof
CN102053046B (zh) * 2010-11-02 2012-08-08 武汉大学 一种合成绝缘子表面亲水角检定***及方法
CN102508110B (zh) * 2011-10-10 2014-07-09 上海大学 基于纹理的绝缘子缺陷诊断方法
CN104978580B (zh) * 2015-06-15 2018-05-04 国网山东省电力公司电力科学研究院 一种用于无人机巡检输电线路的绝缘子识别方法
CN105678760A (zh) * 2016-01-04 2016-06-15 国家电网公司 一种基于Canny边缘检测算法的绝缘子图像识别方法
EP3376213A1 (de) * 2017-03-15 2018-09-19 Siemens Aktiengesellschaft Verfahren und anordnung für eine zustandsüberwachung einer anlage mit betriebsmitteln
CN107464233B (zh) * 2017-07-19 2021-11-05 国家电网公司 基于Lab颜色模式的复合绝缘子的图像检测方法及***
KR20210079343A (ko) * 2018-10-25 2021-06-29 그린, 트위드 테크놀로지스, 인코포레이티드 플라즈마 내성 다층 코팅 및 그 제조 방법
CN110992307A (zh) * 2019-11-04 2020-04-10 华北电力大学（保定） 基于yolo的绝缘子定位识别方法及装置
CN111899216A (zh) * 2020-06-16 2020-11-06 西安交通大学 一种高铁接触网绝缘子紧固件的异常检测方法
CN112183667B (zh) * 2020-10-31 2022-06-14 哈尔滨理工大学 一种协同深度学习的绝缘子故障检测方法

Also Published As

Publication number Publication date
CN113487541A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
US20220036533A1 (en) Image defect detection method and apparatus, electronic device, storage medium and product
Akagic et al. Pothole detection: An efficient vision based method using rgb color space image segmentation
KR20210002104A (ko) 목표 검출 및 목표 검출 네트워크의 훈련
CN112233092A (zh) 一种用于无人机电力巡检智能缺陷检测的深度学习方法
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN110796643A (zh) 一种铁轨扣件缺陷检测方法和***
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN113095333B (zh) 无监督特征点检测方法及装置
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN113592839A (zh) 基于改进Faster RCNN的配网线路典型缺陷诊断方法及***
CN115239646A (zh) 输电线路的缺陷检测方法、装置、电子设备及存储介质
CN114581419A (zh) 变压器绝缘套管缺陷检测方法、相关设备及可读存储介质
CN112614094B (zh) 基于序列状态编码的绝缘子串异常定位识别方法
CN113487541B (zh) 绝缘子检测方法及装置
CN116229419B (zh) 一种行人检测方法及装置
CN116740528A (zh) 一种基于阴影特征的侧扫声呐图像目标检测方法及***
CN113947567B (zh) 基于多任务学习的缺陷检测方法
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法
CN115760908A (zh) 基于胶囊网络感知特征的绝缘子跟踪方法和装置
CN111429411B (zh) 一种碳纤维复合芯导线的x射线缺陷图像样本生成方法
US10699153B2 (en) Providing diverse and representative swatches extracted from an input image
CN113554024A (zh) 一种车辆的清洁度的确定方法、装置及计算机设备
CN113762120A (zh) 绝缘子图像分割方法、装置、电子设备及存储介质
CN112862002A (zh) 多尺度目标检测模型的训练方法、目标检测方法和装置
CN115410280B (zh) 一种基于人体朝向判断的钓鱼行为检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant