CN105825207B - 片段化的高压线探测方法和装置 - Google Patents
片段化的高压线探测方法和装置 Download PDFInfo
- Publication number
- CN105825207B CN105825207B CN201610249136.5A CN201610249136A CN105825207B CN 105825207 B CN105825207 B CN 105825207B CN 201610249136 A CN201610249136 A CN 201610249136A CN 105825207 B CN105825207 B CN 105825207B
- Authority
- CN
- China
- Prior art keywords
- image block
- voltage line
- line
- edge feature
- line segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000013467 fragmentation Methods 0.000 title claims abstract description 20
- 238000006062 fragmentation reaction Methods 0.000 title claims abstract description 20
- 239000012634 fragment Substances 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000002788 crimping Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 30
- 238000000034 method Methods 0.000 description 20
- 238000013527 convolutional neural network Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
- G06V40/63—Static or dynamic means for assisting the user to position a body part for biometric acquisition by static guides
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种片段化的高压线探测方法和装置,其中,探测方法包括:获取待检测图像,将所述待检测图像划分为至少两个图像块;对所述图像块进行分类,得到包含高压线的第一类图像块和不包含高压线的第二类图像块,并舍弃所述第二类图像块;对所述第一类图像块进行高压线特征提取,获取高压线的边缘特征图;对所述高压线的边缘特征图进行线段检测,获取高压线的片段图;对所述高压线的片段图中的线片段进行拼接,获取高压线指示图。本发明能够完成对高压线的全景复原得到完整的高压线指示图,从而有效避免由于对高压线位置的错误判断而发生的飞行危险。
Description
技术领域
本发明涉及一种低空飞行时的威胁物探测方法,尤其涉及一种片段化的高压线探测方法和装置,属于航空安全技术领域。
背景技术
随着近年来国家对低空领域使用的不断开放,无人机经常被用来辅助山区救援、物资输送、样本采集等任务。而在低空飞行过程中,地面上存在很多障碍物会对它的飞行安全造成威胁,比如山峰、房屋、高压线等。在这些威胁物当中,高压线是最危险的威胁物之一,无人机若是不能对高压线进行检测,在飞行中撞上高压的电缆,不仅造成损失,还会引发火灾,***等事故。所以高压线检测对无人机飞行安全非常重要,无人机必须在飞行过程中对其进行检测并实施必要的避让策略。
和其他目标检测相比较而言,高压线检测具有自身的特点和难点。高压线在航拍视频图像中的表观特征具有断续性,出现在图像中的部分时隐时现,极少以完整的线形式出现;且高压线表现的视觉显著度较低,可用于检测的信息量极少,很难通过提取完整的高压线特征来进行检测。另外,航拍视频的背景比较复杂,存在一些与高压线一样具有线特征的疑似目标,例如树枝,山峰、河流、房屋建筑物等的边缘都具有线特征。所以在检测过程中,高压线容易与背景中的疑似目标相混淆,难以区辨。这也是很多的高压线检测方法都不能很好的适用于空基场景。因此,为了保障飞行器的低空飞行,亟需提出一种有效的高压线探测方法。
发明内容
本发明提供一种片段化的高压线探测方法和装置,用来克服现有技术中在低空飞行时对高压线进行探测时,容易将高压线与背景中的疑似目标相混淆的技术缺陷。
本发明提供一种片段化的高压线探测方法,包括:
获取待检测图像,将所述待检测图像划分为至少两个图像块;
对所述图像块进行分类,得到包含高压线的第一类图像块和不包含高压线的第二类图像块,并舍弃所述第二类图像块;
对所述第一类图像块进行高压线特征提取,获取高压线的边缘特征图;
对所述高压线的边缘特征图进行线段检测,获取高压线的片段图;
对所述高压线的片段图中的线片段进行拼接,获取高压线指示图。
进一步地,所述对所述图像块进行分类,得到包含高压线的第一类图像块和不包含高压线的第二类图像块,并舍弃所述第二类图像块,包括:
对所述至少两个图像块进行属性分析,当所述图像块的属性为第一属性时,将所述图像块记为第一类图像块;当所述图像块的属性非第一属性时,将所述图像块为记第二类图像块。
进一步地,所述对所述第一类图像块进行高压线特征提取,获取高压线的边缘特征图,包括:
根据下述式1、式2对所述每一个第一类图像块进行高压线特征提取,获取所述每一个第一类图像块的最终边缘特征图,将所述每一个第一类图像块的最终边缘特征图进行组合,得到所述高压线的边缘特征图,
其中,I是第一类图像块,Ii是所述每一个第一类图像块第i个方向上的特征图,Ei是所述每一个第一类图像块第i方向上最终的边缘特征图,0<i≤360/Ω,Ω≤360°,Fi=Ka(θi)*Fa+Kb(θi)*Fb+Kc(θi)*Fc+Kd(θi)*Fd是θi方向上的滤波函数,θi=iΩ,其中,Fa,Fb,Fc,Fd是使用三阶高斯导数在四个方向上生成的滤波函数,Ka(θi),Kb(θi),Kc(θi),Kd(θi)是计算θi方向上的滤波函数Fi时的插值函数。
进一步地,所述对所述第一类图像块进行高压线特征提取,获取高压线的边缘特征图之前还包括:根据式3确定所述每一个第一类图像块的自主选择参数σ,所述σ决定所述每一个第一类图像块滤波函数的权重,
其中,C是所述每一个第一类图像块的对比度;
滤波函数Fi为满足预设权重的滤波函数。
进一步地,所述对所述高压线的边缘特征图进行线段检测,获取高压线的片段图,包括:
排除所述高压线的边缘特征图中的第一线段,其中所述第一线段的长度小于第一阈值;
连接所述高压线的边缘特征图中的关联点与被关联点,其中所述关联点与被关联点的距离小于等于所述第二阈值,第一阈值大于第二阈值。
进一步地,对所述高压线的片段图中的线片段进行拼接,获取高压线指示图,包括:
所述高压线的片段图中的线段集合记为S={l1,l2,l3,...,li-1,li,li+1,...,ln},li表示集合中的高压线的片段;
当所述li和所述lj全部满足下述三个条件,连接所述li和所述lj,获取所述高压线指示图,其中:
(1)lj的起点横坐标比li的终点横坐标大;
(2)li的终点和lj起点的纵坐标相差最小;
(3)li和lj的斜率相差最小。
本发明还提供一种片段化的高压线检测装置,包括:
图像分割器,所述图像分割器用于将所述待检测图像划分为至少两个图像块;
分类器,所述分类器用于对所述图像块进行分类,得到包含高压线的第一类图像块和不包含高压线的第二类图像块,并舍弃所述第二类图像块;
滤波器,所述滤波器用于对所述第一类图像块进行高压线特征提取,获取高压线的边缘特征图;
线段检测器,所述线段检测器用于对所述高压线的边缘特征图进行线段检测,获取高压线的片段图;
线段拼接器,所述线段拼接器用于对所述高压线的片段图中的线片段进行拼接,获取高压线指示图。
进一步地,所述分类器中预先存储用于定义所述图像块属性的参数,
所述分类器对所述图像块进行属性分析,当所述图像块的参数满足第一属性的参数时,所述分类器将所述图像块记为第一类图像块;
当所述图像块的参数不满足第一属性的参数时,所述分类器将所述图像块记为第二类图像块。
进一步地,所述滤波器根据下述式1、式2对所述每一个第一类图像块进行高压线特征提取,获取所述每一个第一类图像块的最终边缘特征图,将所述每一个第一类图像块的最终边缘特征图进行组合,得到所述高压线的边缘特征图,
其中,I是第一类图像块,Ii是所述每一个第一类图像块第i个方向上的特征图,Ei是所述每一个第一类图像块第i方向上最终的边缘特征图,0<i≤360/Ω,Ω≤360°,Fi=Ka(θi)*Fa+Kb(θi)*Fb+Kc(θi)*Fc+Kd(θi)*Fd是θi方向上的滤波函数,θi=iΩ,其中,Fa,Fb,Fc,Fd是使用三阶高斯导数在四个方向上生成的所述滤波器的滤波函数,Ka(θi),Kb(θi),Kc(θi),Kd(θi)是计算θi方向上的滤波函数Fi时的插值函数。
进一步地,所述滤波器对所述每一个第一类图像块进行高压线特征提取之前,还包括根据式3确定所述每一个第一类图像块的自主选择参数σ,根据所述σ确定所述滤波器对所述每一个第一类图像块的滤波权重,
其中,C是所述每一个第一类图像块的对比度;
所述滤波函数Fi为满足预设权重的滤波函数。
本发明提供的片段化的高压线检测方法和装置能够通过对待检测图像进行划分、分类、高压线特征提取、线段化以及线段拼接,最终完成对高压线的全景复原,得到完整的高压线指示图,从而能够有效避免由于对高压线位置的错误判断而发生的飞行危险,为低空飞行条件的高压线威胁提供了具有明显应用价值的解决方案。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明片段化的高压线检测方法实施例的流程图;
图2为本发明片段化的高压线检测方法边缘特征提取过程的示意图;
图3为本发明片段化的高压线探测方法的效果图;
图4为本发明的片段化的高压线探测装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明片段化的高压线检测方法实施例的流程图。如图1所示,本实施例提供的片段化的高压线检测方法包括:
S101:获取待检测图像,将待检测图像划分为至少两个图像块。
其中,待检测图像作为本发明高压线探测方法实施的对象,来自于飞机的摄像***对于飞机飞行前方的景象拍摄。
获取到待检测图像后,首先需要对待检测图像进行划分,将每一帧待检测图像划分为很多的图像块(patch),该划分操作能够将待检测图像划分为多patch,从而在后续操作中能够对每一个patch进行检测分析,为高压线的清楚辨别提供有效的检测基础。一般进行划分操作的实施主体为一图像分割器,该图像分割器中存储有预设的划分尺寸,在进行划分操作时,图像分割器会按照预设尺寸对每一帧的待检测图像进行划分,得到尺寸均一一致的多个patch。具体的,本发明中对预设尺寸没有具体的尺寸要求,只要该预设尺寸能够满足后续的分类操作即可。
S102:对图像块进行分类,得到包含高压线的第一类图像块和不包含高压线的第二类图像块,并舍弃第二类图像块。
由于划分得到的多个patch中,有的patch中包含高压线片段,有的patch中不包含高压线片段,因此可以通过分类将包含高压线片段与不包含高压线片段的patch分开,当划分完毕后,可以将不包含高压线的patch舍弃掉,重点对包含有高压线的patch进行分析。
S103:对第一类图像块进行高压线特征提取,获取高压线的边缘特征图。
对于第一类patch,虽然其中包含了高压线片段,但是并不是第一类patch中的所有内容都是高压线,因此对第一类patch进行高压线的边缘特征提取,只获取其中含有高压线的那部分图像数据量,过滤掉不含有高压线的那部分图像数据,因此最终获取的高压线的边缘特征图是关于高压线图像的最重要的结构。
S104:对高压线的边缘特征图进行线段检测,获取高压线的片段图。
对上述得到的高压线的边缘特征图进行线段化检测,得到的高压线的片段图中含有多条高压线的片段,这些高压线的片段是待检测图像中所包含的所有高压线的片段。
S105:对高压线的片段图中的线片段进行拼接,获取高压线指示图。
由于高压线的片段图中获得的所有片段是不连续的,并不能表示待检测图像中完整的高压线位置,因此可以利用高压线片段之间的空间关联关系,将琐碎的多个高压线片段进行合理拼接,最终获取含有完整高压线的高压线指示图,从而在该高压线指示图中就可以明确识别出高压线所在的具***置。
本发明提供的片段化的高压线检测方法能够通过对待检测图像进行划分、分类、高压线特征提取、线段化以及线段拼接,最终完成对高压线的全景复原,得到完整的高压线指示图,从而能够明确识别出高压线所在的具***置,有效的避免了由于对高压线位置的错误判断而发生的飞行危险,为低空飞行条件的高压线威胁提供了具有明显应用价值的解决方案。
进一步地,S102包括:对至少两个图像块进行属性分析,当图像块的属性为第一属性时,将图像块记为第一类图像块;当图像块的属性非第一属性时,将图像块为记第二类图像块。
本发明并不限制具体执行分类操作的执行主体,一般地,可以采用分类器进行该项分类操作,优选地,本实施方式中可以具体采用基于卷积神经网络(ConvolutionalNeural Network,简称:CNN)的分类器进行。
该实施例中的CNN分类层包括7层神经组织,分为1个输入层、1个输出层和5个隐含层,5个隐含层包括两个卷积层,两个池化层和一个全连接层。其中输入层和输出层处于两端位置,输入和输出层用来对数据进行输入和输出,隐含层用来对输入的数据进行分析。
在CNN分类器进行分类操作之前,通常都需要对CNN分类器进行训练。在本发明中,训练是指将包含有高压线的图像和不包含高压线的图像输入至CNN分类器中,其中,可以将包含有高压线的图像标记为10,将不包含高压线的图像标记为01,CNN分类器在分析学习这些图像时会通过隐含层对各个图像进行属性的参数分析,其中,必定有一组相同的参数会出现在每个包含有高压线的图像中(这一组相同的参数即为高压线参数),因此CNN分类器会得到如下分析结果:当一个图像中含有这组相同参数时,该图像为第一属性并标记为10。同样的,不包含高压线的图像中是不含有高压线参数的,因此CNN分类器会将不含有该类参数的图像定义为非第一属性并标记为01,经过反复对CNN分类器进行上述训练操作直至CNN分类器能够对输入的图像进行正确分类,该CNN分类器便训练完毕。
因此,将训练完成的CNN分类器对各个patch进行分类,CNN分类器会对patch的属性进行概率分析,当patch属于第一属性的概率大于patch属于非第一属性的概率时,便将该patch记为第一类patch,当CNN分类器检测到patch属于第一属性的概率小于patch属于非第一属性的概率时,便将该patch记为第二类patch,并将第二类patch舍弃,从而完成了对patch的分类操作。此处应该注意的是,划分的patch的尺寸应该与CNN分类器进行训练时所使用的图像的尺寸一致。
进一步地,S103包括:根据下述式1、式2对每一个第一类图像块进行高压线特征提取,获取每一个第一类图像块的最终边缘特征图,将每一个第一类图像块的最终边缘特征图进行组合,得到高压线的边缘特征图,
其中,I是第一类图像块,Ii是每一个第一类图像块第i个方向上的特征图,Ei是每一个第一类图像块第i方向上最终的边缘特征图,0<i≤360/Ω,Ω≤360°,Fi=Ka(θi)*Fa+Kb(θi)*Fb+Kc(θi)*Fc+Kd(θi)*Fd是θi方向上的滤波函数,θi=iΩ,其中,Fa,Fb,Fc,Fd是使用三阶高斯导数在四个方向上生成的滤波函数,Ka(θi),Kb(θi),Kc(θi),Kd(θi)是计算θi方向上的滤波函数Fi时的插值函数。
具体的,在对第一类patch进行特征提取时,本发明设计了一种基于三阶高斯导数的边缘特征提取算法,其中,将三阶高斯导数为核函数的滤波函数作为基函数,通过式1、式2对每一个第一类patch进行特征提取。
在对每一个第一类patch进行特征提取时,利用式1、式2从i个方向对每一个第一类patch进行计算,再将此i个方向上的计算结果进行迭代加权得到每一个第一类patch的最终的边缘特征图,按照此方法得到每一个第一类patch的最终的边缘特征图,然后按照每一个第一类patch在待检测图像中的位置将每一个第一类patch的最终的边缘特征图进行组合,最终得到高压线的边缘特征图。
例如,在对一个第一类patch进行边缘特征提取时,我们每隔Ω=10°就对该第一类patch进行一次计算,总共进行i=36个计算并迭代更新。图2为本发明片段化的高压线检测方法边缘特征提取过程的示意图,如图2所示,迭代开始时先在θ1(θ1=10°)方向上对该第一类patch进行计算得到I1,因为E0=Ο是零矩阵,所以E1=I1,接着在θ2(θ1=20°)方向上对该第一类patch进行计算得到I2,根据式1、式2将E1andI2进行迭代得到E2,如此循环往复进行下去,直到将36个方向的计算结果都进行了迭代,最后一轮迭代的结果即为该第一类patch的最终边缘特征图,记为E=EM。
按照上述步骤直至完成所有的第一类patch的36个方向上的迭代,得到了所有的第一类patch的最终的边缘特征图,将每一个第一类图像块的最终边缘特征图进行组合,得到高压线的边缘特征图。
通过在36个方向上进行计算,我们得到信息丰富的边缘特征图,为下一个步骤中检测高压线片段提供了充足的信息,降低了***检测高压线时的漏检率。
进一步地,在S103之前还包括:根据式3确定每一个第一类图像块的自主选择参数σ,σ决定每一个第一类图像块滤波函数的权重,
其中,C是每一个第一类图像块的对比度;
滤波函数Fi为满足权重的滤波函数。
由于每一个第一类patch又存在区别,因此为了在进行边缘特征提取时能够针对性的得到每一个第一类patch的最佳最终边缘特征图,在进行S103之前,还需要确定每一个第一类patch的自主选择参数σ,根据该自主选择参数σ确定对每一个第一类patch进行边缘特征提取时的滤波函数的权重,从而保证在进行后续的线段化检测时漏检率较低,提高整体的检测性能。
其中,式3中的C是每一个第一类patch的对比度,σ根据对比度C的变化而取值,σ的取值范围在0到1之间。
进一步地,S104包括:排除高压线的边缘特征图中的第一线段,其中第一线段的长度小于第一阈值;
连接高压线的边缘特征图中的关联点与被关联点,其中关联点与被关联点的距离小于等于第二阈值,第一阈值大于第二阈值。
在本发明中,具体可以利用霍夫变换算法对高压线的边缘特征图进行线段检测,通过设置检测线段长度的第一阈值MinL和两点连接的最大间隔阈值,即第二阈值MaxG,其中,线段长度小于第一阈值MinL的线段将被排除,间隔小于第二阈值MaxG的两个点将被连接在一起,最终形成高压线的片段图。此处应该注意的是,不同的第一阈值和第二阈值的取值会得到不同的线段检测效果,因此为了降低漏检率,使线段提取过程中获得多的线段,可以将第一阈值MinL设置为20,将第二阈值MaxG设置为7-8。
进一步地,S105包括:高压线的片段图中的线段集合记为S={l1,l2,l3,...,li-1,li,li+1,...,ln},li表示集合中的高压线的片段;
当li和lj全部满足下述三个条件,连接li和lj,获取高压线指示图,其中:
(1)lj的起点横坐标比li的终点横坐标大;
(2)li的终点和lj起点的纵坐标相差最小;
(3)li和lj的斜率相差最小。
S104中生成了多个高压线的线段后,这些线段并不是连续的、完整的高压线,不能表示待检测图像中完整的高压线的位置。因此,在生成了高压线的片段图后,可以通过利用高压线片段之间的空间关联关系,将琐碎的高压线片段拼接成为完整的高压线段,将归属于同一条高压线的片段连接起来,最终通过生成高压线指示图将飞行前方的高压线真实清楚的还原出来。
具体的,可以将高压线的片段图中的数个线段以集合S表示,S={l1,l2,l3,...,li-1,li,li+1,...,ln},每次以集合S中横坐标最小的线段为起始线段,在S集合中按照上述三个特点寻找最优的线段与其进行连接,循环往复进行下去,就可以找到属于同一条高压线的线片段并完成对该高压线的拼接,最终得到了能够明显的标示出高压线所处确切位置的高压线指示图,从而当飞行器在飞行时能够通过高压线指示图对前方高压线做出有效地避让动作。
本发明提供的高压线检测方法,针对飞行器上的摄像机拍摄到的前方视频进行高压线探测,检测过程中对视频的各帧图像实施S101至S105的处理。为了更清楚的描述检测过程,我们通过图3进行描述,图3为本发明片段化的高压线探测方法的效果图,请参考图3。其中,图3的(a)是视频中的某一帧图像(待检测图像),如果不对其进行处理,飞行器就不会对高压线进行避让,这样会造成极大的危险和损失。利用我们的方法检测图3的(a)中的高压线,需要将图3的(a)中的图像划分多patch得到图3的(b),图3的(b)中各个patch的尺寸均一。划分得到多patch后,并不是所有patch中都包含有高压线,为了排除没有包含高压线的patch,本实施例采用CNN分类器对这些patch进行分类,从图3的(c)中可以看出,经过CNN分类器分类之后只保留那些被分类器判断为包含有高压线的第一类patch,排除了大量的不包含有高压线的第二类patch。图3的(d)所示即为针对第一类patch进行多个方向上的边缘特征提取后得到的边缘特征图,通过将不同方向上的计算结果进行加权计算得到了高压线边缘的丰富信息,从而不至于影响到之后的线段化检测。图3的(e)是使用霍夫变换检测出来的高压线的片段图。最终,采用线段之间的空间关系进行关联得到高压线的指示图,即图3的(f),图3的(f)中将高压线的具***置在原图像中标出,使得高压线在视频图像中的位置更加清楚。
图4为本发明的片段化的高压线探测装置的结构示意图,如图4所示,本发明的片段化的高压线探测装置包括:
图像分割器1,图像分割器1用于将待检测图像划分为至少两个图像块;分类器2,分类器2用于对图像块进行分类,得到包含高压线的第一类图像块和不包含高压线的第二类图像块,并舍弃第二类图像块;滤波器3,滤波器3用于对第一类图像块进行高压线特征提取,获取高压线的边缘特征图;线段检测器4,线段检测器4用于对高压线的边缘特征图进行线段检测,获取高压线的片段图;线段拼接器5,线段拼接器5用于对高压线的片段图中的线片段进行拼接,获取高压线指示图。
进一步地,分类器2中预先存储用于定义图像块属性的参数,分类器2对图像块进行属性分析,当图像块的参数满足第一属性的参数时,分类器2将图像块记为第一类图像块;当图像块的参数不满足第一属性的参数时,分类器2将图像块记为第二类图像块。
进一步地,滤波器3根据下述式1、式2对每一个第一类图像块进行高压线特征提取,获取每一个第一类图像块的最终边缘特征图,将每一个第一类图像块的最终边缘特征图进行组合,得到高压线的边缘特征图,
其中,I是第一类图像块,Ii是每一个第一类图像块第i个方向上的特征图,Ei是每一个第一类图像块第i方向上最终的边缘特征图,0<i≤360/Ω,Ω≤360°,Fi=Ka(θi)*Fa+Kb(θi)*Fb+Kc(θi)*Fc+Kd(θi)*Fd是θi方向上的滤波函数,θi=iΩ,其中,Fa,Fb,Fc,Fd是使用三阶高斯导数在四个方向上生成的滤波器的滤波函数,Ka(θi),Kb(θi),Kc(θi),Kd(θi)是计算θi方向上的滤波函数Fi时的插值函数。
进一步地,滤波器3对每一个第一类图像块进行高压线特征提取之前,还包括根据式3确定每一个第一类图像块的自主选择参数σ,根据σ确定滤波器3对每一个第一类图像块的滤波权重,
其中,C是每一个第一类图像块的对比度;
滤波函数Fi为满足预设权重的滤波函数。
进一步地,线段检测器4中预先存储第一阈值和第二阈值;线段检测器4排除高压线的边缘特征图中的第一线段,其中第一线段的长度小于第一阈值;线段检测器4连接高压线的边缘特征图中的关联点与被关联点,其中关联点与被关联点的距离小于等于第二阈值,第一阈值大于第二阈值。
进一步地,高压线的片段图中的线段集合记为S={l1,l2,l3,...,li-1,li,li+1,...,ln},li表示集合中的高压线的片段;当li和lj全部满足下述三个条件,线段拼接器5连接li和lj,其中:
(1)lj的起点横坐标比li的终点横坐标大;
(2)li的终点和lj起点的纵坐标相差最小;
(3)li和lj的斜率相差最小。
本实施例的装置,可以用于执行图1至图3所示方法实施例的技术方案,其实现原理类似,此处不再赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (4)
1.一种片段化的高压线探测方法,其特征在于,包括:
获取待检测图像,将所述待检测图像划分为至少两个图像块,所述待检测图像为飞行前方的景象拍摄所得;
对所述图像块进行分类,得到包含高压线的第一类图像块和不包含高压线的第二类图像块,并舍弃所述第二类图像块;
对所述第一类图像块进行高压线特征提取,获取高压线的边缘特征图;
对所述高压线的边缘特征图进行线段检测,获取高压线的片段图;
对所述高压线的片段图中的线片段进行拼接,获取高压线指示图;
所述对所述第一类图像块进行高压线特征提取,获取高压线的边缘特征图,包括:
根据下述式1、式2对每一个所述第一类图像块进行高压线特征提取,获取每一个所述第一类图像块的最终边缘特征图,将每一个所述第一类图像块的最终边缘特征图进行组合,得到所述高压线的边缘特征图,
其中,I是第一类图像块,是每一个所述第一类图像块第i个方向上的特征图,是每
一个所述第一类图像块第i方向上最终的边缘特征图,0<i≤360/Ω, Ω≤360°,是方向上的滤波函数,θi=i
Ω,其中,是使用三阶高斯导数在四个方向上生成的滤波函数,是计算方向上的滤波函数时的插值函数;
所述对所述第一类图像块进行高压线特征提取,获取高压线的边缘特征图之前还包括:根据式3确定每一个所述第一类图像块的自主选择参数σ,所述σ决定每一个所述第一类图像块滤波函数的权重,
其中,C是每一个所述第一类图像块的对比度;
滤波函数为满足所述权重的滤波函数;
所述对所述高压线的边缘特征图进行线段检测,获取高压线的片段图,包括:
排除所述高压线的边缘特征图中的第一线段,其中所述第一线段的长度小于第一阈值;
连接所述高压线的边缘特征图中的关联点与被关联点,其中所述关联点与被关联点的距离小于等于第二阈值,所述第一阈值大于所述第二阈值;
对所述高压线的片段图中的线片段进行拼接,获取高压线指示图,包括:
所述高压线的片段图中的线段集合记为,表示集
合中的高压线的片段;
当所述li和lj全部满足下述三个条件,连接所述li和所述lj,获取所述高压线指示图,其中:
(1) lj的起点横坐标比li的终点横坐标大;
(2) li的终点和lj起点的纵坐标相差最小;
(3) li和lj的斜率相差最小。
2.根据权利要求1所述的探测方法,其特征在于,所述对所述图像块进行分类,得到包含高压线的第一类图像块和不包含高压线的第二类图像块,并舍弃所述第二类图像块,包括:
对所述至少两个图像块进行属性分析,当所述图像块的属性为第一属性时,将所述图像块记为第一类图像块;当所述图像块的属性非第一属性时,将所述图像块为记第二类图像块。
3.一种片段化的高压线探测装置,其特征在于,包括:
图像分割器,所述图像分割器用于将待检测图像划分为至少两个图像块,所述待检测图像为飞行前方的景象拍摄所得;
分类器,所述分类器用于对所述图像块进行分类,得到包含高压线的第一类图像块和不包含高压线的第二类图像块,并舍弃所述第二类图像块;
滤波器,所述滤波器用于对所述第一类图像块进行高压线特征提取,获取高压线的边缘特征图;
线段检测器,所述线段检测器用于对所述高压线的边缘特征图进行线段检测,获取高压线的片段图;
线段拼接器,所述线段拼接器用于对所述高压线的片段图中的线片段进行拼接,获取高压线指示图;
所述滤波器根据下述式1、式2对每一个所述第一类图像块进行高压线特征提取,获取每一个所述第一类图像块的最终边缘特征图,将每一个所述第一类图像块的最终边缘特征图进行组合,得到所述高压线的边缘特征图,
其中,I是第一类图像块,是每一个所述第一类图像块第i个方向上的特征图,是每
一个所述第一类图像块第i方向上最终的边缘特征图,0<i≤360/Ω, Ω≤360°,是方向上的滤波函数,θi=i
Ω,其中,是使用三阶高斯导数在四个方向上生成的所述滤波器
的滤波函数,是计算方向上的滤波函数时的插值函数;
所述滤波器对每一个所述第一类图像块进行高压线特征提取之前,还包括根据式3确定每一个所述第一类图像块的自主选择参数σ,根据所述σ确定所述滤波器对每一个所述第一类图像块的滤波权重,
其中,C是每一个所述第一类图像块的对比度;
所述滤波函数为满足预设权重的滤波函数。
4.根据权利要求3所述的探测装置,其特征在于,所述分类器中预先存储用于定义所述图像块属性的参数,
所述分类器对所述图像块进行属性分析,当所述图像块的参数满足第一属性的参数时,所述分类器将所述图像块记为第一类图像块;
当所述图像块的参数不满足第一属性的参数时,所述分类器将所述图像块记为第二类图像块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610249136.5A CN105825207B (zh) | 2016-04-20 | 2016-04-20 | 片段化的高压线探测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610249136.5A CN105825207B (zh) | 2016-04-20 | 2016-04-20 | 片段化的高压线探测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105825207A CN105825207A (zh) | 2016-08-03 |
CN105825207B true CN105825207B (zh) | 2019-05-14 |
Family
ID=56526296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610249136.5A Active CN105825207B (zh) | 2016-04-20 | 2016-04-20 | 片段化的高压线探测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105825207B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106934455B (zh) * | 2017-02-14 | 2019-09-06 | 华中科技大学 | 基于cnn的遥感影像光学适配结构选取方法及*** |
CN109559306B (zh) * | 2018-11-27 | 2021-03-12 | 广东电网有限责任公司广州供电局 | 基于边缘检测的交联聚乙烯绝缘层表面平整性检测方法 |
CN111866484B (zh) * | 2019-04-30 | 2023-06-20 | 华为技术有限公司 | 点云编码方法、点云解码方法、装置及存储介质 |
CN110428424B (zh) * | 2019-07-02 | 2023-04-07 | 中国航空工业集团公司雷华电子技术研究所 | 基于深度学习的雷达回波图像高压线分割方法 |
CN110349104A (zh) * | 2019-07-08 | 2019-10-18 | 创新奇智(南京)科技有限公司 | 一种计算机检测带凹槽螺栓松动的方法、计算机可读介质及*** |
CN112040117A (zh) * | 2020-07-22 | 2020-12-04 | 广东顺德电力设计院有限公司 | 一种高压电线巡检拍摄的方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930280A (zh) * | 2012-10-05 | 2013-02-13 | 中国电子科技集团公司第十研究所 | 从红外图像中自动识别架空高压线的方法 |
CN103761722A (zh) * | 2014-01-16 | 2014-04-30 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 一种用于输电线路固定翼无人机巡视图像精确拼接的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8306327B2 (en) * | 2008-12-30 | 2012-11-06 | International Business Machines Corporation | Adaptive partial character recognition |
-
2016
- 2016-04-20 CN CN201610249136.5A patent/CN105825207B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930280A (zh) * | 2012-10-05 | 2013-02-13 | 中国电子科技集团公司第十研究所 | 从红外图像中自动识别架空高压线的方法 |
CN103761722A (zh) * | 2014-01-16 | 2014-04-30 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 一种用于输电线路固定翼无人机巡视图像精确拼接的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105825207A (zh) | 2016-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105825207B (zh) | 片段化的高压线探测方法和装置 | |
Jain et al. | Weapon detection using artificial intelligence and deep learning for security applications | |
CN109034044B (zh) | 一种基于融合卷积神经网络的行人再识别方法 | |
Zhao et al. | SVM based forest fire detection using static and dynamic features | |
US8503792B2 (en) | Patch description and modeling for image subscene recognition | |
CN104573111B (zh) | 一种监控视频中的行人数据结构化存储及预检索方法 | |
KR102328734B1 (ko) | 이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치 | |
CN108985192A (zh) | 一种基于多任务深度卷积神经网络的视频烟雾识别方法 | |
Masurekar et al. | Real time object detection using YOLOv3 | |
CN109472193A (zh) | 人脸检测方法及装置 | |
CN112287983B (zh) | 一种基于深度学习的遥感图像目标提取***和方法 | |
CN114255403A (zh) | 基于深度学习的光学遥感图像数据处理方法及*** | |
CN111985374A (zh) | 人脸定位方法、装置、电子设备及存储介质 | |
CN105139429A (zh) | 一种基于火焰显著图和空间金字塔直方图的火灾检测方法 | |
CN111062950A (zh) | 一种用于多类别森林场景图像分割的方法、存储介质和设备 | |
Petso et al. | Individual animal and herd identification using custom YOLO v3 and v4 with images taken from a uav camera at different altitudes | |
CN115272882A (zh) | 一种基于遥感影像的离散建筑物检测方法及*** | |
CN115457414A (zh) | 一种基于改进残差网络的无人机异常行为识别方法 | |
CN115527098A (zh) | 基于全局均值对比度空间注意力的红外小目标检测方法 | |
Zheng et al. | A lightweight algorithm capable of accurately identifying forest fires from UAV remote sensing imagery | |
CN116503715B (zh) | 一种基于级联网络的林火检测方法 | |
Kang et al. | Robust adversarial attack against explainable deep classification models based on adversarial images with different patch sizes and perturbation ratios | |
Scully et al. | Type III solar radio burst detection: A deep learning approach | |
CN112598032A (zh) | 面向红外图像对抗攻击的多任务防御模型构建方法 | |
He et al. | Real-time pedestrian warning system on highway using deep learning methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |