CN111553204B - 一种基于遥感影像的输电杆塔检测方法 - Google Patents
一种基于遥感影像的输电杆塔检测方法 Download PDFInfo
- Publication number
- CN111553204B CN111553204B CN202010279995.5A CN202010279995A CN111553204B CN 111553204 B CN111553204 B CN 111553204B CN 202010279995 A CN202010279995 A CN 202010279995A CN 111553204 B CN111553204 B CN 111553204B
- Authority
- CN
- China
- Prior art keywords
- drbox
- detection
- priori
- layer
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 145
- 230000005540 biological transmission Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 14
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000002457 bidirectional effect Effects 0.000 claims 1
- 230000005764 inhibitory process Effects 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 13
- 230000003287 optical effect Effects 0.000 abstract description 9
- 238000010276 construction Methods 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 6
- 238000007619 statistical method Methods 0.000 abstract 1
- 238000011160 research Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种一种基于遥感影像的输电杆塔检测方法,主要是利用多源高分辨率卫星遥感数据实现输电杆塔目标自动检测提取,针对计算机视觉中物体检测方法在卫星遥感图像上存在的问题,克服了杆塔本体在俯视视角下尺寸较小、杆塔形态多变等问题,实现高分辨率光学遥感图像中的输电杆塔自动检测。通过对输电杆塔检测结果的数量统计分析,可以指导大范围电网工程建设进度的常态化监控。
Description
技术领域
本发明涉及电网建设工程领域,并且尤其涉及一种基于光学卫星遥感影像的输电杆塔检测方法。
背景技术
为实现电网建设过程的进度监测,传统的技术手段主要包括人工巡视等。针对环境极端多变、地形地貌复杂危险的大区域联网工程,传统方式存在监测范围小、危险性高、受环境约束强、可靠性差等诸多约束和缺陷,在覆盖范围、时效性、可靠性及安全性等各方面存在不足,给工程的常态化、高效化、精细化的监测与审计业务带来挑战。
与传统观测手段相比,卫星观测具有无可比拟的巨大优势,特别适用于大范围配置、远距离输电、环境变化复杂的电网形态。具体而言,卫星遥感观测覆盖面广,可快速获取大范围数据资料;卫星遥感观测获取信息的速度快,更新周期短,具有动态及时的特点,是人工实地测量和航空摄影测量无法比拟的。其次,卫星遥感观测获取信息受条件限制少,在沙漠、高山峻岭、高海拔等自然条件极为恶劣、人类难以到达的地区也可及时获取数据。此外,卫星遥感观测获取的信息量大,可以根据任务不同,采用可见光、紫外线、红外线、微波等不同的波段和遥感仪器,全天时、全天候获取多维度海量信息。因此,充分利用多源高分辨率卫星遥感数据实现大区域电网工程进度的常态化进度监控。
对于高分辨率光学遥感图像中的杆塔自动检测技术,其中,目标检测是计算机视觉中一个重要的研究方向,但与一般的计算机视觉中目标检测问题相比,遥感图像上的目标检测存在更多的难点:(1)目标尺寸较小。受限于遥感图像的分辨率,有价值的待检测目标长宽通常只有数十像素。(2)目标大小存在先验信息。自然图像上的物体存在近大远小的现象,同类问题在不同图像上的大小变化范围较大,而遥感图像具有确定的分辨率信息,因此待检测目标大小已知。(3)目标角度随机。自然图像上的目标物体通常具有较为一致的角度,例如直立或水平。而遥感图像获得的是目标物体的俯视图像,目标的姿态角随机出现。
与基于航空(直升机或无人机)手段的输电线路本体状态监测技术研究相比,现有的基于卫星遥感的输电线路本体状态监测技术研究较少,因为过去很长一段时间内卫星遥感的空间分辨率无法满足本体状态监测的需求。因此,对于输电杆塔的检测,只能以点状目标的形式分辨出来,无法实现杆塔类型的识别。近年来,卫星遥感作为对地观测的重要手段发展非常迅速。WorldView系列光学卫星空间分辨率达到0.3m,能获取可见光到近红外8个光谱波段,重访周期2天左右。同时,RADARSAT-2等合成孔径雷达(SAR)卫星空间分辨率达到1m,可获取微波波段地物目标信息,满足输电线路本体大幅结构状态监测的需求,相关研究日益丰富。2003年Liao等从淮河洪水淹没区的SAR图像中清晰地分辨了输电杆塔的目标与走向。2005年,朱俊杰对比了北京北五环上青桥附近的SAR图像和QuickBird图像,在两幅影像中都清晰地辨别了立交桥旁边的杆塔。这两个研究中使用的SAR数据空间分辨率达到1.25m,输电杆塔在SAR影像上表现为明显的三角形状亮斑,可以清晰识别。在此基础上,2007年Yang等依据高分辨率极化SAR图像建立了自动的输电杆塔识别模型,准确地提取了农田中的输电线路,提高了输电杆塔识别的自动化水平。但是,至此为止的研究均处于本体简单识别阶段,对于输电杆塔的精细识别缺少相关研究工作。除上述基于SAR影像开展的研究外,基于光学卫星遥感数据的输电线路检测研究也在不断发展。2015年,Chen等构建输电导线在Cluster Randon(CR)频域空间内的峰值特征,于国内外首次实现从Quickbird光学卫星影像上提取输电导线,具有里程碑意义。然而,该研究中CR频域峰值特征其实对应着导线及其阴影的边缘,需要借助先验条件去除阴影以降低虚警率。这说明单独使用CR频域峰值特征无法鲁棒、高精度地提取输电导线,有必要改进算法对输电线路本体特征进行进一步挖掘,以实现精确地输电线路本体的准确提取。
发明内容
面向大范围电网工程建设进度的常态化监控需求,针对人工巡视等传统技术手段在电网建设过程的进度监测和审计中存在的问题,本发明提出一种基于遥感影像的输电杆塔检测方法,包括:
步骤1,采用遥感影像作为数据源,构造输电杆塔样本空间,形成输电杆塔检测数据集;
步骤2,对所述输电杆塔检测数据集进行标注处理;对其中包含杆塔的遥感影像进行标注,以提高杆塔检测对于不同分辨率、不同波段、不同成像角度遥感数据的适应性;
步骤3,将输电杆塔检测数据集拆分为本体数据集和阴影数据集;
步骤4,针对所述本体数据集和阴影数据集,分别构造各自的多角度可旋转候选框DRBox深度学习检测模型及其目标检测网络;所述多角度可旋转候选框DRBox是带有角度信息的可旋转候选框,可以在输入图像的不同位置搜索待检测目标;
步骤5,将输电杆塔检测任务划分为杆塔本体检测和阴影检测两部分,分别基于各自的多角度可旋转候选框DRBox深度学习检测模型进行目标检测网络训练;
步骤6,将所述遥感影像切割为多幅预设尺寸的影像小图;
步骤7,针对所述多幅影像小图,基于杆塔本体和阴影的多角度可旋转候选框DRBox深度学习检测模型的目标检测网络,分别进行输电杆塔的本体检测和阴影检测;
步骤8,将本体检测结果和阴影检测结果还原经纬度信息,融合到原始遥感影像上,得到最终的输电杆塔的检测结果。
通过本发明的光学卫星遥感影像输电杆塔检测方法,利用高分辨率遥感影像实现复杂环境下大范围输电线路杆塔目标提取。首先,为了解决卫星遥感由于照射角度变化,杆塔本体形状信息可能获取不全的问题,提出结合杆塔本体和阴影信息综合进行杆塔目标检测和类型识别的技术方案,使检测框架能够分别适应斜向视角(本体结构特征明显)和正下方视角(本体结构特征不明显)两种情形。其次,在杆塔目标检测技术方案中,针对杆塔目标长宽比较大、目标方向影响较大的问题,提出了多角度可旋转候选框DRBox深度学习检测模型解决遥感图像可能存在的获取视角差异干扰检测结果的问题,有效适应遥感图像中输电杆塔方向的任意性。经过与人工标注结果的比对,本发明方法的输电杆塔检测召回率可达到80%,准确率可达到88.9%,极大减少工程化作业中的人力投入,提高了复杂环境下大范围输电线路进度监测效率,为工程过程辅助审计提供决策依据。
附图说明
图1 WorldView-1卫星电塔示意图(1:2000);
图2 WorldView-2卫星电塔示意图(1:2000);
图3杆塔边框标注的示意图;
图4 DRBox网络结构示意图;
图5杆塔检测工作流程图;
图6蒙东一期输电线路杆塔检测结果图;
图7为本发明实施例中输电杆塔检测方法的流程图。
具体实施方式
在下面的描述中,出于说明的目的,为了能够彻底理解本发明的实施例,阐述了许多特定的细节。然而,很明显对本领域技术人员来说,没有这些特定的细节也可以实施本发明。下面的详细说明包括对附图的参考,这些附图构成详细说明的一部分。附图示出了按照示例性实施例的图例。这些示例性实施例(它们在这里也称为“示例”)被充分详细地描述,以使得本领域技术人员能够实施本主题。实施例可以组合,可以利用其它的实施例,或者在不背离权利要求的范围的情况下可以做出结构上、逻辑上的改变。因此,下面的详细说明不应被理解为限制性的,范围由随附的权利要求及其等同物确定。
如图7所示,本发明提出了一种基于光学卫星遥感影像的输电杆塔检测方法,包括:
步骤1,采用遥感影像作为数据源,构造输电杆塔样本空间,形成输电杆塔检测数据集,本例中的遥感影像选用高分辨率多源卫星遥感影像;
与自然图像不同的是,影响遥感成像的因素众多,包括轨道高度、卫星天顶角等卫星固有参数,同时受到云、雨、雾等气象条件的影响,因此不同卫星对同一场景进行成像,其遥感数据存在亮度、色调等方面的差异,即使同一卫星在不同时间过境,其成像质量也存在差别。因此为了能够最大程度提高杆塔检测模型的性能,需要广泛使用国内外主流高分辨率卫星数据,才能构建一个数据量大、代表性强的样本空间,如图1和2所示。
步骤2,对所述输电杆塔检测数据集进行标注处理,对其中包含杆塔的多源遥感数据进行标注,以提高杆塔检测对于不同分辨率、不同波段、不同成像角度遥感数据的适应性。
为了最大程度保证杆塔检测模型的精度,需要对包含杆塔的多源遥感数据进行标注。对于杆塔位置而言,利用拉框标注方法,对每一个杆塔标注其最小外接矩形,从而获取杆塔在图像上的具***置。杆塔边框标注示意如图3所示。
从图中可以看出,杆塔在遥感影像上的表现以白色像素为主,在高分辨率遥感影像上可以看到杆塔的主题结构,另外还可以看到杆塔的影子,以及高压线在地上的影子等。为了提高杆塔检测模型的性能,需要对杆塔所在位置进行最小外接矩形的拉框标注,需要保证每一个标注框中都完全覆盖了电塔,不能有遗漏的情况的发生;同时,边框标注又不能过大,如果边框标注过大,将会把更多的背景(如农田、水渠、树木、道路、建筑等)包含到目标的边框中,会导致样本的噪声变大,会影响杆塔检测模型的识别效果。一旦噪声更多,将直接导致杆塔样本的数据分布发生重大变化,不利于一个高召回、低假阳的检测模型的训练和生成。
步骤3,将输电杆塔检测数据集拆分为本体数据集和阴影数据集;
步骤4,针对所述本体数据集和阴影数据集,分别构造各自的多角度可旋转候选框DRBox深度学习检测模型及其目标检测网络;所述多角度可旋转候选框DRBox是带有角度信息的可旋转候选框,可以在输入图像的不同位置搜索待检测目标;
针对高分辨率遥感数据杆塔目标检测的任务特点,兼顾后续杆塔类型识别任务,本发明提出一种多角度可旋转候选框DRBox解决遥感图像上的物体检测问题。
旋转检测框的提出可以有效地适应遥感图像中目标方向的任意性。与传统的候选框相比,旋转检测框具有以下优点:
1)框的大小和长宽比可以反映目标对象的形状;
2)RBox包含的背景像素较少,有利于检测器区分前景和背景点;
3)RBox可有效避免相邻目标候选框之间发生重叠,从而更利于密集目标的检测。
多角度可旋转候选框DRBox是检测中非常重要的一环。卷积网络结构保证可旋转候选框可以在输入图像的不同位置搜索待检测目标,在每个位置,可旋转候选框通过旋转一系列角度来生成多角度的预测结果,这是本发明中的DRBox检测方法同其他基于BBox的检测方法的最大差异。为了减少当前框的总数,在检测中采用的宽高比是与目标类型相一致的。通过这种多角度可旋转候选框策略,使训练网络将检测任务转化为一系列的子任务,每个子任务着重于一个较窄的角度范围内的检测,从而减少了目标旋转对检测产生的影响。
针对目标角度随机变化的问题,本发明提出带有角度信息的可旋转框DRBox。每个DRBox包含7个参数:目标的长度和宽度、目标中心点的横坐标、纵坐标、目标角度、目标被判为前景和背景的概率。
所述构造的目标检测网络由数据输入层、卷积层、先验DRBox层、位置预测层、置信度预测层和损失层组成,如图4所示。
a)数据输入层(Data Input Layer)
训练数据由数据输入层读入,本发明的目标边框信息包含目标的类别标签、目标的中心点坐标、目标的角度和目标的长宽。于一般的检测算法相比,要求训练数据提供带角度信息的目标边框。
b)卷积层(Convolution Layers)
由于VGGNet网络较深,具有更好的特征提取能力,因而本发明的卷积层采用该网络作为预训练模型。
c)先验DRBox层(Prior DRBox Layer)
先验DRBox层连接在卷积网络之后,用于生成一系列的先验DRBox。
先验DRBox的尺寸由算法的输入预先设置。当待检测目标的尺寸固定时,直接设置为目标尺寸;当待检测目标的尺寸在小范围内变化时,先验DRBox的尺寸选为变化范围的平均值;当待检测目标的尺寸差异较大时,使用多组具有不同尺寸的DRBox,并将不同大小的DRBox从不同的卷积层引出。针对多类目标的检测,将先验DRBox按照目标类别、先验尺寸划分为多组,每组DRBox按照一定的策略绑定在一个选定的卷积层上。
先验DRBox的位置由特征图和输入图像的降采样关系得出,每个先验DRBox由特征图上的一个位置生成。例如,对于输入大小为300×300的图像,在8×8的特征图上生成的DRBox将以300/8=37.5像素的步长覆盖输入图像的各个区域。当目标之间的距离小于这一步长时,将会造成对目标的漏检,因此需要根据目标尺寸确定合适的特征图层以保证不会发生上述漏检现象。直观上来讲,尺寸较小的先验DRBox应该由较浅的层生成,而尺寸较大的先验DRBox可以由较深的层生成。通过在不同的卷积层上生成先验DRBox可以使得网络具有检测不同尺寸目标的能力。
为了使得网络具有检测目标角度的能力,需要在先验DRBox中引入角度信息,且角度应当覆盖可能出现的目标角度。当目标需要区分首尾时,先验DRBox的角度取值范围为0到360度,按照预设步长L1离散取值;当目标不需要区分首尾时,先验DRBox的角度取值范围为0到180度,按照预设步长L2离散取值。综上所述,给定特定的目标类型和尺寸,在一个选定卷积层特征图中的每个位置上生成R个具有不同角度的先验DRBox,具有不同尺寸目标的先验DRBox则在不同的卷积层特征图中生成。
d)位置预测层(Location Prediction Layer)
位置预测层生成对每个先验DRBox的位置修正信息,得到预测DRBox的位置信息,由引出DRBox的特征图上的一个3×3的滑动窗口得到。
e)置信度预测层(Confidence Prediction Layer)
置信度预测层对每个先验DRBox生成置信度信息,得到预测DRBox属于每一类的置信度大小。由于在本发明中,先验DRBox与目标类别是绑定的,因此置信度信息为一个2维的向量,分别代表DRBox属于目标和背景的概率,由引出DRBox的特征图上的一个3×3的滑动窗口得到。
f)损失层(MultiDRBox Loss Layer)
损失层计算损失函数并生成网络的误差反传量,包含四部分输入,分别为数据输入层的复杂标签部分,位置预测层、置信度预测层和先验DRBox层的输出。损失层的损失函数由位置损失和置信度损失两部分加权叠加,分别度量位置预测和置信度预测的准确程度,可以写为如下形式:
其中Lconf(x,c)为置信度损失,x为指示真实目标边框和预测DRBox匹配情况的标记变量,c为置信度预测向量;Lloc(x,l,g)为位置损失,l为位置预测向量,即预测DRBox参数与先验DRBox参数的偏移量,g为真实目标DRBox参数与先验DRBox参数的偏移量;α为位置损失权重调节因子,当α=0时,不使用位置损失Lloc(x,l,g);N为匹配上的DRBox的数量。当N=0时,损失层输出0。
在单阶段检测网络DRBox的基础上将任务划分为杆塔本体检测和阴影检测两部分,分别训练两部分模型,使检测框架能够分别适应斜向视角(本体结构特征明显)和正下方视角(本体结构特征不明显)两种情形。
杆塔检测的工作流程如图5所示,具体包括如下步骤:
步骤5,将输电杆塔检测任务划分为杆塔本体检测和阴影检测两部分,分别基于各自的多角度可旋转候选框DRBox深度学习检测模型进行目标检测网络训练,具体步骤包括:
a)进行DRBox编码;
b)进行DRBox匹配;在训练过程中,先验RBox和真实RBox逐一进行比对,以确定正负样本;
c)进行正负样本均衡;
d)损失计算,预测DRBox和真实DRBox的差异,包含位置损失和置信度损失两部分;
f)误差反传。
针对所采用的网络模型,网络训练包括DRBox编解码、DRBox匹配、正负样本均衡、损失计算和误差反传五部分。
其中,a)DRBox编解码的具体过程如下:
在正向传播过程中,根据第i个先验DRBox和第j个真实DRBox的位置信息得到第i个先验DRBox与第j个真实DRBox的偏移量的过程为编码过程,如下式:
式中,第i个先验DRBox的位置信息第j个真实目标DRBox的位置信息/>第i个先验DRBox与第j个真实目标DRBox的偏移量信息/> 表示所有真实目标的偏移量信息构成的向量,m∈{cx,cy,w,h,a};
分别表示第i个先验DRBox的横坐标、纵坐标、宽度、高度和角度;/>分别表示第i个真实目标DRBox的横坐标、纵坐标、宽度、高度和角度;/>分别表示第i个先验DRBox与第j个真实目标DRBox偏移量的横坐标、纵坐标、宽度、高度和角度。
b)DRBox匹配
在训练过程中,先验DRBox需要和真实DRBox逐一进行比对,以确定正负样本。用IoU来描述两个Box之间的接近程度。IoU全称为Intersection-over-union,定义为两个Box的交集与并集面积的比值。为了让角度在IoU的计算中具有更高的权重,在这一比值后边乘以两个DRBox角度差的余弦的绝对值,并将这一新定义的指标记为RIoU。若两个DRBox之间没有交集,则RIoU为0。由于算法中每个先验DRBox包含了类别信息,若先验DRBox与真实DRBox不属于同一类别,则RIoU也为0。
算法按照下面的策略对先验DRBox和真实DRBox进行匹配:
对于每个真实DRBox,若存在RIoU>0的先验DRBox,则取RIoU最大的先验DRBox和该真实DRBox匹配,,并将标记变量记为1,否则记为0;
对于每个先验DRBox,若存在和其RIoU大于0.5的真实DRBox,则将这两个DRBox匹配,并将标记变量记为1,否则记为0;
将所有能够与真实DRBox匹配的先验DRBox序号的集合记为Pos;
将集合Pos中的先验DRBox将作为正样本参与到损失函数的计算中,其他的先验DRBox作为候选负样本;
所述标记变量为x={xij},xij∈{1,0},xij表示第i个先验DRBox是否与第j个真实DRBox相匹配,1表示匹配,0表示不匹配;
所述RIoU表示IoU乘以两个DRBox角度差的余弦的绝对值;所述IoU表示两个Box的交集与并集面积的比值,即用IoU来描述两个框Box之间的接近程度)
这些匹配上的先验DRBox将作为正样本参与到损失函数的计算中,其他的先验DRBox作为候选负样本。
c)正负样本均衡
通常情况下,由DRBox匹配中的策略得到的负样本数量要远大于正样本的数量,因此需要对负样本进行缩减使得二者数量均衡。在模型训练过程中,我们往往更关注更容易和正样本混淆的负样本。基于卷积网络的检测算法通常采用Hard negative mining方法来对负样本进行缩减。首先,对所有负样本通过置信度预测层计算其为背景的置信度;其次,对所有负样本的背景置信度进行排序,最后,按置信度从低到高的顺序采样负样本,使正样本和负样本的数量满足给定的比例,得到正负样本均衡的负样本先验DRBox序号的集合Neg。
d)损失计算
代价损失函数包含位置损失和置信度损失两部分,代价函数是计算预测DRBox和真实DRBox的差异,每个先验DRBox对应一个预测DRBox,预测DRBox的相关参数由网络输出。
首先,位置损失由下式计算:
其中,
其次,每个DRBox的置信度向量为一个两元数组,分别代表它属于前景(1)和背景(0)的概率。置信度损失/>由Softmax函数计算:
其中,
最后,通过下式中损失层的损失函数计算代价损失
式中,N为匹配上的DRBox的数量,当N=0时,损失层输出0;α为位置损失权重调节因子,α∈[0,1];xij为第i个先验DRBox与第j个真实DRBox匹配情况的标记变量;检测网络的置信度预测层输出为为第i个先验DRBox的置信度预测信息,/>为一个两元数组,分别代表它属于前景(1)和背景(0)的概率;位置预测层输出为/>第i个先验DRBox参数的编码位置预测信息/>Pos为与真实DRBox匹配的先验DRBox序号的集合;GT为所有真实DRBox序号的集合;Neg为正负样本均衡的负样本先验DRBox序号的集合;smoothL1为平滑L1范数函数。
e)误差反传
在检测网络中,损失层误差反传到位置预测层、置信度预测层、各卷积层,对各层的参数进行修正,即利用损失函数的梯度更新网络模型的参数。先验DRBox层不需要接受误差反传。因此,在损失层只需要计算损失函数的梯度:
步骤6,将所述遥感影像切割为预设尺寸的小图。
步骤7,针对所述多幅影像小图,基于杆塔本体和阴影的多角度可旋转候选框DRBox深度学习检测模型的目标检测网络,分别进行输电杆塔的本体检测和阴影检测;
训练完成后的检测网络通过如下步骤得到检测结果:
a)将切割后的影像小图输入训练好的深度学习检测模型,通过深度学习检测模型中的目标检测网络输出编码位置预测向量和置信度预测向量;
b)根据所述编码位置预测向量和先验DRBox通过解码过程得到预测DRBox的位置信息,并将置信度预测结果以及先验DRBox的类别信息关联到每个预测DRBox上;
c)通过非最大值抑制(NMS)得到最终检测结果。
其中步骤b)中的解码过程如下式:
式中,第i个预测DRBox的位置信息m∈{cx,cy,w,h,a},li cx,li cy,li w,li h,li a分别表示第i个预测DRBox的横坐标、纵坐标、宽度、高度和角度;第i个先验DRBox的编码位置预测信息/>第i个先验DRBox的位置信息/>
对于每一类待检测目标,NMS首先对前景置信度大于给定数值的输出结果按置信度进行排序,并按顺序取出给定数目个输出DRBox。依次将这些DRBox加入到输出队列中,并保证每次新输出的DRBox和已输出的DRBox的RIoU不超过给定阈值。NMS保证了每个目标不会同时被多个DRBox选中,且算法最终输出的DRBox是关于该目标置信度最高的预测DRBox。
步骤8,将本体检测结果和阴影检测结果还原经纬度信息,融合到原始遥感影像上,得到输电杆塔的检测结果。
针对蒙东一期、二期、三期工区的情况进行测试。该工区共包含京能五间房电厂-华润五间房电厂线路、蒙能锡林电厂-胜利变电站线路共计6条在建的输电线路。图6分别为蒙东一期、二期和三期的杆塔检测结果。
通过本发明的光学卫星遥感影像输电杆塔检测方法,利用高分辨率遥感影像实现复杂环境下大范围输电线路杆塔目标提取。首先,为了解决卫星遥感由于照射角度变化,杆塔本体形状信息可能获取不全的问题,提出结合杆塔本体和阴影信息综合进行杆塔目标检测和类型识别的技术方案,使检测框架能够分别适应斜向视角(本体结构特征明显)和正下方视角(本体结构特征不明显)两种情形。其次,在杆塔目标检测技术方案中,针对杆塔目标长宽比较大、目标方向影响较大的问题,提出了多角度可旋转候选框DRBox深度学习检测模型解决遥感图像可能存在的获取视角差异干扰检测结果的问题,有效适应遥感图像中输电杆塔方向的任意性。经过与人工标注结果的比对,本发明方法的输电杆塔检测召回率可达到80%,准确率可达到88.9%,极大减少工程化作业中的人力投入,提高了复杂环境下大范围输电线路进度监测效率,为工程过程辅助审计提供决策依据。
本发明虽然已经参考特定的示例性实施例描述了实施例,很明显,在不背离发明主题的较宽的主旨和范围的情况下,可以对这些实施例进行多种修改和改变。因此,本说明书及附图应被视为例示性而不是限制性的。
Claims (14)
1.一种基于遥感影像的输电杆塔检测方法,其特征在于,包括:
步骤1,采用遥感影像作为数据源,构造输电杆塔样本空间,形成输电杆塔检测数据集;
步骤2,对所述输电杆塔检测数据集进行标注处理;对其中包含杆塔的遥感影像进行标注,以提高杆塔检测对于不同分辨率、不同波段、不同成像角度遥感数据的适应性;
步骤3,将输电杆塔检测数据集拆分为本体数据集和阴影数据集;
步骤4,针对所述本体数据集和阴影数据集,分别构造各自的多角度可旋转候选框DRBox深度学习检测模型及其目标检测网络;所述多角度可旋转候选框DRBox是带有角度信息的可旋转候选框,可以在输入图像的不同位置搜索待检测目标;
步骤5,将输电杆塔检测任务划分为杆塔本体检测和阴影检测两部分,分别基于各自的多角度可旋转候选框DRBox深度学习检测模型进行目标检测网络训练;
步骤6,将所述遥感影像切割为多幅预设尺寸的影像小图;
步骤7,针对所述多幅影像小图,基于杆塔本体和阴影的多角度可旋转候选框DRBox深度学习检测模型的目标检测网络,分别进行输电杆塔的本体检测和阴影检测;
步骤8,将本体检测结果和阴影检测结果还原经纬度信息,融合到原始遥感影像上,得到最终的输电杆塔的检测结果。
2.如权利要求1所述的方法,其中,所述遥感影像为高分辨率多源卫星遥感影像。
3.如权利要求1所述的方法,其中,所述步骤2对包含杆塔的遥感影像进行标注,具体包括:利用拉框标注方法,对每一个杆塔标注其最小外接矩形,从而获取杆塔在图像上的具***置。
4.如权利要求1所述的方法,其中,步骤4,所述目标检测网络包括数据输入层、卷积层、先验DRBox层、位置预测层、置信度预测层和损失层;
所述数据输入层,用于训练数据读入,所述训练数据的目标框包含参数:目标的长度和宽度、目标中心点的横坐标、纵坐标、目标角度;
所述卷积层,采用VGGNet网络作为预训练模型;
所述先验DRBox层,连接在卷积网络之后,生成一系列的先验DRBox;
位置预测层,用于生成对每个先验DRBox的位置修正信息,得到预测DRBox的位置信息;
置信度预测层,用于对每个先验DRBox生成置信度信息,得到预测DRBox属于每一类的置信度大小;
损失层,用于计算损失函数并生成网络的误差反传量;包含四部分输入,分别为数据输入层的复杂标签部分,位置预测层、置信度预测层和先验DRBox层的输出。
5.如权利要求4所述的方法,所述先验DRBox层连接在卷积网络之后,生成一系列的先验DRBox,
其中,所述先验DRBox的尺寸由算法的输入预先设置;当待检测目标的尺寸固定时,直接设置为目标尺寸;当待检测目标的尺寸在小范围内变化时,先验DRBox的尺寸选为变化范围的平均值;当待检测目标的尺寸差异较大时,使用多组具有不同尺寸的DRBox,并将不同大小的DRBox从不同的卷积层引出;
针对多类目标的检测,将先验DRBox按照目标类别、先验尺寸划分为多组,每组DRBox按照预定策略绑定在一个选定的卷积层上;
先验DRBox的位置由选定卷积层特征图和输入图像的降采样关系得出,每个先验DRBox由特征图上的一个位置生成;尺寸较小的先验RBox由较浅的层生成,尺寸较大的先验RBox由较深的层生成,通过在不同的卷积层上生成先验RBox使得网络具有检测不同尺寸目标的能力;
先验DRBox中的角度信息覆盖可能出现的目标角度,当目标需要区分首尾时,先验DRBox的角度取值范围为0到360度,按照预设步长L1离散取值;当目标不需要区分首尾时,先验DRBox的角度取值范围为0到180度,按照预设步长L2离散取值。
6.如权利要求4所述的方法,其中,所述置信度预测层,所述置信度信息为一个2维的向量,分别代表DRBox属于目标和背景的概率。
7.如权利要求1所述的方法,其中,所述步骤5,将输电杆塔检测任务划分为杆塔本体检测和阴影检测两部分,分别基于各自的多角度可旋转候选框DRBox深度学习检测模型进行目标检测网络训练,具体包括:
步骤5-1,进行DRBox编码;
步骤5-2,进行DRBox匹配;在训练过程中,先验RBox和真实RBox逐一进行比对,以确定正负样本;
步骤5-3,进行正负样本均衡;
步骤5-4,损失计算,预测DRBox和真实DRBox的差异,包含位置损失和置信度损失两部分;
步骤5-5,误差反传。
8.如权利要求7所述的方法,其中,所述步骤5-1,进行DRBox编码,具体包括:
在正向传播过程中,根据第i个先验DRBox和第j个真实DRBox的位置信息得到第i个先验DRBox与第j个真实DRBox的偏移量的过程为编码过程,如下式:
式中,第i个先验DRBox的位置信息第j个真实目标DRBox的位置信息/>第i个先验DRBox与第j个真实目标DRBox的偏移量信息/>m∈{cx,cy,w,h,a},cx,cy,w,h,a分别表示DRBox的横坐标、纵坐标、宽度、高度和角度;/>表示所有真实目标的偏移量信息构成的向量。
9.如权利要求8所述的方法,其中,所述步骤5-2,进行DRBox匹配,具体包括:
步骤5-2-1,若两个DRBox之间没有交集,则RIoU为0;若先验DRBox与真实DRBox不属于同一类别,则RIoU也为0;
步骤5-2-2,对先验DRBox和真实DRBox进行双向匹配,具体步骤包括:
对于每个真实DRBox,若存在RIoU>0的先验DRBox,则取RIoU最大的先验DRBox与该真实DRBox匹配,并将标记变量记为1,否则记为0;
对于每个先验DRBox,若存在RIoU>0.5的真实DRBox,则将每个该真实DRBox与先验DRBox匹配,并将标记变量记为1,否则记为0;
将所有能够与真实DRBox匹配的先验DRBox序号的集合记为Pos;
将集合Pos中的先验DRBox将作为正样本参与到损失函数的计算中,其他的先验DRBox作为候选负样本;
所述标记变量为x={xij},xij∈{1,0},xij表示第i个先验DRBox是否与第j个真实DRBox相匹配,1表示匹配,0表示不匹配;
所述RIoU表示IoU乘以两个DRBox角度差的余弦的绝对值,所述IoU表示两个Box的交集与并集面积的比值。
10.如权利要求8所述的方法,其中,所述步骤5-3,进行正负样本均衡,具体包括:
步骤5-3-1,对所有负样本通过置信度预测层计算其为背景的置信度,
步骤5-3-2,对所有负样本的背景置信度进行排序,
步骤5-3-3,按置信度从低到高的顺序采样负样本,使正样本和负样本的数量满足给定的比例,得到正负样本均衡的负样本先验DRBox序号的集合Neg。
11.如权利要求8所述的方法,其中,所述步骤5-4,损失计算,具体包括:
通过下式中损失层的损失函数计算代价损失
其中,通过下式计算位置损失
其中,通过下式的Softmax函数计算置信度损失
式中,N为匹配上的DRBox的数量,当N=0时,损失层输出0;α为位置损失权重调节因子,α∈[0,1];xij为第i个先验DRBox与第j个真实DRBox匹配情况的标记变量;检测网络的置信度预测层输出为 为第i个先验DRBox的置信度预测信息,/>为一个两元数组,分别代表它属于前景(1)和背景(0)的概率;位置预测层输出为/>第i个先验DRBox参数的编码位置预测信息/>Pos为与真实DRBox匹配的先验DRBox序号的集合;GT为所有真实DRBox序号的集合;Neg为正负样本均衡的负样本先验DRBox序号的集合;/>为平滑L1范数函数。
12.如权利要求11所述的方法,其中,所述步骤5-5,误差反传,具体包括:
在检测网络中,损失层误差反传到位置预测层、置信度预测层、各卷积层,对各层的参数进行修正,即利用损失函数的梯度更新网络模型的参数,具体包括在损失层计算损失函数的梯度:
13.如权利要求1所述的方法,其中,步骤7,针对所述多幅影像小图,基于杆塔本体和阴影的多角度可旋转候选框DRBox深度学习检测模型的目标检测网络,分别进行输电杆塔的本体检测和阴影检测,具体包括;
步骤7-1,将切割后的影像小图输入训练好的深度学习检测模型,通过深度学习检测模型中的目标检测网络输出编码位置预测向量和置信度预测向量;
步骤7-2,根据所述编码位置预测向量和先验DRBox通过解码过程得到预测DRBox的位置信息,并将置信度预测结果以及先验DRBox的类别信息关联到每个预测DRBox上;
步骤7-3,通过非最大值抑制NMS得到最终检测结果。
14.如权利要求13所述的方法,其中,步骤7-2中,根据位置预测向量和先验DRBox通过解码过程得到预测DRBox的位置信息,包括:
式中,第i个预测DRBox的位置信息m∈{cx,cy,w,h,a},li cx,li cy,li w,li h,li a分别表示第i个预测DRBox的横坐标、纵坐标、宽度、高度和角度;第i个先验DRBox的编码位置预测信息/>第i个先验DRBox的位置信息/>
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010279995.5A CN111553204B (zh) | 2020-04-10 | 2020-04-10 | 一种基于遥感影像的输电杆塔检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010279995.5A CN111553204B (zh) | 2020-04-10 | 2020-04-10 | 一种基于遥感影像的输电杆塔检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111553204A CN111553204A (zh) | 2020-08-18 |
CN111553204B true CN111553204B (zh) | 2024-05-28 |
Family
ID=72005678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010279995.5A Active CN111553204B (zh) | 2020-04-10 | 2020-04-10 | 一种基于遥感影像的输电杆塔检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111553204B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112883840B (zh) * | 2021-02-02 | 2023-07-07 | 中国人民公安大学 | 基于关键点检测的输电线路提取方法 |
CN113033446B (zh) * | 2021-04-01 | 2024-02-02 | 辽宁工程技术大学 | 一种基于高分辨率遥感影像输电杆塔识别与定位方法 |
CN113537142A (zh) * | 2021-08-03 | 2021-10-22 | 广东电网有限责任公司 | 基建工程施工进度的监控方法、装置及***,存储介质 |
CN113804161A (zh) * | 2021-08-23 | 2021-12-17 | 国网辽宁省电力有限公司大连供电公司 | 一种输电杆塔倾斜状态检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
CN110751077A (zh) * | 2019-10-15 | 2020-02-04 | 武汉大学 | 一种基于部件匹配与距离约束的光学遥感图片船舶检测方法 |
CN110796037A (zh) * | 2019-10-15 | 2020-02-14 | 武汉大学 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
CN110910440A (zh) * | 2019-09-30 | 2020-03-24 | 中国电力科学研究院有限公司 | 一种基于电力影像数据的输电线路长度确定方法和*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109145931B (zh) * | 2018-09-03 | 2019-11-05 | 百度在线网络技术(北京)有限公司 | 物体检测方法、装置及存储介质 |
-
2020
- 2020-04-10 CN CN202010279995.5A patent/CN111553204B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
CN110910440A (zh) * | 2019-09-30 | 2020-03-24 | 中国电力科学研究院有限公司 | 一种基于电力影像数据的输电线路长度确定方法和*** |
CN110751077A (zh) * | 2019-10-15 | 2020-02-04 | 武汉大学 | 一种基于部件匹配与距离约束的光学遥感图片船舶检测方法 |
CN110796037A (zh) * | 2019-10-15 | 2020-02-14 | 武汉大学 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
Non-Patent Citations (2)
Title |
---|
一种降雨诱发滑坡灾害下输电杆塔的监测与预警方法;陈强;王建;熊小伏;冯长有;马超;;电力***保护与控制;20200201(第03期);全文 * |
基于特征金字塔模型的高分辨率遥感图像船舶目标检测;周慧;严凤龙;褚娜;陈澎;;大连海事大学学报;20191115(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111553204A (zh) | 2020-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111553204B (zh) | 一种基于遥感影像的输电杆塔检测方法 | |
Sohn et al. | Automatic powerline scene classification and reconstruction using airborne lidar data | |
CN112149547B (zh) | 基于图像金字塔引导和像素对匹配的遥感影像水体识别方法 | |
CN114419825B (zh) | 基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法 | |
CN110555841A (zh) | 基于自注意图像融合和dec的sar图像变化检测方法 | |
CN111310681B (zh) | 一种融入地学知识的红树林分布遥感提取方法 | |
Zhang et al. | Self-attention guidance and multiscale feature fusion-based UAV image object detection | |
CN113838064B (zh) | 一种基于分支gan使用多时相遥感数据的云去除方法 | |
CN113920436A (zh) | 一种基于改进YOLOv4算法的遥感图像海上船舶识别***及其方法 | |
CN115641514A (zh) | 一种面向夜间海雾监测的伪可见光云图生成方法 | |
Zhang et al. | Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image | |
CN109829426A (zh) | 基于高分遥感影像的铁路建设临时建筑监测方法及*** | |
CN115908894A (zh) | 基于全景分割的光学遥感影像海洋筏式养殖区分类方法 | |
Guo et al. | Correction of sea surface wind speed based on SAR rainfall grade classification using convolutional neural network | |
CN116229287B (zh) | 基于复杂林地环境的遥感亚像元疫木检测方法 | |
CN116503750A (zh) | 融合目标检测和视觉注意机制的大范围遥感影像农村街区式居民地提取方法及*** | |
CN116152666A (zh) | 一种顾及地物物候异质性的跨域遥感影像自适应学习方法 | |
Liu et al. | Intelligent identification of landslides in loess areas based on the improved YOLO algorithm: a case study of loess landslides in Baoji City | |
Mandroux et al. | Wind turbine detection on sentinel-2 images | |
Huang et al. | Shadow Information-Based Slender Targets Detection Method in Optical Satellite Images | |
Wang et al. | Structures Detection Based on CLSK Model Combined with Shadow Information Using High Resolution Remote Sensing Images | |
Tian et al. | Research on Monitoring and Auxiliary Audit Strategy of Transmission Line Construction Progress Based on Satellite Remote Sensing and Deep Learning | |
Yan et al. | Unsupervised classification of polarimetric SAR images using deep embedding network | |
Wu et al. | DF4LCZ: A SAM-Empowered Data Fusion Framework for Scene-Level Local Climate Zone Classification | |
Shi et al. | LSKF-YOLO: Large selective kernel feature fusion network for power tower detection in high-resolution satellite remote sensing images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |