CN114708513B - 一种顾及角点特征的边缘建筑物提取方法及*** - Google Patents
一种顾及角点特征的边缘建筑物提取方法及*** Download PDFInfo
- Publication number
- CN114708513B CN114708513B CN202210213409.6A CN202210213409A CN114708513B CN 114708513 B CN114708513 B CN 114708513B CN 202210213409 A CN202210213409 A CN 202210213409A CN 114708513 B CN114708513 B CN 114708513B
- Authority
- CN
- China
- Prior art keywords
- target detection
- data
- feature map
- processing
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000011218 segmentation Effects 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims description 83
- 238000013527 convolutional neural network Methods 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012417 linear regression Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000007634 remodeling Methods 0.000 claims description 4
- 238000011426 transformation method Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 8
- 238000003709 image segmentation Methods 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000009877 rendering Methods 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 3
- 238000013075 data extraction Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 14
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A30/00—Adapting or protecting infrastructure or their operation
- Y02A30/60—Planning or developing urban green infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种顾及角点特征的边缘建筑物提取方法及***,该方法融合了深度学习特征学习方法和计算机图形学方法,对复杂地物场景下的遥感影像数据进行了端对端的边缘轮廓细化建筑物提取;通过引入边缘锐化模型,改进了深度学习特征学习方法中提取建筑物轮廓模糊不清的情况,以计算机图形学中渲染的思想,使用细分策略高效的计算高分辨率分割图,提高了建筑物边缘的图像分割效果,使其在复杂地物场景下的建筑物边缘提取中有更好的表现。本发明的有益效果为:与现有边缘建筑物提取研究方法相比,本发明显著的提高了建筑物边缘细节特征的处理能力,保证了建筑物边缘数据提取的客观性与真实性。
Description
技术领域
本发明设计图像处理领域,更具体地说,涉及一种基于深度学习的边缘建筑物提取方法及***。
背景技术
随着国家航天技术的发展,遥感图像应用于社会的各个方面。由于城市建设的快速发展等各方面原因,建筑物的提取成为了地理数据库更新与建设的重要内容。随着城市建设发展,建筑物成为地理数据库中最容易发生变化的部分,为了保证地图库数据的准确性与完整性,需要定期完成建筑物的提取与更新。高分辨率遥感影像能够提供细致的纹理、几何结构等空间信息特征。但遥感影像多尺度特征以及地物边缘锯齿化等特点,给基于遥感影像的建筑物提取带来了很大的困难。
一些专家针对基于遥感影像的建筑物提取做了相关的研究,这些方法可以分为基于对象分割的建筑物提取方法、基于建筑物特征的建筑物提取方法以及基于辅助信息的建筑物提取方法。但是,基于对象分割的建筑物提取方法,需要人工设置大量参数,在分割结果分类的准确性以及对噪声的处理上不能呈现出较为理想的效果。基于建筑物特征的建筑物提取方法,由于遥感影像地物遮挡以及高分辨率遥感影像噪声影像,使得该方法的使用有着较大的局限性。基于辅助信息的建筑物提取方法,对于辅助信息的依赖程度高,需要获取的信息较多,加大了计算成本且相对复杂,对基于遥感影像的建筑物提取带来了一定的困难。
因此,研究一种有效的建筑物提取方法,可以使得地理数据库中建筑物数据的更新更加可靠。
发明内容
本发明提供一种顾及角点特征的边缘建筑物提取方法及***,结合深度学习特征学习方法和计算机图形学方法,通过网络模型学习特征,能够实现复杂地物场景下,直接端对端对遥感影像数据的边缘轮廓细化建筑物提取,利用深度学习方法不需要额外的环境要求,不存在过多的局限性,能够实现各种复杂条件下的建筑物提取,并且可以对每张遥感影像进行自适应学习,大大减少运算了时间,提高了提取精度。
一种顾及角点特征的边缘建筑物提取方法,包括以下步骤:
S1、对获取的原始遥感图像数据进行特征提取操作,得到遥感图像的特征图P;
S2、对特征图P设置不同尺度与形状的多个锚框,每个锚框对应一个检测实物,多个锚框满足基本覆盖图像各个尺度与形状的要求;
S3、通过卷积神经网络对步骤S2处理得到的带有锚框的遥感图像特征图数据进行处理,然后经过二分类器进行选择,得到遥感图像特征图中的有效锚框;
S4、采用卷积神经网络和线性回归变换方法对步骤S2处理得到的带有锚框的遥感图像特征图数据进行处理,获取到锚框的偏移量;
S5、将步骤S3处理得到的有效锚框数据以及步骤S4处理得到的锚框偏移量信息输入至卷积神经网络和全连接层进行处理,得到地物对象的类别以及目标检测框预测数据;
S6、利用步骤S5处理得到的地物对象类别和目标检测框预测数据,使用线性插值算法对步骤S1处理得到的遥感图像的特征图P进行裁切处理,充分利用特征图中虚拟点四周的四个真实存在的像素值共同计算目标图中的一个像素值,实现图像缩放,得到固定大小的新的特征图;
S7、采用步骤S5中所述的卷积神经网络以及全连接层对步骤S6处理得到的新的特征图进行处理,得到更为精确的新的目标检测框预测数据及其目标检测框内地物对象所属类别;
S8、将步骤S6处理得到的新的特征图输入至边缘锐化模型,得到地物对象的边缘数据。
进一步的,步骤S1中首先将原始遥感图像重塑为固定大小的遥感图像,然后经过卷积神经网络,最终提取出遥感影像数据中的地物特征,得到所述的遥感图像的特征图P。
进一步的,步骤S3中通过卷积神经网络对带有锚框的遥感图像特征图数据进行处理的过程为:首先,对带有锚框的遥感图像特征图数据进行卷积核大小为1的卷积操作;其次,对卷积操作得到的结果进行形状重塑,按照行优先的顺序转换成1×N的张量,其中N与遥感图像特征图数据量大小相同,并通过步骤S3中所述二分类器获取每一个锚框的二分类结果,该二分类结果包括为该锚框内包含地物和该锚框内不包含地物,其中,所述二分类器由Softmax函数实现,所述有效锚框即二分类结果中包含地物的锚框。
进一步的,步骤S4中首先对带有锚框的遥感图像特征图数据进行卷积核大小为1的卷积操作,然后通过线性变换,得到以遥感图像数据特征图锚框坐标为基的锚框坐标偏移量信息。
进一步的,步骤S5中所述的卷积神经网络处理以及全连接层的选择和回归的具体步骤为:
S51、将步骤S3中二分类器选择得到的有效锚框以及步骤S4中所得的锚框偏移量信息作为数据输入,综合锚框偏移变化量和二分类结果中的有效锚框,计算出地物目标检测框的尺寸和位置;
S52、利用步骤S51中处理得到的地物目标检测框的尺寸和位置信息,对步骤S1处理得到的遥感图像特征图P使用双线性插值算法进行图像裁切与形状重塑,处理得到固定大小的地物特征图;
S53、通过卷积神经网络以及全连接层回归方法对步骤S52中处理得到的地物特征图进行处理,得到目标检测框预测数据;
S54、将步骤S52中处理得到的地物特征图,输入至卷积神经网络、全连接层计算以及Softmax分类处理,得到每个地物目标检测框内地物所属类别,其中地物所属类别包括建筑物与非建筑物。
进一步的,步骤S3-S5中通过卷积神经网络模型训练,全连接层以及利用Softmax函数实现的二分类器进行数据处理,得到地物对象的类别以及目标检测框预测数据,其中,卷积神经网络模型训练时使用交叉熵损失函数对参数进行更新,该交叉熵卷积神经网络的损失函数公式为:
其中Ncls为批量大小;Nreg为目标检测框数量;pi为目标检测框的预测分类概率;为目标检测框的真实分类,目标检测框为正样本时/>目标检测框为负样本时/>ti为目标检测框预测偏移量参数化坐标;/>为目标检测框真实偏移量参数化坐标。其表示公式为:
其中,x,y,w,h为目标检测框的中心点坐标,宽度以及高度;“·”表示目标检测框的预测值,“·a”表示目标检测框的初始值,“·*”表示目标检测框的真实值。
其中为分类运算的损失函数,具体公式为:
为回归运算的损失函数,/>表示在目标检测框为正样本时才会进行损失计算。具体公式为:
进一步的,步骤S8中,将步骤S6处理得到的裁切结果输入至边缘锐化模型,得到地物对象的边缘数据的步骤为:
S81、将步骤S6处理得到的新的特征图输入至全卷积网络,以像素到像素的方式对分割掩膜进行预测;
S82、利用步骤S81处理得到的分割掩码预测结果,在图像平面中自适应选择预测分割标签的点,使用双线性插值算法对步骤S81中得到的分割掩膜预测结果进行上采样;在上采样网格中选取一定数量最不确定的像素点,使用随机抽样法从均匀分布的像素点中随机抽取一定数量的样本点,从抽取的样本点中选取一定数量最不确定的像素点;
S83、通过组合低层特征和高层特征,利用步骤S82选取的像素点构建逐点特征,其中低层特征为步骤S6得到的新的特征图通过形状重塑转换为1×N的特征向量,其中N与遥感图像特征图数据量大小相同;高层特征为步骤S81处理得到的分割掩码预测。
S84、将步骤S83处理得到的逐点特征输入到多层感知机,对各点进行分类预测,所有点共享权重,通过多层感知机训练得到边缘锐化后的分割掩膜预测结果,即地物对象的边缘数据。
进一步的,步骤S8中所述边缘锐化模型的损失函数公式为:
其中Nmask为输出类别数;yi为分割掩膜预测结果;为分割掩膜真实结果。
一种顾及角点特征的边缘建筑物提取***,用于实现上述边缘建筑物提取方法,该***包括以下模块:
特征提取模块,用于对获取的原始遥感图像数据进行特征提取以及特征图生成;
锚框设置模块,用于对特征提取模块中生成的特征图进行锚框设置;
有效锚框获取模块,用于对带有锚框的遥感图像特征图数据进行有效锚框选择;
锚框偏移量获取模块,用于通过卷积神经网络和线性回归变换对带有锚框的遥感图像特征图数据进行处理,得到锚框的偏移量;
目标检测模块,用于将得到的有效锚框数据以及锚框偏移量信息输入至卷积神经网络和全连接层进行处理,得到地物对象的类别以及目标检测框预测数据;
特征处理模块,用于根据地物对象类别和目标检测框预测数据,采用使用线性插值算法得到独立地物固定大小的新的特征图;
新的目标检测框获取模块,用于采用卷积神经网络以及全连接层对得到的新的特征图进行处理,得到新的地物对象的类别以及新的目标检测框预测数据;
边缘锐化模块,用于将得到的新的特征图输入至边缘锐化模型,得到地物对象的边缘数据。
实施本发明的顾及角点特征的边缘建筑物提取研究方法,具有以下有益效果:
1、本发明将深度学习特征学习方法和计算机图形学方法进行结合用于边缘建筑物提取,能够对复杂地物场景下的遥感影像数据进行端对端的边缘轮廓细化建筑物提取;
2、本发明引入边缘锐化模型,改进了深度学习特征学习方法中提取建筑物轮廓模糊不清的情况,以计算机图形学中渲染的思想,使用细分策略高效的计算高分辨率分割图,提高了建筑物边缘的图像分割效果,使其在复杂地物场景下的建筑物边缘提取中有更好的表现。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1为本发明方法的技术流程图。
图2为本发明方法的结构原理图。
图3为本发明方法中目标检测的实例流程图。
图4为本发明方法中边缘提取的实例流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
请参考图1,图1为本发明提出的一种顾及角点特征的边缘建筑物提取方法的流程图,包括以下步骤:
S1、对获取的原始遥感图像数据进行特征提取操作,得到遥感图像的特征图P;
S2、对经步骤S1处理后的遥感图像特征图P设置不同尺度与形状的锚框,得到一组满足基本覆盖图像各个尺度与形状的要求的锚框;
S3、将步骤S2处理得到的带有锚框的遥感图像特征图数据,输入至卷积神经网络进行训练和二分类器内进行选择,获取有效锚框,二分类结果中包含地物的锚框即为有效锚框;
通过卷积神经网络对带有锚框的遥感图像特征图数据进行处理的过程为:首先,对带有锚框的遥感图像特征图数据进行卷积核大小为1的卷积操作;其次,对卷积操作得到的结果进行形状重塑,即按照行优先的顺序转换成1×N的张量,其中N与遥感图像特征图数据量大小相同,然后通过步骤S3中所述二分类器(由Softmax函数实现)获取每一个锚框的二分类结果,该二分类结果包括为该锚框内包含地物(即有效锚框)和该锚框内不包含地物(即无效锚框)。
S4、将步骤S2处理得到的带有锚框的遥感图像特征图数据,输入至卷积神经网络训练,然后经过线性回归变换后,获取锚框的偏移量;
S5、利用步骤S3处理得到的有效锚框数据以及步骤S4处理得到的锚框偏移量信息,通过卷积神经网络训练以及全连接层的选择和回归,处理得到地物对象的类别以及目标检测框预测数据;
请参考图3,其为本发明方法中训练目标检测的实例流程图,包括以下步骤:
S51、将步骤S3中所得的二分类结果中的有效锚框以及步骤S4中所得的锚框偏移量信息作为数据输入,通过卷积神经网络以及全连接层训练得出相应参数,对参数进行有序组织得出目标检测框位置和精确尺寸;
S52、利用步骤S51中处理得到的地物目标检测框的精确尺寸和位置信息,对步骤S1处理得到的遥感图像特征图使用双线性插值算法进行图像裁切与形状重塑,处理得到固定大小的独立地物特征图;
S53、利用步骤S52中处理得到的独立地物特征图,经过卷积神经网络训练以及全连接层回归(即卷积神经网络回归模型)计算,处理得到更加精确的目标检测框偏移量;
S54、利用步骤S52中处理得到的地物特征图,经过卷积神经网络训练、全连接层计算以及Softmax分类,即经过卷积神经网络分类模型,处理得到目标检测框偏移量和每个目标检测框内地物所属类别(即分类预测结果)。对于建筑物提取任务,将地物所属类别划分为建筑物与非建筑物两种类别。
步骤S3-S5通过卷积神经网络模型训练,全连接层以及利用Softmax函数实现的二分类器进行数据处理,得到地物对象的类别以及目标检测框预测数据。其中,卷积神经网络模型训练时使用交叉熵损失函数对参数进行更新,该交叉熵损失函数公式为:
其中Ncls为批量大小;Nreg为目标检测框数量;pi为目标检测框的预测分类概率;为目标检测框的真实分类,目标检测框为正样本时/>目标检测框为负样本时/>ti为目标检测框预测偏移量参数化坐标;/>为目标检测框真实偏移量参数化坐标。其表示公式为:
其中,x,y,w,h为目标检测框的中心点坐标,宽度以及高度;“·”表示目标检测框的预测值,“·a”表示目标检测框的初始值,“·*”表示目标检测框的真实值。
其中为分类运算的损失函数,具体公式为:
为回归运算的损失函数,/>表示在目标检测框为正样本时才会进行损失计算。具体公式为:
S6、利用步骤S5处理得到的地物对象类别和目标检测框预测数据,使用线性插值算法对步骤S1处理得到的遥感图像特征图P进行裁切处理,充分利用特征图中虚拟点四周的四个真实存在的像素值共同计算目标图中的一个像素值,实现图像缩放,得到固定大小的新的特征图;
S7、利用步骤S6处理得到的新的特征图,通过步骤S5所述的卷积神经网络训练以及全连接层的选择和回归,得到更为精确的地物对象的类别以及目标检测框预测数据;
S8、利用步骤S6处理得到的新的特征图,通过边缘锐化模型训练,处理得到地物对象的边缘数据。
请参考图4,其为本发明方法中训练边缘提取的实例流程图,包括以下步骤:
S81、将步骤S6处理得到的特征图作为输入,利用全卷积网络,以像素到像素的方式对分割掩膜进行预测。
S82、利用步骤S81处理得到的分割掩码预测结果,在图像平面中自适应选择预测分割标签的点。在推理过程中,使用双线性插值算法对步骤S81中得到的预测分割掩膜结果进行上采样;在上采样网格中选取一定数量最不确定的像素点。在训练过程中,使用随机抽样法从均匀分布的像素点中随机抽取一定数量的样本点用于过度生成候选点;从抽取的样本点中选取一定数量最不确定的像素点。
S83、利用步骤S82选取的像素点,通过组合低层特征和高层特征,在选定的点上构建逐点特征。其中低层特征为步骤S6处理得到的特征向量;高层特征为步骤S81处理得到的分割掩码预测。其中低层特征为1×N的特征向量,该特征向量由步骤S6得到的新的特征图通过形状重塑转换得到,其中N为与遥感图像特征图数据量大小相同,高层特征为步骤S81处理得到的分割掩码预测;
S84、将步骤S83处理得到的特征点输入到多层感知机,对各点进行分类预测,所有点共享权重,通过多层感知机训练得到边缘锐化后的分割掩膜预测结果,即地物对象的边缘数据。
所述边缘锐化模型的损失函数公式为:
其中Nmask为输出类别数;yi为分割掩膜预测结果;为分割掩膜真实结果。
请参考图2,其为本发明的结构原理图,本发明提出的一种顾及角点特征的边缘建筑物提取***,包括:
特征提取模块L1,用于对获取的原始遥感图像数据进行特征提取以及特征图生成;
锚框设置模块L2,用于对特征提取模块L1中生成的特征图进行锚框设置;
有效锚框获取模块L3,用于对带有锚框的遥感图像特征图数据进行有效锚框选择;
锚框偏移量获取模块L4,用于通过卷积神经网络和线性回归变换对带有锚框的遥感图像特征图数据进行处理,得到锚框的偏移量;
目标检测模块L5,用于将得到的有效锚框数据以及锚框偏移量信息输入至卷积神经网络和全连接层进行处理,得到地物对象的类别以及目标检测框预测数据;
特征处理模块L6,用于根据地物对象类别和目标检测框预测数据,采用使用线性插值算法得到独立地物固定大小的新的特征图;
新的目标检测框获取模块L7,用于采用卷积神经网络以及全连接层对得到的新的特征图进行处理,得到新的地物对象的类别以及新的目标检测框预测数据;
边缘锐化模块L8,用于将得到的独立地新的特征图输入至边缘锐化模型,得到地物对象的边缘数据。
本发明的有益效果是:
1、本发明将深度学习特征学习方法和计算机图形学方法进行结合用于边缘建筑物提取,能够对复杂地物场景下的遥感影像数据进行端对端的边缘轮廓细化建筑物提取;
2、本发明引入边缘锐化模型,改进了深度学习特征学习方法中提取建筑物轮廓模糊不清的情况,以计算机图形学中渲染的思想,使用细分策略高效的计算高分辨率分割图,提高了建筑物边缘的图像分割效果,使其在复杂地物场景下的建筑物边缘提取中有更好的表现。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种顾及角点特征的边缘建筑物提取方法,其特征在于,包括以下步骤:
S1、对获取的原始遥感图像数据进行特征提取操作,得到遥感图像的特征图P;首先将原始遥感图像重塑为固定大小的遥感图像,然后经过卷积神经网络,最终提取出遥感影像数据中的地物特征,得到所述的遥感图像的特征图P;
S2、对特征图P设置不同尺度与形状的多个锚框,每个锚框对应一个检测实物;
S3、通过卷积神经网络对步骤S2处理得到的带有锚框的遥感图像特征图数据进行处理,然后经过二分类器进行选择,得到遥感图像特征图中的有效锚框;通过卷积神经网络对带有锚框的遥感图像特征图数据进行处理的过程为:首先,对带有锚框的遥感图像特征图数据进行卷积核大小为1的卷积操作;其次,对卷积操作得到的结果进行形状重塑,按照行优先的顺序转换成1×N的张量,其中N与遥感图像特征图数据量大小相同,并通过步骤S3中所述二分类器获取每一个锚框的二分类结果,该二分类结果包括为该锚框内包含地物和该锚框内不包含地物,其中,所述二分类器由Softmax函数实现,所述有效锚框即二分类结果中包含地物的锚框;
S4、采用卷积神经网络和线性回归变换方法对步骤S2处理得到的带有锚框的遥感图像特征图数据进行处理,获取到锚框的偏移量;首先对带有锚框的遥感图像特征图数据进行卷积核大小为1的卷积操作,然后通过线性变换,得到以遥感图像数据特征图锚框坐标为基的锚框坐标偏移量信息;
S5、将步骤S3处理得到的有效锚框数据以及步骤S4处理得到的锚框偏移量信息输入至卷积神经网络和全连接层进行处理,得到地物对象的类别以及目标检测框预测数据;
所述的卷积神经网络处理以及全连接层的选择和回归的具体步骤为:
S51、将步骤S3中二分类器选择得到的有效锚框以及步骤S4中所得的锚框偏移量信息作为数据输入,经过卷积神经网络以及全连接层训练得到目标检测框尺寸和位置参数;
S52、利用步骤S51中处理得到的地物目标检测框的尺寸和位置信息,对步骤S1处理得到的遥感图像特征图P使用双线性插值算法进行图像裁切与形状重塑,处理得到固定大小的地物特征图;
S53、通过卷积神经网络以及全连接层回归方法对步骤S52中处理得到的地物特征图进行处理,得到目标检测框预测数据;
S54、将步骤S52中处理得到的地物特征图,输入至卷积神经网络、全连接层计算以及Softmax分类处理,得到每个地物目标检测框内地物所属类别,其中地物所属类别包括建筑物与非建筑物;
步骤S3-S5通过卷积神经网络模型训练,全连接层以及利用Softmax函数实现的二分类器进行数据处理,得到地物对象的类别以及目标检测框预测数据,其中,卷积神经网络模型训练时使用交叉熵损失函数对参数进行更新,该交叉熵损失函数公式为:
其中Ncls为批量大小;Nreg为目标检测框数量;pi为目标检测框的预测分类概率;为目标检测框的真实分类,目标检测框为正样本时/>目标检测框为负样本时/>ti为目标检测框预测偏移量参数化坐标;/>为目标检测框真实偏移量参数化坐标,且:
其中,x,y,w,h为目标检测框的中心点坐标,宽度以及高度;“·”表示目标检测框的预测值,“·a”表示目标检测框的初始值,“·*”表示目标检测框的真实值;
其中为分类运算的损失函数,具体公式为:
为全连接层回归运算的损失函数,/>表示在目标检测框为正样本时才会进行损失计算,具体公式为:
S6、利用步骤S5处理得到的地物对象类别和目标检测框预测数据,使用线性插值算法对步骤S1处理得到的遥感图像的特征图P进行裁切处理,得到新的特征图;
S7、采用卷积神经网络以及全连接层对步骤S6处理得到的新的特征图进行处理,得到新的地物对象的类别以及新的目标检测框预测数据;
S8、将步骤S6处理得到的新的特征图输入至边缘锐化模型,得到地物对象的边缘数据;
将步骤S6处理得到的裁切结果输入至边缘锐化模型,得到地物对象的边缘数据的步骤为:
S81、将步骤S6处理得到的新的特征图输入至全卷积网络,以像素到像素的方式对分割掩膜进行预测;
S82、利用步骤S81处理得到的分割掩码预测结果,在图像平面中自适应选择预测分割标签的点,使用双线性插值算法对步骤S81中得到的分割掩膜预测结果进行上采样;在上采样网格中选取一定数量最不确定的像素点,使用随机抽样法从均匀分布的像素点中随机抽取一定数量的样本点,从抽取的样本点中选取一定数量最不确定的像素点;
S83、通过组合低层特征和高层特征,利用步骤S82选取的像素点构建逐点特征,其中低层特征为1×N的特征向量,该特征向量由步骤S6得到的新的特征图通过形状重塑转换得到,其中N与遥感图像特征图数据量大小相同;高层特征为步骤S81处理得到的分割掩码预测;
S84、将步骤S83处理得到的逐点特征输入到多层感知机,对各点进行分类预测,所有点共享权重,通过多层感知机训练得到边缘锐化后的分割掩膜预测结果,即地物对象的边缘数据;
所述边缘锐化模型的损失函数公式为:
其中Nmask为输出类别数;yi为分割掩膜预测结果;为分割掩膜真实结果。
2.一种顾及角点特征的边缘建筑物提取***,所述***应用权利要求1所述的方法实现,其特征在于,该***包括以下模块:
特征提取模块,用于对获取的原始遥感图像数据进行特征提取以及特征图生成;
锚框设置模块,用于对特征提取模块中生成的特征图进行锚框设置;
有效锚框获取模块,用于对带有锚框的遥感图像特征图数据进行有效锚框选择;
锚框偏移量获取模块,用于通过卷积神经网络和线性回归变换对带有锚框的遥感图像特征图数据进行处理,得到锚框的偏移量;
目标检测模块,用于将得到的有效锚框数据以及锚框偏移量信息输入至卷积神经网络和全连接层进行处理,得到地物对象的类别以及目标检测框预测数据;
特征处理模块,用于根据地物对象类别和目标检测框预测数据,采用使用线性插值算法得到独立地物固定大小的新的特征图;
新的目标检测框获取模块,用于采用卷积神经网络以及全连接层对得到的新的特征图进行处理,得到新的地物对象的类别以及新的目标检测框预测数据;
边缘锐化模块,用于将得到的新的特征图输入至边缘锐化模型,得到地物对象的边缘数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210213409.6A CN114708513B (zh) | 2022-03-04 | 2022-03-04 | 一种顾及角点特征的边缘建筑物提取方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210213409.6A CN114708513B (zh) | 2022-03-04 | 2022-03-04 | 一种顾及角点特征的边缘建筑物提取方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114708513A CN114708513A (zh) | 2022-07-05 |
CN114708513B true CN114708513B (zh) | 2023-12-01 |
Family
ID=82167118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210213409.6A Active CN114708513B (zh) | 2022-03-04 | 2022-03-04 | 一种顾及角点特征的边缘建筑物提取方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114708513B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020143323A1 (zh) * | 2019-01-08 | 2020-07-16 | 平安科技(深圳)有限公司 | 遥感影像分割方法、装置及存储介质、服务器 |
CN113408524A (zh) * | 2021-06-11 | 2021-09-17 | 南开大学 | 一种基于mask rcnn的农作物图像分割提取算法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7096033B2 (ja) * | 2018-03-28 | 2022-07-05 | 株式会社パスコ | 建築物抽出システム |
CN111222474B (zh) * | 2020-01-09 | 2022-11-04 | 电子科技大学 | 一种任意尺度的高分辨率图像小目标检测方法 |
CN111582218A (zh) * | 2020-05-18 | 2020-08-25 | 长光卫星技术有限公司 | 一种基于深度学习的遥感影像岛礁提取方法 |
CN112084869B (zh) * | 2020-08-10 | 2023-04-07 | 北京航空航天大学 | 一种基于紧致四边形表示的建筑物目标检测方法 |
CN111985376A (zh) * | 2020-08-13 | 2020-11-24 | 湖北富瑞尔科技有限公司 | 一种基于深度学习的遥感影像舰船轮廓提取方法 |
CN113901972A (zh) * | 2021-12-09 | 2022-01-07 | 深圳市海清视讯科技有限公司 | 遥感图像建筑物的检测方法、装置、设备及存储介质 |
-
2022
- 2022-03-04 CN CN202210213409.6A patent/CN114708513B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020143323A1 (zh) * | 2019-01-08 | 2020-07-16 | 平安科技(深圳)有限公司 | 遥感影像分割方法、装置及存储介质、服务器 |
CN113408524A (zh) * | 2021-06-11 | 2021-09-17 | 南开大学 | 一种基于mask rcnn的农作物图像分割提取算法 |
Non-Patent Citations (1)
Title |
---|
Building outline delineation: From aerial images to polygons with an improved end-to-end learning framework;Zhao, Wufan;《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》;119-131 * |
Also Published As
Publication number | Publication date |
---|---|
CN114708513A (zh) | 2022-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829399B (zh) | 一种基于深度学习的车载道路场景点云自动分类方法 | |
CN111462120B (zh) | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 | |
CN111199206A (zh) | 三维目标检测方法、装置、计算机设备及存储介质 | |
CN111310666B (zh) | 一种基于纹理特征的高分辨率影像地物识别与分割方法 | |
US11704537B2 (en) | Octree-based convolutional neural network | |
CN111242208A (zh) | 一种点云分类方法、分割方法及相关设备 | |
CN113139543B (zh) | 目标对象检测模型的训练方法、目标对象检测方法和设备 | |
CN107784288A (zh) | 一种基于深度神经网络的迭代定位式人脸检测方法 | |
CN111612017A (zh) | 一种基于信息增强的目标检测方法 | |
CN112434618B (zh) | 基于稀疏前景先验的视频目标检测方法、存储介质及设备 | |
CN112347970A (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
CN113642571B (zh) | 一种基于显著性注意力机制的细粒度图像识别方法 | |
CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
CN114757904A (zh) | 一种基于ai深度学习算法的表面缺陷检测方法 | |
CN115222998A (zh) | 一种图像分类方法 | |
CN116563682A (zh) | 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 | |
CN112241676A (zh) | 一种地形杂物自动识别的方法 | |
CN114511785A (zh) | 基于瓶颈注意力模块的遥感图像云检测方法及*** | |
CN114463503A (zh) | 三维模型和地理信息***的融合方法及装置 | |
CN114219988A (zh) | 基于ViT框架的多类目岩矿快速分类方法、设备及存储介质 | |
CN110533118B (zh) | 基于多核学习的遥感图像稀疏表达分类方法 | |
CN115861595B (zh) | 一种基于深度学习的多尺度域自适应异源图像匹配方法 | |
CN114708513B (zh) | 一种顾及角点特征的边缘建筑物提取方法及*** | |
CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 | |
Zhang et al. | An Improved Detection Algorithm For Pre-processing Problem Based On PointPillars |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |