CN112084923B - 一种遥感图像语义分割方法、存储介质及计算设备 - Google Patents

一种遥感图像语义分割方法、存储介质及计算设备 Download PDF

Info

Publication number
CN112084923B
CN112084923B CN202010905024.7A CN202010905024A CN112084923B CN 112084923 B CN112084923 B CN 112084923B CN 202010905024 A CN202010905024 A CN 202010905024A CN 112084923 B CN112084923 B CN 112084923B
Authority
CN
China
Prior art keywords
remote sensing
sensing image
semantic segmentation
convolution
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010905024.7A
Other languages
English (en)
Other versions
CN112084923A (zh
Inventor
古晶
卞月林
尚荣华
巨小杰
孙新凯
刘芳
焦李成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010905024.7A priority Critical patent/CN112084923B/zh
Publication of CN112084923A publication Critical patent/CN112084923A/zh
Application granted granted Critical
Publication of CN112084923B publication Critical patent/CN112084923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种遥感图像语义分割方法、存储介质及计算设备，对大规模遥感图像和其对应的标签图像进行等比例裁剪，得到用于训练的小块遥感图像；随机对小块遥感图像和对应的标签图像进行处理，然后对生成的所有训练图片和其对应的标签图像按顺序进行编号，得到扩充后的训练用遥感图像数据集；构建损失函数并将训练图片依次放入语义分割网络中，得到训练好的遥感图像语义分割网络；遍历整张特征图的全部像素并进行优化操作，然后随机裁剪的小块遥感图像进行合并操作，对于重合部分进行多数投票表决，得到大规模遥感图像的分割结果，完成特征图合并操作。本发明处理速度快，效果好。

Description

一种遥感图像语义分割方法、存储介质及计算设备
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于空间信息和多尺度融合的大规模遥感图像语义分割方法、存储介质及计算设备，用于识别遥感图像上每个像素的土地覆盖类型，并用于城市规划和道路监测等问题。
背景技术
大规模遥感图像以其具有的全球性、耗费低、准确度高等优点已经被广泛应用于传统地理学、环境科学、地球科学等各个领域的研究。相比于普通图像，遥感图像首先具有监测范围大，获取资料的速度快、周期短的特点。其次，对于自然条件恶劣、地面工作难以展开的地区，其比较容易获取资料。最后，选用不同的波段和遥感仪器，可以获取不一样的遥感信息。遥感***的迅猛发展获得了大量的遥感图像，从而对遥感图像的理解和解译就变得尤为重要。在遥感图像处理领域，遥感图像分割是一个重要的问题，因此一直以来受到很多学者的广泛关注。
语义分割是计算机视觉领域一个重要的研究课题，它的实现是重要的各种应用，如监测地区的森林砍伐和城市化等的关键，语义分割的结果将直接影响到后续工作的进展。遥感图像语义分割任务在过去几年的时间取得了巨大的进展，分割性能得到了明显提升。特别是由于深度神经网络的发展，很多有效而准确的语义分割模型被提出。但是，要大多数现有语义分割技术针对的是城市或室内场景问题，直接将其用到遥感图像语义分割中的效果不佳。这其中的原因在于：首先，城市或室内场景问题包含的语义信息较少，而遥感图像包含大量不同尺度目标，而且往往是交织在一起的，这大大增加了遥感图像语义分割的难度；其次，并且阴影遮挡的问题较轻，而遥感图像中不同高度的地物会产生大量阴影遮挡附近的目标，给分割带来困难；最后，遥感图像包含大量的噪声，会使检测准确率降低。
为了提高遥感图像语义分割准确率，较早的方法大都使用了合并操作方法，如对同一张图像进行多次预测，然后融合获取最终分割结果。但是，这种合并操作方法无疑增加了大大增加了所需的计算，降低了检测速度，无法满足实时性的需求。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于空间信息和多尺度融合的大规模遥感图像语义分割方法、存储介质及计算设备，以提高遥感图像语义分割精度，满足实际工程的需求，解决现有技术对高分辨率大规模遥感图像分割准确率较低和对不同尺度目标识别困难的问题。
本发明采用以下技术方案：
一种遥感图像语义分割方法，包括以下步骤：
S1、对大规模遥感图像和其对应的标签图像进行等比例裁剪，得到用于训练的小块遥感图像；随机对小块遥感图像和对应的标签图像进行处理，然后对生成的所有训练图片和其对应的标签图像按顺序进行编号，得到扩充后的训练用的遥感图像数据集；
S2、搭建基于SegNet的遥感图像语义分割网络，构建损失函数L，并将训练图片依次放入语义分割网络中，利用梯度下降法对网络参数进行迭代更新，得到训练好的遥感图像语义分割网络；
S3、从步骤S2构建的遥感图像语义分割网络输出结果图的第一个像素pi11开始，遍历整张特征图的全部像素，对每一个像素进行优化操作，然后将步骤S1中随机裁剪的小块遥感图像进行合并操作，对于重合部分进行多数投票表决，得到大规模遥感图像的分割结果，完成特征图合并操作。
具体的，步骤S1中，随机对生成的小块遥感图像和对应的标签图像进行90°、180°或270°旋转、镜像、模糊和光照调整操作。
具体的，步骤S2中，基于SegNet的语义分割网络结构依次为：
输入图像→2个卷积层→1个带位置池化层pool_1→2个卷积层→1个带位置池化层pool_2→3个卷积层→1个带位置池化层pool_3→3个卷积层→1个带位置池化层pool_4→3个卷积层→3个卷积层→1个利用位置信息的上采样层unpool_1→3个卷积层→1个利用位置信息的上采样层unpool_2→3个卷积层→1个利用位置信息的上采样层unpool_3→2个卷积层→1个利用位置信息的上采样层unpool_4→2个卷积层→输出层；
每个卷积层包括：卷积核为3x3的卷积操作→批归一化操作BN→修正线性单元ReLU；所有卷积操作的步长均为1，池化层均为2x2的最大池化；每个上采样层都和对应的池化层之间使用跳跃连接。
进一步的，将2个空洞空间金字塔池化模块加入语义分割网络的pool_3和编码部分的最后三个卷积层后，每个空洞空间金字塔池化模块模块的具体结构包括：1个卷积核为1x1的卷积；3个卷积核为3x3的采样率为(6,12,18)的空洞卷积，滤波器数量为256；1个获取特征图全局特征的全局平均池化，最后，将5条通路获得的特征通过1x1卷积级联到一起。
具体的，步骤S2中，损失函数L具体为：
其中，N代表每个图像块中的像素数量，k代表类别的数量，l代表像素的标签，p代表网络的预测。
具体的，步骤S3具体为：
S301、从步骤S2构建的语义分割网络输出结果图的第一个像素pi11开始，遍历整张特征图的全部像素；
S302、对于每一个像素piij，获取以像素piij为中心的八邻域，考察周围8个像素的标签中表示为同一类的像素个数t，t≤8；
S303、进行优化操作，若t≥6且像素对应的标签与中心像素piij的标签不一致，则将中心像素piij对应的标签改为对应的标签；否则，执行对下一个像素的考察；
S304、将步骤S1中随机位置裁剪的小块遥感图像进行合并操作，对于重合部分进行多数投票表决，得到大规模遥感图像的分割结果。
进一步的，步骤S303中，优化操作公式如下：
其中，wc和pc分别表示在图中c位置的像素；Ωc表示以c位置像素为中心的八邻域；H(·)表示直方图操作。
本发明的另一技术方案是，一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据所述的方法中的任一方法。
本发明的另一技术方案是，一种计算设备，包括：
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种遥感图像语义分割方法，在已有的语义分割框架的基础上，针对遥感图像里存在的规模大、语义信息丰富、不同地物尺度不同、阴影噪声较多等问题，通过改进已有的针对城市或室内场景问题的语义分割框架，充分挖掘遥感图像中的深层次特征，成功将语义分割方法应用于遥感图像的语义分割任务中。
进一步的，训练语义分割网络需要大量的训练图像，而遥感图像无法获得大量已标记的训练图像，因此对随机生成的小块遥感图像和对应的标签图像进行旋转、镜像、模糊和光照调整操作可以扩充训练数据，防止语义分割网络出现过拟合现象。
进一步的，本发明通过构建基本语义分割网络来完成对遥感图像的训练，其中利用位置信息的上采样操作可以将下采样过程中得到的特征图进行更精确的复原，使得最终得到的遥感图像中不同地物的识别位置和边界更加准确。
进一步的，本发明通过引入2个空洞空间金字塔池化模块来对遥感图像中多尺度信息进行融合，不同区域的上下文通过该模块进行聚合，提升了网络利用全局上下文信息的能力。结合多尺度特征解决了遥感图像中不同尺度地物识别准确率较低的问题，提高了网络的整体性能。
进一步的，本发明选择交叉熵函数作为模型的损失函数对于网络最后一层权重的梯度不再跟激活函数的导数相关，只跟输出值和真实值的差值成正比，收敛速度较快。另外，多分类交叉熵损失求导更简单，损失仅与正确类别的概率有关，而且损失函数对于softmax激活层的输入更便于进行求导运算。
进一步的，本发明提出的合并方法，主要针对语义分割网络输出的预测图像中的块效应进行改进。在拼接阶段，对网络预测的裁剪后小块图像分割结果，先通过优化操作矫正明显分类错误的像素标签，然后通过多数表决将小块图像的重叠部分融合。所提出的合并方法可以有效地改善遥感图像语义分割中的块效应，提高语义分割网络最终预测结果的整体精度。
进一步的，本发明中优化操作的目的是为了矫正网络输出图像中明显分类错误像素标签，同时改善预测图像中明显的边界锯齿效应，使最终的预测图像更为平滑，增强最终预测结果的准确性和视觉效应。
综上所述，本发明针对遥感图像中存在的大量阴影遮挡和噪声干扰，利用合并操作对网络输出的特征图进行改进，使得本发明对遥感图像噪声的鲁棒性有所提高。与现有的合并操作方法相比，处理速度更快，效果更好。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的实现流程图；
图2为本发明语义分割网络的结构图；
图3为采用本发明进行农村遥感图像语义分割的效果；
图4为采用本发明进行城市遥感图像语义分割的效果图。
具体实施方式
本发明提供了一种基于空间信息和多尺度融合的大规模遥感图像语义分割方法、存储介质及计算设备，对遥感图像进行等比例裁剪，以获取深度网络可以处理的小块遥感图像；用深度网络提取小块遥感图像的特征图；在编码阶段，使用带位置的池化操作对每一层网络得到的特征图进行池化；用多尺度信息融合模块对网络提取到的不同尺度的特征图进行融合，得到包含多尺度信息的特征图；在解码阶段，用跳跃连接方式串联编码阶段对应位置的特征图；用编码阶段得到的位置信息对特征图进行上采样，得到语义分割网络的输出图；最后对输出图进行合并操作，得到大规模遥感图像的语义分割结果。本发明提高了大规模遥感图像语义分割的准确率。
请参阅图1，本发明一种基于空间信息和多尺度融合的大规模遥感图像语义分割方法，包括以下步骤：
S1、对训练用的遥感图像数据集进行扩充；
S101、对大规模的遥感图像和其对应的标签图像进行等比例裁剪，得到可以用于训练的尺寸为256x256的小块遥感图像；
S102、随机对生成的小块遥感图像和对应的标签图像进行90°、180°或270°旋转、镜像、模糊和光照调整操作；
S103、将生成的所有训练图片和其对应的标签图像按顺序编号；
S2、搭建并训练遥感图像语义分割框架；
S201、搭建一个基于SegNet的语义分割网络，其具体的结构依次为：输入图像→2个卷积层→1个带位置池化层pool_1→2个卷积层→1个带位置池化层pool_2→3个卷积层→1个带位置池化层pool_3→3个卷积层→1个带位置池化层pool_4→3个卷积层→3个卷积层→1个利用位置信息的上采样层unpool_1→3个卷积层→1个利用位置信息的上采样层unpool_2→3个卷积层→1个利用位置信息的上采样层unpool_3→2个卷积层→1个利用位置信息的上采样层unpool_4→2个卷积层→输出层。
其中，每个卷积层都包括：卷积核为3x3的卷积操作→批归一化操作BN→修正线性单元ReLU。所有卷积操作的步长均为1，池化层均为2x2的最大池化。每个上采样层都和对应的池化层之间都使用跳跃连接。
S202、将2个空洞空间金字塔池化模块(Atrous spatial pyramid pooling，ASPP)加入网络的pool_3和编码部分最后三个卷积层后，用来融合多尺度信息。每个ASPP模块的具体结构包括：1个卷积核为1x1的卷积；3个卷积核为3x3的采样率为(6,12,18)的空洞卷积，滤波器数量为256；1个获取特征图全局特征的全局平均池化。最后，上述5条通路获得的特征通过1x1卷积级联到一起；
请参阅图2，对所搭建的遥感图像语义分割网络结构图进行详细描述。遥感图像语义分割网络的输入图像是经过数据增强的小块遥感图像，然后是用于提取深层次特征的连续卷积层和带位置池化层，它们连同两个空洞空间金字塔池化模块构成语义分割网络的编码部分。
其中，每个卷积层都包括：卷积核为3x3的卷积操作→批归一化操作BN→修正线性单元ReLU。
批归一化操作BN的作用是加速网络收敛速度，同时解决反向传播中梯度消失问题。
修正线性单元ReLU的作用是通过函数Φ(x)增加模型的非线性表达能力。
Φ(x)＝max(0,x)
带位置的池化是对特征图中2x2的矩阵区域V取其中最大的值max_num，同时记录下最大值max_num在该矩阵区域V中的位置Loc。
遥感图像语义分割网络输入层的维度是3，第一组卷积和池化操作输出的数据维度是64，第二组卷积和池化操作输出的数据维度是128，第三组卷积和池化操作输出的数据维度是256，第一个ASPP模块输出的数据维度仍然是256，第四组卷积和池化操作输出的数据维度是512，第五组卷积操作输出的数据维度是512，第二个ASPP模块输出的数据维度仍然是512。至此语义分割网络的编码部分结束。
解码部分是用于恢复特征图到原有尺寸的连续上采样层和卷积层。其输出数据维度和编码部分相对应。
具体来说，第一组卷积输出数据的维度是512，第二组上采样和卷积输出数据的维度是512，第三组上采样和卷积输出数据的维度是256，第四组上采样和卷积输出数据的维度是128，第五组上采样和卷积输出数据的维度是64，输出层的数据的维度是3。
其中，上采样层是将编码部分带位置池化层得到的最大值max_num填入到其对应的位置Loc，其余位置则用0填充。
S203、构建损失函数L，并将训练图片依次放入语义分割网络中，这里设置批次BS为8。利用梯度下降法，对网络参数进行迭代更新，迭代次数Ep为30。最终得到训练好的遥感图像语义分割网络。
损失函数L具体为：
其中，N代表每个图像块中的像素数量，k代表类别的数量，l代表像素的标签，p代表网络的预测。
训练过程中设置批次BS为8，利用梯度下降法，对网络参数进行迭代更新，迭代次数Ep为30，最终得到训练好的遥感图像语义分割网络。
S3、对网络得到的特征图进行合并操作；
S301、从步骤S2构建的语义分割网络输出结果图的第一个像素pi11开始，遍历整张特征图的全部像素；
S302、对于其中每一个像素piij，获取以它为中心的八邻域，考察周围8个像素的标签中表示为同一类的像素个数t，t≤8；
S303、进行优化操作，若t≥6且像素对应的标签与中心像素piij的标签不一致，则将中心像素piij对应的标签改为这些像素对应的标签；否则，执行对下一个像素的考察；
优化操作公式如下：
其中，wc和pc表示在图中c位置的像素；Ωc表示以c位置像素为中心的八邻域；H(·)表示直方图操作，目的是为了获得中心像素周围8个像素的标签中表示为同一类的像素个数t。
S304、将步骤S1中随机位置裁剪的小块遥感图像进行合并操作，对于重合部分进行多数投票表决，从而得到大规模遥感图像的分割结果。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
1.仿真条件
使用带有RTX 2080TI显卡的工作站，使用Tensorflow软件框架。
选用包含大量农田和不规则水域的农村遥感图像作为第一张语义分割的图像，如图3(a)；
选用包含大量规则排列的建筑和道路的城市遥感图像作为第二张语义分割的图像，如图4(a)。
2.仿真内容
仿真1，用本发明的方法对第一张语义分割的图像进行语义分割，得到的语义分割结果，如图3(b)。
仿真2，用本发明的方法对第二张语义分割的图像进行语义分割，得到的语义分割结果，如图4(b)。
3.仿真结果分析
从图3(b)可以看出对于包含大量农田和不规则水域的农村遥感图像，本发明能准确分割出图像中不同目标的类别和位置，从图4(b)可以看出对于包含大量规则排列的建筑和道路的城市遥感图像，本发明能准确分割出图像中密集的建筑和大多数主干道路。
综上所述，本发明一种基于空间信息和多尺度融合的大规模遥感图像语义分割方法、存储介质及计算设备，基于SegNet语义分割框架，将跳跃连接结构和空洞空间金字塔池化模块引入基础网络，解决了遥感影像中目标尺度不同的问题。其中，跳跃连接结构将从下采样层提取的特征直接链接到上采样层，将网络的浅层特征与深层特征相结合，使网络的像素定位更加准确，分割精度更高。同时，空洞空间金字塔池化模块用于提取和融合多尺度特征，可以使网络获得重要的全局先验知识，从而提高网络对不同尺度目标的检测精度。最后，对裁剪后的小块图像进行合并操作，使得最终大规模遥感图像的语义分割结果得以改善。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (6)

1.一种遥感图像语义分割方法，其特征在于，包括以下步骤：
S1、对大规模遥感图像和其对应的标签图像进行等比例裁剪，得到用于训练的小块遥感图像；随机对小块遥感图像和对应的标签图像进行处理，然后对生成的所有训练图片和其对应的标签图像按顺序进行编号，得到扩充后的训练用的遥感图像数据集；
S2、搭建基于SegNet的遥感图像语义分割网络，构建损失函数L，并将训练图片依次放入语义分割网络中，利用梯度下降法对网络参数进行迭代更新，得到训练好的遥感图像语义分割网络，基于SegNet的语义分割网络结构依次为：
输入图像→2个卷积层→1个带位置池化层pool_1→2个卷积层→1个带位置池化层pool_2→3个卷积层→1个带位置池化层pool_3→3个卷积层→1个带位置池化层pool_4→3个卷积层→3个卷积层→1个利用位置信息的上采样层unpool_1→3个卷积层→1个利用位置信息的上采样层unpool_2→3个卷积层→1个利用位置信息的上采样层unpool_3→2个卷积层→1个利用位置信息的上采样层unpool_4→2个卷积层→输出层；
每个卷积层包括：卷积核为3x3的卷积操作→批归一化操作BN→修正线性单元ReLU；所有卷积操作的步长均为1，池化层均为2x2的最大池化；每个上采样层都和对应的池化层之间使用跳跃连接；
将2个空洞空间金字塔池化模块加入语义分割网络的pool_3和编码部分的最后三个卷积层后，每个空洞空间金字塔池化模块模块的具体结构包括：1个卷积核为1x1的卷积；3个卷积核为3x3的采样率为(6,12,18)的空洞卷积，滤波器数量为256；1个获取特征图全局特征的全局平均池化，最后，将5条通路获得的特征通过1x1卷积级联到一起；
S3、从步骤S2构建的遥感图像语义分割网络输出结果图的第一个像素pi11开始，遍历整张特征图的全部像素，对每一个像素进行优化操作，然后将步骤S1中随机裁剪的小块遥感图像进行合并操作，对于重合部分进行多数投票表决，得到大规模遥感图像的分割结果，完成特征图合并操作，具体为：
S301、从步骤S2构建的语义分割网络输出结果图的第一个像素pi11开始，遍历整张特征图的全部像素；
S302、对于每一个像素piij，获取以像素piij为中心的八邻域，考察周围8个像素的标签中表示为同一类的像素个数t，t≤8；
S303、进行优化操作，若t≥6且像素对应的标签与中心像素piij的标签不一致，则将中心像素piij对应的标签改为对应的标签；否则，执行对下一个像素的考察；
S304、将步骤S1中随机位置裁剪的小块遥感图像进行合并操作，对于重合部分进行多数投票表决，得到大规模遥感图像的分割结果。
2.根据权利要求1所述的方法，其特征在于，步骤S1中，随机对生成的小块遥感图像和对应的标签图像进行90°、180°或270°旋转、镜像、模糊和光照调整操作。
3.根据权利要求1所述的方法，其特征在于，步骤S2中，损失函数L具体为：
其中，N代表每个图像块中的像素数量，k代表类别的数量，l代表像素的标签，p代表网络的预测。
4.根据权利要求1所述的方法，其特征在于，步骤S303中，优化操作公式如下：
其中，wc和pc分别表示在图中c位置的像素；Ωc表示以c位置像素为中心的八邻域；H(·)表示直方图操作。
5.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至4所述的方法中的任一方法。
6.一种计算设备，其特征在于，包括：
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至4所述的方法中的任一方法的指令。
CN202010905024.7A 2020-09-01 2020-09-01 一种遥感图像语义分割方法、存储介质及计算设备 Active CN112084923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010905024.7A CN112084923B (zh) 2020-09-01 2020-09-01 一种遥感图像语义分割方法、存储介质及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010905024.7A CN112084923B (zh) 2020-09-01 2020-09-01 一种遥感图像语义分割方法、存储介质及计算设备

Publications (2)

Publication Number Publication Date
CN112084923A CN112084923A (zh) 2020-12-15
CN112084923B true CN112084923B (zh) 2023-12-22

Family

ID=73731821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010905024.7A Active CN112084923B (zh) 2020-09-01 2020-09-01 一种遥感图像语义分割方法、存储介质及计算设备

Country Status (1)

Country Link
CN (1) CN112084923B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112510B (zh) * 2021-04-29 2023-07-25 五邑大学 一种语义分割的森林火灾检测方法、控制器及存储介质
CN113177956B (zh) * 2021-05-11 2024-06-14 南通大学 一种面向无人机遥感影像的语义分割方法
CN113706469B (zh) * 2021-07-29 2024-04-05 天津中科智能识别产业技术研究院有限公司 一种基于多模型投票机制的虹膜自动分割方法及***
CN115272667B (zh) * 2022-06-24 2023-08-29 中科星睿科技(北京)有限公司 农田图像分割模型训练方法、装置、电子设备和介质
CN114996488B (zh) * 2022-08-08 2022-10-25 北京道达天际科技股份有限公司 一种天网大数据决策级融合方法
CN115909045B (zh) * 2022-09-23 2024-04-30 中国自然资源航空物探遥感中心 一种基于对比学习的two-stage滑坡图谱特征智能识别方法
CN115546033B (zh) * 2022-12-05 2023-03-03 耕宇牧星(北京)空间科技有限公司 一种基于遥感图像的图像矫正方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294792A (zh) * 2013-05-13 2013-09-11 西安电子科技大学 基于语义信息和极化分解的极化sar地物分类方法
CN108564587A (zh) * 2018-03-07 2018-09-21 浙江大学 一种基于全卷积神经网络的大范围遥感影像语义分割方法
CN109389051A (zh) * 2018-09-20 2019-02-26 华南农业大学 一种基于卷积神经网络的建筑物遥感图像识别方法
CN109815979A (zh) * 2018-12-18 2019-05-28 通号通信信息集团有限公司 一种弱标签语义分割标定数据生成方法及***
CN109919159A (zh) * 2019-01-22 2019-06-21 西安电子科技大学 一种针对边缘图像的语义分割优化方法及装置
CN110059772A (zh) * 2019-05-14 2019-07-26 温州大学 基于迁移vgg网络的遥感图像语义分割方法
CN110136154A (zh) * 2019-05-16 2019-08-16 西安电子科技大学 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN110163213A (zh) * 2019-05-16 2019-08-23 西安电子科技大学 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN110443805A (zh) * 2019-07-09 2019-11-12 浙江大学 一种基于像素密切度的语义分割方法
CN110580704A (zh) * 2019-07-24 2019-12-17 中国科学院计算技术研究所 基于卷积神经网络的et细胞图像自动分割方法及***
KR20200018283A (ko) * 2018-08-10 2020-02-19 네이버 주식회사 컨볼루션 순환 신경망을 훈련시키는 방법 및 훈련된 컨볼루션 순환 신경망을 사용하는 입력된 비디오의 의미적 세그먼트화 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294792A (zh) * 2013-05-13 2013-09-11 西安电子科技大学 基于语义信息和极化分解的极化sar地物分类方法
CN108564587A (zh) * 2018-03-07 2018-09-21 浙江大学 一种基于全卷积神经网络的大范围遥感影像语义分割方法
KR20200018283A (ko) * 2018-08-10 2020-02-19 네이버 주식회사 컨볼루션 순환 신경망을 훈련시키는 방법 및 훈련된 컨볼루션 순환 신경망을 사용하는 입력된 비디오의 의미적 세그먼트화 방법
CN109389051A (zh) * 2018-09-20 2019-02-26 华南农业大学 一种基于卷积神经网络的建筑物遥感图像识别方法
CN109815979A (zh) * 2018-12-18 2019-05-28 通号通信信息集团有限公司 一种弱标签语义分割标定数据生成方法及***
CN109919159A (zh) * 2019-01-22 2019-06-21 西安电子科技大学 一种针对边缘图像的语义分割优化方法及装置
CN110059772A (zh) * 2019-05-14 2019-07-26 温州大学 基于迁移vgg网络的遥感图像语义分割方法
CN110136154A (zh) * 2019-05-16 2019-08-16 西安电子科技大学 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN110163213A (zh) * 2019-05-16 2019-08-23 西安电子科技大学 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN110443805A (zh) * 2019-07-09 2019-11-12 浙江大学 一种基于像素密切度的语义分割方法
CN110580704A (zh) * 2019-07-24 2019-12-17 中国科学院计算技术研究所 基于卷积神经网络的et细胞图像自动分割方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Real-time human segmentation by BowtieNet and a SLAM-based human AR system;Xiaomei ZHAO 等;《Virtual Reality & Intelligent Hardware》;20191231;第1卷(第5期);摘要 *
SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation;Vijay Badrinarayanan 等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20171231;第39卷(第12期);第3节，图2 *
基于DeepLabV3+与超像素优化的语义分割;任凤雷 等;《光学精密工程》;20191231;第27卷(第12期);第2.1节，第2.3节，图3 *

Also Published As

Publication number Publication date
CN112084923A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN112084923B (zh) 一种遥感图像语义分割方法、存储介质及计算设备
CN111723732B (zh) 一种光学遥感图像变化检测方法、存储介质及计算设备
CN113298818B (zh) 基于注意力机制与多尺度特征的遥感图像建筑物分割方法
CN108647585B (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及***
CN111833237B (zh) 基于卷积神经网络和局部单应性变换的图像配准方法
CN113780296A (zh) 基于多尺度信息融合的遥感图像语义分割方法及***
CN113468996B (zh) 一种基于边缘细化的伪装物体检测方法
CN114092487A (zh) 目标果实实例分割方法及***
CN111582102B (zh) 基于多模态端到端网络的遥感数据精细化分类方法及装置
CN111179272B (zh) 一种面向道路场景的快速语义分割方法
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN111860465A (zh) 基于超像素的遥感图像提取方法、装置、设备及存储介质
CN106504219B (zh) 有约束的路径形态学高分辨率遥感影像道路增强方法
Chen et al. A robust object segmentation network for underwater scenes
CN116778346B (zh) 一种基于改进自注意力机制的管线识别方法及***
CN114373073A (zh) 一种用于道路场景语义分割的方法及***
Feng et al. Improved deep fully convolutional network with superpixel-based conditional random fields for building extraction
CN113902744B (zh) 基于轻量级网络的图像检测方法、***、设备和存储介质
CN114529794A (zh) 一种红外与可见光图像融合方法、***及介质
CN113554655A (zh) 基于多特征增强的光学遥感图像分割方法及装置
Wang et al. River Extraction from Remote Sensing Images in Cold and Arid Regions Based on Attention Mechanism
Feng et al. Real-time object detection method based on YOLOv5 and efficient mobile network
CN116030347B (zh) 一种基于注意力网络的高分辨率遥感影像建筑物提取方法
Yang et al. RUW-Net: A Dual Codec Network for Road Extraction From Remote Sensing Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant