CN110119728B - 基于多尺度融合语义分割网络的遥感图像云检测方法 - Google Patents

基于多尺度融合语义分割网络的遥感图像云检测方法 Download PDF

Info

Publication number
CN110119728B
CN110119728B CN201910436645.2A CN201910436645A CN110119728B CN 110119728 B CN110119728 B CN 110119728B CN 201910436645 A CN201910436645 A CN 201910436645A CN 110119728 B CN110119728 B CN 110119728B
Authority
CN
China
Prior art keywords
convolution kernel
remote sensing
convolution
sensing image
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910436645.2A
Other languages
English (en)
Other versions
CN110119728A (zh
Inventor
彭宇
郭玥
于希明
马宁
姚博文
刘大同
彭喜元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201910436645.2A priority Critical patent/CN110119728B/zh
Publication of CN110119728A publication Critical patent/CN110119728A/zh
Application granted granted Critical
Publication of CN110119728B publication Critical patent/CN110119728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

基于多尺度融合语义分割网络的遥感图像云检测方法，它属于遥感图像云检测技术领域。本发明解决了现有通过人工提取特征进行云检测的方法存在的云检测精度低的问题。本发明利用前三级子网络提取浅层特征，利用后两级子网络提取深层特征，再将提取的深层特征与浅层特征融合，这就充分利用了浅层特征包含的丰富细节信息以及深层特征包含的丰富语义信息，融合了二者的优势，使得对深层特征边界的分割更加精细，并通过优化深层特征和浅层特征的比例达到最好的云检测效果，本发明的云面积检测误差小于1％。本发明可以应用于遥感图像云检测技术领域。

Description

基于多尺度融合语义分割网络的遥感图像云检测方法
技术领域
本发明属于遥感图像云检测技术领域，具体涉及一种遥感图像云检测方法。
背景技术
遥感是获取地球资源和环境信息的重要手段，而云是影响卫星遥感图像质量的主要因素。一般情况下，地球表面50％的区域被云覆盖，云的存在给遥感图像处理带来极大不便。被云覆盖的遥感图像可用信息少，却占用***大量的存储空间和传输带宽，进而降低卫星数据的利用率。目前除合成孔径雷达传感器能穿透云层获取地表信息外，其他传感器未能彻底解决遥感图像的云覆盖问题，并且目前大部分的影像数据还是由可见光波段的传感器获取。因此，对可见光遥感图像的高精度云检测成为提升遥感数据利用率的关键。
云检测方法经历了从人工判断到计算机处理的阶段，早期的云检测和分类主要依靠观测人员的人工目测进行判断，对观测人员的主观经验依赖程度非常大，而且随着巨量增长的遥感资料，全部依靠人工判断已经不现实了，自动、快速、有效的云检测和分类已经成为各个卫星资料处理中心的重点研究方向。
依靠计算机处理进行云检测的方法是在提取云图特征的基础上完成的，云图特征的提取不断挖掘更深层特征，提取方式也正在从人工提取向自动提取转变。云与地物最直观的区别在于灰度特征，云在图片中表现为偏白，直接依靠灰度阈值进行云检测的方法称为阈值法，阈值法计算简单，但是需要先验知识且受影响因素较多，检测精度较低。云的灰度特征不能代表云的所有特性，进而，后续的云检测方法继续挖掘云的其他特征，包括频率特征、纹理特征等。例如，有学者将图片等分为多个部分，然后提取每个部分的灰度、频率、纹理特征进行训练，最终通过支持向量机(Support Vector Machine，SVM)进行分类。
云的灰度、频率、纹理特征均属于人工提取的浅层特征，通过人工提取特征进行云检测的方法存在以下问题：
(1)往往直接对整幅图片进行特征提取，由于云状的复杂性，导致对图片中含有少量云情况的漏检；
(2)仅提取浅层特征不利于区分与云特征相似的地物，鲁棒性差；
(3)只能大致判断云的位置，云量值提取精度低。
由于人工提取特征进行云检测的方法存在上述诸多问题，因此，导致现有的通过人工提取特征进行云检测的方法的云检测精度较低。
发明内容
本发明的目的是为解决现有通过人工提取特征进行云检测的方法存在的云检测精度低的问题。
本发明为解决上述技术问题采取的技术方案是：基于多尺度融合语义分割网络的遥感图像云检测方法，该方法包括以下步骤：
步骤一、从真实全色可见光遥感图像数据集中随机选取出N0张作为原始遥感图像；
对N0张原始遥感图像进行预处理，获得N0张预处理后的遥感图像；
步骤二、将N0张预处理后的遥感图像作为训练集输入语义分割网络进行训练，训练过程中不断更新语义分割网络中卷积层的卷积核参数，直至达到设置的最大迭代次数时停止训练，获得训练好的语义分割网络；
步骤三、对于待检测的遥感图像，采用步骤一的方法对待检测的遥感图像进行预处理，获得预处理后的待检测遥感图像；
将预处理后的待检测遥感图像输入步骤二训练好的语义分割网络，获得语义分割网络输出的裁剪后图像；
将裁剪后图像经过softmax分类器，获得与裁剪后图像尺寸相同的二值图像，二值图像中灰度值不为0的像素点代表含云区域，灰度值为0的像素点代表非云区域，实现对待检测的遥感图像的云检测。
本发明的有益效果是：本发明提出了一种基于多尺度融合语义分割网络的遥感图像云检测方法，本发明利用前三级子网络提取浅层特征，利用后两级子网络提取深层特征，再将提取的深层特征与浅层特征融合，这就充分利用了浅层特征包含的丰富细节信息以及深层特征包含的丰富语义信息，融合了二者的优势，使得对深层特征边界的分割更加精细，并通过优化深层特征和浅层特征的比例达到最好的云检测效果，本发明提高了云检测精度，云面积检测误差小于1％。
附图说明
图1是本发明的基于多尺度融合语义分割网络的遥感图像云检测方法的流程图；
图2是本发明的语义分割网络的网络结构示意图；
图3是本发明对语义分割网络进行训练的流程图；
图4是反卷积操作过程的示意图；
图5是反卷积层的双线性核计算过程的示意图；
图6是本发明选取的场景1的测试数据集原始图；
图7是本发明选取的场景2的测试数据集原始图；
图8是本发明选取的场景3的测试数据集原始图；
图9是采用最大类间方差法对场景1的测试数据集原始图进行云检测的效果图；
图10是采用最大类间方差法对场景2的测试数据集原始图进行云检测的效果图；
图11是采用最大类间方差法对场景3的测试数据集原始图进行云检测的效果图；
图12是采用多特征提取法对场景1的测试数据集原始图进行云检测的效果图；
图13是采用多特征提取法对场景2的测试数据集原始图进行云检测的效果图；
图14是采用多特征提取法对场景3的测试数据集原始图进行云检测的效果图；
图15是场景1、场景2以及场景3的测试数据集原始图对应的标注图；
图16是采用FCN方法对场景1、场景2以及场景3的测试数据集原始图进行云检测的效果图；
图17是采用U-net方法对场景1、场景2以及场景3的测试数据集原始图进行云检测的效果图；
图18是采用Deeplab V3+方法对场景1、场景2以及场景3的测试数据集原始图进行云检测的效果图；
图19是采用本发明的WMSFNet方法对场景1、场景2以及场景3的测试数据集原始图进行云检测的效果图。
具体实施方式
具体实施方式一：如图1所示，本实施方式所述的基于多尺度融合语义分割网络的遥感图像云检测方法，该方法包括以下步骤：
步骤一、从真实全色可见光遥感图像数据集中随机选取出N0张作为原始遥感图像；
对N0张原始遥感图像进行预处理，获得N0张预处理后的遥感图像；
步骤一所采用的数据集为：高分一号卫星拍摄的2米分辨率真实全色可见光遥感图像数据集；
步骤二、将N0张预处理后的遥感图像作为训练集输入语义分割网络(weightedmulti-scale fusion network，WMSFNet)进行训练，训练过程中不断更新语义分割网络中卷积层的卷积核参数，直至达到设置的最大迭代次数时停止训练，获得训练好的语义分割网络；
多尺度融合语义分割网络是指：在语义分割网络的基础上增加了融合的层；
步骤三、对于待检测的遥感图像，采用步骤一的方法对待检测的遥感图像进行预处理，获得预处理后的待检测遥感图像；
将预处理后的待检测遥感图像输入步骤二训练好的语义分割网络，获得语义分割网络输出的裁剪后图像；
将裁剪后图像经过softmax分类器，获得与裁剪后图像尺寸相同的二值图像，二值图像中灰度值不为0的像素点代表含云区域，灰度值为0的像素点代表非云区域，实现对待检测的遥感图像的云检测。
本实施方式的WMSFNet云检测算法框架如图1所示，针对一幅输入图片，首先对图片进行预处理，即对图片中的各个像素点的灰度分别减去图片各通道的灰度均值，加快计算速度。
利用卷积层提取图片深层特征，池化层进行特征降维，实现云与地物的区分。然后，利用反卷积层进行上采样，得到一幅与输入图片大小相同的二值图片。
二值图像中灰度值为0的像素点代表图像中的非云区域，灰度值不为0的像素点代表图像中的含云区域，因此，只要统计二值图像中灰度值不为0的像素点个数占所有像素点的比例，则为原输入图像中云的比例。
当云的比例大于设定的阈值，则说明该图像中大部分都是云，包含的有用信息很少，可以将该幅图像剔除。
针对一幅输入图片，本发明首先使用VGGNet作为主干提取特征，由于云检测是一个像素级的预测任务，需要生成的是一张与原图片大小相同的预测图片，实现对每一个像素点分类。而深度学习算法经常使用全连接层处理分类任务，将二维图像转换为一维标签，像素级的预测任务不需要将图片转换成一维。因此，需要将VGGNet中的全连接层替换为卷积层。
WMSFNet的特征提取过程以VGGNet为主干，表1显示了VGGNet和WMSFNet的结构。在原始的VGGNet中，把具有相同输出特征图尺寸的卷积层设置为一级，根据VGGNet的特点，除了池化层会将输入特征图的尺寸变为原来的一半，其他层均不会改变输入特征图的大小。因此，每经过一级网络，输出特征图会缩减为输入特征图的一半。
表1 VGGNet与WMSFNET网络结构
WMSFNet的各层配置信息(未考虑在第一层卷积时的补零操作)如表2所示：
表2 WMSFNet网络各层配置信息
池化层会导致特征图变小，而最终需要得到一幅和原图片大小相同的二值图片，因此，需要对池化后的图像上采样，上采样是通过反卷积层实现的。但是，如果直接将最后一级的输出上采样到与原图像大小相同，在云与地物边缘的检测结果将十分粗糙。本发明最终利用多尺度融合的思想，将浅层细节特征与深层语义特征融合，利用深层语义特征提高云检测精度，利用浅层细节特征加强在云边缘的检测效果。
本发明利用提出的WMSFNet网络进行云检测。该网络具备以下特点：
1)传统的云检测方法需要手动提取特征并设定阈值，需要研究人员具备丰富的经验。WMSFNet网络可以进行端到端的训练，不需要手动调整参数，简化了云检测的实现过程；
2)WMSFNet网络的训练过程需要预先将输入图片的有云区域与非云区域区分，分别进行学习，对云的形状特征不敏感；
3)WMSFNet网络能够自动提取云的深层特征，实现像素级的预测任务，并充分融合浅层细节特征与深层语义特征，使得分割边界更加精细；
4)WMSFNet网络能够实现像素级的预测任务，最终得到一幅与输入图片大小相同的二值图片，分别表示有云区域和无云区域。
与现有方法相比，本发明只融合了浅层和深层两层特征，且按照1:3的比例融合，取得了很好的云区域检出效果。其中：浅层的细节特征可以提高云边缘的检测效果，深层的语义特征可以提高云的检测精度，减小误判。可以应用于对可见光遥感图像的高精度云检测。
具体实施方式二：本实施方式与具体实施方式一不同的是：所述对N0张原始遥感图像进行预处理，获得N0张预处理后的遥感图像，其具体过程为：
对于任意一张原始遥感图像，计算出该张原始遥感图像的各通道灰度的均值M，再分别利用该张原始遥感图像中各像素点的灰度减去均值M，获得该张原始遥感图像对应的预处理后遥感图像，即该张原始遥感图像对应的预处理后遥感图像中各像素点的灰度值为：
O′(i,j)＝O(i,j)-M (1)
其中：O(i,j)为该张原始遥感图像中像素点(i,j)处的灰度值，O′(i,j)为该张原始遥感图像对应的预处理后遥感图像中像素点(i,j)处的灰度值；
同理，计算出N0张原始遥感图像中每张原始遥感图像对应的预处理后遥感图像，即获得N0张预处理后的遥感图像。
具体实施方式三：如图2和图3所示，本实施方式与具体实施方式二不同的是：所述步骤二的具体过程为：
将N0张预处理后的遥感图像作为训练集输入语义分割网络，在开始训练之前，需要初始化语义分割网络的网络参数，网络参数初始化完成后再开始训练过程；
所述语义分割网络包括15个卷积层、5个池化层、2个反卷积层和2个裁剪层，分别是：
2个卷积核尺寸为3*3，卷积核个数为64的卷积层；
1个卷积核尺寸为2*2，卷积核个数为64的池化层；
2个卷积核尺寸为3*3，卷积核个数为128的卷积层；
1个卷积核尺寸为2*2，卷积核个数为128的池化层；
3个卷积核尺寸为3*3，卷积核个数为256的卷积层；
1个卷积核尺寸为2*2，卷积核个数为256的池化层；
3个卷积核尺寸为3*3，卷积核个数为512的卷积层；
1个卷积核尺寸为2*2，卷积核个数为512的池化层；
3个卷积核尺寸为3*3，卷积核个数为512的卷积层；
1个卷积核尺寸为2*2，卷积核个数为512的池化层；
1个卷积核尺寸为7*7，卷积核个数为4096的卷积层；
1个卷积核尺寸为1*1，卷积核个数为4096的卷积层；
1个卷积核尺寸为8*8，卷积核个数为2的反卷积层；
1个裁剪层，
1个卷积核尺寸为16*16，卷积核个数为2的反卷积层；
1个裁剪层；
利用卷积核尺寸为8*8、卷积核个数为2的反卷积层对卷积核尺寸为1*1、卷积核个数为4096的卷积层输出的特征图进行上采样，获得上采样后的特征图，获得的上采样后特征图的尺寸是卷积核尺寸为1*1、卷积核个数为4096的卷积层输出的特征图尺寸的四倍；
即获得的上采样后特征图的尺寸是卷积核尺寸为2*2、卷积核个数为512的池化层输出的特征图尺寸的四倍，卷积核尺寸为2*2、卷积核个数为512的池化层的输出特征图经过卷积核尺寸为7*7，卷积核个数为4096的卷积层以及卷积核尺寸为1*1、卷积核个数为4096的卷积层后，特征图尺寸不改变。
将获得的上采样后特征图与最后一个卷积核尺寸为3*3、卷积核个数为512的卷积层输出的特征图进行逐像素加权平均，获得融合后的特征图；利用卷积核尺寸为16*16、卷积核个数为2的反卷积层对融合特征图进行上采样，获得上采样后融合特征图，获得的上采样后融合特征图为融合后特征图尺寸的八倍；
上采样后融合特征图经过裁剪层后获得裁剪后图像，裁剪后图像与预处理后遥感图像的尺寸相同；
且在训练过程中，语义分割网络的卷积层的卷积核参数通过BP算法不断更新；直至达到设置的最大迭代次数N时停止迭代，获得训练好的语义分割网络。
本发明使用的深度学习架构为Caffe，编程语言为Python。
WMSFNet是一个全卷积网络，其卷积层与其他深度学习网络的卷积层算法一致，比较特殊的是引入了反卷积层。在正向传播阶段，每一次迭代得到的训练结果与训练标签之间存在一定的误差，误差会导致识别错误，因此，需要通过学习过程不断调整卷积层的卷积核参数，才能得到合适的卷积核参数。
WMSFNet中反卷积层的卷积核参数不参与训练，即反卷积层的卷积核参数在整个训练过程当中是固定的。
卷积层的计算过程为：卷积层接收NC个特征图作为输入，每个输入特征通过k*k内核的移位窗口进行卷积，从而在输出特征图上生成一个像素，移位窗口的步幅是s，通常小于k，总共NF个输出特征图将形成下一个卷积层的输入特征图。卷积层接收一个大小为NC*H*W的输入特征图和一组大小为NF*NC*k*k的卷积核，得到一组大小为NF*HO*WO的输出特征图，HO和WO的大小可由下列公式导出：
HO＝(H+2*p-k)/s+1
WO＝(W+2*p-k)/s+1
反卷积操作实际上是一个转置卷积的过程，例如：一个反卷积核的大小为k，步长为s，补零的个数为p，则在计算反卷积时相当于和大小为k的卷积核进行卷积，且步长为1，补零的个数为k-p-1，并需要在各个输入单元之间补s-1个零，与卷积层类似，反卷积层接收一个大小为Nc·H·W的输入特征图和一组大小为Nf·Nc·k·k的卷积核，得到一组大小为Nf·Ho·Wo的输出特征图，Ho和Wo的大小通过下列公式给出：
Ho＝s*(H-1)+k-2*p
Wo＝s*(W-1)+k-2*p
反卷积操作的具体计算过程如图4所示，图4中左图表示输入特征图，右图表示经过反卷积层的输出特征图，其中反卷积层的卷积核大小k为4，s为2，p为0，输入尺寸为4*4，补零后的输入尺寸为13*13，输出尺寸为10*10。
反卷积层的卷积核是一个双线性核，可以通过双线性插值获得，设卷积核当前点的坐标为(i,j)，中心点的坐标为(a,b)，则卷积核当前点的值D由下列公式计算得到：
D＝[1-abs(i-a)/2]*[1-abs(j-b)/2]
以一个大小为4*4的双线性核说明其计算过程，如图5所示。以第2个格为例，其坐标值为(0,1)，该点对应的权重为：
[1-abs(1-1.5)/2]*[1-abs(0-1.5)/2]＝0.1875
在WMSFNet网络结构中，只有池化层会影响输出特征图的大小，设输入特征图的大小为H，则经过第5级的池化后，输出特征图的大小为H/25，接下来通过卷积核大小为7*7的卷积层，设该层输出为H6，则得到输出特征图的大小为：
H6＝(H/25-7)/1+1＝(H-192)/25
因此，最终输入反卷积层的尺寸就是H6。另外，对于长或宽高于192像素点的图片，算法是没有办法进行处理的，为解决这一问题，一般对输入图片进行第一次卷积时，将图片补零100像素，此时H6的输出特征图大小为：
H6＝(H+6)/25
下一步是将H6的输出上采样到原来的32倍，设反卷积的输出为H7，此时H7的输出特征图大小为：
H7＝(H6-1)*32+64＝((H+6)/32-1)*32+64＝H+38
显然，H7与输入图片H的大小不同，这时需要利用裁剪层将H7裁剪为与H大小相同，需要指定裁剪的位置，以确定算法在哪里进行裁剪，由H7的表达式得到，此时应该设置裁剪的偏移量为19。
具体实施方式四：本实施方式与具体实施方式三不同的是：所述语义分割网络采用的损失函数为J(W,b)，将裁剪后图像输入softmax分类器，获得与裁剪后图像尺寸相同的二值图像；利用获得的二值图像计算损失函数J(W,b)的值：
其中：Sj′表示经过Softmax分类器的输出向量S中的第j′个值，j′＝1,2,…,T，T代表输出向量S中的值的总个数；aj′表示输入到Softmax分类器的输入向量a中的第j′个值，e代表自然常数；yj′是一个1×T的向量，且yj′＝{0,0,…,0,1,0,…,0,0}，其中：1为向量yj′中的第j′个元素，向量yj′中的其他元素均为0。
具体实施方式五：本实施方式与具体实施方式四不同的是：所述语义分割网络的卷积层的卷积核参数通过BP算法不断更新，其具体过程为：
在训练过程中，每一次迭代均按照公式(4)更新语义分割网络的卷积层的卷积核参数；
其中：表示从第l卷积层第i个神经元到第l+1卷积层第j个神经元的传递参数，α是学习率，/>为第l卷积层第i个神经元的偏置项。
训练过程的目的是使代价函数J(W,b)越来越小。与其他深度学习算法类似，卷积层的卷积核参数的调整也是通过反向传播算法(Back Propagation，BP)进行学习。在每次迭代过程中，一些造成识别效果不好的参数都得到更新，使得新的参数对云的检测效果更好，直到达到训练次数，得到最终训练好的模型。
WMSFNet能够较为准确地对云进行检测，主要原因是通过BP算法训练后的网络卷积层的卷积核可以更有效地提取云的特征。浅层的卷积核提取云的灰度、纹理等浅层特征，深层的卷积核提取云抽象的语义特征，最终将这些特征融合，从而得到较好的云检测效果。
具体实施方式六：本实施方式与具体实施方式三不同的是：所述将获得的上采样后特征图与最后一个卷积核尺寸为3*3、卷积核个数为512的卷积层输出的特征图进行逐像素加权平均，获得融合后的特征图，其具体过程为：
其中：Ai″j″为上采样后特征图中像素点(i″,j″)处的像素值，Bi″j″为最后一个卷积核尺寸为3*3、卷积核个数为512的卷积层输出的特征图中像素点(i″,j″)处的像素值，α′和β′均为权重系数，Ci″j″为融合的特征图中像素点(i″,j″)处的像素值。
前三级网络的卷积层提取的是浅层特征，后两级网络的卷积层提取的是深层特征，浅层特征包含丰富细节信息，深层特征包含丰富语义信息，融合二者的优势。由于第三级网络的池化层输出特征图与第五级网络的池化层输出特征图大小不同，不能直接逐像素相加进行融合。因此，需要先将第五级网络池化层输出特征图利用反卷积层上采样到原来的4倍后，再与第三级网络池化层输出特征图进行逐像素加权平均，最后将融合后的特征图利用反卷积层上采样到原来的8倍，得到一幅与输入图片大小相同的二值图片。
具体实施方式七：本实施方式与具体实施方式六不同的是：所述上采样后特征图与最后一个卷积核尺寸为3*3、卷积核个数为512的卷积层输出的特征图的融合比例为1:3。
实验验证与分析
为了评估WMSFNet网络在云检测方面的性能，本发明从高分一号卫星拍摄的2米分辨率真实全色可见光遥感图像中选取图像进行测试验证，图片分辨率为256×256像素。基于WMSFNet网络的云检测方法选用100张图片进行训练，20张图片进行测试验证。
为了验证本发明提出的方法在全色可见光遥感图像中较其他方法具有更好的效果，本发明分别与提取浅层特征的云检测方法以及其他先进的能够自动提取深层特征的语义分割方法进行对比，充分说明WMSFNet网络在云检测方面的有效性。
本发明选取三种不同场景说明云检测效果，如图6、7和8所示：
场景1是最简单的场景，图片中除了背景之外仅包含云；场景2除了背景之外不仅含有云，而且包括陆地，存在灰度变化明显的海陆边界；场景3相对复杂，在背景中含有与云特征相似的建筑物。
基于人工特征提取的云检测方法主要包括阈值法和多特征提取法，阈值法是云检测的常用方法，云相对地物具有明显的灰度特征，选用文献(高分一号卫星影像自动云检测)中的最大类间方差法对场景1、场景2以及场景3中的全色可见光遥感图像进行云检测，检测效果分别如图9、10和11所示。
单一的灰度特征不能概括云的所有特性，进而，文献(遥感图像云图识别中的特征提取)提出一种多特征提取的方法，通过提取云的灰度特征、频率特征、纹理特征，并通过SVM分类器验证一幅图片中是否含有云。SVM分类器参数可以通过遗传方法进行参数寻优。这种方法需要先将一幅图片均分成许多小块，并通过SVM预测每一个小块中是否含有云，基于多特征提取法分别对场景1、场景2和场景3的测试数据集原始图进行云检测，获得的云检测效果如图12-14所示。
输出图片中深色部分代表含云区域，浅色部分代表无云区域。实验结果表明，利用SVM进行云检测的分类准确度可以达到89％。由于采取图像均分的方式，每一个小块中可能既包括有云区域又包括无云区域，因此这种方法只能大致提取云面积，检测精度较低。
在实际工程运用中，不仅需要判断图像中是否含有云，而且需要对云量值进行评价，遥感卫星在获取影像时很难捕捉到完全无云的场景，少量的云并不会遮挡有效信息，若仍对其进行处理，会造成有用信息的丢失。因此对云量值的检测成为不可避免的问题。预测图片中云面积百分比与真实图片云面积百分比的差值记为云面积检测误差，真实图片云面积百分比的计算可以通过手动标记有云区域，用有云区域像素点个数除以图片中的所有像素点个数获得。多特征提取法的云面积检测值采用输出图片中深色方块的数量除以所有方块的数量得到，如表3所示。
表3
由表3可知，基于多特征提取+SVM的方法只能实现云面积的大致检测，在简单场景中，云面积检测误差小于20％，但是如果场景中含有与云特征相似的地物，云面积的检测误差大于30％。综上所述，基于提取浅层特征的方法进行云检测的检测效果较差。
除了灰度、频率、纹理特征外，云还有许多抽象的深层特征。通过多个卷积层可以提取云更加抽象的语义特征。若采用Alexnet进行特征提取，并代替SVM进行分类，分类准确度可以达到94％。Alexnet是一个结构较简单的网络，如果使用结构更复杂的网络，分类准确度会有更好的效果，但是利用分类的方法只能大致检测云量值，因此，本发明最终采用语义分割的方法精确提取云量值。
本发明分别对比WMSFNet网络与FCN、常用语义分割方法U-net以及先进的语义分割方法Deeplab V3+在三种不同场景下的云检测效果。如图15所示，为场景1原始图、场景2原始图以及场景3原始图对应的标注图；图16、17、18和19分别是FCN、U-net、Deeplab V3+和WMSFNet的云检测效果图。
第一种最简单场景中，所有的语义分割方法均可以得到较好的效果。第二种场景中，U-net在该场景中效果较差，会把灰度变化明显的海陆边界也识别为云。第三种相对复杂的场景中，背景中含有与云特征相似的建筑物，传统的阈值法已经不能处理这一场景，除U-net外，其他语义分割方法不会将这些建筑物识别为云。
由图15-19可知，除U-net外，FCN和Deeplab V3+都能大致检测出云的轮廓，但是由于FCN的大输入步幅导致了边缘检测粗糙，Deeplab V3+由于引入了空洞卷积和条件随机场，在云边缘的检测效果较为精细，但是一些处在图像边界的云像素点容易造成误判。从图15-19可以看出，WMSFNet的云检测效果较其他方法更好，由于该方法融合了浅层细节特征和深层语义特征，方法能够在云边缘检测上取得较好的效果，从而使云量值的提取更加精确。
图像分割中通常使用许多标准来衡量方法的精度，本发明采用逐像素标记的精度标准。假设共有k+1个类，Pij表示本属于类i但被预测为类j的像素数量。即Pii表示标记正确的像素，而Pij和Pji表示标记错误的像素。
(1)像素精度(Pixel Accuracy，PA)：标记正确的像素占总像素的比例。
(2)均像素精度(Mean Pixel Accuracy，MPA)：计算每个类内被正确分类像素数的比例，然后求平均。
(3)均交并比(Mean Intersection over Union，MIoU)：计算真实值和预测值集合的交集和并集之比，然后求平均。
(4)频权交并比(Frequency Weighted Intersection over Union，FWIoU)：在MIoU的基础上根据每个类出现的频率为其设置权重。
云面积检测误差的计算方法为：预测图片云面积百分比与真实图片云面积百分比的差值。输入图片经过WMSFNet网络后会得到一幅与输入图片大小相同的二值图片，其中灰度值为0的像素点代表图片中的无云区域，灰度值不为0的像素点代表图片中的含云区域，只要统计二值图片中灰度值不为0的像素点个数占所有像素点的比例，则可以得到预测图片的云面积百分比。
不同语义分割方法的量化指标结果如表4所示。量化指标包括PA、MPA、MIoU、FWIoU以及云面积检测误差。WMSFNet在五个指标上较其他语义分割方法均有提升，针对本发明的数据集，WMSFNet云检测方法较其他方法具有更好的检测效果。
表4量化指标比较
实验结果表明，在不同场景下，WMSFNet都具备较好的效果，可以实现95.39％的像素分类准确度，云面积检测误差优于1％。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (5)

1.基于多尺度融合语义分割网络的遥感图像云检测方法，其特征在于，该方法包括以下步骤：
步骤一、从真实全色可见光遥感图像数据集中随机选取出N0张作为原始遥感图像；
对N0张原始遥感图像进行预处理，获得N0张预处理后的遥感图像；
所述对N0张原始遥感图像进行预处理，获得N0张预处理后的遥感图像，其具体过程为：
对于任意一张原始遥感图像，计算出该张原始遥感图像的各通道灰度的均值M，再分别利用该张原始遥感图像中各像素点的灰度减去均值M，获得该张原始遥感图像对应的预处理后遥感图像，即该张原始遥感图像对应的预处理后遥感图像中各像素点的灰度值为：
O′(i,j)＝O(i,j)-M (1)
其中：O(i,j)为该张原始遥感图像中像素点(i,j)处的灰度值，O′(i,j)为该张原始遥感图像对应的预处理后遥感图像中像素点(i,j)处的灰度值；
同理，计算出N0张原始遥感图像中每张原始遥感图像对应的预处理后遥感图像，即获得N0张预处理后的遥感图像；
步骤二、将N0张预处理后的遥感图像作为训练集输入语义分割网络进行训练，训练过程中不断更新语义分割网络中卷积层的卷积核参数，直至达到设置的最大迭代次数时停止训练，获得训练好的语义分割网络；
所述步骤二的具体过程为：
将N0张预处理后的遥感图像作为训练集输入语义分割网络，在开始训练之前，需要初始化语义分割网络的网络参数，网络参数初始化完成后再开始训练过程；
所述语义分割网络包括15个卷积层、5个池化层、2个反卷积层和2个裁剪层，分别是：
2个卷积核尺寸为3*3，卷积核个数为64的卷积层；
1个卷积核尺寸为2*2，卷积核个数为64的池化层；
2个卷积核尺寸为3*3，卷积核个数为128的卷积层；
1个卷积核尺寸为2*2，卷积核个数为128的池化层；
3个卷积核尺寸为3*3，卷积核个数为256的卷积层；
1个卷积核尺寸为2*2，卷积核个数为256的池化层；
3个卷积核尺寸为3*3，卷积核个数为512的卷积层；
1个卷积核尺寸为2*2，卷积核个数为512的池化层；
3个卷积核尺寸为3*3，卷积核个数为512的卷积层；
1个卷积核尺寸为2*2，卷积核个数为512的池化层；
1个卷积核尺寸为7*7，卷积核个数为4096的卷积层；
1个卷积核尺寸为1*1，卷积核个数为4096的卷积层；
1个卷积核尺寸为8*8，卷积核个数为2的反卷积层；
1个裁剪层，
1个卷积核尺寸为16*16，卷积核个数为2的反卷积层；
1个裁剪层；
利用卷积核尺寸为8*8、卷积核个数为2的反卷积层对卷积核尺寸为1*1、卷积核个数为4096的卷积层输出的特征图进行上采样，获得上采样后的特征图，获得的上采样后特征图的尺寸是卷积核尺寸为1*1、卷积核个数为4096的卷积层输出的特征图尺寸的四倍；
将获得的上采样后特征图与最后一个卷积核尺寸为3*3、卷积核个数为512的卷积层输出的特征图进行逐像素加权平均，获得融合后的特征图；利用卷积核尺寸为16*16、卷积核个数为2的反卷积层对融合特征图进行上采样，获得上采样后融合特征图，获得的上采样后融合特征图为融合后特征图尺寸的八倍；
上采样后融合特征图经过裁剪层后获得裁剪后图像，裁剪后图像与预处理后遥感图像的尺寸相同；
且在训练过程中，语义分割网络的卷积层的卷积核参数通过BP算法不断更新；直至达到设置的最大迭代次数N时停止迭代，获得训练好的语义分割网络；
步骤三、对于待检测的遥感图像，采用步骤一的方法对待检测的遥感图像进行预处理，获得预处理后的待检测遥感图像；
将预处理后的待检测遥感图像输入步骤二训练好的语义分割网络，获得语义分割网络输出的裁剪后图像；
将裁剪后图像经过softmax分类器，获得与裁剪后图像尺寸相同的二值图像，二值图像中灰度值不为0的像素点代表含云区域，灰度值为0的像素点代表非云区域，实现对待检测的遥感图像的云检测。
2.根据权利要求1所述的基于多尺度融合语义分割网络的遥感图像云检测方法，其特征在于，所述语义分割网络采用的损失函数为J(W,b)，将裁剪后图像输入softmax分类器，获得与裁剪后图像尺寸相同的二值图像；利用获得的二值图像计算损失函数J(W,b)的值：
其中：Sj′表示经过Softmax分类器的输出向量S中的第j′个值，j′＝1,2,…,T，T代表输出向量S中的值的总个数；aj′表示输入到Softmax分类器的输入向量a中的第j′个值，e代表自然常数；yj′是一个1×T的向量，且yj′＝{0,0,…,0,1,0,…,0,0}，其中：1为向量yj′中的第j′个元素，向量yj′中的其他元素均为0。
3.根据权利要求2所述的基于多尺度融合语义分割网络的遥感图像云检测方法，其特征在于，所述语义分割网络的卷积层的卷积核参数通过BP算法不断更新，其具体过程为：
在训练过程中，每一次迭代均按照公式(4)更新语义分割网络的卷积层的卷积核参数；
其中：表示从第l卷积层第i个神经元到第l+1卷积层第j个神经元的传递参数，α是学习率，/>为第l卷积层第i个神经元的偏置项。
4.根据权利要求1所述的基于多尺度融合语义分割网络的遥感图像云检测方法，其特征在于，所述将获得的上采样后特征图与最后一个卷积核尺寸为3*3、卷积核个数为512的卷积层输出的特征图进行逐像素加权平均，获得融合后的特征图，其具体过程为：
其中：Ai″j″为上采样后特征图中像素点(i″,j″)处的像素值，Bi″j″为最后一个卷积核尺寸为3*3、卷积核个数为512的卷积层输出的特征图中像素点(i″,j″)处的像素值，α′和β′均为权重系数，Ci″j″为融合的特征图中像素点(i″,j″)处的像素值。
5.根据权利要求4所述的基于多尺度融合语义分割网络的遥感图像云检测方法，其特征在于，所述上采样后特征图与最后一个卷积核尺寸为3*3、卷积核个数为512的卷积层输出的特征图的融合比例为1:3。
CN201910436645.2A 2019-05-23 2019-05-23 基于多尺度融合语义分割网络的遥感图像云检测方法 Active CN110119728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910436645.2A CN110119728B (zh) 2019-05-23 2019-05-23 基于多尺度融合语义分割网络的遥感图像云检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910436645.2A CN110119728B (zh) 2019-05-23 2019-05-23 基于多尺度融合语义分割网络的遥感图像云检测方法

Publications (2)

Publication Number Publication Date
CN110119728A CN110119728A (zh) 2019-08-13
CN110119728B true CN110119728B (zh) 2023-12-05

Family

ID=67523101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910436645.2A Active CN110119728B (zh) 2019-05-23 2019-05-23 基于多尺度融合语义分割网络的遥感图像云检测方法

Country Status (1)

Country Link
CN (1) CN110119728B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598600A (zh) * 2019-08-27 2019-12-20 广东工业大学 一种基于unet神经网络的遥感图像云检测方法
CN110781770B (zh) * 2019-10-08 2022-05-06 高新兴科技集团股份有限公司 基于人脸识别的活体检测方法、装置及设备
CN110910390B (zh) * 2019-11-11 2022-10-21 大连理工大学 一种基于深度畸变卷积的全景三维彩色点云语义分割方法
CN111079683B (zh) * 2019-12-24 2023-12-12 天津大学 基于卷积神经网络的遥感图像云雪检测方法
CN111144304A (zh) * 2019-12-26 2020-05-12 上海眼控科技股份有限公司 车辆目标检测模型的生成方法、车辆目标检测方法及装置
CN111523381A (zh) * 2020-03-13 2020-08-11 上海眼控科技股份有限公司 数值天气预报中土地利用信息的更新方法及设备
CN111523546B (zh) * 2020-04-16 2023-06-16 湖南大学 图像语义分割方法、***及计算机存储介质
CN111553925B (zh) * 2020-04-27 2023-06-06 南通智能感知研究院 一种基于fcn的端对端农作物影像分割方法及***
CN111553289A (zh) * 2020-04-29 2020-08-18 中国科学院空天信息创新研究院 一种遥感图像云检测方法及***
CN111611968B (zh) * 2020-05-29 2022-02-01 中国科学院西北生态环境资源研究院 一种遥感图像的处理方法以及遥感图像处理模型
CN111797712B (zh) * 2020-06-16 2023-09-15 南京信息工程大学 基于多尺度特征融合网络的遥感影像云与云阴影检测方法
CN111798461B (zh) * 2020-06-19 2022-04-01 武汉大学 粗粒度标签引导深度学习的像素级遥感影像云区检测方法
CN111738954B (zh) * 2020-06-24 2022-11-25 北京航空航天大学 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法
CN111783968B (zh) * 2020-06-30 2024-05-31 山东信通电子股份有限公司 一种基于云边协同的输电线路监测方法及***
CN112149492B (zh) * 2020-07-06 2022-08-30 北京航空航天大学 一种基于强化遗传学习的遥感图像精确云检测方法
CN112001403B (zh) * 2020-08-11 2023-12-15 北京化工大学 一种图像轮廓检测方法及***
CN111951284B (zh) * 2020-08-12 2022-04-22 湖南神帆科技有限公司 一种基于深度学习的光学遥感卫星图像精细化云检测方法
CN112489054A (zh) * 2020-11-27 2021-03-12 中北大学 一种基于深度学习的遥感图像语义分割方法
CN112508031B (zh) * 2020-12-22 2022-09-02 北京航空航天大学 一种从虚拟到现实的无监督遥感图像语义分割方法及模型
CN112784894B (zh) * 2021-01-18 2022-11-15 西南石油大学 一种岩石薄片显微图像自动标注方法
CN112819837B (zh) * 2021-02-26 2024-02-09 南京大学 一种基于多源异构遥感影像的语义分割方法
CN113239830B (zh) * 2021-05-20 2023-01-17 北京航空航天大学 一种基于全尺度特征融合的遥感图像云检测方法
CN113743300A (zh) * 2021-09-03 2021-12-03 中化现代农业有限公司 基于语义分割的高分遥感图像云检测方法和装置
CN113792653B (zh) * 2021-09-13 2023-10-20 山东交通学院 一种遥感影像云检测的方法、***、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341517A (zh) * 2017-07-07 2017-11-10 哈尔滨工业大学 一种基于深度学习层级间特征融合的多尺度小物体检测方法
CN107944354A (zh) * 2017-11-10 2018-04-20 南京航空航天大学 一种基于深度学习的车辆检测方法
CN108447048A (zh) * 2018-02-23 2018-08-24 天津大学 基于关注层的卷积神经网络图像特征处理方法
CN108491757A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于多尺度特征学习的光学遥感图像目标检测方法
CN108830855A (zh) * 2018-04-02 2018-11-16 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097353B (zh) * 2016-06-15 2018-06-22 北京市商汤科技开发有限公司 基于多层次局部区域融合的物体分割方法及装置、计算设备
US10679351B2 (en) * 2017-08-18 2020-06-09 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341517A (zh) * 2017-07-07 2017-11-10 哈尔滨工业大学 一种基于深度学习层级间特征融合的多尺度小物体检测方法
CN107944354A (zh) * 2017-11-10 2018-04-20 南京航空航天大学 一种基于深度学习的车辆检测方法
CN108491757A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于多尺度特征学习的光学遥感图像目标检测方法
CN108447048A (zh) * 2018-02-23 2018-08-24 天津大学 基于关注层的卷积神经网络图像特征处理方法
CN108830855A (zh) * 2018-04-02 2018-11-16 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Semantic image segmentation using fully convolutional neural networks with multi-scale images and multi-scale dilated convolutions";Duc My Vo等;《Multimedia Tools and Applications》;第77卷;全文 *
邓国徽等."基于改进的全卷积神经网络高分遥感数据语义分割研究".《第四届高分辨率对地观测学术年会论文集》.2017,第1-13页. *

Also Published As

Publication number Publication date
CN110119728A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN110119728B (zh) 基于多尺度融合语义分割网络的遥感图像云检测方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109934200B (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及***
CN109241913B (zh) 结合显著性检测和深度学习的船只检测方法及***
CN111915592B (zh) 基于深度学习的遥感图像云检测方法
CN106909902B (zh) 一种基于改进的层次化显著模型的遥感目标检测方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN111582201A (zh) 一种基于几何注意力感知的车道线检测***
CN110598600A (zh) 一种基于unet神经网络的遥感图像云检测方法
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
CN113239830B (zh) 一种基于全尺度特征融合的遥感图像云检测方法
CN107564009B (zh) 基于深度卷积神经网络的室外场景多目标分割方法
CN107506792B (zh) 一种半监督的显著对象检测方法
CN107330861B (zh) 基于扩散距离高置信度信息的图像显著性物体检测方法
CN113850324B (zh) 一种基于Yolov4的多光谱目标检测方法
CN104766065A (zh) 基于多视角学习的鲁棒性前景检测方法
CN115049841A (zh) 基于深度无监督多步对抗域自适应的高分辨sar图像地物要素提取方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及***
Fang et al. Geometric-spectral reconstruction learning for multi-source open-set classification with hyperspectral and LiDAR data
CN112950780A (zh) 一种基于遥感影像的网络地图智能生成方法及***
CN111291818B (zh) 一种面向云掩膜的非均匀类别的样本均衡化方法
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN110472632B (zh) 基于字符特征的字符分割方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant