CN111652038B - 基于卷积神经网络的遥感的海冰图像分类方法 - Google Patents

基于卷积神经网络的遥感的海冰图像分类方法 Download PDF

Info

Publication number
CN111652038B
CN111652038B CN202010283629.7A CN202010283629A CN111652038B CN 111652038 B CN111652038 B CN 111652038B CN 202010283629 A CN202010283629 A CN 202010283629A CN 111652038 B CN111652038 B CN 111652038B
Authority
CN
China
Prior art keywords
training
layer
neural network
extrusion
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010283629.7A
Other languages
English (en)
Other versions
CN111652038A (zh
Inventor
韩彦岭
魏聪
曹守启
洪中华
杨树瑚
周汝雁
张云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ocean University
Original Assignee
Shanghai Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ocean University filed Critical Shanghai Ocean University
Priority to CN202010283629.7A priority Critical patent/CN111652038B/zh
Publication of CN111652038A publication Critical patent/CN111652038A/zh
Application granted granted Critical
Publication of CN111652038B publication Critical patent/CN111652038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的遥感海冰图像分类方法，解决了传统方法不能充分挖掘高光谱遥感海冰图像空谱特征以及不能结合分类目标有效区分不同光谱特征贡献度的弊端，其技术方案要点是包括有以下步骤：通过原始遥感图像获得原始数据；从原始数据中手工标记部分样本作为样本库；将输入数据根据设定策略随机选择训练样；将其余样本作为测试样本；通过训练样本对预建的三维卷积神经网络模型进行训练和特征提取，并通过挤压激励网络对提取的特征进行权重调整，并最终选择支持向量机分类器完成分类；通过训练测试后的三维卷积神经网络模型对高光谱遥感图像进行检测分类，本发明能够有效地克服现有困难，提高遥感海冰图像的分类精度。

Description

基于卷积神经网络的遥感的海冰图像分类方法
技术领域
本发明涉及海冰检测领域，特别涉及一种基于卷积神经网络的遥感的海冰图像分类方法。
背景技术
海冰是高维度地区最突出的海洋灾害之一。它的冻结融化和漂流会对沿海地区、海洋上的生产作业产生重大影响。因此，为了快速准确地评估海冰冰情，及时预报海冰灾害，确保人身财产安全，海冰检测研究具有重要的意义，海冰分类是海冰检测的重要内容。
遥感技术是海冰检测的有效手段，可以及时、大范围地获取海冰数据，现已被广泛应用于海冰检测中。近年来，常用的遥感数据包括孔径雷达、具有中高等空间分辨率的多光谱卫星图像以及高光谱图像。特别对于多光谱和高光谱遥感海冰数据，具有覆盖范围广、分辨率高、波谱信息丰富、数据来源多、数据成本低等优点，适合作为海冰检测的数据源。但是，遥感图像包含数十到数百个波段并且光谱之间存在很强的关联性。为了得到准确的海冰分类结果，有必要区分不同光谱带之间的差异以及它们对于海冰分类的贡献。同时，由于环境条件的特殊性，海冰的标注样本较少，这也限制了海冰分类精度的提高。因此，这些问题给遥感海冰图像分类带来了巨大的挑战。
传统的遥感图像分类方法包括最大似然法，最小距离法，K-means聚类法等，但这些基于谱特征统计的方法分类准确率较低。因此，研究人员应用机器学习算法(例如神经网络(NN)，支持向量机(SVM)等)对遥感图像进行分类。研究表明，基于机器学习算法的遥感图像分类方法比传统的统计方法能取得更好的分类效果。特别地，支持向量机(SVM)方法在解决小样本，高维度和非线性分类问题方面具有良好的性能，并且已被广泛使用。但是，支持向量机(SVM)和神经网络(NN)都属于浅层学习算法。由于多/高光谱海冰图像中包含丰富的空间信息和具有高度相关性的光谱信息，因此难以通过浅层学习方法有效地提取遥感图像的深层特征并实现更高的分类精度。
与浅层学习方法相比，深度学习方法具有更好的表达能力，可以自动地提取深层隐藏特征，从而避免了复杂的手动特征提取过程。卷积神经网络(CNN)是一种专门设计的深度学习结构，广泛应用于考虑像素间空间相关性的图像识别和图像分类中。因此基于卷积神经网络(CNN)的遥感图像分类引起了研究者特别的研究兴趣；刘等人(2017)使用孪生卷积网络(Siamese)对遥感图像公共数据集进行分类，并取得了较好的分类效果；陈等人(2014)提出了利用局部高光谱立方体作为输入的三维卷积神经网络(3D-CNN)模型来捕获空间和光谱信息；胡(2015)和李等人(2017)开发了一种基于本地补丁的卷积神经网络(CNN)空间特征提取体系结构。然而这些方法大多通过空间维度提升网络性能，没有考虑光谱间的复杂相关性。Momenta等人(2017)提出一个挤压激励网络(SENet)结构，其核心思想是网络通过损失函数(loss)学习特征权重，增加有效特征的权重，抑制无效或效果较小的特征以达到更好的效果，实验表明挤压激励模块(SE-Block)结构可以嵌入到其他网路结构中，并取得了很好的效果。
传统海冰检测大多采用阈值分割、聚类方法和支持向量机(SVM)分类等浅层学习方法，难以提取遥感图像中的深层特征，而经典的卷积神经网络中一维卷积和二维卷积都会损失部分遥感图像信息且没有对提取的特征进行区分，为了进一步提高分类性能，本文提出一种基于改进的卷积神经网络的海冰遥感图像分类方法，该方法根据遥感海冰图像的三维结构，设计使用三维卷积神经网络(3D-CNN)同时提取海冰的光谱和空间信息特征，由于卷积神经网络(CNN)中提取的低层特征描述了不同类别海冰的纹理等细节信息，可弥补卷积神经网络(CNN)高层提取的抽象语义特征导致的细节信息丢失问题，因此在第一层卷积层和第二层卷积层后分别添加挤压激励模块(SE-Block)对卷积层提取的中低层特征进行加权处理，即通过增加有效特征的权重，抑制或减少无效特征的权重从而强化对分类效果具有重要作用的特征，进一步改进海冰分类精度。最后，使用对解决高维、非线性问题及小样本问题更有优势的支持向量机(SVM)分类器代替原有的Softmax分类器，获得更高的遥感海冰图像分类性能。实验结果表明，相对于机器学习算法和其他改进的卷积神经网络学习方法，挤压激励-卷积神经网络-支持向量机(SE-CNN-SVM)方法具有更好的分类效果。
发明内容
本发明所要解决的技术问题是：提供一种基于卷积神经网络的遥感海冰图像分类方法，能够有效的克服现有困难，改进遥感海冰图像的分类精度。
为解决上述技术问题，本发明所采用的技术方案为：一种基于卷积神经网络的遥感的海冰图像分类方法，包括以下步骤：
步骤一、通过原始遥感图像获得原始数据；将原始数据进行预处理，预处理过程具体包括有：将选择的样本库数据根据网络输入要求处理为K×K×B的数据块，其中K为像素块的空间维大小且取3-19中的任意奇数，B为遥感图像的波段数；
步骤二、原始数据通过人工标记选择一部分样本作为样本库；
步骤三、将输入数据根据设定策略在样本库中随机选择训练样本，并将其余数据作为测试样本；
步骤四、通过训练样本对预建的三维卷积神经网络3D-CNN模型进行训练和特征提取，然后通过***三维卷积神经网络3D-CNN的挤压激励模块SE-Block对提取的特征进行权重调整，并通过测试样本对训练完成后的挤压激励-卷积神经网络SE-CNN模型进行测试；
步骤五、将样本库经过挤压激励-卷积神经网络SE-CNN保存的样本特征输入支持向量机SVM进行二次训练后分类，并对比标注好的标签样本计算得到分类精度；
步骤六、通过训练测试后的挤压激励-卷积神经网络-支持向量机(SE-CNN-SVM)网络模型对高光谱遥感图像进行检测分类。
所述的挤压激励-卷积神经网络SE-CNN模型为8层网络结构，分别为输入层，第一层卷积层CONV1，第一挤压激励模块SE-Block，第二层卷积层CONV2，第二挤压激励模块SE-Block，第三层卷积层CONV3，全连接层(FC)和输出层；
所述步骤四的具体操作包括：
步骤(1)每次从训练样本中随机输入设定数量的训练样本到预先建立好的CNN网络的第一卷积层中进行训练；
步骤(2)第一挤压激励模块将第一层卷积层训练得到的特征进行全局平均池化，即挤压Squeeze操作；然后将挤压Squeeze后的特征通过输入第一挤压激励模块内的第一全连阶层进行降维，然后经过ReLU激活函数，再经过第一挤压激励模块内的第二全连阶层进行升维，然后再通过Sigmoid进行权重激活，即激励Excitation操作；将激励Excitation的输出的权重看作是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定；
步骤(3)将经过第一挤压激励模块SE-Block调整权重后的特征输入第二层卷积层中进行训练；
步骤(4)第二挤压激励模块将第二层卷积层训练得到的特征进行全局平均池化，即挤压Squeeze操作；然后将挤压Squeeze后的特征通过输入第二挤压激励模块内的第一全连阶层进行降维，然后经过ReLU激活函数，再经过第二挤压激励模块内的第二全连阶层进行升维，然后再通过Sigmoid进行权重激活，即激励Excitation操作；将激励Excitation的输出的权重看作是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定；
步骤(5)将步骤(4)中经过第二挤压激励模块SE-Block调整权重后的特征输入第三层卷积层，将该特征经训练拉伸为一维向量；
步骤(6)将转换后的一维向量输入到全连接层，将卷积过程中提取的局部特征映射融合，经Softmax交叉熵函数计算损失率后，通过反向传播计算每个参数的梯度，利用Adam算法动态地更新网络参数；
步骤(7)将测试样本输入训练好的网络中，得到预测标签；
步骤(8)依次针对各批次样本进行训练，重复步骤(1)-(6)，直到网络收敛，完成网络训练过程；并保存训练样本和测试样本经过网络训练得到的特征。
作为一种优选的方案，所述步骤(2)中将第一层卷积层得到的特征进行全局平均池化，即挤压Squeeze操作；其公式为
Figure GDA0003969371640000051
所述步骤(4)中将第二层卷积层得到的特征进行全局平均池化，即挤压Squeeze操作；其公式为
Figure GDA0003969371640000052
作为一种优选的方案，所述步骤(2)及步骤(4)中通过Sigmoid进行权重激活，即激励Excitation操作；其公式都为zc＝Fex(z，W)＝σ(g(z，W))＝σ(W2δ(W1z))，其中σ表示Sigmoid函数，δ表示修正线性单元ReLU函数。
作为一种优选的方案，所述步骤(2)及步骤(4)中将激励Excitation的输出的权重看作是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定，其公式都为
Figure GDA0003969371640000061
其中，
Figure GDA0003969371640000062
和Fscale(uc，sc)表示标量sc和特征图uc∈RH×W之间的对应通道乘积。
作为一种优选的方案，所述步骤五中将样本库经过挤压激励-卷积神经网络SE-CNN保存的样本特征输入支持向量机SVM进行二次训练后分类，其具体过程包括：将保留的经过权重调整后的训练样本特征和测试样本特征进行归一化；选择径向基函数RBF并使用网格寻优法对参数c,g进行寻优；使用寻优后的结果使用支持向量机SVM分类器进行二次训练后分类。
本发明的有益效果是：
(1)深度学习方法通过自主学习提取图像特征，在遥感图像分类中取得了较好的分类效果。但是不同的深度学习方法因网络结构不同，因此最终的分类效果也不相同。本文建议的方法，使用三维卷积神经网络(3D-CNN)的结构充分提取遥感海冰的深度空谱特征，利用卷积神经网络中低层提取的纹理等细节信息可以弥补高层抽象特征导致的信息丢失问题，在三维卷积神经网络(3D-CNN)前两层卷积层之后均结合挤压激励模块(SE-Block)，增加中低层有效特征的权重，减小无效或效果小的特征，从而强化对分类效果具有重要作用的特征，从而使模型达到更好的效果。
(2)本文提出的挤压激励-卷积神经网络-支持向量机(SE-CNN-SVM)方法一方面利用三维卷积神经网络(3D-CNN)充分提取遥感海冰图像中的深度空谱特征，同时结合挤压激励模块(SE-Block)增加中低层有效特征的权重使网络模型取得更好的效果；最后利用支持向量机(SVM)分类器进一步提高遥感海冰图像这种小样本、非线性的目标图像的分类效果，实现利用较少的标签样本获得较高的海冰分类精度，为遥感海冰图像分类提供了一种新的方法。
附图说明
图1为本方法与其他方法的总体框架类比图；
图2为挤压激励-卷积神经网络-支持向量机(SE-CNN-SVM)方法的结构图；
图3a-3f为格陵兰岛数据各类分类方法的分类结果示意图；
图4a-4f为辽东湾数据各类分类方法的分类结果示意图；
具体实施方式
下面结合附图，详细描述本发明的具体实施方案。
如图1-2所示，一种基于卷积神经网络的遥感的海冰图像分类方法，包括以下步骤：
步骤一、通过原始遥感图像获得原始数据；将原始数据进行预处理，预处理过程具体包括有：将选择的样本库数据根据网络输入要求处理为K×K×B的数据块，其中K为像素块的空间维大小且取3-19中的任意奇数，B为遥感图像的波段数；
步骤二、原始数据通过人工标记选择一部分样本作为样本库；
步骤三、将输入数据根据设定策略在样本库中随机选择训练样本，并将其余数据作为测试样本；
步骤四、通过训练样本对预建的三维卷积神经网络3D-CNN模型进行训练和特征提取，然后通过***三维卷积神经网络3D-CNN的挤压激励模块SE-Block对提取的特征进行权重调整，并通过测试样本对训练完成后的挤压激励-卷积神经网络SE-CNN模型进行测试：
所述的挤压激励-卷积神经网络SE-CNN模型为8层网络结构，分别为输入层，第一层卷积层CONV1，第一挤压激励模块SE-Block，第二层卷积层CONV2，第二挤压激励模块SE-Block，第三层卷积层CONV3，全连接层(FC)和输出层；
本步骤四的具体操作包括：
步骤(1)每次从训练样本中随机输入设定数量的训练样本到预先建立好的CNN网络的第一卷积层中进行训练；
步骤(2)假设第一层包含n个大小为C×C×D的卷积核，每个K×K×B大小的样本经过第一层的卷积运算后，则会输出n个(K-C+1)×(K-C+1)×(B-D+1)大小的特征图；
第一挤压激励模块将第一层卷积层训练得到的特征进行全局平均池化，即挤压Squeeze操作；其公式为
Figure GDA0003969371640000081
得到n个1×1×1的特征图；然后将挤压Squeeze后的n个特征图通过输入第一挤压激励模块内的第一全连阶层进行降维，然后经过修正线性单元ReLU激活函数，其中挤压激励模块(SE-Block)的第一个全连接层的神经元个数为2/n，则第一个全连接层之后得到2/n个1×1×1；再经过第一挤压激励模块内的第二全连阶层进行升维，然后再通过Sigmoid进行权重激活，即激励Excitation操作；其公式为zc＝Fex(z，W)＝σ(g(z，W))＝σ(W2δ(W1z))，其中σ表示Sigmoid函数，δ表示修正线性单元ReLU函数。其中挤压激励模块(SE-Block)的第二个全连阶层的神经元个数为n，则第二个全连阶层之后，得到n个1×1×1的特征图；
将激励Excitation的输出的权重看作是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定；即将第一层卷积之后的输出的特征n×(K-C+1)×(K-C+1)×(B-D+1)与挤压激励模块(SE-Block)进行特征调整之后的特征n×1×1×1相乘，最终得到将第一层卷积后进行权重调整过的特征。其公式为
Figure GDA0003969371640000091
其中，
Figure GDA0003969371640000092
和Fscale(uc，sc)表示标量sc和特征图uc∈RH×W之间的对应通道乘积。
步骤(3)将经过第一挤压激励模块SE-Block调整权重后的特征输入第二层卷积层中进行训练；
步骤(4)第二挤压激励模块将第二层卷积层训练得到的特征进行全局平均池化，即挤压Squeeze操作；其公式为
Figure GDA0003969371640000093
然后将挤压Squeeze后的特征通过输入第二挤压激励模块内的第一全连阶层进行降维，然后经过ReLU激活函数，再经过第二挤压激励模块内的第二全连阶层进行升维，然后再通过Sigmoid进行权重激活，即激励Excitation操作；其公式都为zc＝Fex(z，W)＝σ(g(z，W))＝σ(W2δ(W1z))，其中σ表示Sigmoid函数，δ表示修正线性单元ReLU函数。将激励Excitation的输出的权重看作是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定；其公式为
Figure GDA0003969371640000094
其中，
Figure GDA0003969371640000095
和Fscale(uc，sc)表示标量sc和特征图uc∈RH×W之间的对应通道乘积。
步骤(5)将步骤(4)中经过第二挤压激励模块SE-Block调整权重后的特征输入第三层卷积层，将该特征经训练拉伸为一维向量；
步骤(6)将转换后的一维向量输入到全连接层，将卷积过程中提取的局部特征映射融合，经Softmax交叉熵函数计算损失率后，通过反向传播计算每个参数的梯度，利用Adam算法动态地更新网络参数；
步骤(7)将测试样本输入训练好的网络中，得到预测标签；
步骤(8)依次针对各批次样本进行训练，重复步骤(1)-(6)，直到网络收敛，完成网络训练过程；并保存训练样本和测试样本经过网络训练得到的特征。
步骤五、将样本库经过挤压激励-卷积神经网络SE-CNN保存的样本特征输入支持向量机SVM进行二次训练后分类，具体过程为：将保留的经过权重调整后的训练样本特征和测试样本特征进行归一化；选择径向基函数RBF并使用网格寻优法对参数c,g进行寻优；使用寻优后的结果使用支持向量机SVM分类器进行二次训练后分类。并对比标注好的标签样本计算得到分类精度；
步骤六、通过训练测试后的挤压激励-卷积神经网络-支持向量机(SE-CNN-SVM)网络模型对高光谱遥感图像进行检测分类。
如图1所示，相比与基于光谱特征的一维卷积神经网络(1D-CNN)模型和基于空间特征的二维卷积神经网络(2D-CNN)模型，三维卷积神经网络(3D-CNN)模型可以同时提取光谱特征和空间特征，充分利用了遥感数据中隐藏的海冰特征信息。而且高光谱数据通常以三维数据立方体表示，契合了卷积神经网络(CNN)中的三维卷积滤波器提取特征的输入方式，因此三维卷积神经网络(3D-CNN)模型是一种适用于高光谱遥感海冰图像的分类模型。
由于不同类型海冰的光谱特征对于海冰分类的贡献度不同，利用挤压激励模块(SE-Block)对卷积得到的特征进行权重调整。基于挤压激励-卷积神经网络-支持向量机(SE-CNN-SVM)的遥感海冰图像方法通过三维卷积神经网络(3D-CNN)充分提取海冰的光谱和空间特征，并结合挤压激励模块(SE-Block)区分不同光谱对海冰分类的贡献，即增加有效特征的权重，抑制或减少无效特征的权重来进一步提升样本质量。最后，使用支持向量机(SVM)分类器进行分类，实现遥感海冰图像高分类性能。
为了降低模型的时间复杂度，我们采用较小的输入网络的尺寸并设计了简洁的网络结构，同时添加了dropout层来减少网络参数，同时能有效地防止网络过拟合。
为表述清楚，现举二实例：
1)数据描述
第一个实验数据为2014年4月12日格陵兰岛附近巴芬湾海域的HyperionEO-1高光谱影像，实验数据经过***几何校正、投影配准以及地形校正，图像级别为L1Gst级，波段光谱范围356～2578nm，总共包含242个波段，空间分辨率是30m，光谱分辨率达到纳米级。在242波段的图像数据中，有一部分波段受到了噪声和水汽的干扰，实验中把这些波段提前去除，最终剩余176个波段。根据光谱特征，海冰数据被划分为厚冰、薄冰、海水三个类别。通过人工选取一定数量的标签样本，共计3190标签样本。
表1.巴芬湾数据中每个类别不同个数的训练样本数量(像素个数)
Figure GDA0003969371640000111
Figure GDA0003969371640000121
第二个实验数据为2016年1月24日渤海鲅鱼圈区附近海域Landsat-8图像，它的空间分辨率为15m，图像大小为596×373。根据光谱曲线分为白冰、灰冰和灰白冰三种海冰类型。图3(a)是选取的实验区域图像，图3(b)是从图像中选取的训练数据区域分布图。图3(c)是标签样本的类别图例，蓝色代表白冰，青绿色代表灰冰，黄色代表灰白冰。实验中的海冰类型和相关样本数量如表2所示。
表2.辽东湾数据中每个类别不同个数的训练样本数量(像素个数)
Figure GDA0003969371640000122
2)网络结构设置
在这两个实验中，我们设计了包含8层网络结构，分别为输入层，第一层卷积层(CONV1)，挤压激励模块(SE-Block)，第二层卷积层(CONV2)，挤压激励模块(SE-Block)，第三层卷积层(CONV3)，全连接层(FC)和输出层。该模型的学***均池大小[1,1,1]；第一个全连接层神经元个数为2，即降维系数r为2，使用ReLU激活函数；第二个全连接层神经元个数为4，使用Sigmoid激活函数；第二层全连接层后的挤压激励模块(SE-Block)中，第一个完全连接层(FC)的神经元数为4，即降维系数r为2；使用ReLU激活函数；第二个全连接层神经元个数为8，使用Sigmoid激活函数；最终的全连接层使用ReLU激活功能，且丢弃率为0.5。表3显示了这两套数据集的网络结构。
表3.两套数据集的网络结构
Figure GDA0003969371640000131
3)实例结果
表4为巴芬湾数据中本专利的方法与其他分类方法分类结果对比，每种算法均在随机选择样本下进行5次，实验结果形式为平均值(保留两位有效数字)。从表4可以看出，相比其他算法，本专利所提出的算法获得了最好的分类结果。这表明深度学习方法可以深入探索多/高光谱海冰空间光谱特征之间的内在联系，更好地提取不同类型海冰的典型特征，并在小样本条件下实现更高的分类性能。当每个类别随机选择5个，10个和15个样本为训练样本时，分类准确率可分别达到94.55％，95.95％，96.31％。从表4中可以看出，支持向量机(SVM)分类精度通常较低，这表明深度学习算法通常比浅层学习算法获得更好的分类结果。孪生卷积网络(Siamese)方法的精度最低，因为孪生卷积网络(Siamese)方法具有双卷积网络结构，更适用于较多分类的图像分类。与卷积神经网络(CNN)方法相比，卷积神经网络-支持向量机(CNN-SVM)可以获得比卷积神经网络(CNN)自带的Softmax分类器更好的分类结果。本文提出的方法考虑了样本量少和光谱之间相关性复杂的问题，使用三维卷积神经网络(3D-CNN)提取不同类型的海冰特征，并结合挤压激励模块(SE-Block)优化各个光谱特征的权重，进一步区分了光谱特征对海冰分类的贡献，最后将支持向量机(SVM)分类模型用于海冰分类，提高了海冰类别之间的可分离性，并获得了更好的分类性能。例如，当随机选择20个样本作为训练样本时，分类准确率为96.31％，比孪生卷积网络(Siamese)方法，支持向量机(SVM)，卷积神经网络(CNN)方法和卷积神经网络-支持向量机(CNN-SVM)方法分别高14.19％，4.26％，2.28％，1.39％。
图3a-3f为对应的分类结果图像，其中图3a为合成图像，图3b至图3f分别为支持向量机(SVM)、孪生卷积神经网络(Siamese)、三维卷积神经网络(3D-CNN)、卷积神经网络-支持向量机(CNN-SVM)、及本专利采用方法的分类结果图。从分类结果图上看，本专利所提出方法的分类结果可有效地消除噪声点，令分类结果图更加平滑，对不同类别边缘区域的区分更加精准。
表4.格林兰岛数据集的分类结果(％)
Figure GDA0003969371640000151
表5为辽东湾数据中本专利的方法与其他分类方法分类结果对比，每种算法均在随机选择样本下进行5次，实验结果形式为平均值(保留两位有效数字)。从表5可以看出，相比其他算法，本专利所提出的算法获得了最好的分类结果。从表5可以看出，该方法在小样本情况下具有较高的分类性能。当为每类随机选择5个、10个和15个样本作为训练样本时，分类精度分别达到96.45％，96.99％和97.16％。当每个班级随机选择15个训练样本时，挤压激励-卷积神经网络-支持向量机(SE-CNN-SVM)方法比孪生卷积网络(Siamese)方法高12.49％；比支持向量机(SVM)方法高6.22％，比卷积神经网络(CNN)方法高3.10％；比卷积神经网络-支持向量机(CNN-SVM)方法高1.88％。
图4a-4f为对应的分类结果图像，其中图4a为合成图像，图4b至图4f分别为支持向量机(SVM)、孪生卷积神经网络(Siamese)、三维卷积神经网络(3D-CNN)、卷积神经网络-支持向量机(CNN-SVM)、及本专利采用方法的分类结果图。
表5.辽东湾数据集的分类结果(％)
Figure GDA0003969371640000152
Figure GDA0003969371640000161
上述的实施例仅例示性说明本发明创造的原理及其功效，以及部分运用的实施例，而非用于限制本发明；应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (5)

1.一种基于卷积神经网络的遥感的海冰图像分类方法，其特征是，包括以下步骤：
步骤一、通过原始遥感图像获得原始数据；将原始数据进行预处理，预处理过程具体包括有：将选择的样本库数据根据网络输入要求处理为K×K×B的数据块，其中K为像素块的空间维大小且取3到19中的任意奇数，B为遥感图像的波段数；
步骤二、原始数据通过人工标记选择一部分样本作为样本库；
步骤三、将输入数据根据设定策略在样本库中随机选择训练样本，并将其余数据作为测试样本；
步骤四、通过训练样本对预建的三维卷积神经网络3D-CNN模型进行训练和特征提取，然后通过***三维卷积神经网络3D-CNN的挤压激励模块SE-Block对提取的特征进行权重调整，并通过测试样本对训练完成后的挤压激励-卷积神经网络SE-CNN模型进行测试；
步骤五、将样本库经过挤压激励-卷积神经网络SE-CNN保存的样本特征输入支持向量机SVM进行二次训练后分类，并对比标注好的标签样本计算得到分类精度；
步骤六、通过训练测试后的挤压激励-卷积神经网络-支持向量机SE-CNN-SVM网络模型对高光谱遥感图像进行检测分类；
所述的挤压激励-卷积神经网络SE-CNN模型为8层网络结构，分别为输入层，第一层卷积层CONV1，第一挤压激励模块SE-Block，第二层卷积层CONV2，第二挤压激励模块SE-Block，第三层卷积层CONV3，全连接层(FC)和输出层；
所述步骤四的具体操作包括：
步骤(1)每次从训练样本中随机输入设定数量的训练样本到预先建立好的CNN网络的第一卷积层中进行训练；
步骤(2)第一挤压激励模块将第一层卷积层训练得到的特征进行全局平均池化，即挤压Squeeze操作；然后将挤压Squeeze后的特征通过输入第一挤压激励模块内的第一全连阶层进行降维，然后经过ReLU激活函数，再经过第一挤压激励模块内的第二全连阶层进行升维，然后再通过Sigmoid进行权重激活，即激励Excitation操作；将激励Excitation的输出的权重看作是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定；
步骤(3)将经过第一挤压激励模块SE-Block调整权重后的特征输入第二层卷积层中进行训练；
步骤(4)第二挤压激励模块将第二层卷积层训练得到的特征进行全局平均池化，即挤压Squeeze操作；然后将挤压Squeeze后的特征通过输入第二挤压激励模块内的第一全连阶层进行降维，然后经过ReLU激活函数，再经过第二挤压激励模块内的第二全连阶层进行升维，然后再通过Sigmoid进行权重激活，即激励Excitation操作；将激励Excitation的输出的权重看作是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定；
步骤(5)将步骤(4)中经过第二挤压激励模块SE-Block调整权重后的特征输入第三层卷积层，将该特征经训练拉伸为一维向量；
步骤(6)将转换后的一维向量输入到全连接层，将卷积过程中提取的局部特征映射融合，经Softmax交叉熵函数计算损失率后，通过反向传播计算每个参数的梯度，利用Adam算法动态地更新网络参数；
步骤(7)将测试样本输入训练好的网络中，得到预测标签；
步骤(8)依次针对各批次样本进行训练，重复步骤(1)-(6)，直到网络收敛，完成网络训练过程；并保存训练样本和测试样本经过网络训练得到的特征。
2.根据权利要求1所述的基于卷积神经网络的遥感的海冰图像分类方法，其特征是，
所述步骤(2)中将第一层卷积层得到的特征进行全局平均池化，即挤压Squeeze操作；其公式为
Figure FDA0003969371630000031
所述步骤(4)中将第二层卷积层得到的特征进行全局平均池化，即挤压Squeeze操作；其公式为
Figure FDA0003969371630000032
3.根据权利要求1所述的基于卷积神经网络的遥感的海冰图像分类方法，其特征是，
所述步骤(2)及步骤(4)中通过Sigmoid进行权重激活，即激励Excitation操作；其公式都为zc＝Fex(z，W)＝σ(g(z，W))＝σ(W2δ(W1z))，其中σ表示Sigmoid函数，δ表示修正线性单元ReLU函数。
4.根据权利要求1所述的基于卷积神经网络的遥感的海冰图像分类方法，其特征是，
所述步骤(2)及步骤(4)中将激励Excitation的输出的权重看作是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定，其公式都为
Figure FDA0003969371630000041
其中，
Figure FDA0003969371630000042
和Fscale(uc，sc)表示标量sc和特征图uc∈RH×W之间的对应通道乘积。
5.根据权利要求1所述的基于卷积神经网络的遥感的海冰图像分类方法，其特征是，所述步骤五中将样本库经过挤压激励-卷积神经网络SE-CNN保存的样本特征输入支持向量机SVM进行二次训练后分类，其具体过程包括：将保留的经过权重调整后的训练样本特征和测试样本特征进行归一化；选择径向基函数RBF并使用网格寻优法对参数c,g进行寻优；使用寻优后的结果使用支持向量机SVM分类器进行二次训练后分类。
CN202010283629.7A 2020-04-13 2020-04-13 基于卷积神经网络的遥感的海冰图像分类方法 Active CN111652038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010283629.7A CN111652038B (zh) 2020-04-13 2020-04-13 基于卷积神经网络的遥感的海冰图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010283629.7A CN111652038B (zh) 2020-04-13 2020-04-13 基于卷积神经网络的遥感的海冰图像分类方法

Publications (2)

Publication Number Publication Date
CN111652038A CN111652038A (zh) 2020-09-11
CN111652038B true CN111652038B (zh) 2023-03-03

Family

ID=72344045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010283629.7A Active CN111652038B (zh) 2020-04-13 2020-04-13 基于卷积神经网络的遥感的海冰图像分类方法

Country Status (1)

Country Link
CN (1) CN111652038B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102324B (zh) * 2020-09-17 2021-06-18 中国科学院海洋研究所 一种基于深度U-Net模型的遥感图像海冰识别方法
CN112215291A (zh) * 2020-10-19 2021-01-12 中国计量大学 级联神经网络下医学图像特征提取和分类方法
CN112396089B (zh) * 2020-10-20 2023-04-07 中国地质大学（武汉） 基于lfgc网络和压缩激励模块的图像匹配方法
CN112560894A (zh) * 2020-11-16 2021-03-26 武汉光谷信息技术股份有限公司 一种改进型3d卷积网络高光谱遥感影像分类方法及装置
CN112651927A (zh) * 2020-12-03 2021-04-13 北京信息科技大学 一种基于卷积神经网络与支持向量机的拉曼光谱智能识别方法
CN112700489B (zh) * 2020-12-30 2023-04-18 武汉大学 基于深度学习的船基视频图像海冰厚度测量方法及***
CN112729562B (zh) * 2021-01-26 2022-08-26 河南工业大学 基于改进u型卷积神经网络的海冰分布探测方法
CN112862672B (zh) * 2021-02-10 2024-04-16 厦门美图之家科技有限公司 刘海生成方法、装置、计算机设备和存储介质
CN112906645B (zh) * 2021-03-15 2022-08-23 山东科技大学 一种sar数据和多光谱数据融合的海冰目标提取方法
CN112990088A (zh) * 2021-04-08 2021-06-18 昆明理工大学 一种基于cnn模型嵌入的遥感图像小样本分类方法
CN113327621A (zh) * 2021-06-09 2021-08-31 携程旅游信息技术（上海）有限公司 模型训练方法、用户识别方法、***、设备及介质
CN114863162A (zh) * 2022-03-28 2022-08-05 北京百度网讯科技有限公司 对象分类方法、深度学习模型的训练方法、装置和设备
CN114758256A (zh) * 2022-04-18 2022-07-15 云南这里信息技术有限公司 烟田杂草识别方法、装置、设备及存储介质
CN115546735B (zh) * 2022-11-28 2023-03-10 四川川锅环保工程有限公司 一种冷却塔结冰检测识别***、方法和存储介质
CN116595208B (zh) * 2023-07-17 2023-10-13 云南大学 高光谱图像的分类方法、装置及电子设备
CN116682027B (zh) * 2023-08-01 2023-11-03 中国科学院空天信息创新研究院 基于MobileNet的SAR海冰图像分类方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957086A (zh) * 2016-05-09 2016-09-21 西北工业大学 一种基于优化神经网络模型的遥感图像变化检测方法
CN109344891A (zh) * 2018-09-21 2019-02-15 北京航空航天大学 一种基于深度神经网络的高光谱遥感数据分类方法
CN109815859A (zh) * 2019-01-10 2019-05-28 中交信息技术国家工程实验室有限公司 一种低等级道路自动提取及变化分析方法
CN110309811A (zh) * 2019-07-10 2019-10-08 哈尔滨理工大学 一种基于胶囊网络的高光谱图像分类方法
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN110363071A (zh) * 2019-05-31 2019-10-22 上海海洋大学 一种协同主动学习和直推式支持向量机的海冰检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999606B2 (en) * 2019-01-08 2021-05-04 Intel Corporation Method and system of neural network loop filtering for video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957086A (zh) * 2016-05-09 2016-09-21 西北工业大学 一种基于优化神经网络模型的遥感图像变化检测方法
CN109344891A (zh) * 2018-09-21 2019-02-15 北京航空航天大学 一种基于深度神经网络的高光谱遥感数据分类方法
CN109815859A (zh) * 2019-01-10 2019-05-28 中交信息技术国家工程实验室有限公司 一种低等级道路自动提取及变化分析方法
CN110363071A (zh) * 2019-05-31 2019-10-22 上海海洋大学 一种协同主动学习和直推式支持向量机的海冰检测方法
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN110309811A (zh) * 2019-07-10 2019-10-08 哈尔滨理工大学 一种基于胶囊网络的高光谱图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep_Feature_Fusion_via_Two-Stream_Convolutional_Neural_Network_for_Hyperspectral_Image_Classification;Xian Li;《IEEE》;20191103;全文 *
主动学习与半监督技术相结合的海冰图像分类;韩彦岭;《遥感信息》;20190228;第34卷(第02期);全文 *

Also Published As

Publication number Publication date
CN111652038A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111652038B (zh) 基于卷积神经网络的遥感的海冰图像分类方法
CN111860612B (zh) 无监督高光谱图像隐低秩投影学习特征提取方法
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN111914907B (zh) 一种基于深度学习空谱联合网络的高光谱图像分类方法
CN105046276B (zh) 基于低秩表示的高光谱图像波段选择方法
CN107590515B (zh) 基于熵率超像素分割的自编码器的高光谱图像分类方法
CN110084159A (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110728192A (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
Liu et al. Remote sensing image change detection based on information transmission and attention mechanism
CN109858557B (zh) 一种新的高光谱图像数据半监督分类方法
CN109190511B (zh) 基于局部与结构约束低秩表示的高光谱分类方法
CN111680579B (zh) 一种自适应权重多视角度量学习的遥感图像分类方法
CN114842264A (zh) 一种基于多尺度空谱特征联合学习的高光谱图像分类方法
CN117541844B (zh) 一种基于超图学习的弱监督组织病理学全切片图像分析方法
CN112115795B (zh) 一种基于Triple GAN的高光谱图像分类方法
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN113837314A (zh) 一种基于混合卷积神经网络的高光谱图像分类方法
CN114299398B (zh) 一种基于自监督对比学习的小样本遥感图像分类方法
CN116912550A (zh) 一种基于地物依赖关系的异构卷积网络遥感影像土地利用并行分类方法
Roy et al. Classification of massive noisy image using auto-encoders and convolutional neural network
Ma et al. Land cover classification for polarimetric sar image using convolutional neural network and superpixel
Sarpong et al. Hyperspectral image classification using second-order pooling with graph residual unit network
CN116977723A (zh) 基于空间-光谱混合自注意力机制的高光谱图像分类方法
CN115375941A (zh) 基于gat和3d-cnn的多特征融合高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant