CN112232280B - 基于自编码器与3d深度残差网络的高光谱图像分类方法 - Google Patents
基于自编码器与3d深度残差网络的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN112232280B CN112232280B CN202011217994.4A CN202011217994A CN112232280B CN 112232280 B CN112232280 B CN 112232280B CN 202011217994 A CN202011217994 A CN 202011217994A CN 112232280 B CN112232280 B CN 112232280B
- Authority
- CN
- China
- Prior art keywords
- data
- encoder
- hyperspectral
- remote sensing
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 123
- 238000012549 training Methods 0.000 claims abstract description 83
- 230000009467 reduction Effects 0.000 claims abstract description 32
- 238000003062 neural network model Methods 0.000 claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 239000010410 layer Substances 0.000 claims description 123
- 230000006870 function Effects 0.000 claims description 72
- 238000001228 spectrum Methods 0.000 claims description 44
- 230000003595 spectral effect Effects 0.000 claims description 39
- 230000004913 activation Effects 0.000 claims description 35
- 238000010606 normalization Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 abstract description 4
- 238000006731 degradation reaction Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 2
- 230000008034 disappearance Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 21
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 17
- 235000011613 Pinus brutia Nutrition 0.000 description 17
- 241000018646 Pinus brutia Species 0.000 description 17
- 238000013135 deep learning Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 241000488988 Monotropa Species 0.000 description 4
- 239000010426 asphalt Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 240000004658 Medicago sativa Species 0.000 description 3
- 235000017587 Medicago sativa ssp. sativa Nutrition 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 244000075850 Avena orientalis Species 0.000 description 2
- 235000007319 Avena orientalis Nutrition 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 244000068988 Glycine max Species 0.000 description 1
- 235000010469 Glycine max Nutrition 0.000 description 1
- 241001466077 Salina Species 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于自编码器与3D深度残差网络的高光谱图像分类方法,与现有技术相比解决了难以进行遥感高光谱图像分类的缺陷。本发明包括以下步骤:训练样本的获取;待训练高光谱遥感影像数据的预处理;堆栈自编码器神经网络模型的搭建和训练;3D深度残差网络的搭建与训练;待分类高光谱遥感影像的获取;待分类高光谱遥感影像的预处理和降维;高光谱遥感影像分类结果的获得。本发明通过搭建堆栈自编码器神经网络模型,对原始高光谱遥感影像进行降维,剔除了冗余信息;通过设计的3D卷积神经网络引入残差网络模块适当增加网络的深度,建立了3D深度残差网络,更加有效的提取了高光谱遥感影像的空谱联合信息,避免了梯度消失、网络退化的问题。
Description
技术领域
本发明涉及高光谱图像处理技术领域,具体来说是基于自编码器与3D深度残差网络的高光谱图像分类方法。
背景技术
随着国内外高光谱遥感技术不断地快速发展,在农业、环境科学、地物观测等方面得到了广泛的应用。高光谱遥感影像数据是一个包含丰富光谱和空间信息的三维数据立方体,拥有地表物体上百个连续谱段的信息,极大地提高了识别和区分各类地物的能力。如何充分利用高光谱数据的高分辨率空谱信息,不断提高分类精度成为科研人员不断追求的目标。然而,高光谱图像具有较高的数据维度和光谱、空间信息冗余度,会造成存储和计算效率的下降。在对高光谱图像进行分类等应用时,随着数据维度的增加,会产生严重的Hughes现象,从而导致分类精度明显下降。
近年来,基于深度学习的图像分类方法得到了广泛的关注,成为了研究的热点。与传统的人工设计特征相比,它能够自动提取从底层到高层语义的抽象特征,将图像转换成更容易识别的高级特征。深度学习对非线性数据有着极强的处理能力,得到的特征具有更高的抽象性、层次性与可区分性。例如,堆栈式自编码器(Stacked Auto-enc oder,SAE)和深度置信网络(Deep Belief Network,DBN)利用无监督方法学习高光谱图像的深层特征,实现对空谱特征进行提取和分类。变分自编码器(Variational Auto-encoder,VAE)是在GANS之前就被提出的另一种深度生成网络。相较于GANS复杂的网络结构,VAE 假设条件简单且易于构建,在图像处理方面有广泛的用途。
在高光谱图像分类中,仅采用光谱特征进行分类往往无法达到较高的精度,因此集成光谱和空间信息是提高分类精度的有效方法。卷积神经网络(Convolutional NeuralNetwork,CNN)是深度学***衡局部判别嵌入(BLDE)结合的分类方法使用主成分分析法对原始高光谱图像进行降维,利用2D-CNN在降维图像上提取空间特征,使用BLDE算法提取光谱信息,最终将空间和光谱信息融合并输入分类器以提高分类精度。然而,2D-CNN需要将光谱和空间信息分开提取,不能充分利用联合的空谱信息。而后出现的3D-CNN(Three-Dimensional Convolutional Neural Network)提取高光谱图像特征的优势在于,光谱信息和空间信息能够被同步地提取,充分发挥了三维高光谱图像的优势。SSRN分类方法基于3D-CNN分别设计了光谱和空间残差模块网络学习空谱特征,提高了分类识别准确率,但这削弱了3D-CNN可同时在光谱和空间同时采样的优势,使网络设计冗余。
因此,针对以上问题,如何设计出一种高效可靠的遥感高光谱图像分类方法已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中难以进行遥感高光谱图像分类的缺陷,提供一种基于自编码器与3D深度残差网络的高光谱图像分类方法来解决上述问题。
为了实现上述目的,本发明的技术方案如下:
一种基于自编码器与3D深度残差网络的高光谱图像分类方法,包括以下步骤:
训练样本的获取:从每类地物样本中按比例获取高光谱遥感影像数据样本及标签,作为待训练的高光谱遥感影像数据;
待训练高光谱遥感影像数据的预处理:对输入的高光谱遥感影像数据进行归一化处理,然后对转换成张量后的训练样本及标签进行封装,再将封装后的数据集进行装载,以便输入神经网络模型中进行训练;
堆栈自编码器神经网络模型的搭建和训练:搭建堆栈自编码器神经网络模型,再将归一化处理后的高光谱影像数据输入堆栈自编码器神经网络模型中进行训练,得到训练后的堆栈自编码器神经网络模型并得到降维后的训练高光谱遥感影像;
3D深度残差网络的搭建与训练:搭建3D-CNN网络,然后引入空谱残差网络模块建立3D深度残差网络;再将降维后的高光谱遥感影像进行边缘填充,以每个地物样本为中心的邻域像素组成新的大小为w×w×d的3D立方体训练样本;将3D立方体训练样本输入3D深度残差网络中进行训练,得到训练后的3D深度残差网络;
待分类高光谱遥感影像的获取:获取待分类的高光谱遥感影像样本数据及标签;
待分类高光谱遥感影像的预处理和降维:将待分类的高光谱遥感影像进行归一化;输入堆栈自编码器神经网络模型中进行降维,得到降维后的高光谱遥感影像数据,降维后的数据大小为m×n×d,其中, m,n分别为高光谱遥感影像长和宽,d为降维维数;并转化为适应 3D深度残差网络的待分类3D立方体样本;
高光谱遥感影像分类结果的获得:将待分类3D立方体样本输入训练好的3D深度残差网络中,得到高光谱遥感影像分类结果。
所述待训练高光谱遥感影像数据的预处理包括以下步骤:
将高光谱遥感影像数据分为待训练的遥感高光谱三维影像数据 T及地物标签G,其中,三维影像数据T的维度为m×n×h,分别为高光谱遥感影像的长和宽,以及光谱维度;
将待训练的遥感高光谱三维影像数据T转化为二维特征矩阵,其中,二维特征矩阵中的每列表示光谱维度、每行表示每个样本的所有光谱信息;
对输入的二维高光谱特征样本采用归一化公式进行归一化处理,其归一化公式如下:
其中,表示输入的高谱二维特征矩阵第b个光谱波段中第k 个地物目标;表示第b个光谱波段中对应的所有地物的像素平均值;表示第b个光谱波段中对应的所有地物的像素标准差值;表示归一化后输出的二维特征矩阵中第b个光谱波段中第i个地物目标;
将归一化后的高光谱数据及地物标签均转化成tensor形式,然后将变成张量形式的高光谱数据及地物标签进行封装,再将封装后的数据进行装载,其中,通过batch_size参数设置装载时每个包中图片数据的个数。
所述堆栈自编码器神经网络模型的搭建和训练包括以下步骤:
对单层堆栈自编码器进行堆叠,搭建堆栈自编码器神经网络模型,
其中,堆栈自编码器由编码器和解码器两个部分组成,编码器部分由1个输入层、4个编码隐藏层组成,解码部分由4个解码隐藏层、 1个输出层组成,
在编码器和解码器部分使用Tanh非线性激活函数,在输出层使用Sigmoid非线性激活函数,Tanh非线性激活函数表达式如下:
其中,i={0,1..9}为堆栈自编码器层数,e为自然对数函数的底数,为常数;xi为自编器第i层的输入数据,f(xi)为自编器第i层经Tanh 激活函数处理后的输出数据;
Sigmoid非线性激活函数表达式如下:
其中,xend为自编器最后一层的输出数据;f(xend)为经Sigmoid激活函数处理后的输出数据;e为自然对数函数的底数,为常数;设定采用均方根误差损失函数衡量重建数据与真实数据的偏差,并使用自适应时刻估计方法优化算法训练网络参数,均方根误差损失函数计算公式如下:
其中,∑为求和操作,为开根号操作,YRMSE为均方误差的算术平方根值,为输入数据真实标签分布, 为自编码模型的预测值,上标l为样本中类别的总个数,用于指明是哪个真实值与预测值在进行损失计算,N为每一批次的总样本数;
将装载好的高光谱数据及地物标签输入到堆栈编码器中,使得输入数据映射到隐藏层并得到输入数据的核心特征,完成自编码器编码的过程,自编码器编码过程的表达式如下:
y=f(Wyx+by),
其中,x为装载好的输入数据,y表示中间隐藏层学习到的特征, Wy代表隐藏层输入的权重,by表示隐藏单元的偏移系数,f代表激活函数;
将得到的核心特征再传递到一个与输入层大小相同的输出层,核心特征被解压并重构,最终得到一个与输入数据相近的输出数据,完成自编码器的解码过程,解码过程的表达式如下:
z=f(Wzy+bz),
其中,y表示中间隐藏层学习到的特征,z为通过隐藏特征y重建后的数据,
Wz代表隐藏层输出的权重,bz表示输出单元的偏移系数,f代表激活函数;
Wy=W'z=W,
W’z表示Wz的转置,该式为自动编码器的约束条件,表示自动编码器具有相同的绑定权重W,有助于使模型的参数量减半;
自动编码器训练的目标使输入数据与重建数据的误差不断缩小,数学表达式如下:
在此,自动编码器需要训练的参数为:W,by,bz;
其中,x为装载好的样本数据,z表示重建后的输出数据,c(x,z) 代表输入数据与重建数据之间的误差;其权值更新规则由如下公式进行表示:
将装载好的高光谱数据及地物标签输入到堆栈编码器后,采用无监督方式训练第一层自动编码器自动编码器,把第一个自动编码器的输出作为第二个自动编码器的输入,采用同样的训练方法训练第二个自动编码器,以此类推,逐层完成训练所有的自动编码器,得到训练好的堆栈自编码器神经网络模型,并得到降维后的训练高光谱遥感影像。
所述3D深度残差网络的搭建与训练包括以下步骤:
将降维后的高光谱影像进行边缘填充,充分提取边缘特征,以每个地物样本为中心的邻域像素组成新的数据集,其每个样本大小为 w×w×d的3D立方体样本;
搭建3D卷积神经网络,提取空谱联合特征,其3D卷积计算公式为:
其中,为第i层的第j个特征图在(x,y,z)位置的输出值, m为第i-1层连接到当前特征图上的特征图的集合,即通道数,为3D卷积核在第m个特征图的(p,q,r)位置的权值,bi,j为偏置,f 为激活函数,N1、N2、N3分别为卷积核的长度、宽度和高度;
3D卷积核在输入3D高光谱遥感影像的两个维度上均进行卷积运算,卷积一次仅得到3D图像中的一个体素点,输入图像整体卷积后得到一个新的3D特征图;
在3D卷积神经网络引入空谱残差网络学习模块,加深网络深度,建立3D深度残差网络,基本残差模块单元的计算公式如下:
H(X)=F(X)+X,
X是某段神经网络的输入,H(X)是期望输出,直接把输入X传到输出作为初始结果;当F(X)=0时,那么H(X)=X,即恒等映射;
在此,空谱残差网络模块为三个3D卷积的快速连接,其中 w×w×d为输入的高光谱遥感数据特征立方体,分别表示长、宽、光谱维度;
设Xl、Xl+1、Xl+2、Xl+3分别表示第l层至第l+3层的高光谱数据向量,对于第l层后的滤波器Fl+1的、第l+1层后的滤波器Fl+2和第l+3层后的滤波器Fl+3,统一使用n个大小为a×a×a的卷积核,使用边界填充策略不改变Xl+1、Xl+2、Xl+3三维立方体特征的尺寸大小,使得输入特征与输出特征在空间大小上保持w×w×d不变;
上述过程可如下式表示:
Xl+3=Xl+F(Xl;δ),
其中,l为3D空谱残差网络模块的第l层,l={1,2,3...};Xl为第 l层的n个输入特征,为第l+2层经过批量归一化的结果,Xl+3为第l+3层的n个输出特征,bl+3为第l+3层的偏置,δ={Fl+1,Fl+2,Fl+3,bl+1,bl+2,bl+3}为3D空谱残差网络模块中的卷积滤波器和对应的偏置,f代表激活函数,F(Xl;δ)为这三个卷积层建立的残差函数;
3D空谱残差网络模块使用修正线性单元ReLU激活函数,其数学表达式如下:
f(x)=max(0,x),
ReLU函数通过判断0和输入数据x中的最大值作为结果进行输出,即如果x小于0,则输出结果0;如果x大于0,则输出结果x;
设定训练过程中,通过反向传播机制对网络参数进行更新,具体使用交叉熵损失函数,其表达式如下:
其中,∑为求和操作,log为取对数操作,e为自然对数函数的底数,为常数;为预测值与真实值之间的误差损失; Y={y1,y2,...,yL}表示真实标签向量,表示预测标签向量, L为每一批次输入样本数;
使用Adam优化函数方法让每个参数获得自适应学习率,并且,对每一层采用了批量归一化BN,其数学表达式如下:
将降维后的高光谱遥感数据输入到3D深度残差网络中进行训练,使用BN、Dropout正则化策略避免过拟合现象,得到训练好的3D深度残差网络模型。
本发明通过搭建堆栈自编码器神经网络模型,对原始高光谱遥感影像进行降维,剔除了冗余信息;通过设计的3D卷积神经网络引入残差网络模块适当增加网络的深度,建立了3D深度残差网络,更加有效的提取了高光谱遥感影像的空谱联合信息,避免了梯度消失、网络退化的问题。另外,模型采用了包括BN、Dropout和激活函数在内的一系列正则化策略避免过拟合现象。与部分传统分类方法以及目前主流的深度学***均分类精度(AA)、Kappa系数均有不同程度的提高。本发明在加深网络深度的同时,大量减小了网络模型的参数量,并且在样本量有限的情况下,也能保持稳定较高的分类精度。
附图说明
图1为本发明的方法顺序图;
图2为本发明3D空谱残差网络模块结构;
图3为Indian Pines高光谱数据集伪彩色影像与真实地物分布图;
图4为Pavia University高光谱数据集伪彩色影像与真实地物分布图;
图5为本发明所示所述分类方法SAE-3DDRN在不同维数d、残差网络结构、学习率lr下对分类精度的影响;
图6为本发明方法与现有方法对Indian Pines数据集的分类结果图;
图7为本发明方法在Indian Pines数据集上训练时的损失和精度变化;
图8为本发明方法与现有方法对Pavia University数据集的分类结果图;
图9为本发明在Pavia University数据集上训练时的损失和精度变化;
图10本发明在Indian Pines数据集下不同训练样本比例下的 OA、AA、Kappa变化点线图;
图11为本发明在Pavia University数据集下不同训练样本比例下的OA、AA、Kappa变化点线图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以较佳的实施例及附图配合详细的说明,说明如下:
如图1所示,本发明所述的一种基于自编码器与3D深度残差网络的高光谱图像分类方法,包括以下步骤:
第一步,训练样本的获取:从每类地物样本中按比例获取高光谱遥感影像数据样本及标签,作为待训练的高光谱遥感影像数据。
第二步,待训练高光谱遥感影像数据的预处理:对输入的高光谱遥感影像数据进行归一化处理,然后对转换成张量后的训练样本及标签进行封装,再将封装后的数据集进行装载,以便输入神经网络模型中进行训练。其具体步骤如下:
(1)将高光谱遥感影像数据分为待训练的遥感高光谱三维影像数据T及地物标签G,其中,三维影像数据T的维度为m×n×h,分别为高光谱遥感影像的长和宽,以及光谱维度;
(2)将待训练的遥感高光谱三维影像数据T转化为二维特征矩阵,其中,二维特征矩阵中的每列表示光谱维度、每行表示每个样本的所有光谱信息;
(3)对输入的二维高光谱特征样本采用归一化公式进行归一化处理,其归一化公式如下:
其中,表示输入的高谱二维特征矩阵第b个光谱波段中第k 个地物目标;表示第b个光谱波段中对应的所有地物的像素平均值;表示第b个光谱波段中对应的所有地物的像素标准差值;表示归一化后输出的二维特征矩阵中第b个光谱波段中第i个地物目标;
(4)将归一化后的高光谱数据及地物标签均转化成tensor形式,然后将变成张量形式的高光谱数据及地物标签进行封装,再将封装后的数据进行装载,其中,通过batch_size参数设置装载时每个包中图片数据的个数。
第三步,堆栈自编码器神经网络模型的搭建和训练:搭建堆栈自编码器神经网络模型,再将归一化处理后的高光谱影像数据输入堆栈自编码器神经网络模型中进行训练,得到训练后的堆栈自编码器神经网络模型并得到降维后的训练高光谱遥感影像。
高光谱遥感影像地表覆盖存在同物异谱和同谱异物现象,从而导致高光谱数据呈现高度非线性,然而传统的降维方法并不能很好的解决高光谱遥感影像存在的非线性问题,并且无法提取更深层次的特征。与一般采用的传统降维方法PCA相比,本发明采用多层的以非线性函数作为激活函数的堆栈自编码器具有很好的性能,不仅可以做线性变换,而且可以做非线性变换,能够处理更复杂的数据。另外,自编码模型的特点在于以重建为导向的训练形式,如果模型能很好的恢复出原始输入,则意味着中间隐藏层存储的特征保留了足够多的输入信息。因此,把自编码器堆叠起来,经过逐层对权重和偏差参数的训练,将不断学习到的深层特征存储于隐藏层中,可以最大限度的减少信息损失,同时在更深层次的特征中保留了抽象、不变的信息。其具体步骤如下:
(1)对单层堆栈自编码器进行堆叠,搭建堆栈自编码器神经网络模型,
其中,堆栈自编码器由编码器和解码器两个部分组成,编码器部分由1个输入层、4个编码隐藏层组成,解码部分由4个解码隐藏层、 1个输出层组成,
在编码器和解码器部分使用Tanh非线性激活函数,在输出层使用Sigmoid非线性激活函数,Tanh非线性激活函数表达式如下:
其中,i={0,1..9}为堆栈自编码器层数,e为自然对数函数的底数,为常数;xi为自编器第i层的输入数据,f(xi)为自编器第i层经Tanh 激活函数处理后的输出数据;
Sigmoid非线性激活函数表达式如下:
其中,xend为自编器最后一层的输出数据;f(xend)为经Sigmoid激活函数处理后的输出数据;e为自然对数函数的底数,为常数;设定采用均方根误差损失函数衡量重建数据与真实数据的偏差,并使用自适应时刻估计方法优化算法训练网络参数,均方根误差损失函数计算公式如下:
其中,∑为求和操作,为开根号操作,YRMSE为均方误差的算术平方根值,为输入数据真实标签分布, 为自编码模型的预测值,上标l为样本中类别的总个数,用于指明是哪个真实值与预测值在进行损失计算,N为每一批次的总样本数。
(2)将装载好的高光谱数据及地物标签输入到堆栈编码器中,使得输入数据映射到隐藏层并得到输入数据的核心特征,完成自编码器编码的过程,自编码器编码过程的表达式如下:
y=f(Wyx+by),
其中,x为装载好的输入数据,y表示中间隐藏层学习到的特征, Wy代表隐藏层输入的权重,by表示隐藏单元的偏移系数,f代表激活函数。
(3)将得到的核心特征再传递到一个与输入层大小相同的输出层,核心特征被解压并重构,最终得到一个与输入数据相近的输出数据,完成自编码器的解码过程,解码过程的表达式如下:
z=f(Wzy+bz),
其中,y表示中间隐藏层学习到的特征,z为通过隐藏特征y重建后的数据,Wz代表隐藏层输出的权重,bz表示输出单元的偏移系数, f代表激活函数;
Wy=W'z=W,
W’z表示Wz的转置,该式为自动编码器的约束条件,表示自动编码器具有相同的绑定权重W,有助于使模型的参数量减半;
自动编码器训练的目标使输入数据与重建数据的误差不断缩小,数学表达式如下:
在此,自动编码器需要训练的参数为:W,by,bz;
其中,x为装载好的样本数据,z表示重建后的输出数据,c(x,z) 代表输入数据与重建数据之间的误差;其权值更新规则由如下公式进行表示:
(4)将装载好的高光谱数据及地物标签输入到堆栈编码器后,采用无监督方式训练第一层自动编码器自动编码器,把第一个自动编码器的输出作为第二个自动编码器的输入,采用同样的训练方法训练第二个自动编码器,以此类推,逐层完成训练所有的自动编码器,得到训练好的堆栈自编码器神经网络模型,并得到降维后的训练高光谱遥感影像。
第四步,3D深度残差网络的搭建与训练:搭建3D-CNN网络,然后引入空谱残差网络模块建立3D深度残差网络;再将降维后的高光谱遥感影像进行边缘填充,以每个地物样本为中心的邻域像素组成新的大小为w×w×d的3D立方体训练样本;将3D立方体训练样本输入3D深度残差网络中进行训练,得到训练后的3D深度残差网络。在深度学习中,网络结构越深,提取的特征越抽象,分类结果也可以越好。但随着网络结构的不断加深,梯度在反向传播的过程中会出现弥散或者***等现象,通过初始化或归一化的操作可以使其得以收敛,但是网络退化问题也会随之暴露出来,导致网络训练效果不好。因此,为了解决网络退化的问题,本发明采用残差连接使较高层次中的梯度快速传播回较低层次,以缓解精度下降的现象,提升高光谱遥感影像分类的泛化性能,并且采用BN和Dropout防止过拟合现象。此外,高光谱遥感数据集可用的训练和测试样本量相对较少,不同训练集不同样本的不均匀数量对高光谱遥感影像分类的准确性产生不同程度的影响。因此,本发明在每一个3D卷积层之间设计并添加了空谱残差模块建立3D深度残差网络,加深网络深度的同时,能够同时不断连续提取更多更深层次具有区别性的空谱特征,提高分类精度。另外,本发明针对深层神经网络的计算效率、训练时间、准确率和简化超参数调优难度等问题上,充分考虑了各参数对分类精度的影响,并且在 3D深度残差网络中采用池化层压缩输入的三维高光谱遥感影像立方体数据,大量减少了网络模型的参数量,只需要数百次的迭代即可训练模型。其具体步骤如下:
(1)为了后续将训练样本导入3D卷积神经网络进行特征提取的需要,将降维后的高光谱影像进行边缘填充,充分提取边缘特征,以每个地物样本为中心的邻域像素组成新的数据集,其每个样本大小为w×w×d的3D立方体样本。
(2)搭建3D卷积神经网络,提取空谱联合特征,其3D卷积计算公式为:
其中,为第i层的第j个特征图在(x,y,z)位置的输出值, m为第i-1层连接到当前特征图上的特征图的集合,即通道数,为3D卷积核在第m个特征图的(p,q,r)位置的权值,bi,j为偏置,f 为激活函数,N1、N2、N3分别为卷积核的长度、宽度和高度。3D卷积核在输入3D高光谱遥感影像的两个维度上均进行卷积运算,卷积一次仅得到3D图像中的一个体素点,输入图像整体卷积后得到一个新的3D特征图。
(3)在3D卷积神经网络引入空谱残差网络学习模块,加深网络深度,建立3D深度残差网络,基本残差模块单元的计算公式如下:
H(X)=F(X)+X,
X是某段神经网络的输入,H(X)是期望输出,直接把输入X传到输出作为初始结果;当F(X)=0时,那么H(X)=X,即恒等映射;
在此,空谱残差网络模块为三个3D卷积的快速连接,如图2所示,其中w×w×d为输入的高光谱遥感数据特征立方体,分别表示长、宽、光谱维度。设Xl、Xl+1、Xl+2、Xl+3分别表示第l层至第l+3层的高光谱数据向量,对于第l层后的滤波器Fl+1的、第l+1层后的滤波器Fl+2和第l+3层后的滤波器Fl+3,统一使用n个大小为a×a×a的卷积核,使用边界填充策略不改变Xl+1、Xl+2、Xl+3三维立方体特征的尺寸大小,使得输入特征与输出特征在空间大小上保持w×w×d不变;
上述过程可如下式表示:
Xl+3=Xl+F(Xl;δ),
其中,l为3D空谱残差网络模块的第l层,l={1,2,3...};Xl为第 l层的n个输入特征,为第l+2层经过批量归一化的结果,Xl+3为第l+3层的n个输出特征,bl+3为第l+3层的偏置,δ={Fl+1,Fl+2,Fl+3,bl+1,bl+2,bl+3}为3D空谱残差网络模块中的卷积滤波器和对应的偏置,f代表激活函数,F(Xl;δ)为这三个卷积层建立的残差函数。
(4)3D空谱残差网络模块使用修正线性单元ReLU激活函数,其数学表达式如下:
f(x)=max(0,x),
ReLU函数通过判断0和输入数据x中的最大值作为结果进行输出,即如果x小于0,则输出结果0;如果x大于0,则输出结果x。
(5)设定训练过程中,通过反向传播机制对网络参数进行更新,具体使用交叉熵损失函数,其表达式如下:
其中,∑为求和操作,log为取对数操作,e为自然对数函数的底数,为常数;为预测值与真实值之间的误差损失; Y={y1,y2,...,yL}表示真实标签向量,表示预测标签向量, L为每一批次输入样本数。
(6)使用Adam优化函数方法让每个参数获得自适应学习率,并且,对每一层采用了批量归一化BN,其数学表达式如下:
(7)将降维后的高光谱遥感数据输入到3D深度残差网络中进行训练,使用BN(Batch Normalization)、Dropout正则化策略避免过拟合现象,得到训练好的3D深度残差网络模型。
第五步,待分类高光谱遥感影像的获取:获取待分类的高光谱遥感影像样本数据及标签。
第六步,待分类高光谱遥感影像的预处理和降维:将待分类的高光谱遥感影像进行归一化;输入堆栈自编码器神经网络模型中进行降维,得到降维后的高光谱遥感影像数据,降维后的数据大小为m×n×d,其中,m,n分别为高光谱遥感影像长和宽,d为降维维数;并转化为适应3D深度残差网络的待分类3D立方体样本。
第七步,高光谱遥感影像分类结果的获得:将待分类3D立方体样本输入训练好的3D深度残差网络中,得到高光谱遥感影像分类结果。
下面结合仿真实验对本发明的效果做进一步的说明:
1.仿真实验条件:
本发明实验的计算机硬件环境为Intel Corei5-7300HQ,CPU 2.50GHz,GPU采用GTX1050Ti,RAM 8GB,软件环境为 Windows10(64)位操作***,编译环境为Spyder,深度学***台。
本发明的仿真实验中所使用的高光谱图像数据集,分别是由可见光/红外成像光谱仪(AVIRIS)在美国印第安纳州与加利福尼亚拍摄的Indian Pines数据集和Salinas数据集,以及由德国的反射光学光谱仪ROSIS-03(Reflective Optics SpectrographicImaging System, ROSIS-03)在2003年获取的意大利帕维亚大学校园的Pavia University高光谱数据集。
Indian Pines数据集的数据尺寸为145×145像素,剔除其中受噪声影响的20个波段,剩余200个波段,其中地物种类有十六种。Indian Pines伪彩色影像(选取组合波段为:R=50,G=27,B=17)显示如图3中的 (a),空间分辨率为20m,对应的真实地物分布情况如图3中的 (b),每类地物类别与样本量如表1所示。Salinas数据集的图像尺寸为512×217像素,剔除受噪声影响的20个波段,剩余204个波段,包含十六种地物类别。
表1 Indian pines地物类别与样本量对比表
Pavia University数据集的数据尺寸为610×340像素,其中12个波段由于受噪声影响被剔除,剩余103个光谱波段,其地物种类有九种。Pavia University伪彩色影像(选取组合波段为:R=60,G=30,B=2) 显示如图4中的 (a),图像的空间分辨率为1.3m,对应的真实地物分布情况如图4中的 (b),每种地物类别及样本量如表2所示。
表2 Pavia University数据集地物类别与样本量对比表
2.分类精度评价指标:
为评估本发明分类方法的分类性能,本发明采用了基于混淆矩阵计算的总体精度(Overall Accuracy,OA)、平均精度(Average Accuracy, AA)和Kappa系数作为评价指标。
总体精度(OA)是模型在所有测试集上预测正确的样本个数与总样本数之间的比值。平均精度(AA)是模型对每类的分类精度与数据集总类别数的比值。OA与AA的计算公式如下:
其中,m为类别的种类数;xii为第i类像元的正确分类数量,即混淆矩阵主对角线上的值;xij为实际正确分类或错分的数量。
Kappa系数一般用于一致性检验,也可以用于衡量分类精度。 Kappa计算结果范围为-1~1,但通常Kappa是落在0~1间,可分为五组来表示不同级别的一致性:0.0~0.20极低的一致性(slight)、0.21~0.40 一般的一致性(fair)、0.41~0.60中等的一致性(moderate)、0.61~0.80高度的一致性(substantial)和0.81~1几乎完全一致(almostperfect)。Kappa 系数计算公式如下:
其中,m为类别数;n为用于精度评价的像元总数;为第i类像元的正确分类数量;为实际正确分类或错分的数量。xi+为实际类别中第i类的像元总数;x+i为实测类别中第i类的像元总数。
3.仿真实验内容及结果分析:
实施例一:为了验证本发明所提出方法中不同参数设置对分类精度的影响,将重点分析SAE-3DDRN方法影响模型分类效果的几个因素,即自编码网络降维维数d、输入样本尺寸大小w、残差网络结构、学***均值作为实验结果。
对于高维的高光谱遥感影像,存在大量冗余信息,输入数据维度过大会提高模型的复杂度,因此降维到合适的维数对分类效果至关重要。本节通过设置5、10、15、20、25五种不同的自编码网络降维维数d,分析不同维度对SAE-3DDRN方法分类效果的影响。本发明的堆栈自动编码网络具有5层编码结构,每一层的节点数设置为 220-120-80-40-d,批量大小设为25,学习率为0.001,采用均方误差损失函数和Adam优化算法,迭代5000次。图5中的(a)为本发明所示所述分类方法SAE-3DDRN在不同维数d下对分类精度的影响。由图 3可知,对于Indian Pines数据集,当维度参数d从5维增加到10维时,分类精度随着维度参数d的升高不断增加,并且OA、AA、Kappa 均到最高的分类精度。当继续增加维度参数d,分类精度有一个缓慢减少的过程,随后呈现稳定的趋势。虽然增加维度参数b会增大光谱特征信息量,但同时一定程度上会引入冗余信息,增大模型复杂度,影响分类结果。因此,在考虑允许损失信息量范围内,选择一个相对较小的个数,在降低计算复杂率同时,也能保持较理想分类精度。
表3 Indian Pines数据集上输入样本尺寸w对分类精度的影响
如表3所示,本节设置了w为19、21、23、25输入尺寸大小,观察OA、AA、Kappa三个指标,分析w对分类精度的影响。由表4 中的数据可知,随着w的增加,分类精度缓慢上升,当输入样本尺寸w为23×23时,达到最优的OA、AA、Kappa,此时分类效果最好。当继续增大w,分类精度并没有持续升高,有明显的阈值效应。因此,在保证高分类精度的同时,适当取更小的样本输入尺寸w,会降低计算成本,减少训练和测试时间。图5中的 (b)为本发明所示所述分类方法SAE-3DDRN在不同残差网络结构下对分类精度的影响。从5 中的 (b) 可看出,显示了A、B、C、D、E共5组不同的残差模块数目及位置对分类精度影响的情况,A—E分别代表 其中,表示第n个3D卷积后是否引入空谱残差模块,若引入,则k=1,反正为k=0。从图10可以看出,当残差网络结构为A时,分类精度不理想。但是,当增加残差网络模块,分类精度呈现上升趋势。当卷积神经网络在3个3D卷积后均引入空谱残差模块,即为结构时,分类精度达到最高。可见,在一定程度上增加网络深度,将会提取更加抽象的特征,从而使分类效果越好。图5中的 (c)、(d)分别为本发明所示所述分类方法SAE-3DDRN在学习率lr下对OA、AA、Kappa和各地物分类精度的影响。从梯度下降算法的角度来说,通过选择合适的学习率,可以改变模型网络权重参数的更新幅度,使梯度下降法得到更好的性能。学习率决定了参数到达最优值过程的速度快慢,如果当学习率过大,即下降的快,可能会越过最优值。如果学习率过小时,可能导致优化的效率过低,算法长时间无法收敛,直接影响算法的性能。从图5可以看出,比较了不同学习率对分类精度指标OA、AA、Kappa和各类地物分类效果的影响。当lr为0.01时,此时OA、AA、Kappa分别达到97.05%、97.53、96.64。当增加学习率lr为0.001时,分类效果最好,此时,各地物分类精度大部分均达到98%以上。当继续增加lr时,OA、AA、Kappa均有不同程度的降低,各地物分类效果不理想。这主要是因为当学习率过小时,优化效率过低,导致在同样的迭代范围下无法收敛,从而影响分类效果。后续实验对Pavia University数据集采用同样的方法进行参数选择与设置。
实施例二:为了进一步验证本发明所提出方法的有效性,下面将采用PaviaUniversity和Indian Pines数据集进行验证,并且将本发明所述的分类方法SAE-3DDRN与一些传统的高光谱分类方法及目前主流的算法进行了比较,每组分类方法所用的训练样本数完全相同。
表4不同分类方法在Indian Pines数据集上的分类精度
对图3所示的Indian Pines高光谱图像进行分类,从每类地物随机选取10%样本作为训练集,其余样本用作测试集。在该数据集上本发明所提出的分类方法SAE-3DDRN,使用5层堆栈自编码器结构将高光谱遥感影像进行降维,降维维数d设置为10,输入深度残差网络的样本尺寸w大小为23×23,学***滑、总体错分点更少,大部分区域完整,更接近于原始地物分布图。在Indian Pines数据集上,本发明所述分类方法SAE-3DDRN方法训练时的损失和精度变化如图7所示。从图7可以看出,本发明方法的训练损失初始值较低,总体上损失变化虽然有一定波动,但最终趋于稳定。
表5不同分类方法在Pavia University数据集上的分类精度
对图4所示的Pavia University高光谱图像进行分类,从每类地物随机选取了5%的样本作为训练集,其余样本用作测试集,SAE-3 DDRN分类方法同样使用5层堆栈自编码器结构将高光谱遥感影像进行降维至10维,每一层的节点数设置为103-80-60-40-10,w大小为25×25,学***均值,实验结果如表5所示。从表 5可以看出,SAE-3DDRN方法在Pavia University数据集上同样得到了高质量的分类结果,分类精度OA、AA、Kappa分别达到99.68%、 99.16%、99.57%,并且在6类地物分类上均取得最高精度,另外2 类地物与最高精度相差不到3%。Asphalt(1)和Bitumen(7)与Gravel(3) 和Self-Blocking Bricks(8)为两组易错分的地物,具有很高的相似性,仅依靠光谱信息的RBF-SVM分类方法表现欠佳,尤其对Gravel的分类精度不到70%。基于空谱特征结合的KSOMP与LBP-KNN方法一定程度上减少了错分的地物,分别将OA提高了2.82%、8.57%。深度学***滑,错分点更少。图9为本文所述方法SAE-3DDRN在Pavia Univer sity数据集上训练时的损失和精度变化曲线,收敛较快。
实施例三:为了验证本发明所述的分类方法在不同样本比例下对高光谱分类精度的影响,本文设置了5%、10%、15%、20%四种训练样本比例,分别从Indian Pines和PaviaUniversity数据集中随机选取,每次实验结果取十次分类结果的平均值及标准差。图10、图11 分别为本文所述方法SAE-3DDRN在Indian Pines、Pavia University 数据集下不同训练样本比例下的OA、AA、Kappa变化点线图。从图 10、图11可以看出,本文提出的SAE-3DDRN方法在两种数据集不同比例样本下的OA、AA、Kappa均表现出最佳的分类精度。随着训练样本量的增加,大多数分类方法分类精度不断提升,并且逐渐趋于稳定。Indian Pines数据集存在样本量较少和易混地物,对分类性能要求较高。当训练样本比例为5%时,CNN深度学习算法由于训练样本点较少,且降维后的数据可能失去了一些次重要波段,加之网络深度和参数过多的原因,无法较好的适降维后的数据集,分类效果并不理想。而SAE-3DDRN方法仍然产生了较高的分类精度,OA、AA、 Kappa分类达到95.62%、93.80%、95.28%,与2D-CNN与3D-CNN 相比,OA分别提升3.5%,1.15%,并且,总体上更优于SSRN方法。在PaviaUniversity数据集上,随着训练样本不断增加时,SAE-3DD RN与其它分类方法相比仍然表现出更高的分类精度,更稳定的分类结果。对比结果表明,当训练样本量较小时,SAE-3DDRN方法能够提取更深层次的特征,拥有更高的精度,且当训练样本量足够大时,具有最高的分类精度
综上所述,本发明所提出的分类方法通过建立并训练堆栈自编码模型,实现对高光谱遥感影像的降维,减少数据量,降低计算成本。再通过搭建3D-CNN结构,获取高光谱遥感图像中每个地物像素的空间-光谱信息。同时,引入残差网络模块加深网络深度建立3D深度残差网络提取更高层次的特征,相较于纹理、边缘、颜色等底层特征,高层特征具有更高的鲁棒性和分辨力,其分类效果更好,网络并没有退化现象。试验对比了RBF-SVM、KSOMP、LBP-KNN以及目前主流的深度学习算法,本发明模型表现出更优的分类性能。试验结果表明,在10%Indian Pines数据集训练样本和5%Pavia University数据集训练样本上分别取得了98.79%和99.68%的总体分类精度,并且在更少训练样本点且易混地物多的IndianPines数据集上,SAE-3DD RN方法也能较好的适应降维后的数据,降低网络参数量、减少网络训练时间的同时保持较高的分类精度。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (4)
1.一种基于自编码器与3D深度残差网络的高光谱图像分类方法,其特征在于,包括以下步骤:
11)训练样本的获取:从每类地物样本中按比例获取高光谱遥感影像数据样本及标签,作为待训练的高光谱遥感影像数据;
12)待训练高光谱遥感影像数据的预处理:对输入的高光谱遥感影像数据进行归一化处理,然后对转换成张量后的训练样本及标签进行封装,再将封装后的数据集进行装载,以便输入神经网络模型中进行训练;
13)堆栈自编码器神经网络模型的搭建和训练:搭建堆栈自编码器神经网络模型,再将归一化处理后的高光谱影像数据输入堆栈自编码器神经网络模型中进行训练,得到训练后的堆栈自编码器神经网络模型并得到降维后的训练高光谱遥感影像;
14)3D深度残差网络的搭建与训练:搭建3D-CNN网络,然后引入空谱残差网络模块建立3D深度残差网络;再将降维后的高光谱遥感影像进行边缘填充,以每个地物样本为中心的邻域像素组成新的大小为w×w×d的3D立方体训练样本;将3D立方体训练样本输入3D深度残差网络中进行训练,得到训练后的3D深度残差网络;
15)待分类高光谱遥感影像的获取:获取待分类的高光谱遥感影像样本数据及标签;
16)待分类高光谱遥感影像的预处理和降维:将待分类的高光谱遥感影像进行归一化;输入堆栈自编码器神经网络模型中进行降维,得到降维后的高光谱遥感影像数据,降维后的数据大小为m×n×d,其中,m,n分别为高光谱遥感影像长和宽,d为降维维数;并转化为适应3D深度残差网络的待分类3D立方体样本;
17)高光谱遥感影像分类结果的获得:将待分类3D立方体样本输入训练好的3D深度残差网络中,得到高光谱遥感影像分类结果。
2.根据权利要求1所述的基于自编码器与3D深度残差网络的高光谱图像分类方法,其特征在于,所述待训练高光谱遥感影像数据的预处理包括以下步骤:
21)将高光谱遥感影像数据分为待训练的遥感高光谱三维影像数据T及地物标签G,其中,三维影像数据T的维度为m×n×h,分别为高光谱遥感影像的长、宽以及光谱维度;
22)将待训练的遥感高光谱三维影像数据T转化为二维特征矩阵,其中,二维特征矩阵中的每列表示光谱维度、每行表示每个样本的所有光谱信息;
23)对输入的二维高光谱特征样本采用归一化公式进行归一化处理,其归一化公式如下:
其中,表示输入的高谱二维特征矩阵第b个光谱波段中第k个地物目标;表示第b个光谱波段中对应的所有地物的像素平均值;表示第b个光谱波段中对应的所有地物的像素标准差值;表示归一化后输出的二维特征矩阵中第b个光谱波段中第i个地物目标;
24)将归一化后的高光谱数据及地物标签均转化成tensor形式,然后将变成张量形式的高光谱数据及地物标签进行封装,再将封装后的数据进行装载,其中,通过batch_size参数设置装载时每个包中图片数据的个数。
3.根据权利要求1所述的基于自编码器与3D深度残差网络的高光谱图像分类方法,其特征在于,所述堆栈自编码器神经网络模型的搭建和训练包括以下步骤:
31)对单层堆栈自编码器进行堆叠,搭建堆栈自编码器神经网络模型,
其中,堆栈自编码器由编码器和解码器两个部分组成,编码器部分由1个输入层、4个编码隐藏层组成,解码部分由4个解码隐藏层、1个输出层组成,
在编码器和解码器部分使用Tanh非线性激活函数,在输出层使用Sigmoid非线性激活函数,Tanh非线性激活函数表达式如下:
其中,i={0,1..9}为堆栈自编码器层数,e为自然对数函数的底数,为常数;xi为自编器第i层的输入数据,f(xi)为自编器第i层经Tanh激活函数处理后的输出数据;
Sigmoid非线性激活函数表达式如下:
其中,xend为自编器最后一层的输出数据;f(xend)为经Sigmoid激活函数处理后的输出数据;e为自然对数函数的底数,为常数;设定采用均方根误差损失函数衡量重建数据与真实数据的偏差,并使用自适应时刻估计方法优化算法训练网络参数,均方根误差损失函数计算公式如下:
其中,∑为求和操作,为开根号操作,YRMSE为均方误差的算术平方根值,为输入数据真实标签分布, 为自编码模型的预测值,上标l为样本中类别的总个数,用于指明是哪个真实值与预测值在进行损失计算,N为每一批次的总样本数;
32)将装载好的高光谱数据及地物标签输入到堆栈编码器中,使得输入数据映射到隐藏层并得到输入数据的核心特征,完成自编码器编码的过程,自编码器编码过程的表达式如下:
y=f(Wyx+by),
其中,x为装载好的输入数据,y表示中间隐藏层学习到的特征,Wy代表隐藏层输入的权重,by表示隐藏单元的偏移系数,f代表激活函数;
33)将得到的核心特征再传递到一个与输入层大小相同的输出层,核心特征被解压并重构,最终得到一个与输入数据相近的输出数据,完成自编码器的解码过程,解码过程的表达式如下:
z=f(Wzy+bz),
其中,y表示中间隐藏层学习到的特征,z为通过隐藏特征y重建后的数据,
Wz代表隐藏层输出的权重,bz表示输出单元的偏移系数,f代表激活函数;
Wy=Wz′=W,
W’z表示Wz的转置,该式为自动编码器的约束条件,表示自动编码器具有相同的绑定权重W,有助于使模型的参数量减半;
自动编码器训练的目标使输入数据与重建数据的误差不断缩小,数学表达式如下:
在此,自动编码器需要训练的参数为:W,by,bz;
其中,x为装载好的样本数据,z表示重建后的输出数据,c(x,z)代表输入数据与重建数据之间的误差;其权值更新规则由如下公式进行表示:
34)将装载好的高光谱数据及地物标签输入到堆栈编码器后,采用无监督方式训练第一层自动编码器自动编码器,把第一个自动编码器的输出作为第二个自动编码器的输入,采用同样的训练方法训练第二个自动编码器,以此类推,逐层完成训练所有的自动编码器,得到训练好的堆栈自编码器神经网络模型,并得到降维后的训练高光谱遥感影像。
4.根据权利要求1所述的基于自编码器与3D深度残差网络的高光谱图像分类方法,其特征在于,所述3D深度残差网络的搭建与训练包括以下步骤:
41)将降维后的高光谱影像进行边缘填充,充分提取边缘特征,以每个地物样本为中心的邻域像素组成新的数据集,其每个样本大小为w×w×d的3D立方体样本;
42)搭建3D卷积神经网络,提取空谱联合特征,其3D卷积计算公式为:
其中,为第i层的第j个特征图在(x,y,z)位置的输出值,m为第i-1层连接到当前特征图上的特征图的集合,即通道数,为3D卷积核在第m个特征图的(p,q,r)位置的权值,bi,j为偏置,f为激活函数,N1、N2、N3分别为卷积核的长度、宽度和高度;
3D卷积核在输入3D高光谱遥感影像的两个维度上均进行卷积运算,卷积一次仅得到3D图像中的一个体素点,输入图像整体卷积后得到一个新的3D特征图;
43)在3D卷积神经网络引入空谱残差网络学习模块,加深网络深度,建立3D深度残差网络,基本残差模块单元的计算公式如下:
H(X)=F(X)+X,
X是某段神经网络的输入,H(X)是期望输出,直接把输入X传到输出作为初始结果;当F(X)=0时,那么H(X)=X,即恒等映射;
在此,空谱残差网络模块为三个3D卷积的快速连接,其中w×w×d为输入的高光谱遥感数据特征立方体,分别表示长、宽、光谱维度;
设Xl、Xl+1、Xl+2、Xl+3分别表示第l层至第l+3层的高光谱数据向量,对于第l层后的滤波器Fl+1的、第l+1层后的滤波器Fl+2和第l+3层后的滤波器Fl+3,统一使用n个大小为a×a×a的卷积核,使用边界填充策略不改变Xl+1、Xl+2、Xl+3三维立方体特征的尺寸大小,使得输入特征与输出特征在空间大小上保持w×w×d不变;
上述过程可如下式表示:
Xl+3=Xl+F(Xl;δ),
其中,l为3D空谱残差网络模块的第l层,l={1,2,3...};Xl为第l层的n个输入特征,为第l+2层经过批量归一化的结果,Xl+3为第l+3层的n个输出特征,bl+3为第l+3层的偏置,δ={Fl+1,Fl+2,Fl+3,bl+1,bl+2,bl+3}为3D空谱残差网络模块中的卷积滤波器和对应的偏置,f代表激活函数,F(Xl;δ)为这三个卷积层建立的残差函数;
44)3D空谱残差网络模块使用修正线性单元ReLU激活函数,其数学表达式如下:
f(x)=max(0,x),
ReLU函数通过判断0和输入数据x中的最大值作为结果进行输出,即如果x小于0,则输出结果0;如果x大于0,则输出结果x;
45)设定训练过程中,通过反向传播机制对网络参数进行更新,具体使用交叉熵损失函数,其表达式如下:
46)使用Adam优化函数方法让每个参数获得自适应学习率,并且,对每一层采用了批量归一化BN,其数学表达式如下:
47)将降维后的高光谱遥感数据输入到3D深度残差网络中进行训练,使用BN、Dropout正则化策略避免过拟合现象,得到训练好的3D深度残差网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011217994.4A CN112232280B (zh) | 2020-11-04 | 2020-11-04 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011217994.4A CN112232280B (zh) | 2020-11-04 | 2020-11-04 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112232280A CN112232280A (zh) | 2021-01-15 |
CN112232280B true CN112232280B (zh) | 2021-12-03 |
Family
ID=74123157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011217994.4A Active CN112232280B (zh) | 2020-11-04 | 2020-11-04 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112232280B (zh) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112966623B (zh) * | 2021-03-16 | 2024-03-19 | 长安大学 | 一种多层宽度神经网络及其训练方法和应用 |
CN113011499B (zh) * | 2021-03-22 | 2022-02-01 | 安徽大学 | 一种基于双注意力机制的高光谱遥感图像分类方法 |
CN113128370B (zh) * | 2021-04-01 | 2023-02-17 | 中国人民解放军战略支援部队信息工程大学 | 结合深度胶囊网络和马尔科夫随机场的高光谱影像分类方法 |
CN113052130B (zh) * | 2021-04-20 | 2024-03-29 | 辽宁工程技术大学 | 基于深度残差网络和边缘保护滤波的高光谱影像分类方法 |
CN113191259B (zh) * | 2021-04-29 | 2022-10-04 | 河海大学 | 用于高光谱图像分类的动态数据扩张方法及图像分类方法 |
CN113111863B (zh) * | 2021-05-13 | 2023-11-24 | 辽宁工程技术大学 | 基于微型批处理与级联融合的图卷积网络高光谱分类方法 |
CN113139512B (zh) * | 2021-05-14 | 2023-09-29 | 辽宁工程技术大学 | 基于残差和注意力的深度网络高光谱影像分类方法 |
CN113408605B (zh) * | 2021-06-16 | 2023-06-16 | 西安电子科技大学 | 基于小样本学习的高光谱图像半监督分类方法 |
CN113256436A (zh) * | 2021-07-02 | 2021-08-13 | 平安科技(深圳)有限公司 | 车险赔付预提示方法、装置、设备及存储介质 |
CN113628290A (zh) * | 2021-07-28 | 2021-11-09 | 武汉大学 | 基于3d卷积自编码器的波段自适应高光谱图像压缩方法 |
CN113807400B (zh) * | 2021-08-17 | 2024-03-29 | 西安理工大学 | 一种基于对抗攻击的高光谱图像分类方法、***和设备 |
CN113723255B (zh) * | 2021-08-24 | 2023-09-01 | 中国地质大学(武汉) | 一种高光谱影像分类方法和存储介质 |
CN113887656B (zh) * | 2021-10-21 | 2024-04-05 | 江南大学 | 一种联合深度学习与稀疏表示的高光谱图像分类方法 |
CN114119443B (zh) * | 2021-11-28 | 2022-07-01 | 特斯联科技集团有限公司 | 一种基于多光谱相机的图像融合*** |
CN114092832B (zh) * | 2022-01-20 | 2022-04-15 | 武汉大学 | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 |
CN114758170B (zh) * | 2022-04-02 | 2023-04-18 | 内蒙古农业大学 | 一种结合d3d的三分支三注意力机制高光谱图像分类方法 |
CN114663767A (zh) * | 2022-04-03 | 2022-06-24 | 国交空间信息技术(北京)有限公司 | 一种遥感影像沙埋路段识别方法 |
CN114863168B (zh) * | 2022-04-27 | 2023-04-07 | 国家基础地理信息中心 | 自适应递归增量模型的遥感影像分类方法、装置及设备 |
CN114897814B (zh) * | 2022-05-07 | 2023-07-25 | 中国石油大学(华东) | 基于多级小波分解密接网络的高光谱图像溢油检测方法 |
CN116051896B (zh) * | 2023-01-28 | 2023-06-20 | 西南交通大学 | 一种轻量化混合张量神经网络的高光谱图像分类方法 |
CN116030355B (zh) * | 2023-03-30 | 2023-08-11 | 武汉城市职业学院 | 一种地物分类方法及*** |
CN116486160B (zh) * | 2023-04-25 | 2023-12-19 | 北京卫星信息工程研究所 | 基于光谱重建的高光谱遥感图像分类方法、设备及介质 |
CN116563711B (zh) * | 2023-05-17 | 2024-02-09 | 大连民族大学 | 基于动量更新的二分类编码器网络的高光谱目标检测方法 |
CN116503744B (zh) * | 2023-06-28 | 2023-09-29 | 航天宏图信息技术股份有限公司 | 高度等级引导的单视角遥感影像建筑高度估计方法和装置 |
CN117076985A (zh) * | 2023-08-14 | 2023-11-17 | 上海如海光电科技有限公司 | 一种融合自编码器的孪生网络对铁矿石libs数据的分类识别方法 |
CN117527900B (zh) * | 2024-01-08 | 2024-05-07 | 季华实验室 | 数据处理方法、装置、设备及存储介质 |
CN117969553A (zh) * | 2024-03-28 | 2024-05-03 | 杭州映图智能科技有限公司 | 一种tpv针织复合管外观在线视觉检测*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105654117A (zh) * | 2015-12-25 | 2016-06-08 | 西北工业大学 | 基于sae深度网络的高光谱图像空谱联合的分类方法 |
CN107145836A (zh) * | 2017-04-13 | 2017-09-08 | 西安电子科技大学 | 基于栈式边界辨别自编码器的高光谱图像分类方法 |
CN111242228A (zh) * | 2020-01-16 | 2020-06-05 | 武汉轻工大学 | 高光谱图像分类方法、装置、设备及存储介质 |
-
2020
- 2020-11-04 CN CN202011217994.4A patent/CN112232280B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105654117A (zh) * | 2015-12-25 | 2016-06-08 | 西北工业大学 | 基于sae深度网络的高光谱图像空谱联合的分类方法 |
CN107145836A (zh) * | 2017-04-13 | 2017-09-08 | 西安电子科技大学 | 基于栈式边界辨别自编码器的高光谱图像分类方法 |
CN111242228A (zh) * | 2020-01-16 | 2020-06-05 | 武汉轻工大学 | 高光谱图像分类方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112232280A (zh) | 2021-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112232280B (zh) | 基于自编码器与3d深度残差网络的高光谱图像分类方法 | |
CN113011499B (zh) | 一种基于双注意力机制的高光谱遥感图像分类方法 | |
CN110210313B (zh) | 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法 | |
CN107316013B (zh) | 基于nsct变换和dcnn的高光谱图像分类方法 | |
CN111881953B (zh) | 基于局部二值模式和knn分类器的遥感高光谱图像分类方法 | |
Lin et al. | Spectral-spatial classification of hyperspectral image using autoencoders | |
CN107145836B (zh) | 基于栈式边界辨别自编码器的高光谱图像分类方法 | |
CN111353463A (zh) | 基于随机深度残差网络的高光谱图像分类方法 | |
Zhao et al. | A combination method of stacked autoencoder and 3D deep residual network for hyperspectral image classification | |
CN106023065A (zh) | 一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法 | |
Arun et al. | Capsulenet-based spatial–spectral classifier for hyperspectral images | |
CN103366189B (zh) | 一种高光谱遥感图像的智能化分类方法 | |
Swiderski et al. | Novel methods of image description and ensemble of classifiers in application to mammogram analysis | |
CN111814607A (zh) | 一种适用于小样本高光谱影像分类的深度学习模型 | |
CN106778885A (zh) | 基于局部流形嵌入的高光谱图像分类方法 | |
CN105913092A (zh) | 基于子空间学习的图正则高光谱图像波段选择方法 | |
CN115564996A (zh) | 一种基于注意力联合网络的高光谱遥感图像分类方法 | |
CN112784907A (zh) | 基于空谱特征与bp神经网络的高光谱图像分类方法 | |
CN115527056A (zh) | 基于双混合卷积生成对抗网络的高光谱图像分类方法 | |
Ge et al. | Adaptive hash attention and lower triangular network for hyperspectral image classification | |
CN113537239A (zh) | 一种基于全局关系感知注意力的高光谱图像波段选择方法 | |
CN116563606A (zh) | 一种基于双分支空谱全局特征提取网络的高光谱图像分类方法 | |
CN107194373A (zh) | 一种高光谱遥感影像特征提取与分类方法 | |
CN116482618B (zh) | 基于多损失特征自校准网络的雷达有源干扰识别方法 | |
Song et al. | Using dual-channel CNN to classify hyperspectral image based on spatial-spectral information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |