CN109784347B - 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法 - Google Patents
基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法 Download PDFInfo
- Publication number
- CN109784347B CN109784347B CN201811544066.1A CN201811544066A CN109784347B CN 109784347 B CN109784347 B CN 109784347B CN 201811544066 A CN201811544066 A CN 201811544066A CN 109784347 B CN109784347 B CN 109784347B
- Authority
- CN
- China
- Prior art keywords
- network
- attention mechanism
- data
- spectral
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法,通过使用稠密连接机制构建多尺度稠密卷积神经网络,稠密链接机制能够有效的缓解梯度消失问题,加强了特征传播,鼓励特征复用以及极大地减少了参数数量,降低了网络训练过程中对训练样本的需求;此外网络并结合谱注意力机制,对谱方向的特征利用更加有效。本发明实现了小样本条件下,高光谱图像深度特征的自主提取,高精度的分类。本发明与现有的基于深度学习的高光谱图像分类方法相比,样本需求量更小,精度更高。
Description
技术领域
本发明涉及一种基于多尺度稠密卷积神经网络和谱注意力机制的小样本高光谱图像分类方法,属图像处理领域。
背景技术
高光谱遥感图像光谱分辨率高、成像波段多、信息量大,在遥感应用领域得到广泛应用。高光谱图像分类技术是高光谱图像处理技术中十分重要的内容,主要包含特征提取及分类两部分,其中从原高光谱图像中提取的分类特征对后续的分类精度影响巨大:分类特征的鲁棒性强,能够大幅提高分类精度;相反,鲁棒性较差的分类特征则会明显降低分类效果。
近几年,深度学习在特征提取方面成绩显著,为提高高光谱图像分类精度,各种深度模型被引入到高光谱图像的分类中来,并在谱特征的基础上,引入空间特征,利用深度学习模型,自主提取高光谱图像的空谱特征,有效的提高了高光谱图像分类精度。
然而,现有的利用深度模型提取高光谱图像空谱特征的方法十分复杂,往往需要先对原高光谱图像进行谱空间上的压缩降维,再对降维后的数据提取空间特征与谱特征相结合得到空谱特征。降维处理计算量大,且损失了一定的谱信息,影响精度。此外,现有的利用深度模型提取高光谱图像空谱特征的方法需要大量训练样本进行训练网络,而实际对采集到的高光谱图像进行标记十分困难,实地勘测需要大量的人力物力,并且需要耗费大量的时间。
发明内容
要解决的技术问题
为了避免现有技术的不足之处,针对高光谱图像分类问题,结合深度学习相关技术,本发明提出一种基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法。
技术方案
一种基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法,其特征在于步骤如下:
步骤1:数据预处理
对待处理的高光谱图像数据进行最大最小归一化,归一化公式如下:
其中xijs表示高光谱图像中的一个像元,i、j分别表示该像元位于高光谱图像中的坐标位置,s表示高光谱图像的谱段,为归一化后的一个像元,x··smax、x··smin分别表示三维高光谱图像在s谱段的最大值和最小值;
步骤2:数据分割
统计待处理的高光谱图像中,各个类别标注样本的个数,然后按照比例,从每个类别中,抽取5个标注的样本作为训练数据,剩余的部分作为测试数据;具体做法如下,对于一个尺寸为M×N×D的三维高光谱图像数据,M,N分别表示高光谱图像的高和宽,D表示数据的波段数;抽取样本时,以待处理像素为中心,抽取S×S×D的数据块作为中心像素的样本数据,S表示邻域大小;
步骤3:构建网络模型
首先深度网络使用稠密连接机制用于导出网络中的多级特征,使用三维扩张卷积,可以使用多尺度特征图生成光谱空间特征;此外,在每层网络中增加谱注意力机制策略;所述的稠密连接机制:第l层的输出是由前面所有层x0,...,xl-1的特征图连接组成的,表示为xl=F({x0,...,xl-1}),F(·)表示非线性变换;对于本网络结构使用的多尺度三维扩张卷积,第i层的第j个通道的三维扩张卷积的扩张值设置为sij=((iw+j)mod 10)+1,w表示每层卷积层的卷积个数;所述的谱注意力机制:数据块U大小为S×S×D,从谱的方向上数据块U可以表示为Fspectral,经过谱注意力机制生成的向量为g,大小为1×1×D,得到Fsacle为加入谱注意力机制后的向量,最后生成为U’,大小为S×S×D;将谱注意力机制加入到多尺度稠密网络中,右侧网络结构为注意力机制网络结构图,在三维扩张卷积操作之后但在连接操作之前作为权重加入;
步骤4:训练网络模型
将训练数据批量的输入到构建好的深度网络中,以标注的类别为指导信号,利用梯度下降算法对网络参数进行训练,直至网络收敛;训练过程中,每次随机不重复的从训练集里抽取10-20样本为一批训练数据,将该数据输入到网络,抽取特征并计算预测结果,以预测结果与实际结果之间的交叉熵为损失函数,计算网络权值的偏导数,并利用梯度下降算法,更新网络参数;训练过程便利整个训练集一次为一轮训练;
步骤5:生成预测结果
基于训练过的模型,对高光谱图像中所有像素进行类别预测,然后将预测的类别放到对应的位置,得到预测结果图。
步骤2中的S取13。
步骤3中的w取8。
步骤4中的整个训练过程进行100轮,前60轮学习率设为0.01,最后40轮,学习率衰减到0.001;整个训练过程中,动量项设为0.9。
有益效果
本发明提出的一种基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法,通过使用稠密连接机制构建多尺度稠密卷积神经网络,稠密链接机制能够有效的缓解梯度消失问题,加强了特征传播,鼓励特征复用以及极大地减少了参数数量,降低了网络训练过程中对训练样本的需求;此外网络并结合谱注意力机制,对谱方向的特征利用更加有效。本发明实现了小样本条件下,高光谱图像深度特征的自主提取,高精度的分类。本发明与现有的基于深度学习的高光谱图像分类方法相比,样本需求量更小,精度更高。
附图说明
图1:基于多尺度稠密卷积神经网络和谱注意力机制的小样本高光谱图像分类方法流程图
图2:稠密连接示意图
图3:谱注意力机制示意图
图4:谱注意力机制加入到多尺度稠密网络中的示意图
图5:网络整体结构图示意图
具体实施方式
现结合实施例、附图对本发明作进一步描述:
本发明的技术方案是基于多尺度稠密卷积神经网络和谱注意力机制的小样本高光谱图像分类方法。本技术方案的具体措施如下:
步骤1:数据预处理。待处理的高光谱图像数据进行最大最小归一化。
步骤2:数据分割。统计待处理的高光谱图像中,各个类别标注样本的个数,然后按照比例,从每个类别中,抽取5个标注的样本作为训练数据,剩余的部分作为测试数据。
步骤3:构建网络模型。构建基于多尺度稠密卷积神经网络和谱注意力机制的深度网络模型。
步骤4:训练网络模型。将训练数据批量的输入到构建好的深度网络中,以标注的类别为指导信号,利用梯度下降算法对网络参数进行训练,直至网络收敛。在测试数据上评估网络精度。
步骤5:生成预测结果。基于训练过的模型,对高光谱图像中所有像素进行类别预测,然后将预测的类别放到对应的位置,得到预测结果图。
具体步骤如下:
步骤1:数据预处理。对待处理的高光谱图像数据进行最大最小归一化,归一化公式如下:
其中xijs表示高光谱图像中的一个像元,i、j分别表示该像元位于高光谱图像中的坐标位置,s表示高光谱图像的谱段,现有的高光谱图像一般包含100-240个谱段,为归一化后的一个像元,x··smax、x··smin分别表示三维高光谱图像在s谱段的最大值和最小值;
步骤2:数据分割。统计待处理的高光谱图像中,各个类别标注样本的个数,然后按照比例,从每个类别中,抽取5个标注的样本作为训练数据,剩余的部分作为测试数据。具体做法如下,对于一个尺寸为M×N×D的三维高光谱图像数据,M,N分别表示高光谱图像的高和宽,D表示数据的波段数。抽取样本时,以待处理像素为中心,抽取S×S×D的数据块作为中心像素的样本数据,S表示邻域大小,一般取13;
步骤3:构建网络模型。首先深度网络使用稠密连接机制用于导出网络中的多级特征,使用三维扩张卷积,可以使用多尺度特征图生成光谱空间特征。此外,在每层网络中增加谱注意力机制策略。其中,稠密连接机制如图2所示,第l层的输出是由前面所有层x0,...,xl-1的特征图连接组成的,可以表示为xl=F({x0,...,xl-1}),F(·)表示非线性变换。对于本网络结构使用的多尺度三维扩张卷积,第i层的第j个通道的三维扩张卷积的扩张值设置为sij=((iw+j)mod 10)+1,w表示每层卷积层的卷积个数,一般取8。谱注意力机制如图3所示,数据块U大小为S×S×D,从谱的方向上数据块U可以表示为Fspectral,经过谱注意力机制生成的向量为g,大小为1×1×D,得到Fsacle为加入谱注意力机制后的向量,最后生成为U’,大小为S×S×D。将谱注意力机制加入到多尺度稠密网络中的示意图如图4所示,右侧网络结构为注意力机制网络结构图,在三维扩张卷积操作之后但在连接操作之前作为权重加入;
步骤4:训练网络模型。将训练数据批量的输入到构建好的深度网络中,以标注的类别为指导信号,利用梯度下降算法对网络参数进行训练,直至网络收敛。训练过程中,每次随机不重复的从训练集里抽取10-20样本为一批训练数据,将该数据输入到网络,抽取特征并计算预测结果,以预测结果与实际结果之间的交叉熵为损失函数,计算网络权值的偏导数,并利用梯度下降算法,更新网络参数。训练过程便利整个训练集一次为一轮训练。整个训练过程进行100轮,前60轮学习率设为0.01,最后40轮,学习率衰减到0.001。整个训练过程中,动量项设为0.9;
步骤5:生成预测结果。基于训练过的模型,对高光谱图像中所有像素进行类别预测,然后将预测的类别放到对应的位置,得到预测结果图。
Claims (4)
1.一种基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法,其特征在于步骤如下:
步骤1:数据预处理
对待处理的高光谱图像数据进行最大最小归一化,归一化公式如下:
其中xijs表示高光谱图像中的一个像元,i、j分别表示该像元位于高光谱图像中的坐标位置,s表示高光谱图像的谱段,为归一化后的一个像元,x..smax、x..smin分别表示三维高光谱图像在s谱段的最大值和最小值;
步骤2:数据分割
统计待处理的高光谱图像中,各个类别标注样本的个数,然后按照比例,从每个类别中,抽取5个标注的样本作为训练数据,剩余的部分作为测试数据;具体做法如下,对于一个尺寸为M×N×D的三维高光谱图像数据,M,N分别表示高光谱图像的高和宽,D表示数据的波段数;抽取样本时,以待处理像素为中心,抽取S×S×D的数据块作为中心像素的样本数据,S表示邻域大小;
步骤3:构建网络模型
首先深度网络使用稠密连接机制用于导出网络中的多级特征,使用三维扩张卷积,可以使用多尺度特征图生成光谱空间特征;此外,在每层网络中增加谱注意力机制策略;所述的稠密连接机制:第l层的输出是由前面所有层x0,...,xl-1的特征图连接组成的,表示为xl=F({x0,...,xl-1}),F(·)表示非线性变换;对于本网络结构使用的多尺度三维扩张卷积,第a层的第b个通道的三维扩张卷积的扩张值设置为sab=((aw+b)mod 10)+1,ω表示每层卷积层的卷积个数;所述的谱注意力机制:数据块U大小为S×S×D,从谱的方向上数据块U可以表示为Fspectral,经过谱注意力机制生成的向量为g,大小为1×1×D,得到Fsacle为加入谱注意力机制后的向量,最后生成为U’,大小为S×S×D;将谱注意力机制加入到多尺度稠密网络中,右侧网络结构为注意力机制网络结构图,在三维扩张卷积操作之后但在连接操作之前作为权重加入;
步骤4:训练网络模型
将训练数据批量的输入到构建好的深度网络中,以标注的类别为指导信号,利用梯度下降算法对网络参数进行训练,直至网络收敛;训练过程中,每次随机不重复的从训练集里抽取10-20样本为一批训练数据,将该数据输入到网络,抽取特征并计算预测结果,以预测结果与实际结果之间的交叉熵为损失函数,计算网络权值的偏导数,并利用梯度下降算法,更新网络参数;训练过程便利整个训练集一次为一轮训练;
步骤5:生成预测结果
基于训练过的模型,对高光谱图像中所有像素进行类别预测,然后将预测的类别放到对应的位置,得到预测结果图。
2.根据权利要求1所述的一种基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法,其特征在于步骤2中的S取13。
3.根据权利要求1所述的一种基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法,其特征在于步骤3中的ω取8。
4.根据权利要求1所述的一种基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法,其特征在于步骤4中的整个训练过程进行100轮,前60轮学习率设为0.01,最后40轮,学习率衰减到0.001;整个训练过程中,动量项设为0.9。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811544066.1A CN109784347B (zh) | 2018-12-17 | 2018-12-17 | 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811544066.1A CN109784347B (zh) | 2018-12-17 | 2018-12-17 | 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109784347A CN109784347A (zh) | 2019-05-21 |
CN109784347B true CN109784347B (zh) | 2022-04-26 |
Family
ID=66498088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811544066.1A Active CN109784347B (zh) | 2018-12-17 | 2018-12-17 | 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109784347B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110222773B (zh) * | 2019-06-10 | 2023-03-24 | 西北工业大学 | 基于不对称分解卷积网络的高光谱图像小样本分类方法 |
CN110458234B (zh) * | 2019-08-14 | 2021-12-03 | 广州广电银通金融电子科技有限公司 | 一种基于深度学习的以图搜车方法 |
CN110516596B (zh) * | 2019-08-27 | 2023-03-24 | 西安电子科技大学 | 基于Octave卷积的空谱注意力高光谱图像分类方法 |
CN110852369B (zh) * | 2019-11-06 | 2022-09-27 | 西北工业大学 | 联合3d/2d卷积网络和自适应光谱解混的高光谱图像分类方法 |
CN110866552B (zh) * | 2019-11-06 | 2023-04-14 | 西北工业大学 | 基于全卷积空间传播网络的高光谱图像分类方法 |
CN110689093B (zh) * | 2019-12-10 | 2020-04-21 | 北京同方软件有限公司 | 一种复杂场景下的图像目标精细分类方法 |
CN111126256B (zh) * | 2019-12-23 | 2022-02-15 | 武汉大学 | 一种基于自适应空谱多尺度网络的高光谱图像分类方法 |
CN111242168B (zh) * | 2019-12-31 | 2023-07-21 | 浙江工业大学 | 一种基于多尺度注意力特征的人体皮肤图像病变分类方法 |
CN111488921B (zh) * | 2020-03-30 | 2023-06-16 | 中国科学院深圳先进技术研究院 | 一种全景数字病理图像智能分析***及方法 |
CN111914907B (zh) * | 2020-07-13 | 2022-07-29 | 河海大学 | 一种基于深度学习空谱联合网络的高光谱图像分类方法 |
CN111797941A (zh) * | 2020-07-20 | 2020-10-20 | 中国科学院长春光学精密机械与物理研究所 | 携带光谱信息和空间信息的图像分类方法及*** |
CN112052755B (zh) * | 2020-08-24 | 2023-06-02 | 西安电子科技大学 | 基于多路注意力机制的语义卷积高光谱图像分类方法 |
CN112052758B (zh) * | 2020-08-25 | 2023-05-23 | 西安电子科技大学 | 基于注意力机制和循环神经网络的高光谱图像分类方法 |
CN112116563A (zh) * | 2020-08-28 | 2020-12-22 | 南京理工大学 | 一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法与*** |
CN112699736B (zh) * | 2020-12-08 | 2024-06-07 | 江西省交通科学研究院有限公司 | 一种基于空间注意力的桥梁支座病害识别方法 |
CN112446372B (zh) * | 2020-12-08 | 2022-11-08 | 电子科技大学 | 基于通道分组注意力机制的文本检测方法 |
CN113686804B (zh) * | 2021-08-18 | 2023-05-16 | 中山小池科技有限公司 | 一种基于深度回归网络的纺织纤维成分无损清洁分析方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108491849A (zh) * | 2018-03-23 | 2018-09-04 | 上海理工大学 | 基于三维稠密连接卷积神经网络的高光谱图像分类方法 |
CN108710830A (zh) * | 2018-04-20 | 2018-10-26 | 浙江工商大学 | 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法 |
CN108830254A (zh) * | 2018-06-27 | 2018-11-16 | 福州大学 | 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法 |
CN108875787A (zh) * | 2018-05-23 | 2018-11-23 | 北京市商汤科技开发有限公司 | 一种图像识别方法及装置、计算机设备和存储介质 |
CN108898142A (zh) * | 2018-06-15 | 2018-11-27 | 宁波云江互联网科技有限公司 | 一种手写公式的识别方法及计算设备 |
CN108898175A (zh) * | 2018-06-26 | 2018-11-27 | 北京工业大学 | 基于深度学习胃癌病理切片的计算机辅助模型构建方法 |
CN108960059A (zh) * | 2018-06-01 | 2018-12-07 | 众安信息技术服务有限公司 | 一种视频动作识别方法及装置 |
CN108960192A (zh) * | 2018-07-23 | 2018-12-07 | 北京旷视科技有限公司 | 动作识别方法及其神经网络生成方法、装置和电子设备 |
-
2018
- 2018-12-17 CN CN201811544066.1A patent/CN109784347B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108491849A (zh) * | 2018-03-23 | 2018-09-04 | 上海理工大学 | 基于三维稠密连接卷积神经网络的高光谱图像分类方法 |
CN108710830A (zh) * | 2018-04-20 | 2018-10-26 | 浙江工商大学 | 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法 |
CN108875787A (zh) * | 2018-05-23 | 2018-11-23 | 北京市商汤科技开发有限公司 | 一种图像识别方法及装置、计算机设备和存储介质 |
CN108960059A (zh) * | 2018-06-01 | 2018-12-07 | 众安信息技术服务有限公司 | 一种视频动作识别方法及装置 |
CN108898142A (zh) * | 2018-06-15 | 2018-11-27 | 宁波云江互联网科技有限公司 | 一种手写公式的识别方法及计算设备 |
CN108898175A (zh) * | 2018-06-26 | 2018-11-27 | 北京工业大学 | 基于深度学习胃癌病理切片的计算机辅助模型构建方法 |
CN108830254A (zh) * | 2018-06-27 | 2018-11-16 | 福州大学 | 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法 |
CN108960192A (zh) * | 2018-07-23 | 2018-12-07 | 北京旷视科技有限公司 | 动作识别方法及其神经网络生成方法、装置和电子设备 |
Non-Patent Citations (5)
Title |
---|
Densely Connected Convolutional Networks;Gao Huang等;《2017 IEEE Conference on Computer Vision and Pattern Recognition》;20171109;第2261-2269页 * |
MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS;Fisher Yu;《arXiv:1511.07122v3 [cs.CV] 30 Apr 2016》;20160430;第1-13页 * |
Road Extraction from High-Resolution Remote Sensing Imagery Using Deep Learning;Yongyang Xu等;《remote sensing》;20180913;第1-16页 * |
基于深度学习的场景文字检测与识别;白翔等;《中国科学:信息科学》;20180511;第48卷(第5期);第531–544页 * |
深度神经网络压缩与加速综述;纪荣嵘等;《计算机研究与发展》;20180931;第55卷(第9期);第1871-1888页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109784347A (zh) | 2019-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109784347B (zh) | 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法 | |
CN105320965B (zh) | 基于深度卷积神经网络的空谱联合的高光谱图像分类方法 | |
CN109949255B (zh) | 图像重建方法及设备 | |
CN108230278B (zh) | 一种基于生成对抗网络的图像去雨滴方法 | |
CN111242841B (zh) | 一种基于语义分割和深度学习的图片背景风格迁移方法 | |
CN109934300B (zh) | 模型压缩方法、装置、计算机设备及存储介质 | |
CN106845381A (zh) | 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法 | |
CN106022355B (zh) | 基于3dcnn的高光谱图像空谱联合分类方法 | |
CN110135227B (zh) | 一种基于机器学习的激光点云室外场景自动分割方法 | |
CN113326930B (zh) | 数据处理方法、神经网络的训练方法及相关装置、设备 | |
CN109753996B (zh) | 基于三维轻量化深度网络的高光谱图像分类方法 | |
CN110766708B (zh) | 基于轮廓相似度的图像比较方法 | |
CN110909591A (zh) | 用编码向量的行人图像检测自适应非极大值抑制处理方法 | |
CN110852369B (zh) | 联合3d/2d卷积网络和自适应光谱解混的高光谱图像分类方法 | |
CN110222760A (zh) | 一种基于winograd算法的快速图像处理方法 | |
CN111967358B (zh) | 一种基于注意力机制的神经网络步态识别方法 | |
CN111368850A (zh) | 图像的特征提取、目标检测方法及装置、卷积装置、cnn网络装置、终端 | |
CN105184742B (zh) | 一种基于拉普拉斯图特征向量的稀疏编码的图像去噪方法 | |
CN111260655A (zh) | 基于深度神经网络模型的图像生成方法与装置 | |
CN110533575B (zh) | 一种基于异构核的深度残差隐写分析方法 | |
CN113139618B (zh) | 一种基于集成防御的鲁棒性增强的分类方法及装置 | |
CN111126185A (zh) | 一种针对道路卡口场景的深度学习车辆目标识别方法 | |
CN111291712B (zh) | 基于插值的cn和胶囊网络的森林火灾识别方法及装置 | |
CN110942106B (zh) | 一种基于平方平均的池化卷积神经网络图像分类方法 | |
CN110866552B (zh) | 基于全卷积空间传播网络的高光谱图像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |