CN110321866B - 基于深度特征稀疏化算法的遥感图像场景分类方法 - Google Patents
基于深度特征稀疏化算法的遥感图像场景分类方法 Download PDFInfo
- Publication number
- CN110321866B CN110321866B CN201910615680.0A CN201910615680A CN110321866B CN 110321866 B CN110321866 B CN 110321866B CN 201910615680 A CN201910615680 A CN 201910615680A CN 110321866 B CN110321866 B CN 110321866B
- Authority
- CN
- China
- Prior art keywords
- feature map
- remote sensing
- channel
- feature
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度特征稀疏化算法的遥感图像场景分类方法,用于解决现有遥感图像场景分类方法分类准确率低的技术问题。技术方案是首先对输入的遥感场景图片进行数据增广,使用卷积网络架构CNN从图片中提取深度特征,记为多层特征图F,使用通道加权方法对该特征图F进行通道稀疏操作,得到F',使用侧抑制方法继续对该特征图F'进行元素稀疏操作,得到F",对经过通道、元素稀疏化操作后的特征图F"进行全局池化操作,生成特征向量I,用全连接层对该特征向量I进行分类,得出分类结果。由于采用了深度特征稀疏化算法,相似的混淆特征得到抑制,相异的有效特征得到突出,提高了遥感图像场景分类的准确率。
Description
技术领域
本发明涉及一种遥感图像场景分类方法,特别涉及一种基于深度特征稀疏化算法的遥感图像场景分类方法。
背景技术
受益于遥感设备的快速发展,研究人员对遥感图像的进行了大量的探索研究,包括场景分类、灾害检测、高光谱图像分类等。其中,遥感图像的场景分类是一项基础性但具有挑战性的工作。由于遥感图像中特征、物体等信息繁杂,研究人员提出了多种不同的方法来提高遥感场景分类的性能。根据特征提取的方式,这些方法大致分为以下两类:
A、传统方法。这种类型的方法都是基于手工提取的特性来实现遥感场景分类,手动设计的特征包括全局特性和局部特性。全局特征(如RGB直方图和纹理描述算子)可以直接传递到分类器中并得到分类结果,而对于局部特征(如SIFT特征描述子),则需要经过汇集、形成完整的全局图像特征后,才能传递到分类器中用于分类。然而,手动设计的特征只包含低级空间信息,缺乏高级语义信息。
B、深度学习方法。随着大量的标记数据集的提出,深度学习方法,特别是卷积神经网络(CNN),在遥感图像场景分类领域取得了非常好的效果。CNN的主要优点是其在标签数据的引导下,能够自动学习有利于场景分类的特征。与手工特征相比,基于深度学习的特征不仅包含低级空间信息,还包含高级语义信息。由于强大的自动提取特征的能力,深度学习方法目前占据主流并取得了较高的分类准确率。
尽管场景分类的性能已经较为优越,但仍有一些问题需要解决。其中,通过对遥感场景图像的观察,发现有些场景虽然属于不同的类别,但却有着十分相似、易造成混淆的特征。这种相似特征限制了分类性能的进一步提升。
发明内容
为了克服现有遥感图像场景分类方法分类准确率低的不足,本发明提供一种基于深度特征稀疏化算法的遥感图像场景分类方法。该方法首先对输入的遥感场景图片进行数据增广,使用卷积网络架构CNN从图片中提取深度特征,记为多层特征图F,使用通道加权方法对该特征图F进行通道稀疏操作,得到F',使用侧抑制方法继续对该特征图F'进行元素稀疏操作,得到F",对经过通道、元素稀疏化操作后的特征图F"进行全局池化操作,生成特征向量I,用全连接层对该特征向量I进行分类,得出分类结果。由于采用了深度特征稀疏化算法,相似的混淆特征得到抑制,相异的有效特征得到突出,提高了遥感图像场景分类的准确率。
本发明解决其技术问题所采用的技术方案:一种基于深度特征稀疏化算法的遥感图像场景分类方法,其特点是包括以下步骤:
步骤一、输入图片,调成图片尺寸为256×256,使用TenCrop数据增广方法从原图片中裁取出224×224的图片区域作为训练图片。
步骤二、去除经典的CNN架构的最后两层网络即全局池化层和全连接层,将其作为CNN特征提取器,从图片中提取出多层特征图F,其尺寸为H×W×C。
步骤三、生成通道加权向量w'。c表示第c个通道,Fc(i,j)表示特征图中第c个通道上第(i,j)的特征值,w(c)表示第c个通道的权值;为了解决不同通道之间的依赖问题,使用两层全连接层对w进行操作得到更精准权值向量的w',即w'=σ(f2(σ(f1(w)))。
步骤四、使用通道加权向量w'对特征图F进行加权操作得到通道加权后的特征图F',即F'c(i,j)=w(c)*Fc(i,j)。
步骤五、使用Local Response Normalization算法对加权后的特征图F'进行逐元素稀疏化,得到通道、元素均稀疏化的特征图F",k、α、β和n均是超参数,分别设置为0.0001、0.75、1和2。
步骤六、使用Global Average Pooling层对特征图F"进行池化操作,使得特征图F"变成全局特征向量I。
步骤七、用全连接层对特征向量I进行分类,得到最终分类结果。
本发明的有益效果是:该方法首先对输入的遥感场景图片进行数据增广,使用卷积网络架构CNN从图片中提取深度特征,记为多层特征图F,使用通道加权方法对该特征图F进行通道稀疏操作,得到F',使用侧抑制方法继续对该特征图F'进行元素稀疏操作,得到F",对经过通道、元素稀疏化操作后的特征图F"进行全局池化操作,生成特征向量I,用全连接层对该特征向量I进行分类,得出分类结果。由于采用了深度特征稀疏化算法,相似的混淆特征得到抑制,相异的有效特征得到突出,提高了遥感图像场景分类的准确率。
下面结合附图和具体实施方式对本发明作详细说明。
附图说明
图1是本发明基于深度特征稀疏化算法的遥感图像场景分类方法的流程图。
具体实施方式
参照图1。本发明基于深度特征稀疏化算法的遥感图像场景分类方法具体步骤如下:
步骤一、输入图片,调成图片尺寸为256×256,使用TenCrop数据增广方法从原图片中裁取出224×224的图片区域作为训练图片。
步骤二、去除经典的CNN架构的最后两层网络即全局池化层和全连接层,将其作为CNN特征提取器,从图片中提取出多层特征图F,其尺寸为H×W×C。
步骤三、生成通道加权向量w'。c表示第c个通道,Fc(i,j)表示特征图中第c个通道上第(i,j)的特征值,w(c)表示第c个通道的权值;为了解决不同通道之间的依赖问题,使用两层全连接层对w进行操作得到更精准权值向量的w',即w'=σ(f2(σ(f1(w)))。
步骤四、使用通道加权向量w'对特征图F进行加权操作得到通道加权后的特征图F',即F'c(i,j)=w(c)*Fc(i,j)。
步骤五、使用Local Response Normalization算法对加权后的特征图F'进行逐元素稀疏化,得到通道、元素均稀疏化的特征图F",k、α、β和n均是超参数,设置为0.0001、0.75、1和2。
步骤六、使用Global Average Pooling层对特征图F"进行池化操作,使得特征图F"变成全局特征向量I。
步骤七、用全连接层对特征向量I进行分类,得到最终分类结果。
本发明的效果通过以下在真实数据集上的实验结果进行说明。
1.实验条件。
本发明是在中央处理器为i5-3470 3.2GHz CPU、内存64G、显卡NVIDIA GTX1080Ti,Ubuntu16.04操作***上,基于Pytorch1.0.1、Python3.6的语言环境下实现的。为了验证本发明的泛化性能,需要证明本发明能够在不同神经网络架构、不同的遥感数据集上均有性能提升。实验中用来提取深度特征的网络架构有InceptionResNetV2、BnInpcetion、ResNet34、ResNet101共四种经典的卷积神网络模型。实验中使用的数据集为UC Merced Land-Use Data Set(UCM),Optimal-31Data Set(OPT),Aerial Image DataSet(AID)。
UCM数据集选取自Yang等人在文献“Y.Yang,S.Newsam.Bag-of-Visual-Words andSpatial Extensions for Land-Use Classification.Proceedings of the 18thSIGSPATIAL International Conference on Advances in Geographic InformationSystems,1–13,2018”,该数据集共有21类遥感场景,分别有1680张训练图片和420张测试图片,图片分辨率为256x 256;OPT数据集选取自Wang等人在文献“Q.Wang,S.Liu,J.Chanussot,X.Li,.Scene Classification with Recurrent Attention of VHR RemoteSensing Images.IEEE Transactions on Geoscience and Remote Sensing,270–279,2010”,该数据集共有31类遥感场景,分别有1488张训练图片和372张测试图片,图片分辨率为256x 256;AID数据集选取自Xia等人在文献“G.Xia,et al..AID:A Benchmark Data Setfor Performance Evaluation of Aerial Scene Classification.IEEE Transactionson Geoscience and Remote Sensing,55,3965–3981,2017”,该数据集共有30类遥感场景,分别有5000张训练图片和5000张测试图片,图片分辨率为600x 600。
使用随机梯度下降法Stochastic Gradient Descent(SGD)作为优化器来优化网络参数,优化器SGD的参数为:学习率0.0001,冲量为0.9,共学习50个epoch,选取最好的实验结果用于比较。
2.实验结果。
首先需要验证本发明在各种CNN模型上是否具有泛化性,实验中用作对比实验的深度卷积网络CNN的模型有BnInpcetion、InceptionResNetV2、ResNet34、ResNet101共四种经典的卷积网络架构。
表1不同卷积网络模型的实验结果对比
从表1可见,在四种基本的CNN模型上,嵌入本发明后,场景分类准确率分别提升0.94%、0.7%、0.06%、0.78%,四种CNN模型结果均有提升,其中ResNet34提升不大,但是其他三种提升均超过0.7%,提升结果较为显著,说明了本发明在不同CNN模型上具有较好的泛化性能。其中ResNet101性能最为优越,因此在接下来验证本发明在数据集上的泛化性的实验中选择ResNet101作为基本CNN模型,实验结果如表2所示。
表2不同遥感场景数据集的实验结果对比
CNN模型 | UCM | OPT | AID |
ResNet101准确率 | 98.81% | 94.62% | 95.10% |
本发明准确率 | 99.52% | 95.16% | 95.88% |
从表2可见,在ResNet101模型上,使用本发明后,遥感数据集UCM、OPT、AID场景分类准确率分别提升0.71%、0.54%、0.78%,三个数据及集上的分类准确率均有稳定的提升,说明了本发明在不同遥感数据集上具有较好的泛化性能。
根据表1和表2的对比实验,说明本算法能够广泛的、有效的提升多种卷积网络模型在不同遥感场景分类数据集上的分类准确率,具有良好的泛化性和鲁棒性;本发明通过对特征进行通道以及元素分别进行稀疏化操作,抑制相似的混淆特征,突出相异的有效特征,能够有效提升遥感场景分类性能。
Claims (1)
1.一种基于深度特征稀疏化算法的遥感图像场景分类方法,其特征在于包括以下步骤:
步骤一、输入图片,调成图片尺寸为256×256,使用TenCrop数据增广方法从原图片中裁取出224×224的图片区域作为训练图片;
步骤二、去除经典的CNN架构的最后两层网络即全局池化层和全连接层,将其作为CNN特征提取器,从图片中提取出多层特征图F,其尺寸为H×W×C;
步骤三、生成通道加权向量w';c表示第c个通道,Fc(i,j)表示特征图中第c个通道上第(i,j)的特征值,w(c)表示第c个通道的权值;为了解决不同通道之间的依赖问题,使用两层全连接层对w进行操作得到更精准权值向量的w',即w'=σ(f2(σ(f1(w)));
步骤四、使用通道加权向量w'对特征图F进行加权操作得到通道加权后的特征图F',即F'c(i,j)=w(c)*Fc(i,j);
步骤五、使用Local Response Normalization算法对加权后的特征图F'进行逐元素稀疏化,得到通道、元素均稀疏化的特征图F",k、α、β和n均是超参数,分别设置为0.0001、0.75、1和2;
步骤六、使用Global Average Pooling层对特征图F"进行池化操作,使得特征图F"变成全局特征向量I;
步骤七、用全连接层对特征向量I进行分类,得到最终分类结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910615680.0A CN110321866B (zh) | 2019-07-09 | 2019-07-09 | 基于深度特征稀疏化算法的遥感图像场景分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910615680.0A CN110321866B (zh) | 2019-07-09 | 2019-07-09 | 基于深度特征稀疏化算法的遥感图像场景分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110321866A CN110321866A (zh) | 2019-10-11 |
CN110321866B true CN110321866B (zh) | 2023-03-24 |
Family
ID=68121590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910615680.0A Active CN110321866B (zh) | 2019-07-09 | 2019-07-09 | 基于深度特征稀疏化算法的遥感图像场景分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110321866B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102034107A (zh) * | 2010-12-02 | 2011-04-27 | 西安电子科技大学 | 基于鲁棒视觉注意特征与稀疏表示的不良图像判别方法 |
WO2016091017A1 (zh) * | 2014-12-09 | 2016-06-16 | 山东大学 | 一种高光谱图像分类中光谱向量互相关特征的抽取方法 |
EP3166020A1 (en) * | 2015-11-06 | 2017-05-10 | Thomson Licensing | Method and apparatus for image classification based on dictionary learning |
CN106991382A (zh) * | 2017-03-13 | 2017-07-28 | 南京信息工程大学 | 一种遥感场景分类方法 |
CN107924486A (zh) * | 2015-09-02 | 2018-04-17 | 高通股份有限公司 | 用于分类的强制稀疏 |
CN108052966A (zh) * | 2017-12-08 | 2018-05-18 | 重庆邮电大学 | 基于卷积神经网络的遥感图像场景自动提取和分类方法 |
CN108764316A (zh) * | 2018-05-18 | 2018-11-06 | 河海大学 | 基于深度卷积神经网络和多核学习的遥感图像场景分类方法 |
WO2018214195A1 (zh) * | 2017-05-25 | 2018-11-29 | 中国矿业大学 | 一种基于卷积神经网络的遥感图像桥梁检测方法 |
CN109145798A (zh) * | 2018-08-13 | 2019-01-04 | 浙江零跑科技有限公司 | 一种驾驶场景目标识别与可行驶区域分割集成方法 |
CN109902736A (zh) * | 2019-02-25 | 2019-06-18 | 东北大学 | 一种基于自动编码器构建特征表示的肺结节图像分类方法 |
-
2019
- 2019-07-09 CN CN201910615680.0A patent/CN110321866B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102034107A (zh) * | 2010-12-02 | 2011-04-27 | 西安电子科技大学 | 基于鲁棒视觉注意特征与稀疏表示的不良图像判别方法 |
WO2016091017A1 (zh) * | 2014-12-09 | 2016-06-16 | 山东大学 | 一种高光谱图像分类中光谱向量互相关特征的抽取方法 |
CN107924486A (zh) * | 2015-09-02 | 2018-04-17 | 高通股份有限公司 | 用于分类的强制稀疏 |
EP3166020A1 (en) * | 2015-11-06 | 2017-05-10 | Thomson Licensing | Method and apparatus for image classification based on dictionary learning |
CN106991382A (zh) * | 2017-03-13 | 2017-07-28 | 南京信息工程大学 | 一种遥感场景分类方法 |
WO2018214195A1 (zh) * | 2017-05-25 | 2018-11-29 | 中国矿业大学 | 一种基于卷积神经网络的遥感图像桥梁检测方法 |
CN108052966A (zh) * | 2017-12-08 | 2018-05-18 | 重庆邮电大学 | 基于卷积神经网络的遥感图像场景自动提取和分类方法 |
CN108764316A (zh) * | 2018-05-18 | 2018-11-06 | 河海大学 | 基于深度卷积神经网络和多核学习的遥感图像场景分类方法 |
CN109145798A (zh) * | 2018-08-13 | 2019-01-04 | 浙江零跑科技有限公司 | 一种驾驶场景目标识别与可行驶区域分割集成方法 |
CN109902736A (zh) * | 2019-02-25 | 2019-06-18 | 东北大学 | 一种基于自动编码器构建特征表示的肺结节图像分类方法 |
Non-Patent Citations (2)
Title |
---|
基于CNN模型的遥感图像复杂场景分类;张康等;《国土资源遥感》;20181208(第04期);全文 * |
高分辨率遥感影像场景的多尺度神经网络分类法;郑卓等;《测绘学报》;20180515(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110321866A (zh) | 2019-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108427920B (zh) | 一种基于深度学习的边海防目标检测方法 | |
CN108830855B (zh) | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 | |
Li et al. | Unsupervised representation learning of image-based plant disease with deep convolutional generative adversarial networks | |
CN109840560B (zh) | 基于胶囊网络中融入聚类的图像分类方法 | |
CN110717526B (zh) | 一种基于图卷积网络的无监督迁移学习方法 | |
CN109871885B (zh) | 一种基于深度学习和植物分类学的植物识别方法 | |
CN112906720B (zh) | 基于图注意力网络的多标签图像识别方法 | |
CN111325165B (zh) | 考虑空间关系信息的城市遥感影像场景分类方法 | |
CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
Klibisz et al. | Fast, simple calcium imaging segmentation with fully convolutional networks | |
CN112446476A (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
CN111539370A (zh) | 一种基于多注意力联合学习的图像行人重识别方法和*** | |
CN109766873B (zh) | 一种混合可变形卷积的行人再识别方法 | |
Ju et al. | Fusing global and local features for generalized ai-synthesized image detection | |
CN113269224B (zh) | 一种场景图像分类方法、***及存储介质 | |
CN110427819B (zh) | 一种识别图像中ppt边框的方法及相关设备 | |
CN109543546B (zh) | 基于深度序分布回归的步态年龄估计方法 | |
CN110598746A (zh) | 一种基于ode求解器自适应的场景分类方法 | |
CN113111716A (zh) | 一种基于深度学习的遥感影像半自动标注方法和装置 | |
CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
CN111898614B (zh) | 神经网络***以及图像信号、数据处理的方法 | |
Li et al. | Self-supervised coarse-to-fine monocular depth estimation using a lightweight attention module | |
CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
CN111310516A (zh) | 一种行为识别方法和装置 | |
Zhou et al. | Identification of Rice Leaf Disease Using Improved ShuffleNet V2. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |