CN111291651A - 用于遥感场景分类的多任务神经网络框架及分类方法 - Google Patents
用于遥感场景分类的多任务神经网络框架及分类方法 Download PDFInfo
- Publication number
- CN111291651A CN111291651A CN202010070358.7A CN202010070358A CN111291651A CN 111291651 A CN111291651 A CN 111291651A CN 202010070358 A CN202010070358 A CN 202010070358A CN 111291651 A CN111291651 A CN 111291651A
- Authority
- CN
- China
- Prior art keywords
- task
- layer
- classification
- auxiliary
- discrimination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 78
- 238000000605 extraction Methods 0.000 claims abstract description 52
- 238000013507 mapping Methods 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 230000009467 reduction Effects 0.000 claims abstract description 9
- 230000004913 activation Effects 0.000 claims description 40
- 238000012360 testing method Methods 0.000 claims description 21
- 239000000284 extract Substances 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于遥感场景分类的神经网络框架及分类方法,特别涉及一种用于遥感场景分类的多任务神经网络框架及分类方法,解决了现有网络框架及分类方法,信息量存在局限性,场景识别不准确,分类精度低的问题。该网络框架包括卷积特征提取层、分类任务全连接特征提取层、分类任务判别层、分类任务损失层;其特殊在于:还包括辅助任务全连接特征提取层、辅助任务判别层、辅助任务损失层、分类任务特征映射层、辅助任务特征映射层及关系学习损失层;两个特征映射层分别将适应于两种任务的全连接特征向量降维,关系学习损失层将降维后的向量作差并将差向量的范数作为关系学习损失,关系学习损失与两种任务的判别损失一起加入优化训练。
Description
技术领域
本发明涉及一种用于遥感场景分类的神经网络框架及分类方法,特别涉及一种用于遥感场景分类的多任务神经网络框架及分类方法。
背景技术
高分遥感场景分类任务的目标是:根据输入图像的信息,将感兴趣的前景和背景以及其它前景区分开来。
场景分类方法可以划分为基于手工特征和基于深度学***均准确率AP得到了大幅提升。
基于深度学习的场景分类框架,一般包括两个阶段:即训练阶段和测试阶段。其中,训练阶段包括卷积特征提取、全连接特征提取、损失计算以及迭代优化;测试阶段包括卷积特征提取、全连接特征提取以及类别判别。在高分遥感场景中,存在大量相似度较高的场景类别,难以直接判别。为了应对这个问题,一些现有工作从不同方面展开研究,如下所述:
第一个是由Hu,Fan和Zhang,Liangpei在“F.Hu,G.-S.Xia,J.Hu,and L.Zhang,Transferring deep convolutional neural networks for the scene classificationof high-resolution remote sensing imagery,Remote Sensing,vol.7,no.11,pp.14680-14707,2015.”上提出的工作。该工作集成了全连接特征和多尺度密集卷积特征,以增强表达能力,从而提高分类精度。
第二个是由Li,Erzhu和Du,Peijun在“E.Li,J.Xia,P.Du,C.Lin,and A.Samat,Integrating multilayer features of convolutional neural networks for remotesensing scene classification,IEEE Transactions on Geoscience and RemoteSensing,vol.55,no.10,pp.5653-5665,2017.”上提出的工作。该工作集成了卷积神经网络的多层特征,该方法与现有技术的其它方法相比,具有竞争优势。
第三个是由Alshehhi,Rasha和Dalla Mura,Mauro在“R.Alshehhi,P.R.Marpu,W.L.Woon,and M.Dalla Mura,Simultaneous extraction of roads and buildings inremote sensing imagery with convolutional neural networks,ISPRS Journal ofPhotogrammetry and Remote Sensing,vol.130,pp.139-149,2017.”上提出的工作。该工作结合道路和建筑物的特征,提出了一种新的卷积神经网络框架。
第四个是由Anwer,Rao Muhammad和Khan,Fahad Shahbaz在“R.M.Anwer,F.S.Khan,J.van de Weijer,M.Molinier,and J.Laaksonen,Binary patterns encodedconvolutional neural networks for texture recognition and remote sensingscene classification,ISPRS Journal of Photogrammetry and Remote Sensing,vol.138,pp.74-85,2018.”上提出的工作。该工作通过结合局部二进制模式(LBP)和深度神经网络提出了一种新的卷积神经网络。
上述几种方法通过特征提取和特征融合来处理复杂的图像内容,这几种方法能够在一定程度上缓解场景类别相似度较高的问题,但是由于所有的信息都来源于图像和分类标签(训练阶段使用了分类标签),信息量上存在局限性,场景识别不准确,分类精度较低。
发明内容
本发明的目的是提供一种用于遥感场景分类的多任务神经网络框架及分类方法,以解决现有用于遥感场景分类的神经网络框架及分类方法,由于信息量上存在局限性,场景识别不准确,分类精度较低的技术问题。
本发明所采用的技术方案是,一种用于遥感场景分类的多任务神经网络框架,包括卷积特征提取层、分类任务全连接特征提取层、分类任务判别层以及分类任务损失层;其特殊之处在于:
还包括辅助任务全连接特征提取层、辅助任务判别层、辅助任务损失层、分类任务特征映射层、辅助任务特征映射层以及关系学习损失层;
所述卷积特征提取层提取输入图像特征,输出卷积特征图;
所述分类任务全连接特征提取层和辅助任务全连接特征提取层分别从卷积特征图提取特征,对应输出适应于分类任务的全连接特征向量和适应于辅助任务的全连接特征向量;
所述分类任务判别层和分类任务损失层在训练阶段依次根据输入的适应于分类任务的全连接特征向量,输出分类任务损失;
所述辅助任务判别层和辅助任务损失层在训练阶段依次根据输入的适应于辅助任务的全连接特征向量,输出辅助任务损失;
所述分类任务特征映射层在训练阶段将输入的适应于分类任务的全连接特征向量降维后得到分类任务特征映射向量;所述辅助任务特征映射层在训练阶段将输入的适应于辅助任务的全连接特征向量降维后得到辅助任务特征映射向量;所述关系学习损失层在训练阶段将输入的分类任务特征映射向量与辅助任务特征映射向量作差,并将差向量的范数输出作为关系学习损失;
所述分类任务损失、辅助任务损失以及关系学习损失一起加入优化训练;
所述分类任务判别层在测试阶段根据输入的适应于分类任务的全连接特征向量,输出分类任务判别结果;
所述辅助任务判别层在测试阶段根据输入的适应于辅助任务的全连接特征向量,输出辅助任务判别结果。
进一步地,所述适应于辅助任务的全连接特征向量中的辅助任务为属性判别任务或分割任务或显著性目标检测任务。
进一步地,所述分类任务判别层包括分类任务判别全连接层和分类任务判别激活层;所述分类任务判别全连接层以分类任务全连接特征提取层为输入;所述分类任务判别激活层以分类任务判别全连接层为输入;在训练阶段,所述分类任务判别激活层输出到分类任务损失层,在测试阶段,所述分类任务判别激活层直接输出分类任务判别结果;
所述辅助任务判别层包括辅助任务判别全连接层和辅助任务判别激活层;所述辅助任务判别全连接层以辅助任务全连接特征提取层为输入;所述辅助任务判别激活层以辅助任务判别全连接层为输入;在训练阶段,所述辅助任务判别激活层输出到辅助任务损失层,在测试阶段,所述辅助任务判别激活层直接输出辅助任务判别结果。
进一步地,所述卷积特征提取层为AlexNet、GoogLeNet、VGGNet或ResNet。
本发明还提供了一种基于上述用于遥感场景分类的多任务神经网络框架的分类方法,其特殊之处在于,包括以下阶段:
训练阶段:
步骤1.1:输入待处理图像;
步骤1.2:卷积特征提取层提取输入的待处理图像的卷积特征图;
步骤1.3:采用分类任务全连接特征提取层从卷积特征图中提取适应于分类任务的全连接特征向量;采用辅助任务全连接特征提取层从卷积特征图中提取适应于辅助任务的全连接特征向量;
步骤1.4:所述适应于分类任务的全连接特征向量依次经过分类任务判别层和分类任务损失层,输出分类任务损失;
所述适应于辅助任务的全连接特征向量依次经过辅助任务判别层和辅助任务损失层,输出辅助任务损失;
所述适应于分类任务的全连接特征向量经过分类任务特征映射层降维后得到分类任务特征映射向量;所述适应于辅助任务的全连接特征向量经过辅助任务特征映射层降维后得到辅助任务特征映射向量;所述关系学习损失层将分类任务特征映射向量与辅助任务特征映射向量作差,并将差向量的范数输出作为关系学习损失;
步骤1.5:采用优化策略,对分类任务损失、辅助任务损失以及关系学习损失进行神经网络权重参数优化;
测试阶段:
步骤2.1:输入待处理图像;按步骤1.2-步骤1.3进行处理;
步骤2.2:所述适应于分类任务的全连接特征向量经过分类任务判别层,直接输出分类任务判别结果;所述适应于辅助任务的全连接特征向量经过辅助任务判别层,直接输出辅助任务判别结果。
进一步地,步骤1.3中,所述适应于辅助任务的全连接特征向量中的辅助任务为属性判别任务或分割任务或显著性目标检测任务。
进一步地,步骤1.5中,所述优化策略为随机梯度下降法。
进一步地,步骤1.4中,所述分类任务判别层包括分类任务判别全连接层和分类任务判别激活层;所述分类任务判别全连接层以分类任务全连接特征提取层为输入;所述分类任务判别激活层以分类任务判别全连接层为输入;在训练阶段,所述分类任务判别激活层输出到分类任务损失层,在测试阶段,所述分类任务判别激活层直接输出分类任务判别结果;
步骤1.4中,所述辅助任务判别层包括辅助任务判别全连接层和辅助任务判别激活层;所述辅助任务判别全连接层以辅助任务全连接特征提取层为输入;所述辅助任务判别激活层以辅助任务判别全连接层为输入;在训练阶段,所述辅助任务判别激活层输出到辅助任务损失层,在测试阶段,所述辅助任务判别激活层直接输出辅助任务判别结果。
进一步地,步骤1.2中,所述卷积特征提取层为AlexNet、GoogLeNet、VGGNet或ResNet。
本发明的有益效果是:
(1)本发明的用于遥感场景分类的多任务神经网络框架,引入了辅助任务的信息(包括属性判别任务、分割任务以及显著性目标检测任务等)作为新信息,并通过设计合理的神经网络框架将这些新信息引入了分类分支,从而提高了场景分类网络的判别能力,更好地区分相似度较高的类别;因此,本发明解决了现有用于遥感场景分类的神经网络框架及分类方法,由于信息量上存在局限性,场景识别不准确,分类精度较低的技术问题。
(2)本发明提出了任务间的关系学习,用于将新信息(辅助任务)和分类任务的深层特征共享。具体地,将分类任务和辅助任务的深层特征分别降维后,得到降维的分类任务特征和降维的辅助任务特征,在训练过程中最小化降维后两种特征的差值,效果上等价于学习到了两种任务的关系;这种关系在训练过程中,影响了分类任务的权重分布,从而将辅助任务的信息共享给了分类任务,可以更容易地判别一些难以区分的样本。
(3)本发明设计了一个特征共享机制,用于进一步增强信息共享。本发明的特征共享机制包括两部分:对于浅层网络(卷积层),分类任务的卷积层和辅助任务的卷积层使用相同的权重(等同于分类任务卷积层和辅助任务卷积层使用同一组卷积层);对于深层网络(全连接层),则采用关系学习共享信息。
附图说明
图1是本发明用于遥感场景分类的多任务神经网络框架的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
参见图1,本发明一种用于遥感场景分类的多任务神经网络框架,包括卷积特征提取层、分类任务全连接特征提取层、分类任务判别层、分类任务损失层、辅助任务全连接特征提取层、辅助任务判别层、辅助任务损失层、分类任务特征映射层、辅助任务特征映射层以及关系学习损失层。
卷积特征提取层提取输入图像特征,输出卷积特征图;在本实施例中,卷积特征提取层为AlexNet(Alex网络,其中Alex是人名。),卷积特征提取层除了为AlexNet外,也可以选用其它的,比如GoogLeNet(谷歌网络)、VGGNet(视觉几何组网络,其中VGG为visualgeometry group的缩写。)、ResNet(残差网络)等。分类任务全连接特征提取层和辅助任务全连接特征提取层分别从卷积特征图提取特征,对应输出适应于分类任务的全连接特征向量和适应于辅助任务的全连接特征向量;上述适应于辅助任务的全连接特征向量中的辅助任务在本实施例中具体为属性判别任务,除了为属性判别任务外,也可以为分割任务、显著性目标检测任务等其它辅助任务。分类任务判别层和分类任务损失层在训练阶段依次根据输入的适应于分类任务的全连接特征向量,输出分类任务损失;辅助任务判别层和辅助任务损失层在训练阶段依次根据输入的适应于辅助任务的全连接特征向量,输出辅助任务损失;分类任务特征映射层在训练阶段将输入的适应于分类任务的全连接特征向量降维后得到分类任务特征映射向量;辅助任务特征映射层在训练阶段将输入的适应于辅助任务的全连接特征向量降维后得到辅助任务特征映射向量;关系学习损失层在训练阶段将输入的分类任务特征映射向量与辅助任务特征映射向量作差,并将差向量的范数输出作为关系学习损失;上述分类任务损失、辅助任务损失以及关系学习损失一起加入优化训练。分类任务判别层在测试阶段根据输入的适应于分类任务的全连接特征向量,输出分类任务判别结果;辅助任务判别层在测试阶段根据输入的适应于辅助任务的全连接特征向量,输出辅助任务判别结果。在本实施例中,优选地上述分类任务判别层包括分类任务判别全连接层和分类任务判别激活层;分类任务判别全连接层以分类任务全连接特征提取层为输入;分类任务判别激活层以分类任务判别全连接层为输入;在训练阶段,分类任务判别激活层输出到分类任务损失层,在测试阶段,分类任务判别激活层直接输出分类任务判别结果。同时,在本实施例中,优选地上述辅助任务判别层包括辅助任务判别全连接层和辅助任务判别激活层;辅助任务判别全连接层以辅助任务全连接特征提取层为输入;辅助任务判别激活层以辅助任务判别全连接层为输入;在训练阶段,辅助任务判别激活层输出到辅助任务损失层,在测试阶段,辅助任务判别激活层直接输出辅助任务判别结果。
采用上述用于遥感场景分类的多任务神经网络框架的分类方法,包括以下阶段:
训练阶段:
步骤1.1:输入待处理图像;
步骤1.2:卷积特征提取层提取输入的待处理图像的卷积特征图;
步骤1.3:采用分类任务全连接特征提取层从卷积特征图中提取适应于分类任务的全连接特征向量;采用辅助任务全连接特征提取层从卷积特征图中提取适应于辅助任务的全连接特征向量;
步骤1.4:上述适应于分类任务的全连接特征向量依次经过分类任务判别层和分类任务损失层,输出分类任务损失;
上述适应于辅助任务的全连接特征向量依次经过辅助任务判别层和辅助任务损失层,输出辅助任务损失;
上述适应于分类任务的全连接特征向量经过分类任务特征映射层降维后得到分类任务特征映射向量;上述适应于辅助任务的全连接特征向量经过辅助任务特征映射层降维后得到辅助任务特征映射向量;上述关系学习损失层将分类任务特征映射向量与辅助任务特征映射向量作差,并将差向量的范数输出作为关系学习损失;
步骤1.5:采用优化策略,对分类任务损失、辅助任务损失以及关系学习损失进行神经网络权重参数优化;在本实施例中,采用的优化策略为随机梯度下降法;关于随机梯度下降法在“Lecun,L.Bottou,Y.Bengio,and P.Haffner,Gradient-based leraningapplied to document recognition.Proceedings of the IEEE,vol.86,no.11,pp.2278-2324,1998.”中有详细介绍;
测试阶段:
步骤2.1:输入待处理图像;按步骤1.2-步骤1.3进行处理;
步骤2.2:上述适应于分类任务的全连接特征向量经过分类任务判别层,直接输出分类任务判别结果;上述适应于辅助任务的全连接特征向量经过辅助任务判别层,直接输出辅助任务判别结果。
本发明的效果可以通过以下仿真实验做进一步的说明。
1.仿真数据集
实验中采用了三个数据集,分别为AID(Aerial Image data set,航空图像数据库)、UCM(加州大学美熹德分校数据库)和Sydney(悉尼数据库)。
2.仿真内容
按照如下步骤用本发明方法进行高分遥感场景分类:
首先,选取属性判别任务作为辅助任务。属性标签为一个不定长的向量,每个元素为一个单词,代表了图像中存在的某种特点,可为名词、形容词等具有实际意义的词。
其次,在UCM上进行消融实验,错误率的结果如下表1所示:
表1在UCM数据库上的消融实验
辅助任务 | 关系学习 | Err/% | |
1 | 无 | 无 | 7.14 |
2 | √ | 无 | 5.00 |
3 | √ | √ | 4.05 |
最后,在AID、UCM和Sydney三个数据库上将本发明方法和其他算法进行对比,错误率的结果如下表2所示:
表2不同方法在三个数据库上的分类错误率
从表2可以看出,在AID数据库上,错误率除了比采用DCA-Fusion方法稍高一点,比其它五种方法均有所降低;在UCM和Sydney数据库上,相对于其它六种方法,错误率最低,因此,采用本发明的用于遥感场景分类的多任务神经网络框架及分类方法,提高了场景分类网络的判别能力,能更好地区分相似度较高的类别。
Claims (9)
1.一种用于遥感场景分类的多任务神经网络框架,包括卷积特征提取层、分类任务全连接特征提取层、分类任务判别层以及分类任务损失层;其特征在于:
还包括辅助任务全连接特征提取层、辅助任务判别层、辅助任务损失层、分类任务特征映射层、辅助任务特征映射层以及关系学习损失层;
所述卷积特征提取层提取输入图像特征,输出卷积特征图;
所述分类任务全连接特征提取层和辅助任务全连接特征提取层分别从卷积特征图提取特征,对应输出适应于分类任务的全连接特征向量和适应于辅助任务的全连接特征向量;
所述分类任务判别层和分类任务损失层在训练阶段依次根据输入的适应于分类任务的全连接特征向量,输出分类任务损失;
所述辅助任务判别层和辅助任务损失层在训练阶段依次根据输入的适应于辅助任务的全连接特征向量,输出辅助任务损失;
所述分类任务特征映射层在训练阶段将输入的适应于分类任务的全连接特征向量降维后得到分类任务特征映射向量;所述辅助任务特征映射层在训练阶段将输入的适应于辅助任务的全连接特征向量降维后得到辅助任务特征映射向量;所述关系学习损失层在训练阶段将输入的分类任务特征映射向量与辅助任务特征映射向量作差,并将差向量的范数输出作为关系学习损失;
所述分类任务损失、辅助任务损失以及关系学习损失一起加入优化训练;
所述分类任务判别层在测试阶段根据输入的适应于分类任务的全连接特征向量,输出分类任务判别结果;
所述辅助任务判别层在测试阶段根据输入的适应于辅助任务的全连接特征向量,输出辅助任务判别结果。
2.根据权利要求1所述的用于遥感场景分类的多任务神经网络框架,其特征在于:所述适应于辅助任务的全连接特征向量中的辅助任务为属性判别任务或分割任务或显著性目标检测任务。
3.根据权利要求1或2所述的用于遥感场景分类的多任务神经网络框架,其特征在于:
所述分类任务判别层包括分类任务判别全连接层和分类任务判别激活层;所述分类任务判别全连接层以分类任务全连接特征提取层为输入;所述分类任务判别激活层以分类任务判别全连接层为输入;在训练阶段,所述分类任务判别激活层输出到分类任务损失层,在测试阶段,所述分类任务判别激活层直接输出分类任务判别结果;
所述辅助任务判别层包括辅助任务判别全连接层和辅助任务判别激活层;所述辅助任务判别全连接层以辅助任务全连接特征提取层为输入;所述辅助任务判别激活层以辅助任务判别全连接层为输入;在训练阶段,所述辅助任务判别激活层输出到辅助任务损失层,在测试阶段,所述辅助任务判别激活层直接输出辅助任务判别结果。
4.根据权利要求3所述的用于遥感场景分类的多任务神经网络框架,其特征在于:所述卷积特征提取层为AlexNet、GoogLeNet、VGGNet或ResNet。
5.一种基于权利要求1至4任一所述的用于遥感场景分类的多任务神经网络框架的分类方法,其特征在于,包括以下阶段:
训练阶段:
步骤1.1:输入待处理图像;
步骤1.2:卷积特征提取层提取输入的待处理图像的卷积特征图;
步骤1.3:采用分类任务全连接特征提取层从卷积特征图中提取适应于分类任务的全连接特征向量;采用辅助任务全连接特征提取层从卷积特征图中提取适应于辅助任务的全连接特征向量;
步骤1.4:所述适应于分类任务的全连接特征向量依次经过分类任务判别层和分类任务损失层,输出分类任务损失;
所述适应于辅助任务的全连接特征向量依次经过辅助任务判别层和辅助任务损失层,输出辅助任务损失;
所述适应于分类任务的全连接特征向量经过分类任务特征映射层降维后得到分类任务特征映射向量;所述适应于辅助任务的全连接特征向量经过辅助任务特征映射层降维后得到辅助任务特征映射向量;所述关系学习损失层将分类任务特征映射向量与辅助任务特征映射向量作差,并将差向量的范数输出作为关系学习损失;
步骤1.5:采用优化策略,对分类任务损失、辅助任务损失以及关系学习损失进行神经网络权重参数优化;
测试阶段:
步骤2.1:输入待处理图像;按步骤1.2-步骤1.3进行处理;
步骤2.2:所述适应于分类任务的全连接特征向量经过分类任务判别层,直接输出分类任务判别结果;所述适应于辅助任务的全连接特征向量经过辅助任务判别层,直接输出辅助任务判别结果。
6.根据权利要求5所述的用于遥感场景分类的分类方法,其特征在于:步骤1.3中,所述适应于辅助任务的全连接特征向量中的辅助任务为属性判别任务或分割任务或显著性目标检测任务。
7.根据权利要求5或6所述的用于遥感场景分类的分类方法,其特征在于:步骤1.5中,所述优化策略为随机梯度下降法。
8.根据权利要求7所述的用于遥感场景分类的分类方法,其特征在于:
步骤1.4中,所述分类任务判别层包括分类任务判别全连接层和分类任务判别激活层;所述分类任务判别全连接层以分类任务全连接特征提取层为输入;所述分类任务判别激活层以分类任务判别全连接层为输入;在训练阶段,所述分类任务判别激活层输出到分类任务损失层,在测试阶段,所述分类任务判别激活层直接输出分类任务判别结果;
步骤1.4中,所述辅助任务判别层包括辅助任务判别全连接层和辅助任务判别激活层;所述辅助任务判别全连接层以辅助任务全连接特征提取层为输入;所述辅助任务判别激活层以辅助任务判别全连接层为输入;在训练阶段,所述辅助任务判别激活层输出到辅助任务损失层,在测试阶段,所述辅助任务判别激活层直接输出辅助任务判别结果。
9.根据权利要求8所述的用于遥感场景分类的分类方法,其特征在于:步骤1.2中,所述卷积特征提取层为AlexNet、GoogLeNet、VGGNet或ResNet。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010070358.7A CN111291651B (zh) | 2020-01-21 | 2020-01-21 | 用于遥感场景分类的多任务神经网络框架及分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010070358.7A CN111291651B (zh) | 2020-01-21 | 2020-01-21 | 用于遥感场景分类的多任务神经网络框架及分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111291651A true CN111291651A (zh) | 2020-06-16 |
CN111291651B CN111291651B (zh) | 2023-05-05 |
Family
ID=71030008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010070358.7A Active CN111291651B (zh) | 2020-01-21 | 2020-01-21 | 用于遥感场景分类的多任务神经网络框架及分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111291651B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232297A (zh) * | 2020-11-09 | 2021-01-15 | 北京理工大学 | 基于深度联合卷积激活的遥感图像场景分类方法 |
CN112270346A (zh) * | 2020-10-20 | 2021-01-26 | 清华大学 | 基于半监督学习的物联网设备识别方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107038448A (zh) * | 2017-03-01 | 2017-08-11 | 中国科学院自动化研究所 | 目标检测模型构建方法 |
CN108764316A (zh) * | 2018-05-18 | 2018-11-06 | 河海大学 | 基于深度卷积神经网络和多核学习的遥感图像场景分类方法 |
WO2019136946A1 (zh) * | 2018-01-15 | 2019-07-18 | 中山大学 | 基于深度学习的弱监督显著性物体检测的方法及*** |
-
2020
- 2020-01-21 CN CN202010070358.7A patent/CN111291651B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107038448A (zh) * | 2017-03-01 | 2017-08-11 | 中国科学院自动化研究所 | 目标检测模型构建方法 |
WO2019136946A1 (zh) * | 2018-01-15 | 2019-07-18 | 中山大学 | 基于深度学习的弱监督显著性物体检测的方法及*** |
CN108764316A (zh) * | 2018-05-18 | 2018-11-06 | 河海大学 | 基于深度卷积神经网络和多核学习的遥感图像场景分类方法 |
Non-Patent Citations (1)
Title |
---|
高原等: "基于OctConv的DCNN在遥感图像场景分类中的应用", 《电子测量与仪器学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112270346A (zh) * | 2020-10-20 | 2021-01-26 | 清华大学 | 基于半监督学习的物联网设备识别方法及装置 |
CN112270346B (zh) * | 2020-10-20 | 2023-09-01 | 清华大学 | 基于半监督学习的物联网设备识别方法及装置 |
CN112232297A (zh) * | 2020-11-09 | 2021-01-15 | 北京理工大学 | 基于深度联合卷积激活的遥感图像场景分类方法 |
CN112232297B (zh) * | 2020-11-09 | 2023-08-22 | 北京理工大学 | 基于深度联合卷积激活的遥感图像场景分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111291651B (zh) | 2023-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108615010B (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
CN109685115B (zh) | 一种双线性特征融合的细粒度概念模型及学习方法 | |
CN109145979B (zh) | 敏感图像鉴定方法及终端*** | |
Zhou et al. | Split depth-wise separable graph-convolution network for road extraction in complex environments from high-resolution remote-sensing images | |
CN107066559B (zh) | 一种基于深度学习的三维模型检索方法 | |
CN109784197B (zh) | 基于孔洞卷积与注意力学习机制的行人再识别方法 | |
CN107239759B (zh) | 一种基于深度特征的高空间分辨率遥感图像迁移学习方法 | |
CN111723675A (zh) | 基于多重相似性度量深度学习的遥感图像场景分类方法 | |
CN110633708A (zh) | 一种基于全局模型和局部优化的深度网络显著性检测方法 | |
CN110211127B (zh) | 基于双相关性网络的图像分割方法 | |
CN110188763B (zh) | 一种基于改进图模型的图像显著性检测方法 | |
CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
Tereikovskyi et al. | The method of semantic image segmentation using neural networks | |
CN112580480B (zh) | 一种高光谱遥感影像分类方法及装置 | |
CN108710894A (zh) | 一种基于聚类代表点的主动学习标注方法和装置 | |
CN111126361B (zh) | 基于半监督学习和特征约束的sar目标鉴别方法 | |
CN110992217B (zh) | 一种外观设计专利多视图特征表示、检索的方法及装置 | |
CN112364721A (zh) | 一种道面异物检测方法 | |
CN111291651B (zh) | 用于遥感场景分类的多任务神经网络框架及分类方法 | |
CN110598746A (zh) | 一种基于ode求解器自适应的场景分类方法 | |
CN113269224A (zh) | 一种场景图像分类方法、***及存储介质 | |
CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111985332A (zh) | 一种基于深度学习的改进损失函数的步态识别方法 | |
CN111275732B (zh) | 一种基于深度卷积神经网络的前景对象图像分割方法 | |
Giraddi et al. | Flower classification using deep learning models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |