CN111461067B - 基于先验知识映射及修正的零样本遥感影像场景识别方法 - Google Patents
基于先验知识映射及修正的零样本遥感影像场景识别方法 Download PDFInfo
- Publication number
- CN111461067B CN111461067B CN202010338879.6A CN202010338879A CN111461067B CN 111461067 B CN111461067 B CN 111461067B CN 202010338879 A CN202010338879 A CN 202010338879A CN 111461067 B CN111461067 B CN 111461067B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- mapping
- visible
- invisible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012937 correction Methods 0.000 title claims abstract description 14
- 239000013598 vector Substances 0.000 claims abstract description 48
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 6
- 230000004186 co-expression Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 description 3
- 239000013604 expression vector Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于先验知识映射及修正的零样本遥感影像场景识别方法。基于带类别标签的可见类遥感影像场景样本和可见类类别的先验知识表示向量集合,通过遥感场景类别学习和视觉特征向量与先验知识表示向量之间的跨模态学习,学习得到深度特征提取器和鲁棒的视觉特征到先验知识表示特征的映射模型。基于全体类别的类别先验知识表示向量和不可见类的遥感影像场景样本,分别通过无监督协同表示学习和无监督k近邻算法来渐进修正不可见类类别的先验知识表示向量,从而有效提高零样本遥感影像场景的分类精度。
Description
技术领域
本发明属于遥感和摄影测量技术领域,涉及一种零样本遥感影像场景分类方法,尤其是涉及一种基于先验知识映射及修正的零样本遥感影像场景识别方法。
背景技术
进入21世纪之后,遥感技术发展越发迅猛,在土地资源调查、生态环境监测、灾害分析和预测等方面发挥着重要的作用。随着遥感影像分辨率的提高,基于像素和对象的分类方法广泛受到高分辨率遥感影像“同物异谱、同谱异物”现象的影响,无法满足高效稳定遥感影像解译的需求。基于这一考虑,遥感影像场景分类受到国内外研究学者的广泛关注。遥感影像场景分类旨在通过挖掘遥感影像场景(影像块)内的视觉基元及视觉基元间的空间关系来预测影像块的语义类别,可以极大程度上降低像素级或对象级地物解译的混淆度,从而提高高分辨率遥感影像解译的稳定性及准确度,在基于内容的遥感影像检索和遥感影像目标检测等方面都有重要应用。
随着遥感影像场景数据集的不断开放,多领域研究人员提出了大量基于人工特征或深度学习的遥感影像场景分类方法。但是已有遥感影像场景分类方法大都依赖全部类别的遥感影像样本来学习分类模型。随着遥感大数据时代的来临,遥感地物类别呈现***式增长趋势,因此为所有类别都搜集充足的遥感影像样本是不现实的。如何将遥感领域的先验知识引入遥感影像场景理解过程,仅通过学习含有遥感影像的部分类别,就可以识别在训练阶段从未出现类别的遥感影像场景,在遥感大数据时代具有重要现实意义。因此,近年来零样本学习(Zero-shot learning)的发展为遥感影像场景分类提供了新的思路。零样本学习旨在模拟人类学习的过程,通过可见类(seen)样本学习,以类别先验知识(例如类别的属性向量,类别的自然语言语义向量)的辅助来推理识别不可见类(unseen)中的样本。目前,零样本学习主要集中于计算机视觉领域,其在遥感影像场景分类中的研究还很少,需要大量研究工作来推进零样本遥感影像场景分类技术的发展。
发明内容
本发明立足于底层遥感影像场景样本与高层先验知识表示之间的模态跨度大、可见类类别先验知识空间与不可见类类别先验知识空间的漂移问题、遥感影像场景映射产生的不可见类先验知识表示空间与基于可见类类别先验知识空间修正后不可见类语义空间的偏移问题,提出了一种基于先验知识映射及修正的零样本遥感影像场景识别方法。基于带类别标签的可见类遥感影像场景样本和可见类类别的先验知识表示向量集合,通过遥感场景类别学习和视觉特征向量与先验知识表示向量之间的跨模态学习,学习得到深度特征提取器和鲁棒的视觉特征到先验知识表示特征的映射模型。基于全体类别的类别先验知识表示向量和不可见类的遥感影像场景样本,分别通过无监督协同表示学习和无监督k近邻算法来渐进修正不可见类类别的先验知识表示向量,从而有效提高零样本遥感影像场景的分类精度。
本发明所采用的技术方案是:一种基于先验知识映射及修正的零样本遥感影像场景识别方法,包括以下步骤:
训练阶段:
步骤2:输入原始遥感影像场景数据集D={(xi,yi):i=1,...,M},
其中D为可见类数据集,xi表示可见类中的第i张遥感影像场景,yi表示可见类中第i张影像的类别标签,M为可见类遥感数据的样本总数;DU为不可见类数据集,表示不可见类中的第k张遥感影像场景,表示不可见类中第k张影像的类别标签,N为不可见类数据的样本总数;
利用深度卷积网络提取可见类数据集的图像特征F和不可见类数据集的图像特征FU;
步骤3:基于视觉特征自编码约束的鲁棒跨模态映射目标函数,求出F到S的映射矩阵W,至此,完成深度跨模态映射的学习;
测试阶段:
进一步的,步骤2中令T表示深度卷积网络的卷积层超参数,V为最后一个全连接层特征与分类层的映射超参数;通过微调深度卷积网络学习卷积层超参数T和全连接层映射超参数V,利用卷积层超参数T,提取可见类数据集的图像特征微调深度网络过程仅使用可见类数据;其中,fi=Q(xi;T),Q(.;.)表示深度卷积网络的非线性映射,基于遥感影像场景数据集的深度卷积网络优化损失函数如式壹,其中,ci=σ(fi*V),σ(.)表示Softmax映射,
其中,M为可见类遥感数据的样本总数,p表示可见类的类别数。
进一步的,步骤3中的映射矩阵W通过自编码器得到,目标函数如下:
进一步的,步骤4中无监督协同表示学习中的协同表示系数ρ的目标函数为:
其中,β为正则化常数,上式的闭式解为:
进一步的,步骤8中不可见类测试遥感影像场景的标签按照下式计算:
本发明具有如下优点:本发明着眼于遥感场景零样本分类任务中先验知识的映射学习和基准修正问题。基于可见类的类别先验知识表示向量和遥感影像场景样本,联合场景类别分类和自编码跨模态映射的多任务学习来实现遥感影像场景的视觉空间到类别先验知识表示空间的深度跨模态映射。针对可见类先验知识表示空间与不可见类先验知识表示空间的偏移问题和自编码跨模态映射模型映射后不可见类先验知识表示空间与协同表示后不可见类先验知识表示空间的偏移问题,本发明基于全体类别的类别先验知识表示向量和不可见类遥感影像样本,分别通过无监督协同表示学习和无监督k近邻算法来修正不可见类类别的先验知识表示向量,实现稳定的不可见类遥感影像场景识别任务。
附图说明
图1:为本发明实施例的总体流程图;
图2:为本发明实施例的数据集所含样本示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
见图1,本发明提供的一种基于先验知识映射及修正的零样本遥感影像场景识别方法,包括以下步骤:
步骤2:输入原始遥感影像场景数据集D={(xi,yi):i=1,...,M},
令T表示深度卷积网络Resnet-50的卷积层超参数,V为最后一个全连接层特征f与分类层y的映射超参数。通过微调深度卷积网络学习卷积层超参数T和全连接层映射超参数V。基于遥感影像场景数据集的网络优化损失函数如式壹,其中,ci=σ(fi*V),σ(.)表示Softmax映射,fi=Q(xi;T),Q(.;.)表示深度卷积网络的非线性映射。
通过微调深度卷积网络学习卷积层超参数T和全连接层映射超参数V。利用参数T,提取可见类数据集的图像特征提取可见类数据集的图像特征D为可见类数据集,xi表示可见类中的第i张遥感影像场景,yi表示可见类中第i张影像的类别标签,M为可见类遥感数据的样本总数;DU为不可见类数据集,表示不可见类中的第i张遥感影像场景,表示不可见类中第i张影像的类别标签,N为不可见类数据的样本总数;
步骤3:求出F到S的映射矩阵W。映射矩阵W通过自编码器得到,目标函数如下:
其中,α是自编码的正则化系数,通过实验分析其最佳取值为0.001。
其中,β为正则化常数。上式的闭式解为:
为了验证本发明公开技术的有效性,我们整合多个已有公开的遥感影像场景数据集,组建了一个具有更多场景类别的遥感影像场景数据集。基于自然语言模型Word2vec和Bert,我们为新组建遥感场景数据集的每个类别创建了两种类型的类别先验知识表示向量。基于两种不同的类别先验知识表示方法,实验结果表明本发明公开的算法在多种不同的可见类与不可见类的划分情况下都可以获得理想的分类精度。
该描述方法已经在通过整合公开数据集获得的新数据集上进行了评估测试,可以反映该方法的有效性。具体的,公开评估数据集如图2所示,该数据集包含70类场景类别,每类包含800张影像。表1给出了可见类和不可见类在不同划分方式下,使用Word2vec和Bert两种先验知识表示向量测试的结果。
表1.可见类与不可见类以不同比例划分在Word2vec和Bert两种先验知识表示向量下方法在测试数据集上的总体精确度
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (7)
1.一种基于先验知识映射及修正的零样本遥感影像场景识别方法,其特征在于,包括以下步骤:
训练阶段:
步骤2:输入原始遥感影像场景数据集D={(xi,yi):i=1,…,M},其中D为可见类数据集,xi表示可见类中的第i张遥感影像场景,yi表示可见类中第i张影像的类别标签,M为可见类遥感数据的样本总数;DU为不可见类数据集,表示不可见类中的第k张遥感影像场景,表示不可见类中第k张影像的类别标签,N为不可见类数据的样本总数;
利用深度卷积网络提取可见类数据集的图像特征F和不可见类数据集的图像特征FU;
步骤3:基于视觉特征自编码约束的鲁棒跨模态映射目标函数,求出F到S的映射矩阵W,至此,完成深度跨模态映射的学习;
测试阶段:
2.根据权利要求1所述的基于先验知识映射及修正的零样本遥感影像场景识别方法,其特征在于:步骤2中令T表示深度卷积网络的卷积层超参数,V为最后一个全连接层特征与分类层的映射超参数;通过微调深度卷积网络学习卷积层超参数T和全连接层映射超参数V,利用卷积层超参数T,提取可见类数据集的图像特征微调深度网络过程仅使用可见类数据;其中,fi=Q(xi;T),Q(.;.)表示深度卷积网络的非线性映射,基于遥感影像场景数据集的深度卷积网络优化损失函数如式壹,其中,ci=σ(fi*V),σ(.)表示Softmax映射,
其中,xi表示可见类中的第i张遥感影像场景,yi表示可见类中第i张影像的类别标签,df代表特征的维度,M为可见类遥感数据的样本总数,p表示可见类的类别数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010338879.6A CN111461067B (zh) | 2020-04-26 | 2020-04-26 | 基于先验知识映射及修正的零样本遥感影像场景识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010338879.6A CN111461067B (zh) | 2020-04-26 | 2020-04-26 | 基于先验知识映射及修正的零样本遥感影像场景识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111461067A CN111461067A (zh) | 2020-07-28 |
CN111461067B true CN111461067B (zh) | 2022-06-14 |
Family
ID=71686040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010338879.6A Active CN111461067B (zh) | 2020-04-26 | 2020-04-26 | 基于先验知识映射及修正的零样本遥感影像场景识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111461067B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070023B (zh) * | 2020-09-09 | 2022-08-16 | 郑州轻工业大学 | 一种邻域先验嵌入型协同表示模式识别方法 |
CN115100532B (zh) * | 2022-08-02 | 2023-04-07 | 北京卫星信息工程研究所 | 小样本遥感图像目标检测方法和*** |
CN115018472B (zh) * | 2022-08-03 | 2022-11-11 | 中国电子科技集团公司第五十四研究所 | 一种基于可解释机制的交互式增量化情报分析*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102054274A (zh) * | 2010-12-01 | 2011-05-11 | 南京大学 | 一种海岸带水体遥感信息全自动提取方法 |
CN109558890A (zh) * | 2018-09-30 | 2019-04-02 | 天津大学 | 基于自适应权重哈希循环对抗网络的零样本图像分类方法 |
CN110334781A (zh) * | 2019-06-10 | 2019-10-15 | 大连理工大学 | 一种基于Res-Gan的零样本学习算法 |
CN110728187A (zh) * | 2019-09-09 | 2020-01-24 | 武汉大学 | 一种基于容错性深度学习的遥感影像场景分类方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150310862A1 (en) * | 2014-04-24 | 2015-10-29 | Microsoft Corporation | Deep learning for semantic parsing including semantic utterance classification |
-
2020
- 2020-04-26 CN CN202010338879.6A patent/CN111461067B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102054274A (zh) * | 2010-12-01 | 2011-05-11 | 南京大学 | 一种海岸带水体遥感信息全自动提取方法 |
CN109558890A (zh) * | 2018-09-30 | 2019-04-02 | 天津大学 | 基于自适应权重哈希循环对抗网络的零样本图像分类方法 |
CN110334781A (zh) * | 2019-06-10 | 2019-10-15 | 大连理工大学 | 一种基于Res-Gan的零样本学习算法 |
CN110728187A (zh) * | 2019-09-09 | 2020-01-24 | 武汉大学 | 一种基于容错性深度学习的遥感影像场景分类方法 |
Non-Patent Citations (2)
Title |
---|
Zero-Shot Scene Classification for High Spatial Resolution Remote Sensing Images;Aoxue Li 等;《IEEE Transactions on Geoscience and Remote Sensing》;20170731;全文 * |
结合深度学习和半监督学习的遥感影像分类进展;谭琨 等;《中国图象图形学报》;20191130;第24卷(第11期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111461067A (zh) | 2020-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111461067B (zh) | 基于先验知识映射及修正的零样本遥感影像场景识别方法 | |
CN110516095B (zh) | 基于语义迁移的弱监督深度哈希社交图像检索方法和*** | |
CN109871875B (zh) | 一种基于深度学习的建筑物变化检测方法 | |
CN112232371B (zh) | 一种基于YOLOv3与文本识别的美式车牌识别方法 | |
WO2024087639A1 (zh) | 基于内容理解的遥感影像推荐方法 | |
CN113223042B (zh) | 一种遥感影像深度学习样本智能采集方法及设备 | |
CN112149758B (zh) | 一种基于欧式距离和深度学习的高光谱开放集分类方法 | |
CN108805102A (zh) | 一种基于深度学习的视频字幕检测与识别方法及*** | |
CN117572457B (zh) | 一种基于伪标签学习的跨场景多光谱点云分类方法 | |
CN110929746A (zh) | 一种基于深度神经网络的电子卷宗标题定位提取与分类方法 | |
CN115471739A (zh) | 基于自监督对比学习的跨域遥感场景分类与检索方法 | |
CN115496950A (zh) | 邻域信息嵌入的半监督判别字典对学习的图像分类方法 | |
CN115393666A (zh) | 图像分类中基于原型补全的小样本扩充方法及*** | |
CN113988147A (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
CN115546553A (zh) | 一种基于动态特征抽取和属性修正的零样本分类方法 | |
CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
CN115511214A (zh) | 基于多尺度样本不均的矿产预测方法及*** | |
CN114579794A (zh) | 特征一致性建议的多尺度融合地标图像检索方法及*** | |
CN110119693A (zh) | 一种基于改进vgg-16模型的英文笔迹鉴别方法 | |
CN111783526B (zh) | 一种利用姿势不变和图结构对齐的跨域行人重识别方法 | |
CN114511787A (zh) | 一种基于神经网络的遥感图像地物信息生成方法及其*** | |
CN117315556A (zh) | 改进的Vision Transformer昆虫细粒度识别方法 | |
CN115497006B (zh) | 基于动态混合策略的城区遥感图像变化深度监测方法及*** | |
CN111652265A (zh) | 一种基于自调整图的鲁棒半监督稀疏特征选择方法 | |
CN111401519B (zh) | 一种基于物体内和物体间相似性距离的深层神经网络无监督学习方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |