CN116052018B - 基于终身学习的遥感影像解译方法 - Google Patents

基于终身学习的遥感影像解译方法 Download PDF

Info

Publication number
CN116052018B
CN116052018B CN202310331512.5A CN202310331512A CN116052018B CN 116052018 B CN116052018 B CN 116052018B CN 202310331512 A CN202310331512 A CN 202310331512A CN 116052018 B CN116052018 B CN 116052018B
Authority
CN
China
Prior art keywords
interpretation
layer
model
remote sensing
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310331512.5A
Other languages
English (en)
Other versions
CN116052018A (zh
Inventor
张广益
陈宇
鲁***
吴皓
张玥珺
李洁
邹圣兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shuhui Spatiotemporal Information Technology Co ltd
Original Assignee
Beijing Shuhui Spatiotemporal Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shuhui Spatiotemporal Information Technology Co ltd filed Critical Beijing Shuhui Spatiotemporal Information Technology Co ltd
Priority to CN202310331512.5A priority Critical patent/CN116052018B/zh
Publication of CN116052018A publication Critical patent/CN116052018A/zh
Application granted granted Critical
Publication of CN116052018B publication Critical patent/CN116052018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于终身学习的遥感影像解译方法，涉及遥感影像处理领域，包括：S1 构建组合模型；S2 获取训练样本对组合模型进行预训练，得到第一场景分类结果；S3 获取待解译遥感影像，并进行均匀裁剪；S4 将裁剪后的待解译遥感影像依次输入组合模型，得到第二场景分类结果和解译信息；S5 计算得到场景差异值；S6 计算得到解译损失值；S7 基于场景差异值和解译损失值设置选择策略，根据选择策略对动态可扩展解译子模型进行重训练、扩展的选择，得到最终的组合模型；S8 通过最终的组合模型对新解译遥感影像进行解译。本发明实现了基于动态可扩展网络的面向遥感解译的终身学习，避免了终身学习中常见的灾难性遗忘问题。

Description

基于终身学习的遥感影像解译方法
技术领域
本发明涉及遥感影像处理领域，具体涉及一种基于终身学习的遥感影像解译方法。
背景技术
进入21世纪以来，我们通过卫星、无人机、数码相机、成像光谱仪与航天飞机等多种设备，多角度对高分辨率遥感影像进行采集，并将其应用在不同的领域中。如何快速有效的处理大量的遥感影像数据是遥感领域迫切需要解决的问题。显然，人工处理遥感影像，虽然精度高，但效率低下，且需要大量的成本去投入，这种方法是不可取的。传统遥感影像方法利用物体几何形状和空间位置等信息进行目标的特征提取，也可以通过颜色、阴影、纹理等特征信息，结合LiDAR或SAR对三维数据提取有效特征。采用以上单一的方法进行特征提取存在着一定的不足之处，比如分类效果不够明显、分类错误较多等问题，无法在可辩别性和鲁棒性之间保持一个良好的平衡点。然而，日益成熟的机器学习技术可以应用在我们生活中的多个领域，尤其是深度学习方式对网络进行训练，最终让模型对未知样本能够准确预测。遥感技术提供的大量且可靠数据，为深度学习模型发展奠定基础。而深度学习可以应用在遥感影像的分类、语义分割和检测等领域，为遥感技术更好的发展起到一定的推动作用。
目前应用于遥感影像解译的深度学习方法都面临着一个常见的问题，即面对不同的解译任务时，为了达到较高的解译精度需要构建全新的深度学习模型并进行全新的训练，这导致了工程实施上庞大的工程量和低下的模型训练效率、对于现有遥感影像数据和已构建模型的极低的有效利用率和复用率，限制了大规模的工程实施。为了解决这一问题并推动遥感影像解译的自动化发展，研究者尝试使用在线学习和持续学习的方法来对现有的模型和已经学习到的知识在新的遥感解译任务中进行复用。现有的多种持续学习方法中，最简单的方法是通过新任务提供的新训练数据来训练原网络从并实现网络微调。然而，这种简单的重训练方法会同时降低原网络对于新任务和旧任务的解译效果。如果新任务与旧任务之间的相关性很低，例如两个任务是对两种不同种类的地物，如小麦和建筑物进行分类，这时网络从旧任务学习到的特征就可能对于新任务起不到任何作用。另一个会遇到的问题是灾难性遗忘问题，原网络在学习到了新的知识后会遗忘掉之前学习到的内容，这是由以下两点所导致的：（1）因为深度学习的结构一旦确定，在训练过程中很难调整，神经网络的结构直接决定学习模型的容量。固定结构的神经网络意味着模型的容量也是有限的，在容量有限的情况下，神经网络为了学习一个新的任务，就必须擦除旧有的知识；（2）其次，深度学习的隐含层的神经元是全局的，单个神经元的细小变化能够同时影响整个网络的输出结果。另外，所有前馈网络的参数与输入的每个维度都相连，新数据很大可能改变网络中所有的参数。对于本身结构就已经固定的神经网络，参数是关于知识的唯一变化量。如果变化的参数中包含与历史知识相关性很大的参数，那么最终的效果就是，新知识覆盖了旧的知识。
对于遥感领域，如何保证在新的解译任务上取得较好的效果的同时能不降低模型在旧解译任务上原有的能力，以及如何克服灾难性遗忘问题是当前遥感终身学习技术发展中需要解决的重要问题。
发明内容
本发明提出一种基于终身学习的遥感影像解译方法，该方法通过结合遥感影像场景分类模型和动态可扩展遥感影像解译模型的组合模型实现了适应于遥感影像解译的终身学习方法。通过遥感影像场景分类来识别已知的和未知的任务，并进一步通过对解译网络的扩展和重训练来实现面对新的未知任务时模型容量的扩充以及对未知任务的学习，进而实现知识持续不断地更新。将学习到的知识充分运用于新的遥感解译任务，在不降低解译精度的同时有效避免了灾难性遗忘问题，提高了对现有模型和数据的利用率。
为实现上述技术目的，本发明的技术方案如下：
一种基于终身学习的遥感影像解译方法，该方法包括以下步骤：
S1 构建组合模型，组合模型包括动态可扩展解译子模型和场景分类子模型，场景分类子模型包括场景分类器和存储器；
S2 在样本库中获取训练样本，将裁剪后的训练样本对组合模型进行预训练，将得到的预训练结果作为第一场景分类结果并存储于存储器中；
S3 获取多幅待解译遥感影像，对待解译遥感影像进行均匀裁剪，每幅待解译遥感影像上包含已标注地物样本和未标注目标解译样本，其中，已标注地物样本包含真实标签；
S4 将裁剪后的待解译遥感影像依次输入组合模型，得到第二场景分类结果和解译信息，其中，解译信息包括已标注地物样本的解译信息和未标注目标解译样本的解译信息；
S5 将第二场景分类结果与第一场景分类结果进行计算，得到场景差异值；
S6 将已标注地物样本的解译信息与已标注地物样本的真实标签进行计算，得到解译损失值；
S7 基于场景差异值和解译损失值设置选择策略，根据选择策略对动态可扩展解译子模型进行重训练、扩展的选择，得到最终的组合模型；
S8 通过最终的组合模型对新遥感影像进行解译。
于本发明一实施例中，步骤S7中，选择策略为：
第一种：当场景差异值小于第一预设阈值，且解译损失值小于第二预设阈值时，保持动态可扩展解译子模型的当前结构，并得到最终的组合模型；
第二种：当场景差异值小于第一预设阈值，且解译损失值大于第二预设阈值时，重训练动态可扩展解译子模型，对组合模型进行更新，并转至步骤S4；
第三种：当场景差异值大于第一预设阈值，且解译损失值小于第二预设阈值时，重训练动态可扩展解译子模型，对组合模型进行更新，并转至步骤S4；
第四种：当场景差异值大于第一预设阈值，且解译损失值大于第二预设阈值时，扩展动态可扩展解译子模型，以对组合模型进行更新，并转至步骤S4。
于本发明一实施例中，动态可扩展解译子模型包括卷积神经网络和扩展器，其中卷积神经网络用于完成解译任务，扩展器用于对卷积神经网络进行扩展。
于本发明一实施例中，扩展动态可扩展解译子模型包括增加卷积神经网络的神经元，并对增加的神经元进行训练；
重训练动态可扩展解译子模型包括选择性对部分网络参数进行调整。
于本发明一实施例中，扩展动态可扩展解译子模型包括：
对每层神经网络增加预设数量的神经元；
使用组稀疏正则化去除新增的无效神经元；
对最终增加的神经元进行训练：
其中，l表示神经网络的第l层，Dt为解译数据，W为神经网络权重，L为损失函数，μ和γ为正则项参数，t为当前任务，t-1为前一次任务，g为由每个神经元的输入权值定义的一个组。
于本发明一实施例中，重训练动态可扩展解译子模型包括：
当接收到新任务t时，将一个稀疏的线性分类器安装到动态可扩展解译子模型的最后一层：
其中，l表示卷积神经网络的第l层，为第l层的网络参数，μ是正则化强度，N为网络的总层数，/>表示除了/>之外的其他网络参数；
根据建立的稀疏连接识别出与当前新任务t相关的子网络S，并对子网络S进行重训练：
。
于本发明一实施例中，步骤S5中，对第二场景分类结果与第一场景分类结果进行计算的方法为距离计算。
于本发明一实施例中，距离计算的过程为：
；
c表示第一场景分类结果，其中p(y=i|x=j)为输入的裁剪后的训练样本j属于类别i的预测概率，M为场景类别的总数量，N为训练样本被裁切后的数量；
待解译遥感影像被均匀裁剪为r块，ct表示第二场景分类结果，
D=[d1,d2,...,dr]表示第二场景分类结果与第一场景分类结果进行距离计算得到的最近距离，其中；
将D以数值降序排序，选取前K个数值，将这K个数值的中值作为场景差异值。
于本发明一实施例中，初始的动态可扩展解译子模型中卷积神经网络的结构包括：
第一层：卷积层1，输入为229×229×3的裁剪后的图像；卷积核的数量为96；卷积核的大小为13×13×3；步长为4；
第二层：池化层1，池化尺寸为3×3；步长为2；
第三层：卷积层2，输入为第二层的输出，卷积核个数为256，卷积核大小为5×5；步长为1；
第四层：池化层2，池化尺寸为3×3；步长为2；
第五层：卷积层3，输入为第四层的输出，卷积核个数为384，卷积核大小为3×3；
第六层：卷积层4，输入为第五层的输出，卷积核个数为384，卷积核大小为3×3；
第七层：卷积层5，输入为第六层的输出，卷积核个数为256，卷积核大小为3×3；
第八层：池化层3，池化尺寸为3×3；步长为2；
第九至十一层为全连接层，神经元个数分别为384、192、100。
于本发明一实施例中，场景分类器为残差网络ResNet-50。
本发明的有益效果为：通过结合场景分类子模型和动态可扩展解译子模型的组合模型实现了适应于遥感影像解译的终身学习方法。通过遥感影像场景分类来识别已知的和未知的任务，并进一步通过对解译网络的扩展和重训练来实现面对新的未知任务时模型容量的扩充以及对未知任务的学习，进而实现知识持续不断地更新。将学习到的知识充分运用于新的遥感解译任务，在不降低解译精度的同时有效避免了灾难性遗忘问题，提高了对现有模型和遥感影像数据的利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种基于终身学习的遥感影像解译方法流程示意图；
图2为组合模型对多幅待解译遥感影像解译示意图；
图3为对动态可扩展解译子模型进行重训练的示意图；
图4为对动态可扩展解译子模型进行扩展的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1是本发明所述的一种基于终身学习的遥感影像解译方法实施例的流程示意图，包括以下步骤：
S1 构建组合模型，组合模型包括动态可扩展解译子模型和场景分类子模型，场景分类子模型包括场景分类器和存储器；
S2 在样本库中获取训练样本，将裁剪后的训练样本对组合模型进行预训练，将得到的预训练结果作为第一场景分类结果并存储于存储器中；
S3 获取多幅待解译遥感影像，对待解译遥感影像进行均匀裁剪，每幅待解译遥感影像上包含已标注地物样本和未标注目标解译样本，其中，已标注地物样本包含真实标签；
S4 将裁剪后的待解译遥感影像依次输入组合模型，得到第二场景分类结果和解译信息，其中，解译信息包括已标注地物样本的解译信息和未标注目标解译样本的解译信息；
S5 将第二场景分类结果与第一场景分类结果进行计算，得到场景差异值；
S6 将已标注地物样本的解译信息与已标注地物样本的真实标签进行计算，得到解译损失值；
S7 基于场景差异值和解译损失值设置选择策略，根据选择策略对动态可扩展解译子模型进行重训练、扩展的选择，得到最终的组合模型；
S8 通过最终的组合模型对新遥感影像进行解译。
本发明的技术思路为：
1）动态可扩展解译子模型中的卷积神经网络的结构直接决定学习模型的容量，固定结构的卷积神经网络意味着模型的容量也是有限的，在容量有限的情况下，卷积神经网络为了学习一个新的任务，就必须擦除旧有的知识。本发明通过构建终身学习动态可扩展解译子模型，来实现卷积神经网络结构的动态化变化，能够根据需求对卷积神经网络的容量进行扩充，在学习新知识的时候能够保留旧有的知识。
2）为了避免灾难性遗忘，本发明在接收新任务时采用选择性重训练而不是传统的重训练。选择性重训练选择部分神经网络结构进行重训练，该部分神经网络结构与当前的待解译遥感影像直接相关，从而避免影响到与待解译遥感影像无关的神经节点；
3）在终身学习的过程中，新的待解译遥感影像与训练样本的相关性是不确定的，相关性低的时候需要使用重训练的方式来学习新的知识，但是在遇到相关性很高的任务时，现有模型能够直接胜任该任务，因而没有重训练的必要性。为了实现自动化的终身学习，本发明在对卷积神经网络进行扩展和重训练之前，先通过场景分类器获得待解译遥感影像的第二场景分类结果，并通过与存储器中存储的第一场景结果进行比较，确认待解译遥感影像的场景是否是新场景。在面对新场景时需要对模型进行重训练，而面对已知的场景时则不需要，从而有效地利用了遥感影像解译场景来避免不必要的训练和模型结构的调整。
本实施例中使用的训练样本和待解译遥感影像均为高分二号（GF-2）卫星获得的空间分辨率为4米的遥感影像，对遥感影像进行均匀裁剪，经过裁剪后得到的图像尺寸为229×229×3。
具体地，本发明的动态可扩展解译子模型包括卷积神经网络和扩展器，其中卷积神经网络用于完成解译任务，扩展器用于对卷积神经网络进行扩展。
本实施例整个组合模型的示意图如图2所示，通过结合基于ResNet-50的场景分类子模型和基于AlexNet的动态可扩展解译子模型，实现本发明的遥感解译终身学习的功能。
具体地，本实施例中使用改进的AlexNet作为动态可扩展解译子模型中的卷积神经网络，AlexNet分为上下两部分，分别利用两块GPU来提高运算效率，其有11层深度神经网络，其中包括5层卷积层、3层池化层和3层全连接层，不计激活层。
具体地，在初始的组合模型中，改进的AlexNet网络结构如下：
第一层：卷积层1，输入为229×229×3的裁剪后的图像；卷积核的数量为96；卷积核的大小为13×13×3；步长为4；
第二层：池化层1，池化尺寸为3×3；步长为2；
第三层：卷积层2，输入为第二层的输出，卷积核个数为256，卷积核大小为5×5；步长为1；
第四层：池化层2，池化尺寸为3×3；步长为2；
第五层：卷积层3，输入为第四层的输出，卷积核个数为384，卷积核大小为3×3；
第六层：卷积层4，输入为第五层的输出，卷积核个数为384，卷积核大小为3×3；
第七层：卷积层5，输入为第六层的输出，卷积核个数为256，卷积核大小为3×3；
第八层：池化层3，池化尺寸为3×3；步长为2；
第九至十一层为全连接层，神经元个数分别为384、192、100。
在利用改进的AlexNet网络结构对待解译遥感影像进行解译后，得到的解译信息包括已标注地物样本的解译信息和未标注目标解译样本的解译信息。将已标注地物样本的解译信息与已标注地物样本的真实标签进行计算，得到解译损失值。本实施例中，已标注地物样本的解译信息即已标注地物样本的解译标签，解译损失值即已标注地物样本的解译标签与真实标签的相似度。具体计算标签相似度的方法可以是余弦相似度。
本发明引入场景分类子模型的目的是为了判断待解译遥感影像的场景是否与已学习的任务场景相关。若高度相关则认为动态可扩展解译子模型已经能够胜任该类型任务，无需对该模型中的卷积神经网络进行重训练，可直接对当前任务进行解译；否则则需要对其卷积神经网络进行重新训练及扩展。
,本实施例中使用残差网络ResNet-50构建场景分类子模型中的场景分类器。在残差网络中，其通过在低层网络和高层网络之间建立跨越连接来保证低层网络向高层网络的信息流通和避免梯度弥散导致的深度网络训练收敛困难问题，含有跨越连接的ResNetBlock构成了残差网络的基本逻辑单元。残差网络通过堆叠多个ResNet Block构建深度网络。ResNet-50通过逐层特征提取得到对应的特征向量，并将特征输入到场景分类器SoftMax进行深度特征分类，得到场景类别概率分布。将训练样本的场景概率分布存储至存储器中。
对待解译遥感影像的第二场景分类结果与存储器中第一场景分类结果进行距离计算，得到场景差异值，具体方法包括，表示第一场景分类结果，
，
c表示第一场景分类结果，其中p(y=i|x=j)为输入的裁剪后的训练样本j属于类别i的预测概率，M为场景类别的总数量，N为训练样本被裁切后的数量；
待解译遥感影像被均匀裁剪为r块，ct表示第二场景分类结果，
D=[d1,d2,...,dr]表示第二场景分类结果与第一场景分类结果进行距离计算得到的最近距离，其中；
将D以数值降序排序，选取前K个数值，将这K个数值的中值作为场景差异值。
本实施例中，K可以是D中前30%的数值。
基于场景差异值和解译损失值设置选择策略，根据选择策略对动态可扩展解译子模型进行重训练、扩展的选择，得到最终的组合模型。
具体地，选择策略为：
第一种：当场景差异值小于第一预设阈值，且解译损失值小于第二预设阈值时，保持动态可扩展解译子模型的当前结构，并得到最终的组合模型；
第二种：当场景差异值小于第一预设阈值，且解译损失值大于第二预设阈值时，重训练动态可扩展解译子模型，对组合模型进行更新，并转至步骤S4；
第三种：当场景差异值大于第一预设阈值，且解译损失值小于第二预设阈值时，重训练动态可扩展解译子模型，对组合模型进行更新，并转至步骤S4；
第四种：当场景差异值大于第一预设阈值，且解译损失值大于第二预设阈值时，扩展动态可扩展解译子模型，以对组合模型进行更新，并转至步骤S4。
其中，第一预设阈值和第二预设阈值可以根据实际情况进行设置。
具体地，扩展动态可扩展解译子模型包括增加卷积神经网络的神经元，并对增加的神经元进行训练；重训练动态可扩展解译子模型包括选择性对部分网络参数进行调整。
请参阅图3，本实施例中对AlexNet进行重训练的过程如下：
（1）对于初始的训练任务，使用正则化训练卷积神经网络来增加网络的稀疏性，使得每个神经元只与部分神经元相连接：
其中，l表示神经网络的第l层，为第l层的网络参数，μ是正则化强度，N为网络的总层数；
（2）在终身学习的过程中，通过保持的稀疏性并关注于新任务相关的子网络就能够大大地减少网络的计算量。当模型接收新任务t时，先将一个稀疏的线性分类器安装到模型的最后一层：
其中表示除了/>之外的其他网络参数。通过解决该优化问题来获得N-1层的输出单元与隐藏单元之间的联系。当这层的稀疏连接被建立后，就可以在不影响其他网络结构的前提下识别出所有在训练过程中受到影响的单元和权重；
（3）根据建立的稀疏连接识别出与当前新任务t相关的子网络S，并对子网络S进行重训练：
通过l2正则化实现网络的部分重训练。这种选择性的对部分网络的重训练能够降低计算量并且避免负迁移。如图3的选择性重训练的示意图所示，图中实心节点为选择性训练的网络节点，t-1为前一次任务，t表示当前任务。
请参阅图4，对AlexNet进行扩展的方法为：先对每层神经网络增加k个的神经元，再使用组稀疏正则化去除新增的无效神经元，如图4的网络扩展的示意图所示，图中实心节点为最终增加的并进行训练的神经元，带叉的节点为去除的新增的无效神经元，t-1为前一次任务，t为当前任务：
其中，l表示神经网络的第l层，Dt为解译数据，W为神经网络权重，L为损失函数，μ和γ为正则项参数，g为由每个神经元的输入权值定义的一个组。
最后为了克服语义漂移和灾难性遗忘问题，通过l2正则化：
使Wt与Wt-1接近。当λ很小时，神经网络尽量学习新任务，当λ很大时，则尽可能保留学到的知识。通过计算神经元在任务t与(t-1)的l2距离，如果距离高于阈值，则认为该神经元特征的含义在训练过程中发生了显著变化，对应神经元进行复制和***。
通过上述方法实现的面向遥感影像解译的终身学习能够在面对新解译任务时，有效地学习到新任务中新类型的地物以及已知类型不同源地物的知识，并且不影响对旧有任务解译的效果，最大化保留所学知识。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于终身学习的遥感影像解译方法，其特征在于，包括如下步骤：
S1构建组合模型，组合模型包括动态可扩展解译子模型和场景分类子模型，场景分类子模型包括场景分类器和存储器；
S2在样本库中获取训练样本，将裁剪后的训练样本对组合模型进行预训练，将得到的预训练结果作为第一场景分类结果并存储于存储器中；
S3获取多幅待解译遥感影像，对待解译遥感影像进行均匀裁剪，每幅待解译遥感影像上包含已标注地物样本和未标注目标解译样本，其中，已标注地物样本包含真实标签；
S4将裁剪后的待解译遥感影像依次输入组合模型，得到第二场景分类结果和解译信息，其中，解译信息包括已标注地物样本的解译信息和未标注目标解译样本的解译信息；
S5将第二场景分类结果与第一场景分类结果进行计算，得到场景差异值；
S6将已标注地物样本的解译信息与已标注地物样本的真实标签进行计算，得到解译损失值；
S7基于场景差异值和解译损失值设置选择策略，根据选择策略对动态可扩展解译子模型进行重训练、扩展的选择，得到最终的组合模型；
S8通过最终的组合模型对新遥感影像进行解译；
其中，步骤S1中所述动态可扩展解译子模型包括卷积神经网络和扩展器，其中卷积神经网络用于完成解译任务，扩展器用于对卷积神经网络进行扩展；
扩展动态可扩展解译子模型包括增加卷积神经网络的神经元，并对增加的神经元进行训练；
重训练动态可扩展解译子模型包括选择性对部分网络参数进行调整；
其中，扩展动态可扩展解译子模型包括以下步骤：
对每层神经网络增加预设数量的神经元；
使用组稀疏正则化去除新增的无效神经元；
对最终增加的神经元进行训练：
其中，为卷积神经网络的第/>层，t为当前任务，t-1为前一次任务，Dt为当前任务的解译数据，L为损失函数，μ和γ为正则项参数，N为网络的总层数，g为由每个神经元的输入权值定义的一个组；
其中，重训练动态可扩展解译子模型包括以下步骤：
当接收到当前任务t时，将一个稀疏的线性分类器安装到动态可扩展解译子模型的最后一层：
其中，表示除了/>之外的其他网络参数；
根据建立的稀疏连接识别出与当前任务t的子网络S，并对子网络S进行重训练：
2.根据权利要求1所述的基于终身学习的遥感影像解译方法，其特征在于，步骤S7中，选择策略为：
第一种：当场景差异值小于第一预设阈值，且解译损失值小于第二预设阈值时，保持动态可扩展解译子模型的当前结构，并得到最终的组合模型；
第二种：当场景差异值小于第一预设阈值，且解译损失值大于第二预设阈值时，重训练动态可扩展解译子模型，对组合模型进行更新，并转至步骤S4；
第三种：当场景差异值大于第一预设阈值，且解译损失值小于第二预设阈值时，重训练动态可扩展解译子模型，对组合模型进行更新，并转至步骤S4；
第四种：当场景差异值大于第一预设阈值，且解译损失值大于第二预设阈值时，扩展动态可扩展解译子模型，以对组合模型进行更新，并转至步骤S4。
3.根据权利要求1所述的基于终身学习的遥感影像解译方法，其特征在于，步骤S5中，对第二场景分类结果与第一场景分类结果进行计算的方法为距离计算。
4.根据权利要求3所述的基于终身学习的遥感影像解译方法，其特征在于，距离计算的过程为：
c表示第一场景分类结果，其中p(y＝i|x＝j)为输入的裁剪后的训练样本j属于类别i的预测概率，M为场景类别的总数量，R为训练样本被裁切后的数量；
待解译遥感影像被均匀裁剪为r块，v表示第二场景分类结果，
D＝[d1,d2,...,dr]表示第二场景分类结果与第一场景分类结果进行距离计算得到的最近距离，其中
将D以数值降序排序，选取前K个数值，将这K个数值的中值作为场景差异值。
5.根据权利要求1所述的基于终身学习的遥感影像解译方法，其特征在于，初始的动态可扩展解译子模型中卷积神经网络的结构包括：
第一层：卷积层1，输入为229×229×3的裁剪后的图像；卷积核的数量为96；卷积核的大小为13×13×3；步长为4；
第二层：池化层1，池化尺寸为3×3；步长为2；
第三层：卷积层2，输入为第二层的输出，卷积核个数为256，卷积核大小为5×5；步长为1；
第四层：池化层2，池化尺寸为3×3；步长为2；
第五层：卷积层3，输入为第四层的输出，卷积核个数为384，卷积核大小为3×3；
第六层：卷积层4，输入为第五层的输出，卷积核个数为384，卷积核大小为3×3；
第七层：卷积层5，输入为第六层的输出，卷积核个数为256，卷积核大小为3×3；
第八层：池化层3，池化尺寸为3×3；步长为2；
第九至十一层为全连接层，神经元个数分别为384、192、100。
6.根据权利要求1所述的基于终身学习的遥感影像解译方法，其特征在于，场景分类器为残差网络ResNet-50。
CN202310331512.5A 2023-03-31 2023-03-31 基于终身学习的遥感影像解译方法 Active CN116052018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310331512.5A CN116052018B (zh) 2023-03-31 2023-03-31 基于终身学习的遥感影像解译方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310331512.5A CN116052018B (zh) 2023-03-31 2023-03-31 基于终身学习的遥感影像解译方法

Publications (2)

Publication Number Publication Date
CN116052018A CN116052018A (zh) 2023-05-02
CN116052018B true CN116052018B (zh) 2023-10-27

Family

ID=86133627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310331512.5A Active CN116052018B (zh) 2023-03-31 2023-03-31 基于终身学习的遥感影像解译方法

Country Status (1)

Country Link
CN (1) CN116052018B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2007135845A (ru) * 2007-09-28 2009-04-10 Федеральное государственное унитарное предприятие "Научно-производственное предприятие-Всероссийский научно-исследовательский инст Способ геологического дешифрирования дистанционных изображений земной поверхности
CN108229516A (zh) * 2016-12-30 2018-06-29 北京市商汤科技开发有限公司 用于解译遥感图像的卷积神经网络训练方法、装置和设备
CN110703244A (zh) * 2019-09-05 2020-01-17 中国科学院遥感与数字地球研究所 基于遥感数据识别城区内水体的方法和装置
CN112347930A (zh) * 2020-11-06 2021-02-09 天津市勘察设计院集团有限公司 基于自学习半监督深度神经网络高分影像场景分类方法
CN113392748A (zh) * 2021-06-07 2021-09-14 中国煤炭地质总局勘查研究总院 一种基于卷积神经网络的遥感影像耕地信息提取方法
CN113449640A (zh) * 2021-06-29 2021-09-28 中国地质大学（武汉） 基于多任务cnn+gcn的遥感影像建筑物语义分割边缘优化方法
LU501790B1 (en) * 2022-04-04 2022-10-04 Univ Inner Mongolia Agri A multi-source, multi-temporal and large-scale automatic remote sensing interpretation model based on surface ecological features

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2007135845A (ru) * 2007-09-28 2009-04-10 Федеральное государственное унитарное предприятие "Научно-производственное предприятие-Всероссийский научно-исследовательский инст Способ геологического дешифрирования дистанционных изображений земной поверхности
CN108229516A (zh) * 2016-12-30 2018-06-29 北京市商汤科技开发有限公司 用于解译遥感图像的卷积神经网络训练方法、装置和设备
CN110703244A (zh) * 2019-09-05 2020-01-17 中国科学院遥感与数字地球研究所 基于遥感数据识别城区内水体的方法和装置
CN112347930A (zh) * 2020-11-06 2021-02-09 天津市勘察设计院集团有限公司 基于自学习半监督深度神经网络高分影像场景分类方法
CN113392748A (zh) * 2021-06-07 2021-09-14 中国煤炭地质总局勘查研究总院 一种基于卷积神经网络的遥感影像耕地信息提取方法
CN113449640A (zh) * 2021-06-29 2021-09-28 中国地质大学（武汉） 基于多任务cnn+gcn的遥感影像建筑物语义分割边缘优化方法
LU501790B1 (en) * 2022-04-04 2022-10-04 Univ Inner Mongolia Agri A multi-source, multi-temporal and large-scale automatic remote sensing interpretation model based on surface ecological features

Also Published As

Publication number Publication date
CN116052018A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN107169956B (zh) 基于卷积神经网络的色织物疵点检测方法
CN108304795B (zh) 基于深度强化学习的人体骨架行为识别方法及装置
CN109886066B (zh) 基于多尺度和多层特征融合的快速目标检测方法
CN108021947B (zh) 一种基于视觉的分层极限学习机目标识别方法
CN105787501B (zh) 输电线路走廊区域自动选择特征的植被分类方法
CN112837315B (zh) 一种基于深度学习的输电线路绝缘子缺陷检测方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN111382686B (zh) 一种基于半监督生成对抗网络的车道线检测方法
CN115017418B (zh) 基于强化学习的遥感影像推荐***及方法
CN112232151B (zh) 一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法
CN109033107A (zh) 图像检索方法和装置、计算机设备和存储介质
CN114565860A (zh) 一种多维度增强学习合成孔径雷达图像目标检测方法
CN114973678B (zh) 一种基于图注意力神经网络和时空大数据的交通预测方法
CN113298129A (zh) 基于超像素和图卷积网络的极化sar图像分类方法
CN112949009A (zh) 基于迁移学习的主动配电网分布式状态估计方法及***
CN115393690A (zh) 一种轻量化神经网络的空对地观测多目标识别方法
CN113792631B (zh) 一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法
CN114066899A (zh) 图像分割模型训练、图像分割方法、装置、设备及介质
CN112801204B (zh) 基于自动神经网络的具有终身学习能力的高光谱分类方法
CN114241314A (zh) 一种基于CenterNet的遥感影像建筑物变化检测模型及算法
CN114187506A (zh) 视点意识的动态路由胶囊网络的遥感图像场景分类方法
CN110837787B (zh) 一种三方生成对抗网络的多光谱遥感图像检测方法及***
CN113052121A (zh) 一种基于遥感影像的多层级网络地图智能生成方法
CN116052018B (zh) 基于终身学习的遥感影像解译方法
CN112418358A (zh) 一种强化深度融合网络的车辆多属性分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant