CN114882252A - 半监督遥感影像变化检测方法、装置和计算机设备 - Google Patents

半监督遥感影像变化检测方法、装置和计算机设备 Download PDF

Info

Publication number
CN114882252A
CN114882252A CN202210550967.1A CN202210550967A CN114882252A CN 114882252 A CN114882252 A CN 114882252A CN 202210550967 A CN202210550967 A CN 202210550967A CN 114882252 A CN114882252 A CN 114882252A
Authority
CN
China
Prior art keywords
remote sensing
change detection
sensing image
detection result
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210550967.1A
Other languages
English (en)
Other versions
CN114882252B (zh
Inventor
陈浩
孙承哲
彭双
伍江江
杜春
熊伟
李军
杨岸然
景宁
陈荦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210550967.1A priority Critical patent/CN114882252B/zh
Priority claimed from CN202210550967.1A external-priority patent/CN114882252B/zh
Publication of CN114882252A publication Critical patent/CN114882252A/zh
Application granted granted Critical
Publication of CN114882252B publication Critical patent/CN114882252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种半监督遥感影像变化检测方法、装置和计算机设备。所述方法包括：输入有标签遥感影像对、真实标签和无标签遥感影像对；根据有标签遥感影像对和真实标签计算得到监督损失；根据无标签遥感影像对计算得到无监督损失；根据监督损失和无监督损失加权计算得到总损失，将总损失最小作为目标函数，利用优化器训练变化检测模型得到半监督遥感影像变化检测模型。采用本方法能够有效地利用少量有标签遥感影像对和大量无标签遥感影像对提高遥感影像的变化检测精度，克服了标签数据不足的问题，释放了遥感大数据的潜力。

Description

半监督遥感影像变化检测方法、装置和计算机设备
技术领域
本申请涉及遥感影像处理技术领域，特别是涉及一种半监督遥感影像变化检测方法、装置和计算机设备。
背景技术
遥感影像变化检测(Change Detection,CD)任务旨在识别在不同时间获取的相同地区的遥感影像发生的变化。这里的变化一般指语义变化。多年以来，遥感影像变化检测一直都是遥感领域的研究热点之一。随着遥感影像的数量不断增长和拍摄精度的提升，以及深度学习技术的发展，利用遥感影像变化检测技术可以迅速获取我们所关注的区域的变化信息，包括自然地物的变化和人工建筑的变化，为政府、公司和组织的决策提供有力支持。迄今为止，遥感影像变化检测技术已经在生态***监测、土地资源和土地利用制图、损害评估、城市扩张监测等领域得到广泛应用。目前主流的CD算法是基于全监督深度学习方法，大多以卷积神经网络(Convolutional Network,CNN)为基础。其中以基于全卷积网络的UNet最受欢迎，成为了CD任务的标准CNN体系结构之一，取得了令人满意的效果。
然而，使用基于全监督学习的遥感影像变化算法要求具有大量的标签双时相遥感影像对进行神经网络训练，标注这些标签需要耗费大量的人工和时间成本。如果使用无监督学习的方法训练模型，由于缺乏标签数据的引导，模型的变化检测精度往往较低，不足以支撑实际的变化检测应用。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决遥感影像变化检测标签匮乏、标注标签需要耗费大量人工和时间成本的问题的半监督遥感影像变化检测方法、装置和计算机设备。
一种半监督遥感影像变化检测方法，所述方法包括：
输入有标签遥感影像对、真实标签和无标签遥感影像对，真实标签为有标签遥感影像对大小匹配的变化灰度图像；
将有标签遥感影像对进行弱增强处理得到弱增强有标签遥感影像对，将弱增强有标签遥感影像对输入到变化检测模型中，得到第一变化检测结果，根据第一变化检测结果和真实标签进行计算得到监督损失；
将无标签遥感影像对进行弱增强处理得到弱增强无标签遥感影像对，将弱增强无标签遥感影像对进行强增强处理得到畸变图像，将畸变图像输入到变化检测模型中，得到第二变化检测结果；
将弱增强无标签遥感影像对输入到变化检测模型中，得到第三变化检测结果，将第三变化检测结果进行强增强处理并进行置信度阈值过滤器过滤得到伪标签，根据第二变化检测结果和伪标签计算得到无监督损失；
根据监督损失和无监督损失加权计算得到总损失，将总损失最小作为目标函数，利用优化器训练变化检测模型得到半监督遥感影像变化检测模型。
在其中一个实施例中，输入有标签遥感影像对、真实标签和无标签遥感影像对还包括：
输入有标签遥感影像对，其中，同一对有标签遥感影像由同一区域不同时相的两张有标签遥感影像组成，不同对有标签遥感影像由不同区域不同时相的两张由有标签遥感图像组成；
输入真实标签，真实标签为有标签遥感影像对大小匹配的变化灰度图像；
输入无标签遥感影像对，其中，同一对无标签遥感影像由同一区域不同时相的两张无标签遥感影像组成，不同对无标签遥感影像由不同区域不同时相的两张无标签遥感图像组成。
在其中一个实施例中，将有标签遥感影像对进行弱增强处理得到弱增强有标签遥感影像对还包括：
将有标签遥感影像对进行预设幅度的平移和/或翻转得到弱增强有标签遥感影像对，其中，将同一对有标签遥感影像进行相同预设幅度的平移和/或翻转得到同一对弱增强有标签遥感影像，将不同对有标签遥感影像进行随机预设幅度的平移和/或翻转得到不同对弱增强有标签遥感影像；
将无标签遥感影像对进行弱增强处理得到弱增强无标签遥感影像对，包括：
将无标签遥感影像对进行预设幅度的平移和/或翻转得到弱增强无标签遥感影像对，其中，将同一对无标签遥感影像进行相同预设幅度的平移和/或翻转得到同一对弱增强无标签遥感影像，将不同对无标签遥感影像进行随机预设幅度的平移和/或翻转得到不同对弱增强无标签遥感影像。
在其中一个实施例中，变化检测模型由暹罗编码器和解码器组成，其中，编码器还包括图注意力模块：
暹罗编码器通过共享权重和参数对图像进行下采样处理，提取图像的图像特征，将图像特征作为节点，利用图注意力模块融合节点的邻居节点对应的图像特征得到节点的图像融合特征值，将图像融合特征值输入注意力单元，得到融入注意力机制的注意力特征，解码器通过提取注意力特征得到变化检测结果，其中，图像包括弱增强有标签遥感影像对、畸变图像和弱增强无标签遥感影像对，变化检测结果包括第一变化检测结果、第二变化检测结果和第三变化检测结果。
在其中一个实施例中，根据第一变化检测结果和真实标签进行计算得到监督损失还包括：根据交叉熵损失函数和骰子损失函数对第一变化检测结果和真实标签进行计算，得到监督损失。
在其中一个实施例中，将弱增强无标签遥感影像对进行强增强处理得到畸变图像还包括：将弱增强无标签遥感影像对进行预设强度和预设组合的颜色增强和/或形状增强得到畸变图像，其中，将同一对弱增强无标签遥感影像进行颜色增强和/或形状增强的预设强度和预设组合相同，将不同对弱增强无标签遥感影像进行颜色增强和/或形状增强的预设强度和预设组合随机；
在其中一个实施例中，将第三变化检测结果进行强增强处理并进行置信度阈值过滤器过滤得到伪标签还包括：
将第三变化检测结果进行预设强度和预设组合的颜色增强和/或形状增强得到强增强第三变化检测结果；
将强增强第三变化检测结果输入置信度阈值过滤器，设定置信度阈值过滤器的置信度阈值，剔除小于置信度阈值的强增强第三变化检测结果的像素预测值，保留大于置信度阈值的强增强第三变化检测结果的像素预测值，得到伪标签。
在其中一个实施例中，根据第二变化检测结果和伪标签计算得到无监督损失还包括：根据交叉熵损失函数和骰子损失函数对第二变化检测结果和伪标签进行计算，得到无监督损失。
一种半监督遥感影像变化检测装置，所述装置包括：
图像输入模块，用于输入有标签遥感影像对、真实标签和无标签遥感影像对，真实标签为有标签遥感影像对大小匹配的变化灰度图像；
监督损失计算模块，用于将有标签遥感影像对进行弱增强处理得到弱增强有标签遥感影像对，将弱增强有标签遥感影像对输入到变化检测模型中，得到第一变化检测结果，根据第一变化检测结果和真实标签进行计算得到监督损失；
无监督损失计算模块，用于将无标签遥感影像对进行弱增强处理得到弱增强无标签遥感影像对，将弱增强无标签遥感影像对进行强增强处理得到畸变图像，将畸变图像输入到变化检测模型中，得到第二变化检测结果；将弱增强无标签遥感影像对输入到变化检测模型中，得到第三变化检测结果，将第三变化检测结果进行强增强处理并进行置信度阈值过滤器过滤得到伪标签，根据第二变化检测结果和伪标签计算得到无监督损失；
模型训练模块，用于根据监督损失和无监督损失加权计算得到总损失，将总损失最小作为目标函数，利用优化器训练变化检测模型得到半监督遥感影像变化检测模型。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
输入有标签遥感影像对、真实标签和无标签遥感影像对，真实标签为有标签遥感影像对大小匹配的变化灰度图像；
将有标签遥感影像对进行弱增强处理得到弱增强有标签遥感影像对，将弱增强有标签遥感影像对输入到变化检测模型中，得到第一变化检测结果，根据第一变化检测结果和真实标签进行计算得到监督损失；
将无标签遥感影像对进行弱增强处理得到弱增强无标签遥感影像对，将弱增强无标签遥感影像对进行强增强处理得到畸变图像，将畸变图像输入到变化检测模型中，得到第二变化检测结果；
将弱增强无标签遥感影像对输入到变化检测模型中，得到第三变化检测结果，将第三变化检测结果进行强增强处理并进行置信度阈值过滤器过滤得到伪标签，根据第二变化检测结果和伪标签计算得到无监督损失；
根据监督损失和无监督损失加权计算得到总损失，将总损失最小作为目标函数，利用优化器训练变化检测模型得到半监督遥感影像变化检测模型。
上述半监督遥感影像变化检测方法、装置和计算机设备，通过使用少量有标签遥感影像对和大量无标签遥感影像对来训练遥感影像变化检测模型，克服了标签数据不足的问题，同时也解决了标注标签需要耗费大量人工和时间成本的问题；通过训练遥感影像变化检测模型忽略图像强增强处理后产生的畸变变化而专注于图像对象的变化，从而提高遥感影像变化检测模型的语义理解能力；通过减小总损失实现对遥感影像变化检测模型的优化，得到半监督遥感影像变化检测模型，从而提高模型的鲁棒性和泛化性，也提高了遥感影像的变化检测精度。与现有技术相比，本发明提出的半监督遥感影像变化检测方法、装置和计算机设备有效地利用少量有标签遥感影像对和大量无标签遥感影像对提高遥感影像的变化检测精度，克服了标签数据不足的问题，释放了遥感大数据的潜力。
附图说明
图1为一个实施例中半监督遥感影像变化检测方法的流程示意图；
图2为是一个实施例中利用半监督遥感影像变化检测方法进行卫星影像变化检测的流程示意图；
图3为一个实施例中变化检测模型进行图像变化检测的流程示意图；
图4为一个实施例中强增强方法的视觉展示图；
图5为一个实施例中随机组合的强增强方法的视觉展示图；
图6为一个实施例中置信度阈值过滤器过滤的视觉展示图；
图7为一个实施例中将待检测遥感影像对输入半监督遥感影像变化检测模型进行变化检测的测试结果图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种半监督遥感影像变化检测方法，包括以下步骤：
步骤S1，输入有标签遥感影像对、真实标签和无标签遥感影像对，真实标签为有标签遥感影像对大小匹配的变化灰度图像。
可以理解，输入的少量(如几十张)有标签遥感影像对和真实标签能够训练变化检测模型，引导变化检测模型理解任务，同时也可以减少标签的制作人工和时间成本，而输入的庞大的无标签遥感影像对能够有效防止变化检测模型在少量有标签遥感影像对上进行过拟合，从而提高变化检测模型的鲁棒性和泛化性。
步骤S2，将有标签遥感影像对进行弱增强处理得到弱增强有标签遥感影像对，将弱增强有标签遥感影像对输入到变化检测模型中，得到第一变化检测结果，根据第一变化检测结果和真实标签进行计算得到监督损失。
可以理解，弱增强处理是指对遥感影像进行干扰较弱的图像增强方法，包括平移和翻转。
可以理解，变化检测模型旨在识别相同区域不同时相获取的遥感影像发生的语义变化得到变化检测结果，其中，变化检测结果为遥感影像对大小匹配的变化灰度图像。
可以理解，根据遥感影像变化检测中未变化像素数远大于变化像素数的特点，可以根据交叉熵损失函数和骰子损失函数对第一变化检测结果和真实标签进行计算，得到监督损失。
步骤S3，将无标签遥感影像对进行弱增强处理得到弱增强无标签遥感影像对，将弱增强无标签遥感影像对进行强增强处理得到畸变图像，将畸变图像输入到变化检测模型中，得到第二变化检测结果。
可以理解，强增强处理是相对弱增强处理而言的，是指能够使遥感影像产生巨大畸变的增强，由3至4种颜色增强和/或形状增强方法组成。
步骤S4，将弱增强无标签遥感影像对输入到变化检测模型中，得到第三变化检测结果，将第三变化检测结果进行强增强处理并进行置信度阈值过滤器过滤得到伪标签，根据第二变化检测结果和伪标签计算得到无监督损失。
可以理解，对于同一对无标签遥感影像对，步骤S4中将第三变化检测结果进行强增强处理并进行置信度阈值过滤器过滤得到伪标签与步骤S3中将弱增强无标签遥感影像对进行强增强处理得到畸变图像，两次强增强处理的预设组合和预设强度一致，从而保证伪标签与第三变化检测结果的像素一一对应；否则，两次强增强处理的预设组合和预设强度随机，伪标签与第三变化检测结果的像素不对应。
可以理解，将第三变化检测结果进行先强增强处理得到强增强第三变化检测结果，再将强增强第三变化检测结果输入置信度阈值过滤器进行过滤，保留大于置信度阈值的强增强第三变化检测结果的像素预测值，并将大于置信度阈值的强增强第三变化检测结果的像素预测值作为伪标签，根据遥感影像变化检测中未变化像素数远大于变化像素数的特点，可以根据交叉熵损失函数和骰子损失函数对第二变化检测结果和伪标签进行计算，得到无监督损失。
步骤S5,根据监督损失和无监督损失加权计算得到总损失，将总损失最小作为目标函数，利用优化器训练变化检测模型得到半监督遥感影像变化检测模型。
可以理解，根据监督损失和无监督损失加权计算得到总损失，将总损失最小作为目标函数，利用优化器的AdamW优化算法对变化检测模型中的参数不断进行优化，当总损失不再下降时，将此时的变化检测模型中的参数保存为最终参数，得到半监督遥感影像变化检测模型。
上述半监督遥感影像变化检测方法，通过使用少量有标签遥感影像对和大量无标签遥感影像对来训练遥感影像变化检测模型，克服了标签数据不足的问题，同时也解决了标注标签需要耗费大量人工和时间成本的问题；通过训练遥感影像变化检测模型忽略图像强增强处理后产生的畸变变化而专注于图像对象的变化，从而提高遥感影像变化检测模型的语义理解能力；通过减小总损失实现对遥感影像变化检测模型的优化，得到半监督遥感影像变化检测模型，从而提高模型的鲁棒性和泛化性，也提高了遥感影像的变化检测精度。与现有技术相比，本发明提出的半监督遥感影像变化检测方法有效地利用少量有标签遥感影像对和大量无标签遥感影像对提高遥感影像的变化检测精度，克服了标签数据不足的问题，释放了遥感大数据的潜力。
在其中一个实施例中，如图2所示，输入有标签遥感影像对Xl，其中，同一对有标签遥感影像由同一区域不同时相的两张有标签遥感影像组成，不同对有标签遥感影像由不同区域不同时相的两张由有标签遥感图像组成；
输入真实标签Yl，真实标签为有标签遥感影像对Xl大小匹配的变化灰度图像；
输入无标签遥感影像对Xu，其中，同一对无标签遥感影像由同一区域不同时相的两张无标签遥感影像组成，不同对无标签遥感影像由不同区域不同时相的两张无标签遥感图像组成。
可以理解，通过输入的少量(如几十张)有标签遥感影像对和真实标签能够训练变化检测模型，引导变化检测模型理解任务，同时也可以减少标签的制作人工和时间成本，而输入的庞大的无标签遥感影像对能够有效防止变化检测模型在少量有标签遥感影像对上进行过拟合，从而提高变化检测模型的鲁棒性和泛化性。
在其中一个实施例中，将有标签遥感影像对Xl进行预设幅度的平移和/或翻转得到弱增强有标签遥感影像对Xlw，其中，将同一对有标签遥感影像进行相同预设幅度的平移和/或翻转得到同一对弱增强有标签遥感影像，将不同对有标签遥感影像进行随机预设幅度的平移和/或翻转得到不同对弱增强有标签遥感影像，从而确保同一对弱增强有标签遥感影像中同一像素对应的位置一致；
将无标签遥感影像对Xu进行预设幅度的平移和/或翻转得到弱增强无标签遥感影像对Xw，其中，将同一对无标签遥感影像进行相同预设幅度的平移和/或翻转得到同一对弱增强无标签遥感影像，将不同对无标签遥感影像进行随机预设幅度的平移和/或翻转得到不同对弱增强无标签遥感影像，从而确保同一对弱增强无标签遥感影像中同一像素对应的位置一致。
在其中一个实施例中，如图3所示，变化检测模型由暹罗编码器和解码器组成，其中，编码器还包括由一个多头图注意力层和一个简单图注意力层组成图注意力模块；
暹罗编码器通过共享权重和参数对图像进行下采样处理，提取图像的图像特征为
Figure BDA0003655029940000091
N为暹罗编码器提取到的图像特征个数，将图像特征
Figure BDA0003655029940000092
作为节点，利用图注意力模块融合节点的邻居节点对应的图像特征得到节点的图像融合特征值
Figure BDA0003655029940000093
具体地，将一个图像特征
Figure BDA0003655029940000094
作为图的节点i，利用图注意力模块融合节点i的邻居节点j对应的图像特征
Figure BDA0003655029940000095
得到节点i的图像融合特征值
Figure BDA0003655029940000096
表示为
Figure BDA0003655029940000097
其中，W表示权重系数，Ni表示节点个数，aij表示注意力系数，表示为
Figure BDA0003655029940000098
Figure BDA0003655029940000099
其中，eij表示邻居节点j对节点i的重要性，k表示另一个邻居节点，eik表示邻居节点k对节点i的重要性，aT表示权重向量的逆向量，||表示拼接操作；
图注意力模块中的多头图注意力层使用N组共享权重和参数的相互独立的注意力层，将每个注意力层输出的节点i的图像融合特征值
Figure BDA00036550299400000910
进行拼接，得到节点i最终的图像融合特征值
Figure BDA0003655029940000101
为
Figure BDA0003655029940000102
其中，
Figure BDA0003655029940000103
表示第n组注意力层对应的注意力系数，Wn表示第n组注意力层对应的权重系数；
将所有节点的最终图像融合特征值输入注意力单元进行卷积得到融入注意力机制的注意力特征，解码器通过提取注意力特征得到变化检测结果，其中，图像包括弱增强有标签遥感影像对Xlw、畸变图像Xs和弱增强无标签遥感影像对Xw，变化检测结果包括第一变化检测结果
Figure BDA0003655029940000104
第二变化检测结果
Figure BDA0003655029940000105
和第三变化检测结果
Figure BDA0003655029940000106
可以理解，变化检测模型通过暹罗编码器下样得到图像特征，通过解码器上采样对图像特征进行重构得到图像的变化检测结果，暹罗编码器与解码器之间通过跳连接的方式进行连接，能更好地整合图像深层语义信息和浅层空间信息，其中暹罗编码器中的图注意力模块通过融入注意力机制对邻居节点对应的图像特征进行融合，实现了对不同邻居的权值自适应匹配，从而提高了变化检测模型的准确率。
在其中一个实施例中，根据交叉熵损失函数Lce和骰子损失函数Ldice对第一变化检测结果
Figure BDA0003655029940000107
和真实标签Yl进行计算，得到监督损失为
Figure BDA0003655029940000108
其中，交叉熵损失函数Lce和骰子损失函数Ldice分别表示为
Figure BDA0003655029940000109
Figure BDA00036550299400001010
式中，Y表示标签，
Figure BDA0003655029940000111
表示变化检测结果，其中H为图像的高，W为图像的宽，
Figure BDA0003655029940000112
表示图像的第m个像素的像素值，c为0或1，c表示图像的第m个像素的变化与否。
可以理解，采用混合交叉熵损失函数和骰子损失函数来计算监督损失，减弱了遥感影像变化检测中不变像素远大于变化像素造成的变化不平衡影响。
在其中一个实施例中，将弱增强无标签遥感影像对Xw进行预设强度和预设组合的颜色增强和/或形状增强得到畸变图像Xs，将畸变图像Xs输入到变化检测模型中，得到第二变化检测结果
Figure BDA0003655029940000113
具体地，如图4所示，颜色增强和形状增强主要包括亮度变化、颜色变化、对比度变化、均衡化、色调分离、横向平移、旋转、锐化、横向剪切、纵向剪切、曝光、纵向平移和裁剪这几种增强方法，具体地，如图5所示，预设强度和预设组合的颜色增强和/或形状增强是指选择除裁剪外的三种增强方法和裁剪方法组合而成一种强增强方法，其中，除裁剪外的三种增强方法和裁剪方法的强度范围如表1所示
增强方法 强度范围 说明
亮度 [0.05,0.95] 改变图像的亮度
颜色 [0.05,0.95] 改变图像的色彩平衡
对比度 [0.05,0.95] 改变图像的对比度
均衡化 / 对图像进行直方图均衡化
色调分离 [4,8] 减少每个颜色通道的比特数
旋转 [-30,30] 旋转图像
锐化 [0.05,0.95] 调整图像的锐化程度
横向剪切 [-0.3,0.3] 沿水平轴剪切图像
纵向剪切 [-0.3,0.3] 沿垂直轴剪切图像
曝光 [0,256] 反转所有超过阈值的像素值
横向平移 [-0.3,0.3] 在水平方向进行平移
纵向平移 [-0.3,0.3] 在垂直方向进行平移
裁剪 [0.25,0.35] 从图像上裁剪掉一块区域
表1增强方法及其强度范围和说明
具体地，将同一对弱增强无标签遥感影像进行颜色增强和/或形状增强的预设强度和预设组合相同，将不同对弱增强无标签遥感影像进行颜色增强和/或形状增强的预设强度和预设组合随机。
可以理解，强增强的使用主要有两个目的，其一是通过颜色增强来增加或减少图像特征之间的颜色差距，其二是通过形状增强是地物产生变形，通过训练遥感影像变化检测模型忽略图像经过颜色增强和/或形状增强产生的畸变变化而专注于图像对象的变化，从而提高遥感影像变化检测模型的语义理解能力。
在其中一个实施例中，将弱增强无标签遥感影像对Xw输入到变化检测模型中得到第三变化检测结果
Figure BDA0003655029940000121
将第三变化检测结果
Figure BDA0003655029940000122
进行预设强度和预设组合的颜色增强和/或形状增强得到强增强第三变化检测结果；
具体地，如图4所示，颜色增强和形状增强主要包括亮度变化、颜色变化、对比度变化、均衡化、色调分离、横向平移、旋转、锐化、横向剪切、纵向剪切、曝光、纵向平移和裁剪这几种增强方法，具体地，如图5所示，预设强度和预设组合的颜色增强和/或形状增强是指选择除裁剪外的三种增强方法和裁剪方法组合而成一种强增强方法，其中，除裁剪外的三种增强方法和裁剪方法的强度范围如表1所示；
如图6所示，将强增强第三变化检测结果输入置信度阈值过滤器，设定置信度阈值过滤器的置信度阈值τ，剔除小于置信度阈值τ的强增强第三变化检测结果的像素预测值，保留大于置信度阈值τ的强增强第三变化检测结果的像素预测值，得到伪标签
Figure BDA0003655029940000123
其中，像素预测值的大小在0到1之间。
可以理解，通过保留大于置信度阈值τ的强增强第三变化检测结果的像素预测值，即保留图6中的白色部分，避免了小于置信度阈值τ的强增强第三变化检测结果的像素预测值被当作伪标签而误导了遥感影像变化检测的精度。
在其中一个实施例中，根据交叉熵损失函数Lce和骰子损失函数Ldice对第二变化检测结果
Figure BDA0003655029940000131
和伪标签
Figure BDA0003655029940000132
进行计算，得到无监督损失Lu为
Figure BDA0003655029940000133
根据监督损失Ls和监督损失Lu进行加权计算得到总损失LCD为
LCD＝Ls+λLu
式中，λ表示加权系数；
将总损失LCD最小作为目标函数，利用优化器的AdamW优化算法对变化检测模型中的参数不断进行优化，当总损失LCD不再下降时，将此时的变化检测模型中的参数保存为最终参数，得到半监督遥感影像变化检测模型M。
可以理解，采用混合交叉熵损失函数和骰子损失函数来计算监督损失，减弱了遥感影像变化检测中不变像素远大于变化像素造成的变化不平衡影响。
为进一步验证本发明提出的一种半监督遥感影像变化检测方法，输入50对有标签遥感影像和1950对无标签遥感影像训练得到半监督变化检测模型，将输入待检测遥感影像对输入半监督变化检测模型，输出得到待检测遥感影像对的变化检测结果，如图7所示，图中，前两列为输入的待检测遥感影像对ImageA和ImageB，第三列为真实标签，第四列为使用50对有标签遥感影像进行全监督训练的模型的变化检测结果，第五列为使用50对有标签遥感影像和1950对无标签遥感影像进行半监督训练的模型的变化检测结果，通过比较可以发现本发明提出的一种半监督遥感影像变化检测方法得到的遥感影像变化检测结果更接近真实标签，变化检测的精度更高。
应该理解的是，虽然图1-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种半监督遥感影像变化检测装置，包括：图像输入模块、监督损失计算模块、无监督损失计算模块和模型训练模块，其中：
图像输入模块，用于输入有标签遥感影像对、真实标签和无标签遥感影像对，真实标签为有标签遥感影像对大小匹配的变化灰度图像。
可以理解，输入的少量(如几十张)有标签遥感影像对和真实标签能够训练变化检测模型，引导变化检测模型理解任务，同时也可以减少标签的制作人工和时间成本，而输入的庞大的无标签遥感影像对能够有效防止变化检测模型在少量有标签遥感影像对上进行过拟合，从而提高变化检测模型的鲁棒性和泛化性。
监督损失计算模块，用于将有标签遥感影像对进行弱增强处理得到弱增强有标签遥感影像对，将弱增强有标签遥感影像对输入到变化检测模型中，得到第一变化检测结果，根据第一变化检测结果和真实标签进行计算得到监督损失。
可以理解，弱增强处理是指对遥感影像进行干扰较弱的图像增强方法，包括平移和翻转。
可以理解，变化检测模型旨在识别相同区域不同时相获取的遥感影像发生的语义变化得到变化检测结果，其中，变化检测结果为遥感影像对大小匹配的变化灰度图像。
可以理解，根据遥感影像变化检测中未变化像素数远大于变化像素数的特点，可以根据交叉熵损失函数和骰子损失函数对第一变化检测结果和真实标签进行计算，得到监督损失。
无监督损失计算模块，用于将无标签遥感影像对进行弱增强处理得到弱增强无标签遥感影像对，将弱增强无标签遥感影像对进行强增强处理得到畸变图像，将畸变图像输入到变化检测模型中，得到第二变化检测结果；将弱增强无标签遥感影像对输入到变化检测模型中，得到第三变化检测结果，将第三变化检测结果进行强增强处理并进行置信度阈值过滤器过滤得到伪标签，根据第二变化检测结果和伪标签计算得到无监督损失。
可以理解，强增强处理是相对弱增强处理而言的，是指能够使遥感影像产生巨大畸变的增强，由3至4种颜色增强和/或形状增强方法组成。
可以理解，对于同一对无标签遥感影像对，将第三变化检测结果进行强增强处理并进行置信度阈值过滤器过滤得到伪标签与将弱增强无标签遥感影像对进行强增强处理得到畸变图像，两次强增强处理的预设组合和预设强度一致，从而保证伪标签与第三变化检测结果的像素一一对应；否则，两次强增强处理的预设组合和预设强度随机，伪标签与第三变化检测结果的像素不对应。
可以理解，将第三变化检测结果进行先强增强处理得到强增强第三变化检测结果，再将强增强第三变化检测结果输入置信度阈值过滤器进行过滤，保留大于置信度阈值的强增强第三变化检测结果的像素预测值，并将大于置信度阈值的强增强第三变化检测结果的像素预测值作为伪标签，根据遥感影像变化检测中未变化像素数远大于变化像素数的特点，可以根据交叉熵损失函数和骰子损失函数对第二变化检测结果和伪标签进行计算，得到无监督损失。
模型训练模块，用于根据监督损失和无监督损失加权计算得到总损失，将总损失最小作为目标函数，利用优化器训练变化检测模型得到半监督遥感影像变化检测模型。
可以理解，根据监督损失和无监督损失加权计算得到总损失，将总损失最小作为目标函数，利用优化器的AdamW优化算法对变化检测模型中的参数不断进行优化，当总损失不再下降时，将此时的变化检测模型中的参数保存为最终参数，得到半监督遥感影像变化检测模型。
关于半监督遥感影像变化检测装置的具体限定可以参见上文中对于半监督遥感影像变化检测方法的限定，在此不再赘述。上述半监督遥感影像变化检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种半监督遥感影像变化检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
输入有标签遥感影像对、真实标签和无标签遥感影像对，真实标签为有标签遥感影像对大小匹配的变化灰度图像；将有标签遥感影像对进行弱增强处理得到弱增强有标签遥感影像对，将弱增强有标签遥感影像对输入到变化检测模型中，得到第一变化检测结果，根据第一变化检测结果和真实标签进行计算得到监督损失；将无标签遥感影像对进行弱增强处理得到弱增强无标签遥感影像对，将弱增强无标签遥感影像对进行强增强处理得到畸变图像，将畸变图像输入到变化检测模型中，得到第二变化检测结果；将弱增强无标签遥感影像对输入到变化检测模型中，得到第三变化检测结果，将第三变化检测结果进行强增强处理并进行置信度阈值过滤器过滤得到伪标签，根据第二变化检测结果和伪标签计算得到无监督损失；根据监督损失和无监督损失加权计算得到总损失，将总损失最小作为目标函数，利用优化器训练变化检测模型得到半监督遥感影像变化检测模型。

Claims (10)

1.一种半监督遥感影像变化检测方法，其特征在于，所述方法包括：
输入有标签遥感影像对、真实标签和无标签遥感影像对，所述真实标签为所述有标签遥感影像对大小匹配的变化灰度图像；
将所述有标签遥感影像对进行弱增强处理得到弱增强有标签遥感影像对，将所述弱增强有标签遥感影像对输入到变化检测模型中，得到第一变化检测结果，根据所述第一变化检测结果和所述真实标签进行计算得到监督损失；
将所述无标签遥感影像对进行所述弱增强处理得到弱增强无标签遥感影像对，将所述弱增强无标签遥感影像对进行强增强处理得到畸变图像，将所述畸变图像输入到所述变化检测模型中，得到第二变化检测结果；
将所述弱增强无标签遥感影像对输入到所述变化检测模型中，得到第三变化检测结果，将所述第三变化检测结果进行所述强增强处理并进行置信度阈值过滤器过滤得到伪标签，根据所述第二变化检测结果和所述伪标签计算得到无监督损失；
根据所述监督损失和所述无监督损失加权计算得到总损失，将所述总损失最小作为目标函数，利用优化器训练所述变化检测模型得到半监督遥感影像变化检测模型。
2.根据权利要求1所述的方法，其特征在于，输入有标签遥感影像对、真实标签和无标签遥感影像对，包括：
输入所述有标签遥感影像对，其中，同一对有标签遥感影像由同一区域不同时相的两张有标签遥感影像组成，不同对有标签遥感影像由不同区域不同时相的两张由有标签遥感图像组成；
输入所述真实标签，所述真实标签为所述有标签遥感影像对大小匹配的变化灰度图像；
输入所述无标签遥感影像对，其中，同一对无标签遥感影像由同一区域不同时相的两张无标签遥感影像组成，不同对无标签遥感影像由不同区域不同时相的两张无标签遥感图像组成。
3.根据权利要求1所述的方法，其特征在于，将所述有标签遥感影像对进行弱增强处理得到弱增强有标签遥感影像对，包括：
将所述有标签遥感影像对进行预设幅度的平移和/或翻转得到弱增强有标签遥感影像对，其中，将所述同一对有标签遥感影像进行相同预设幅度的平移和/或翻转得到同一对弱增强有标签遥感影像，将所述不同对有标签遥感影像进行随机预设幅度的平移和/或翻转得到不同对弱增强有标签遥感影像；
将所述无标签遥感影像对进行所述弱增强处理得到弱增强无标签遥感影像对，包括：
将所述无标签遥感影像对进行预设幅度的平移和/或翻转得到弱增强无标签遥感影像对，其中，将所述同一对无标签遥感影像进行相同预设幅度的平移和/或翻转得到同一对弱增强无标签遥感影像，将所述不同对无标签遥感影像进行随机预设幅度的平移和/或翻转得到不同对弱增强无标签遥感影像。
4.根据权利要求1所述的方法，其特征在于，所述变化检测模型由暹罗编码器和解码器组成，其中，所述编码器还包括图注意力模块：
所述暹罗编码器通过共享权重和参数对图像进行下采样处理，提取所述图像的图像特征，将所述图像特征作为节点，利用所述图注意力模块融合所述节点的邻居节点对应的图像特征得到所述节点的图像融合特征值，将所述图像融合特征值输入注意力单元，得到融入注意力机制的注意力特征，所述解码器通过提取所述注意力特征得到变化检测结果，其中，所述图像包括所述弱增强有标签遥感影像对、所述畸变图像和所述弱增强无标签遥感影像对，所述变化检测结果包括所述第一变化检测结果、所述第二变化检测结果和所述第三变化检测结果。
5.根据权利要求1所述的方法，其特征在于，根据所述第一变化检测结果和所述真实标签进行计算得到监督损失，包括：
利用交叉熵损失函数和骰子损失函数对所述第一变化检测结果和所述真实标签进行计算，得到所述监督损失。
6.根据权利要求1所述的方法，其特征在于，将弱增强无标签遥感影像对进行强增强处理得到畸变图像，包括：
将所述弱增强无标签遥感影像对进行预设强度和预设组合的颜色增强和/或形状增强得到畸变图像，其中，将所述同一对弱增强无标签遥感影像进行颜色增强和/或形状增强的预设强度和预设组合相同，将所述不同对弱增强无标签遥感影像进行颜色增强和/或形状增强的预设强度和预设组合随机。
7.根据权利要求1所述的方法，其特征在于，将所述第三变化检测结果进行所述强增强处理并进行置信度阈值过滤器过滤得到伪标签，包括：
将所述第三变化检测结果进行预设强度和预设组合的颜色增强和/或形状增强得到强增强第三变化检测结果；
将所述强增强第三变化检测结果输入所述置信度阈值过滤器，设定所述置信度阈值过滤器的置信度阈值，剔除小于所述置信度阈值的所述强增强第三变化检测结果的像素预测值，保留大于所述置信度阈值的所述强增强第三变化检测结果的像素预测值，得到所述伪标签。
8.根据权利要求1所述的方法，其特征在于，根据所述第二变化检测结果和所述伪标签计算得到无监督损失，包括：
根据所述交叉熵损失函数和所述骰子损失函数对所述第二变化检测结果和所述伪标签进行计算，得到无监督损失。
9.一种半监督遥感影像变化检测装置，其特征在于，所述装置包括：
图像输入模块，用于输入有标签遥感影像对、真实标签和无标签遥感影像对，所述真实标签为所述有标签遥感影像对大小匹配的变化灰度图像；
监督损失计算模块，用于将所述有标签遥感影像对进行弱增强处理得到弱增强有标签遥感影像对，将所述弱增强有标签遥感影像对输入到变化检测模型中，得到第一变化检测结果，根据所述第一变化检测结果和所述真实标签进行计算得到监督损失，其中，所述第一变化检测结果为所述弱增强有标签遥感影像对大小匹配的变化灰度图像；
无监督损失计算模块，用于将所述无标签遥感影像对进行所述弱增强处理得到弱增强无标签遥感影像对，将所述弱增强无标签遥感影像对进行强增强处理得到畸变图像，将所述畸变图像输入到所述变化检测模型中，得到第二变化检测结果，其中，所述第二变化检测结果为所述畸变图像大小匹配的变化灰度图像；将所述弱增强无标签遥感影像对输入到所述变化检测模型中，得到第三变化检测结果，将所述第三变化检测结果进行所述强增强处理并进行置信度阈值过滤器过滤得到伪标签，根据所述第二变化检测结果和所述伪标签计算得到无监督损失，其中，所述第三变化检测结果为所述弱增强所述无标签遥感影像对大小匹配的变化灰度图像；
模型训练模块，用于根据所述监督损失和所述无监督损失加权计算得到总损失，将所述总损失最小作为目标函数，利用优化器训练所述变化检测模型得到半监督遥感影像变化检测模型。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
CN202210550967.1A 2022-05-20 半监督遥感影像变化检测方法、装置和计算机设备 Active CN114882252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210550967.1A CN114882252B (zh) 2022-05-20 半监督遥感影像变化检测方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210550967.1A CN114882252B (zh) 2022-05-20 半监督遥感影像变化检测方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN114882252A true CN114882252A (zh) 2022-08-09
CN114882252B CN114882252B (zh) 2024-07-26

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170575A (zh) * 2022-09-09 2022-10-11 阿里巴巴（中国）有限公司 遥感影像变化检测及模型训练的方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826458A (zh) * 2019-10-31 2020-02-21 河海大学 一种基于深度学习的多光谱遥感图像变化检测方法及***
WO2021022752A1 (zh) * 2019-08-07 2021-02-11 深圳先进技术研究院 一种多模态三维医学影像融合方法、***及电子设备
CN112906638A (zh) * 2021-03-19 2021-06-04 中山大学 一种基于多层次监督和深度度量学习的遥感变化检测方法
CN113688665A (zh) * 2021-07-08 2021-11-23 华中科技大学 一种基于半监督迭代学习的遥感影像目标检测方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021022752A1 (zh) * 2019-08-07 2021-02-11 深圳先进技术研究院 一种多模态三维医学影像融合方法、***及电子设备
CN110826458A (zh) * 2019-10-31 2020-02-21 河海大学 一种基于深度学习的多光谱遥感图像变化检测方法及***
CN112906638A (zh) * 2021-03-19 2021-06-04 中山大学 一种基于多层次监督和深度度量学习的遥感变化检测方法
CN113688665A (zh) * 2021-07-08 2021-11-23 华中科技大学 一种基于半监督迭代学习的遥感影像目标检测方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马博博: "基于深度学习的高分辨率遥感图像场景分类技术研究", 《CNKI电子期刊》, 31 May 2021 (2021-05-31), pages 1 - 78 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170575A (zh) * 2022-09-09 2022-10-11 阿里巴巴（中国）有限公司 遥感影像变化检测及模型训练的方法及设备
CN115170575B (zh) * 2022-09-09 2022-12-23 阿里巴巴（中国）有限公司 遥感影像变化检测及模型训练的方法及设备

Similar Documents

Publication Publication Date Title
CN111553929B (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
Hou et al. High-resolution triplet network with dynamic multiscale feature for change detection on satellite images
CN108647585B (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
Li et al. Multiscale features supported DeepLabV3+ optimization scheme for accurate water semantic segmentation
CN111179217A (zh) 一种基于注意力机制的遥感图像多尺度目标检测方法
CN112580439A (zh) 小样本条件下的大幅面遥感图像舰船目标检测方法及***
CN110929577A (zh) 一种基于YOLOv3的轻量级框架改进的目标识别方法
Liu et al. MSC-DNet: An efficient detector with multi-scale context for defect detection on strip steel surface
CN111257341A (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN109886159B (zh) 一种非限定条件下的人脸检测方法
Yin et al. Visual attention dehazing network with multi-level features refinement and fusion
Li et al. Small target deep convolution recognition algorithm based on improved YOLOv4
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
Li et al. A review of deep learning methods for pixel-level crack detection
Guo et al. A novel transformer-based network with attention mechanism for automatic pavement crack detection
CN114429577B (zh) 一种基于高置信标注策略的旗帜检测方法及***及设备
Dong et al. Field-matching attention network for object detection
Yu et al. Progressive refined redistribution pyramid network for defect detection in complex scenarios
CN115984226A (zh) 绝缘子缺陷检测方法、设备、介质及程序产品
Li et al. A grid‐based classification and box‐based detection fusion model for asphalt pavement crack
Zhang et al. Residual attentive feature learning network for salient object detection
Wang et al. SLMS-SSD: Improving the balance of semantic and spatial information in object detection
Chu et al. Fine‐grained crack segmentation for high‐resolution images via a multiscale cascaded network
Luo et al. RBD-Net: robust breakage detection algorithm for industrial leather
CN109284752A (zh) 一种车辆的快速检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant