CN113033510B - 图像变化检测模型的训练和检测方法、设备及存储介质 - Google Patents

图像变化检测模型的训练和检测方法、设备及存储介质 Download PDF

Info

Publication number
CN113033510B
CN113033510B CN202110555801.4A CN202110555801A CN113033510B CN 113033510 B CN113033510 B CN 113033510B CN 202110555801 A CN202110555801 A CN 202110555801A CN 113033510 B CN113033510 B CN 113033510B
Authority
CN
China
Prior art keywords
image
images
change detection
training
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110555801.4A
Other languages
English (en)
Other versions
CN113033510A (zh
Inventor
刘明
周宏宾
任宇鹏
李乾坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110555801.4A priority Critical patent/CN113033510B/zh
Publication of CN113033510A publication Critical patent/CN113033510A/zh
Application granted granted Critical
Publication of CN113033510B publication Critical patent/CN113033510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开图像变化检测模型的训练和检测方法、设备及存储介质，其中，训练方法包括：获取图像对数据集，每个所述图像对包括同一区域不同时相的两个图像；任意选取其中一个所述图像对中的一个图像作为第一图像，任意选取另一所述图像对中的一个图像作为第二图像；利用所述第二图像对所述第一图像进行重组，获得重组图像，将所述第一图像和所述重组图像作为一对正样本；利用生成的所有所述正样本训练变化检测模型。本申请是一种自监督的方法，模型的训练不需要人工标注好的标签，且通过重组图像生成正样本，样本质量高、噪声小，利于变化检测模型的训练。

Description

图像变化检测模型的训练和检测方法、设备及存储介质
技术领域
本申请属于图像处理技术领域，具体涉及图像变化检测模型的训练和检测方法、设备及存储介质。
背景技术
遥感图像变化检测是指利用卫星、无人机等设备，获取多个时相上同一地表区域的图像，并采用一定的技术手段获得该区域地表属性发生变化的局部区域。遥感变化检测技术在城市规划、地图更新、林地监控保护、灾情评估等方面都有巨大的应用前景。
随着深度学习技术的兴起，深度卷积神经网络也被应用到了遥感影像变化检测领域，深度学习的一大特点在于，其特征提取方式是通过学习得到的，相较于人工设计的特征提取，深度学习具有更好的多样性，可以从不同尺度上提取图像的特征，精度高，鲁棒性好。然而，深度学习依赖于大量的、高质量的人工标注样本，耗时耗力，成本高昂。
发明内容
本申请提供图像变化检测模型的训练和检测方法、设备及存储介质，以解决图像变化检测模型训练依赖大量人工标注样本的技术问题。
为解决上述技术问题，本申请采用的一个技术方案是：一种图像变化检测模型的训练方法，包括：获取图像对数据集，每个所述图像对包括同一区域不同时相的两个图像；任意选取其中一个所述图像对中的一个图像作为第一图像，任意选取另一所述图像对中的一个图像作为第二图像；利用所述第二图像对所述第一图像进行重组，获得重组图像，将所述第一图像和所述重组图像作为一对正样本；利用生成的所有所述正样本训练变化检测模型。
根据本申请一实施方式，包括：任意选取其中一个所述图像对，对所述图像对中的两个图像进行插值融合处理，以获得近似的两个插值图像，将两个所述插值图像作为一对负样本；利用生成的所有所述负样本训练变化检测模型。
根据本申请一实施方式，所述利用所述第二图像对所述第一图像进行重组，获得重组图像包括：对所述第一图像进行数据增强获得第一增强图像；随机生成一个与所述第一增强图像相同大小的二值化掩模图像；将所述第二图像与所述二值化掩模图像相乘，获得第一中间图像；将所述第一增强图像与取反后的所述二值化掩模图像相乘，获得第二中间图像；融合所述第一中间图像和所述第二中间图像，获得所述重组图像。
根据本申请一实施方式，所述随机生成一个与所述第一图像相同大小的二值化掩模图像包括：获取与所述第一图像相同大小二值化图像，在所述二值化图像中随机生成像素值设为零的预定形状区域，其余区域像素值设为一，以获得所述二值化掩模图像。
根据本申请一实施方式，所述随机生成一个与所述第一图像相同大小的二值化掩模图像包括：根据随机参数对所述第一图像进行超像素分割，随机选取其中的部分超像素区域；获取与所述第一图像相同大小的二值化图像，将所述二值化图像中对应所述超像素区域的像素值设为零，其余区域像素值设为一，以获得所述二值化掩模图像。
根据本申请一实施方式，所述对所述第一图像进行数据增强获得第一增强图像包括：采用随机亮度调整、随机对比度调整、随机伽马值调整、随机噪声、随机高斯滤波和随机像素偏移中的一种或几种的方法，对第一图像进行数据增强处理，获得所述第一增强图像。
根据本申请一实施方式，所述任意选取其中一个所述图像对，对所述图像对中的两个图像进行插值融合处理，以获得近似的两个插值图像包括：所述图像对中的两个图像分别为第三图像和第四图像，获取所述第三图像与第一权重的乘积、以及所述第四图像与第二权重的乘积，并求和作为第一插值图像；获取第三图像与第二权重的乘积、以及所述第四图像与所述第一权重的乘积，并求和作为第二插值图像；所述第一插值图像和所述第二插值图像为所述近似的两个插值图像；其中，所述第一权重和第二权重之和为一，且所述第一权重和所述第二权重不相等。
根据本申请一实施方式，所述获取图像对数据集包括：获取每一相同区域不同时相的两个样本图像；将两个所述样本图像配准，并裁切成预设大小的图像，形成一对所述图像对；将获取的所有图像对构成所述图像对数据集。
为解决上述技术问题，本申请采用的又一个技术方案是：一种基于变化检测模型的图像检测方法，包括：获取目标图像；利用变化检测模型检测目标图像的变化，所述变化检测模型由上述的变化检测模型的训练方法训练得到。
为解决上述技术问题，本申请采用的又一个技术方案是：一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述任一训练方法或任一计数方法。
为解决上述技术问题，本申请采用的又一个技术方案是：一种计算机可读存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述任一训练方法或任一计数方法。
本申请具有至少以下几点优点：第一，本申请是一种自监督的方法，模型的训练不需要人工标注好的标签，但是其训练过程与普通的监督学习基本一致，采用一种端到端的方式进行学习，显著优于现有技术中的方法，且本提案不依赖于其他经典变化检测算法来产生伪标签，特别需要指出的是当前此领域内还不存在可靠的经典变化检测算法。第二，通过重组图像生成正样本，通过插值融合图像对生成负样本，正负样本质量高，样本噪声小，利于变化检测模型的训练。第三，本申请的正负样本都是在线生成的，因此可以方便地通过控制两者的比例来实现样本均衡。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：
图1是本申请的图像变化检测模型的训练方法一实施例的流程示意图；
图2是本申请的图像变化检测模型的训练方法一实施例的子流程示意图；
图3是本申请的图像变化检测模型的训练方法一实施例的正样本获取展示示意图；
图4是本申请的图像变化检测模型的训练方法一实施例的负样本获取展示示意图；
图5是本申请的基于变化检测模型的图像检测方法一实施例中的流程示意图；
图6是本申请的图像变化检测模型的训练装置一实施例的框架示意图；
图7是本申请的基于变化检测模型的图像检测装置一实施例的框架示意图；
图8是本申请的电子设备一实施例的框架示意图；
图9是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1至图4，图1是本申请的图像变化检测模型的训练方法一实施例的流程示意图；图2是本申请的图像变化检测模型的训练方法一实施例的子流程示意图；图3是本申请的图像变化检测模型的训练方法一实施例的正样本获取展示示意图；图4是本申请的图像变化检测模型的训练方法一实施例的负样本获取展示示意图。
本申请一实施例提供了一种图像变化检测模型的训练方法，包括如下步骤：
S11：获取图像对数据集。
每个图像对包括同一区域不同时相的两个图像，以遥感图像举例，每个图像对包括同一地表区域在不同时间获取的两个图像。
在一实施例中，获取图像对数据集包括：
获取每一相同区域不同时相的两个样本图像，即在可获取样本图像的每一区域获取不同时相的两个样本图像。
将两个样本图像配准，由于获取时相的不同，拍摄的图像角度、位置和大小等可能无法完全一致，所以需要将两个样本图像配准，使其拍摄同一区域的角度、位置和大小等参数保持一致，从而利于变化检测模型进行学习，需要说明的是，变化检测模型包括适用于图像识别的卷积神经网络。除此之外，由于直接拍摄获得的样本图像较大，不利于神经网络进行训练，还需要将两个样本图像裁切成适合神经网络进行训练的预设大小，形成最终的一对图像对，以提高变化检测模型的训练速度。
将获得的所有图像对构成一个图像对数据集
Figure 876309DEST_PATH_IMAGE002
，其中
Figure 262291DEST_PATH_IMAGE004
表示一个图像对，其下标表示不同的图像对，上标表示不同时相的图像，不同图像对中的图像获取自不同区域，同一图像对包括同一区域不同时相的两个图像。
S12：任意选取其中一个图像对中的一个图像作为第一图像，任意选取另一图像对中的一个图像作为第二图像。
任意选取其中一个图像对中的某一时相一个图像作为第一图像，任意选取另一图像对中的一个图像作为第二图像。第一图像和第二图像来自两个图像对，为两个不同区域的图像。
S13：利用第二图像对第一图像进行重组，获得重组图像，将第一图像和重组图像作为一对正样本。
利用第二图像对第一图像进行重组，获得重组图像，第一图像中的局部区域被第二图像中的区域替代，从而形成与第一图像不同的重组图像，重组图像与第一图像相比，局部发生变化，将第一图像和重组图像作为一对正样本，减少样本噪声，提升模型训练精度。
在一实施例中，利用第二图像对第一图像进行重组，获得重组图像包括：
S131：对第一图像进行数据增强获得第一增强图像。
对第一图像
Figure 776449DEST_PATH_IMAGE006
进行数据增强获得第一增强图像
Figure 30712DEST_PATH_IMAGE008
。
以遥感图像举例，若在一段时间内，同一地表区域中的部分区域新增了建筑群，那么对变化前后分别拍摄的两个遥感图像进行检测，则认为新增的建筑群为变化区域。除建筑群之外的其他区域随着时间推移并非完全没有变化，可能存在植被生长等细微差异，但并非是需要被检测出的图像变化，所以我们需要通过对第一图像增强来模拟实际不同时相拍摄图像中非变化区域的细微差异。
若不对第一图像进行数据增强，那么重组后的重组图像与第一图像中仅被第二区域替换的局部区域存在变化，其余区域完全相同，与实际不符。从而获得的正样本存在样本噪声，以此种正样本训练变化检测模型，会将完全没有差异的区域才认定为非变化区域，不符合训练目的，不利于神经网络的训练。
从而通过对第一图像进行数据增强获得第一增强图像，再利于第一增强图像与第二图像进行重组，可提高正样本质量，提升模型训练精度。
具体地，可采用随机亮度调整、随机对比度调整、随机伽马值调整、随机噪声、随机高斯滤波、随机像素偏移中的一种或几种方法，对第一图像进行数据增强处理，获得第一增强图像。
S132：随机生成一个与第一增强图像相同大小的二值化掩模图像。
随机生成一个与第一增强图像
Figure 579505DEST_PATH_IMAGE008
相同大小的二值化掩模图像
Figure 136389DEST_PATH_IMAGE010
，利用二值化掩模图像
Figure 137843DEST_PATH_IMAGE010
重组第一增强图像
Figure 195797DEST_PATH_IMAGE008
和第二图像
Figure 333518DEST_PATH_IMAGE012
，可采用以下两种方法中的至少一种来随机生成二值化掩模图像
Figure 61302DEST_PATH_IMAGE010
：
第一种为模拟规则变化区域：获取与第一图像
Figure 674686DEST_PATH_IMAGE006
相同大小二值化图像，在二值化图像中随机生成像素值设为零的预定形状区域，其余区域像素值设为一，以获得二值化掩模图像
Figure 146119DEST_PATH_IMAGE010
。预定形状区域随机以不同大小、位置和角度生成在二值化图像中，预定形状区域可以是矩形、菱形、圆形等。从而可以模拟图像中局部区域出现的规则变化。
第二种为模拟不规则变化区域：根据随机参数对第一图像
Figure 403925DEST_PATH_IMAGE006
进行超像素分割，随机选取其中的部分超像素区域。获取与第一图像
Figure 427245DEST_PATH_IMAGE006
相同大小的二值化图像，将二值化图像中对应超像素区域的像素值设为零，其余区域像素值设为一，以获得二值化掩模图像
Figure 403291DEST_PATH_IMAGE010
。通过超像素分割，可以获取第一图像
Figure 412835DEST_PATH_IMAGE006
中相似的像素点组成的超像素区域，该区域的形状是不规则的，从而可以模拟图像中局部区域出现的不规则变化。
S133：将第二图像与二值化掩模图像相乘，获得第二中间图像；将第一增强图像与取反后的二值化掩模图像相乘，获得第二中间图像；融合第一中间图像和第二中间图像，获得重组图像。
获得二值化掩模图像
Figure 649781DEST_PATH_IMAGE010
后，将第二图像
Figure 719369DEST_PATH_IMAGE014
与二值化掩模图像
Figure 182711DEST_PATH_IMAGE010
相乘，获得第二中间图像
Figure 855001DEST_PATH_IMAGE016
；将第一增强图像
Figure 87399DEST_PATH_IMAGE008
与取反后的二值化掩模图像
Figure 593467DEST_PATH_IMAGE018
相乘，获得第二中间图像
Figure 278526DEST_PATH_IMAGE020
。融合第一中间图像
Figure 20086DEST_PATH_IMAGE021
和第二中间图像
Figure 106991DEST_PATH_IMAGE023
，获得重组图像
Figure 783960DEST_PATH_IMAGE025
。
S14：利用生成的所有正样本训练变化检测模型。
第一图像
Figure 818299DEST_PATH_IMAGE006
和重组图像
Figure 973337DEST_PATH_IMAGE027
为一对正样本
Figure 180327DEST_PATH_IMAGE029
，生成的正样本用于训练变化检测模型，二值化掩模图像
Figure 28198DEST_PATH_IMAGE031
即为训练所需的标签。
以一个具体实施方式举例，如图3所示，图像a和图像b为随机采样的第一图像和第二图像，图像c为随机生成的二值化掩模图像，图像d为重组后的图像，而图像a和图像d组成了一对正样本。
S15：任意选取其中一个图像对，对图像对中的两个图像进行插值融合处理，以获得近似的两个插值图像，将两个插值图像作为一对负样本。
任意选取图像对数据集其中一个图像对，对图像对中的两个图像进行插值融合处理，以获得近似的两个插值图像。需要说明的是，近似代表两个插值图像语义相同，但细节略有不同。与实际拍摄中，同一区域未发生实质变化，但在不同时相获取的两张图像具有细微差别的情况相符。以遥感图像举例，若在一段时间内，同一地表区域中未发生实质变化，但随着时间推移，可能存在植被生长等细微差异，但并非是需要被检测出的图像变化区域，所以我们需要通过对同一图像对中的两个图像进行插值融合处理，来模拟实际同一区域不同时相拍摄的两个图像的细微差异，以供模型学习。
通过对同一图像对中的两个图像进行插值融合处理，获得两个语义相同，但略有不同的插值图像，两个插值图像没有实质变化，可作为变化检测模型的一对负样本，减少样本噪声，提升模型训练精度。
具体地，任意选取其中一个图像对
Figure 546904DEST_PATH_IMAGE004
，对图像对中的两个图像进行插值融合处理，以获得近似的两个插值图像包括：
图像对中的两个图像分别为第三图像
Figure 505632DEST_PATH_IMAGE033
和第四图像
Figure 301550DEST_PATH_IMAGE035
，获取第三图像
Figure 444955DEST_PATH_IMAGE033
与第一权重
Figure 591903DEST_PATH_IMAGE037
的乘积、以及第四图像
Figure 354323DEST_PATH_IMAGE035
与第二权重
Figure 129381DEST_PATH_IMAGE039
的乘积，并将两个乘积相加作为第一插值图像
Figure 53474DEST_PATH_IMAGE041
。
获取第三图像
Figure 687718DEST_PATH_IMAGE033
与第二权重
Figure 988249DEST_PATH_IMAGE039
的乘积、以及第四图像
Figure 148972DEST_PATH_IMAGE035
与第一权重
Figure 978388DEST_PATH_IMAGE037
的乘积，并求和作为第二插值图像
Figure 99928DEST_PATH_IMAGE043
。
第一插值图像
Figure 328784DEST_PATH_IMAGE045
和第二插值图像
Figure 688221DEST_PATH_IMAGE047
为近似的两个插值图像。
其中，第一权重
Figure 78751DEST_PATH_IMAGE049
和第二权重
Figure 156428DEST_PATH_IMAGE039
之和为一，且第一权重
Figure 457484DEST_PATH_IMAGE037
和第二权重
Figure 592799DEST_PATH_IMAGE039
不相等，即第一权重
Figure 154231DEST_PATH_IMAGE037
和第二权重
Figure 781521DEST_PATH_IMAGE039
不能取值为0.5。若第一权重
Figure 86601DEST_PATH_IMAGE037
和第二权重
Figure 686209DEST_PATH_IMAGE039
取值为0.5，则第一插值图像
Figure 559487DEST_PATH_IMAGE045
和第二插值图像
Figure 736391DEST_PATH_IMAGE047
完全相同，不符合实际情况，不利于模型训练。
S16：利用生成的所有负样本训练变化检测模型。
第一插值图像
Figure 720527DEST_PATH_IMAGE045
和第二插值图像
Figure 440221DEST_PATH_IMAGE047
为一对负样本
Figure 484401DEST_PATH_IMAGE051
，生成的负样本用于训练变化检测模型。
以一个具体实施方式举例，如图4所示，图像a’和图像b’为随机采样的一对图像对，图像c’和图像d’为插值融合后的图像，而图像c’和图像d’组成了一对负样本。
需要说明的是，步骤S16与步骤S14可合并，并在正负样本生成后统一进行，即在生成正样本和负样本后，再利用正负样本统一训练变化检测模型。
本申请具有至少以下几点优点：第一，本申请是一种自监督的方法，模型的训练不需要人工标注好的标签，但是其训练过程与普通的监督学习基本一致，采用一种端到端的方式进行学习，显著优于现有技术中的方法，且本提案不依赖于其他经典变化检测算法来产生伪标签，特别需要指出的是当前此领域内还不存在可靠的经典变化检测算法。第二，通过重组图像生成正样本，通过插值融合图像对生成负样本，正负样本质量高，样本噪声小，利于变化检测模型的训练。第三，本申请的正负样本都是在线生成的，因此可以方便地通过控制两者的比例来实现样本均衡。
请参阅图5，图5是本申请的基于变化检测模型的图像检测方法一实施例中的流程示意图。
本申请又一实施例提供了一种基于变化检测模型的图像检测方法，包括如下步骤：
S21：获取目标图像。
获取目标图像，目标图像为同一区域不同时相的两张图像。
S22：利用变化检测模型检测目标图像的变化。
变化检测模型由上述任一实施例中的变化检测模型的训练方法训练得到。
由于变化检测模型通过上述训练方法训练获得，所以变化检测模型精度高，可准确高效识别出目标图像的变化。
请参阅图6，图6是本申请的图像变化检测模型的训练装置一实施例的框架示意图。
本申请又一实施例提供了图像变化检测模型的训练装置30，包括获取模块31、处理模块32。获取模块31获取图像对数据集，每个图像对包括同一区域不同时相的两个图像。处理模块32任意选取其中一个图像对中的一个图像作为第一图像，任意选取另一图像对中的一个图像作为第二图像；处理模块32利用第二图像对第一图像进行重组，获得重组图像，将第一图像和重组图像作为一对正样本；处理模块32利用生成的所有正样本训练变化检测模型。
本申请的训练装置30可实现上述任一实施例中的图像变化检测模型的训练方法。
本训练装置30具有至少以下几点优点：第一，本训练装置30采用自监督的方法，模型的训练不需要人工标注好的标签，但是其训练过程与普通的监督学习基本一致，采用一种端到端的方式进行学习，显著优于现有技术中的装置，且本提案不依赖于其他经典变化检测算法来产生伪标签，特别需要指出的是当前此领域内还不存在可靠的经典变化检测算法。第二，本训练装置30通过重组图像生成正样本，通过插值融合图像对生成负样本，正负样本质量高，样本噪声小，利于变化检测模型的训练。第三，本训练装置30采用的正负样本都是在线生成的，因此可以方便地通过控制两者的比例来实现样本均衡。
请参阅图7，图7是本申请的基于变化检测模型的图像检测装置一实施例的框架示意图。
本申请又一实施例提供了基于变化检测模型的图像检测装置40，包括获取模块41、处理模块42。获取模块41获取目标图像。处理模块42利用变化检测模型检测目标图像的变化，变化检测模型由上述任一实施例中的变化检测模型的训练方法训练得到。
本申请的检测装置40可实现上述任一实施例中的基于变化检测模型的检测方法。
本检测装置40检测精度高，可准确高效识别出目标图像的变化。
请参阅图8，图8是本申请的电子设备一实施例的框架示意图。
本申请又一实施例提供了一种电子设备50，包括相互耦接的存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一实施例的训练方法和检测方法。在一个具体的实施场景中，电子设备50可以包括但不限于：微型计算机、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器52用于控制其自身以及存储器51以实现上述任一实施例的人像聚类方法中的步骤。处理器52还可以称为CPU（Central Processing Unit，中央处理单元）。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器（Digital Signal Processor, DSP）、专用集成电路（ApplicationSpecific Integrated Circuit, ASIC）、现场可编程门阵列（Field-Programmable GateArray, FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。
请参阅图9，图9是本申请计算机可读存储介质一实施例的框架示意图。
本申请又一实施例提供了一种计算机可读存储介质60，其上存储有程序数据61，程序数据61被处理器执行时实现上述任一实施例的人像聚类方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质60中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质60中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的可读存储介质60包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种图像变化检测模型的训练方法，其特征在于，包括：
获取图像对数据集，每个所述图像对包括同一区域不同时相的两个图像，不同所述图像对中的图像获取自不同区域；
任意选取其中一个所述图像对中的一个图像作为第一图像，任意选取另一所述图像对中的一个图像作为第二图像；
利用所述第二图像对所述第一图像进行重组，获得重组图像，将所述第一图像和所述重组图像作为一对正样本；
利用生成的所有所述正样本训练变化检测模型；
任意选取其中一个所述图像对，对所述图像对中的两个图像进行插值融合处理，以获得近似的两个插值图像，将两个所述插值图像作为一对负样本；
利用生成的所有所述负样本训练所述变化检测模型；
其中，所述利用所述第二图像对所述第一图像进行重组，获得重组图像包括：
对所述第一图像进行数据增强获得第一增强图像；
随机生成一个与所述第一增强图像相同大小的二值化掩模图像；
将所述第二图像与所述二值化掩模图像相乘，获得第一中间图像；
将所述第一增强图像与取反后的所述二值化掩模图像相乘，获得第二中间图像；
融合所述第一中间图像和所述第二中间图像，获得所述重组图像。
2.根据权利要求1所述的方法，其特征在于，所述随机生成一个与所述第一图像相同大小的二值化掩模图像包括：
获取与所述第一图像相同大小二值化图像，在所述二值化图像中随机生成像素值设为零的预定形状区域，其余区域像素值设为一，以获得所述二值化掩模图像。
3.根据权利要求1所述的方法，其特征在于，所述随机生成一个与所述第一图像相同大小的二值化掩模图像包括：
根据随机参数对所述第一图像进行超像素分割，随机选取其中的部分超像素区域；
获取与所述第一图像相同大小的二值化图像，将所述二值化图像中对应所述超像素区域的像素值设为零，其余区域像素值设为一，以获得所述二值化掩模图像。
4.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行数据增强获得第一增强图像包括：
采用随机亮度调整、随机对比度调整、随机伽马值调整、随机噪声、随机高斯滤波和随机像素偏移中的一种或几种的方法，对第一图像进行数据增强处理，以获得所述第一增强图像。
5.根据权利要求1所述的方法，其特征在于，所述任意选取其中一个所述图像对，对所述图像对中的两个图像进行插值融合处理，以获得近似的两个插值图像包括：
所述图像对中的两个图像分别为第三图像和第四图像，获取所述第三图像与第一权重的乘积、以及所述第四图像与第二权重的乘积，并求和作为第一插值图像；
获取第三图像与第二权重的乘积、以及所述第四图像与所述第一权重的乘积，并求和作为第二插值图像；
所述第一插值图像和所述第二插值图像为所述近似的两个插值图像；
其中，所述第一权重和第二权重之和为一，且所述第一权重和所述第二权重不相等。
6.根据权利要求1所述的方法，其特征在于，所述获取图像对数据集包括：
获取每一相同区域不同时相的两个样本图像；
将两个所述样本图像配准，并裁切成预设大小的图像，形成一对所述图像对；
将获取的所有图像对构成所述图像对数据集。
7.一种基于变化检测模型的图像检测方法，其特征在于，包括：
获取目标图像；
利用变化检测模型检测目标图像的变化，所述变化检测模型由权利要求1-6中任一所述的变化检测模型的训练方法训练得到。
8.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至7中任一项所述的方法。
9.一种计算机可读存储介质，其上存储有程序数据，其特征在于，所述程序数据被处理器执行时实现权利要求1至7中任一项所述的方法。
CN202110555801.4A 2021-05-21 2021-05-21 图像变化检测模型的训练和检测方法、设备及存储介质 Active CN113033510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110555801.4A CN113033510B (zh) 2021-05-21 2021-05-21 图像变化检测模型的训练和检测方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110555801.4A CN113033510B (zh) 2021-05-21 2021-05-21 图像变化检测模型的训练和检测方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113033510A CN113033510A (zh) 2021-06-25
CN113033510B true CN113033510B (zh) 2021-10-15

Family

ID=76455744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110555801.4A Active CN113033510B (zh) 2021-05-21 2021-05-21 图像变化检测模型的训练和检测方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113033510B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762397B (zh) * 2021-09-10 2024-04-05 北京百度网讯科技有限公司 检测模型训练、高精度地图更新方法、设备、介质及产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680542A (zh) * 2015-03-15 2015-06-03 西安电子科技大学 基于在线学习的遥感影像变化检测方法
CN105205801A (zh) * 2014-12-24 2015-12-30 天津航天中为数据***科技有限公司 基于变化检测的围填海信息提取方法及装置
CN109242889A (zh) * 2018-08-27 2019-01-18 大连理工大学 基于上下文显著性检测与sae的sar图像变化检测方法
WO2020070265A1 (fr) * 2018-10-05 2020-04-09 Redberry Méthode et dispositif pour la détection d'au moins un microorganisme selon sa cinétique de marquage, et support de détection

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257151B (zh) * 2017-12-22 2019-08-13 西安电子科技大学 基于显著性分析的PCANet图像变化检测方法
CN108765465B (zh) * 2018-05-31 2020-07-10 西安电子科技大学 一种无监督sar图像变化检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205801A (zh) * 2014-12-24 2015-12-30 天津航天中为数据***科技有限公司 基于变化检测的围填海信息提取方法及装置
CN104680542A (zh) * 2015-03-15 2015-06-03 西安电子科技大学 基于在线学习的遥感影像变化检测方法
CN109242889A (zh) * 2018-08-27 2019-01-18 大连理工大学 基于上下文显著性检测与sae的sar图像变化检测方法
WO2020070265A1 (fr) * 2018-10-05 2020-04-09 Redberry Méthode et dispositif pour la détection d'au moins un microorganisme selon sa cinétique de marquage, et support de détection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于混合网络的异源遥感图像变化检测;周圆 等;《北京航空航天大学学报》;20210331;第47卷(第3期);第451-460页 *

Also Published As

Publication number Publication date
CN113033510A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及***
WO2020098708A1 (zh) 车道线的检测及驾驶控制方法、装置和电子设备
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
WO2022022154A1 (zh) 脸部图像处理方法、装置、设备及存储介质
CN109472193A (zh) 人脸检测方法及装置
CN112418200A (zh) 基于热成像的对象检测方法、装置及服务器
CN113033510B (zh) 图像变化检测模型的训练和检测方法、设备及存储介质
CN116030361A (zh) 一种基于cim-t架构的高分辨率影像变化检测方法
CN115272182A (zh) 车道线检测方法、装置、电子设备和计算机可读介质
CN117315210B (zh) 一种基于立体成像的图像虚化方法及相关装置
CN109255778B (zh) 图像处理方法和装置、电子设备、存储介质、程序产品
CN110942097A (zh) 基于单像素探测器的免成像分类方法和***
CN115083008A (zh) 运动目标检测方法、装置、设备及存储介质
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
CN112132867B (zh) 一种遥感影像变化检测方法及装置
CN110765875B (zh) 交通目标的边界检测方法、设备及装置
CN116246161A (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置
CN112651351B (zh) 一种数据处理的方法和装置
Sehgal Edge detection techniques in digital image processing using Fuzzy Logic
CN116415019A (zh) 虚拟现实vr图像识别方法及装置、电子设备、存储介质
CN114022458A (zh) 骨架检测方法、装置、电子设备和计算机可读存储介质
CN109670470B (zh) 行人关系识别方法、装置、***及电子设备
CN111104870A (zh) 基于卫星视频的运动检测方法、装置、设备和存储介质
CN111105590A (zh) 一种报警方法及装置
CN117830882B (zh) 基于深度学习的航拍图像识别方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant