CN113298056A - 多模态遥感影像变化检测方法、模型生成方法和终端设备 - Google Patents
多模态遥感影像变化检测方法、模型生成方法和终端设备 Download PDFInfo
- Publication number
- CN113298056A CN113298056A CN202110847669.4A CN202110847669A CN113298056A CN 113298056 A CN113298056 A CN 113298056A CN 202110847669 A CN202110847669 A CN 202110847669A CN 113298056 A CN113298056 A CN 113298056A
- Authority
- CN
- China
- Prior art keywords
- domain
- image
- change detection
- remote sensing
- objective function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title claims abstract description 227
- 238000001514 detection method Methods 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000006870 function Effects 0.000 claims abstract description 128
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000006243 chemical reaction Methods 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000008485 antagonism Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 230000003042 antagnostic effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种多模态遥感影像变化检测方法、模型生成方法和终端设备，该多模态遥感影像变化检测模型包括两个域转换器、两个条件判别器和两个变化决策模型；该生成方法包括：利用循环一致性对抗网络构建两个域转换器和两个条件判别器，以用于不同模态遥感影像之间的跨域转换；利用孪生神经网络构建不同影像域各自的变化决策模型，以用于对跨域转换至同一影像域的两个影像进行变化检测；构建跨域转换对应的第一目标函数及变化检测对应的第二目标函数；基于两个目标函数进行模型训练。该技术方案通过结合循环一致性对抗网络及双孪生神经网络构建并联式多网络的一体化模型，可有效消除多模态遥感图像间的影像域差异并提升变化检测的精度等。
Description
技术领域
本申请涉及遥感影像技术领域，尤其涉及一种多模态遥感影像变化检测方法、模型生成方法和终端设备。
背景技术
变化检测是根据不同时间的多次观测来确定地表覆盖状态变化的过程，实时精确地获取地表变化信息对于自然资源管理、国土空间规划、生态环境保护等具有重要意义。遥感对地观测作为一种先进、成熟的技术手段，已逐步形成了光学、高光谱、雷达、激光测高等多类型卫星遥感体系，具有大范围、全天时、全天候、周期性对地观测的优势，可以快速、宏观、动态地获取地表影像，为解决土地覆盖的变化检测提供了重要数据支撑。大多数变化检测研究使用同一传感器的多时相影像数据，但同源遥感影像可能由于观测难度、成本、覆盖周期等原因，无法获取合适的重复观测数据。随着新型传感器技术的不断发展，遥感影像的空间分辨率逐步提高，光谱信息也逐渐丰富，如何有效利用来自不同获取平台、多种传感器的海量多模态遥感数据，实现多型谱、多载荷卫星影像的协同变化发现，成为当前地表覆盖变化检测的重要研究方向。
多模态遥感影像由于成像机理、观测特征的不同，给变化检测带来了一定的困难与挑战。现有的遥感影像的变化检测方法主要分为传统方法与基于深度学习的方法两个大类。传统方法可分为基于差分影像、基于特征以及基于目标的变化检测方法，传统的变化检测方法普遍存在无法脱离人工控制及干预，自动化程度较低等问题，且容易受到影像成像条件、影像获取周期、影像对间匹配质量以及噪声等各方面的影响而使得变化检测结果不理想。
而基于深度学习的变化检测方法，目前大多数的处理都是基于后分类的，即先使用神经网络模型分别对两期不同的影像进行高维特征提取，然后对提取的高维特征进行比较以获取变化区域。因此这类处理方法并没有考虑影像间的域差异给变化检测任务带来的负面影响，导致得到的变化检测结果同样不够理想。
发明内容
本申请实施例提供一种多模态遥感影像变化检测方法、多模态遥感影像变化模型生成方法和终端设备，该多模态遥感影像变化检测模型生成方法可有效消除多模态遥感图像间的影像域差异，为变化检测任务提供可靠数据，并利用像素级变化决策，可以提升变化检测的精度等。
本申请的实施例提供一种多模态遥感影像变化检测模型生成方法，所述多模态遥感影像变化检测模型包括两个域转换器、两个条件判别器和两个变化决策器；该生成方法包括：
利用循环一致性对抗网络构建所述两个域转换器和所述两个条件判别器，所述域转换器用于不同模态遥感影像之间的跨域转换，所述条件判别器用于进行所述跨域转换时的条件判别；
构建所述跨域转换对应的第一目标函数；
利用孪生神经网络构建不同影像域的所述两个变化决策器，所述变化决策器用于对跨域转换至同一影像域的两个影像进行像素级变化检测；
构建所述变化检测对应的第二目标函数；
基于所述第一目标函数和所述第二目标函数对所述多模态遥感影像变化检测模型进行训练，得到训练后的多模态遥感影像变化检测模型。
在一些实施例中，所述基于所述第一目标函数和所述第二目标函数对所述多模态遥感影像变化检测模型进行训练，包括：
基于所述第一目标函数对所述两个域转换器进行训练，得到训练后的所述两个域转换器；
基于所述第二目标函数对每个所述变化决策器进行训练，分别得到训练后的所述变化决策器；
将训练后的所述域转换器与同一影像域的所述变化决策器先串行后并行设置，得到训练后的所述多模态遥感影像变化检测模型。
在一些实施例中，所述基于所述第一目标函数和所述第二目标函数对所述多模态遥感影像变化检测模型进行训练，包括：
根据所述第一目标函数、所述第二目标函数及各自对应的预设权重来构建得到联合目标函数；
基于所述联合目标函数对所述两个域转换器和所述两个变化决策器进行共同训练，得到训练后的多模态遥感影像变化检测模型。
在一些实施例中，所述两个域转换器包括第一影像域的第一域转换器和第二影像域的第二域转换器；所述基于所述第一目标函数和所述两个条件判别器对所述两个域转换器进行训练，包括：
利用所述第一域转换器和所述第二域转换器将各自输入的影像样本转换到对方所在影像域中，得到每个所述影像样本的转换影像；
利用所述第一域转换器和所述第二域转换器将各自输入的所述转换影像再次转换到原始影像域中，得到每个所述影像样本的重构影像；
利用对应影像域的所述条件判别器判别所述影像样本、所述转换影像和所述重构影像两两之间的未变化区域是否一致，以计算得到所述第一目标函数的值；
判断当前所述第一目标函数的值是否满足预设条件，若不满足，则根据所述第一目标函数的值调整所述两个域转换器中的网络参数，并进行下一次样本训练，直到得到的第一目标函数的值满足所述预设条件时，停止训练。
在一些实施例中，所述第一目标函数包括所述第一域转换器和所述第二域转换器之间的循环一致性损失函数、及所述第一域转换器和所述第二域转换器各自对应的基于Wasserstein距离度量的对抗损失函数；所述第一目标函数的表达式为：
其中，
为所述第一目标函数，
表示所述第一域转换器G与第二条件判别器D2Y之间的对抗损失函数；
表示所述第二域转换器F与第一条件判别器D1X之间的对抗损失函数；
表示所述循环一致性损失函数，
和
分别表示所述第一域转换器G和所述第二域转换器F各自的跨域一致性损失函数；
表示所述第一域转换器G到所述第二域转换器F的自身一致性损失函数；
表示所述第二域转换器F到所述第一域转换器G的自身一致性损失函数。
在一些实施例中，所述孪生神经网络包括两个特征提取层和一个决策层，以用于构建得到所述变化决策器；利用所述变化决策器对跨域转换至同一影像域的两个影像进行变化检测，包括：
通过所述两个特征提取层对同一影像域中的初始遥感影像和经过所述跨域转换后得到的转换影像分别进行特征提取，得到两张特征图；
通过所述决策层计算所述两张特征图中相同位置的各个像素对之间的欧氏距离，并基于所述欧氏距离判断对应像素是否属于变化区域，以获得当前所述同一影像域中的变化检测图。
在一些实施例中，所述第二目标函数根据像素级对比损失函数构建得到；所述像素级对比损失函数的表达式为：
其中，S表示所述孪生神经网络；
表示当前影像域的像素级对比损失函数；W和H分别表示当前影像域中的特征图影像的宽度和高度；
表示两张特征图影像上位于
位置的像素对之间的欧氏距离；
和
分别表示未变化区域和变化区域的像素分布权重；
表示二值化参考变化标注图中位于
位置的像素的灰度值；m表示预设的像素级欧式距离阈值。
本申请的实施例还提供一种多模态遥感影像变化检测方法，包括：
将采集的两张不同模态遥感影像进行预处理，得到两张预处理影像；
将所述两张预处理影像输入至所述多模态遥感影像变化检测模型中，输出得到两个影像域各自的变化检测图；其中，所述多模态遥感影像变化检测模型采用上述的多模态遥感影像变化检测模型生成方法得到；
根据两个影像域的所述变化检测图计算得到所述两张不同模态遥感影像之间的变化检测图。
本申请的实施例还提供一种终端设备，所述终端设备包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施上述的多模态遥感影像变化检测模型生成方法或多模态遥感影像变化检测方法。
本申请的实施例还提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上执行时，实施上述的多模态遥感影像变化检测模型生成方法或多模态遥感影像变化检测方法。
本申请的实施例具有如下有益效果：
本实施例的多模态遥感影像变化检测模型生成方法通过利用循环一致性对抗网络构建得到两个域转换器和两个条件判别器并利用双孪生神经网络来分别构建得到两个变化决策器，进而构建得到并联式多网络的一体化模型，其中，基于循环一致性对抗学习来进行跨域转换，可有效消除多模态遥感图像间的影像域差异，为变化检测任务提供可靠数据；同时，引入全卷积孪生神经网络实现影像的像素级变化决策，可以提升变化检测的精度等。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例的多模态遥感影像变化检测模型生成方法的流程示意图；
图2示出了本申请实施例的多模态遥感影像变化检测模型生成方法的域转换器训练的流程示意图；
图3示出了本申请实施例的多模态遥感影像变化检测模型生成方法的变化决策器训练的流程示意图；
图4示出了本申请实施例的多模态遥感影像变化检测模型的结构示意图；
图5示出了本申请实施例的多模态遥感影像变化检测方法的流程示意图；
图6示出了本申请实施例的多模态遥感影像变化检测模型生成装置的结构示意图；
图7示出了本申请实施例的多模态遥感影像变化检测装置的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
由于多模态遥感影像的成像机理、观测特征均不同，这给变化检测带来了一定的困难与挑战，主要表现为：（1）不同时间通过不同传感器、不同波段、不同观测角度对同一地理位置获取的多个遥感影像间存在显著的几何形变，影像配准是变化检测实现的基础。（2）异源遥感影像在色彩分布、纹理特征和上下文信息上有着明显的辐射特征差异，也就是说，对于经过精准配准的两期遥感影像，由于光照条件、大气条件、获取时间以及传感器的不同，导致影像无论是在变化还是未变化区域，其颜色分布、纹理特征和上下文信息都有着明显的辐射特征差异，而这种影像间的域差异会显著影响变化检测的效果。（3）多模态遥感影像的域差异、影像噪声和信息冗余等制约了现有变化检测方法的普适性及应用效果等。
为解决上述至少一种难题，本申请实施例提出一种多模态遥感影像变化检测模型，通过引入循环一致性对抗网络和孪生神经网络来共同构建并联式多网络的一体化变化检测模型，不仅可以有效消除不同模态遥感影像之间的域差异，以保证跨域转换的转换精度，还可以实现从跨域转换、特征提取再到变化决策等一系列操作，从而实现端到端的变化检测任务。
实施例1
请参照图1，本实施例提出一种多模态遥感影像变化检测模型生成方法，该多模态遥感影像变化检测模型包含两个域转换器和两个变化决策器，不仅可以有效消失多模态遥感图像间的影像域差异，还可以实现一体化的多模态跨域影像之间的变化检测。
示范性地，该多模态遥感影像变化检测模型主要包括两个域转换器、两个条件判别器和两个变化决策器，其中，同一影像域的域转换器和变化决策器为串行设置，不同影像域之间为并联设置，从而形成一体化结构。下面对该多模态遥感影像变化检测模型的生成方法进行说明。如图1所示，该生成方法包括：
步骤S110，利用循环一致性对抗网络构建两个域转换器和两个条件判别器，其中，该域转换器用于不同模态遥感影像之间的跨域转换，条件判别器用于进行跨域转换时的条件判别。
其中，上述的循环一致性对抗网络是基于循环一致性机制生成的对抗网络（GAN）。根据循环一致性机制的理论，在理想的跨域转换过程中，输入影像和转换后的输出影像中未变化的区域应该类似；另一方面，将转换后的影像再重新转换到原来的影像域中，得到的重建影像应当和最初的输入影像应该一致。为保证在不丢失影像信息的前提下实现跨域转换，例如，在一种实施方式中，该对抗网络将以残差模块ResNet为基础来构建得到上述的域转换器，例如，一个域转换器可由6-12个ResNet模块等构建。
本实施例中，利用循环一致性对抗网络来构建变化检测模型中的两个不同影像域的域转换器和条件判别器，可用于消除输入遥感影像间色彩分布、纹理特征和上下文信息之间的差异，以避免发生“同物异谱”和“同谱异物”的情况。
其中，上述的不同模态遥感影像主要指来自不同拍摄时期的经过配准的两期遥感影像，由于两者的色彩分布、纹理特征和上下文信息有着明显的差异，它们可以被看作一对内容部分相似但域特征不同的异源遥感影像。
上述的跨域转换是指将一个影像域中的遥感影像转换到另一影像域中。假设两个域转换器分别为第一域转换器和第二域转换器，示范性地，利用两个域转换器进行不同模态遥感影像之间的跨域转换，包括：利用第一域转换器将第一影像域中的遥感影像转换至第二影像域中，以及利用第二域转换器将第二影像域中的遥感影像转换至第一影像域中，这样可得到位于第二影像域中的第一转换影像和位于第一影像域中的第二转换影像。
为了训练构建的两个域转换器，本实施例还将构建对应于两个域转换器的只针对未变化区域的两个条件判别器。示范性地，这两个条件判别器可用于判别对应影像域的域转换器的输入影像与输出影像的未变化区域，进而可计算出当前域转换器在进行跨域转换时的损失情况。
对于变化检测任务，只有未变化区域可以作为域转换的参考真值，在后向传播的过程中，使用一般的判别器会导致变化区域也实现像素级映射，这样的训练方式会迫使域转换器在转换域的同时，将变化区域的固有信息也修改了，将会降低域转换器的训练精度，最终影响变化检测的效果。为此，本实施例中，将设计用于训练的两个条件判别器，参照变化标注图，仅对两期影像中未变化的区域进行判别，使得域转换器也只根据未变化区域的图像特征进行域转换，从而很好地保障域转换器的训练精度。
步骤S120，构建跨域转换对应的第一目标函数。
其中，这里的目标函数也称损失函数，主要是为了评价各个域转换器在进行跨域转换时产生的损失情况，以便不断更新用于构建这两个域转换器的网络参数。可以理解，第一目标函数中的“第一”仅用于与后文的变化检测对应的损失函数进行区分。
考虑到原生对抗网络结构通常采用KL散度或JS散度构建损失函数，但在实际运用中会出现梯度消失、梯度不稳定、模式崩溃等问题，为此，本实施例还引入了Wasserstein距离度量进行跨域转换的损失判别。Wasserstein距离相对KL散度与JS散度具有优越的平滑特性，可计算得到两个影像域的连续差距，解决了传统训练不稳定、梯度消失的难题，提供了一个可靠的训练进程指标，进而提高了训练质量。
本实施例中，该第一目标函数主要包括两大类损失，分别是第一域转换器和第二域转换器之间的循环一致性损失，以及第一域转换器和第二域转换器各自对应的基于Wasserstein距离度量的对抗损失。其中，循环一致性损失可防止学习到的两个域转换器相互矛盾，而对抗损失可使源域生成的影像更接近于目标域。
在一种实施方式中，该第一目标函数的表达式为：
其中，
为第一目标函数，G和D1X（简写为D1）分别表示第一影像域中的第一域转换器和对应的第一条件判别器；F和D2Y（简写为D2）分别表示第二影像域中的第二域转换器和对应的第二条件判别器；
表示第一域转换器G与第二条件判别器D2之间的对抗损失函数；
表示第二域转换器F与第一条件判别器D1之间的对抗损失函数；
表示两个域转换器G和F之间的循环一致性损失函数。函数
表示f取最小值时，求解的第一变量i的取值；以及f取最大值时，求解的第二变量j的取值。
（a）对于上述的对抗损失函数
和
，由于第一域转换器G将第一影像域（T1域）的影像x转换到第二影像域（T2域），第二域转换器F将T2域的影像y转换到T1域，而两个条件判别器D1和D2分别试图在各自所在影像域内分别辨别转换的影像和原始影像，于是在模型训练过程中，两个域转换器G和F试图减小域转换时的损失值，但两个条件判别器D1和D2试图增大域转换时的损失值，因此这里将两个对抗过程表示为
和
。
示范性地，两个对称的基于Wasserstein距离的对抗损失结构表达式为：
其中
表示影像x经过第一域转换器G的转换影像；
表示影像y经过第二域转换器F的转换影像；
表示期望值。
（b）对于上述的两个域转换器G和F之间的循环一致性损失
，包括两种，分别是跨域一致性损失和自身一致性损失，即有：
其中，
分别表示第一域转换器G和第二域转换器F各自的跨域一致性损失函数；
表示第一域转换器G到第二域转换器F的自身一致性损失函数；
表示第二域转换器F到第一域转换器G的自身一致性损失函数。
可以理解，上述的跨域一致性损失
是一种像素级的距离测度，用于只对成对影像上的未变化区域进行限制；而自身一致性损失
则可保证影像能够在依次通过两个转换器后能重新映射回原始的输入影像。在一种实施方式中，这两种损失函数均可采用L1损失函数构建得到。
可以理解，上述的域转换器的输入影像及输出影像将作为变化检测的基础数据，为此，还需要对变化决策器进行构建以进行像素级变化检测。
步骤S130，利用孪生神经网络构建不同影像域的两个变化决策器，其中，该变化决策器用于对跨域转换至同一影像域的两个影像进行像素级变化检测。
其中，上述的孪生神经网络，又名双生神经网络，是基于两个神经网络建立的耦合构架。本实施例中，利用孪生神经网络构建变化决策器，以用于对同一影像域中的两张影像分别进行基于权值共享的特征提取及像素级变化区域判定操作。值得注意的是，本实施例的孪生神经网络将采用全卷积神经网络和像素级距离测度来替代传统的孪生网络采用卷积神经网络和向量级距离测度，以用于检测图像像素级差异性，其中的像素级距离测度主要用来测量成对的像素之间的相似性。这样可以进一步提高变化检测精准度。
在一种实施方式中，用于构建变化决策器的该孪生神经网络可包括共享权值的两个特征提取层和一个决策层。示范性地，利用变化决策器对跨域转换至同一影像域的两个影像进行变化检测，包括：通过两个特征提取层对同一影像域中的初始遥感影像和由另一影像域转换得到的转换影像分别进行特征提取，得到两张特征图。进而，通过决策层计算这两张特征图中相同位置的各个像素对之间的欧氏距离，并基于所述欧氏距离判断对应像素属于变化区域的概率，以获得当前影像域中的变化预测图，也即输出的变化检测图。
对于上述的像素属于变化区域的概率，可采用如下方式计算：
其中，P(i，j)表示位于(i，j)的像素属于变化区域的概率，其值趋近于0 时，表示该像素属于未变化区域，趋近于 1 时，表示该像素属于变化区域，P 1(i，j)和P 2(i，j)分别表示在T1域和T2域的概率。m表示预设的像素级欧式距离阈值，
表示 L2 距离测度。
表示输入到变化决策器S1中的T1域中的输入影像； 
表示原位于T2域的影像经过第二域转换器F转换到T1域的转换影像；
表示输入到变化决策器S2中的T2域中的输入影像； 
表示原位于T1域的影像经过第一域转换器G转换到T2域的转换影像。
步骤S140，构建变化检测对应的第二目标函数。
其中，该第二目标函数主要是为了评价经过变化决策器输出的变化预测图和变化参考真值之间的对比损失情况，以便不断更新用于构建这两个域的孪生神经网络的参数，以获得训练后的变化决策器。
以一个变化决策器为例，在一种实施方式中，第二目标函数的表达式为：
其中，S表示该孪生神经网络，也可表示变化决策器；
表示当前影像域的像素级对比损失函数；W和H分别表示当前影像域中的特征图影像的宽度和高度；
表示两张特征图影像上位于
位置的像素对之间的欧氏距离；
和
分别表示未变化区域和变化区域的像素分布权重，例如，可利用全局平均平衡算法来计算得到。
表示二值化参考变化标注图中位于
位置的像素的灰度值。
对于上述的欧氏距离
，其计算公式如下：
于是，构建出该多模态遥感影像变化检测模型的结构及损失函数后，还需要对该模型进行训练后，才能够进行使用。
步骤S150，基于该第一目标函数和第二目标函数对该多模态遥感影像变化检测模型进行训练，得到训练后的多模态遥感影像变化检测模型。
其中，训练后的多模态遥感影像变化检测模型将用于部署到实际***中，以便对后续采集到的不同模态的遥感影像进行变化检测，从而得到该不同模态遥感影像之间的变化检测结果。
为得到训练后的多模态遥感影像变化检测模型，示范性地，可分别对前级的两个域转换器和后级的两个变化决策器进行训练，再利用训练好的域转换器与变化决策器结合，生成训练后的多模态遥感影像变化检测模型。
在一种实施方式中，上述步骤S150包括：基于第一目标函数和两个条件判别器对两个域转换器进行训练，得到训练后的两个域转换器；基于第二目标函数对每个变化决策器进行训练，分别得到训练后的变化决策器；将训练好的域转换器与同一影像域的训练好的变化决策器先串联后并联设置，得到训练后的模型。
下面对上述的域转换器的训练过程进行说明。若两个域转换器分别定义为在第一影像域（T1域）的第一域转换器G和第二影像域（T2域）的第二域转换器F，如图2所示，该训练过程包括：
利用第一域转换器G和第二域转换器F将各自输入的影像样本A和B转换到对方所在影像域中，得到每个影像样本的转换影像；接着，利用第一域转换器G和第二域转换器F将各自输入的转换影像再次转换到原始影像域中，得到每个影像样本的重构影像。
在每个影像域中，利用对应影像域中的条件判别器D1和D2判别该影像样本、转换影像和重构影像两两之间的未变化区域是否一致，以得到对应的判别图；并根据上述构建的第一目标函数来计算得到该第一目标函数的值。其中，这里将采用Wasserstein距离度量进行对抗损失计算。
然后，判断当前第一目标函数的值是否满足预设条件，其中，该预设条件可根据实际需求来设定。若不满足，则根据当前第一目标函数的值调整这两个域转换器的网络参数，并进行下一次影像样本训练，直到得到的第一目标函数的值满足上述预设条件时，停止训练。
下面对上述的变化决策器的训练过程进行说明。以一个影像域中的变化决策器进行举例，如图3所示，该变化决策器由全卷积孪生神经网络构建得到，其中包括两个用于特征提取的相同神经网络（CNN）。
将经过配准和跨域转换的不同时相的两个影像样本分别输入两个CNN网络中以进行特征提取，可得到两张特征图；进而，计算特征图之间的像素级欧氏距离，并判断该像素属于变化区域的概率以得到对应的概率分布，从而获得变化预测图。通过计算该变化预测图与参考变化标注图之间的对比损失，即计算出第二目标函数的值，以不断更新该变化决策器的网络参数，直到最后计算到的第二目标函数的值满足预设条件，此时将得到训练好的变化决策器。
于是，如图4所示，最后将训练好的在同一影像域中的域转换器与变化决策器串行设置，之后将两个影像域进行并行设置，以形成并联式的多网络的一体化模型。
其中，在进行模型训练时，作为一种可选的实施方式，对于上述步骤S150，还可以采用整体模型训练的方式来对该多模态遥感影像变化检测模型进行训练，即利用构建得到的第一目标函数和第二目标函数来联合训练，即根据上述的第一目标函数、第二目标函数及各自对应的预设权重来构建得到一个联合目标函数。进而，基于该联合目标函数对模型中的两个域转换器和两个变化决策器进行共同训练，以得到训练后的多模态遥感影像变化检测模型。例如，在一种实施方式中，该联合目标函数可设为：
其中，S1和S2分别表示两个影像域中的变化决策器，也为孪生神经网络；
分别为对应损失函数的权重值，具体可根据实际需求来设定，在此并不作限定。
本实施例的多模态遥感影像变化检测模型生成方法通过结合循环一致性对抗网络及双孪生神经网络来构建得到并联式多网络的一体化模型，其中，基于循环一致性对抗学习和Wasserstein距离度量的跨域遥感影像转化，可在缺少成对标注数据的情况下，实现从源数据域到目标域的映射；同时采用对抗损失来学习映射，设计了仅针对未变化区域的条件判别器，并采用Wasserstein距离度量进行损失判别，实现源域和目标域数据在特征空间对齐，有效消失多模态遥感图像间的影像域差异，为变化检测任务提供可靠数据；还引入全卷积孪生神经网络实现影像的像素级变化决策，可以提升变化检测的精度等。
实施例2
请参照图5，本实施例提出一种多模态遥感影像变化检测方法，可用于对不同时相的多模态遥感影像进行变化检测。示范性地，该方法包括：
步骤S210，将采集的两张不同模态原始遥感影像进行预处理，得到两张预处理影像。
考虑到不同时期下对同一地理位置拍摄得到的多个遥感影像之间往往存在几何形变，为了保证变化检测的准确，在进入变化检测之前，还需要进行几何纠正操作，也称图像配准。示范性地，该预处理可包括但不限于包括几何校正、定标及大气校正等操作。通过对采集的最原始的遥感影像进行几何纠正处理后，可得到在几何上相互配准的两张预处理图像。
步骤S220，将该两张预处理影像输入至多模态遥感影像变化检测模型中，输出得到两个影像域各自的变化检测图。
其中，该多模态遥感影像变化检测模型可采用上述实施例1的方法得到，这里不再重复描述。示范性地，将经过配准的这两张预处理图像输入到已训练好的多模态遥感影像变化检测模型中，可预测输出两张变化检测图。
在一种实施方式中，该多模态遥感影像变化检测模型将利用两个域转换器和两个条件判别器来分别对这两张预处理影像进行跨域转换处理，以得到各自在对方所在影像域中的转换影像；进而，利用各自所在影像域的变化决策器来对同一影像域的预处理影像和转换影像进行变化检测，从而输出得到两个影像域各自的变化检测结果。
步骤S230，根据两个影像域的变化检测图计算得到该两张不同模态遥感影像之间的变化检测图。
考虑到不同影像域中的两张变化检测图可能会存在一些差异，示范性地，对于得到的两张变化检测图，可通过均值处理等方式来计算得到最终的变化检测图。
本实施例的多模态遥感影像变化检测方法对采集的原始遥感影像进行配准处理等，并采用上述的多模态遥感影像变化检测模型对经过配准处理的遥感影像进行变化检测，可以有效消除遥感图像间的影像域差异，为后续的变化检测提供了可靠数据；最后综合两个影像域中的变化检测结果来得到最终的变化检测结果，可以进一步提升变化检测的精准度等。
实施例3
请参照图6，基于上述实施例1的方法，本实施例提出一种多模态遥感影像变化检测模型生成装置100，其中，该多模态遥感影像变化检测模型包括两个域转换器、两个条件判别器和两个变化决策器。示范性地，该多模态遥感影像变化检测模型生成装置100包括：
域转换构建模块110，用于利用循环一致性对抗网络构建所述两个域转换器和所述两个条件判别器；其中，所述域转换器用于不同模态遥感影像之间的跨域转换，所述条件判别器用于进行所述跨域转换时的条件判别。
目标函数构建模块120，用于构建所述跨域转换对应的第一目标函数；
变化决策器构建模块130，用于利用孪生神经网络构建不同影像域的所述两个变化决策器，所述变化决策器用于对跨域转换至同一影像域的两个影像进行变化检测。
目标函数构建模块120，还用于构建所述变化检测对应的第二目标函数。
模型训练模块140，用于基于所述第一目标函数和所述第二目标函数对所述多模态遥感影像变化检测模型进行训练，得到训练后的多模态遥感影像变化检测模型。
可以理解，本实施例的装置对应于上述实施例1的方法，上述实施例1中的可选项同样适用于本实施例，故在此不再重复描述。
实施例4
请参照图7，基于上述实施例2的方法，本实施例提出一种多模态遥感影像变化检测装置200，该多模态遥感影像变化检测装置200采用上述实施例1中的方法生成的多模态遥感影像变化检测模型进行变化检测。示范性地，该多模态遥感影像变化检测装置200包括：
预处理模块210，用于将采集的两张不同模态遥感影像进行预处理，得到两张预处理影像。
变化检测模块220，用于将两张预处理影像输入至多模态遥感影像变化检测模型中，输出得到两个影像域各自的变化检测图。
计算模块230，用于根据两个影像域的变化检测图计算得到所述两张不同模态遥感影像之间的变化检测图。
可以理解，本实施例的装置对应于上述实施例2的方法，上述实施例2中的可选项同样适用于本实施例，故在此不再重复描述。
本申请还提供了一种终端设备，例如，该终端设备可为计算机、服务器等。示范性地，该终端设备包括存储器和处理器，其中，存储器存储有计算机程序，处理器通过运行所述计算机程序，从而使终端设备执行上述方法或者上述装置中的各个模块的功能。
本申请还提供了一种可读存储介质，用于储存上述终端设备设备中使用的所述计算机程序。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是智能手机、个人计算机、服务器、或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种多模态遥感影像变化检测模型生成方法，其特征在于，所述多模态遥感影像变化检测模型包括两个域转换器、两个条件判别器和两个变化决策器；该生成方法包括：
利用循环一致性对抗网络构建所述两个域转换器和所述两个条件判别器，所述域转换器用于不同模态遥感影像之间的跨域转换，所述条件判别器用于进行所述跨域转换时的条件判别；
构建所述跨域转换对应的第一目标函数；
利用孪生神经网络构建不同影像域的所述两个变化决策器，所述变化决策器用于对跨域转换至同一影像域的两个影像进行像素级变化检测；
构建所述变化检测对应的第二目标函数；
基于所述第一目标函数和所述第二目标函数对所述多模态遥感影像变化检测模型进行训练，得到训练后的多模态遥感影像变化检测模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一目标函数和所述第二目标函数对所述多模态遥感影像变化检测模型进行训练，包括：
基于所述第一目标函数和所述两个条件判别器对所述两个域转换器进行训练，得到训练后的所述两个域转换器；
基于所述第二目标函数对每个所述变化决策器进行训练，分别得到训练后的所述变化决策器；
将训练后的所述域转换器与同一影像域的所述变化决策器先串行后并行设置，得到训练后的所述多模态遥感影像变化检测模型。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一目标函数和所述第二目标函数对所述多模态遥感影像变化检测模型进行训练，包括：
根据所述第一目标函数、所述第二目标函数及各自对应的预设权重来构建得到联合目标函数；
基于所述联合目标函数对所述两个域转换器和所述两个变化决策器进行共同训练，得到训练后的多模态遥感影像变化检测模型。
4.根据权利要求2所述的方法，其特征在于，所述两个域转换器包括第一影像域的第一域转换器和第二影像域的第二域转换器；所述基于所述第一目标函数和所述两个条件判别器对所述两个域转换器进行训练，包括：
利用所述第一域转换器和所述第二域转换器将各自输入的影像样本转换到对方所在影像域中，得到每个所述影像样本的转换影像；
利用所述第一域转换器和所述第二域转换器将各自输入的所述转换影像再次转换到原始影像域中，得到每个所述影像样本的重构影像；
利用对应影像域的所述条件判别器判别所述影像样本、所述转换影像和所述重构影像两两之间的未变化区域是否一致，以计算得到所述第一目标函数的值；
判断当前所述第一目标函数的值是否满足预设条件，若不满足，则根据所述第一目标函数的值调整所述两个域转换器中的网络参数，并进行下一次样本训练，直到得到的第一目标函数的值满足所述预设条件时，停止训练。
5.根据权利要求4所述的方法，其特征在于，所述第一目标函数包括所述第一域转换器和所述第二域转换器之间的循环一致性损失函数、及所述第一域转换器和所述第二域转换器各自对应的基于Wasserstein距离度量的对抗损失函数；所述第一目标函数的表达式为：
其中，
为所述第一目标函数，
表示所述第一域转换器G与第二条件判别器D2Y之间的对抗损失函数；
表示所述第二域转换器F与第一条件判别器D1X之间的对抗损失函数；
表示所述循环一致性损失函数，
和
分别表示所述第一域转换器G和所述第二域转换器F各自的跨域一致性损失函数；
表示所述第一域转换器G到所述第二域转换器F的自身一致性损失函数；
表示所述第二域转换器F到所述第一域转换器G的自身一致性损失函数。
6.根据权利要求1所述的方法，其特征在于，所述孪生神经网络包括两个特征提取层和一个决策层，以用于构建所述变化决策器；利用所述变化决策器对跨域转换至同一影像域的两个影像进行变化检测，包括：
通过所述两个特征提取层对同一影像域中的初始遥感影像和经过所述跨域转换后得到的转换影像分别进行特征提取，得到两张特征图；
通过所述决策层计算所述两张特征图中相同位置的各个像素对之间的欧氏距离，并基于所述欧氏距离判断对应像素是否属于变化区域，以获得当前所述同一影像域中的变化检测图。
7.根据权利要求6所述的方法，其特征在于，所述第二目标函数根据像素级对比损失函数构建得到；所述像素级对比损失函数的表达式为：
其中，S表示所述孪生神经网络；
表示当前影像域的像素级对比损失函数；W和H分别表示当前影像域中的特征图影像的宽度和高度；
表示两张特征图影像上位于
位置的像素对之间的欧氏距离；
和
分别表示未变化区域和变化区域的像素分布权重；
表示二值化参考变化标注图中位于
位置的像素的灰度值；m表示预设的像素级欧式距离阈值。
8.一种多模态遥感影像变化检测方法，其特征在于，包括：
将采集的两张不同模态遥感影像进行预处理，得到两张预处理影像；
将所述两张预处理影像输入至所述多模态遥感影像变化检测模型中，输出得到两个影像域各自的变化检测图；其中，所述多模态遥感影像变化检测模型采用如权利要求1-7中任一项所述的方法生成；
根据两个影像域的所述变化检测图计算得到所述两张不同模态遥感影像之间的变化检测图。
9.一种终端设备，其特征在于，所述终端设备包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施权利要求1至8中任一项所述的方法。
10.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上执行时，实施根据权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110847669.4A CN113298056A (zh) | 2021-07-27 | 2021-07-27 | 多模态遥感影像变化检测方法、模型生成方法和终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110847669.4A CN113298056A (zh) | 2021-07-27 | 2021-07-27 | 多模态遥感影像变化检测方法、模型生成方法和终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113298056A true CN113298056A (zh) | 2021-08-24 |
Family
ID=77331109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110847669.4A Pending CN113298056A (zh) | 2021-07-27 | 2021-07-27 | 多模态遥感影像变化检测方法、模型生成方法和终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113298056A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215085A (zh) * | 2020-09-17 | 2021-01-12 | 云南电网有限责任公司昆明供电局 | 一种基于孪生网络的输电走廊异物检测方法及*** |
| CN112801037A (zh) * | 2021-03-01 | 2021-05-14 | 山东政法学院 | 一种基于连续帧间差异的人脸篡改检测方法 |
| CN114419464A (zh) * | 2022-03-29 | 2022-04-29 | 南湖实验室 | 一种基于深度学习的孪生网络变化检测模型 |
| CN115797163A (zh) * | 2023-02-13 | 2023-03-14 | 中国人民解放***箭军工程大学 | 一种基于遥感影像的目标数据跨域反演增广方法 |
| CN116384494A (zh) * | 2023-06-05 | 2023-07-04 | 安徽思高智能科技有限公司 | 基于多模态孪生神经网络的rpa流程推荐方法及*** |
| CN117372885A (zh) * | 2023-09-27 | 2024-01-09 | 中国人民解放军战略支援部队信息工程大学 | 基于孪生U-Net神经网络的多模态遥感数据变化检测方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126482A (zh) * | 2019-12-23 | 2020-05-08 | 自然资源部国土卫星遥感应用中心 | 一种基于多分类器级联模型的遥感影像自动分类方法 |
| CN111539316A (zh) * | 2020-04-22 | 2020-08-14 | 中南大学 | 基于双注意力孪生网络的高分遥感影像变化检测方法 |
| CN111640159A (zh) * | 2020-05-11 | 2020-09-08 | 武汉大学 | 一种基于孪生卷积神经网络的遥感影像变化检测方法 |
| CN112488025A (zh) * | 2020-12-10 | 2021-03-12 | 武汉大学 | 基于多模态特征融合的双时相遥感影像语义变化检测方法 |
-
2021
- 2021-07-27 CN CN202110847669.4A patent/CN113298056A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126482A (zh) * | 2019-12-23 | 2020-05-08 | 自然资源部国土卫星遥感应用中心 | 一种基于多分类器级联模型的遥感影像自动分类方法 |
| CN111539316A (zh) * | 2020-04-22 | 2020-08-14 | 中南大学 | 基于双注意力孪生网络的高分遥感影像变化检测方法 |
| CN111640159A (zh) * | 2020-05-11 | 2020-09-08 | 武汉大学 | 一种基于孪生卷积神经网络的遥感影像变化检测方法 |
| CN112488025A (zh) * | 2020-12-10 | 2021-03-12 | 武汉大学 | 基于多模态特征融合的双时相遥感影像语义变化检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| WEI LIU ET.AL: "An Unsupervised Domain Adaptation Method for Multi-Modal Remote Sensing Image Classification", 《2018 26TH INTERNATIONAL CONFERENCE ON GEOINFORMATICS》 * |
| 方博: "对抗学习在光学遥感影像分类及变化检测中的方法研究", 《中国优秀博硕士学位论文全文数据库(博士)基础科学辑》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215085A (zh) * | 2020-09-17 | 2021-01-12 | 云南电网有限责任公司昆明供电局 | 一种基于孪生网络的输电走廊异物检测方法及*** |
| CN112801037A (zh) * | 2021-03-01 | 2021-05-14 | 山东政法学院 | 一种基于连续帧间差异的人脸篡改检测方法 |
| CN114419464A (zh) * | 2022-03-29 | 2022-04-29 | 南湖实验室 | 一种基于深度学习的孪生网络变化检测模型 |
| CN114419464B (zh) * | 2022-03-29 | 2022-07-26 | 南湖实验室 | 一种基于深度学习的孪生网络变化检测模型的构建方法 |
| CN115797163A (zh) * | 2023-02-13 | 2023-03-14 | 中国人民解放***箭军工程大学 | 一种基于遥感影像的目标数据跨域反演增广方法 |
| CN116384494A (zh) * | 2023-06-05 | 2023-07-04 | 安徽思高智能科技有限公司 | 基于多模态孪生神经网络的rpa流程推荐方法及*** |
| CN116384494B (zh) * | 2023-06-05 | 2023-08-08 | 安徽思高智能科技有限公司 | 基于多模态孪生神经网络的rpa流程推荐方法及*** |
| CN117372885A (zh) * | 2023-09-27 | 2024-01-09 | 中国人民解放军战略支援部队信息工程大学 | 基于孪生U-Net神经网络的多模态遥感数据变化检测方法及*** |
| CN117372885B (zh) * | 2023-09-27 | 2024-06-25 | 中国人民解放军战略支援部队信息工程大学 | 基于孪生U-Net神经网络的多模态遥感数据变化检测方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113298056A (zh) | 多模态遥感影像变化检测方法、模型生成方法和终端设备 | |
| US20190294970A1 (en) | Systems and methods for polygon object annotation and a method of training an object annotation system | |
| Touati et al. | An energy-based model encoding nonlocal pairwise pixel interactions for multisensor change detection | |
| Li et al. | Generalizing to the open world: Deep visual odometry with online adaptation | |
| US11354772B2 (en) | Cross-modality image generation | |
| JP4689758B1 (ja) | 画像一致点検出装置、画像一致点検出方法および記録媒体 | |
| US11740321B2 (en) | Visual inertial odometry health fitting | |
| JP6565600B2 (ja) | アテンション検出装置及びアテンション検出方法 | |
| CN108428220A (zh) | 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法 | |
| JP2014523572A (ja) | 地図データの生成 | |
| Li et al. | Bifnet: Bidirectional fusion network for road segmentation | |
| EP3012781A1 (en) | Method and apparatus for extracting feature correspondences from multiple images | |
| CN111144213A (zh) | 一种对象检测方法和相关设备 | |
| US20230206594A1 (en) | System and method for correspondence map determination | |
| CN111553296B (zh) | 一种基于fpga实现的二值神经网络立体视觉匹配方法 | |
| CN116612468A (zh) | 基于多模态融合与深度注意力机制的三维目标检测方法 | |
| El Bouazzaoui et al. | Enhancing RGB-D SLAM performances considering sensor specifications for indoor localization | |
| Yu et al. | Slurp: Side learning uncertainty for regression problems | |
| Cantrell et al. | Practical Depth Estimation with Image Segmentation and Serial U-Nets. | |
| CN114067251B (zh) | 一种无监督监控视频预测帧异常检测方法 | |
| WO2021051382A1 (zh) | 白平衡处理方法和设备、可移动平台、相机 | |
| CN110942097A (zh) | 基于单像素探测器的免成像分类方法和*** | |
| CN111275751B (zh) | 一种无监督绝对尺度计算方法及*** | |
| CN114913472A (zh) | 一种联合图学习与概率传播的红外视频行人显著性检测方法 | |
| CN108564594A (zh) | 一种目标物体三维空间运动距离计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210824 |