CN115129917B - 一种基于模态共有特征的光学-sar遥感图像跨模态检索方法 - Google Patents
一种基于模态共有特征的光学-sar遥感图像跨模态检索方法 Download PDFInfo
- Publication number
- CN115129917B CN115129917B CN202210630103.0A CN202210630103A CN115129917B CN 115129917 B CN115129917 B CN 115129917B CN 202210630103 A CN202210630103 A CN 202210630103A CN 115129917 B CN115129917 B CN 115129917B
- Authority
- CN
- China
- Prior art keywords
- image
- optical
- sar
- modal
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000003287 optical effect Effects 0.000 claims abstract description 67
- 230000006870 function Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 230000010287 polarization Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100153586 Caenorhabditis elegans top-1 gene Proteins 0.000 description 1
- 101100370075 Mus musculus Top1 gene Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Biophysics (AREA)
- Nonlinear Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于模态共有特征的光学‑SAR遥感图像跨模态检索方法，该方法利用通道随机替换以及引导滤波对光学与SAR遥感图像颜色以及细节纹理等表观差异进行消减，生成新的图像，并利用新生成的图像辅助原图训练。将原始光学图像与新生成的光学图像送入相同网络，原始SAR图像与新生成的SAR图像送入相同网络，利用多向约束损失函数约束四组特征之间的距离关系，使得四组特征两两之间均满足正样本对距离小于负样本对距离，使得网络初步具备提取模态共有特征能力。该方法能够更好地提取光学与SAR遥感图像中结构特征，语义特征等模态共有特征，从而减小模态差异对检索任务造成的影响，实现高精度光学‑SAR遥感图像跨模态检索。
Description
技术领域
本发明属于计算机视觉领域，特别涉及基于模态共有特征的光学-SAR遥感图像跨模态检索方法。
背景技术
基于内容的遥感图像检索技术是利用查询图像，从大规模遥感图像数据库中查找到与查询图像属于同一目标区域的其他遥感图像。遥感图像检索在地理定位与导航，自然灾害抢险救灾以及遥感图像配准融合等领域具有十分重要的意义。常规的遥感图像检索研究主要集中在光学遥感图像，然而在光照不足，存在云雾遮挡或恶劣天气等环境下，光学遥感图像成像质量会受到极大的影响，无法满足检索的需求。SAR卫星成像具有全天时、全天候、不受大气和气候影响等优点，甚至在极端气候条件下是唯一可靠的数据来源，当某些地区缺少高质量光学数据库图像时，可以使用SAR图像构建数据库，并完成对光学查询图像的检索。因此，如何有效提取光学与SAR遥感图像特征，准确度量图像间的相似程度，实现高精度跨模态检索具有十分重要的理论研究意义与实际应用价值。目前，光学-SAR遥感图像跨模态检索还甚少有人研究，该任务主要存在着如下挑战：光学与SAR遥感图像成像机理不同，光学图像反映的是地物可见光波段特性，而SAR图像则反映地物介电常数和表面粗糙程度等特征，二者在颜色特征，细节纹理特征等方面都具有显著差异，网络提取得到的特征属于不同的特征空间，因此特征间的距离无法反映图像之间的相似程度，使得常规的检索算法无法取得较好的效果。针对上述问题，本发明提出了一种基于模态共有特征的光学-SAR遥感图像跨模态检索方法，提取光学-SAR遥感图像中结构特征以及语义特征等模态共有特征，从而减小模态差异对检索任务的影响，实现高精度光学-SAR遥感图像跨模态检索。
发明内容
针对现有技术中的不足，本发明的目的是提供一种基于模态共有特征的光学-SAR遥感图像跨模态检索方法，该方法能够更好地提取光学与SAR遥感图像中结构特征，语义特征等模态共有特征，从而减小模态差异对检索任务造成的影响，实现高精度光学-SAR遥感图像跨模态检索。
本发明提供的基于模态共有特征的光学-SAR遥感图像跨模态检索方法，包括以下步骤：
步骤1：对光学遥感图像xV，SAR遥感图像xS分别进行通道随机替换，光学图像通道随机替换表达式为：其中分别代表光学遥感图像的三个不同通道，SAR遥感图像通道随机替换表达式为： 其中/>分别为伪彩SAR图像的三个通道，对应SAR图像三种不同的极化方式。在训练的每一个批次中，以均等的概率选取/>以及/>中的一个作为新生成的光学图像/>同时以均等概率选取/>以及/>中的一个作为新生成的SAR图像/>
步骤2：将经过通道随机替换的光学图像以及SAR图像/>通过引导滤波消减细节纹理特征差异，得到/>以及/>其中，/>与/>分别为以及/>在引导滤波窗口中的对应位置像素值。/>其中，I为引导图像，ω为滤波窗口中像素数量，ωk代表滤波窗口，k代表滤波窗口中心所在位置，μk代表滤波窗口中像素均值，/>代表滤波窗口中像素方差，Ii与Ij为滤波窗口所在位置引导图像上对应位置的像素值，∈为一人为设置的略大于0的常数，防止分母为0。
步骤3：将步骤2中得到的新生成光学图像与原始光学图像xV送入光学特征提取网络G(V)中，得到特征/>将新生成的SAR图像/>以及原始SAR图像xS送入SAR特征提取网络G(S)中，得到特征/>其中，θV与θS分别为光学网络与SAR网络的网络参数，G(V)以及G(S)为结构完全相同，部分权重共享的跨模态伪孪生网络，具体结构为将特征提取网络ResNet50(Residual Neural Network of50layers)按照特征图感受野大小从前到深划分为5个模块，前2个模块权重共享，后3个模块权重不共享。
步骤4：将步骤3中得到的光学遥感图像特征FV以及SAR遥感图像特征FS分别送入特征模态鉴别器中，判断输入特征属于光学模态还是SAR模态，分别得到以及其中θD为特征模态鉴别器的网络参数，特征模块鉴别器使用两个全连接层构成。
步骤5：计算损失函数使得特征模态鉴别器可以准确分辨输入特征FV与FS所属的模态。
步骤6：利用反向传播的方式对网络进行训练，得到其中，η为训练时设置的学习率大小，θD为步骤4中特征模态鉴别器参数，/>为更新之后的特征模态鉴别器参数。
步骤7：利用步骤6中得到的更新后的鉴别器参数将特征提取网络得到的特征输入鉴别器得到/>以及/>
步骤8：计算多向约束损失函数多向约束损失函数用于约束步骤3中得到的四组特征之间的距离。其中V,/>S以及/>分别代表原始光学图像特征，新生成的光学图像特征，原始SAR图像特征以及新生成的SAR图像特征，四组特征两两之间需要满足距离约束，上述损失函数中总共包括6项单独的距离约束损失函数，每一项在结构上相同，以原始光学图像特征与原始SAR图像特征间的距离约束为例，其表达式为：其中，P与K分别为一个批次中类别数目与正样本数目，α为一人为设置的超参数，/>是原始光学特征，/>以及/>分别为作为正负样本的原始SAR特征。/>代表特征间的欧式距离的平方，[.]+在0处进行截断，大于0取值为其本身，小于0取值为0。通过上述损失函数，可以使得训练阶段在同一欧式空间中，对应同一目标区域的特征之间距离小于不同目标区域特征间的距离，从而在检索阶段可以将正负样本进行区分。
步骤9：计算损失函数使得特征模态鉴别器无法准确判别特征所属模态，增强网络提取模态共有特征能力。其中λ为一人为设的超参数，损失函数中的第二项代表参数更新后的特征模态鉴别器无法判断输入特征来自于光学图像还是SAR图像，则可认为此时提取得到的特征为模态共有特征。
步骤10：通过反向传播算法对跨模态伪孪生网络进行训练，光学网络参数更新为：SAR网络参数更新为：/>
步骤11：通过步骤10训练得到的跨模态伪孪生网络，提取输入的光学图像xV特征得到FV；提取输入的SAR图像xs特征得到Fs，同时计算输入光学图像特征与SAR数据库中所有图像特征之间的欧氏距离，即Dist(Fv,Fs)＝‖Fv-Fs‖2。
步骤12：对步骤11中得到的欧氏距离Dist(Fv,Fs)按照从小到大排序，距离越小则说明图像相似度越高，其对应的遥感图像即为检索结果。
本发明的原理是：利用浅层特征差异消减后的图像辅助原图进行训练，使网络具备一定的模态共有特征提取能力，同时利用跨模态伪孪生网络以及对抗学习的方式进一步对模态共有特征进行提取，从而减小模态差异对检索带来的影响，实现高精度光学-SAR遥感图像跨模态检索。
本发明提供的是一种基于模态共有特征的光学-SAR遥感图像跨模态检索方法，该方法利用通道随机替换以及引导滤波对光学与SAR遥感图像颜色以及细节纹理等表观差异进行消减，生成新的图像，并利用新生成的图像辅助原图训练。将原始光学图像与新生成的光学图像送入相同网络，原始SAR图像与新生成的SAR图像送入相同网络，利用多向约束损失函数约束四组特征之间的距离关系，使得四组特征两两之间均满足正样本对距离小于负样本对距离，使得网络初步具备提取模态共有特征能力。同时设计跨模态伪孪生网络，将特征提取网络由浅到深划分为五个不同的模块，探究了不同模块间权重共享策略，使用浅层网络权重不共享，深层网络权重共享的策略对模态共有特征进行进一步提取。此外，引入了对抗学***衡时，鉴别器无法判断特征来自光学图像还是SAR图像，此时提取特征均为模态共有特征。本方法能够有效减小模态差异对跨模态检索任务造成的影响，实现高精度光学-SAR遥感图像跨模态检索。
附图说明
图1为本发明所用的深度卷积神经网络模型图。
图2为多向约束损失函数原理示意图。
图3为跨模态伪孪生网络权重共享策略示意图。
图4为跨模态对抗学习示意图。
图5为检索结果示意图。
具体实施方式
本发明提供了一种基于模态共有特征的光学-SAR遥感图像跨模态检索方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图对本发明进一步详细说明。
步骤1：将光学与SAR遥感图像均缩放到256像素×256像素，每一批次样本数量为16，并保证每一批次中不出现重复的图像。在图像送入网络前的数据扩增阶段，首先对光学与SAR遥感图像进行通道随机替换，并进行水平随机翻转，得到新的光学遥感图像以及SAR遥感图像/>
步骤2：对步骤1中得到的与/>分别进行引导滤波，/>以及其中，/>ω为滤波窗口中像素数量，μk代表滤波窗口中像素均值，/>代表滤波窗口中像素方差。经过上述操作得到的新生成图像/>以及/>颜色与细节纹理等浅层特征差异减小，利用二者辅助原图训练。
步骤3：将步骤2中得到的与原始光学图像xV送入光学特征提取网络G(V)中，得到特征/>将/>与原始SAR图像xS送入SAR特征提取网络G(S)中，得到特征/>G(V)以及G(S)为结构完全相同，采用在ImageNet数据集上预训练的ResNet50(Residual Neural Network of 50layers)网络并截断，只保留特征提取部分。G(V)与G(S)采用部分权重共享策略，深层网络权重完全共享，浅层网络权重共享策略取决于使用的数据源：当训练集与测试集数据源相同且图像完全对齐时，浅层网络权重共享，其他情况下浅层网络权重不共享。
步骤4：将步骤3中得到的FV以及FS分别送入特征模态鉴别器中，判断特征模态。特征模态鉴别器是一个由两层全连接层组成的多层感知机，特征通过鉴别器后分别得到以及/>其中θD为特征模态鉴别器的网络参数。
步骤5：计算损失函数使得特征模态鉴别器可以准确分辨输入特征FV与FS所属的模态。
步骤6：利用反向传播的方式对网络进行训练，采用Adam优化器，初始学习率设置为0.01，得到更新之后的特征模态鉴别器参数
步骤7：利用步骤6中得到的更新后的特征模态鉴别器参数将原始光学与SAR遥感图像特征输入鉴别器得到/>以及/>
步骤8：计算多向约束损失函数如图2所示，多向约束损失函数用于约束步骤3中得到的四组特征之间的距离。四组特征两两之间需要满足距离约束，因此总共包括6项单独的距离约束损失函数。每一项都是基于难例挖掘的三元组损失，以原始光学图像特征与原始SAR图像特征间的距离约束为例，其表达式为：/>其中，P＝16代表一个批次中不同目标场景的数量，K＝1代表每一类别中样本数量。α＝0.5为一人为设置的间隔，/>是原始光学特征，/>以及/>分别为作为正负样本的原始SAR特征。/>代表特征间的欧式距离的平方。上述损失函数要求正样本对之间的距离尽可能小，负样本对之间的距离尽可能大，且二者的差值需要大于0.5，从而在检索阶段可以根据特征之间的距离关系将正负样本进行区分。
步骤9：计算损失函数其中超参数λ设置为0.05，损失函数中的第二项代表参数更新后的特征模态鉴别器无法判断提取出的特征属于光学模态还是SAR模态，可认为此时网络提取出的为模态共有特征。
步骤10：通过反向传播算法对跨模态伪孪生网络进行训练，采用随机梯度下降优化器，学习率采用0.025，得到更新后的光学网络参数以及SAR网络参数/>
步骤11：通过步骤10训练得到的跨模态伪孪生网络，同时计算光学查询图像特征FV与SAR数据库中所有图像特征之间的欧氏距离，即/>其中，M为数据库中图像的总数。
步骤12：对步骤11中得到的欧氏距离Dist(Fv,Fs)按照从小到大排序，排序越靠前的图像则认为和查询图像相似度越高，越可能为正确检索结果。
由于目前有关光学-SAR遥感图像跨模态检索的工作较少，缺乏大规模公开数据集，因此在实验前首先构建了一个光学-SAR遥感图像跨模态检索数据集SNRD(SpcaeNetRetrieval Dataset)。数据源来自于SpaceNet6数据集，光学图像为高分辨率彩色图像，SAR图像为三通道伪彩图像，二者的空间分辨率均为0.5米。数据集中包括不同密集程度的居民区，工业区，森林，公路，港口等多种不同场景，满足检索场景多样性的需求。整个数据集包括8000对完全对齐的光学-SAR遥感图像对，其中6000对用于训练，2000对用于测试。数据集中图像之间没有重叠区域，对于一张查询图像，数据库中有且仅有一张正确检索图像。本方法采取的评价指标为：平均精度(mAP)以及返回前K个检索结果的平均精度(top-K，K＝1,5,10,20)。在检索阶段，使用光学遥感图像作为查询图像，SAR遥感图像作为数据库图像。
检索可视化结果如图5所示，第一行代表光学查询图像，后五列代表不同算法检索相似度Top-1至Top-5结果。实验结果如表1所示。由检索精度的定性与定量分析可知，本方法在SNRD上的检索精度达到了较高水平，相较于基准算法以及其他跨模态检索算法，所提算法的Top-k精度与平均精度均取得了明显提升，可以有效减小模态差异对检索造成的影响，实现高精度光学-SAR遥感图像跨模态检索。
表1 SNRD上不同跨模态检索算法实验结果
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
Claims (8)
1.一种基于模态共有特征的光学-SAR遥感图像跨模态检索方法，其特征在于，包括以下步骤：
步骤1，对光学遥感图像xV和SAR遥感图像xS分别进行通道随机替换，通过随机替换得到新的光学图像与新的SAR图像/>
步骤2，将经过通道随机替换的光学图像以及SAR图像/>通过引导滤波消减细节纹理特征差异，得到/>以及/>
步骤3，将步骤2中得到的新生成光学图像与原始光学图像xV送入光学特征提取网络G(V)中，得到特征/> 将新生成的SAR图像/>以及原始SAR图像xS送入SAR特征提取网络G(S)中，得到特征/>其中，θV与θS分别为光学网络与SAR网络的网络参数，G(V)以及G(S)为结构完全相同，部分权重共享的跨模态伪孪生网络；
步骤4，将步骤3中得到的光学遥感图像特征FV以及SAR遥感图像特征FS分别送入特征模态鉴别器中，判断输入特征属于光学模态还是SAR模态，分别得到以及/>其中θD为特征模态鉴别器的网络参数；
步骤5，计算第一损失函数，使得特征模态鉴别器可以准确分辨输入特征FV与FS所属的模态；
步骤6，利用反向传播的方式对网络进行训练，得到其中，θD为步骤4中特征模态鉴别器参数，/>为更新之后的特征模态鉴别器参数，η为训练时设置的学习率大小；
步骤7，利用步骤6中得到的更新后的鉴别器参数将特征提取网络得到的特征输入鉴别器得到/>以及/>
步骤8，计算多向约束损失函数，通过多向约束损失函数，使得训练阶段在同一欧式空间中，对应同一目标区域的特征之间距离小于不同目标区域特征间的距离，从而在检索阶段可以将正负样本进行区分；
步骤9，计算第二损失函数，使得特征模态鉴别器无法准确判别特征所属模态，增强网络模态共有特征提取能力；
步骤10，通过反向传播算法对跨模态伪孪生网络进行训练，光学网络参数更新为：SAR网络参数更新为：/>
步骤11，通过步骤10训练得到的跨模态伪孪生网络，提取输入的光学图像xV特征得到FV；提取输入的SAR图像xs特征得到Fs，同时计算输入光学图像特征与SAR数据库中所有图像特征之间的欧氏距离；
步骤12，对步骤11中得到的欧氏距离按照从小到大排序，距离越小则说明图像相似度越高，相似度最高的即为最终检索结果。
2.如权利要求1所述的一种基于模态共有特征的光学-SAR遥感图像跨模态检索方法，其特征在于：步骤1中，光学图像通道随机替换表达式为：其中/>分别代表光学遥感图像的三个不同通道，SAR遥感图像通道随机替换表达式为：其中/>分别为伪彩SAR图像的三个通道，对应SAR图像三种不同的极化方式；在训练的每一个批次中，以均等的概率选取/>以及/>中的一个作为新生成的光学图像/>同时以均等概率选取/>以及/>中的一个作为新生成的SAR图像/>
3.如权利要求1所述的一种基于模态共有特征的光学-SAR遥感图像跨模态检索方法，其特征在于：步骤2中，以及/>其中，/>与/>分别为/>以及/>在引导滤波窗口中的对应位置像素值；/>其中，I为引导图像，ω为滤波窗口中像素数量，ωk代表滤波窗口，k代表滤波窗口中心所在位置，μk代表滤波窗口中像素均值，/>代表滤波窗口中像素方差，Ii与Ij为滤波窗口所在位置引导图像上对应位置的像素值，∈为设置的略大于0的常数，防止分母为0。
4.如权利要求1所述的一种基于模态共有特征的光学-SAR遥感图像跨模态检索方法，其特征在于：步骤3中模态伪孪生网络，具体结构为将ResNet50按照特征图感受野大小从前到深划分为5个模块，前2个模块权重共享，后3个模块权重不共享。
5.如权利要求1所述的一种基于模态共有特征的光学-SAR遥感图像跨模态检索方法，其特征在于：步骤4中特征模块鉴别器使用两个全连接层构成。
6.如权利要求1所述的一种基于模态共有特征的光学-SAR遥感图像跨模态检索方法，其特征在于：步骤5的第一损失函数的表达式为
7.如权利要求1所述的一种基于模态共有特征的光学-SAR遥感图像跨模态检索方法，其特征在于：步骤8中多向约束损失函数的表达式为 多向约束损失函数用于约束步骤3中得到的四组特征之间的距离，其中V,/>S以及/>分别代表原始光学图像特征，新生成的光学图像特征，原始SAR图像特征以及新生成的SAR图像特征，四组特征两两之间需要满足距离约束，上述损失函数中总共包括6项单独的距离约束损失函数，每一项在结构上相同，以原始光学图像特征与原始SAR图像特征间的距离约束为例，其表达式为： 其中，P与K分别为一个批次中类别数目与正样本数目，α为一人为设置的超参数，/>是原始光学特征，/>以及/>分别为作为正负样本的原始SAR特征；/>代表特征间的欧式距离的平方，[.]+在0处进行截断，大于0取值为其本身，小于0取值为0。
8.如权利要求1所述的一种基于模态共有特征的光学-SAR遥感图像跨模态检索方法，其特征在于：步骤9中第二损失函数的表达式为 其中λ为一人为设的超参数，损失函数中的第二项代表参数更新后的特征模态鉴别器无法判断输入特征来自于光学图像还是SAR图像，则可认为此时提取得到的特征为模态共有特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210630103.0A CN115129917B (zh) | 2022-06-06 | 2022-06-06 | 一种基于模态共有特征的光学-sar遥感图像跨模态检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210630103.0A CN115129917B (zh) | 2022-06-06 | 2022-06-06 | 一种基于模态共有特征的光学-sar遥感图像跨模态检索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115129917A CN115129917A (zh) | 2022-09-30 |
| CN115129917B true CN115129917B (zh) | 2024-04-09 |
Family
ID=83377444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210630103.0A Active CN115129917B (zh) | 2022-06-06 | 2022-06-06 | 一种基于模态共有特征的光学-sar遥感图像跨模态检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115129917B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522821A (zh) * | 2018-10-30 | 2019-03-26 | 武汉大学 | 一种基于跨模态深度哈希网络的大规模跨源遥感影像检索方法 |
| WO2019148898A1 (zh) * | 2018-02-01 | 2019-08-08 | 北京大学深圳研究生院 | 基于受限文本空间的对抗性跨媒体检索方法 |
| CN111028277A (zh) * | 2019-12-10 | 2020-04-17 | 中国电子科技集团公司第五十四研究所 | 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法 |
| CN111898663A (zh) * | 2020-07-20 | 2020-11-06 | 武汉大学 | 一种基于迁移学习的跨模态遥感图像的匹配方法 |
| CN112487217A (zh) * | 2019-09-12 | 2021-03-12 | 腾讯科技（深圳）有限公司 | 跨模态检索方法、装置、设备及计算机可读存储介质 |
| CN113792207A (zh) * | 2021-09-29 | 2021-12-14 | 嘉兴学院 | 一种基于多层次特征表示对齐的跨模态检索方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7095473B2 (ja) * | 2018-08-07 | 2022-07-05 | 日本電信電話株式会社 | モード間損失差補償用ファイバ、および光増幅器 |
-
2022
- 2022-06-06 CN CN202210630103.0A patent/CN115129917B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019148898A1 (zh) * | 2018-02-01 | 2019-08-08 | 北京大学深圳研究生院 | 基于受限文本空间的对抗性跨媒体检索方法 |
| CN109522821A (zh) * | 2018-10-30 | 2019-03-26 | 武汉大学 | 一种基于跨模态深度哈希网络的大规模跨源遥感影像检索方法 |
| CN112487217A (zh) * | 2019-09-12 | 2021-03-12 | 腾讯科技（深圳）有限公司 | 跨模态检索方法、装置、设备及计算机可读存储介质 |
| CN111028277A (zh) * | 2019-12-10 | 2020-04-17 | 中国电子科技集团公司第五十四研究所 | 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法 |
| CN111898663A (zh) * | 2020-07-20 | 2020-11-06 | 武汉大学 | 一种基于迁移学习的跨模态遥感图像的匹配方法 |
| CN113792207A (zh) * | 2021-09-29 | 2021-12-14 | 嘉兴学院 | 一种基于多层次特征表示对齐的跨模态检索方法 |
Non-Patent Citations (2)
| Title |
|---|
| A Deep Cross-Modality Hashing Network for SAR and Optical Remote Sensing Images Retrieval;Wei Xiong;IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING;20200903;第13卷;全文 * |
| 面向跨模态检索的协同注意力网络模型;邓一姣;张凤荔;陈学勤;艾擎;余苏喆;;计算机科学;20201231(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115129917A (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111353413B (zh) | 一种输电设备低漏报率缺陷识别方法 | |
| WO2023029373A1 (zh) | 一种高精度的农田植被信息提取方法 | |
| CN110728224A (zh) | 一种基于注意力机制深度Contourlet网络的遥感图像分类方法 | |
| CN111652293B (zh) | 一种多任务联合判别学习的车辆重识别方法 | |
| CN107563328A (zh) | 一种基于复杂环境下的人脸识别方法及*** | |
| CN114092832A (zh) | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 | |
| CN110070571B (zh) | 一种基于深度相机的毛竹形态参数检测方法 | |
| CN112084895B (zh) | 一种基于深度学习的行人重识别方法 | |
| EP4105600A2 (en) | Method for automatically producing map data, related apparatus and computer program product | |
| CN113838064B (zh) | 一种基于分支gan使用多时相遥感数据的云去除方法 | |
| CN111414954A (zh) | 一种岩石图像检索方法及其*** | |
| CN114998744A (zh) | 基于运动与视觉双特征融合的农机轨迹田路分割方法 | |
| CN117218201A (zh) | Gnss拒止条件下无人机影像定位精度提升方法及*** | |
| CN114998251A (zh) | 一种基于联邦学***台地面异常检测方法 | |
| CN110793529B (zh) | 一种快速匹配星图识别方法 | |
| CN117274627A (zh) | 一种基于图像转换的多时相积雪遥感图像匹配方法及*** | |
| CN110992301A (zh) | 一种气体轮廓识别方法 | |
| CN116503677B (zh) | 一种湿地分类信息提取方法、***、电子设备及存储介质 | |
| CN115129917B (zh) | 一种基于模态共有特征的光学-sar遥感图像跨模态检索方法 | |
| CN112347926A (zh) | 基于建筑形态分布的高分辨率影像城中村检测方法 | |
| CN112465821A (zh) | 一种基于边界关键点感知的多尺度害虫图像检测方法 | |
| CN113033386A (zh) | 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及*** | |
| CN113609913B (zh) | 一种基于采样阈值区间加权的松材线虫病树检测方法 | |
| CN112069997B (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 | |
| CN111652102B (zh) | 一种输电通道目标物辨识方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |