CN112990228A - 图像特征匹配方法和相关装置、设备及存储介质 - Google Patents

图像特征匹配方法和相关装置、设备及存储介质 Download PDF

Info

Publication number
CN112990228A
CN112990228A CN202110247181.8A CN202110247181A CN112990228A CN 112990228 A CN112990228 A CN 112990228A CN 202110247181 A CN202110247181 A CN 202110247181A CN 112990228 A CN112990228 A CN 112990228A
Authority
CN
China
Prior art keywords
feature
matching
matched
transformation
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110247181.8A
Other languages
English (en)
Other versions
CN112990228B (zh
Inventor
周晓巍
鲍虎军
孙佳明
沈泽弘
王雨昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202110247181.8A priority Critical patent/CN112990228B/zh
Publication of CN112990228A publication Critical patent/CN112990228A/zh
Priority to PCT/CN2021/102080 priority patent/WO2022183638A1/zh
Priority to JP2022550968A priority patent/JP2023520625A/ja
Priority to US17/820,883 priority patent/US20220392201A1/en
Application granted granted Critical
Publication of CN112990228B publication Critical patent/CN112990228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像特征匹配方法和相关装置、设备及存储介质。该图像特征匹配方法包括：获取至少两个待匹配图像；分别对每个待匹配图像进行特征提取，得到每个待匹配图像的特征表示，其中，特征表示包括若干第一局部特征；将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征；对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果。上述方案，能够在特征匹配过程中考虑到待匹配图像的全局信息，从而提高匹配准确度。

Description

图像特征匹配方法和相关装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像特征匹配方法和相关装置、设备及存储介质。
背景技术
图像匹配是计算机视觉中的基础问题，图像匹配的准确度会影响着图像匹配之后的操作。常见的图像匹配方式主要包括以下三个步骤，一是进行特征检测，即判断图像中是否包含关键点(也称为特征点)，二是提取检测到的关键点以及关键点的描述子，第三步根据提取到的特征进行特征匹配。这种方式仅利用关键点的描述子进行特征匹配。由于该关键点的描述子仅表示关键点周围的几个像素点之间的关系，即表示关键点周边的局部信息，而在图像缺乏纹理等情况下，描述子无法很好的表示关键点的信息，从而使得最终特征匹配失败。
发明内容
本申请至少提供一种图像特征匹配方法和相关装置、设备及存储介质。
本申请第一方面提供了一种图像特征匹配方法，包括：获取至少两个待匹配图像；分别对每个待匹配图像进行特征提取，得到每个待匹配图像的特征表示，其中，特征表示包括若干第一局部特征；将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征；对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果。
因此，通过获取待匹配图像中具有全局感受野的特征，继而利用具有全局感受野的特征进行特征匹配，使得在特征匹配过程中能够考虑到待匹配图像的全局信息，从而提高匹配准确度。
其中，特征表示包括第一特征图和第二特征图，第一特征图的分辨率小于第二特征图，第一特征图中的特征为第一局部特征，第二特征图的特征为第二局部特征；在对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果之后，方法还包括：基于第一匹配结果，从至少两个待匹配图像的第二特征图中提取匹配区块组，其中，匹配区块组包括至少两个特征区块，每个特征区块包括从一待匹配图像的第二特征图提取得到的多个第二局部特征；对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果，其中，第二变换特征为匹配区块组中的第二局部特征，或是对匹配区块组中的第二局部特征变换得到的。
因此，通过先进行低分辨率特征图中的特征匹配，再利用低分辨率特征图的匹配结果进行高分辨率特征图的特征匹配，进一步提高了匹配的准确度。
其中，在对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果之前，方法还包括：将特征区块中的第二局部特征变换为具有特征区块的全局感受野的第二变换特征。
因此，通过提取高分辨率特征图的特征，并变换为具有特征区块全局感受野的特征，再利用该特征进行特征匹配，使得在高分辨率特征匹配过程中也能够考虑到特征区块的全局信息，使得特征匹配结果更准确。
其中，将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征，或者，将特征区块中的第二局部特征变换为具有特征区块的全局感受野的第二变换特征，包括：以第一局部特征作为第一目标特征，第一变换特征作为第二目标特征，每个待匹配图像为一目标范围；或者，以第二局部特征为第一目标特征，第二变换特征作为第二目标特征，每个特征区域为一目标范围；基于对同一目标范围中第一目标特征的聚合处理和/或对不同目标范围中的第一目标特征的聚合处理，得到第二目标特征。
因此，通过对同一目标范围中的目标特征进行聚合处理能够使得第二目标特征能够具有该目标范围的全局感受野，和/或，通过对不同目标范围中的第一目标特征进行聚合处理，得到的第二目标特征能够具有其他目标范围的全局感受野。
其中，基于对同一目标范围中第一目标特征的聚合处理和/或对不同目标范围中的第一目标特征的聚合处理，得到第二目标特征，包括：分别以每个目标范围作为当前目标范围，并对当前目标范围执行以下至少一次特征变换：将当前目标范围中的每个第一目标特征作为当前目标特征；将当前目标范围中的当前目标特征与其他第一目标特征进行聚合，以得到与当前目标特征对应的第三目标特征；将当前目标范围的第三目标特征与其他目标范围的第三目标特征进行聚合，以得到与当前目标特征对应的第四目标特征；其中，在本次特征变换不为最后一次特征变换的情况下，将第四目标特征作为下次特征变换中的第一目标特征；在本次特征变换为最后一次特征变换的情况下，将第四目标特征作为第二目标特征。
因此，通过对当前目标范围的第一目标特征进行聚合，得到第三目标特征，并利用不同目标范围的第三目标特征进行聚合，使得最终得到的第二目标特征不仅具有当前目标范围的全局信息而且具有具有其他目标范围的全局信息，并且，经过至少一次这样的特征变换，使得最终的第二目标特征更精确，从而利用第二目标特征进行特征匹配时，能够获取到更为准确的特征匹配结果。
其中，将当前目标范围中的当前目标特征与其他第一目标特征进行聚合的步骤由变换模型中的自注意力层执行；将当前目标范围的第三目标特征与其他目标范围的第三目标特征进行聚合的步骤由变换模型中的交叉注意力层执行。
因此，通过利用变换模型中的自注意力层以及交叉注意力层进行特征变换，能够实现获取具有当前目标范围和其他目标范围的全局感受野的目标特征。
其中，自注意力层和/或交叉注意力层所使用的机制为线性注意力机制。
因此，通过使用线性注意力机制能够将特征变换过程中的复杂度为线性，相比非线性注意力机制而言特征变换所需时间更少以及复杂度更低。
其中，至少两个待匹配图像中匹配的第一变换特征为匹配特征组，匹配特征组分别在至少两个待匹配图像中的位置为第一位置，第一匹配结果包括表示第一位置的位置信息，特征区块在待匹配图像中对应的区域包含第一位置。
因此，通过第一匹配结果获取的特征区块包含匹配特征组在待匹配图像中的位置，即基于第一匹配结果的位置确定第二次进行匹配的范围，可使得第二次匹配的范围选择较为准确，进而对该范围内的特征进行再一次匹配，进一步提高了匹配的准确度。
其中，对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果，包括：以匹配区块组的其中一个特征区块为目标区块，并将目标区块中预设位置的第二变换特征为参考特征；在匹配区块组的其他特征区块中，查找出与参考特征匹配的第二变换特征；基于参考特征及其匹配的第二变换特征，得到第二匹配结果。
因此，通过查找目标区块中预设位置的第二变换特征的匹配特征，无需查找目标区块中每个第二变换特征的匹配特征，可降低匹配特征查找的复杂度，减少在特征匹配过程所耗用的处理资源。
其中，基于第一匹配结果，从至少两个待匹配图像的第二特征图中提取匹配区块组，包括：确定第一位置在第二特征图对应的第二位置；在第二特征图中提取以第二位置为中心且为预设尺寸的特征区块，以得到匹配区块组。
因此，通过第一位置确定第二位置，并提取以第二位置为中心的预设尺寸的特征区块，以减少提取错误特征区块的概率。
其中，预设位置为目标区块的中心。
因此，因为特征区块的中心是匹配特征组中的一个特征，将该特征作为参考特征使得计算得到的与其他特征区块中每个第二变换特征之间的匹配关系更准确。
其中，在匹配区块组的其他特征区块中，查找出与参考特征匹配的第二变换特征，包括：获取参考特征分别与其他特征区块中每个第二变换特征之间的匹配关系；基于匹配关系，从其他特征区块中查找出与参考特征匹配的第二变换特征。
因此，通过获取参考特征与其他特征区块中每个第二变换特征之间的匹配关系，可实现参考特征的特征匹配。
其中，获取参考特征分别与其他特征区块中每个第二变换特征之间的匹配关系，包括：将参考特征与其他特征区块中的第二变换特征进行相关操作，得到热力图，其中，热力图中不同位置的热力值表示参考特征与不同第二变换特征之间的匹配程度；基于匹配关系，从其他特征区块中查找出与参考特征匹配的第二变换特征，包括：利用预设算子对热力图进行处理，得到与参考特征匹配的第二变换特征。
因此，通过获取热力图，能够清楚表明参考特征与其他特征区块中每个第二变换特征之间的匹配程度。
其中，在将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征之前，方法还包括以下至少一个步骤：将第一局部特征在待匹配图像对应的位置信息加入至第一局部特征中；将若干第一局部特征由多维排列转换为一维排列。
因此，通过将第一局部特征在待匹配图像对应的位置信息加入第一局部特征中，使得通过特征变换之后的第一变换特征能够具有其在待匹配图像中的位置信息。另外，若干第一局部特征由多维排列转换为一维排列，方便变换模型对第一局部特征进行特征变换。
其中，对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果，包括：获取至少两个待匹配图像中不同第一变换特征之间的匹配置信度；基于匹配置信度，确定至少两个待匹配图像中的匹配特征组，其中，匹配特征组包括每个待匹配图像中的一个第一变换特征；基于匹配特征组，得到第一匹配结果。
因此，通过获取不同第一变换特征之间的匹配置信度，并基于匹配置信度获取匹配特征组，使得最终获得的匹配特征组的置信度能够满足需求。
其中，获取至少两个待匹配图像中不同第一变换特征之间的匹配置信度，包括：获取至少两个待匹配图像中不同第一变换特征之间的相似度；利用最优运输模式对相似度进行处理，得到至少两个待匹配图像中不同第一变换特征之间的匹配置信度。和/或，基于匹配置信度，确定至少两个待匹配图像中的匹配特征组，包括：在至少两个待匹配图中，选择匹配置信度符合匹配条件的第一变换特征组成匹配特征组。
因此，通过最优运输模式获取不同第一变换特征之间的匹配置信度，然后从匹配置信度中选择符合匹配条件的第一变换特征，使得最终的匹配特征组的匹配程度能够满足需求。
本申请第二方面提供了一种图像特征匹配装置，包括：图像获取模块，用于获取至少两个待匹配图像；特征提取模块，用于分别对每个待匹配图像进行特征提取，得到每个待匹配图像的特征表示，其中，特征表示包括若干第一局部特征；特征变换模块，用于将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征；特征匹配模块，用于对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果。
本申请第三方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的图像特征匹配方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的图像特征匹配方法。
上述方案，通过获取待匹配图像中具有全局感受野的特征，继而利用具有全局感受野的特征进行特征匹配，使得在特征匹配过程中能够考虑到待匹配图像的全局信息，从而提高匹配准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请图像特征匹配方法一实施例的流程示意图一；
图2是本申请图像特征匹配方法一实施例示出第二匹配结果的示意图；
图3是本申请图像特征匹配方法一实施例的流程示意图二；
图4是本申请图像特征匹配方法一实施例的流程示意图三；
图5是本申请图像特征匹配装置一实施例的结构示意图；
图6是本申请电子设备一实施例的结构示意图；
图7是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1，图1是本申请图像特征匹配方法一实施例的流程示意图一。具体而言，图像特征匹配方法可以包括如下步骤：
步骤S11：获取至少两个待匹配图像。
其中，获取待匹配图像的方式可以是通过执行图像特征匹配方法的设备上的摄像组件获取得到，还可以是通过其他设备以各种方式通信方式传输到执行图像特征匹配方法的设备上。这里的待匹配图像可以是经过各种图像处理之后的图像，可以是未经过图像处理的图像。且，待匹配图像的模态可以相同，也可以不同，例如其中一张图像为可见光图像，另一张图像为红外光图像。至少两个待匹配图像的尺寸、分辨率等信息可以相同也可以不同。即任意两张图像均可以作为待匹配图像。本公开实施例以两张待匹配图像为例，当然，在其他实施例中，待匹配图像可以是三张及以上均可，关于待匹配图像的数量此处不做具体规定。
步骤S12：分别对每个待匹配图像进行特征提取，得到每个待匹配图像的特征表示，其中，特征表示包括若干第一局部特征。
其中，特征提取的方式可以有多种，例如，可以利用各种神经网络进行特征提取。特征表示包括若干第一局部特征，这里的特征表示可以是以特征图的形式呈现。局部特征是指不包括待匹配图像全局感受野的特征，即仅包括待匹配图像局部区域的特征。
步骤S13：将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征。
通过对第一局部特征进行变换，使得变换之后的第一变换特征能够拥有待匹配图像的全局感受野。即，第一变换特征具有待匹配图像的全局信息。
步骤S14：对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果。
特征匹配的方式可以有多种，例如，利用最优运输模式进行特征匹配等，当然，这仅是举例，在其他实施例中，可以采用其他特征匹配方式。
上述方案，通过获取待匹配图像中具有全局感受野的特征，继而利用具有全局感受野的特征进行特征匹配，使得在特征匹配过程中能够考虑到待匹配图像的全局信息，从而提高匹配准确度。
其中，特征表示包括第一特征图和第二特征图，第一特征图的分辨率小于第二特征图。第一特征图中的特征为第一局部特征，第二特征图的特征为第二局部特征。其中，分别对每个待匹配图像进行特征提取，得到每个待匹配图像的特征表示的方式可以是利用金字塔卷积神经网络进行获取。其中，利用金字塔卷积神经网络可以分别获取待匹配图像的多尺度特征图，例如，提取得到分辨率为待匹配图像分辨率的八分之一及二分之一的特征图，或提取得到分辨率为待匹配图像分辨率的十六分之一及四分之一的特征图。在一些公开实施例中，第一特征图的分辨率为第二特征图的分辨率的四分之一。关于第一特征图和第二特征图之间的分辨率可根据特征提取速度和/或精度的需求确定，例如，提取八分之一与二分之一待匹配图像分辨率的特征图相比提取十六分之一与四分之一待匹配图像分辨率的特征图而言，前者速度较慢但精度较高，后者速度较快但精度较低。本公开实施例中，根据金字塔卷积神经网络获取得到的第一特征图中包括的第一局部特征和第二特征图中包括的第二局部特征不具有待匹配图像的全局感受野。
其中，在将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征之前，还包括以下至少一个步骤：一是将第一局部特征在待匹配图像对应的位置信息加入至第一局部特征中。具体地，通过使用位置编码，通过位置编码使得各个第一局部特征具备唯一的位置信息标识。其中，经位置编码后的
Figure BDA0002964515300000081
可以表示为：
Figure BDA0002964515300000082
这里
Figure BDA0002964515300000083
Figure BDA0002964515300000084
表示第i个第一局部特征的像素坐标，k表示第i个第一局部特征在所有第一局部特征中的分组，例如将第一预设数量个第一局部特征进行分组时，以第二预设数量个第一局部特征为一组，已知第i个第一局部特征的维度，即可得知第i个第一局部特征的分组位置。例如，一共有256个第一局部特征，i＝8，即第8个第一局部特征位于所有第一局部特征中的第2组(k＝2)。d表示第一局部特征未进行位置编码前的特征维度。
二是将若干第一局部特征由多维排列转换为一维排列。具体地，多维排列可以是二维，即各第一局部特征以二维矩阵的形式形成第一特征图，一维排列可以是根据一定的顺序将二维矩阵转换为一维序列的方式。通过将第一局部特征在待匹配图像对应的位置信息加入第一局部特征中，使得通过特征变换之后的第一变换特征能够具有其在待匹配图像中的位置信息。另外，若干第一局部特征由多维排列转换为一维排列，方便变换模型对第一局部特征进行特征变换。
通过先利用金字塔卷积神经网络提取待匹配图像的第一特征图，并将第一特征图输入变换模型，相比直接将待匹配图像输入变换模型，前者能够缩短输入变换模型的特征长度，从而可以降低计算成本。
一些公开实施例中，步骤S13可具体包括以下步骤：以第一局部特征作为第一目标特征，第一变换特征作为第二目标特征，每个待匹配图像为一目标范围。基于对同一目标范围中第一目标特征的聚合处理和/或对不同目标范围中的第一目标特征的聚合处理，得到第二目标特征。具体地，分别以每个目标范围作为当前目标范围，并对当前目标范围执行以下至少一次特征变换：一是将当前目标范围中的每个第一目标特征作为当前目标特征。二是将当前目标范围中的当前目标特征与其他第一目标特征进行聚合，以得到与当前目标特征对应的第三目标特征。其中，将当前目标范围中的当前目标特征与其他第一目标特征进行聚合的步骤是由变换模型中的自注意力层执行，其中自注意力层和交叉注意力层对特征进行聚合的方式可参见一般的技术，此处不再赘述。具体地，在一个自注意力层中包括多个并列设置的自注意力子层，将每个目标范围的所有第一目标特征输入自注意力子层进行目标范围内第一目标特征的聚合，即每个自注意力子层仅输入一个目标范围的第一目标特征，不能将多个目标范围的第一目标特征同时输入到同一个自注意力子层中。进一步地，是将以一维排列形式的目标特征输入自注意力子层。通过自注意力层对第一目标特征进行聚合处理，使得获得的第三目标特征包括具备待匹配图像全局感受野。三是将当前目标范围的第三目标特征与其他目标范围的第三目标特征进行聚合，以得到与当前目标特征对应的第四目标特征。其中，将当前目标范围的第三目标特征与其他目标范围的第三目标特征进行聚合的步骤是由变换模型中的交叉注意力层执行。因为交叉注意力层具有不对称的特性，即交叉注意力层的输出结果仅包含其中一个输入对应的输出上。因此，交叉注意力层也包括并列设置的至少两个交叉注意力子层，将当前目标范围中的第三目标特征和其他目标范围的第三目标特征同时输入到并列的交叉注意力子层中，当然，在此过程中，需要调换当前目标范围和其他目标范围的第三目标特征输入交叉注意力子层的顺序，例如，第一个交叉注意力子层中将当前目标范围的第三目标特征作为左输入，其他目标范围的第三目标特征作为右输入，而在第二个交叉注意力子层中将当前目标范围的第三目标特征作为右输入，其他目标范围的第三目标特征作为左输入。通过两个并列的交叉注意力子层获取第四目标特征，使得每个目标范围对应的第三目标特征都有对应的第四目标特征。可选地，将一层自注意力层和一层交叉注意力层作为一次基本变换，变换模型中包括多个基本变换，且每个基本变换中包含的可学习网络权重不共享。且，基本变换的个数可根据特征变换精度与特征变换速度进行确定。例如，要求特征变换精度高，则基本变换个数可相对增加，对特征变换速度要求较高，则基本变换的个数可相应减少，因此，关于基本变换的个数此处不做具体规定。其中，在本次特征变换不为最后一次特征变换的情况下，将第四目标特征作为下次特征变换中的第一目标特征。当然，在本次特征变换为最后一次特征变换的情况下，将第四目标特征作为第二目标特征。即，前一个基本变化的输出结果将作为后一个基本变换的输入。并将最后一个基本变换的结果作为第二目标特征。
通过提取高分辨率特征图的特征变换为具有特征区块全局感受野的特征，再利用该特征进行特征匹配使得在匹配过程中能够综合考虑到全局信息，使得特征匹配结果更准确。
具体地，通过对当前目标范围的第一目标特征进行聚合，使得第三目标特征能够具有当前目标范围的全局信息，并利用不同目标范围的第三目标特征进行聚合，使得第四目标特征能够具有其他目标范围的全局信息，并且，经过至少一次这样的特征变换，使得最终的第二目标特征更精确，从而利用第二目标特征进行特征匹配时，能够获取到更为准确的特征匹配结果。
进一步地，自注意力层和/或交叉注意力层所使用的机制为线性注意力机制。具体地，自注意力层和/或交叉注意力层中使用的核函数可以为任意核函数，并反向利用核技巧改写核函数为两个映射函数的乘积，进而利用矩阵乘法的结合率改变注意力层的计算顺序，将复杂度从传统的平方复杂度降低为线性复杂度。其中，映射函数
Figure BDA0002964515300000101
可以是elu(x)+1。具体地，传统注意力层的计算是Attention(Q,K,V)＝Softmax(QKT)V，其中，Q通常被命名为查询、K通常被命名为键、V通常被命名为值，T表示转置。本公开实施例中提供的线性注意力机制可以利用核函数sim(x1，x2)替代核函数Softmax(x1 x2)，并将核函数sim(x1，x2)转换为x1和x2的两个映射函数
Figure BDA0002964515300000102
和
Figure BDA0002964515300000103
的乘积，进而得到线性注意力层
Figure BDA0002964515300000106
其具体过程如下：
Linear Attention(Q,K,V)＝sim(Q,KT)V (1)
Figure BDA0002964515300000105
φ(·)＝elu(·)+1 (3)
Figure BDA0002964515300000111
通过上述方式，使用线性注意力机制能够将特征变换过程中的复杂度为线性，相比非线性注意力机制而言特征变换所需时间更少以及复杂度更低。
其中，对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果的方式包括以下步骤：一是获取至少两个待匹配图像中不同第一变换特征的匹配置信度。可选地，获取至少两个待匹配图像中不同第一变换特征的匹配置信度的方式包括以下步骤：首先，获取至少两个待匹配图像中不同第一变换特征之间的相似度。具体地，获取该相似度的方式可以是计算两个待匹配图像中的所有第一变换特征两两之间的相似性，组成相似性矩阵。其中，计算相似性的方式可以是带有尺度变换的点乘相似性、余弦相似性或其他相似性度量方法。其次，利用最优运输模式对相似度进行处理，得到至少两个待匹配图像中不同第一变换特征之间的匹配置信度。具体地，将相似性矩阵取反，作为代价矩阵，将代价矩阵通过Sinkhorn算法预设数量次的迭代，得到匹配置信度。即通过这种方式将获取待匹配图像中不同第一变换特征之间的匹配置信度的求解转换为求解带有熵正则化的离散最优运输问题。其中，预设数量的选择决定了匹配置信度的收敛程度，可根据具体的需求对预设数量进行选择，以实现精度和速度之间的均衡。其中，得到的匹配置信度形成的矩阵的行和列之和均分别为1。本公开实施例中将待匹配图像分别称为第一待匹配图像和第二待匹配图像，其中，匹配置信度矩阵中的某一行的匹配置信度表示第一待匹配图像中某一个第一变换特征分别与第二待匹配图像中所有第一变换特征之间的匹配置信度。而匹配置信度矩阵中的某一列的匹配置信度则表示第二待匹配图像中的某一个第一变换特征分别与第一待匹配图像中所有第一变换特征之间的匹配置信度。二是基于匹配置信度，确定至少两个待匹配图像中的匹配特征组。其中，至少两个待匹配图像中匹配的第一变换特征为匹配特征组。匹配特征组包括每个待匹配图像中的一个第一变换特征。即匹配特征组是由多个待匹配图像中的一个第一变换特征组成。其中，基于匹配置信度，确定至少两个待匹配图像中的匹配特征组的方式可以是在至少两个待匹配图像中，选择匹配置信度符合匹配条件的第一变换特征组成匹配特征组。可选地，匹配条件可以是选择匹配置信度矩阵中在同时处于行最大且列中最大。例如，匹配置信度矩阵中的第一行第二列的置信度是同时处于行最大且列最大，则说明第二待匹配图像中与第一待匹配图像中的第一个第一变换特征匹配置信度最大的是第二个局部特征，且第一待匹配图像中与第二待匹配图像中的第二个第一变换特征匹配置信度最大的是第一个局部特征。通过最优运输模式获取不同第一变换特征之间的匹配置信度，然后从匹配置信度中选择符合匹配条件的第一变换特征，使得最终的匹配特征组的匹配程度能够满足需求。三是基于匹配特征组，得到第一匹配结果。具体地，基于匹配特征组分别在至少两个待匹配图像中的位置，得到第一匹配结果。其中，匹配特征组分别在至少两个待匹配图像中的位置为第一位置，第一匹配结果中包括表示第一位置的位置信息。其中，这里的位置信息可以是匹配特征组中特征在待匹配图像中的坐标，当然，也可以是该特征在第一特征图中的位置坐标，且该位置坐标可以映射第一位置。通过获取不同第一变换特征之间的匹配置信度，并基于匹配置信度获取匹配特征组，使得最终获得的匹配特征组的置信度能够满足需求。
其中，在对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果之后，基于第一匹配结果，从至少两个待匹配图像的第二特征图中提取匹配区块组。其中，匹配区块包括至少两个特征区块，每个特征区块包括从一个待匹配图像的第二特征图提取得到的多个第二局部特征。具体地，基于第一匹配结果，从至少两个待匹配图像的第二特征图中提取匹配区块组的方式可以是确定第一位置在第二特征图中对应的第二位置。在第二特征图中提取以第二位置为中心且为预设尺寸的特征区块，以得到匹配区块组。其中，匹配特征组中包含的特征区块数量取决于待匹配图像的数量。可选地，这里的预设尺寸需要满足获取得到的匹配区块组中仅包括一对匹配特征组中的特征，不包括其他匹配特征组中的特征。通过第一匹配结果获取的特征区块包含匹配特征组在待匹配图像中的位置，使得对特征区块进行特征匹配得到的第二匹配结果中也具有第一位置信息。通过第一位置确定第二位置，并提取以第二位置为中心的预设尺寸的特征区块，以减少提取错误特征区块的概率。
一些公开实施例中，在对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果之前，将特征区块中的第二局部特征变换为具有特征区块的全局感受野的第二变换特征。其中，将特征区块中的第二局部特征变换为具有特征区块的全局感受野的第二变换特征的方式可以是以第二局部特征为第一目标特征，第二变换特征作为第二目标特征，每个特征区块为一个目标范围。基于对同一目标范围中第一目标特征的聚合处理和/或对不同目标范围中的第一目标特征的聚合处理，得到第二目标特征。其中，具体进行聚合处理的方式参见将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征的过程，其中两个过程中使用的变换模型可以相同也可以不同。当两个变换模型不相同时，不同之处在于此过程的基本变换个数小于或等于将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征的过程中使用的基本变换个数。
通过提取高分辨率特征图的特征，并变换为具有特征区块全局感受野的特征，再利用该特征进行特征匹配，使得在高分辨率特征匹配过程中也能够考虑到特征区块的全局信息，使得特征匹配结果更准确。
对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果。其中，第二变换特征为匹配区块组中的第二局部特征，或者是对匹配区块组中的第二局部特征变换得到的。即第二变换特征既可以是没有经过变换模块进行特征变换的，也可以是经过变换模块进行特征变换的，此处关于第二变换特征不做具体规定。对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果的方式可以是以匹配区块组的其中一个特征区块为目标区块，并将目标区块中预设位置的第二变换特征为参考特征。这里的预设位置可以是目标区块的中心。因为特征区块的中心是匹配特征组中的一个特征，将该特征作为参考特征使得计算得到的与其他特征区块中每个第二变换特征之间的匹配关系更准确。在匹配区块组的其他特征区块中，查找出与参考特征匹配的第二变换特征。具体地，查找出与参考特征匹配的第二变换特征的方式可以是获取参考特征分别与其他特征区块中每个第二变换特征之间的匹配关系。例如，将参考特征与其他特征区块中的第二变换特征进行相关操作，得到热力图。其中，热力图中不同位置的热力值表示参考特征与不同第二变换特征之间的匹配程度。通过获取热力图，能够清楚表明参考特征与其他特征区块中每个第二变换特征之间的匹配程度。
基于该匹配关系，从其他特征区块中查找出与参考特征匹配的第二变换特征。具体地，利用预设算子对热力图进行处理，得到与参考特征匹配的第二变换特征。其中，这里的预设算子可以是Soft-Argmax算子。基于参考特征及其匹配的所述第二变换特征，得到所述第二匹配结果。具体地，确定参考特征与查找到与参考特征匹配的第二变换特征在至少两张待匹配图像中的第三位置。其中，第二匹配结果中包括参考特征与查找到与参考特征匹配的第二变换特征在待匹配图像中的第三位置以及二者之间的匹配程度，当然，这个第三位置可能并不是位于待匹配图像的像素点上，可能位于两个像素点的中间，由此即可完成亚像素精度的特征匹配。具体第二匹配结果的表现形式可以是以特征点对的形式呈现，也可以是以图像的形式呈现，请参见图2，图2是本申请图像特征匹配方法一实施例示出第二匹配结果的示意图。如图2所示，左图10为第一待匹配图像，右图20位第二待匹配图像。左图10与右图20中间的连线用于表示两张图像的匹配结果。关于置信度，可以利用连线颜色予以展示，例如使用渐变色以表示置信度，或直接将置信度标识在各连线附近。关于第二匹配结果的具体表现形式此处不做具体规定。
通过先进行低分辨率特征图中的特征匹配，再利用低分辨率特征图的匹配结果进行高分辨率特征图的特征匹配，进一步提高了匹配的准确度。
为更清楚地描述本公开实施例提出的技术方案，现提出以下两个示例进行举例。示例一：参见图3，图3是本申请图像特征匹配方法一实施例的流程示意图二，如图3所示，本公开实施例提出的图像特征匹配方法还包括以下步骤：
步骤S21：获取第一待匹配图像以及第二待匹配图像。
其中，获取第一待匹配图像以及第二待匹配图像的方式参见步骤S11，此处不再赘述。
步骤S22：分别提取两个待匹配图像的第一特征图和第二特征图，第一特征图包含第一局部特征，第二特征图包括第二局部特征，其中，第一特征图的分辨率小于第二特征图的分辨率。
其中，提取待匹配图像的第一特征图和第二特征图的方式可使用金字塔卷积神经网络，具体可参见上述步骤S12，此处不再赘述。
步骤S23：将两组第一局部特征输入变换模型，得到具有待匹配图像全局感受野的第一变换特征。
当然，在执行步骤S23之前，可以将第一特征图中的第一局部特征加入位置编码，并从二维矩阵的形式转换为一维序列的形式，并将一维序列形式的第一局部特征组输入变换模型。具体将两组第一局部特征输入变换模型，得到具有待匹配图像全局感受野的第一变换特征的过程请参见上述步骤S13，此处不再赘述。
步骤S24：对第一变换特征进行特征匹配得到第一匹配结果。
具体对第一变换特征进行特征匹配的方式参见上述步骤S14，此处不再赘述。
步骤S25：基于第一匹配结果，从至少两个待匹配图像的第二特征图中提取匹配区块组。
其中，从至少两个待匹配图像的第二特征图中提取匹配区块组的过程请参见上述，此处不再赘述。
步骤S26：对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果。
具体对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果的方式请参见上述，此处不再赘述。
通过先进行低分辨率特征图中的特征匹配，再利用低分辨率特征图的匹配结果进行高分辨率特征图的特征匹配，进一步提高了匹配的准确度。
示例二：请参见图4，图4是本申请图像特征匹配方法一实施例的流程示意图三。如图4所示，
获取第一待匹配图像IA和第二待匹配图像IB。其中第一待匹配图像IA和第二待匹配图像IB分辨率可以相同，也可以不同。将第一待匹配图像IA和第二待匹配图像IB输入金字塔卷积神经网络提取多尺度特征图，例如，分别提取1/8第一待匹配图像IA和第二待匹配图像IB分辨率的第一特征图FA1和FB1，以及提取1/2第一待匹配图像IA和第二待匹配图像IB分辨率的第二特征图FA2和FB2。由此可见，第一特征图FA1的分辨率小于第二特征图FA2的分辨率，第一特征图FB1的分辨率小于第二特征图FB2的分辨率。
给第一特征图FA1和FB1中的特征进行位置编码，以及将第一特征图FA1和FB1从二维展平为一维排列，即一维特征序列。并将具备位置编码的一维特征序列输入变换模型，在变换模型中，先利用自注意力层分别提取一维特征序列进行特征聚合，再将聚合之后的一维特征序列输入交叉注意力层进行两组一维特征序列之间的特征聚合，将一层自注意力层和一层交叉注意力层作为一个基本变换，这样的基本变换一种有N个，前一个基本变换的输出作为后一个基本变换的输入，最后一个基本变换的输出结果作为变换模型的输出结果，输出结果分别包括一维特征序列
Figure BDA0002964515300000161
具体地，自注意力层和交叉注意力层通过提取特征的位置以及特征上下文依赖的局部特征，从而进行特征聚合。
利用最优运输模式得到一维特征序列
Figure BDA0002964515300000162
以及
Figure BDA0002964515300000163
之间的匹配置信度矩阵，其中，匹配置信度矩阵的长等于(1/8)2乘以第二待匹配图像IB的长与宽之积(即(1/8)2HBWB)，匹配置信度矩阵的宽等于(1/8)2乘以第一待匹配图像IA的长与宽之积(即(1/8)2HAWA)。从匹配置信度中选出置信度满足条件的特征匹配组(IA1,JB1)，其中，特征匹配组不限一组，可以是多组。从第二特征图FA2和FB2找出与特征匹配组(IA1,JB1)对应的特征(IA2,JB2)，提取包含特征IA2或特征JB2的特征区块组，其中，特征区块组中特征区块的长和宽均为w。将特征区块组输入另一变换模型，得到聚合之后的特征图。其中，这里的变换模型与局部特征变换中的变换模型可以相同也可以不同，例如，这里的变换模型中基本变换的个数可小于局部特征变换中变换模型的基本变换个数。以其中一个特征区块的中心位置的特征IA2为参考特征，与另一特征区块中的所有特征进行相关操作得到热力图，将热力图输入二维Soft-Argmax算子中计算特征区块中的期望匹配位置
Figure BDA0002964515300000164
将IA2和与之匹配的
Figure BDA0002964515300000165
投影到第一待匹配图像IA和第二待匹配图像IB上，得到最终第一待匹配图像的特征匹配结果。
上述方案，通过获取待匹配图像中具有全局感受野的特征，继而利用具有全局感受野的特征进行特征匹配，使得在特征匹配过程中能够考虑到待匹配图像的全局信息，从而提高匹配准确度。
进一步地，本公开实施例所提供的技术方案无需进行特征检测，也就降低了特征检测的准确度对特征匹配的影响，使得本方案更为通用。
其中，本公开实施例所提供的技术方案可以实现两张待匹配图像的稠密特征匹配，该方案可集成到基于视觉的同时定位与地图构建(V-SLAM)中，本方案提供准确的稠密匹配有利用视觉定位与建图，本方案的高效性以及易于均衡精度-速度的特点有利于同时定位与地图构建各模块之间的协调。并且，本方案具有高鲁棒性使得V-SLAM在不同气候条件下的任意场景下均可稳定运行，例如用于室内导航、无人驾驶等领域。且，本方案可用于三维重建，本方案提供的准确的稠密匹配有利于重建精细的物体与场景模型，例如为用户提供基于视觉的人体、物体三维重建。当然，本方案还可用于图像配准，本方案提供的准确的稠密匹配有利于求解源图与目标图之间的变换模型。例如将本方案运用到手机，用于图像拼接以实现全景摄影，或是将本方案嵌入到医疗成像***中用于成像的配准，以便医生根据配准结果进行分析或手术。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
图像特征匹配方法的执行主体可以是图像特征匹配装置，例如，图像特征匹配方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为具有视觉定位、三维重建、图像配准等需求的用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备以及自动驾驶汽车，有定位及建图需求的机器人，有配准需求的医疗成像***，用于增强现实或虚拟现实的眼镜、头盔等产品等。在一些可能的实现方式中，该图像特征匹配方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现
请参阅图4，图4是本申请图像特征匹配装置一实施例的结构示意图。图像特征匹配装置40包括图像获取模块41、特征提取模块42、特征变换模块43以及特征匹配模44。图像获取模块41，用于获取至少两个待匹配图像；特征提取模块42，用于分别对每个待匹配图像进行特征提取，得到每个待匹配图像的特征表示，其中，特征表示包括若干第一局部特征；特征变换模块43，用于将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征；特征匹配模44，用于对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果。
上述方案，通过获取待匹配图像中具有全局感受野的特征，继而利用具有全局感受野的特征进行特征匹配，使得在特征匹配过程中能够考虑到待匹配图像的全局信息，从而提高匹配准确度。
一些公开实施例中，特征表示包括第一特征图和第二特征图，第一特征图的分辨率小于第二特征图，第一特征图中的特征为第一局部特征，第二特征图的特征为第二局部特征；在对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果之后，特征匹配模44还用于：基于第一匹配结果，从至少两个待匹配图像的第二特征图中提取匹配区块组，其中，匹配区块组包括至少两个特征区块，每个特征区块包括从一待匹配图像的第二特征图提取得到的多个第二局部特征；对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果，其中，第二变换特征为匹配区块组中的第二局部特征，或是对匹配区块组中的第二局部特征变换得到的。
上述方案，通过先进行低分辨率特征图中的特征匹配，再利用低分辨率特征图的匹配结果进行高分辨率特征图的特征匹配，进一步提高了匹配的准确度。
一些公开实施例中，在对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果之前，特征变换模块43还用于：将特征区块中的第二局部特征变换为具有特征区块的全局感受野的第二变换特征。
上述方案，通过提取高分辨率特征图的特征，并变换为具有特征区块全局感受野的特征，再利用该特征进行特征匹配，使得在高分辨率特征匹配过程中也能够考虑到特征区块的全局信息，使得特征匹配结果更准确。
一些公开实施例中，特征变换模块43将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征，或者，将特征区块中的第二局部特征变换为具有特征区块的全局感受野的第二变换特征，包括：以第一局部特征作为第一目标特征，第一变换特征作为第二目标特征，每个待匹配图像为一目标范围；或者，以第二局部特征为第一目标特征，第二变换特征作为第二目标特征，每个特征区域为一目标范围；基于对同一目标范围中第一目标特征的聚合处理和/或对不同目标范围中的第一目标特征的聚合处理，得到第二目标特征。
上述方案，通过对同一目标范围中的目标特征进行聚合处理能够使得第二目标特征能够具有该目标范围的全局感受野，和/或，通过对不同目标范围中的第一目标特征进行聚合处理，得到的第二目标特征能够具有其他目标范围的全局感受野。
一些公开实施例中，特征变换模块43基于对同一目标范围中第一目标特征的聚合处理和/或对不同目标范围中的第一目标特征的聚合处理，得到第二目标特征，包括：分别以每个目标范围作为当前目标范围，并对当前目标范围执行以下至少一次特征变换：将当前目标范围中的每个第一目标特征作为当前目标特征；将当前目标范围中的当前目标特征与其他第一目标特征进行聚合，以得到与当前目标特征对应的第三目标特征；将当前目标范围的第三目标特征与其他目标范围的第三目标特征进行聚合，以得到与当前目标特征对应的第四目标特征；其中，在本次特征变换不为最后一次特征变换的情况下，将第四目标特征作为下次特征变换中的第一目标特征；在本次特征变换为最后一次特征变换的情况下，将第四目标特征作为第二目标特征。
上述方案，通过对当前目标范围的第一目标特征进行聚合，通过对当前目标范围的第一目标特征进行聚合，得到第三目标特征，并利用不同目标范围的第三目标特征进行聚合，使得最终得到的第二目标特征不仅具有当前目标范围的全局信息而且具有其他目标范围的全局信息，并且，经过至少一次这样的特征变换，使得最终的第二目标特征更精确，从而利用第二目标特征进行特征匹配时，能够获取到更为准确的特征匹配结果。
一些公开实施例中，将当前目标范围中的当前目标特征与其他第一目标特征进行聚合的步骤由变换模型中的自注意力层执行；将当前目标范围的第三目标特征与其他目标范围的第三目标特征进行聚合的步骤由变换模型中的交叉注意力层执行。
上述方案，通过利用变换模型中的自注意力层以及交叉注意力层进行特征变换，能够实现获取具有当前目标范围和其他目标范围的全局感受野的目标特征。
一些公开实施例中，自注意力层和/或交叉注意力层所使用的机制为线性注意力机制。
上述方案，通过使用线性注意力机制能够将特征变换过程中的复杂度为线性，相比非线性注意力机制而言特征变换所需时间更少以及复杂度更低。
一些公开实施例中，至少两个待匹配图像中匹配的第一变换特征为匹配特征组，匹配特征组分别在至少两个待匹配图像中的位置为第一位置，第一匹配结果包括表示第一位置的位置信息，特征区块在待匹配图像中对应的区域包含第一位置。
上述方案，通过第一匹配结果获取的特征区块包含匹配特征组在待匹配图像中的位置，即基于第一匹配结果的位置确定第二次进行匹配的范围，可使得第二次匹配的范围选择较为准确，进而对该范围内的特征进行再一次匹配，进一步提高了匹配的准确度。
一些公开实施例中，特征匹配模44对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果，包括：以匹配区块组的其中一个特征区块为目标区块，并将目标区块中预设位置的第二变换特征为参考特征；在匹配区块组的其他特征区块中，查找出与参考特征匹配的第二变换特征；基于参考特征及其匹配的第二变换特征，得到第二匹配结果。
上述方案，通过查找目标区块中预设位置的第二变换特征的匹配特征，无需查找目标区块中每个第二变换特征的匹配特征，可降低匹配特征查找的复杂度，减少在特征匹配过程所耗用的处理资源。
一些公开实施例中，特征匹配模44基于第一匹配结果，从至少两个待匹配图像的第二特征图中提取候选匹配区块组，包括：确定第一位置在第二特征图对应的第二位置；在第二特征图中提取以第二位置为中心且为预设尺寸的特征区块，以得到匹配区块组。
上述方案，通过第一位置确定第二位置，并提取以第二位置为中心的预设尺寸的特征区块，以减少提取错误特征区块的概率。
一些公开实施例中，预设位置为目标区块的中心。
上述方案，因为特征区块的中心是匹配特征组中的一个特征，将该特征作为参考特征使得计算得到的与其他特征区块中每个第二变换特征之间的匹配关系更准确。
一些公开实施例中，特征匹配模44在匹配区块组的其他特征区块中，查找出与参考特征匹配的第二变换特征，包括：获取参考特征分别与其他特征区块中每个第二变换特征之间的匹配关系；基于匹配关系，从其他特征区块中查找出与参考特征匹配的第二变换特征。
上述方案，通过获取参考特征与其他特征区块中每个第二变换特征之间的匹配关系，可实现参考特征的特征匹配。
一些公开实施例中，特征匹配模44获取参考特征分别与其他特征区块中每个第二变换特征之间的匹配关系，包括：将参考特征与其他特征区块中的第二变换特征进行相关操作，得到热力图，其中，热力图中不同位置的热力值表示参考特征与不同第二变换特征之间的匹配程度；基于匹配关系，从其他特征区块中查找出与参考特征匹配的第二变换特征，包括：利用预设算子对热力图进行处理，得到与参考特征匹配的第二变换特征。
上述方案，通过获取热力图，能够清楚表明参考特征与其他特征区块中每个第二变换特征之间的匹配程度。
一些公开实施例中，在将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征之前，特征提取模块42还用于执行以下至少一个步骤：将第一局部特征在待匹配图像对应的位置信息加入至第一局部特征中；将若干第一局部特征由多维排列转换为一维排列。
上述方案，通过将第一局部特征在待匹配图像对应的位置信息加入第一局部特征中，使得通过特征变换之后的第一变换特征能够具有其在待匹配图像中的位置信息。另外，若干第一局部特征由多维排列转换为一维排列，方便变换模型对第一局部特征进行特征变换。
一些公开实施例中，特征匹配模44对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果，包括：获取至少两个待匹配图像中不同第一变换特征之间的匹配置信度；基于匹配置信度，确定至少两个待匹配图像中的匹配特征组，其中，匹配特征组包括每个待匹配图像中的一个第一变换特征；基于匹配特征组，得到第一匹配结果。
上述方案，通过获取不同第一变换特征之间的匹配置信度，并基于匹配置信度获取匹配特征组，使得最终获得的匹配特征组的置信度能够满足需求。
一些公开实施例中，特征匹配模44获取至少两个待匹配图像中不同第一变换特征之间的匹配置信度，包括：获取至少两个待匹配图像中不同第一变换特征之间的相似度；利用最优运输模式对相似度进行处理，得到至少两个待匹配图像中不同第一变换特征之间的匹配置信度。和/或，基于匹配置信度，确定至少两个待匹配图像中的匹配特征组，包括：在至少两个待匹配图像中，选择匹配置信度符合匹配条件的第一变换特征组成匹配特征组。
上述方案，通过最优运输模式获取不同第一变换特征之间的匹配置信度，然后从匹配置信度中选择符合匹配条件的第一变换特征，使得最终的匹配特征组的匹配程度能够满足需求。
上述方案，通过获取待匹配图像中具有全局感受野的特征，继而利用具有全局感受野的特征进行特征匹配，使得在特征匹配过程中能够考虑到待匹配图像的全局信息，从而提高匹配准确度。
请参阅图6，图6是本申请电子设备一实施例的结构示意图。电子设备50包括存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述图像特征匹配方法实施例中的步骤。在一个具体的实施场景中，电子设备50可以包括但不限于：微型计算机、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器52用于控制其自身以及存储器51以实现上述图像特征匹配方法实施例中的步骤。处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。
上述方案，通过获取待匹配图像中具有全局感受野的特征，继而利用具有全局感受野的特征进行特征匹配，使得在特征匹配过程中能够考虑到待匹配图像的全局信息，从而提高匹配准确度。
请参阅图7，图7为本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令601，程序指令601用于实现上述图像特征匹配方法实施例中的步骤。
上述方案，通过获取待匹配图像中具有全局感受野的特征，继而利用具有全局感受野的特征进行特征匹配，使得在特征匹配过程中能够考虑到待匹配图像的全局信息，从而提高匹配准确度。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (17)

1.一种图像特征匹配方法，其特征在于，包括：
获取至少两个待匹配图像；
分别对每个所述待匹配图像进行特征提取，得到每个所述待匹配图像的特征表示，其中，所述特征表示包括若干第一局部特征；
将所述第一局部特征变换为具有所述待匹配图像的全局感受野的第一变换特征；
对所述至少两个待匹配图像中的所述第一变换特征进行匹配，得到所述至少两个待匹配图像的第一匹配结果。
2.根据权利要求1所述的方法，其特征在于，所述特征表示包括第一特征图和第二特征图，所述第一特征图的分辨率小于所述第二特征图，所述第一特征图中的特征为所述第一局部特征，所述第二特征图的特征为第二局部特征；
在所述对所述至少两个待匹配图像中的所述第一变换特征进行匹配，得到所述至少两个待匹配图像的第一匹配结果之后，所述方法还包括：
基于所述第一匹配结果，从所述至少两个待匹配图像的第二特征图中提取匹配区块组，其中，所述匹配区块组包括至少两个特征区块，每个所述特征区块包括从一所述待匹配图像的第二特征图提取得到的多个第二局部特征；
对所述匹配区块组对应的第二变换特征进行匹配，得到所述至少两个待匹配图像的第二匹配结果，其中，所述第二变换特征为所述匹配区块组中的第二局部特征，或是对所述匹配区块组中的所述第二局部特征变换得到的。
3.根据权利要求2所述的方法，其特征在于，在所述对所述匹配区块组对应的第二变换特征进行匹配，得到所述至少两个待匹配图像的第二匹配结果之前，所述方法还包括：
将所述特征区块中的所述第二局部特征变换为具有所述特征区块的全局感受野的第二变换特征。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述将所述第一局部特征变换为具有所述待匹配图像的全局感受野的第一变换特征，或者，所述将所述特征区块中的所述第二局部特征变换为具有所述特征区块的全局感受野的第二变换特征，包括：
以所述第一局部特征作为第一目标特征，第一变换特征作为第二目标特征，每个所述待匹配图像为一目标范围；或者，以所述第二局部特征为第一目标特征，所述第二变换特征作为第二目标特征，每个所述特征区块为一目标范围；
基于对同一所述目标范围中所述第一目标特征的聚合处理和/或对不同所述目标范围中的第一目标特征的聚合处理，得到所述第二目标特征。
5.根据权利要求4所述的方法，其特征在于，所述基于对同一所述目标范围中所述第一目标特征的聚合处理和/或对不同所述目标范围中的第一目标特征的聚合处理，得到所述第二目标特征，包括：
分别以每个所述目标范围作为当前目标范围，并对所述当前目标范围执行以下至少一次特征变换：
将所述当前目标范围中的每个第一目标特征作为当前目标特征；
将所述当前目标范围中的当前目标特征与其他所述第一目标特征进行聚合，以得到与所述当前目标特征对应的第三目标特征；
将所述当前目标范围的第三目标特征与其他所述目标范围的第三目标特征进行聚合，以得到与所述当前目标特征对应的第四目标特征；
其中，在本次特征变换不为最后一次特征变换的情况下，将所述第四目标特征作为下次特征变换中的第一目标特征；在本次特征变换为最后一次特征变换的情况下，将所述第四目标特征作为所述第二目标特征。
6.根据权利要求5所述的方法，其特征在于，所述将所述当前目标范围中的当前目标特征与其他所述第一目标特征进行聚合的步骤由变换模型中的自注意力层执行；
所述将所述当前目标范围的第三目标特征与其他所述目标范围的第三目标特征进行聚合的步骤由所述变换模型中的交叉注意力层执行。
7.根据权利要求6所述的方法，其特征在于，所述自注意力层和/或交叉注意力层所使用的机制为线性注意力机制。
8.根据权利要求2至7任一项所述的方法，其特征在于，所述至少两个待匹配图像中匹配的所述第一变换特征为匹配特征组，所述匹配特征组分别在所述至少两个待匹配图像中的位置为第一位置，所述第一匹配结果包括表示所述第一位置的位置信息，所述特征区块在所述待匹配图像中对应的区域包含所述第一位置；
和/或，所述对所述匹配区块组对应的第二变换特征进行匹配，得到所述至少两个待匹配图像的第二匹配结果，包括：
以所述匹配区块组的其中一个特征区块为目标区块，并将所述目标区块中预设位置的所述第二变换特征为参考特征；
在所述匹配区块组的其他所述特征区块中，查找出与所述参考特征匹配的所述第二变换特征；
基于所述参考特征及其匹配的所述第二变换特征，得到所述第二匹配结果。
9.根据权利要求8所述的方法，其特征在于，所述基于所述第一匹配结果，从所述至少两个待匹配图像的第二特征图中提取匹配区块组，包括：
确定所述第一位置在所述第二特征图对应的第二位置；
在所述第二特征图中提取以所述第二位置为中心且为预设尺寸的所述特征区块，以得到所述匹配区块组。
10.根据权利要求8或9所述的方法，其特征在于，所述预设位置为所述目标区块的中心；
和/或，所述在所述匹配区块组的其他所述特征区块中，查找出与所述参考特征匹配的所述第二变换特征，包括：
获取所述参考特征分别与所述其他特征区块中每个所述第二变换特征之间的匹配关系；
基于所述匹配关系，从所述其他特征区块中查找出与所述参考特征匹配的所述第二变换特征。
11.根据权利要求10所述的方法，其特征在于，所述获取所述参考特征分别与所述其他特征区块中每个所述第二变换特征之间的匹配关系，包括：
将所述参考特征与所述其他特征区块中的所述第二变换特征进行相关操作，得到热力图，其中，所述热力图中不同位置的热力值表示所述参考特征与不同所述第二变换特征之间的匹配程度；
所述基于所述匹配关系，从所述其他特征区块中查找出与所述参考特征匹配的所述第二变换特征，包括：
利用预设算子对所述热力图进行处理，得到与所述参考特征匹配的所述第二变换特征。
12.根据权利要求1至11任一项所述的方法，其特征在于，在所述将所述第一局部特征变换为具有所述待匹配图像的全局感受野的第一变换特征之前，所述方法还包括以下至少一个步骤：
将所述第一局部特征在所述待匹配图像对应的位置信息加入至所述第一局部特征中；
将所述若干第一局部特征由多维排列转换为一维排列。
13.根据权利要求1至12任一项所述的方法，其特征在于，所述对所述至少两个待匹配图像中的所述第一变换特征进行匹配，得到所述至少两个待匹配图像的第一匹配结果，包括：
获取所述至少两个待匹配图像中不同所述第一变换特征之间的匹配置信度；
基于所述匹配置信度，确定所述至少两个待匹配图像中的匹配特征组，其中，所述匹配特征组包括每个所述待匹配图像中的一个所述第一变换特征；
基于所述匹配特征组，得到所述第一匹配结果。
14.根据权利要求13所述的方法，其特征在于，所述获取所述至少两个待匹配图像中不同所述第一变换特征之间的匹配置信度，包括：
获取所述至少两个待匹配图像中不同第一变换特征之间的相似度；
利用最优运输模式对所述相似度进行处理，得到所述至少两个待匹配图像中不同所述第一变换特征之间的匹配置信度。
和/或，所述基于所述匹配置信度，确定所述至少两个待匹配图像中的匹配特征组，包括：
在所述至少两个待匹配图像中，选择所述匹配置信度符合匹配条件的所述第一变换特征组成所述匹配特征组。
15.一种图像匹配装置，其特征在于，包括：
图像获取模块，用于获取至少两个待匹配图像；
特征提取模块，用于分别对每个所述待匹配图像进行特征提取，得到每个所述待匹配图像的特征表示，其中，所述特征表示包括若干第一局部特征；
特征变换模块，用于将所述第一局部特征变换为具有所述待匹配图像的全局感受野的第一变换特征；
特征匹配模块，用于对所述至少两个待匹配图像中的所述第一变换特征进行匹配，得到所述至少两个待匹配图像的第一匹配结果。
16.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至14任一项所述的方法。
17.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至14任一项所述的方法。
CN202110247181.8A 2021-03-05 2021-03-05 图像特征匹配方法和相关装置、设备及存储介质 Active CN112990228B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110247181.8A CN112990228B (zh) 2021-03-05 2021-03-05 图像特征匹配方法和相关装置、设备及存储介质
PCT/CN2021/102080 WO2022183638A1 (zh) 2021-03-05 2021-06-24 图像特征匹配方法和相关装置、设备及存储介质
JP2022550968A JP2023520625A (ja) 2021-03-05 2021-06-24 画像特徴マッチング方法及び関連装置、機器並びに記憶媒体
US17/820,883 US20220392201A1 (en) 2021-03-05 2022-08-19 Image feature matching method and related apparatus, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110247181.8A CN112990228B (zh) 2021-03-05 2021-03-05 图像特征匹配方法和相关装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112990228A true CN112990228A (zh) 2021-06-18
CN112990228B CN112990228B (zh) 2024-03-29

Family

ID=76353159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110247181.8A Active CN112990228B (zh) 2021-03-05 2021-03-05 图像特征匹配方法和相关装置、设备及存储介质

Country Status (4)

Country Link
US (1) US20220392201A1 (zh)
JP (1) JP2023520625A (zh)
CN (1) CN112990228B (zh)
WO (1) WO2022183638A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022183638A1 (zh) * 2021-03-05 2022-09-09 浙江商汤科技开发有限公司 图像特征匹配方法和相关装置、设备及存储介质
CN115359103A (zh) * 2022-08-24 2022-11-18 北京医智影科技有限公司 图像配准网络模型及其建立方法、设备及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908879B (zh) * 2023-03-09 2023-06-16 中国科学技术大学 基于点引导注意力机制的自适应局部图像特征匹配方法
CN117474963B (zh) * 2023-10-18 2024-04-19 南京国础科学技术研究院有限公司 多源卫星图像配准方法、***、存储介质和电子设备
CN117115065B (zh) * 2023-10-25 2024-01-23 宁波纬诚科技股份有限公司 基于聚焦损失函数约束的可见光和红外图像的融合方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101404640B1 (ko) * 2012-12-11 2014-06-20 한국항공우주연구원 영상 매칭 방법 및 이를 수행하는 시스템
WO2016062159A1 (zh) * 2014-10-20 2016-04-28 网易（杭州）网络有限公司 图像匹配方法及手机应用测试平台
CN108920727A (zh) * 2018-08-03 2018-11-30 厦门大学 视觉检索中的紧凑视觉描述子深度神经网络生成模型
WO2019020049A1 (zh) * 2017-07-28 2019-01-31 杭州海康威视数字技术股份有限公司 一种图像检索方法、装置及电子设备
CN109584156A (zh) * 2018-10-18 2019-04-05 中国科学院自动化研究所 显微序列图像拼接方法及装置
CN109741389A (zh) * 2018-11-27 2019-05-10 华南农业大学 一种基于区域基匹配的局部立体匹配方法
CN111340109A (zh) * 2020-02-25 2020-06-26 深圳市景阳科技股份有限公司 图像匹配方法、装置、设备及存储介质
CN112270760A (zh) * 2020-11-03 2021-01-26 北京百度网讯科技有限公司 一种定位方法、装置、电子设备及存储介质
CN112330750A (zh) * 2020-10-30 2021-02-05 北京邮电大学 一种面向可重构球形机器人自重构对接的立体匹配方法
CN112329888A (zh) * 2020-11-26 2021-02-05 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1736928A1 (en) * 2005-06-20 2006-12-27 Mitsubishi Electric Information Technology Centre Europe B.V. Robust image registration
CN111476780B (zh) * 2020-04-07 2023-04-07 腾讯科技（深圳）有限公司 一种图像检测方法、装置、电子设备以及存储介质
CN111522986B (zh) * 2020-04-23 2023-10-10 北京百度网讯科技有限公司 图像检索方法、装置、设备和介质
CN112990228B (zh) * 2021-03-05 2024-03-29 浙江商汤科技开发有限公司 图像特征匹配方法和相关装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101404640B1 (ko) * 2012-12-11 2014-06-20 한국항공우주연구원 영상 매칭 방법 및 이를 수행하는 시스템
WO2016062159A1 (zh) * 2014-10-20 2016-04-28 网易（杭州）网络有限公司 图像匹配方法及手机应用测试平台
WO2019020049A1 (zh) * 2017-07-28 2019-01-31 杭州海康威视数字技术股份有限公司 一种图像检索方法、装置及电子设备
CN108920727A (zh) * 2018-08-03 2018-11-30 厦门大学 视觉检索中的紧凑视觉描述子深度神经网络生成模型
CN109584156A (zh) * 2018-10-18 2019-04-05 中国科学院自动化研究所 显微序列图像拼接方法及装置
CN109741389A (zh) * 2018-11-27 2019-05-10 华南农业大学 一种基于区域基匹配的局部立体匹配方法
CN111340109A (zh) * 2020-02-25 2020-06-26 深圳市景阳科技股份有限公司 图像匹配方法、装置、设备及存储介质
CN112330750A (zh) * 2020-10-30 2021-02-05 北京邮电大学 一种面向可重构球形机器人自重构对接的立体匹配方法
CN112270760A (zh) * 2020-11-03 2021-01-26 北京百度网讯科技有限公司 一种定位方法、装置、电子设备及存储介质
CN112329888A (zh) * 2020-11-26 2021-02-05 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
XIN YAO ET AL.: "Towards Faster and Better Federated Learning: A Feature Fusion Approach", 2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP) *
XINGHUI LI ET AL.: "Dual-Resolution Correspondence Networks", ARXIV, pages 1 - 20 *
唐灿;唐亮贵;刘波: "图像特征检测与匹配方法研究综述", 南京信息工程大学学报(自然科学版), no. 03 *
朱奇光;王梓巍;陈颖: "基于全局特征与局部特征的图像分级匹配算法研究及应用", 中国机械工程, no. 16 *
王志伟等: "基于多特征融合的多尺度服装图像精准化检索", 计算机学报, vol. 43, no. 4, pages 740 - 754 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022183638A1 (zh) * 2021-03-05 2022-09-09 浙江商汤科技开发有限公司 图像特征匹配方法和相关装置、设备及存储介质
CN115359103A (zh) * 2022-08-24 2022-11-18 北京医智影科技有限公司 图像配准网络模型及其建立方法、设备及介质

Also Published As

Publication number Publication date
US20220392201A1 (en) 2022-12-08
WO2022183638A1 (zh) 2022-09-09
CN112990228B (zh) 2024-03-29
JP2023520625A (ja) 2023-05-18

Similar Documents

Publication Publication Date Title
CN112990228B (zh) 图像特征匹配方法和相关装置、设备及存储介质
KR101470112B1 (ko) 미리 계산된 스케일-공간으로부터의 데이지 서술자 생성
WO2022193335A1 (zh) 点云数据处理方法、装置、计算机设备和存储介质
CN102782708A (zh) 用于图像辨识的描述符小块的快速子空间投影
CN112435193B (zh) 一种点云数据去噪的方法、装置、存储介质和电子设备
CN114529982B (zh) 基于流式注意力的轻量级人体姿态估计方法及***
CN113962858A (zh) 一种多视角深度获取方法
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
WO2024114321A1 (zh) 图像数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品
CN115984701A (zh) 一种基于编解码结构的多模态遥感图像语义分割方法
CN116051873A (zh) 关键点匹配方法、装置及电子设备
CN110298233B (zh) 掌纹识别方法、装置、计算机设备及存储介质
Li et al. Quantized self-supervised local feature for real-time robot indirect VSLAM
RU2361273C2 (ru) Способ и устройство для распознавания изображений объектов
CN110717405A (zh) 人脸特征点定位方法、装置、介质及电子设备
CN112862866A (zh) 基于麻雀搜索算法的图像配准方法及***、计算设备
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN117274333A (zh) 一种基于多尺度深度特征图融合的多光谱图像配准方法
CN111951211B (zh) 一种目标检测方法、装置及计算机可读存储介质
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
CN114998630B (zh) 一种从粗到精的地对空图像配准方法
CN113643328B (zh) 标定物的重建方法、装置、电子设备及计算机可读介质
CN110689513B (zh) 彩色图像融合方法、装置和终端设备
CN114511631A (zh) 摄像机视觉物体高度测量方法、装置及计算机可读存储介质
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40045353

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant