CN114419349B - 一种图像匹配方法和装置 - Google Patents

一种图像匹配方法和装置 Download PDF

Info

Publication number
CN114419349B
CN114419349B CN202210322040.2A CN202210322040A CN114419349B CN 114419349 B CN114419349 B CN 114419349B CN 202210322040 A CN202210322040 A CN 202210322040A CN 114419349 B CN114419349 B CN 114419349B
Authority
CN
China
Prior art keywords
image
grained
coarse
pixel point
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210322040.2A
Other languages
English (en)
Other versions
CN114419349A (zh
Inventor
张天柱
张哲�
何建峰
张勇东
吴枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202210322040.2A priority Critical patent/CN114419349B/zh
Publication of CN114419349A publication Critical patent/CN114419349A/zh
Application granted granted Critical
Publication of CN114419349B publication Critical patent/CN114419349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供图像匹配方法和装置，方法包括：获取针对目标场景在不同拍摄状态拍摄的第一图像和第二图像；对第一图像和第二图像分别提取粗粒度特征，得到第一图像和第二图像分别对应的粗粒度特征图；对第一图像和第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，得到第一图像和第二图像分别对应的邻域聚合特征图；根据第一图像中每个像素点对应的邻域聚合特征与第二图像中每个像素点对应的邻域聚合特征，确定第一图像每个像素点与第二图像每个像素点的粗粒度特征相似度；根据确定的粗粒度特征相似度，确定第一图像与第二图像中的匹配像素对。本申请考第一图像和第二图像的每个像素点进行匹配，匹配准确度好，不会出现关键点检测缺失的情况。

Description

一种图像匹配方法和装置
技术领域
本申请涉及计算机视觉领域，特别是涉及一种图像匹配方法和装置。
背景技术
图像对应性学习试图在包含不同光照和形变条件的图片对之间建立匹配关系，进而可以应用于图像检索、姿态估计和三维重建等众多计算机视觉领域。
当前的图像对应性学习方法主要为稀疏匹配方法，该稀疏匹配方法通常先提取感兴趣关键点以及学习特征描述，最后使用相互最近邻标准建立匹配，然而这类方法在一些极端的外观变化下容易出现关键点检测缺失的问题。
发明内容
有鉴于此，本申请提供了一种图像匹配方法和装置，以解决现有技术存在的容易出现关键点检测缺失的问题，其技术方案如下：
一种图像匹配方法，包括：
获取针对目标场景在不同拍摄状态下拍摄的第一图像和第二图像；
对第一图像和第二图像分别提取粗粒度特征，得到第一图像和第二图像分别对应的粗粒度特征图；
对第一图像和第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，得到第一图像和第二图像分别对应的邻域聚合特征图，其中，邻域聚合特征图包含对应图像中每个像素点对应的邻域聚合特征；
根据第一图像中每个像素点对应的邻域聚合特征与第二图像中每个像素点对应的邻域聚合特征，确定第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度；
根据第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，确定第一图像与第二图像中的匹配像素对。
可选的，对第一图像和第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，包括：
采用对应的预分离卷积算子对第一图像和第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，其中，预分离卷积算子具有将目标像素点及其邻域像素点的粗粒度特征聚合为目标像素点的邻域聚合特征的能力。
可选的，根据第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，确定第一图像与第二图像中的匹配像素对，包括：
对于第一图像中的每个像素点，从该像素点与第二图像中每个像素点的粗粒度特征相似度中确定最高的粗粒度特征相似度，将最高的粗粒度特征相似度对应的该像素点以及第二图像中的像素点作为待筛选像素对；以得到由待筛选像素对组成的待筛选像素对集合；
根据待筛选像素对集合中各待筛选像素对的粗粒度特征相似度，从待筛选像素对集合中筛选粗粒度特征相似度最高的设定数目个待筛选像素对，作为第一图像与第二图像中的匹配像素对。
可选的，根据第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，确定第一图像与第二图像中的匹配像素对，包括：
根据第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，从第一图像中确定候选点集合；
对第一图像和第二图像分别提取细粒度特征，得到第一图像和第二图像分别对应的细粒度特征图；
根据预设的键值对集合，将第一图像和第二图像分别对应的细粒度特征图映射到同一拍摄状态下，以得到第一图像和第二图像分别对应的自适应特征图，其中，自适应特征图包含对应图像中每个像素点对应的自适应特征；
根据第一图像中每个像素点对应的自适应特征与第二图像中每个像素点对应的自适应特征，确定候选点集合中每个像素点与第二图像中每个像素点的细粒度特征相似度；
根据候选点集合中每个像素点与第二图像中每个像素点的细粒度特征相似度和粗粒度特征相似性，确定第一图像与第二图像中的匹配像素对。
可选的，根据第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，从第一图像中确定候选点集合，包括：
对于第一图像中的每个像素点，从该像素点与第二图像中每个像素点的粗粒度特征相似度中确定最高的粗粒度特征相似度，作为该像素点对应的粗粒度特征相似度；以得到第一图像中的所有像素点分别对应的粗粒度特征相似度；
根据第一图像中的所有像素点分别对应的粗粒度特征相似度，从第一图像中筛选粗粒度特征相似度最高的设定数目个像素点，作为候选点集合。
可选的，根据预设的键值对集合，将第一图像和第二图像分别对应的细粒度特征图映射到同一拍摄状态下，以得到第一图像和第二图像分别对应的自适应特征图，包括：
根据第一图像和第二图像分别对应的细粒度特征图，生成查询向量；
根据查询向量和键值对集合，生成动态卷积参数；
根据动态卷积参数将第一图像对应的细粒度特征图映射到同一拍摄状态下，以得到第一图像对应的自适应特征图，并根据动态卷积参数将第二图像对应的细粒度特征图映射到同一拍摄状态下，以得到第二图像对应的自适应特征图。
可选的，根据候选点集合中每个像素点与第二图像中每个像素点的细粒度特征相似度和粗粒度特征相似性，确定第一图像与第二图像中的匹配像素对，包括：
将候选点集合中每个像素点与第二图像中每个像素点的细粒度特征相似度和粗粒度特征相似性相加，和值作为候选点集合中每个像素点与第二图像中每个像素点的综合特征相似度；
对于候选点集合中的每个像素点，将该像素点与第二图像中每个像素点的综合特征相似度中，最高的综合特征相似度对应的该像素点以及第二图像中的像素点作为匹配像素对。
可选的，对第一图像和第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，包括：
将第一图像和第二图像分别对应的粗粒度特征图分别归一化；
对第一图像和第二图像分别对应的归一化后的粗粒度特征图分别进行邻域特征聚合；
根据预设的键值对集合，将第一图像和第二图像分别对应的细粒度特征图映射到同一拍摄状态下，包括：
将第一图像和第二图像分别对应的细粒度特征图分别归一化；
根据预设的键值对集合，将第一图像和第二图像分别对应的归一化后的细粒度特征图映射到同一拍摄状态下。
可选的，对第一图像和第二图像分别提取粗粒度特征，包括：
采用标准的特征金字塔网络对第一图像和第二图像分别提取粗粒度特征；
对第一图像和第二图像分别提取细粒度特征，包括：
采用特征金字塔网络对第一图像和第二图像分别提取细粒度特征，其中，特征金字塔网络提取粗粒度特征时使用的网络层数小于特征金字塔网络提取细粒度特征时使用的网络层数。
一种图像匹配装置，包括：图像获取模块、粗粒度特征提取模块、邻域特征聚合模块、粗粒度特征相似度计算模块和像素点匹配模块；
图像获取模块，用于获取针对目标场景在不同拍摄状态下拍摄的第一图像和第二图像；
粗粒度特征提取模块，用于对第一图像和第二图像分别提取粗粒度特征，得到第一图像和第二图像分别对应的粗粒度特征图；
邻域特征聚合模块，用于对第一图像和第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，得到第一图像和第二图像分别对应的邻域聚合特征图，其中，邻域聚合特征图包含对应图像中每个像素点对应的邻域聚合特征；
粗粒度特征相似度计算模块，用于根据第一图像中每个像素点对应的邻域聚合特征与第二图像中每个像素点对应的邻域聚合特征，确定第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度；
像素点匹配模块，用于根据第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，确定第一图像与第二图像中的匹配像素对。
经由上述的技术方案可知，本申请提供的图像匹配方法，首先获取针对目标场景在不同拍摄状态下拍摄的第一图像和第二图像，然后对第一图像和第二图像分别提取粗粒度特征，得到第一图像和第二图像分别对应的粗粒度特征图，接着对第一图像和第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，得到第一图像和第二图像分别对应的邻域聚合特征图，之后根据第一图像中每个像素点对应的邻域聚合特征与第二图像中每个像素点对应的邻域聚合特征，确定第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，最后根据第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，确定第一图像与第二图像中的匹配像素对。本申请能够基于第一图像和第二图像分别对应的邻域聚合特征图，确定出第一图像和第二图像中两两像素点之间的粗粒度特征相似度，然后再基于计算出的两两像素点之间的粗粒度特征相似度，确定第一图像与第二图像中的匹配像素对，由此可见，本申请考虑了第一图像和第二图像上的每个像素点来进行匹配，从而能够确定出匹配度更高的匹配像素对，匹配准确度更好，且，不会出现关键点检测缺失的情况。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种图像匹配方法的流程示意图；
图2为本申请实施例提供的密集匹配网络架构的示意图；
图3为本申请实施例提供的另一种图像匹配方法的流程示意图；
图4为本申请实施例提供的图像匹配装置的结构示意图；
图5为本申请实施例提供的图像匹配设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
鉴于现有技术存在的问题，本案发明人进行了深入研究，初始阶段的思路中，为了克服检测缺失的局限性，提出了密集匹配方法，该密集匹配方法首先对图像上的每个像素点进行匹配，然后使用4D卷积在四维空间中滤除错误匹配。
该密集匹配方法考虑了图像上的每个像素点进行匹配，然后再使用4D卷积从匹配出的像素对中滤除错误匹配，匹配效果更好，且，不会出现关键点检测缺失的情况。但是，4D卷积具有很高的计算成本和内存消耗，因此该初始阶段的思路提出的密集匹配方法滤除错误匹配效率非常低。
在初始阶段的思路上，本案发明人进行了进一步深入研究，最终提出了一种图像匹配方法，该图像匹配方法为改进的密集匹配方法，克服了初始阶段的思路中密集匹配方法滤除错误匹配效率非常低的缺点。本申请提供的图像匹配方法可以应用于具有数据处理能力的终端（例如个人手机、电脑等）或服务器上。接下来通过下述实施例对本申请提供的图像匹配方法进行详细介绍。
请参阅图1，示出了本申请实施例提供的一种图像匹配方法的流程示意图，该图像匹配方法可以包括：
步骤S101、获取针对目标场景在不同拍摄状态下拍摄的第一图像和第二图像。
可选的，不同拍摄状态可以是不同时刻、不同角度、不同光照等。
由于拍摄状态不同，拍摄出的第一图像和第二图像会所有差别，可通过下述步骤进行图像像素点的匹配。
需要说明的是，本步骤提供的第一图像和第二图像的形状均为（H,W,D），其中，H是指图像的高度，W是指图像的宽度，D是指图像中的像素值的维度。
步骤S102、对第一图像和第二图像分别提取粗粒度特征，得到第一图像和第二图像分别对应的粗粒度特征图。
其中，粗粒度特征图包含对应图像中每个像素点对应的粗粒度特征，即，第一图像对应的粗粒度特征图包含第一图像中每个像素点对应的粗粒度特征，第二图像对应的粗粒度特征图包含第二图像中每个像素点对应的粗粒度特征。
可选的，本步骤可以采用特征提取器对第一图像和第二图像分别提取粗粒度特征，以得到第一图像和第二图像分别对应的粗粒度特征图。
可选的，特征提取器可以为标准的特征金字塔网络。可以理解的是，标准的特征金字塔网络为多层网络，在一可选实施例中，参见图2所示，本步骤采用标准的特征金字塔网络对第一图像和第二图像分别提取粗粒度特征的过程可以包括：采用标准的特征金字塔网络的前设定层数提取第一图像和第二图像分别对应的粗粒度特征图。图2中，将第一图像用
Figure 786865DEST_PATH_IMAGE001
表示，将第二图像用
Figure 700070DEST_PATH_IMAGE002
表示，将第一图像对应的粗粒度特征图用
Figure 62918DEST_PATH_IMAGE003
表示，将第二图像对应的粗粒度特征图用
Figure 505532DEST_PATH_IMAGE004
表示。
步骤S103、对第一图像和第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，得到第一图像和第二图像分别对应的邻域聚合特征图。
其中，邻域聚合特征图包含对应图像中每个像素点对应的邻域聚合特征，即，第一图像对应的邻域聚合特征图包含第一图像中每个像素点对应的邻域聚合特征，第二图像对应的邻域聚合特征图包含第二图像中每个像素点对应的邻域聚合特征。
考虑到直接基于第一图像中每个像素点对应的粗粒度特征和第二图像中每个像素点对应的粗粒度特征进行匹配，匹配错误的概率相对较高，为了降低匹配错误率，可以在对每个像素点进行匹配时，考虑周围像素点对应的粗粒度特征，即将周围像素点对应的粗粒度特征与自身像素点对应的粗粒度特征进行邻域特征聚合，以便更准确地匹配。这里，“周围像素点”具体可以根据实际情况确定，本申请对此不进行限定，例如“周围像素点”可以是以自身像素点为中心，周围3*3像素范围内的像素点，也可以是周围5*5像素范围内的像素点，等等。
可选的，本步骤可以采用对应的预分离卷积算子对第一图像和第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，也即，采用第一预分离卷积算子对第一图像对应的粗粒度特征图进行邻域特征聚合，并采用第二预分离卷积算子对第二图像对应的粗粒度特征图进行邻域特征聚合。这里，预分离卷积算子具有将目标像素点（即自身像素点）及其邻域像素点（即周围像素点）的粗粒度特征聚合为目标像素点的邻域聚合特征的能力。
为便于后续描述，将邻域特征聚合的整个过程表示为
Figure 53057DEST_PATH_IMAGE005
，将第一图像和第二图像分别对应的邻域聚合特征图表示为
Figure 705755DEST_PATH_IMAGE006
和
Figure 13240DEST_PATH_IMAGE007
，将第一预分离卷积算子和第二预分离卷积算子分别表示为
Figure 592251DEST_PATH_IMAGE008
和
Figure 61409DEST_PATH_IMAGE009
，则本步骤中，
Figure 201404DEST_PATH_IMAGE010
，
Figure 765109DEST_PATH_IMAGE011
。
可选的，本步骤可以采用多个预分离卷积算子进行邻域特征聚合，即第一预分离卷积算子和第二预分离卷积算子均包括多个预分离卷积算子。可选的，本步骤基于预分离卷积算子进行邻域特征聚合的计算公式可以包括下述公式（1）和公式（2）：
Figure 306949DEST_PATH_IMAGE012
（1）
Figure 681430DEST_PATH_IMAGE013
（2）
上式中，
Figure 308720DEST_PATH_IMAGE014
是指第t个预分离卷积算子对应的邻域聚合特征（
Figure 180511DEST_PATH_IMAGE015
为上个步骤获得的粗粒度特征），其形状为
Figure 842436DEST_PATH_IMAGE016
（本实施例将第一图像和第二图像的像素值的维度D用
Figure 387818DEST_PATH_IMAGE017
和
Figure 236826DEST_PATH_IMAGE018
两个参数表示，即本实施例基于四维空间进行匹配），
Figure 407913DEST_PATH_IMAGE019
的形状为
Figure 924345DEST_PATH_IMAGE020
，
Figure 640628DEST_PATH_IMAGE021
,
Figure 976931DEST_PATH_IMAGE022
为p的邻域像素点，W为预分离卷积算子，形状为
Figure 187595DEST_PATH_IMAGE023
，
Figure 558534DEST_PATH_IMAGE024
有
Figure 445718DEST_PATH_IMAGE025
种取值，
Figure 534897DEST_PATH_IMAGE026
有
Figure 782207DEST_PATH_IMAGE027
种取值，
Figure 7652DEST_PATH_IMAGE028
有
Figure 190372DEST_PATH_IMAGE018
种取值，i有H种取值，j有W种取值，k是指周围像素点的像素范围，例如，k=3表示“周围像素点”是以自身像素点为中心，周围3*3像素范围内的像素点。
在一可选实施例中，本步骤还可以在进行邻域特征聚合前，先将第一图像和第二图像分别对应的粗粒度特征图分别归一化，然后再对第一图像和第二图像分别对应的归一化后的粗粒度特征图分别进行邻域特征聚合，以使得后续步骤计算的粗粒度特征相似度在-1到1之间。
步骤 S104、根据第一图像中每个像素点对应的邻域聚合特征与第二图像中每个像素点对应的邻域聚合特征，确定第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度。
可选的，本步骤可以采用如下的公式（3）将第一图像中每个像素点对应的邻域聚合特征与第二图像中每个像素点对应的邻域聚合特征进行特征相关操作，得到第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度。
Figure 376634DEST_PATH_IMAGE029
（3）
式中，
Figure 303002DEST_PATH_IMAGE030
表示像素点（i, j）对应的邻域聚合特征，
Figure 271701DEST_PATH_IMAGE031
表示像素点（k, l）对应的邻域聚合特征，<·,·>表示两个邻域聚合特征的内积，
Figure 625322DEST_PATH_IMAGE032
表示特征相关操作。
需要说明的是，上文描述的基于上述公式（3）确定第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度的方法仅为本步骤的一种可选实施方式，除此之外还可以采用其他方式，本申请对此不进行限定。
步骤 S105、根据第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，确定第一图像与第二图像中的匹配像素对。
这里，匹配像素对是指匹配度比较高的像素对。可以理解的是，粗粒度特征相似度可以表征两个像素点之间的匹配程度，即，第一图像中的像素点与第二图像中的像素点的粗粒度特征相似度越高，说明该两个像素点的匹配度越高，因此，本步骤根据第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，即可以确定出第一图像与第二图像中的匹配像素对。
可选的，本步骤的过程可以包括以下步骤 S1051和步骤 S1052：
步骤 S1051、对于第一图像中的每个像素点，从该像素点与第二图像中每个像素点的粗粒度特征相似度中确定最高的粗粒度特征相似度，将最高的粗粒度特征相似度对应的该像素点以及第二图像中的像素点作为待筛选像素对；以得到由待筛选像素对组成的待筛选像素对集合。
举例说明本步骤的过程：假设第一图像和第二图像均包括100个像素点，将第一图像包含的100个像素点用a1~a100表示，将第二图像包含的100个像素点用b1~b100表示。
则对于a1来说，假设a1分别与b1~b100的粗粒度特征相似度（共100个粗粒度特征相似度）中，最高的粗粒度特征相似度为a1与b52的粗粒度特征相似度，则将（a1，b52）作为一个待筛选像素对；对于a2来说，假设a2分别与b1~b100的粗粒度特征相似度中，最高的粗粒度特征相似度为a2与b37的粗粒度特征相似度，则将（a2，b37）作为一个待筛选像素对；以此类推，对于a100来说，假设a100分别与b1~b100的粗粒度特征相似度中，最高的粗粒度特征相似度为a100与b66的粗粒度特征相似度，则将（a100，b66）作为一个待筛选像素对。
本步骤可由（a1，b52）、（a2，b37）、…、（a100，b66）共同组成待筛选像素对集合。
步骤 S1052、根据待筛选像素对集合中各待筛选像素对的粗粒度特征相似度，从待筛选像素对集合中筛选粗粒度特征相似度最高的设定数目个待筛选像素对，作为第一图像与第二图像中的匹配像素对。
可选的，设定数目可以为第一图像中像素点总数的一半，例如，第一图像包含100个像素点，则设定数目可以设置为50。
可以理解的是，虽然本实施例采取基于邻域特征聚合的匹配方式来避免匹配错误的情况，但是不排除待筛选像素对集合包含的各待筛选像素对中，还会有一些待筛选像素对匹配错误的情况。为了保证更好地匹配，本步骤可以将待筛选像素对集合中匹配度相对较低的待筛选像素对滤除，以避免匹配错误的情况。
由于粗粒度特征相似度越低，说明对应的待筛选像素对匹配错误的概率越高，因此本步骤可以从待筛选像素对集合中筛选粗粒度特征相似度最高的设定数目个待筛选像素对，作为第一图像与第二图像中的匹配像素对。
例如，假设待筛选像素对集合包含100个待筛选像素对（说明第一图像和第二图像中的像素点总数均为100），设定数目为50，则本步骤可以根据这100个待筛选像素对的粗粒度特征相似度，将粗粒度特征相似度最高的前50个待筛选像素对，作为第一图像与第二图像中的匹配像素对。
需要说明的是，上述步骤 S1051及步骤 S1052所示的实施过程仅为本步骤的一种可选实施过程，除此之外，本步骤还可以有其他实施过程，在此不进行具体限定。
本申请提供的图像匹配方法，首先获取针对目标场景在不同拍摄状态下拍摄的第一图像和第二图像，然后对第一图像和第二图像分别提取粗粒度特征，得到第一图像和第二图像分别对应的粗粒度特征图，接着对第一图像和第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，得到第一图像和第二图像分别对应的邻域聚合特征图，之后根据第一图像中每个像素点对应的邻域聚合特征与第二图像中每个像素点对应的邻域聚合特征，确定第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，最后根据第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，确定第一图像与第二图像中的匹配像素对。本申请能够基于第一图像和第二图像分别对应的邻域聚合特征图，确定出第一图像和第二图像中两两像素点之间的粗粒度特征相似度，然后再基于计算出的两两像素点之间的粗粒度特征相似度，确定第一图像与第二图像中的匹配像素对，由此可见，本申请考虑了第一图像和第二图像上的每个像素点来进行匹配，从而能够确定出匹配度更高的匹配像素对，匹配准确度更好，且，不会出现关键点检测缺失的情况。
并且，本申请提供的基于预分离卷积算子进行邻域特征聚合，然后再基于第一图像和第二图像中的像素点分别对应的邻域聚合特征，确定粗粒度特征相似度的方法，计算复杂度和特征大小成线性关系，远优于初始阶段思路中的4D卷积操作（4D卷积计算复杂度和特征大小成平方关系），因此本申请可以实现高效的错误匹配滤除，从而得到匹配准确率的匹配像素对。
考虑到图像间的昼夜(光照)变化、遮挡和视角变化等挑战因素也会影响匹配准确率，为了避免因图像间的昼夜(光照)变化、遮挡和视角变化等挑战因素导致的匹配错误或找不到匹配点的情况，同时，上个实施例仅基于粗粒度特征相似度进行匹配，即使最终确定出的匹配像素对的匹配程度相对较高，仍有可能出现匹配错误的情况。
为了进一步提高匹配准确度，本申请还提出了另一种图像匹配方法，该图像匹配方法同时考虑了粗粒度特征相似度和细粒度特征相似度，从而提高了匹配准确度。接下来通过下述实施例对该另一种图像匹配方法进行详细介绍。
请参阅图3，示出了本申请实施例提供的另一种图像匹配方法的流程示意图，该图像匹配方法可以包括：
步骤 S301、获取针对目标场景在不同拍摄状态下拍摄的第一图像和第二图像。
步骤 S302、对第一图像和第二图像分别提取粗粒度特征，得到第一图像和第二图像分别对应的粗粒度特征图。
步骤 S303、对第一图像和第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，得到第一图像和第二图像分别对应的邻域聚合特征图。
步骤 S304、根据第一图像中每个像素点对应的邻域聚合特征与第二图像中每个像素点对应的邻域聚合特征，确定第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度。
上述步骤 S301~步骤 S304与前述实施例中的步骤 S101~步骤 S104一一对应，详细可参照前述实施例中的介绍，在此不再赘述。
可选的，上述步骤 S105的过程可以包括以下步骤 S305~步骤 S309：
步骤 S305、根据第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，从第一图像中确定候选点集合。
上文已经介绍了，粗粒度特征相似度可以表征两个像素点之间的匹配程度，为了避免确定出错误的匹配像素对，本步骤可以根据第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，选取匹配度比较高的一些像素对，这些像素对中属于第一图像的像素点组成本步骤中的候选点集合。
可选的，本步骤的过程可以包括以下步骤 S3051~步骤 S3052：
步骤 S3051、对于第一图像中的每个像素点，从该像素点与第二图像中每个像素点的粗粒度特征相似度中确定最高的粗粒度特征相似度，作为该像素点对应的粗粒度特征相似度；以得到第一图像中的所有像素点分别对应的粗粒度特征相似度。
步骤 S3052、根据第一图像中的所有像素点分别对应的粗粒度特征相似度，从第一图像中筛选粗粒度特征相似度最高的设定数目个像素点，作为候选点集合。
步骤 S306、对第一图像和第二图像分别提取细粒度特征，得到第一图像和第二图像分别对应的细粒度特征图。
其中，细粒度特征图包含对应图像中每个像素点对应的细粒度特征，即，第一图像对应的细粒度特征图包含第一图像中每个像素点对应的细粒度特征，第二图像对应的细粒度特征图包含第二图像中每个像素点对应的细粒度特征。
本步骤的过程与上述步骤 S102（或步骤 S302）的过程类似，详细可参照前述实施例中的介绍，在此不再赘述。
值得注意的是，本步骤在采用特征金字塔网络对第一图像和第二图像分别提取细粒度特征时，使用的网络层数大于特征金字塔网络提取粗粒度特征时使用的网络层数，因此，本实施例中的细粒度特征图的分辨率高于粗粒度特征图的分辨率。例如参见图2所示，图2中，将第一图像对应的细粒度特征图用
Figure 298880DEST_PATH_IMAGE033
表示，将第二图像对应的细粒度特征图用
Figure 28939DEST_PATH_IMAGE034
表示。
步骤 S307、根据预设的键值对集合，将第一图像和第二图像分别对应的细粒度特征图映射到同一拍摄状态下，以得到第一图像和第二图像分别对应的自适应特征图。
其中，自适应特征图包含对应图像中每个像素点对应的自适应特征。
可以理解的是，如果两个图像是在相同的拍摄状态下拍摄的图像，则两个图像中的匹配像素点分别对应的细粒度特征应该相同，而如果两个图像是在不同的拍摄状态下拍摄的图像，则受到不同拍摄状态的影响，两个图像中的匹配像素点分别对应的细粒度特征也会不同，从而容易出现匹配错误的情况。
为了降低因拍摄状态不同导致的匹配错误的情况，本步骤设计了一个原型池，并在原型池中预设了键值对集合，该键值对集合中包括N个键值对，即，
Figure 353610DEST_PATH_IMAGE035
。在这里，每个键
Figure 878132DEST_PATH_IMAGE036
代表一个特定的关系向量，该关系向量用于表征两个拍摄状态的差异类型（也就是说，本申请可以将拍摄状态归类为M个状态，每个
Figure 38986DEST_PATH_IMAGE036
表征该M个拍摄状态中的两个拍摄状态的差异类型），每个
Figure 307156DEST_PATH_IMAGE037
表示一个原型卷积层，用于消除因该两个拍摄状态引起的两个图像分别对应的细粒度特征图之间的特征差异性，以提取对关系向量
Figure 987799DEST_PATH_IMAGE036
具有鲁棒性的自适应特征。由此，根据预设的键值对集合，即可以将第一图像和第二图像分别对应的细粒度特征图映射到同一拍摄状态下（本步骤将该处理过程称为动态卷积操作），映射到同一拍摄状态时，第一图像对应的细粒度特征图被处理为第一图像对应的自适应特征图，第二图像对应的细粒度特征图被处理为第二图像对应的自适应特征图。
在一可选实施例中，本步骤的过程可以包括以下步骤 S3071~步骤 S3073：
步骤 S3071、根据第一图像和第二图像分别对应的细粒度特征图，生成查询向量。
在已知第一图像和第二图像分别对应的细粒度特征图的情况下，需要确定出原型池中的哪个卷积层适合提取更加鲁棒的自适应特征，为此，首先根据第一图像和第二图像分别对应的细粒度特征图，生成一个查询向量
Figure 683222DEST_PATH_IMAGE038
，这里，该查询向量可以用来表征第一图像和第二图像分别对应的拍摄状态之间的差异（实际差异），后续将查询向量与键值对集合中进行匹配，找到查询向量对应的键
Figure 331372DEST_PATH_IMAGE039
，即可以通过
Figure 403234DEST_PATH_IMAGE036
对应的
Figure 436917DEST_PATH_IMAGE037
进行拍摄状态的映射。
可选的，生成查询向量
Figure 568822DEST_PATH_IMAGE038
使用的公式为：
Figure 438689DEST_PATH_IMAGE040
，其中ReLU为激活函数，
Figure 314241DEST_PATH_IMAGE041
为全连接层，P为全局池化操作。
步骤 S3072、根据查询向量和键值对集合，生成动态卷积参数。
可选的，本步骤可以基于公式（4）、公式（5）和公式（6），根据查询向量和键值对集合，生成动态卷积参数；
Figure 718544DEST_PATH_IMAGE042
（4）
Figure 21350DEST_PATH_IMAGE043
（5）
Figure 378513DEST_PATH_IMAGE044
（6）
式中，
Figure 792177DEST_PATH_IMAGE045
表示查询向量
Figure 800453DEST_PATH_IMAGE038
和键
Figure 274160DEST_PATH_IMAGE036
之间的相似度分数，
Figure 384198DEST_PATH_IMAGE046
表示查询向量
Figure 601553DEST_PATH_IMAGE038
和键
Figure 700221DEST_PATH_IMAGE047
之间的相似性分数，
Figure 344829DEST_PATH_IMAGE048
表示对
Figure 676584DEST_PATH_IMAGE049
进行归一化后的查询向量
Figure 432051DEST_PATH_IMAGE038
和键
Figure 414919DEST_PATH_IMAGE036
之间的相似度分数，
Figure 964849DEST_PATH_IMAGE050
是指温度系数，用于调节分数变化程度，V为动态卷积参数。
步骤 S3073、根据动态卷积参数将第一图像对应的细粒度特征图映射到同一拍摄状态下，以得到第一图像对应的自适应特征图，并根据动态卷积参数将第二图像对应的细粒度特征图映射到同一拍摄状态下，以得到第二图像对应的自适应特征图。
在本步骤中，将动态卷积操作记为
Figure 783901DEST_PATH_IMAGE051
，将第一图像对应的自适应特征图用
Figure 77479DEST_PATH_IMAGE052
表示，将第二图像对应的自适应特征图用
Figure 790220DEST_PATH_IMAGE053
表示，则
Figure 399799DEST_PATH_IMAGE054
，
Figure 565201DEST_PATH_IMAGE055
。
在本步骤中，由于动态卷积参数V是根据输入的细粒度特征自适应生成的，因此，通过动态卷积参数提取的自适应特征更加鲁棒，在面对不同的挑战时具有更强的灵活性。
在一可选实施例中，步骤 S307还可以在进行拍摄状态映射前，先将第一图像和第二图像分别对应的细粒度特征图分别归一化，然后再根据预设的键值对集合，将第一图像和第二图像分别对应的归一化后的细粒度特征图映射到同一拍摄状态下，以使得后续步骤计算的细粒度特征相似度在-1到1之间。
步骤 S308、根据第一图像中每个像素点对应的自适应特征与第二图像中每个像素点对应的自适应特征，确定候选点集合中每个像素点与第二图像中每个像素点的细粒度特征相似度。
步骤 S305已经从第一图像中确定出候选点集合，那么，本步骤根据第一图像中每个像素点对应的自适应特征与第二图像中每个像素点对应的自适应特征，确定候选点集合中每个像素点与第二图像中每个像素点的细粒度特征相似度即可。
可选的，本步骤计算细粒度特征相似度的方法与前述步骤 S104相似，只不过将步骤 S104中的邻域聚合特征替换为本步骤的自适应特征，并且，本步骤只对候选点集合计算细粒度特征相似度，因此，详细过程可以参照前述步骤 S104中的介绍，在此不再赘述。
步骤 S309、根据候选点集合中每个像素点与第二图像中每个像素点的细粒度特征相似度和粗粒度特征相似性，确定第一图像与第二图像中的匹配像素对。
前述步骤 S104（或步骤 S304）已经得到第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，即，已经得到候选点集合中每个像素点与第二图像中每个像素点的粗粒度特征相似度，那么，本步骤根据候选点集合中每个像素点与第二图像中每个像素点的粗粒度特征相似度，以及，候选点集合中每个像素点与第二图像中每个像素点的细粒度特征相似度，即可以从第二图像中确定出候选点集合中每个像素点匹配的像素点，由确定出的第二图像中的像素点和匹配的候选点集合中的像素点组成本步骤中的匹配像素对。
可选的，本步骤的过程可以包括以下步骤 S3091~步骤 S3092：
步骤 S3091、将候选点集合中每个像素点与第二图像中每个像素点的细粒度特征相似度和粗粒度特征相似性相加，和值作为候选点集合中每个像素点与第二图像中每个像素点的综合特征相似度。
以候选点集合中像素点a1，以及，第二图像中的像素点b1为例进行说明，本步骤可以像素点a1与像素点b1的细粒度特征相似度，以及，像素点a1与像素点b1的粗粒度特征相似度相加，得到像素点a1与像素点b1的综合特征相似度。
步骤 S3092、对于候选点集合中的每个像素点，将该像素点与第二图像中每个像素点的综合特征相似度中，最高的综合特征相似度对应的该像素点以及第二图像中的像素点作为匹配像素对。
具体的，对于候选点集合中的任一个像素点，可以从该像素点与第二图像中每个像素点的综合特征相似度中，确定出最高的综合特征相似度，然后将该综合特征相似度对应的该像素点以及第二图像中的像素点作为一个匹配像素对。
本步骤对候选点集合中的每个像素点，均按照上述过程进行处理，即得到第一图像与第二图像中的匹配像素对。
综上，本实施例经由上述步骤 S301~步骤 S309即可以实现准确的对应性匹配。需要说明的是，本实施例不完全限定上述各步骤的先后顺序，只要能基于上述步骤 S301~步骤 S309实现本申请实施例即可，例如，步骤 S306可以在步骤 S302~步骤 S305之前。
由上，本实施例提供了一种高效动态自适应的图像匹配方法（也可以称为图像对应性学习方法），该方法以由粗到细的方式来建立精确的匹配关系，其中，步骤 S302~步骤S305给出的处理方式，降低了计算复杂度，减少了计算成本，并能实现在四维空间中高效滤除错误匹配；步骤 S306~步骤 S308给出的处理方式，能够动态地提取更加鲁棒的自适应特征，在面对不同的挑战时具有更强的灵活性；步骤 S309结合粗粒度特征相似度和细粒度特征相似度，能够确定出更加准确的匹配像素对。
在一可选实施例中，为了进一步确定步骤 S309给出的匹配像素点是否准确，本实施例还可以在步骤 S301~步骤 S309执行一遍后再进行反向匹配，即将第一图像作为第二图像，将第二图像作为第一图像，再次执行步骤 S302~步骤 S309，如果此时步骤 S309给出的匹配像素点与前述过程步骤 S309给出的匹配像素点一致，则说明当前的匹配像素点匹配准确无误。
在一可选实施例中，可以通过建立高效的密集匹配网络来实现上述步骤 S301~步骤 S309，以基于该密集匹配网络建立可靠和准确对应性关系。
该密集匹配网络架构可以参见图2所示，图2中邻域特征聚合模块对应步骤 S303，C是指步骤 S304计算出的粗粒度特征相似度，
Figure 537837DEST_PATH_IMAGE056
是指步骤 S305确定的候选点集合，动态特征学习模块对应步骤 S307，
Figure 105084DEST_PATH_IMAGE057
对应步骤 S309计算出的综合特征相似度。
在构建出图2所示的密集匹配网络后，可以对该密集匹配网络进行训练。训练过程包括：
步骤 S1、基于步骤 S302~步骤 S309的过程计算
Figure 387030DEST_PATH_IMAGE057
（对于第一图像
Figure 39728DEST_PATH_IMAGE001
上的像素点，基于
Figure 816054DEST_PATH_IMAGE057
在第二图像
Figure 503387DEST_PATH_IMAGE002
上找到对应的匹配像素点）和
Figure 457699DEST_PATH_IMAGE058
（对于第二图像
Figure 597694DEST_PATH_IMAGE002
上的像素点，基于
Figure 912131DEST_PATH_IMAGE058
在第一图像
Figure 453971DEST_PATH_IMAGE001
上找到对应的匹配像素点），在训练期间，候选点集合
Figure 77719DEST_PATH_IMAGE056
直接来自于真实的关键点标注。
步骤 S2、基于
Figure 439431DEST_PATH_IMAGE057
和
Figure 682193DEST_PATH_IMAGE059
定义如下的训练损失：
Figure 953906DEST_PATH_IMAGE060
（7）
式中，
Figure 623921DEST_PATH_IMAGE061
和
Figure 367536DEST_PATH_IMAGE062
均是指基于真实标注的关键点计算出的综合特征相似度。
步骤 S3、基于定义的训练损失训练密集匹配网络中特征金字塔网络的参数、预分离卷积算子、键值对集合等参数，以得到训练好的密集匹配网络。
在训练好密集匹配网络后，可以对密集匹配网络进行测试。在测试期间，对于第一图像上的特征点
Figure 413990DEST_PATH_IMAGE063
，通过
Figure 540209DEST_PATH_IMAGE064
（即步骤 S3092）来确定其在第二图像上的匹配点
Figure 381126DEST_PATH_IMAGE065
，同时，对于第二图像上的像素点
Figure 842063DEST_PATH_IMAGE066
，通过
Figure 426628DEST_PATH_IMAGE067
来确定其在第一图像上的匹配点，如果匹配出的点恰好为
Figure 938512DEST_PATH_IMAGE068
，说明这两个点满足相互最近邻准则，此时将该对应点作为最终的匹配像素点。
综上，本实施例通过建立密集匹配网络实现了端到端训练，无需任何预处理环节，使得本申请在实现上更简便。
本申请通过实现高效准确建立图像匹配关系，可以广泛应用于姿态估计、三维重建等计算机视觉任务。
本申请实施例还提供了一种图像匹配装置，下面对本申请实施例提供的图像匹配装置进行描述，下文描述的图像匹配装置与上文描述的图像匹配方法可相互对应参照。
请参阅图4示出了本申请实施例提供的图像匹配装置的结构示意图，如图4示，该图像匹配装置可以包括：图像获取模块401、粗粒度特征提取模块402、邻域特征聚合模块403、粗粒度特征相似度计算模块404和像素点匹配模块405。
图像获取模块401，用于获取针对目标场景在不同拍摄状态下拍摄的第一图像和第二图像。
粗粒度特征提取模块402，用于对第一图像和第二图像分别提取粗粒度特征，得到第一图像和第二图像分别对应的粗粒度特征图。
邻域特征聚合模块403，用于对第一图像和第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，得到第一图像和第二图像分别对应的邻域聚合特征图，其中，邻域聚合特征图包含对应图像中每个像素点对应的邻域聚合特征。
粗粒度特征相似度计算模块404，用于根据第一图像中每个像素点对应的邻域聚合特征与第二图像中每个像素点对应的邻域聚合特征，确定第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度。
像素点匹配模块405，用于根据第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，确定第一图像与第二图像中的匹配像素对。
本申请提供的图像匹配装置，首先获取针对目标场景在不同拍摄状态下拍摄的第一图像和第二图像，然后对第一图像和第二图像分别提取粗粒度特征，得到第一图像和第二图像分别对应的粗粒度特征图，接着对第一图像和第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，得到第一图像和第二图像分别对应的邻域聚合特征图，之后根据第一图像中每个像素点对应的邻域聚合特征与第二图像中每个像素点对应的邻域聚合特征，确定第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，最后根据第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，确定第一图像与第二图像中的匹配像素对。本申请能够基于第一图像和第二图像分别对应的邻域聚合特征图，确定出第一图像和第二图像中两两像素点之间的粗粒度特征相似度，然后再基于计算出的两两像素点之间的粗粒度特征相似度，确定第一图像与第二图像中的匹配像素对，由此可见，本申请考虑了第一图像和第二图像上的每个像素点来进行匹配，从而能够确定出匹配度更高的匹配像素对，匹配准确度更好，且，不会出现关键点检测缺失的情况。
在一种可能的实现方式中，上述邻域特征聚合模块403具体可以用于采用对应的预分离卷积算子对所述第一图像和所述第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，其中，预分离卷积算子具有将目标像素点及其邻域像素点的粗粒度特征聚合为目标像素点的邻域聚合特征的能力。
在一种可能的实现方式中，上述像素点匹配模块405可以包括：待筛选像素对确定模块和待筛选像素对筛选模块。
待筛选像素对确定模块，用于对于所述第一图像中的每个像素点，从该像素点与所述第二图像中每个像素点的粗粒度特征相似度中确定最高的粗粒度特征相似度，将所述最高的粗粒度特征相似度对应的该像素点以及所述第二图像中的像素点作为待筛选像素对；以得到由待筛选像素对组成的待筛选像素对集合。
待筛选像素对筛选模块，用于根据所述待筛选像素对集合中各待筛选像素对的粗粒度特征相似度，从所述待筛选像素对集合中筛选粗粒度特征相似度最高的设定数目个待筛选像素对，作为所述第一图像与所述第二图像中的匹配像素对。
在一种可能的实现方式中，上述像素点匹配模块405可以包括：候选点集合确定模块、细粒度特征提取模块、拍摄状态映射模块、细粒度特征相似度计算模块和匹配像素对确定模块。
候选点集合确定模块，用于根据所述第一图像中每个像素点与所述第二图像中每个像素点的粗粒度特征相似度，从所述第一图像中确定候选点集合。
细粒度特征提取模块，用于对所述第一图像和所述第二图像分别提取细粒度特征，得到所述第一图像和所述第二图像分别对应的细粒度特征图。
拍摄状态映射模块，用于根据预设的键值对集合，将所述第一图像和所述第二图像分别对应的细粒度特征图映射到同一拍摄状态下，以得到所述第一图像和所述第二图像分别对应的自适应特征图，其中，自适应特征图包含对应图像中每个像素点对应的自适应特征。
细粒度特征相似度计算模块，用于根据所述第一图像中每个像素点对应的自适应特征与所述第二图像中每个像素点对应的自适应特征，确定所述候选点集合中每个像素点与所述第二图像中每个像素点的细粒度特征相似度。
匹配像素对确定模块，用于根据所述候选点集合中每个像素点与所述第二图像中每个像素点的细粒度特征相似度和粗粒度特征相似性，确定所述第一图像与所述第二图像中的匹配像素对。
在一种可能的实现方式中，上述候选点集合确定模块可以包括：第一粗粒度特征相似度筛选模块和第二粗粒度特征相似度筛选模块。
第一粗粒度特征相似度筛选模块，用于对于所述第一图像中的每个像素点，从该像素点与所述第二图像中每个像素点的粗粒度特征相似度中确定最高的粗粒度特征相似度，作为该像素点对应的粗粒度特征相似度；以得到所述第一图像中的所有像素点分别对应的粗粒度特征相似度。
第二粗粒度特征相似度筛选模块，用于根据所述第一图像中的所有像素点分别对应的粗粒度特征相似度，从所述第一图像中筛选粗粒度特征相似度最高的设定数目个像素点，作为所述候选点集合。
在一种可能的实现方式中，上述拍摄状态映射模块可以包括：查询向量生成模块、动态卷积参数生成模块和自适应特征图确定模块。
查询向量生成模块，用于根据所述第一图像和所述第二图像分别对应的细粒度特征图，生成查询向量。
动态卷积参数生成模块，用于根据所述查询向量和所述键值对集合，生成动态卷积参数。
自适应特征图确定模块，用于根据所述动态卷积参数将所述第一图像对应的细粒度特征图映射到所述同一拍摄状态下，以得到所述第一图像对应的自适应特征图，并根据所述动态卷积参数将所述第二图像对应的细粒度特征图映射到所述同一拍摄状态下，以得到所述第二图像对应的自适应特征图。
在一种可能的实现方式中，上述匹配像素对确定模块可以包括：特征相似性相加模块和综合特征相似度筛选模块。
特征相似性相加模块，用于将所述候选点集合中每个像素点与所述第二图像中每个像素点的细粒度特征相似度和粗粒度特征相似性相加，和值作为所述候选点集合中每个像素点与所述第二图像中每个像素点的综合特征相似度。
综合特征相似度筛选模块，用于对于所述候选点集合中的每个像素点，将该像素点与所述第二图像中每个像素点的综合特征相似度中，最高的综合特征相似度对应的该像素点以及所述第二图像中的像素点作为匹配像素对。
在一种可能的实现方式中，上述邻域特征聚合模块403可以包括：第一归一化子模块和邻域特征聚合子模块。
第一归一化子模块，用于将所述第一图像和所述第二图像分别对应的粗粒度特征图分别归一化。
邻域特征聚合子模块，用于对所述第一图像和所述第二图像分别对应的归一化后的粗粒度特征图分别进行邻域特征聚合；
相应的，上述拍摄状态映射模块可以包括：第二归一化子模块和拍摄状态映射子模块。
第二归一化子模块，用于将所述第一图像和所述第二图像分别对应的细粒度特征图分别归一化。
拍摄状态映射子模块，用于根据预设的键值对集合，将所述第一图像和所述第二图像分别对应的归一化后的细粒度特征图映射到所述同一拍摄状态下。
本申请实施例还提供了一种图像匹配设备。可选的，图5示出了图像匹配设备的硬件结构框图，参照图5，该图像匹配设备的硬件结构可以包括：至少一个处理器501，至少一个通信接口502，至少一个存储器503和至少一个通信总线504；
在本申请实施例中，处理器501、通信接口502、存储器503、通信总线504的数量为至少一个，且处理器501、通信接口502、存储器503通过通信总线504完成相互间的通信；
处理器501可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器503可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory）等，例如至少一个磁盘存储器；
其中，存储器503存储有程序，处理器501可调用存储器503存储的程序，所述程序用于：
获取针对目标场景在不同拍摄状态下拍摄的第一图像和第二图像；
对第一图像和第二图像分别提取粗粒度特征，得到第一图像和第二图像分别对应的粗粒度特征图；
对第一图像和第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，得到第一图像和第二图像分别对应的邻域聚合特征图，其中，邻域聚合特征图包含对应图像中每个像素点对应的邻域聚合特征；
根据第一图像中每个像素点对应的邻域聚合特征与第二图像中每个像素点对应的邻域聚合特征，确定第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度；
根据第一图像中每个像素点与第二图像中每个像素点的粗粒度特征相似度，确定第一图像与第二图像中的匹配像素对。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述图像匹配方法。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种图像匹配方法，其特征在于，包括：
获取针对目标场景在不同拍摄状态下拍摄的第一图像和第二图像；
对所述第一图像和所述第二图像分别提取粗粒度特征，得到所述第一图像和所述第二图像分别对应的粗粒度特征图；
对所述第一图像和所述第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，得到所述第一图像和所述第二图像分别对应的邻域聚合特征图，其中，邻域聚合特征图包含对应图像中每个像素点对应的邻域聚合特征；
根据所述第一图像中每个像素点对应的邻域聚合特征与所述第二图像中每个像素点对应的邻域聚合特征，确定所述第一图像中每个像素点与所述第二图像中每个像素点的粗粒度特征相似度；
根据所述第一图像中每个像素点与所述第二图像中每个像素点的粗粒度特征相似度，确定所述第一图像与所述第二图像中的匹配像素对；
所述根据所述第一图像中每个像素点与所述第二图像中每个像素点的粗粒度特征相似度，确定所述第一图像与所述第二图像中的匹配像素对，包括：
对于所述第一图像中的每个像素点，从该像素点与所述第二图像中每个像素点的粗粒度特征相似度中确定最高的粗粒度特征相似度，将所述最高的粗粒度特征相似度对应的该像素点以及所述第二图像中的像素点作为待筛选像素对；以得到由待筛选像素对组成的待筛选像素对集合；根据所述待筛选像素对集合中各待筛选像素对的粗粒度特征相似度，从所述待筛选像素对集合中筛选粗粒度特征相似度最高的设定数目个待筛选像素对，作为所述第一图像与所述第二图像中的匹配像素对；
或者，
根据所述第一图像中每个像素点与所述第二图像中每个像素点的粗粒度特征相似度，从所述第一图像中确定候选点集合；对所述第一图像和所述第二图像分别提取细粒度特征，得到所述第一图像和所述第二图像分别对应的细粒度特征图；根据预设的键值对集合，将所述第一图像和所述第二图像分别对应的细粒度特征图映射到同一拍摄状态下，以得到所述第一图像和所述第二图像分别对应的自适应特征图，其中，自适应特征图包含对应图像中每个像素点对应的自适应特征；根据所述第一图像中每个像素点对应的自适应特征与所述第二图像中每个像素点对应的自适应特征，确定所述候选点集合中每个像素点与所述第二图像中每个像素点的细粒度特征相似度；根据所述候选点集合中每个像素点与所述第二图像中每个像素点的细粒度特征相似度和粗粒度特征相似性，确定所述第一图像与所述第二图像中的匹配像素对。
2.根据权利要求1所述的图像匹配方法，其特征在于，所述对所述第一图像和所述第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，包括：
采用对应的预分离卷积算子对所述第一图像和所述第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，其中，预分离卷积算子具有将目标像素点及其邻域像素点的粗粒度特征聚合为目标像素点的邻域聚合特征的能力。
3.根据权利要求1所述的图像匹配方法，其特征在于，所述根据所述第一图像中每个像素点与所述第二图像中每个像素点的粗粒度特征相似度，从所述第一图像中确定候选点集合，包括：
对于所述第一图像中的每个像素点，从该像素点与所述第二图像中每个像素点的粗粒度特征相似度中确定最高的粗粒度特征相似度，作为该像素点对应的粗粒度特征相似度；以得到所述第一图像中的所有像素点分别对应的粗粒度特征相似度；
根据所述第一图像中的所有像素点分别对应的粗粒度特征相似度，从所述第一图像中筛选粗粒度特征相似度最高的设定数目个像素点，作为所述候选点集合。
4.根据权利要求3所述的图像匹配方法，其特征在于，所述根据预设的键值对集合，将所述第一图像和所述第二图像分别对应的细粒度特征图映射到同一拍摄状态下，以得到所述第一图像和所述第二图像分别对应的自适应特征图，包括：
根据所述第一图像和所述第二图像分别对应的细粒度特征图，生成查询向量；
根据所述查询向量和所述键值对集合，生成动态卷积参数；
根据所述动态卷积参数将所述第一图像对应的细粒度特征图映射到所述同一拍摄状态下，以得到所述第一图像对应的自适应特征图，并根据所述动态卷积参数将所述第二图像对应的细粒度特征图映射到所述同一拍摄状态下，以得到所述第二图像对应的自适应特征图。
5.根据权利要求4所述的图像匹配方法，其特征在于，所述根据所述候选点集合中每个像素点与所述第二图像中每个像素点的细粒度特征相似度和粗粒度特征相似性，确定所述第一图像与所述第二图像中的匹配像素对，包括：
将所述候选点集合中每个像素点与所述第二图像中每个像素点的细粒度特征相似度和粗粒度特征相似性相加，和值作为所述候选点集合中每个像素点与所述第二图像中每个像素点的综合特征相似度；
对于所述候选点集合中的每个像素点，将该像素点与所述第二图像中每个像素点的综合特征相似度中，最高的综合特征相似度对应的该像素点以及所述第二图像中的像素点作为匹配像素对。
6.根据权利要求1、3、4或5任一项所述的图像匹配方法，其特征在于，所述对所述第一图像和所述第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，包括：
将所述第一图像和所述第二图像分别对应的粗粒度特征图分别归一化；
对所述第一图像和所述第二图像分别对应的归一化后的粗粒度特征图分别进行邻域特征聚合；
所述根据预设的键值对集合，将所述第一图像和所述第二图像分别对应的细粒度特征图映射到同一拍摄状态下，包括：
将所述第一图像和所述第二图像分别对应的细粒度特征图分别归一化；
根据预设的键值对集合，将所述第一图像和所述第二图像分别对应的归一化后的细粒度特征图映射到所述同一拍摄状态下。
7.根据权利要求6所述的图像匹配方法，其特征在于，所述对第一图像和第二图像分别提取粗粒度特征，包括：
采用标准的特征金字塔网络对第一图像和第二图像分别提取粗粒度特征；
所述对所述第一图像和所述第二图像分别提取细粒度特征，包括：
采用所述特征金字塔网络对所述第一图像和所述第二图像分别提取细粒度特征，其中，所述特征金字塔网络提取粗粒度特征时使用的网络层数小于所述特征金字塔网络提取细粒度特征时使用的网络层数。
8.一种图像匹配装置，其特征在于，包括：图像获取模块、粗粒度特征提取模块、邻域特征聚合模块、粗粒度特征相似度计算模块和像素点匹配模块；
所述图像获取模块，用于获取针对目标场景在不同拍摄状态下拍摄的第一图像和第二图像；
所述粗粒度特征提取模块，用于对所述第一图像和所述第二图像分别提取粗粒度特征，得到所述第一图像和所述第二图像分别对应的粗粒度特征图；
所述邻域特征聚合模块，用于对所述第一图像和所述第二图像分别对应的粗粒度特征图分别进行邻域特征聚合，得到所述第一图像和所述第二图像分别对应的邻域聚合特征图，其中，邻域聚合特征图包含对应图像中每个像素点对应的邻域聚合特征；
所述粗粒度特征相似度计算模块，用于根据所述第一图像中每个像素点对应的邻域聚合特征与所述第二图像中每个像素点对应的邻域聚合特征，确定所述第一图像中每个像素点与所述第二图像中每个像素点的粗粒度特征相似度；
所述像素点匹配模块，用于根据所述第一图像中每个像素点与所述第二图像中每个像素点的粗粒度特征相似度，确定所述第一图像与所述第二图像中的匹配像素对；
所述像素点匹配模块具体用于：
对于所述第一图像中的每个像素点，从该像素点与所述第二图像中每个像素点的粗粒度特征相似度中确定最高的粗粒度特征相似度，将所述最高的粗粒度特征相似度对应的该像素点以及所述第二图像中的像素点作为待筛选像素对；以得到由待筛选像素对组成的待筛选像素对集合；根据所述待筛选像素对集合中各待筛选像素对的粗粒度特征相似度，从所述待筛选像素对集合中筛选粗粒度特征相似度最高的设定数目个待筛选像素对，作为所述第一图像与所述第二图像中的匹配像素对；
或者，
根据所述第一图像中每个像素点与所述第二图像中每个像素点的粗粒度特征相似度，从所述第一图像中确定候选点集合；对所述第一图像和所述第二图像分别提取细粒度特征，得到所述第一图像和所述第二图像分别对应的细粒度特征图；根据预设的键值对集合，将所述第一图像和所述第二图像分别对应的细粒度特征图映射到同一拍摄状态下，以得到所述第一图像和所述第二图像分别对应的自适应特征图，其中，自适应特征图包含对应图像中每个像素点对应的自适应特征；根据所述第一图像中每个像素点对应的自适应特征与所述第二图像中每个像素点对应的自适应特征，确定所述候选点集合中每个像素点与所述第二图像中每个像素点的细粒度特征相似度；根据所述候选点集合中每个像素点与所述第二图像中每个像素点的细粒度特征相似度和粗粒度特征相似性，确定所述第一图像与所述第二图像中的匹配像素对。
CN202210322040.2A 2022-03-30 2022-03-30 一种图像匹配方法和装置 Active CN114419349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210322040.2A CN114419349B (zh) 2022-03-30 2022-03-30 一种图像匹配方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210322040.2A CN114419349B (zh) 2022-03-30 2022-03-30 一种图像匹配方法和装置

Publications (2)

Publication Number Publication Date
CN114419349A CN114419349A (zh) 2022-04-29
CN114419349B true CN114419349B (zh) 2022-07-15

Family

ID=81264166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210322040.2A Active CN114419349B (zh) 2022-03-30 2022-03-30 一种图像匹配方法和装置

Country Status (1)

Country Link
CN (1) CN114419349B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222955B (zh) * 2022-06-13 2023-02-28 北京医准智能科技有限公司 图像匹配模型的训练方法、装置、电子设备及存储介质
CN115908879B (zh) * 2023-03-09 2023-06-16 中国科学技术大学 基于点引导注意力机制的自适应局部图像特征匹配方法
CN116129228B (zh) * 2023-04-19 2023-07-18 中国科学技术大学 图像匹配模型的训练方法、图像匹配方法及其装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887019A (zh) * 2019-02-19 2019-06-14 北京市商汤科技开发有限公司 一种双目匹配方法及装置、设备和存储介质
CN109919247A (zh) * 2019-03-18 2019-06-21 北京石油化工学院 危化品堆垛双目测距中特征点匹配方法、***和设备
CN111104538A (zh) * 2019-12-06 2020-05-05 深圳久凌软件技术有限公司 一种基于多尺度约束的细粒度车辆图像检索的方法及装置
CN112464803A (zh) * 2020-11-26 2021-03-09 泰康保险集团股份有限公司 图像比较方法和装置
CN112906557A (zh) * 2021-02-08 2021-06-04 重庆兆光科技股份有限公司 一种多视角下的多粒度特征聚合目标重识别方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6760463B2 (en) * 1995-05-08 2004-07-06 Digimarc Corporation Watermarking methods and media
CN113780256B (zh) * 2021-11-12 2022-03-15 科大讯飞(苏州)科技有限公司 粗细分类相结合的图像目标检测方法及相关装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887019A (zh) * 2019-02-19 2019-06-14 北京市商汤科技开发有限公司 一种双目匹配方法及装置、设备和存储介质
CN109919247A (zh) * 2019-03-18 2019-06-21 北京石油化工学院 危化品堆垛双目测距中特征点匹配方法、***和设备
CN111104538A (zh) * 2019-12-06 2020-05-05 深圳久凌软件技术有限公司 一种基于多尺度约束的细粒度车辆图像检索的方法及装置
CN112464803A (zh) * 2020-11-26 2021-03-09 泰康保险集团股份有限公司 图像比较方法和装置
CN112906557A (zh) * 2021-02-08 2021-06-04 重庆兆光科技股份有限公司 一种多视角下的多粒度特征聚合目标重识别方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Fine-Grained Dynamic Head for Object Detection";Lin Song.et al;《arXiv：2012.03519v1》;20201207;全文 *
"深度细粒度图像识别研究综述";邓旭冉等;《南京信息工程大学学报（自然科学版）》;20191128;全文 *

Also Published As

Publication number Publication date
CN114419349A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN114419349B (zh) 一种图像匹配方法和装置
KR101420549B1 (ko) 쿼리 및 모델 이미지들에서 검출된 키포인트들을 클러스터링함에 따른 특징 매칭 방법, 디바이스 그리고 프로세서 판독가능 매체
JP5607261B2 (ja) オブジェクト認識における特徴生成を改善するためのシステム及び方法
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
EP3438929B1 (en) Foreground and background detection method
CN102782708A (zh) 用于图像辨识的描述符小块的快速子空间投影
US10706558B2 (en) Foreground and background detection method
WO2022022695A1 (zh) 图像识别方法和装置
CN103841298B (zh) 一种基于颜色恒量和几何不变特征的视频稳像方法
CN110825900A (zh) 特征重构层的训练方法、图像特征的重构方法及相关装置
US20120224789A1 (en) Noise suppression in low light images
Xiao et al. Defocus blur detection based on multiscale SVD fusion in gradient domain
CN111931686A (zh) 一种基于背景知识增强的视频卫星目标跟踪方法
Bahrami et al. Image tampering detection by exposing blur type inconsistency
CN110827336A (zh) 一种图像对齐方法、装置、设备及存储介质
CN106845555A (zh) 基于Bayer格式的图像匹配方法及图像匹配装置
CN111815529B (zh) 一种基于模型融合和数据增强的低质图像分类增强方法
CN113378620A (zh) 监控视频噪声环境下跨摄像头行人重识别方法
CN115601791B (zh) 基于Multiformer及离群样本重分配的无监督行人重识别方法
CN113222016B (zh) 一种基于高层和低层特征交叉增强的变化检测方法及装置
CN114445916A (zh) 一种活体检测方法、终端设备及存储介质
Gueraichi et al. Blurred image detection in drone embedded system
Yan et al. Channel-by-channel demosaicking networks with embedded spectral correlation
Li et al. A fast rotated template matching based on point feature
CN111368729A (zh) 一种基于孪生神经网络的车辆身份判别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant