CN113822916B - 图像匹配方法、装置、设备及可读存储介质 - Google Patents
图像匹配方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN113822916B CN113822916B CN202110945138.9A CN202110945138A CN113822916B CN 113822916 B CN113822916 B CN 113822916B CN 202110945138 A CN202110945138 A CN 202110945138A CN 113822916 B CN113822916 B CN 113822916B
- Authority
- CN
- China
- Prior art keywords
- pair
- edge
- key
- point
- pairs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000004927 fusion Effects 0.000 claims description 43
- 230000015654 memory Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 abstract description 18
- 230000000007 visual effect Effects 0.000 description 67
- 238000010586 diagram Methods 0.000 description 43
- 239000013598 vector Substances 0.000 description 43
- 238000000605 extraction Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像匹配方法、装置、设备及可读存储介质，属于图像处理技术领域。方法包括：获取第一图像和第二图像，第一图像包括多个第一关键点，第二图像包括多个第二关键点；确定多个关键点对的第一点对特征，每个关键点对包括一个第一关键点和一个第二关键点；确定多个关键边对的第一边对特征，每个关键边对包括任意两个关键点对中第一关键点之间的边和任意两个关键点对中第二关键点之间的边；基于多个关键点对的第一点对特征确定各个关键点对的匹配结果，基于多个关键边对的第一边对特征确定各个关键边对的匹配结果；基于各个关键点对的匹配结果和各个关键边对的匹配结果，确定第一图像和第二图像的匹配结果，能提高图像匹配的准确性。
Description
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种图像匹配方法、装置、设备及可读存储介质。
背景技术
图像匹配技术是图像处理技术领域中的一个重点技术，目的在于寻找两张图像之间内容的对应关系，确定这两张图像的匹配结果是匹配还是不匹配。例如，针对同一对象在不同时间、不同光照或者不同角度等条件下拍摄的两张图像，通过寻找这两张图像之间内容的对应关系，确定出这两张图像的匹配结果为匹配。
相关技术中，对两张图像进行匹配时，先识别出每一张图像中的关键点，再提取每一张图像中关键点的关键点特征，然后，基于每一张图像中关键点的关键点特征，确定两张图像中关键点之间的匹配结果，之后，基于两张图像中关键点之间的匹配结果，确定两张图像的匹配结果。
上述技术仅是根据两张图像中关键点之间的匹配结果，确定两张图像的匹配结果，图像匹配结果的准确性较低。
发明内容
本申请实施例提供了一种图像匹配方法、装置、设备及可读存储介质，可用于解决相关技术中的问题，所述技术方案包括如下内容。
一方面，本申请实施例提供了一种图像匹配方法，所述方法包括：
获取第一图像和第二图像，所述第一图像中包括多个第一关键点，所述第二图像中包括多个第二关键点；
确定多个关键点对的第一点对特征，每个关键点对包括一个第一关键点和一个第二关键点，任一关键点对的第一点对特征用于表征所述任一关键点对的像素信息；
确定多个关键边对的第一边对特征，每个关键边对包括第一边和第二边，所述第一边为所述多个关键点对中的任意两个关键点对中第一关键点之间的边，所述第二边为所述任意两个关键点对中第二关键点之间的边，任一关键边对的第一边对特征用于表征所述任一关键边对的像素信息；
基于所述多个关键点对的第一点对特征确定各个关键点对的匹配结果，基于所述多个关键边对的第一边对特征确定各个关键边对的匹配结果；
基于所述各个关键点对的匹配结果和所述各个关键边对的匹配结果，确定所述第一图像和所述第二图像的匹配结果。
另一方面，本申请实施例提供了一种图像匹配装置，所述装置包括：
获取模块，用于获取第一图像和第二图像，所述第一图像中包括多个第一关键点，所述第二图像中包括多个第二关键点；
确定模块，用于确定多个关键点对的第一点对特征，每个关键点对包括一个第一关键点和一个第二关键点，任一关键点对的第一点对特征用于表征所述任一关键点对的像素信息；
所述确定模块，还用于确定多个关键边对的第一边对特征，每个关键边对包括第一边和第二边，所述第一边为所述多个关键点对中的任意两个关键点对中第一关键点之间的边，所述第二边为所述任意两个关键点对中第二关键点之间的边，任一关键边对的第一边对特征用于表征所述任一关键边对的像素信息；
所述确定模块，还用于基于所述多个关键点对的第一点对特征确定各个关键点对的匹配结果，基于所述多个关键边对的第一边对特征确定各个关键边对的匹配结果；
所述确定模块，还用于基于所述各个关键点对的匹配结果和所述各个关键边对的匹配结果，确定所述第一图像和所述第二图像的匹配结果。
另一方面，本申请实施例提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以使所述电子设备实现上述任一所述的图像匹配方法。
另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以使计算机实现上述任一所述的图像匹配方法。
另一方面，还提供了一种计算机程序或计算机程序产品，所述计算机程序或计算机程序产品中存储有至少一条计算机指令，所述至少一条计算机指令由处理器加载并执行，以使计算机实现上述任一种图像匹配方法。
本申请实施例提供的技术方案至少带来如下有益效果：
本申请实施例提供的技术方案中的第一图像包含多个第一关键点，第二图像包含多个第二关键点，通过确定多个关键点对的匹配结果和多个关键边对的匹配结果，确定第一图像和第二图像的匹配结果，关键点对包括第一关键点和第二关键点，关键边对包括多个关键点对中的任意两个关键点对中第一关键点之间的第一边和任意两个关键点对中第二关键点之间的第二边。实现了基于关键点之间的匹配结果和关键边之间的匹配结果，确定图像的匹配结果，提高了图像匹配的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像匹配方法的实施环境示意图；
图2是本申请实施例提供的一种图像匹配方法的流程图；
图3是本申请实施例提供的一种第一图像和第二图像的示意图；
图4是本申请实施例提供的一种图像匹配方法的示意图；
图5是本申请实施例提供的一种特征提取部分的示意图；
图6是本申请实施例提供的一种特征融合部分的示意图；
图7是本申请实施例提供的一种第一关键点与像素点的对应关系示意图；
图8是本申请实施例提供的另一种第一关键点与像素点的对应关系示意图；
图9是本申请实施例提供的一种边特征处理的示意图；
图10是本申请实施例提供的一种注意力部分的示意图；
图11是本申请实施例提供的一种匹配部分的示意图；
图12是本申请实施例提供的一种图像匹配装置的结构示意图；
图13是本申请实施例提供的一种终端设备的结构示意图；
图14是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种图像匹配方法的实施环境示意图，如图1所示该实施环境包括电子设备11，本申请实施例中的图像匹配方法可以由电子设备11执行。示例性地，电子设备11可以包括终端设备或者服务器中的至少一项。
终端设备可以是智能手机、台式计算机、平板电脑、和膝上型便携计算机中的至少一种。服务器可以为一台服务器，或者为多台服务器组成的服务器集群，或者为云计算平台和虚拟化中心中的任意一种，本申请实施例对此不加以限定。服务器可以与终端设备通过有线网络或无线网络进行通信连接。服务器可以具有数据处理、数据存储以及数据收发等功能，在本申请实施例中不加以限定。
基于上述实施环境，本申请实施例提供了一种图像匹配方法，以图2所示的本申请实施例提供的一种图像匹配方法的流程图为例，该方法可由图1中的电子设备11执行。如图2所示，该方法包括步骤21-25。
步骤21，获取第一图像和第二图像，第一图像中包括多个第一关键点，第二图像中包括多个第二关键点。
第一图像和第二图像的获取方式不做限定，示例性的，第一图像为用户拍摄的图像，第二图像为网络上抓取的图像。第一图像中的任意一个第一关键点为第一图像中至少一个像素点的集合，同样的，第二图像中的任意一个第二关键点为第二图像中至少一个像素点的集合。
如图3所示，图3是本申请实施例提供的一种第一图像和第二图像的示意图。第一图像中包括第一关键点1a、第一关键点1b、第一关键点1c、第一关键点1d和第一关键点1e，第一关键点1a和第一关键点1b之间的边为第一边1a1b，同样的，第一关键点1a分别和第一关键点1c、1d、1e之间存在第一边，第一关键点1b分别和第一关键点1c、1d、1e之间存在第一边等，在此不再赘述。第二图像中包括第二关键点2a、第二关键点2b、第二关键点2c、第二关键点2d和第二关键点2e，第二关键点2a和第二关键点2b之间的边为第二边2a2b，同样的，第二关键点2a分别和第二关键点2c、2d、2e之间存在第二边，第二关键点2b分别和第二关键点2c、2d、2e之间存在第二边等，在此不再赘述。
步骤22，确定多个关键点对的第一点对特征，每个关键点对包括一个第一关键点和一个第二关键点，任一关键点对的第一点对特征用于表征任一关键点对的像素信息。
任意一个关键点对包括一个第一关键点和一个第二关键点。示例性的，图3所示的第一关键点1a和第二关键点2a，组成一个关键点对(1a，2a)，图3所示的第一关键点1a和第二关键点2c，组成一个关键点对(1a，2c)。
关键点对的第一点对特征表征该关键点对的像素信息，该像素信息包括但不限于位置信息、颜色信息、纹理信息、梯度信息等。
步骤23，确定多个关键边对的第一边对特征，每个关键边对包括第一边和第二边，第一边为多个关键点对中的任意两个关键点对中第一关键点之间的边，第二边为任意两个关键点对中第二关键点之间的边，任一关键边对的第一边对特征用于表征任一关键边对的像素信息。
对于多个关键点对中的任意两个关键点对，这两个关键点对分别为一个关键边对的两个端点。这两个关键点对中第一关键点之间的边为第一边，这两个关键点对中第二关键点之间的边为第二边，即关键边对包括一个第一边和一个第二边。
示例性的，如图3中，第一关键点1a和第二关键点2a为一个关键点对(1a，2a)，第一关键点1b和第二关键点2b为一个关键点对(1b，2b)，第一关键点1a和第一关键点1b之间的边为第一边1a1b，第二关键点2a和第二关键点2b之间的边为第二边2a2b。由第一边1a1b和第二边2a2b可以组成一个关键边对(1a1b，2a2b)，关键边对(1a1b，2a2b)的两个端点分别为关键点对(1a，2a)和关键点对(1b，2b)。
关键边对的第一边对特征用于表征关键边对的像素信息，该像素信息包括但不限于位置信息、颜色信息、纹理信息、梯度信息等。
步骤24，基于多个关键点对的第一点对特征确定各个关键点对的匹配结果，基于多个关键边对的第一边对特征确定各个关键边对的匹配结果。
在一种可能的实现方式中，关键点对的匹配结果为关键点对匹配或者关键点对不匹配，相对应的，关键边对的匹配结果为关键边对匹配或者关键边对不匹配。示例性的，关键点对的匹配结果为0或者1，关键边对的匹配结果也为0或者1，其中，1表示匹配，0表示不匹配。
在另一种可能的实现方式中，关键点对的匹配结果为关键点对匹配的概率，相对应的，关键边对的匹配结果为关键边对匹配的概率。示例性的，关键点对的匹配结果为大于或者等于0，且小于或者等于1的概率值，关键边对的匹配结果也为大于或者等于0，且小于或者等于1的概率值，该概率值表示匹配的概率。
步骤25，基于各个关键点对的匹配结果和各个关键边对的匹配结果，确定第一图像和第二图像的匹配结果。
本申请实施例中，第一图像和第二图像的匹配结果为第一图像和第二图像匹配或者第一图像和第二图像不匹配。
当关键点对的匹配结果为关键点对匹配或者关键点对不匹配，且关键边对的匹配结果为关键边对匹配或者关键边对不匹配时，根据匹配的关键点对的数量与关键点对的总数量的比值，以及匹配的关键边对的数量与关键边对的总数量的比值，确定第一图像和第二图像的匹配结果。
当关键点对的匹配结果为关键点对匹配的概率，且关键边对的匹配结果为关键边对匹配的概率时，根据各个关键点对匹配的概率和各个关键边对匹配的概率，确定第一图像和第二图像匹配的概率，根据第一图像和第二图像匹配的概率，确定第一图像和第二图像的匹配结果。
上述第一图像和第二图像的匹配结果的两种确定方式仅为示例性的，可以根据不同的应用场景和不同的情况，灵活变更确定方式，在此不再赘述。
上述简单介绍了本申请实施例的图像匹配方法，下面将详细的介绍本申请实施例中图像匹配方法的实现方式。
本申请实施例中，确定多个关键点对的第一点对特征，确定多个关键边对的第一边对特征，包括：将第一图像和第二图像输入至图匹配模型，由图匹配模型的特征融合部分输出多个关键点对的第一点对特征和多个关键边对的第一边对特征；基于多个关键点对的第一点对特征确定各个关键点对的匹配结果，基于多个关键边对的第一边对特征确定各个关键边对的匹配结果，包括：将多个关键点对的第一点对特征和多个关键边对的第一边对特征输入至图匹配模型的匹配部分，由图匹配模型的匹配部分输出各个关键点对的匹配结果和各个关键边对的匹配结果。
如图4所示，图4是本申请实施例提供的一种图像匹配方法的示意图。本申请实施例中，第一图像和第二图像输入至图匹配模型，第一图像包括多个关键点以及多个关键点中任意两个关键点之间的边，第二图像也包括多个关键点以及多个关键点中任意两个关键点之间的边。为便于区分，将第一图像中的关键点称为第一关键点，将第一关键点之间的边称为第一边，将第二图像中的关键点称为第二关键点，将第二关键点之间的边称为第二边。
图匹配模型包括特征提取部分、特征融合部分、注意力部分和匹配部分。特征提取部分用于提取第一图像的特征图和第二图像的特征图，特征融合部分用于基于第一图像的特征图和第二图像的特征图，融合得到分配图。注意力部分用于基于分配图确定各个关键边对的权重信息，匹配部分用于基于分配图和各个关键边对的权重信息，确定第一图像和第二图像的匹配结果。下面将分别详细介绍特征提取部分、特征融合部分、注意力部分和匹配部分。
本申请实施例中，分配图是基于第一关键点和第二关键点匹配的可能性所建立的一种深层描述，分配图中的节点是关键点对，分配图中的边为关键边对。分配图用于更为全面地描述匹配的可能性，分配图中的任一节点同时涉及第一图像中第一关键点的点特征和第二图像中第二关键点的点特征，分配图中的任一边同时涉及第一图像中第一边的边特征和第二图像中第二边的边特征，因此分配图的描述需要融合第一图像的特征图和第二图像的特征图。其中，分配图记为其中，VA为分配图中的节点的集合，相当于关键点对的集合，EA为分配图中的边的集合，相当于关键边对的集合，/>为第一点对特征的集合，εA为第一边对特征的集合。
如图5所示，图5是本申请实施例提供的一种特征提取部分的示意图。图像输入至特征提取部分，特征提取部分基于图像中各个像素点的空间特征和各个像素点的视觉特征，确定图像的特征图。以第一图像为例，第一图像输入至特征提取部分，特征提取部分基于第一图像中各个像素点的空间特征和各个像素点的视觉特征，构建第一图像的特征图，第一图像的特征图包括各个第一关键点的点特征和各个第一边的边特征。
需要说明的是，本申请各可选实施例中，空间特征用于表征位置信息，视觉特征用于表征颜色信息、纹理信息和梯度信息等。
在构建第一图像的特征图时，先提取第一图像中的各个第一关键点，基于狄罗尼三角剖分算法(Delaunay Triangulation Algorithm)构建第一图像中任意两个第一关键点之间的边，即第一边。然后，确定各个第一关键点的点特征和各个第一边的边特征，得到第一图像的特征图。
本申请实施例中，第一图像的特征图表示为一个四元组其中G是第一图像的特征图，V＝{v1，......，vn}，V是第一图像中第一关键点的集合，v1，......，vn分别为第一图像中的各个第一关键点。/>E是第一图像中第一边的集合。 是第一图像中第一关键点的点特征的集合，vi是第一图像中第i个第一关键点的点特征，n为第一关键点的数量，n为正整数，/>表示vi是一个dv维度的向量，向量中的每个数均是实数R。点特征包括空间特征和视觉特征，其中，/>是第一图像中第一关键点的空间特征的集合，/>是第一图像中第一关键点的视觉特征的集合。/>ε是第一图像中第一边的边特征的集合，ei是第一图像中第i个第一边的边特征，|E|为第一边的数量，|E|为正整数，/>表示ei是一个de维度的向量，向量中的每个数均是实数R。边特征包括空间特征和视觉特征，ε＝{εg，εs}，其中，εg是第一图像中第一边的空间特征的集合，εs是第一图像中第一边的视觉特征的集合。
特征提取部分可以基于第二图像构建第二图像的特征图，第二图像的特征图包括各个第二关键点的点特征和各个第二边的边特征。特征提取部分构建第二图像的特征图的方式，与特征提取部分构建第一图像的特征图的方式相类似，二者原理相同，在此不再赘述。
在构建出第一图像的特征图和第二图像的特征图之后，基于第一图像的特征图和第二图像的特征图，得到分配图。上文已提及，第一图像的特征图包括各个第一关键点的点特征和各个第一边的边特征，第二图像的特征图包括各个第二关键点的点特征和各个第二边的边特征，其中，点特征包括空间特征和视觉特征，边特征也包括空间特征和视觉特征。本申请实施例中，在基于第一图像的特征图和第二图像的特征图得到分配图时，一方面，对于每一个关键点对，先将该关键点对中第一关键点的空间特征和第二关键点的空间特征进行拼接，并将该关键点对中第一关键点的视觉特征和第二关键点的视觉特征进行拼接，再基于多层感知器(Multi-Layer Perceptron，MLP)对该关键点对中拼接后的空间特征和拼接后的视觉特征进行融合，得到该关键点对的第一点对特征，另一方面，对于每一个关键边对，先将该关键边对中第一边的空间特征和第二边的空间特征进行拼接，并将该关键边对中第一边的视觉特征和第二边的视觉特征进行拼接，再基于MLP对该关键边对中拼接后的空间特征和拼接后的视觉特征进行融合，得到该关键边对的第一边对特征。得到各个关键点对的第一点对特征以及各个关键边对的第一边对特征，相当于得到了分配图。
如图6所示，图6是本申请实施例提供的一种特征融合部分的示意图。第一图像的特征图和第二图像的特征图输入至特征融合部分，特征融合部分将第一关键点的点特征和第二关键点的点特征融合，得到关键点对的第一点对特征，特征融合部分还将第一边的边特征和第二边的边特征融合，得到关键边对的第一边对特征，从而得到分配图。
本申请实施例中，特征融合部分按照如下所示的实现方式A，将第一关键点的点特征和第二关键点的点特征融合，得到关键点对的第一点对特征。
实现方式A，确定多个关键点对的第一点对特征，包括：确定各个第一关键点的点特征和各个第二关键点的点特征，点特征用于表征关键点的像素信息；基于任一关键点对包含的第一关键点的点特征和任一关键点对包含的第二关键点的点特征，确定任一关键点对的第一点对特征。
对于第一图像中的每一个第一关键点，特征提取部分根据第一关键点在第一图像中的位置信息，确定该第一关键点的空间特征。示例性的，第一关键点在第一图像中的位置信息为坐标数据，将该第一关键点的空间特征确定为该坐标数据。也就是说，第一关键点vi的空间特征就是第一图像中该第一关键点的坐标数据，即/>其中，xi是第一关键点的横坐标，yi是第一关键点的纵坐标。
在确定第一关键点的视觉特征时，将第一图像输入至特征提取部分中的卷积神经网络，由卷积神经网络输出第一图像对应的像素图，像素图中包括各个像素点的特征向量，像素点的特征向量用于表征像素点的颜色信息、纹理信息、梯度信息等。其中，卷积神经网络的尺寸和大小不作限定，示例性的，卷积神经网络为超分辨率测试序列(VisualGeometry Group，VGG)模型。
在一种可能的实现方式中，第一图像可记为I∈RH×W×3，表示第一图像I为一个H×W×3维度的向量，向量中的各个数均为实数R，H为高，W为宽，3为通道数。将第一图像输入至VGG16_BN模型中，VGG16_BN模型是一种带有批标准化层(Batch Normalization，BN)的VGG模型，得到激活函数(Relu)4_2和5_1两个层输出的像素图，该像素图可记为其中，/>为像素图，Rh×w×c表示h×w×c维度的向量，向量中的各个数为实数R，h为高，w为宽、c为通道数。
在一种可能的实现方式中，对像素图进行插值，使得插值后的像素图的尺寸为第一图像的尺寸，插值后的像素图记为其中，/>是插值后的像素图，RH×W×c表示H×W×c维度的向量，向量中的各个数为实数R，H为高，W为宽、c为通道数。在插值后的像素图中提取第一关键点的位置信息所对应的像素点的特征向量，得到第一关键点的视觉特征。
如图7所示，图7是本申请实施例提供的一种第一关键点与像素点的对应关系示意图。插值后的像素图中包括m1-m4四个像素点，第一关键点为M。第一关键点M的位置信息为浮点精度的坐标(xi，yi)，将该坐标取整后，在插值后的像素图上取整后的坐标所对应的像素点为m1，将m1的特征向量，作为第一关键点M的视觉特征。
在另一种可能的实现方式中，将第一关键点映射到像素图上，即对第一关键点的位置信息进行映射。基于映射后的第一关键点周围的若干个像素点的特征向量进行双线性插值，得到第一关键点的视觉特征。
如图8所示，图8是本申请实施例提供的另一种第一关键点与像素点的对应关系示意图。像素图中包括m1-m4四个像素点，将第一关键点M映射到像素图上，第一关键点M的位置信息由坐标(xi，yi)变更为(xi/s，yi/s)，s为第一图像和像素图的尺寸之比。即映射后的第一关键点M的位置信息为(xi/s，yi/s)，且映射后的第一关键点周围的包括m1-m4四个像素点。此时，对浮点精度的坐标(xi/s，yi/s)周围的m1-m4四个像素点的特征向量进行双线性插值，得到第一关键点M的视觉特征。
需要说明的是，在确定出第一关键点的视觉特征后，可以对视觉特征进行正则化处理，例如，使用L2范数进行L2正则化处理。
由于点特征包括空间特征和视觉特征，在确定出第一图像中各个第一关键点的空间特征和视觉特征后，相当于确定了第一图像中各个第一关键点的点特征。基于相同的原理，确定第二图像中各个第二关键点的点特征，详见上述有关确定第一图像中各个第一关键点的点特征的描述，在此不再赘述。
本申请实施例中，对于每一个关键点对，关键点对包括第一关键点和第二关键点，将第一关键点的点特征和第二关键点的点特征进行拼接，得到关键点对的第一点对特征。
在一种可能的实现方式中，将第一关键点的空间特征和第二关键点的空间特征进行拼接，并将第一关键点的视觉特征和第二关键点的视觉特征进行拼接，得到该关键点对的第一点对特征。
示例性的，图3所示的第一关键点1a和第二关键点2c组成一个关键点对(1a，2c)，将第一关键点1a的空间特征和第二关键点2c的空间特征进行拼接，并将第一关键点1a的视觉特征和第二关键点2c的视觉特征进行拼接，得到关键点对(1a，2c)的第一点对特征。
本申请实施例中，第一图像的特征图记为第二图像的特征图记为/>其中，G1为第一图像的特征图，V1是第一图像中第一关键点的集合，E1是第一图像中第一边的集合，/>是第一图像中第一关键点的点特征的集合，ε1是第一图像中第一边的边特征的集合，G2为第二图像的特征图，V2是第二图像中第二关键点的集合，E2是第二图像中第二边的集合，/>是第二图像中第二关键点的点特征的集合，ε2是第二图像中第二边的边特征的集合。由第一关键点vi和第二关键点va构成的关键点对via满足via∈VA，且(vi，va)∈V1×V2，即vi∈V1，且va∈V2，VA为关键点对的集合。
关键点对via的第一点对特征包括空间特征和视觉特征，空间特征为 视觉特征为/>其中，/>为第一关键点vi的空间特征，/>为第二关键点va的空间特征，/>为第一关键点vi的视觉特征，/>为第二关键点va的视觉特征，/>表示/>维度的向量，向量中的数为实数R，/>表示/>的向量，向量中的数为实数R。
在一种可能的实现方式中，基于多层感知器(Multi-Layer Perceptron，MLP)对关键点对中拼接后的空间特征和拼接后的视觉特征进行融合，得到关键点对的第一点对特征。第一点对特征记为其中，/>为拼接后的视觉特征，/>为拼接后的空间特征，ωv是将关键点对的空间特征映射到视觉特征所在的空间时的映射参数。
其中，MLP是一种前馈人工神经网络，可以将输入的多个数据集映射到单一输出的数据集上。如本申请实施例中，MLP将关键点对中拼接后的空间特征和关键点对中拼接后的视觉特征，映射到单一输出的关键点对的第一点对特征上。
本申请实施例中，特征融合部分按照如下所示的实现方式B，将第一边的边特征和第二边的边特征融合，得到关键边对的第一边对特征。
实现方式B，确定多个关键边对的第一边对特征，包括：确定多个第一关键点中每两个第一关键点之间的第一边的边特征，第一边的边特征用于表征第一图像中组成第一边的各个像素点的像素信息；确定多个第二关键点中每两个第二关键点之间的第二边的边特征，第二边的边特征用于表征第二图像中组成第二边的各个像素点的像素信息；基于任一关键边对中第一边的边特征和第二边的边特征，确定任一关键边对的第一边对特征。
本申请实施例中，关键边对包括多个关键点对中的任意两个关键点对中第一关键点之间的第一边和任意两个关键点对中第二关键点之间的第二边。即关键边对eia，jb＝(via，vjb)∈EA，且(vi，vj)∈E1，(va，vb)∈E2，其中，EA为关键边对的集合，via、vjb为关键边对eia，jb两端的两个关键点对，vi、vj为第一关键点对的集合V1中的两个第一关键点，va、vb为第二关键点对的集合V2中的两个第二关键点。
边特征包括空间特征和视觉特征，空间特征用于表征位置信息，视觉特征用于表征颜色信息、纹理信息和梯度信息。
对于第一图像中的每一个第一边，特征提取部分根据位于第一边两端的两个第一关键点的空间特征，得到第一边的空间特征。即其中，/>为第一边的空间特征，/>为位于第一边一个端点的第一关键点的空间特征，/>为位于第一边另一个端点的空间特征。
在一种可能的实现方式中，将第一边两端的两个第一关键点的空间特征进行拼接，得到第一边的空间特征。例如图3中，将第一关键点1a的空间特征和第一关键点1b的空间特征进行拼接，得到第一边1a1b的空间特征。
在确定第一边的视觉特征时，采用布雷森汉姆的直线算法(Bresenham′s LineAlgorithm)计算两个第一关键点之间的第一边中的各个像素点，得到像素点集合，基于像素点集合中各个像素点的特征向量，得到第一边的视觉特征。实现了聚合组成第一边的各个像素点的像素信息，得到第一边的视觉特征。
以第一边ei为例，采用布雷森汉姆的直线算法计算出第一边ei中的所有像素点，得到像素点集合 为第一边中的第一个像素点，为第一边中的第ni个像素点，ni为第一边中的像素点的数量。提取像素点集合中各个像素点的特征向量，得到特征向量集合/> 其中，为像素点集合中第k个像素点的特征向量，/>表示/>维度的向量，向量中的数为实数R。之后，通过纵向叠加特征向量集合中的各个特征向量，得到第一边的视觉特征其中，/>表示/>维度的向量，向量中的数为实数R。
本申请实施例中，不同的第一边中的像素点的数量相同或者不同。因此，不同第一边的视觉特征的维度可能不同。本申请实施例中，采用自适应最大池化(Adaptive MaxPooling)运算来使不同的第一边具有相同维度的视觉特征。即，将第一边的视觉特征和第一边的视觉特征/>统一为/>其中，/>为维度的向量，/>为/>维度的向量，/>为/>维度的向量，向量中的数为实数R。
需要说明的是，由于不同的第一边可能包括不同数量的像素点，因此，不同第一边的视觉特征的维度可能不同，针对这种情况，本申请实施例提供了一种实现方式，将第一边的视觉特征的维度统一为同一维度。
如图9所示，图9是本申请实施例提供的一种边特征处理的示意图。第一图像输入至特征提取部分，由特征提取部分输出第一图像的特征图，该特征图中包括多个第一边的边特征，边特征包括视觉特征，也就是说，该特征图中包括多个第一边的视觉特征，由于第一边的视觉特征的维度不同，通过对维度不同的第一边的视觉特征进行池化处理，将第一边的视觉特征的维度统一为同一维度。
通过第一边中各个像素点的特征向量，确定第一边的边特征，使得第一边的边特征不仅包含位于第一边两端的第一关键点的像素信息，还包括位于第一边上的各个像素点的像素信息，使得第一边的边特征涵盖了更多的语义信息，提高了边特征的准确性，从而提高图像匹配的准确性。
需要说明的是，在确定出第一边的视觉特征后，可以对视觉特征进行正则化处理，例如，使用L2范数进行L2正则化处理。
由于边特征包括空间特征和视觉特征，在确定出第一图像中各个第一边的空间特征和视觉特征后，相当于确定了第一图像中各个第一边的边特征。基于相同的原理，确定第二图像中各个第二边的边特征，在此不再赘述。
本申请实施例中，对于每一个关键边对，基于该关键边对中第一边的边特征和第二边的边特征，确定该关键边对的第一边对特征。
在一种可能的实现方式中，将第一边的空间特征和第二边的空间特征进行拼接，并将第一边的视觉特征和第二边的视觉特征进行拼接，得到该关键边对的第一边对特征。即，其中，/>为关键边对的空间特征，/>为第一边的空间特征，/>为第二边的空间特征，/>为/>维度的向量，向量中的数为实数R，/>为关键边对的视觉特征，/>为第一边的视觉特征，/>为第二边的视觉特征，/>为/>维度的向量，向量中的数为实数R。
示例性的，对于图3所示的由第一边1a1b和第二边2a2b构成的关键边对(1a1b，2a2b)，将第一边1a1b的空间特征和第二边2a2b的空间特征进行拼接，并将第一边1alb的视觉特征和第二边2a2b的视觉特征进行拼接，得到关键边对(1a1b，2a2b)的第一边对特征。
在一种可能的实现方式中，基于MLP对关键边对中拼接后的空间特征和拼接后的视觉特征进行融合，得到关键边对的第一边对特征。第一边对特征记为其中，/>为拼接后的视觉特征，/>为拼接后的空间特征，ωe是将关键边对的空间特征映射到视觉特征所在的空间时的映射参数。
在确定出多个关键点对的第一点对特征和多个关键边对的第一边对特征后，相当于确定了分配图。之后，将分配图输入至匹配部分，由匹配部分输出各个关键点对的匹配结果和各个关键边对的匹配结果。
本申请实施例中，基于多个关键点对的第一点对特征确定各个关键点对的匹配结果，基于多个关键边对的第一边对特征确定各个关键边对的匹配结果，包括：将任一关键边对的第一边对特征和目标点对的第一点对特征进行融合，得到任一关键边对的第二边对特征，任一关键边对的端点为目标点对且目标点对为多个关键点对中的至少一个关键点对；将任一关键点对的第一点对特征和目标边对的第二边对特征进行融合，得到任一关键点对的第二点对特征，目标边对为多个关键边对中的至少一个关键边对且端点为任一关键点对；基于各个关键点对的第二点对特征确定各个关键点对的匹配结果，基于各个关键边对的第二边对特征确定各个关键边对的匹配结果。
匹配部分包括边卷积层和点卷积层，边卷积层用于对于各个关键边对，将关键边对的第一边对特征和目标点对的第一点对特征进行融合，得到关键边对的第二边对特征。点卷积层用于对于各个关键点对，将关键点对的第一点对特征和目标边对的第二边对特征进行融合，得到关键点对的第二点对特征。
在一种可能的实现方式中，匹配部分的点卷积层为点注意力卷积层，点注意力卷积层用于对于各个关键点对，根据关键点对的第一点对特征、目标边对的第二边对特征和目标边对的权重信息进行融合，确定关键点对的第二点对特征。即对于每个关键点对执行“将任一关键点对的第一点对特征和目标边对的第二边对特征进行融合，得到任一关键点对的第二点对特征”操作时，将任一关键点对的第一点对特征和目标边对的第二边对特征进行融合，得到任一关键点对的第二点对特征，包括：确定目标边对的权重信息；根据任一关键点对的第一点对特征、目标边对的第二边对特征和目标边对的权重信息进行融合，确定任一关键点对的第二点对特征。
注意力部分用于确定各个关键边对的权重信息。其中，确定目标边对的权重信息，包括：将任一关键边对的第一边对特征和目标点对的第一点对特征进行融合，得到任一关键边对的第三边对特征；基于各个关键边对的第三边对特征，确定目标边对的权重信息。
注意力部分包括边卷积层，边卷积层用于对于各个关键边对，将关键边对的第一边对特征和目标点对的第一点对特征进行融合，得到关键边对的第三边对特征。在一种可能的实现方式中，基于各个关键边对的第三边对特征，确定目标边对的权重信息，包括：将任一关键点对的第一点对特征和目标边对的第三边对特征进行融合，得到任一关键点对的第三点对特征；将任一关键边对的第三边对特征和目标点对的第三点对特征进行融合，得到任一关键边对的第四边对特征；基于各个关键边对的第四边对特征，确定目标边对的权重信息。
注意力部分还包括点卷积层，点卷积层用于对于各个关键点对，将关键点对的第一点对特征和目标边对的第三边对特征进行融合，得到关键点对的第三点对特征。此时，边卷积层还用于对于各个关键边对，将关键边对的第三边对特征和目标点对的第三点对特征进行融合，得到关键边对的第四边对特征。
本申请实施例中，如图10所示，图10是本申请实施例提供的一种注意力部分的示意图。注意力部分包括编码器、边卷积层、点卷积层和解码器。分配图输入至注意力部分，经过编码器、边卷积层、点卷积层和解码器的处理后，由注意力部分输出各个关键边对的权重信息。下面将分别详细介绍编码器、边卷积层、点卷积层和解码器的原理。
编码器用于将每一个关键边对的第一边对特征映射为该第一边对特征所对应的潜在特征，以及将每一个关键点对的第一点对特征映射为该第一点对特征对应的潜在特征。
编码器包括两个多层感知机，分别记为和/>基于多层感知机/>将分配图的第一点对特征的集合/>映射为第一点对特征所对应的潜在特征，基于多层感知机/>将分配图的第一边对特征的集合εA映射为第一边对特征所对应的潜在特征，得到更新后的分配图/>其中，VA为关键点对的集合，EA为关键边对的集合，为第一点对特征所对应的潜在特征，/>为第一边对特征所对应的潜在特征。
边卷积层用于对于各个关键边对，将关键边对的第一边对特征和目标点对的第一点对特征进行融合，得到关键边对的第三边对特征。其中，关键边对的端点为目标点对。如图3中，关键边对(1a1b，2a2b)的一个端点为关键点对(1a，2a)，因此，关键点对(1a，2a)为关键边对(1a1b，2a2b)的目标点对。
关键边对ei∈EA对应两个目标点对，两个目标点对的第一点对特征各自所对应的潜在特征分别记为和/>边卷积层用于融合这两个目标点对的第一点对特征各自所对应的潜在特征，得到该关键边对所对应的第一点对融合特征/> 其中，EA是关键边对的集合，ψe是多层感知机参数，○为/>和/>之间的哈达玛积(HadamardProduct)。
边卷积层还用于将关键边对的第一边对特征所对应的潜在特征和该关键边对所对应的第一点对融合特征进行融合，得到该关键边对的第三边对特征 其中，ηe为多层感知机参数，/>为关键边对所对应的点对融合特征，ei为关键边对的第一边对特征所对应的潜在特征。按照这种方式，实现更新一次关键边对的边对特征。
点卷积层用于对于各个关键点对，将关键点对的第一点对特征和目标边对的第三边对特征进行融合，得到关键点对的第三点对特征。其中，目标边对的端点为关键点对。如图3中，关键边对(1a1b，2a2b)的一个端点为关键点对(1a，2a)，因此，关键边对(1a1b，2a2b)为关键点对(1a，2a)的目标边对。
对于关键点对vi∈VA，点卷积层用于融合该关键点对所对应的至少一个目标边对的第三边对特征，得到该关键点对所对应的第一边对融合特征 其中，VA为关键点对的集合，/>为目标边对的第三边对特征的集合，ψv为函数名，ek为第三边对特征。
点卷积层还用于将关键点对所对应的第一边对融合特征与该关键点对的第一点对特征所对应的潜在特征进行融合，得到该关键点对的第三点对特征 其中，ηv为多层感知机参数，/>为关键点对所对应的边对融合特征，vi为关键点对的第一点对特征所对应的潜在特征。按照这种方式，实现更新一次关键点对的点对特征。
之后，边卷积层还用于对于每一个关键边对，融合该关键边对所对应的两个目标点对的第三点对特征，得到该关键边对所对应的第二点对融合特征，将关键边对的第三边对特征和该关键边对所对应的第二点对融合特征进行融合，得到该关键边对的第四边对特征。按照这种方式，实现第二次更新关键边对的边对特征。
需要说明的是，边卷积层和点卷积层是采用交叉融合的方式，更新关键边对的边对特征和关键点对的点对特征，边对特征和点对特征的更新次数不做限定。
也就是说，在一种可能的实现方式中，点卷积层还用于对于每一个关键点对，融合该关键点对所对应的至少一个目标边对的第四边对特征，得到该关键点对所对应的第二边对融合特征，将关键点对所对应的第二边对融合特征与该关键点对的第三点对特征进行融合，得到该关键点对的第四点对特征。按照这种方式，实现第二次更新关键点对的点对特征。边卷积层还用于对于每一个关键边对，融合该关键边对所对应的两个目标点对的第四点对特征，得到该关键边对所对应的第三点对融合特征，将关键边对的第四边对特征和该关键边对所对应的第三点对融合特征进行融合，得到该关键边对的第五边对特征。按照这种方式，实现第三次更新关键边对的边对特征。以此类推，在此不再赘述。
解码器用于基于最后一次更新的各个关键边对的边对特征，确定各个关键边对的权重信息。下面以最后一次更新的各个关键边对的边对特征为第四边对特征为例进行详细说明。
解码器包括一个多层感知机各个关键边对的第四边对特征组成的集合εA，该多层感知机基于集合εA学习得到注意力参数/>注意力参数Θ包括各个关键边对的权重信息，/>为|E1||E2|维度的向量，向量中的数为实数R。
如图11所示，图11是本申请实施例提供的一种匹配部分的示意图。匹配部分包括编码器、边卷积层、点注意力卷积层和解码器。分配图输入至匹配部分的编码器，各个关键边对的权重信息输入至点注意力卷积层。本申请实施例中，分配图和各个关键边对的权重信息经过编码器、边卷积层、点注意力卷积层和解码器的处理后，由匹配部分输出匹配结果，该匹配结果包括分配图中各个关键点对的匹配结果和分配图中各个关键边对的匹配结果。下面将分别详细介绍编码器、边卷积层、点注意力卷积层和解码器的原理。
编码器用于将每一个关键边对的第一边对特征映射为该第一边对特征所对应的潜在特征，以及将每一个关键点对的第一点对特征映射为该第一点对特征对应的潜在特征。匹配部分中的编码器的描述详见上文有关注意力部分中的编码器的相关描述，二者实现原理类似，在此不再赘述。
边卷积层用于对于各个关键边对，将关键边对的第一边对特征和目标点对的第一点对特征进行融合，得到关键边对的第二边对特征，以此实现一次关键边对的边对特征的更新。匹配部分中的边卷积层的描述详见上文有关注意力部分中的边卷积层的相关描述，二者实现原理类似，在此不再赘述。
点注意力卷积层用于对于各个关键点对，将关键点对的第一点对特征、目标边对的第二边对特征和目标边对的权重信息进行融合，得到关键点对的第二点对特征。
点注意力卷积层根据目标边对vi∈VA的第二边对特征ek和目标边对的权重信息θk，确定关键点对所对应的第一边对加权融合特征 其中，VA为关键点对的集合，ψva是函数名，/>是目标边对的第二边对特征的集合，Θi是目标边对的权重信息的集合。
点注意力卷积层根据关键点对的第一点对特征和关键点对所对应的第一边对加权融合特征，确定出关键点对的第二点对特征。在一种可能的实现方式中，按照上述点卷积层中关键点对所对应的第一边对融合特征与该关键点对的第一点对特征所对应的潜在特征进行融合的方式，将点注意力卷积层中关键点对所对应的第一边对加权融合特征和该关键点对的第一点对特征所对应的潜在特征进行融合，得到关键点对的第二点对特征，二者实现原理相类似，在此不再赘述。按照这种方式，实现更新一次关键点对的点对特征。
需要说明的是，边卷积层和点注意力卷积层也可以采用交叉融合的方式，更新关键边对的边对特征和关键点对的点对特征，边对特征和点对特征的更新次数不做限定。
也就是说，在一种可能的实现方式中，边卷积层还用于对于每一个关键边对，融合该关键边对所对应的两个目标点对的第二点对特征，得到该关键边对所对应的第四点对融合特征，将关键边对的第二边对特征和该关键边对所对应的第四点对融合特征进行融合，得到该关键边对的第六边对特征。按照这种方式，实现第二次更新关键边对的边对特征。点注意力卷积层还用于对于每一个关键点对，融合该关键点对所对应的至少一个目标边对的第六边对特征和目标边对的权重信息，得到该关键点对所对应的第二边对加权融合特征，将关键点对所对应的第二边对加权融合特征与该关键点对的第二点对特征进行融合，得到该关键点对的第五点对特征。按照这种方式，实现第二次更新关键点对的点对特征。以此类推，在此不再赘述。
解码器用于基于最后一次更新的各个关键边对的边对特征确定各个关键边对的匹配结果，以及基于最后一次更新的各个关键点对的点对特征确定各个关键点对的匹配结果。下面以最后一次更新的各个关键边对的边对特征为第二边对特征、最后一次更新的各个关键点对的点对特征为第二点对特征为例进行详细说明。
解码器包括两个多层感知器，分别记为和/>多层感知器/>基于各个关键点对的第二点对特征，确定出各个关键点对的匹配结果/>其中，/>为各个关键点对的第二点对特征的集合，/>为n2维度的向量，向量中的数为实数R。多层感知器/>基于各个关键边对的第二边对特征，确定出各个关键边对的匹配结果其中，εA为各个关键边对的第二边对特征的集合，/>为|E1||E2|维度的向量，向量中的数为实数R。
需要说明的是，本申请实施例所提及的第一至第六边对特征仅是为了区分不同特征处理阶段的边对特征，同样的，第一至第五点对特征也仅是为了区分不同特征处理阶段的点对特征，第一至第四点对融合特征也仅是为了区分不同特征处理阶段的点对融合特征，第一至第二边对融合特征也仅是为了区分不同特征处理阶段的边对融合特征，第一至第二边对加权融合特征也仅是为了区分不同特征处理阶段的边对加权融合特征。
其中，确定多个关键点对的第一点对特征之前，还包括：获取第一样本图像和第二样本图像，第一样本图像中包括多个第一样本关键点，第二样本图像中包括多个第二样本关键点；确定多个样本关键点对的第一样本点对特征，样本关键点对包括第一样本关键点和第二样本关键点，第一样本点对特征用于表征样本关键点对的像素信息；确定多个样本关键边对的第一样本边对特征，样本关键边对包括多个样本关键点对中的任意两个样本关键点对中第一样本关键点之间的第一样本边和任意两个样本关键点对中第二样本关键点之间的第二样本边，第一样本边对特征用于表征样本关键边对的像素信息；基于多个样本关键点对的第一样本点对特征和多个样本关键边对的第一样本边对特征，确定各个样本关键点对的匹配结果和各个样本关键边对的匹配结果；获取各个样本关键点对的匹配标签和各个样本关键边对的匹配标签；基于各个样本关键点对的匹配结果和匹配标签、各个样本关键边对的匹配结果和匹配标签，获取图匹配模型。
第一样本图像和第二样本图像的获取方式不做限定，第一样本图像为至少一个，第二样本图像也为至少一个。第一样本点对特征的确定方式见上文有关第一点对特征的确定内容，第一样本边对特征的确定方式见上文有关第一边对特征的确定内容，确定各个样本关键点对的匹配结果和各个样本关键边对的匹配结果的描述，见上文有关确定各个关键点对的匹配结果和各个关键边对的匹配结果的描述，其实现原理类似，在此不再赘述。
样本关键点对的匹配标签为匹配或者不匹配，类似的，样本关键边对的匹配标签也为匹配或者不匹配。示例性的，样本关键点对的匹配标签为0或者1，样本关键边对的匹配标签也为0或者1，其中，1表示匹配，0表示不匹配。
本申请实施例中，基于各个样本关键点对的匹配结果和匹配标签、各个样本关键边对的匹配结果和匹配标签，计算损失值，基于损失值获取图匹配模型。
在一种可能的实现方式中，基于各个样本关键点对的匹配结果和匹配标签、各个样本关键边对的匹配结果和匹配标签，获取图匹配模型，包括：基于各个样本关键点对的匹配结果和匹配标签，计算点对损失值；基于各个样本关键边对的匹配结果和匹配标签，计算边对损失值；基于点对损失值和边对损失值，获取图匹配模型。
本申请实施例中，样本关键点对的匹配标签的集合为X∈{0，1}n×n，样本关键边对的匹配标签的集合为其中，n×n表示样本关键点对的数量，|ER|×|E2|表示样本关键边对的数量。
一方面，基于各个样本关键点对的匹配标签与各个样本关键点对的匹配结果/>计算点对损失值。其中，vec为函数名，X为样本关键点对的匹配标签的集合。
在一种可能的实现方式中，点对损失值包括第一损失值和第二损失值，基于各个样本关键点对的匹配结果和匹配标签，计算点对损失值，包括：基于各个样本关键点对的匹配结果和匹配标签，按照 计算第一损失值，/>为第一损失值，xi为第i个样本关键点对的匹配标签，n2为样本关键点对的数量，/>为第i个样本关键点对的匹配结果；基于各个样本关键点对的匹配结果和匹配标签，按照计算第二损失值，/>为第二损失值，B为表征各个样本关键点对的辅助矩阵，/>为各个样本关键点对的预测标签，预测标签是基于样本关键点对的匹配结果转化得到的匹配标签，x为各个样本关键点对的匹配标签。
本申请实施例中，第一损失值为一个二元交叉熵损失函数值，第二损失值为一对一限制损失函数，由于样本关键点对需要满足一对一的限制条件，即一个第一样本关键点对应一个第二样本关键点，因此，构建一对一限制损失函数。
其中， 为第i个样本关键点对的预测标签，/>为第i个样本关键点对的匹配结果，n为第一样本关键点的数量，且第一样本关键点的数量和第二样本关键点的数量相同，n2为样本关键点对的数量。/>
另一方面，基于各个样本关键边对的匹配标签与各个样本关键边对的匹配结果/>计算边对损失值，该边对损失值为一个二元交叉熵损失函数值，边对损失值/>其中，|E1||E2|为样本关键边对的数量，yi为第i个样本关键边对的匹配标签，/>为第i个样本关键边对的匹配结果。
基于第一损失值、第二损失值和边对损失值，计算目标损失值 其中，/>为第一损失值，/>为第二损失值，/>为边对损失值。λc≥0，λc是控制/>相对影响力的正则化参数，其数值大小不作限定。λe≥0，λe是控制/>相对影响力的正则化参数，其数值大小也不作限定。之后，基于目标损失值获取图匹配模型。
上述方法第一图像包含多个第一关键点，第二图像包含多个第二关键点，通过确定多个关键点对的匹配结果和多个关键边对的匹配结果，确定第一图像和第二图像的匹配结果，关键点对包括第一关键点和第二关键点，关键边对包括多个关键点对中的任意两个关键点对中第一关键点之间的第一边和任意两个关键点对中第二关键点之间的第二边。实现了基于关键点之间的匹配结果和关键边之间的匹配结果，确定图像的匹配结果，提高了图像匹配的准确性。
图12所示为本申请实施例提供的一种图像匹配装置的结构示意图，如图12所示，该装置包括：
获取模块1201，用于获取第一图像和第二图像，第一图像中包括多个第一关键点，第二图像中包括多个第二关键点；
确定模块1202，用于确定多个关键点对的第一点对特征，每个关键点对包括一个第一关键点和一个第二关键点，任一关键点对的第一点对特征用于表征任一关键点对的像素信息；
确定模块1202，还用于确定多个关键边对的第一边对特征，每个关键边对包括第一边和第二边，第一边为多个关键点对中的任意两个关键点对中第一关键点之间的边，第二边为任意两个关键点对中第二关键点之间的边，任一关键边对的第一边对特征用于表征任一关键边对的像素信息；
确定模块1202，还用于基于多个关键点对的第一点对特征确定各个关键点对的匹配结果，基于多个关键边对的第一边对特征确定各个关键边对的匹配结果；
确定模块1202，还用于基于各个关键点对的匹配结果和各个关键边对的匹配结果，确定第一图像和第二图像的匹配结果。
在一种可能的实现方式中，确定模块1202，用于将任一关键边对的第一边对特征和目标点对的第一点对特征进行融合，得到任一关键边对的第二边对特征，任一关键边对的端点为目标点对且目标点对为多个关键点对中的至少一个关键点对；将任一关键点对的第一点对特征和目标边对的第二边对特征进行融合，得到任一关键点对的第二点对特征，目标边对为多个关键边对中的至少一个关键边对且端点为任一关键点对；基于各个关键点对的第二点对特征确定各个关键点对的匹配结果，基于各个关键边对的第二边对特征确定各个关键边对的匹配结果。
在一种可能的实现方式中，确定模块1202，用于确定目标边对的权重信息；根据任一关键点对的第一点对特征、目标边对的第二边对特征和目标边对的权重信息进行融合，确定任一关键点对的第二点对特征。
在一种可能的实现方式中，确定模块1202，用于将任一关键边对的第一边对特征和目标点对的第一点对特征进行融合，得到任一关键边对的第三边对特征；将任一关键点对的第一点对特征和目标边对的第三边对特征进行融合，得到任一关键点对的第三点对特征；将任一关键边对的第三边对特征和目标点对的第三点对特征进行融合，得到任一关键边对的第四边对特征；基于各个关键边对的第四边对特征，确定目标边对的权重信息。
在一种可能的实现方式中，确定模块1202，用于确定各个第一关键点的点特征和各个第二关键点的点特征，点特征用于表征关键点的像素信息；基于任一关键点对包含的第一关键点的点特征和任一关键点对包含的第二关键点的点特征，确定任一关键点对的第一点对特征。
在一种可能的实现方式中，确定模块1202，用于确定多个第一关键点中每两个第一关键点之间的第一边的边特征，第一边的边特征用于表征第一图像中组成第一边的各个像素点的像素信息；确定多个第二关键点中每两个第二关键点之间的第二边的边特征，第二边的边特征用于表征第二图像中组成第二边的各个像素点的像素信息；基于任一关键边对中第一边的边特征和第二边的边特征，确定任一关键边对的第一边对特征。
在一种可能的实现方式中，确定模块1202，用于将第一图像和第二图像输入至图匹配模型，由图匹配模型的特征融合部分输出多个关键点对的第一点对特征和多个关键边对的第一边对特征；将多个关键点对的第一点对特征和多个关键边对的第一边对特征输入至图匹配模型的匹配部分，由图匹配模型的匹配部分输出各个关键点对的匹配结果和各个关键边对的匹配结果。
在一种可能的实现方式中，获取模块1201，还用于获取第一样本图像和第二样本图像，第一样本图像中包括多个第一样本关键点，第二样本图像中包括多个第二样本关键点；
确定模块1202，还用于确定多个样本关键点对的第一样本点对特征，样本关键点对包括第一样本关键点和第二样本关键点，第一样本点对特征用于表征样本关键点对的像素信息；确定多个样本关键边对的第一样本边对特征，样本关键边对包括多个样本关键点对中的任意两个样本关键点对中第一样本关键点之间的第一样本边和任意两个样本关键点对中第二样本关键点之间的第二样本边，第一样本边对特征用于表征样本关键边对的像素信息；基于多个样本关键点对的第一样本点对特征和多个样本关键边对的第一样本边对特征，确定各个样本关键点对的匹配结果和各个样本关键边对的匹配结果；
获取模块1201，还用于获取各个样本关键点对的匹配标签和各个样本关键边对的匹配标签；基于各个样本关键点对的匹配结果和匹配标签，计算点对损失值；基于各个样本关键边对的匹配结果和匹配标签，计算边对损失值；基于点对损失值和边对损失值，获取图匹配模型。
上述装置第一图像包含多个第一关键点，第二图像包含多个第二关键点，通过确定多个关键点对的匹配结果和多个关键边对的匹配结果，确定第一图像和第二图像的匹配结果，关键点对包括第一关键点和第二关键点，关键边对包括多个关键点对中的任意两个关键点对中第一关键点之间的第一边和任意两个关键点对中第二关键点之间的第二边。实现了基于关键点之间的匹配结果和关键边之间的匹配结果，确定图像的匹配结果，提高了图像匹配的准确性。
应理解的是，上述图12提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图13示出了本申请一个示例性实施例提供的终端设备1300的结构框图。该终端设备1300可以是便携式移动终端，比如：智能手机、平板电脑、笔记本电脑或台式电脑。终端设备1300还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端设备1300包括有：处理器1301和存储器1302。
处理器1301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1301可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1301所执行以实现本申请中方法实施例提供的图像匹配方法。
在一些实施例中，终端设备1300还可选包括有：***设备接口1303和至少一个***设备。处理器1301、存储器1302和***设备接口1303之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1303相连。具体地，***设备包括：射频电路1304、显示屏1305、摄像头组件1306、音频电路1307、定位组件1308和电源1309中的至少一种。
***设备接口1303可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器1301和存储器1302。在一些实施例中，处理器1301、存储器1302和***设备接口1303被集成在同一芯片或电路板上；在一些其他实施例中，处理器1301、存储器1302和***设备接口1303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1304包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1305是触摸显示屏时，显示屏1305还具有采集在显示屏1305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1301进行处理。此时，显示屏1305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1305可以为一个，设置在终端设备1300的前面板；在另一些实施例中，显示屏1305可以为至少两个，分别设置在终端设备1300的不同表面或呈折叠设计；在另一些实施例中，显示屏1305可以是柔性显示屏，设置在终端设备1300的弯曲表面上或折叠面上。甚至，显示屏1305还可以设置成非矩形的不规则图形，也即异形屏。显示屏1305可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件1306用于采集图像或视频。可选地，摄像头组件1306包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1306还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1301进行处理，或者输入至射频电路1304以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端设备1300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1301或射频电路1304的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1307还可以包括耳机插孔。
定位组件1308用于定位终端设备1300的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件1308可以是基于美国的GPS(Global Positioning System，全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件。
电源1309用于为终端设备1300中的各个组件进行供电。电源1309可以是交流电、直流电、一次性电池或可充电电池。当电源1309包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端设备1300还包括有一个或多个传感器1310。该一个或多个传感器1310包括但不限于：加速度传感器1311、陀螺仪传感器1312、压力传感器1313、指纹传感器1314、光学传感器1315以及接近传感器1316。
加速度传感器1311可以检测以终端设备1300建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1311可以用于检测重力加速度在三个坐标轴上的分量。处理器1301可以根据加速度传感器1311采集的重力加速度信号，控制显示屏1305以横向视图或纵向视图进行用户界面的显示。加速度传感器1311还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1312可以检测终端设备1300的机体方向及转动角度，陀螺仪传感器1312可以与加速度传感器1311协同采集用户对终端设备1300的3D动作。处理器1301根据陀螺仪传感器1312采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1313可以设置在终端设备1300的侧边框和/或显示屏1305的下层。当压力传感器1313设置在终端设备1300的侧边框时，可以检测用户对终端设备1300的握持信号，由处理器1301根据压力传感器1313采集的握持信号进行左右手识别或快捷操作。当压力传感器1313设置在显示屏1305的下层时，由处理器1301根据用户对显示屏1305的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1314用于采集用户的指纹，由处理器1301根据指纹传感器1314采集到的指纹识别用户的身份，或者，由指纹传感器1314根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1301授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1314可以被设置在终端设备1300的正面、背面或侧面。当终端设备1300上设置有物理按键或厂商Logo时，指纹传感器1314可以与物理按键或厂商Logo集成在一起。
光学传感器1315用于采集环境光强度。在一个实施例中，处理器1301可以根据光学传感器1315采集的环境光强度，控制显示屏1305的显示亮度。具体地，当环境光强度较高时，调高显示屏1305的显示亮度；当环境光强度较低时，调低显示屏1305的显示亮度。在另一个实施例中，处理器1301还可以根据光学传感器1315采集的环境光强度，动态调整摄像头组件1306的拍摄参数。
接近传感器1316，也称距离传感器，通常设置在终端设备1300的前面板。接近传感器1316用于采集用户与终端设备1300的正面之间的距离。在一个实施例中，当接近传感器1316检测到用户与终端设备1300的正面之间的距离逐渐变小时，由处理器1301控制显示屏1305从亮屏状态切换为息屏状态；当接近传感器1316检测到用户与终端设备1300的正面之间的距离逐渐变大时，由处理器1301控制显示屏1305从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图13中示出的结构并不构成对终端设备1300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图14为本申请实施例提供的服务器的结构示意图，该服务器1400可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器1401和一个或多个的存储器1402，其中，该一个或多个存储器1402中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器1401加载并执行以实现上述各个方法实施例提供的图像匹配方法，示例性的，处理器1401为CPU。当然，该服务器1400还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器1400还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，该存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以使电子设备实现上述任一种图像匹配方法。
可选地，上述计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-OnlyMemory，CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品中存储有至少一条计算机指令，该至少一条计算机指令由处理器加载并执行，以使计算机实现上述任一种图像匹配方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (9)
1.一种图像匹配方法，其特征在于，所述方法包括：
获取第一图像和第二图像，所述第一图像中包括多个第一关键点，所述第二图像中包括多个第二关键点；
确定多个关键点对的第一点对特征，每个关键点对包括一个第一关键点和一个第二关键点，任一关键点对的第一点对特征用于表征所述任一关键点对的像素信息；
确定多个关键边对的第一边对特征，每个关键边对包括第一边和第二边，所述第一边为所述多个关键点对中的任意两个关键点对中第一关键点之间的边，所述第二边为所述任意两个关键点对中第二关键点之间的边，任一关键边对的第一边对特征用于表征所述任一关键边对的像素信息；
将任一关键边对的第一边对特征和目标点对的第一点对特征进行融合，得到所述任一关键边对的第二边对特征，所述任一关键边对的端点为所述目标点对且所述目标点对为所述多个关键点对中的至少一个关键点对；
将任一关键点对的第一点对特征和目标边对的第二边对特征进行融合，得到所述任一关键点对的第二点对特征，所述目标边对为所述多个关键边对中的至少一个关键边对且端点为所述任一关键点对；
基于各个关键点对的第二点对特征确定各个关键点对的匹配结果，基于各个关键边对的第二边对特征确定各个关键边对的匹配结果；
基于所述各个关键点对的匹配结果和所述各个关键边对的匹配结果，确定所述第一图像和所述第二图像的匹配结果。
2.根据权利要求1所述的方法，其特征在于，所述将任一关键点对的第一点对特征和目标边对的第二边对特征进行融合，得到所述任一关键点对的第二点对特征，包括：
确定所述目标边对的权重信息；
根据所述任一关键点对的第一点对特征、所述目标边对的第二边对特征和所述目标边对的权重信息进行融合，确定所述任一关键点对的第二点对特征。
3.根据权利要求2所述的方法，其特征在于，所述确定所述目标边对的权重信息，包括：
将所述任一关键边对的第一边对特征和目标点对的第一点对特征进行融合，得到所述任一关键边对的第三边对特征；
将所述任一关键点对的第一点对特征和目标边对的第三边对特征进行融合，得到所述任一关键点对的第三点对特征；
将所述任一关键边对的第三边对特征和目标点对的第三点对特征进行融合，得到所述任一关键边对的第四边对特征；
基于各个关键边对的第四边对特征，确定所述目标边对的权重信息。
4.根据权利要求1-3任一所述的方法，其特征在于，所述确定多个关键点对的第一点对特征，包括：
确定各个第一关键点的点特征和各个第二关键点的点特征，所述点特征用于表征关键点的像素信息；
基于任一关键点对包含的第一关键点的点特征和所述任一关键点对包含的第二关键点的点特征，确定所述任一关键点对的第一点对特征。
5.根据权利要求1-3任一所述的方法，其特征在于，所述确定多个关键边对的第一边对特征，包括：
确定所述多个第一关键点中每两个第一关键点之间的第一边的边特征，所述第一边的边特征用于表征所述第一图像中组成所述第一边的各个像素点的像素信息；
确定所述多个第二关键点中每两个第二关键点之间的第二边的边特征，所述第二边的边特征用于表征所述第二图像中组成所述第二边的各个像素点的像素信息；
基于任一关键边对中第一边的边特征和第二边的边特征，确定所述任一关键边对的第一边对特征。
6.根据权利要求1-3任一所述的方法，其特征在于，所述确定多个关键点对的第一点对特征，所述确定多个关键边对的第一边对特征，包括：
将所述第一图像和所述第二图像输入至图匹配模型，由所述图匹配模型的特征融合部分输出所述多个关键点对的第一点对特征和所述多个关键边对的第一边对特征；
所述基于所述多个关键点对的第一点对特征确定各个关键点对的匹配结果，基于所述多个关键边对的第一边对特征确定各个关键边对的匹配结果，包括：
将所述多个关键点对的第一点对特征和所述多个关键边对的第一边对特征输入至所述图匹配模型的匹配部分，由所述图匹配模型的匹配部分输出所述各个关键点对的匹配结果和所述各个关键边对的匹配结果。
7.根据权利要求6所述的方法，其特征在于，所述确定多个关键点对的第一点对特征之前，还包括：
获取第一样本图像和第二样本图像，所述第一样本图像中包括多个第一样本关键点，所述第二样本图像中包括多个第二样本关键点；
确定多个样本关键点对的第一样本点对特征，所述样本关键点对包括所述第一样本关键点和所述第二样本关键点，所述第一样本点对特征用于表征所述样本关键点对的像素信息；
确定多个样本关键边对的第一样本边对特征，所述样本关键边对包括所述多个样本关键点对中的任意两个样本关键点对中第一样本关键点之间的第一样本边和所述任意两个样本关键点对中第二样本关键点之间的第二样本边，所述第一样本边对特征用于表征所述样本关键边对的像素信息；
基于所述多个样本关键点对的第一样本点对特征和所述多个样本关键边对的第一样本边对特征，确定各个样本关键点对的匹配结果和各个样本关键边对的匹配结果；
获取所述各个样本关键点对的匹配标签和各个样本关键边对的匹配标签；
基于所述各个样本关键点对的匹配结果和匹配标签，计算点对损失值；
基于所述各个样本关键边对的匹配结果和匹配标签，计算边对损失值；
基于所述点对损失值和所述边对损失值，获取所述图匹配模型。
8.一种图像匹配装置，其特征在于，所述装置包括：
获取模块，用于获取第一图像和第二图像，所述第一图像中包括多个第一关键点，所述第二图像中包括多个第二关键点；
确定模块，用于确定多个关键点对的第一点对特征，每个关键点对包括一个第一关键点和一个第二关键点，任一关键点对的第一点对特征用于表征所述任一关键点对的像素信息；
所述确定模块，还用于确定多个关键边对的第一边对特征，每个关键边对包括第一边和第二边，所述第一边为所述多个关键点对中的任意两个关键点对中第一关键点之间的边，所述第二边为所述任意两个关键点对中第二关键点之间的边，任一关键边对的第一边对特征用于表征所述任一关键边对的像素信息；
所述确定模块，还用于将任一关键边对的第一边对特征和目标点对的第一点对特征进行融合，得到所述任一关键边对的第二边对特征，所述任一关键边对的端点为所述目标点对且所述目标点对为所述多个关键点对中的至少一个关键点对；将任一关键点对的第一点对特征和目标边对的第二边对特征进行融合，得到所述任一关键点对的第二点对特征，所述目标边对为所述多个关键边对中的至少一个关键边对且端点为所述任一关键点对；基于各个关键点对的第二点对特征确定各个关键点对的匹配结果，基于各个关键边对的第二边对特征确定各个关键边对的匹配结果；
所述确定模块，还用于基于所述各个关键点对的匹配结果和所述各个关键边对的匹配结果，确定所述第一图像和所述第二图像的匹配结果。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以使所述电子设备实现如权利要求1至7任一所述的图像匹配方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110945138.9A CN113822916B (zh) | 2021-08-17 | 2021-08-17 | 图像匹配方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110945138.9A CN113822916B (zh) | 2021-08-17 | 2021-08-17 | 图像匹配方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113822916A CN113822916A (zh) | 2021-12-21 |
| CN113822916B true CN113822916B (zh) | 2023-09-15 |
Family
ID=78922861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110945138.9A Active CN113822916B (zh) | 2021-08-17 | 2021-08-17 | 图像匹配方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113822916B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115601576B (zh) * | 2022-12-12 | 2023-04-07 | 云南览易网络科技有限责任公司 | 图像特征匹配方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109272541A (zh) * | 2018-08-27 | 2019-01-25 | 温州大学激光与光电智能制造研究院 | 一种图像匹配方法、设备 |
| CN111412898A (zh) * | 2020-04-16 | 2020-07-14 | 中国建筑股份有限公司 | 基于地空耦合的大区域变形摄影测量方法 |
| CN111753784A (zh) * | 2020-06-30 | 2020-10-09 | 广州酷狗计算机科技有限公司 | 视频的特效处理方法、装置、终端及存储介质 |
| CN112184787A (zh) * | 2020-10-27 | 2021-01-05 | 北京市商汤科技开发有限公司 | 图像配准方法及装置、电子设备和存储介质 |
| CN112328715A (zh) * | 2020-10-16 | 2021-02-05 | 浙江商汤科技开发有限公司 | 视觉定位方法及相关模型的训练方法及相关装置、设备 |
| CN112927363A (zh) * | 2021-04-07 | 2021-06-08 | Oppo广东移动通信有限公司 | 体素地图构建方法及装置、计算机可读介质和电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8194936B2 (en) * | 2008-04-25 | 2012-06-05 | University Of Iowa Research Foundation | Optimal registration of multiple deformed images using a physical model of the imaging distortion |
| KR101130817B1 (ko) * | 2011-09-27 | 2012-04-16 | (주)올라웍스 | 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 |
-
2021
- 2021-08-17 CN CN202110945138.9A patent/CN113822916B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109272541A (zh) * | 2018-08-27 | 2019-01-25 | 温州大学激光与光电智能制造研究院 | 一种图像匹配方法、设备 |
| CN111412898A (zh) * | 2020-04-16 | 2020-07-14 | 中国建筑股份有限公司 | 基于地空耦合的大区域变形摄影测量方法 |
| CN111753784A (zh) * | 2020-06-30 | 2020-10-09 | 广州酷狗计算机科技有限公司 | 视频的特效处理方法、装置、终端及存储介质 |
| CN112328715A (zh) * | 2020-10-16 | 2021-02-05 | 浙江商汤科技开发有限公司 | 视觉定位方法及相关模型的训练方法及相关装置、设备 |
| CN112184787A (zh) * | 2020-10-27 | 2021-01-05 | 北京市商汤科技开发有限公司 | 图像配准方法及装置、电子设备和存储介质 |
| CN112927363A (zh) * | 2021-04-07 | 2021-06-08 | Oppo广东移动通信有限公司 | 体素地图构建方法及装置、计算机可读介质和电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| Keypoint Descriptors for Matching Across Multiple Image Modalities and Non-linear Intensity Variations;Avi Kelman 等;《2007 IEEE Conference on Computer Vision and Pattern Recognition》;第1-7页 * |
| 平面几何图形检索的关键问题研究;符松平 等;《北京大学学报(自然科学版)》;第51卷(第6期);第1008-1016页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113822916A (zh) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136136B (zh) | 场景分割方法、装置、计算机设备及存储介质 | |
| CN110097019B (zh) | 字符识别方法、装置、计算机设备以及存储介质 | |
| CN111091132B (zh) | 基于人工智能的图像识别方法、装置、计算机设备及介质 | |
| CN110807361B (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
| CN110083791B (zh) | 目标群组检测方法、装置、计算机设备及存储介质 | |
| CN110222789B (zh) | 图像识别方法及存储介质 | |
| CN110059652B (zh) | 人脸图像处理方法、装置及存储介质 | |
| CN111243668B (zh) | 分子结合位点检测方法、装置、电子设备及存储介质 | |
| CN110675412B (zh) | 图像分割方法、图像分割模型的训练方法、装置及设备 | |
| CN111738365B (zh) | 图像分类模型训练方法、装置、计算机设备及存储介质 | |
| CN110705614A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
| CN113918767A (zh) | 视频片段定位方法、装置、设备及存储介质 | |
| CN114299306A (zh) | 获取图像检索模型的方法、图像检索方法、装置和设备 | |
| CN112053360B (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
| CN113822916B (zh) | 图像匹配方法、装置、设备及可读存储介质 | |
| CN111611414A (zh) | 车辆检索方法、装置及存储介质 | |
| CN114817709A (zh) | 排序方法、装置、设备及计算机可读存储介质 | |
| CN114283395A (zh) | 车道线检测的方法、装置、设备及计算机可读存储介质 | |
| CN111402873B (zh) | 语音信号处理方法、装置、设备及存储介质 | |
| CN112487162A (zh) | 确定文本语义信息的方法、装置、设备以及存储介质 | |
| CN113343709A (zh) | 意图识别模型的训练方法、意图识别方法、装置及设备 | |
| CN112287193A (zh) | 数据聚类方法、装置、计算机设备及存储介质 | |
| CN112990424A (zh) | 神经网络模型训练的方法和装置 | |
| CN113658283B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113409235B (zh) | 一种灭点估计的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |