CN112435283A - 图像的配准方法、电子设备以及计算机可读存储介质 - Google Patents

图像的配准方法、电子设备以及计算机可读存储介质 Download PDF

Info

Publication number
CN112435283A
CN112435283A CN202011217920.0A CN202011217920A CN112435283A CN 112435283 A CN112435283 A CN 112435283A CN 202011217920 A CN202011217920 A CN 202011217920A CN 112435283 A CN112435283 A CN 112435283A
Authority
CN
China
Prior art keywords
image
feature
matching
feature point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011217920.0A
Other languages
English (en)
Inventor
王子彤
刘晓沐
王松
张东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011217920.0A priority Critical patent/CN112435283A/zh
Publication of CN112435283A publication Critical patent/CN112435283A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像的配准方法、电子设备以及计算机可读存储介质，图像的配准方法包括：获取到待配准的第一图像和第二图像；其中，第一图像的尺寸小于第二图像的尺寸；将第一图像在第二图像上滑动，从第二图像中找到与第一图像相关度最高且与第一图像尺寸相关的匹配区域；在匹配区域内，分别对第一图像与第二图像进行特征点提取，得到第一图像对应的第一特征点与第二图像对应的第二特征点；响应于第一特征点的预设区域范围内存在匹配的第二特征点，确定匹配成功；利用匹配成功的特征点的位置信息计算得到第一图像与第二图像之间的变换关系；利用变换关系将第一图像的像素点配准到第二图像中。通过上述方式，本发明能够实现图像的精准配准。

Description

图像的配准方法、电子设备以及计算机可读存储介质
技术领域
本发明涉及图像配准领域，特别是涉及图像的配准方法、电子设备以及计算机可读存储介质。
背景技术
图像配准是图像处理研究领域中的一个典型问题，其目的在于比较或融合针对相同对象在不同条件下(例如：不同的采集设备、时间、拍摄角度)获取的图像。通常意义上的图像配准是指对于两幅图像，通过寻找一种变换把其中一幅图像映射到另一幅图像所在的平面上，从而使得两幅图像中对应于空间同一位置的点一一对应起来，进而达到信息融合的目的。图像配准作为图像拼接、图像融合、立体视觉、三维重建、深度估计和图像测量中最重要的技术已经在图像处理中广泛应用。
现有的图像配准方法在图像特征比较接近、图像模糊或特征点十分集中时很容易匹配错误，从而导致最后计算的配准结果错误。
发明内容
本发明提供了一种图像的配准方法、电子设备以及计算机可读存储介质，以解决现有技术中存在的图像匹配容易出错的问题。
为解决上述技术问题，本发明提供一种图像的配准方法，包括：获取到待配准的第一图像和第二图像；其中，第一图像的尺寸小于第二图像的尺寸；将第一图像在第二图像上滑动，从第二图像中找到与第一图像相关度最高且与第一图像尺寸相关的匹配区域；分别对第一图像与匹配区域内的第二图像进行特征点提取，得到第一图像对应的第一特征点与第二图像对应的第二特征点；响应于第一特征点的预设区域范围内存在匹配的第二特征点，确定匹配成功；利用匹配成功的特征点的位置信息计算得到第一图像与第二图像之间的变换关系；利用变换关系将第一图像与第二图像进行配准。
其中，将第一图像在第二图像上滑动，从第二图像中找到与第一图像相关度最高且与第一图像尺寸相关的匹配区域的步骤包括：将第一图像在第二图像上滑动，获取第二图像上多个与第一图像尺寸相同的参考区域；基于第一图像与各参考区域的像素点个数、像素点坐标、像素灰度值、像素平均值以及像素标准方差，利用归一化交叉相关性计算第一图像与各参考区域之间的相关度；将相关度最高的参考区域作为匹配区域。
其中，在将第一图像在第二图像上滑动，获取第二图像多个与第一图像尺寸相关的参考区域的步骤之前包括：将第一图像与第二图像缩小预设倍数，对缩小后的第一图像与第二图像进行灰度化处理。
其中，将第一图像在第二图像上滑动，获取第二图像上多个与第一图像尺寸相关的参考区域的步骤具体包括：将第一图像在第二图像上进行跳跃式滑动对比，获取第二图像上多个与第一图像尺寸相关的参考区域。
其中，在匹配区域内，分别对第一图像与第二图像进行特征点提取，得到第一图像对应的第一特征点与第二图像对应的第二特征点的步骤包括：通过加速稳健特征算法分别对第一图像与第二图像进行特征点提取，得到第一图像对应的第一特征点与第二图像的匹配区域内对应的第二特征点。
其中，响应于第一特征点的预设区域范围内存在匹配的第二特征点，确定匹配成功的步骤包括：判断每个第一特征点的预设区域范围内是否对应存在第二特征点；如果存在，则计算第一特征点特征向量与第二特征点特征向量之间的平方差是否满足第一预设条件；如果满足，则匹配成功。
其中，判断第一特征点的预设区域范围内是否存在第二特征点的步骤还包括：获取第一特征点的预设区域范围内对应的第二特征点的数量；如果数量为1，则执行计算第一特征点与第二特征点之间的平方差是否满足第一预设条件的步骤；如果数量大于且等于2，则判断特征向量平方差最小的一组第一特征点与第二特征点以及特征向量平方差第二小的一组第一特征点与第二特征点之间的商是否满足第二预设条件，如果满足，则匹配成功。
其中，利用匹配成功的特征点的位置信息计算得到第一图像与第二图像之间的变换关系的步骤包括：将第一图像和匹配区域对应划分为多个等份区域；利用每一等份区域中匹配成功的特征点对特征向量中平方差最小的一组点对的位置信息，计算得到变换关系。
其中，多个等份区域的数量范围大于等于4。
其中，利用变换关系将第一图像的像素点配准到第二图像中的步骤包括：利用变换关系将第一图像的目标对象配准到第二图像中，以实现第一图像与第二图像的配准。
为解决上述技术问题，本发明还提供了一种电子设备，电子设备包括：相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述任一项的图像的配准方法。
为解决上述技术问题，本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有程序数据，程序数据能够被执行以实现如上述任一项的图像的配准方法。
本发明的有益效果是：区别于现有技术的情况，本发明图像的配准方法通过基于第一图像的信息将第一图像在第二图像上进行滑动匹配，以获得第二图像上与第一图像相关度最高的匹配区域，从而先对第一图像与第二图像进行粗匹配，限定匹配区域，提高匹配准确率。再分别对第一图像与匹配区域进行特征点提取，得到第一特征点和第二特征点，并以第一特征点为中心，判断第一特征点为的预设区域范围内是否存在匹配的第二特征点，当存在时，确定特征点对匹配成功，最后基于匹配成功的特征点对计算第一图像与第二图像之间的变换关系，利用该变换关系对第一图像和第二图像进行配准。本实施例通过滑动匹配和特征点匹配法结合，以提高图像匹配的精度与准确率，再使用区域限制的特征点匹配方法，能够在图像特征不显著或重复时有效提升特征点配对的准确性，进一步提高配准精度与准确率。
附图说明
图1是本发明提供的图像的配准方法一实施例的流程示意图；
图2是本发明提供的图像的配准方法另一实施例的流程示意图；
图3是步骤S23中滑动对比的示意图；
图4是本实施例加速稳健特征算法的特征点提取示意图；
图5是本发明提供的电子设备一实施例的结构示意图；
图6是本发明提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1是本发明提供的图像的配准方法一实施例的流程示意图。
步骤S11：获取到待配准的第一图像和第二图像；其中，第一图像的尺寸小于第二图像的尺寸。
获取到待配准的第一图像和第二图像。在一个具体的应用场景中，第一图像和第二图像中具有相同的目标对象，而第一图像和第二图像的目标对象的角度或参考系不同。在一个具体的应用场景中，第一图像可以为水杯的正面照，第二图像可以为该水杯的斜视照，对水杯的正面照和斜视照进行图像配准。
在一个具体的应用场景中，第一图像与第二图像中目标对象的尺寸相同。若第一图像与第二图像中目标对象的尺寸不相同，则调整第一图像或第二图像的尺寸，以使第一图像与第二图像中目标对象的尺寸相同。在本实施例中，当第一图像与第二图像中目标对象的尺寸相同时，第一图像的尺寸小于第二图像的尺寸。
步骤S12：将第一图像在第二图像上滑动，从第二图像中找到与第一图像相关度最高且与第一图像尺寸相关的匹配区域。
将尺寸较小的第一图像在第二图像上进行滑动，以从第二图像中找到与第一图像相关度最高且与第一图像尺寸相关的匹配区域。在一个具体的应用场景中，可以将第一图像在第二图像上进行多行横向滑动匹配，以找到匹配区域。在一个具体的应用场景中，可以将第一图像在第二图像上进行多列纵向滑动匹配，以找到匹配区域。在一个具体的应用场景中，也可以将第一图像在第二图像上进行圆圈循环滑动匹配。具体的滑动匹配方式在此不做限定。
在滑动过程中，以第一图像为基准，在第二图像中寻找与第一图像相关度最高且与第一图像尺寸相关的匹配区域。该匹配区域与第一图像的相关度最高，其尺寸相同，以保证匹配区域中的目标对象和第一图像中的目标对象能够准确对应。
步骤S13：分别对第一图像与匹配区域内的第二图像进行特征点提取，得到第一图像对应的第一特征点与第二图像对应的第二特征点。
对第一图像进行特征点提取，得到第一图像对应的第一特征点。对第二图像的匹配区域也进行特征点提取，得到第二图像中匹配区域对应的第二特征点。
在一个具体的应用场景中，可以通过Sift(Scale Invariant FeatureTransform，尺度不变特征变换)特征点提取算法对第一图像与匹配区域内的第二图像进行特征点提取，以得到第一特征点与第二特征点。在一个具体的应用场景中，可以通过Harris特征点提取算法对第一图像与匹配区域内的第二图像进行特征点提取，以得到第一特征点与第二特征点。在一个具体的应用场景中，也可以通过SURF(Speeded Up RobustFeatures，加速稳健特征)特征点提取算法对第一图像与匹配区域内的第二图像进行特征点提取，以得到第一特征点与第二特征点。特征点提取算法在此不做限定。
步骤S14：响应于第一特征点的预设区域范围内存在匹配的第二特征点，确定匹配成功。
将第一图像的多个第一特征点和第二图像上匹配区域的多个第二特征点进行匹配。当匹配结束后，判断第一特征点的预设区域范围内存在匹配成功的第二特征点，如果第一特征点的预设区域范围内存在匹配的第二特征点，则第一特征点与第二特征点匹配成功。
本步骤中，通过预设区域范围的设置对第二特征点进行限定，从而减少因图像中存在重复的图像特征时，特征点匹配容易出现匹配错位的问题。从而提高图像配准的准确率。
步骤S15：利用匹配成功的特征点的位置信息计算得到第一图像与第二图像之间的变换关系。
当第一图像上的第一特征点与第二图像的匹配区域的第二特征点匹配成功后，利用匹配成功的第一特征点和第二特征点的特征点对的位置信息计算得到第一图像与第二图像之间的变换关系。在一个具体的应用场景中，特征点对的位置信息可以包括特征点对中各特征点的坐标信息来计算得到第一图像与第二图像之间的变换关系。
步骤S16：利用变换关系将第一图像与第二图像进行配准。
在一个具体的应用场景中，可以基于变换关系将第一图像上的任意一个像素点变换配准到第二图像中，以实现第一图像的每个像素点与第二图像的对应像素点的图像配准。在一个具体的应用场景中，也可以基于变换关系将第二图像中匹配区域中任意一个像素点变换配准到第一图像中，以实现第一图像的每个像素点与第二图像的对应像素点的图像配准。在此不做限定。
通过上述方案，本实施例的图像的配准方法通过基于第一图像的信息将第一图像在第二图像上进行滑动匹配，以获得第二图像上与第一图像相关度最高的匹配区域，从而先对第一图像与第二图像进行粗匹配，限定匹配区域，提高匹配准确率。再分别对第一图像与匹配区域进行特征点提取，得到第一特征点和第二特征点，并以第一特征点为中心，判断第一特征点为的预设区域范围内是否存在匹配的第二特征点，当存在时，确定特征点对匹配成功，最后基于匹配成功的特征点对计算第一图像与第二图像之间的变换关系，利用该变换关系对第一图像和第二图像进行配准。本实施例使用区域限制的特征点匹配方法，能够在图像特征不显著或重复时有效提升特征点配对的准确性，进一步提高配准精度。
请参阅图2，图2是本发明提供的图像的配准方法另一实施例的流程示意图。
步骤S21：获取到待配准的第一图像和第二图像；其中，第一图像的尺寸小于第二图像的尺寸。
获取到待配准的第一图像和第二图像，其中，第一图像和第二图像中包含同一目标对象，在一个具体的应用场景中，可以针对两图像中的同一目标对象进行配准重合。其中，目标对象可以包括物体、背景、场景等对象。
在一个具体的应用场景中，第一图像与第二图像中目标对象的尺寸相同时，对比第一图像和第二图像的尺寸大小，其中，第一图像的尺寸小于第二图像的尺寸。在一个具体的应用场景中，第一图像与第二图像中目标对象的尺寸不相同时，调整第一图像或第二图像的尺寸大小，以使第一图像与第二图像中目标对象的尺寸相同。其中，当第一图像与第二图像中目标对象的尺寸相同时，第一图像的尺寸小于第二图像的尺寸。通过上述方式，本实施例能够实现不同分辨率图像的准确配准。
步骤S22：将第一图像与第二图像缩小预设倍数，对缩小后的第一图像与第二图像进行灰度化处理。
在一个具体的应用场景，为了提高后续图像配准的准确性，在对第一图像和第二图像进行滑动配准之前，还可以对第一图像和第二图像进行预处理，具体地，预处理可以包括将第一图像或第二图像的图像尺寸调整至预设尺寸(例如，256*256)。或者，预处理还可以包括将第一图像和第二图像的图像强度归一化至预设范围(例如，0至1的范围)。以便于对第一图像和第二图像进行特征对比。
在一个具体的应用场景，可以将第一图像与第二图像缩小预设倍数，以简化第一图像和第二图像的图像特征，从而提高后续滑动对比的对比效率。其中，预设倍数可以为5倍、10倍、15倍等倍数，具体倍数可以基于实际配准中第一图像与第二图像的图像复杂度进行设定，在此不做限定。
在一个具体的应用场景，可以对缩小处理后的第一图像与第二图像进行灰度化处理。其中，彩色图像是由三个不同的分量组成，其为三通道图像。当对彩色图像进行处理时，往往需要对三个通道依次进行处理，时间消耗将会很大。因此，为了提高第一图像与第二图像的处理对比速度，需要减少所需处理的数据量。因此，在本步骤中，通过图像的灰度化处理把由RGB三通道的数据的彩色图像变为单通道的数据的灰度图像，以减少滑动对比的数据量，提高后续第一图像与第二图像的对比效率。
步骤S23：将第一图像在第二图像上进行跳跃式滑动对比，获取第二图像上多个与第一图像尺寸相同的参考区域。
在一个具体的应用场景中，将尺寸较小的第一图像作为模板，在尺寸较大的第二图像上进行滑动对比，以寻找第二图像上与模板最相近的匹配区域。
请参阅图3，图3是步骤S23中滑动对比的示意图。
尺寸较小的第一图像01在尺寸较大的第二图像02上进行平移滑动对比，以获取第二图像02上多个与第一图像01相关的参考区域03。其中，参考区域03的尺寸与第一图像01相同。
在本实施例中，第一图像01以多行横向平移以在第二图像02上进行滑动对比，获取多个并列贴合排布的参考区域03，在其他实施例中，第一图像01可以以其他滑动规律进行平移对比，在此不做限定。
在一个具体的应用场景中，可以将第一图像01在第二图像02上进行跳跃式滑动对比，获取第二图像02上多个间隔排布的参考区域03，以减少滑动对比的数据量，提高模板匹配的效率。
步骤S24：基于第一图像与各参考区域的像素点个数、像素点坐标、像素灰度值、像素平均值以及像素标准方差，利用归一化交叉相关性计算第一图像与各参考区域之间的相关度，将相关度最高的参考区域作为匹配区域。
当第一图像在第二图像上进行滑动匹配，获取到参考区域后，计算参考区域与第一图像之间的相关度。其中，相关度的计算可以采用NCC(Normalized Cross Correlation，归一化交叉相关)算法作为评价标准。
具体地，可以基于第一图像与各参考区域的像素点个数、像素点坐标、像素灰度值、像素平均值以及像素标准方差，利用归一化交叉相关性计算第一图像与各参考区域之间的相关度，将相关度最高的参考区域作为匹配区域。
NCC算法是数学上统计两组数据之间是否有关系的判断方法，是一种较常见的相关性评价标准，其计算公式如下所示：
Figure BDA0002761058830000091
其中，n为像素个数，f为第一图像的像素灰度值、t为第二图像的像素灰度值，μ表示第一图像和第二图像的像素平均值，σf表示第一图像像素标准方差，σt表示第二图像像素标准方差。f(x,y)为第一图像像素点的坐标，t(x,y)第二图像像素点的坐标。
通过上述公式计算第一图像与各参考区域的相关度，其中，将相关度最大的参考区域作为与第一图像最接近的匹配区域。后续配准过程将以匹配区域作为第二图像中目标对象所在的区域与第一图像中的目标对象进行配准。
步骤S25：通过加速稳健特征算法分别对第一图像与第二图像进行特征点提取，得到第一图像对应的第一特征点与第二图像的匹配区域内对应的第二特征点。
通过加速稳健特征算法(SURF，Speeded Up Robust Features)分别对第一图像与第二图像进行特征点提取，得到第一图像对应的第一特征点与第二图像的匹配区域内对应的第二特征点。
请参阅图4，图4是本实施例加速稳健特征算法的特征点提取示意图。具体如下：
步骤S251：构建黑塞矩阵。
黑塞矩阵(Hessian Matrix)是一个多元函数的二阶偏导数构成的方阵，描述了多元函数的局部曲率。其中，构建Hessian矩阵的目的是为了生成图像稳定的边缘点(突变点)，为后续的特征提取做好基础。每一个像素点都可以求出一个Hessian矩阵。
在本步骤中，分别对第一图像和第二图像的匹配区域构建黑塞矩阵。
步骤S252：构建尺度空间。
加速稳健特征算法的尺度空间由O组L层组成，在加速稳健特征算法中，不同组间图像的尺寸都是一致的，但不同组间使用的盒式滤波器的模板尺寸逐渐增大，同一组间不同层间使用相同尺寸的滤波器，但是滤波器的模糊系数逐渐增大，从而分别构建第一图像和第二图像的匹配区域的尺度空间，其中，第一图像与匹配区域的尺寸相同。
步骤S253：特征点定位。
分别将经过黑塞矩阵处理的第一图像和匹配区域中每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，初步定位出关键点，再经过滤除能量比较弱的关键点以及错误定位的关键点，筛选出最终的稳定的特征点，从而对第一图像的第一特征点与第二图像的匹配区域内的第二特征点进行定位。
步骤S254：特征点主方向分配。
在加速稳健特征算法中，采用统计特征点圆形邻域内的harr(哈尔)小波特征来对特征点主方向进行分配。具体地，在每个特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直harr小波特征总和，然后扇形以一定间隔进行旋转并再次统计该区域内harr小波特征值之后，旋转完整个360度之后，将值最大的那个扇形的方向作为该特征点的主方向。
步骤S255：生成特征点描述子。
分别在每个第一特征点和第二特征点的周围取一个4*4的矩形区域块，但是所取得矩形区域方向与其对应的特征点的主方向相同。每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，其中，水平和垂直方向都是相对主方向而言的。该haar小波特征为水平方向值之和、垂直方向值之和、水平方向绝对值之和以及垂直方向绝对值之和4个方向，从而分别生成各第一特征点和各第二特征点的描述子。
步骤S256：特征点匹配。
通过计算各第一特征点和各第二特征点之间的欧式距离来确定各特征点对之间的匹配度，欧氏距离越短，代表两个特征点的匹配度越好。
通过加速稳健特征算法能够减少特征点描述子的数量，从而加快特征点提取和特征点描述的速度和效率。
步骤S26：判断每个第一特征点的预设区域范围内是否对应存在第二特征点，如果存在，则计算第一特征点特征向量与第二特征点特征向量之间的平方差是否满足第一预设条件，如果满足，则匹配成功。
在获取了第一图像的第一特征点和匹配区域的第二特征点后，将所有第一特征点与所有第二特征点进行匹配。具体地，通过判断每个第一特征点的预设区域范围对应的匹配区域内是否存在第二特征点，如果存在，则计算第一特征点特征向量与第二特征点特征向量之间的平方差是否满足第一预设条件，如果满足，则匹配成功，如果不满足，则匹配失败。其中，第一预设条件可以是超过第一阈值，第一阈值的具体数值可以基于实际应用进行设定，在此不做限定。
在一个具体的应用场景中，预设区域范围可以基于实际应用进行设定，预设区域范围越小，特征点匹配越精准，在此不做限定。
在一个具体的应用场景中，当某个第二特征点特征向量与第一特征点特征向量之间的平方差满足第一预设条件，但该第二特征点不处于第一特征点的预设区域范围对应的匹配区域内，则该第二特征点与该第一特征点匹配失败。
在一个具体的应用场景中，对第一特征点进行特征匹配时，可以先获取第一特征点的预设区域范围内对应第二特征点的数量，如果第二特征点的数量为1，则执行计算第一特征点特征向量与第二特征点特征向量之间的平方差是否满足第一预设条件的步骤；如果满足，则该第一特征点与该第二特征点匹配成功，如果不满足，则匹配失败。
如果第二特征点的数量大于且等于2，则计算特征向量平方差最小的一组第一特征点与第二特征点以及特征向量平方差第二小的一组第一特征点与第二特征点之间的商是否满足第二预设条件，如果满足，则第一特征点与多个第二特征点匹配成功；如果不满足，则该第一特征点匹配失败。其中，第二预设条件可以是超过第二阈值，第二阈值的具体数值可以基于实际应用进行设定，在此不做限定。
在一个具体的应用场景中，特征点匹配的步骤可以为：先获取一个第一特征点，判断第一特征点的预设区域范围内是否存在第二特征点，如果不在，则重新第一特征点，以重新进行匹配。如果在，则判断该第一特征点的预设区域范围内的第二特征点的数量是否为1，如果为1则计算第一特征点特征向量与第二特征点特征向量之间的平方差是否满足第一预设条件，以进行特征点匹配，如果不为1，则计算特征向量平方差最小的一组第一特征点与第二特征点以及特征向量平方差第二小的一组第一特征点与第二特征点之间的商是否满足第二预设条件，以进行特征点匹配。该第一特征点的特征点匹配结束后，继续获取其他第一特征点以进行特征点匹配。
本步骤通过使用区域限制的特征点匹配方法，能够在图像特征不显著或重复时有效提升特征点配对的准确性，提高配准精度。
步骤S27：将第一图像和匹配区域对应划分为多个等份区域，利用每一等份区域中匹配成功的特征点对特征向量中平方差最小的一组点对的位置信息，计算得到变换关系。
特征点匹配结束后，将第一图像和匹配区域对应划分为多个等份区域，利用每一等份区域中匹配成功的特征点对特征向量中平方差最小的一组点对的位置信息，计算得到变换关系。通过本步骤对匹配成功的特征点对进行筛选以使其均匀分布，从而提高变换关系的准确率。
在一个具体的应用场景中，可以将第一图像和匹配区域对应划分为M*N等份。以利用每一等份区域中匹配成功的特征点对特征向量中平方差最小的一组点对的位置信息，计算得到变换关系。
变换关系的计算公式如下：
U＝Hinv*X (2)
将其公式(2)进行扩展得到：
Figure BDA0002761058830000131
其中，u，v为第一图像的像素点坐标，x，y为第二图像的像素点坐标。A、B、C、D、E、F、G、H、I为变换参数，此时，上述变换参数为未知量。后续对上述变换参数进行计算求解，以得到具体的变换关系，从而对第一图像和匹配区域进行配准。
将公式(3)进行转换后，得到公式(4)：
Figure BDA0002761058830000132
假设I为1，则将至少4对匹配成功的特征点对的坐标代入至公式(4)后，可以得到至少8个方程组：
Figure BDA0002761058830000133
显然，在设定I的值后，基4个特征点对即8个特征点的坐标即可得到8个方程组，从而基于上述8个方程组就能对A、B、C、D、E、F、G、H，8个变换参数进行求解，从而获得具体的变换关系的计算公式。
由此，Hinv＝[AB C D E F G H]’即为变换关系的配准矩阵的逆矩阵，所以Hinv＝X\U，变换关系的计算公式可通过上述计算获得。
变换关系可以基于第一图像的每个像素点进行转换，以与匹配区域中的对应像素点进行配准。
步骤S28：利用变换关系将第一图像的目标对象配准到第二图像中，以实现第一图像与第二图像的配准。
利用上一步骤中所获得的变换关系将第一图像的目标对象的每个像素点配准到第二图像中，以实现第一图像与第二图像的配准。
在一个具体的应用场景中，可以基于变换关系将第一图像上的任意一个像素点变换配准到第二图像中，以实现第一图像的每个像素点与第二图像的对应像素点的图像配准。在一个具体的应用场景中，也可以基于变换关系将第二图像中匹配区域中任意一个像素点变换配准到第一图像中，以实现第一图像的每个像素点与第二图像的对应像素点的图像配准。在此不做限定。
通过上述方案，本实施例的图像的配准方法通过先对第一图像和第二图像进行缩小预设倍数和灰度化处理，以对图像特征进行简化，从而减少模板匹配的数据量，以改进模版匹配算法时间消耗过大的问题。然后基于模板匹配算法找到第二图像上与第一图像最相关的匹配区域，通过加速稳健特征算法提取出第一特征点和第二特征点后，在每个第一特征点的预设区域范围内能够成功匹配到第二特征点后，将第一图像和匹配区域对应划分为多个等份区域，利用每一等份区域中匹配成功的特征点对来计算变换关系，从而通过将图像区域分块并每块选取一组匹配点对的方法，使得特征点对均匀分布，不会出现部分区域配准误差巨大的问题，提升了最终配准效果。且本实施例采取了模版匹配与特征点匹配法结合的方法，使得不同分辨率的图像能够进行自动配准，无需人工参与，提高图像配准的效率和效果。
基于同样的发明构思，本发明还提出了一种电子设备，该电子设备能够被执行以实现上述任一实施例的图像的配准方法，请参阅图5，图5是本发明提供的电子设备一实施例的结构示意图，电子设备包括处理器51以及存储器52。
处理器51用于执行存储器52中存储的程序指令，以实现上述任一图像的配准方法实施例的步骤。在一个具体的实施场景中，电子设备可以包括但不限于：微型计算机、服务器，此外，电子设备还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器51用于控制其自身以及存储器52以实现上述任一图像的配准方法实施例的步骤。处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器51可以由集成电路芯片共同实现。
上述方案，能够实现图像的精准配准。
基于同样的发明构思，本发明还提出了一种计算机可读存储介质，请参阅图6，图6是本发明提供的计算机可读存储介质一实施例的结构示意图。计算机可读存储介质60中存储有至少一个程序数据61，程序数据61用于实现上述任一方法。在一个实施例中，计算机可读存储介质60包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种图像的配准方法，其特征在于，所述图像的配准方法包括：
获取到待配准的第一图像和第二图像；其中，所述第一图像的尺寸小于所述第二图像的尺寸；
将所述第一图像在所述第二图像上滑动，从所述第二图像中找到与所述第一图像相关度最高且与所述第一图像尺寸相关的匹配区域；
分别对所述第一图像与所述匹配区域内的所述第二图像进行特征点提取，得到所述第一图像对应的第一特征点与所述第二图像对应的第二特征点；
响应于所述第一特征点的预设区域范围内存在匹配的第二特征点，确定匹配成功；
利用匹配成功的特征点的位置信息计算得到所述第一图像与所述第二图像之间的变换关系；
利用所述变换关系将所述第一图像与所述第二图像进行配准。
2.根据权利要求1所述的图像的配准方法，其特征在于，所述将所述第一图像在所述第二图像上滑动，从所述第二图像中找到与所述第一图像相关度最高且与所述第一图像尺寸相关的匹配区域的步骤包括：
将所述第一图像在所述第二图像上滑动，获取第二图像上多个与所述第一图像尺寸相同的参考区域；
基于所述第一图像与各所述参考区域的像素点个数、像素点坐标、像素灰度值、像素平均值以及像素标准方差，利用归一化交叉相关性计算所述第一图像与各所述参考区域之间的相关度；
将相关度最高的参考区域作为所述匹配区域。
3.根据权利要求2所述的图像的配准方法，其特征在于，在所述将所述第一图像在所述第二图像上滑动，获取第二图像多个与所述第一图像尺寸相关的参考区域的步骤之前包括：
将所述第一图像与所述第二图像缩小预设倍数，对缩小后的所述第一图像与所述第二图像进行灰度化处理。
4.根据权利要求2所述的图像的配准方法，其特征在于，所述将所述第一图像在所述第二图像上滑动，获取第二图像上多个与所述第一图像尺寸相关的参考区域的步骤具体包括：
将所述第一图像在所述第二图像上进行跳跃式滑动对比，获取第二图像上多个与所述第一图像尺寸相关的参考区域。
5.根据权利要求1所述的图像的配准方法，其特征在于，所述在所述匹配区域内，分别对所述第一图像与所述第二图像进行特征点提取，得到所述第一图像对应的第一特征点与所述第二图像对应的第二特征点的步骤包括：
通过加速稳健特征算法分别对所述第一图像与所述第二图像进行特征点提取，得到所述第一图像对应的第一特征点与所述第二图像的匹配区域内对应的第二特征点。
6.根据权利要求1所述的图像的配准方法，其特征在于，所述响应于所述第一特征点的预设区域范围内存在匹配的第二特征点，确定匹配成功的步骤包括：
判断每个所述第一特征点的预设区域范围内是否对应存在第二特征点；
如果存在，则计算所述第一特征点特征向量与所述第二特征点特征向量之间的平方差是否满足第一预设条件；
如果满足，则匹配成功。
7.根据权利要求6所述的图像的配准方法，其特征在于，所述判断所述第一特征点的预设区域范围内是否存在第二特征点的步骤还包括：
获取所述第一特征点的预设区域范围内对应的第二特征点的数量；
如果所述数量为1，则执行所述计算所述第一特征点与所述第二特征点之间的平方差是否满足第一预设条件的步骤；
如果所述数量大于且等于2，则判断特征向量平方差最小的一组第一特征点与第二特征点以及特征向量平方差第二小的一组第一特征点与第二特征点之间的商是否满足第二预设条件，如果满足，则匹配成功。
8.根据权利要求1所述的图像的配准方法，其特征在于，所述利用匹配成功的特征点的位置信息计算得到所述第一图像与所述第二图像之间的变换关系的步骤包括：
将所述第一图像和所述匹配区域对应划分为多个等份区域；
利用每一所述等份区域中匹配成功的特征点对特征向量中所述平方差最小的一组点对的位置信息，计算得到所述变换关系。
9.根据权利要求8所述的图像的配准方法，其特征在于，所述多个等份区域的数量范围大于等于4。
10.根据权利要求1所述的图像的配准方法，其特征在于，所述利用所述变换关系将所述第一图像的像素点配准到所述第二图像中的步骤包括：
利用所述变换关系将所述第一图像的目标对象配准到所述第二图像中，以实现所述第一图像与所述第二图像的配准。
11.一种电子设备，其特征在于，所述电子设备包括：相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至10任一项所述的图像的配准方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序数据，所述程序数据能够被执行以实现如权利要求1-10任一项所述的图像的配准方法。
CN202011217920.0A 2020-11-04 2020-11-04 图像的配准方法、电子设备以及计算机可读存储介质 Pending CN112435283A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011217920.0A CN112435283A (zh) 2020-11-04 2020-11-04 图像的配准方法、电子设备以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011217920.0A CN112435283A (zh) 2020-11-04 2020-11-04 图像的配准方法、电子设备以及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112435283A true CN112435283A (zh) 2021-03-02

Family

ID=74695305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011217920.0A Pending CN112435283A (zh) 2020-11-04 2020-11-04 图像的配准方法、电子设备以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112435283A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409371A (zh) * 2021-06-25 2021-09-17 浙江商汤科技开发有限公司 图像配准方法及相关装置、设备
CN113409370A (zh) * 2021-06-25 2021-09-17 浙江商汤科技开发有限公司 图像配准方法及相关装置、设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409371A (zh) * 2021-06-25 2021-09-17 浙江商汤科技开发有限公司 图像配准方法及相关装置、设备
CN113409370A (zh) * 2021-06-25 2021-09-17 浙江商汤科技开发有限公司 图像配准方法及相关装置、设备
CN113409370B (zh) * 2021-06-25 2023-04-18 浙江商汤科技开发有限公司 图像配准方法及相关装置、设备

Similar Documents

Publication Publication Date Title
CN107301402B (zh) 一种现实场景关键帧的确定方法、装置、介质及设备
CN107358258B (zh) 基于nsct双cnn通道和选择性注意机制的sar图像目标分类
CN111340109B (zh) 图像匹配方法、装置、设备及存储介质
CN111723721A (zh) 基于rgb-d的三维目标检测方法、***及装置
US9767383B2 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
CN104966285B (zh) 一种显著性区域的检测方法
CN106408597A (zh) 基于邻域熵和一致性检测的sar图像配准方法
CN109255802B (zh) 行人跟踪方法、装置、计算机设备及存储介质
CN112435283A (zh) 图像的配准方法、电子设备以及计算机可读存储介质
CN111369605A (zh) 一种基于边缘特征的红外与可见光图像的配准方法和***
CN108830283B (zh) 一种图像特征点匹配方法
CN110660089A (zh) 一种卫星图像的配准方法及装置
CN112634262A (zh) 一种基于互联网的写字质量评价方法
CN110807110A (zh) 结合局部和全局特征的图片搜索方法、装置及电子设备
CN111783493A (zh) 一种批量二维码的识别方法及识别终端
CN112580434A (zh) 一种基于深度相机的人脸误检优化方法、***及人脸检测设备
CN109871827B (zh) 一种结合区域置信度和压力分布方向强度的足迹表达方法
CN113240736A (zh) 基于yolo6d改进网络的位姿估计方法及装置
CN111898408A (zh) 一种快速人脸识别方法及装置
KR101741761B1 (ko) 멀티 프레임 기반 건물 인식을 위한 특징점 분류 방법
CN112749713B (zh) 一种基于人工智能的大数据图像识别***及方法
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20240104890A1 (en) Image processing device, recording medium, and image processing method
CN114882085A (zh) 一种基于单一立方体三维点云配准方法及***
Wu et al. An accurate feature point matching algorithm for automatic remote sensing image registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination