CN110443835B - 图像配准方法、装置、设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像配准方法、装置、设备和存储介质，终端通过获取关键帧图像的配准点，并对待配准图像进行缩小分辨率运算，得到待配准图像对应的金字塔图像，同时根据缩小分辨率运算，对关键帧图像的配准点在关键帧图像的位置信息进行缩小运算，得到配准点在顶层图像中的配准位置信息，进而根据顶层图像中的配准位置信息，对待配准图像进行配准，获得待配准图像的配准结果，使得获得待配准图像的配准结果是根据顶层图像，和，缩小配准点的位置信息得到的，减小了图像配准过程中所需的计算量，提高了图像配准的效率。同时，在对待配准图像进行配准时，是通过亚像素精度的配准点的位置信息进行配准的，因此提高了图像配准的精度。

Description

图像配准方法、装置、设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及了一种图像配准方法、装置、设备和存储介质。

背景技术

图像配准(Image Registration)一般是指将不同条件下(不同成像设备、摄像位置和角度等)获取的两帧或多帧图像进行匹配、叠加的过程，在遥感、医疗、计算机视觉等领域有着广泛的应用。

常见的图像配准方法，是通过选取关键帧图像，获取其他待配准图像中各点与关键帧图像中各对应点之间的位置转换关系作为配准位置，进而根据配准位置，将其他待配准图像各点匹配至关键帧图像中对应的位置处。

然而采用上述图像配准方法进行图像配准时，当待配准图像为多帧图像时，需要进行大量的运算，导致图像配准效率低。

发明内容

基于此，有必要针对图像配准效率低的问题，提供了一种图像配准方法、装置、设备和存储介质。

第一方面，一种图像配准方法，该方法包括：

获取关键帧图像的配准点；

对待配准图像进行缩小分辨率运算，得到待配准图像对应的金字塔图像，金字塔图像包括至少两层图像；

根据缩小分辨率运算，对关键帧图像的配准点在关键帧图像的位置信息进行缩小运算，得到关键帧图像的配准点在金字塔图像中的顶层图像中的配准位置信息；

根据顶层图像中的配准位置信息，对待配准图像进行配准，获得待配准图像的配准结果；配准结果包括金字塔图像的各层图像中对应的配准位置信息。

在其中一个实施例中，上述根据顶层图像中的配准位置信息，对待配准图像进行配准，获得待配准图像的配准结果，包括：

根据顶层图像中的配准位置信息和金字塔缩小系数，得到金字塔图像中各层图像的配准结果；

去除金字塔图像中各层图像的配准结果中与待配准图像之间差异值大于预设的差异阈值的配准结果，得到待配准图像的配准结果。

在其中一个实施例中，上述根据顶层图像中的配准位置信息和金字塔缩小系数，得到金字塔图像中各层图像配准结果；

根据顶层图像中的配准位置信息和金字塔缩小系数，得到关键帧图像的配准点在金字塔图像中各层图像的初始配准位置信息；

根据金字塔图像中各层图像，使用梯度下降法对金字塔图像中各层图像的初始配准位置信息进行校准，得到金字塔图像中各层图像的校准配准位置信息；

根据金字塔图像中各层图像的校准配准位置信息和金字塔图像中各层图像，得到金字塔图像中各层图像的配准结果。

在其中一个实施例中，上述去除金字塔图像中各层图像的配准结果中与待配准图像之间差异值大于预设的差异阈值的配准结果，得到待配准图像的配准结果，包括：

获取金字塔图像中各层图像的配准结果对应的配准单应性矩阵；

获取待配准图像对应的原始单应性矩阵；

去除配准单应性矩阵与原始单应性矩阵之间差异值大于预设的差异阈值的配准结果，得到待配准图像的配准结果。

在其中一个实施例中，上述获取关键帧图像的配准点，包括：

根据预设的选取规则选取关键帧图像；

对关键帧图像进行差分运算，得到关键帧图像对应的梯度图像；

根据梯度图像获取关键帧图像的配准点。

在其中一个实施例中，上述根据梯度图像获取关键帧图像的配准点包括：

根据预设的分割策略将梯度图像分为至少两个网格；

获取各网格中的梯度最大值，得到关键帧图像的配准点。

在其中一个实施例中，上述对关键帧图像进行差分运算，得到关键帧图像对应的梯度图像，包括：

对关键帧图像进行水平方向的差分运算，得到水平差分图像；

对水平差分图像进行垂直方向的差分运算，得到关键帧图像对应的梯度图像。

在其中一个实施例中，金字塔图像的顶层图像中各待配准点之间的距离小于1像素。

在其中一个实施例中，上述金字塔图像的层数是根据各待配准图像之间的最大位移量和金字塔缩小系数确定的。

在其中一个实施例中，金字塔图像的层数通过公式为n＝MIN(N),s.t.cⁿ>D得到的，其中，n表示金字塔图像的层数，c表示金字塔缩小系数，D表示最大位移量。

第二方面，一种图像配准装置，该装置包括：

获取模块，用于获取关键帧图像的配准点；

第一缩小模块，用于对待配准图像进行缩小分辨率运算，得到待配准图像对应的金字塔图像，金字塔图像包括至少两层图像；

第二缩小模块，用于根据缩小分辨率运算，对关键帧图像的配准点在关键帧图像的位置信息进行缩小运算，得到关键帧图像的配准点在金字塔图像中的顶层图像中的配准位置信息；

配准模块，用于根据顶层图像中的配准位置信息，对待配准图像进行配准，获得待配准图像的配准结果；配准结果包括金字塔图像的各层图像中对应的配准位置信息。

第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像配准方法所述的方法步骤。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像配准方法所述的方法步骤。

上述图像配准方法、装置、设备和存储介质，终端通过获取关键帧图像的配准点，并对待配准图像进行缩小分辨率运算，得到待配准图像对应的金字塔图像，金字塔图像包括至少两层图像，同时根据缩小分辨率运算，对关键帧图像的配准点在关键帧图像的位置信息进行缩小运算，得到关键帧图像的配准点在金字塔图像中的顶层图像中的配准位置信息，进而根据顶层图像中的配准位置信息，对待配准图像进行配准，获得待配准图像的配准结果，其中配准结果包括金字塔图像的各层图像中对应的配准位置信息，使得获得待配准图像的配准结果是根据缩小分辨率的顶层图像，和，缩小配准点的位置信息得到的，减小了图像配准过程中所需的计算量，提高了图像配准的效率。同时，在对待配准图像进行配准时，是通过将待配准图像进行缩小分辨率运算得到的金字塔图像进行配准的，其中，金字塔图像中的配准点的像素为亚像素精度，也即是说，待配准图像是通过亚像素精度的配准点的位置信息进行配准的，因此提高了图像配准的精度。

附图说明

图1为一个实施例中图像配准方法的应用环境的示意图；

图2为一个实施例中图像配准方法的流程示意图；

图3为另一个实施例中图像配准方法的流程示意图；

图4为另一个实施例中图像配准方法的流程示意图；

图5为另一个实施例中图像配准方法的流程示意图；

图6为另一个实施例中图像配准方法的流程示意图；

图7为另一个实施例中图像配准方法的流程示意图；

图8为另一个实施例中图像配准方法的流程图；

图9为一个实施例中提供的图像配准装置的结构示意图；

图10为另一个实施例中提供的图像配准装置的结构示意图；

图11为另一个实施例中提供的图像配准装置的结构示意图；

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

本申请提供的图像配准方法、装置、设备和存储介质，旨在解决传统的图像配准效率低问题。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

本实施例提供的图像配准方法，可以适用于如图1所示的应用环境中。其中图像配准终端102与图像获取装置104通过网络进行通信。图像配准终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。图像获取装置104可以是一个，也可以是多个，本申请实施例对此不做限制。需要说明的是，图像配准终端102和图像获取装置104可以集成为一个硬件设备。

需要说明的是，本申请实施例提供的图像配准方法，其执行主体可以是图像配准装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为图像配准终端的部分或者全部。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。

图2为一个实施例中图像配准方法的流程示意图。本实施例涉及的是如何通过缩小分辨率来进行图像配准的具体过程。如图2所示，该方法包括以下步骤：

S101、获取关键帧图像的配准点。

具体地，关键帧图像可以作为待配准图像的配准标准，其可以是待配准图像中清晰度最高的图像，也可以是待配准图像中满足预设要求的图像，还可以是预设的一张配准标准图像，本申请实施例对此不做限制。配准点可以是关键帧图像中用于表示各对象位置的点。可以通过一个配准点表示一个对象的位置，也可以通过多个配准点表示一个对象的位置，本申请实施例对此不做限制。通过将待配准图像中目标对象的位置转换至关键帧图像中对应的配准点表示的对象的位置，完成图像配准。在具体获取关键帧图像的配准点的过程中，可以先在多个待配准图像中选取关键帧图像，进而提取关键帧图像中的各对象的位置信息，作为配准点。

S102、对待配准图像进行缩小分辨率运算，得到待配准图像对应的金字塔图像，金字塔图像包括至少两层图像。

具体地，待配准图像可以是一个图像，也可以是多个图像，本申请实施例对此不做限制。当待配准图像是多个图像时，各待配准图像中至少包括一个相同的对象。进一步地，待配准图像可以通过一个图像获取装置得到，也可以根据多个图像获取装置得到，本申请实施例对此不做限制。例如，待配准图像可以是通过一个手机上的两个摄像头获得的多个图像。缩小分辨率运算可以是按照同一个缩小系数进行缩小，也可以按照不同的缩小系数进行缩小，本申请实施例对此不做限制。在对待配准图像进行缩小分辨率运算，得到待配准图像对象的金字塔图像时，可以通过同一个缩小系数，对待配准图像进行缩小分辨率运算，得到包括至少两层的金字塔图像；也可以通过不同的缩小系数，对待配准图像进行缩小分辨率运算，得到包括至少两层的金字塔图像；本申请实施例对此不做限制。例如，待配准图像的分辨率为128*128，通过不同缩小系数对待配准图像进行缩小分辨率运算，第一次为缩小4倍，得到金字塔图像的最底层图像，分辨率为32*32的图像；第二次为缩小4倍，得到金字塔图像的第二层图像，分辨率为8*8的图像；第三次为缩小2倍，得到金字塔图像的第三层图像，分辨率为4*4的图像。此时得到的金字塔图像共有3层，其中第三层为金字塔图像中的顶层图像，为所有层图像中分辨率最小的图像。

S103、根据缩小分辨率运算，对关键帧图像的配准点进在关键帧图像的位置信息进行缩小运算，得到关键帧图像的配准点在金字塔图像中的顶层图像中的配准位置信息。

具体地，配准位置信息可以表示各配准点在图像中的位置信息，在上述实施例的基础上，对关键帧图像的配准点可以进行与上述待配准图像的缩小分辨率运算相同的缩小运算，得到关键帧图像的配准点在金字塔图像中的顶层图像中的配准位置信息。例如，通过同一缩小系数4对待配准图像进行3次缩小分辨率运算，得到分辨率为128*128待配准图像对应的金字塔图像的顶层图像，分辨率为2*2，对关键帧图像的配准点在关键帧图像的位置信息进行相同的缩小运算，即通过同一缩小系数4，对关键帧图像的配准点进在关键帧图像的位置信息行3次缩小分辨率运算，得到关键帧图像的配准点在分辨率为2*2的顶层图像中的配准位置信息。

S104、根据顶层图像中的配准位置信息，对待配准图像进行配准，获得待配准图像的配准结果，配准结果包括金字塔图像的各层图像中对应的配准位置信息。

具体地，待配准图像的配准结果可以是关键帧图像的配准点在金字塔图像的各层图像中对应的配准位置信息，进而根据上述配准位置信息将各待配准图像中各对象设置在各对象对应的位置上获得的合成图像。在上述实施例的基础上，获取顶层图像中的配准位置信息时，可以根据顶层图像中的配准位置信息，对待配准图像进行配准，获得待配准图像的配准结果。其中顶层图像中的配准位置信息是指关键帧图像的配准点在顶层图像中的位置信息，将待配准图像中与各配准点对应的各对象的位置，根据顶层图像中的配准位置信息，设置在对应的配准点的位置处，得到待配准图像的配准结果。

上述图像配准方法，终端通过获取关键帧图像的配准点，并对待配准图像进行缩小分辨率运算，得到待配准图像对应的金字塔图像，金字塔图像包括至少两层图像，同时根据缩小分辨率运算，对关键帧图像的配准点在关键帧图像的位置信息进行缩小运算，得到关键帧图像的配准点在金字塔图像中的顶层图像中的配准位置信息，进而根据顶层图像中的配准位置信息，对待配准图像进行配准，获得待配准图像的配准结果，其中配准结果包括金字塔图像的各层图像中对应的配准位置信息，使得获得待配准图像的配准结果是根据缩小分辨率的顶层图像，和，缩小配准点的位置信息得到的，减小了图像配准过程中所需的计算量，提高了图像配准的效率。同时，在对待配准图像进行配准时，是通过将待配准图像进行缩小分辨率运算得到的金字塔图像进行配准的，其中，金字塔图像中的配准点的像素为亚像素精度，也即是说，待配准图像是通过亚像素精度的配准点的位置信息进行配准的，因此提高了图像配准的精度。

图3为另一个实施例中图像配准方法的流程示意图，本实施例涉及的是据顶层图像中的配准位置信息对待配准图像进行配准，获得待配准图像的配准结果的具体过程，如图3所示，上述S104“根据顶层图像中的配准位置信息，对待配准图像进行配准，获得待配准图像的配准结果”一种可能的实现方式包括以下步骤：

S201、根据顶层图像中的配准位置信息和金字塔缩小系数，得到金字塔图像中各层图像的配准结果。

具体地，在上述实施例的基础上，可以通过顶层图像中配准位置信息获得顶层图像的配准结果，通过将顶层图像中的配准位置信息和金字塔缩小系数，反推得到各层图像的配准位置信息，进行根据各层图像的配准位置信息得到金字塔图像中各层图像的配准结果。在具体的反推得到各层图像的配准位置信息时，可以直接将顶层图像中的配准位置信息按照金字塔缩小系数反向扩大得到各层图像的配准位置信息，也可以是将顶层图像中的配准位置信息按照金字塔缩小系数反向扩大得到各层图像的初始配准位置信息，对各层图像的初始配准位置信息进行校准，得到各层图像的校准配准位置信息，作为各层图像的配准位置信息，本申请实施例对此不做限制。例如，金字塔图像共有三层，从上到下分别为第一层图像、第二层图像和第三层图像，其中第三层图像为顶层图像。金字塔缩小系数可以是第一次缩小2倍，第二次缩小4倍，第三次缩小2倍，当得到顶层图像中的配准位置信息时，可以根据金字塔缩小系数，反推得到顶层图像的下一层金字塔图像，即第二层图像的配准位置信息为顶层图像的配准位置信息放大2倍，第一层图像，即最下层金字塔图像的配准位置信息为第二层图像的配准位置信息扩大4倍，进而根据金字塔图像中各层图像和金字塔图像中各层图像的配准位置信息，得到金字塔图像中各层图像的配准结果。

S202、去除金字塔图像中各层图像的配准结果中与待配准图像之间差异值大于预设的差异阈值的配准结果，得到待配准图像的配准结果。

具体地，金字塔图像中各层图像的配准结果中与待配准图像之间差异值可以是指金字塔图像中各层图像的配准结果中各对象的位置，与待配准图像中对应的各对象的位置之间的差值，预设的差异阈值可以是根据用户输入的差异值生成的差异阈值，也可以是终端对待配准图像和待配准图像对应的配准结果进行机器学习，自动生成的差异阈值，本申请实施例对此不做限制。在上述实施例的基础上，获得金字塔图像中各层图像的配准结果时，可以去除与待配准图像之间差异值大于预设的差异阈值的配准结果，将与待配准图像之间差异值不大于预设的差异阈值的配准结果合成，得到待配准图像的配准结果。

上述图像配准方法，终端根据顶层图像中的配准位置信息和金字塔缩小系数，得到金字塔图像中各层图像的配准结果，并去除金字塔图像中各层图像的配准结果中与待配准图像之间差异值大于预设的差异阈值的配准结果，得到待配准图像的配准结果，使得待配准图像的配准结果不仅是根据分辨率最小的顶层图像的配准位置信息得到的，同时还根据金字塔图像中各层图像的配准位置信息，并进一步地去除了各层图像的配准结果与待配准图像之间的差异值大于预设的差异阈值的配准结果得到的，提高了得到的待配准图像的配准结果的准确性。

图4为另一个实施例中图像配准方法的流程示意图，本实施例涉及的是根据顶层图像中的配准位置信息和金字塔缩小系数，得到金字塔图像中各层图像配准结果具体过程，如图4所示，上述S201“根据顶层图像中的配准位置信息和金字塔缩小系数，得到金字塔图像中各层图像的配准结果”一种可能的实现方式包括以下步骤：

S301、根据顶层图像中的配准位置信息和金字塔缩小系数，得到关键帧图像的配准点在金字塔图像中各层图像的初始配准位置信息。

具体地，关键帧图像的配准点在金字塔图像中各层图像的初始配准位置信息，可以通过关键帧图像的配准点在顶层图像中的配准位置信息乘以金字塔缩小系数得到，也即是说，可以将关键帧图像的配准点在顶层图像中的配准位置信息按照金字塔缩小***反向放大，得到关键帧图像的配准点在金字塔图像中各层图像的初始配准位置信息。例如，金字塔图像共有三层，从上到下分别为第一层图像、第二层图像和第三层图像，其中第三层图像为顶层图像。金字塔缩小系数可以是第一次缩小2倍，第二次缩小4倍，第三次缩小2倍，当得到关键帧图像的配准点在顶层图像中的配准位置信息时，可以根据金字塔缩小系数，反向扩大得到关键帧图像的配准点在顶层图像的下一层金字塔图像的初始配准位置信息，即关键帧图像的配准点在第二层图像的初始配准位置信息为顶层图像的配准位置信息放大2倍，关键帧图像的配准点在第一层图像，即最下层金字塔图像的初始配准位置信息为关键帧图像的配准点在第二层图像的初始配准位置信息扩大4倍。

S302、根据金字塔图像中各层图像，使用梯度下降法对金字塔图像中各层图像的初始配准位置信息进行校准，得到金字塔图像中各层图像的校准配准位置信息。

具体地，梯度下降法(Gradient Descent)是一种迭代法,可以用于求解最小二乘问题，通过迭代选取最小值。基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。在根据顶层图像中的配准位置信息和金字塔缩小系数，得到金字塔图像中各层图像的初始配准位置信息时，在扩大顶层图像的配准位置信息时，同时将顶层图像的配准位置信息中的误差信息扩大了，也即是说，各层图像的初始配准位置信息中还包括了扩大后的误差信息，在上述实施例的基础上，本实施例可以通过梯度下降法，迭代选取最小的误差信息，得到各层图像的校准配准位置信息。

S303、根据金字塔图像中各层图像的校准配准位置信息和金字塔图像中各层图像，得到金字塔图像中各层图像的配准结果。

具体地，在上述实施例的基础上，得到金字塔图像中各层图像的校准配准位置信息时，可以根据各层校准配准位置信息和对应层的金字塔图像，得到金字塔图像中各层图像的配准结果。其可以是将各层的金字塔图像中各对象设置在对应层的校准配置位置信息中表示对应的对象的位置处，得到金字塔图像中各层图像的配准结果。

上述图像配准方法，终端根据顶层图像中的配准位置信息和金字塔缩小系数，得到关键帧图像的配准点在金字塔图像中各层图像的初始配准位置信息，并根据金字塔图像中各层图像，使用梯度下降法对金字塔图像中各层图像的初始配准位置信息进行校准，得到金字塔图像中各层图像的校准配准位置信息，进而根据金字塔图像中各层图像的校准配准位置信息和金字塔图像中各层图像，得到金字塔图像中各层图像的配准结果，使得待配准图像的配准结果不仅是根据分辨率最小的顶层图像的配准位置信息得到的，同时还根据金字塔图像中各层图像的消除误差信息后得到的校准配准位置信息，并进一步地去除了各层图像的配准结果与待配准图像之间的差异值大于预设的差异阈值的配准结果得到的，进一步地提高了得到的待配准图像的配准结果的准确性。

图5为另一个实施例中图像配准方法的流程示意图，本实施例涉及的是如何去除金字塔图像中各层图像的配准结果中与待配准图像之间差异值大于预设的差异阈值的配准结果的具体过程，如图5所示，上述S202“去除金字塔图像中各层图像的配准结果中与待配准图像之间差异值大于预设的差异阈值的配准结果，得到待配准图像的配准结果”一种可能的实现方式包括以下步骤：

S401、获取金字塔图像中各层图像的配准结果对应的配准单应性矩阵。

具体地，平面的单应性被定义为一个平面到另外一个平面的投影映射。因此一个二维平面上的点映射到摄像机成像仪上的映射就是平面单应性，这种映射可以用矩阵相乘的方式表示，该矩阵即为单应性矩阵。将金字塔图像中各层图像映射到金字塔图像中各层图像的配准结果上，即为将金字塔图像中各层图像中的各对象的位置信息通过映射矩阵转换为金字塔图像中各层图像的配准结果中各对象的位置，上述映射矩阵即为配准单应性矩阵。

S402、获取待配准图像对应的原始单应性矩阵。

具体地，基于与上述S401类似的方法，将待配准图像中各对象的位置信息通过矩阵映射到待配准图像的配准结果中对应的各对象的位置上，上述映射矩阵即为原始单应性矩阵。

S403、去除配准单应性矩阵与原始单应性矩阵之间差异值大于预设的差异阈值的配准结果，得到待配准图像的配准结果。

具体地，在上述实施例的基础上，得到了表示金字塔图像中各层图像与金字塔图像中各层图像的配准结果之间的映射关系的配准单应性矩阵，和，表示待配准图像与待配准图像初始的配准结果的映射关系的原始单应性矩阵时，可以去除配准单应性矩阵和原始单应性矩阵之间差异值大于预设的差异阈值的配准结果，即去除配准点在金字塔图像的各层图像中错误的配准位置信息对应的点，得到待配准的最终的配准结果，即为待配准图像的配准结果。

上述图像配准方法，终端通过获取金字塔图像中各层图像的配准结果对应的配准单应性矩阵，并获取待配准图像对应的原始单应性矩阵，进而去除配准单应性矩阵与原始单应性矩阵之间差异值大于预设的差异阈值的配准结果，得到待配准图像的配准结果，使得待配准图像的配准结果不仅是根据分辨率最小的顶层图像的配准位置信息得到的，同时还根据金字塔图像中各层图像的配准位置信息，并进一步地去除了金字塔图像的各层图像的配准单应性矩阵，和，待配准图像的原始单应性矩阵之间差异值大于预设的差异阈值的配准结果得到的，进一步地提高了得到的待配准图像的配准结果的准确性。

在上述实施例的基础上，终端还可以根据预设的规则选取关键帧图像，并对关键帧图像进行差分运算，得到关键帧图像的配准点。下面通过图6-图8所示实施例来详细描述。

图6为另一个实施例中图像配准方法的流程示意图，本实施例涉及的是如何获取关键帧图像的配准点的具体过程，如图6所示，上述101“获取关键帧图像的配准点”一种可能的实现方式包括以下步骤：

S501、根据预设的选取规则选取关键帧图像。

具体地，预设的选取规则可以是选取待配准图像中清晰度最高的图像，也可以是在满足预设的条件的图像，还可以是选择预设的配准标准图像，本申请实施例对此不做限制。例如，一种获取图像的方法为获取三种类型的图像，包括过曝光图像，正常曝光图像和曝光不足图像，预设的条件可以是选择曝光正常的图像，则根据预设的选取规则选取关键帧图像时，选取曝光正常的图像作为关键帧图像。

S502、对关键帧图像进行差分运算，得到关键帧图像对应的梯度图像。

具体地，差分运算可以是将像素点的像素与该像素点相邻其他像素点的像素进行相减的运算。其可以是将像素点的像素与水平方向相邻的其他像素点的像素进行相减运算；也可以是将像素点的像素与垂直方向相邻的其他像素点的像素进行相减运算；还可以是先将像素点的像素与水平方向相邻的其他像素点的像素进行相减运算，再将像素点的像素与垂直方向相邻的其他像素点的像素进行相减运算；本申请实施例对此不做限制。梯度图像可以是将关键帧图像中各像素点的像素，与，各像素点相邻的其他像素点的像素进行相减运算得到的像素值，组合得到的图像。

S503、根据梯度图像获取关键帧图像的配准点。

具体地，在上述实施例的基础上，得到了梯度图像时，由于梯度图像是通过对关键帧图像中各相邻像素点进行差分运算得到的，因此梯度图像中各点表示关键帧图像中各相邻像素点之间的差异，而图像中各像素点之间的差异可以区分不同的对象，因此可以通过从梯度图像中选取各点之间的差异大于像素差异阈值的点作为关键帧图像的配准点。

上述图像配准方法，终端根据预设的选取规则选取关键帧图像，并对关键帧图像进行差分运算，得到关键帧图像对应的梯度图像，进而根据梯度图像获取关键帧图像的配准点，使得用于获得配准位置信息的配准点是通过对关键帧图像进行差分运算，获得关键帧图像对应的梯度图像，进而根据梯度图像得到的，使得关键帧图像的配准点能够更加准确的表示关键帧图像中各对象的位置信息，进而提高了根据关键帧图像的配准点得到的配准位置信息的准确度，进而提高了根据配准位置信息获得待配准图像的配准结果的准确度。

图7为另一个实施例中图像配准方法的流程示意图，本实施例涉及的是如何获取关键帧图像的梯度图像的具体过程，如图7所示，上述502“对关键帧图像进行差分运算，得到关键帧图像对应的梯度图像”一种可能的实现方式包括以下步骤：

S601、对关键帧图像进行水平方向的差分运算，得到水平差分图像。

具体地，可以对关键帧图像进行水平方向的差分运算，得到水平差分图像，其可以对关键帧图像进行从左到右的水平方向的差分运算，得到水平差分图像，也可以是对关键帧图像进行从右到左的水平方向的差分运算，得到水平差分图像，本申请实施例对此不做限制。

S602、对水平差分图像进行垂直方向的差分运算，得到关键帧图像对应的梯度图像。

具体地，在上述实施例的基础上，在获得了水平差分图像时，可以对水平差分图像进行垂直方向的差分运算，得到关键帧图像对应的梯度图像。其可以是对水平差分图像进行从上往下的垂直方向的差分运算，得到关键帧图像对应的梯度图像，也可以是对水平差分图像进行从下往上的垂直方向的差分运算，得到关键帧图像对应的梯度图像，本申请实施例对此不做限制。

图8为另一个实施例中图像配准方法的流程示意图，本实施例涉及的是如何根据梯度图像获取关键帧图像的配准点的具体过程，如图8所示，上述503“根据梯度图像获取关键帧图像的配准点”一种可能的实现方式包括以下步骤：

S701、根据预设的分割策略将梯度图像分为至少两个网格。

具体地，预设的分割策略可以根据用户输入的分割指令得到的，其可以是将梯度图像平均分为至少两个网络；也可以是根据梯度图像的像素点之间的差值密度，将梯度图像分为至少两个网格，其中梯度图像的像素点之间的差值密度越高，划分的网格数越多；本申请实施例对此不做限制。需要说明的是，根据预设的分割策略将梯度图像划分的网格数越多，在进行图像配准的过程中，所需的参数越多，计算量越大，进行图像配准得到的配准结果的精度越高。

S702、获取各网格中的梯度最大值，得到关键帧图像的配准点。

上述图像配准方法，终端根据预设的分割策略将梯度图像分为至少两个网格，并获取各网格中的梯度最大值，得到关键帧图像的配准点，使得关键帧图像的配准点是根据将梯度图像划分得到的各网格中梯度最大值得到的，使得关键帧图像的配准点能够更加准确的表示各对象的位置信息，进而进而提高了根据关键帧图像的配准点得到的配准位置信息的准确度，进而提高了根据配准位置信息获得待配准图像的配准结果的准确度。

可选地，金字塔图像的顶层图像中各待配准点之间的距离小于1像素。

具体地，在对待配准图像进行缩小分辨率运算时，得到每一层缩小分辨率后的金字塔图像，当金字塔顶图像间待配准点的距离小于1像素时停止缩小分辨率运算。此时，金字塔图像的顶层图像中各待配准点之间的距离小于1像素，此时，由于各待配准点之间的距离小于1像素，得到的配准结果为亚像素配准结果。

上述图像配准方法，金字塔图像的顶层图像中各待配准点之间的距离小于1像素，使得根据顶层图像和顶层图像的配准位置信息进行图像配准时，所需的计算量更小，进一步地提高了图像配准的效率。

可选地，金字塔图像的层数是根据各待配准图像之间的最大位移量和金字塔缩小系数确定的。

具体地，最大位移量可以表示各待配准图像之间配准的允许最大距离，一般而言，其可以是根据用户输入的设置指令得到的。在上述实施例的基础上，根据最大位移量和金字塔缩小系数，得到金字塔图像的层数，使得金字塔图像的顶层图像中各待配准点之间的距离小于1像素。可选地，金字塔图像的层数通过公式为n＝MIN(N),s.t.cⁿ>D得到的，其中，n表示金字塔图像的层数，c表示金字塔缩小系数，D表示最大位移量。例如多帧待配准图像间的最大位移为26像素，金字塔缩小系数为2倍，2⁵＝32>26，因此金字塔层数n为5层。需要说明的是，通过上述公式确定金字塔图像的层数时，金字塔图像的每层的缩小系数为同一缩小系数，即上述c。

应该理解的是，虽然图2-8的流程图中的各个步骤按照箭头的指示，依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图9为一个实施例中提供的图像配准装置的结构示意图，如图9所示，该图像配准装置包括：获取模块10、第一缩小模块20、第二缩小模块30和配准模块40，其中：

获取模块10，用于获取关键帧图像的配准点；

第一缩小模块20，用于对待配准图像进行缩小分辨率运算，得到待配准图像对应的金字塔图像，金字塔图像包括至少两层图像；

第二缩小模块30，用于根据缩小分辨率运算，对关键帧图像的配准点在关键帧图像的位置信息进行缩小运算，得到关键帧图像的配准点在金字塔图像中的顶层图像中的配准位置信息；

配准模块40，用于根据顶层图像中的配准位置信息，对待配准图像进行配准，获得待配准图像的配准结果；配准结果包括金字塔图像的各层图像中对应的配准位置信息。

本申请实施例提供的图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

图10为另一个实施例中提供的图像配准装置的结构示意图，在图9所示实施例的基础上，如图10所示，配准模块40包括：第一获取单元401和配准单元402，其中：

第一获取单元401，用于根据顶层图像中的配准位置信息和金字塔缩小系数，得到金字塔图像中各层图像的配准结果；

配准单元402，用于去除金字塔图像中各层图像的配准结果中与待配准图像之间差异值大于预设的差异阈值的配准结果，得到待配准图像的配准结果。

在一个实施例中，第一获取单元401具体用于根据顶层图像中的配准位置信息和金字塔缩小系数，得到关键帧图像的配准点在金字塔图像中各层图像的初始配准位置信息；根据金字塔图像中各层图像，使用梯度下降法对金字塔图像中各层图像的初始配准位置信息进行校准，得到金字塔图像中各层图像的校准配准位置信息；根据金字塔图像中各层图像的校准配准位置信息和金字塔图像中各层图像，得到金字塔图像中各层图像的配准结果。

在一个实施例中，配准单元402具体用于获取金字塔图像中各层图像的配准结果对应的配准单应性矩阵；获取待配准图像对应的原始单应性矩阵；去除配准单应性矩阵与原始单应性矩阵之间差异值大于预设的差异阈值的配准结果，得到待配准图像的配准结果。

图11为另一个实施例中提供的图像配准装置的结构示意图，在图9或图10所示实施例的基础上，如图11所示，获取模块10包括：选取单元101、差分单元102和第二获取单元103，其中：

选取单元101，用于根据预设的选取规则选取关键帧图像；

差分单元102，用于对关键帧图像进行差分运算，得到关键帧图像对应的梯度图像；

第二获取单元103，用于根据梯度图像获取关键帧图像的配准点。

在一个实施例中，第二获取单元103具体用于根据预设的分割策略将梯度图像分为至少两个网格；获取各网格中的梯度最大值，得到关键帧图像的配准点。

在一个实施例中，差分单元102，具体用于对关键帧图像进行水平方向的差分运算，得到水平差分图像；对水平差分图像进行垂直方向的差分运算，得到关键帧图像对应的梯度图像。

在一个实施例中，金字塔图像的顶层图像中各待配准点之间的距离小于1像素。

在一个实施例中，上述金字塔图像的层数是根据各待配准图像之间的最大位移量和金字塔缩小系数确定的。

在一个实施例中，金字塔图像的层数通过公式为n＝MIN(N),s.t.cⁿ>D得到的，其中，n表示金字塔图像的层数，c表示金字塔缩小系数，D表示最大位移量。

需要说明的是，图11是基于图10的基础上进行示出的，当然图11也可以基于图9的结构进行示出，这里仅是一种示例。

本申请实施例提供的图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

关于一种图像配准装置的具体限定可以参见上文中对图像配准方法的限定，在此不再赘述。上述图像配准装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端设备，其内部结构图可以如图12所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像配准方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取关键帧图像的配准点；

对待配准图像进行缩小分辨率运算，得到待配准图像对应的金字塔图像，金字塔图像包括至少两层图像；

根据缩小分辨率运算，对关键帧图像的配准点在关键帧图像的位置信息进行缩小运算，得到关键帧图像的配准点在金字塔图像中的顶层图像中的配准位置信息；

根据顶层图像中的配准位置信息，对待配准图像进行配准，获得待配准图像的配准结果；配准结果包括金字塔图像的各层图像中对应的配准位置信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据顶层图像中的配准位置信息和金字塔缩小系数，得到金字塔图像中各层图像的配准结果；去除金字塔图像中各层图像的配准结果中与待配准图像之间差异值大于预设的差异阈值的配准结果，得到待配准图像的配准结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据顶层图像中的配准位置信息和金字塔缩小系数，得到关键帧图像的配准点在金字塔图像中各层图像的初始配准位置信息；根据金字塔图像中各层图像，使用梯度下降法对金字塔图像中各层图像的初始配准位置信息进行校准，得到金字塔图像中各层图像的校准配准位置信息；根据金字塔图像中各层图像的校准配准位置信息和金字塔图像中各层图像，得到金字塔图像中各层图像的配准结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取金字塔图像中各层图像的配准结果对应的配准单应性矩阵；获取待配准图像对应的原始单应性矩阵；去除配准单应性矩阵与原始单应性矩阵之间差异值大于预设的差异阈值的配准结果，得到待配准图像的配准结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据预设的选取规则选取关键帧图像；对关键帧图像进行差分运算，得到关键帧图像对应的梯度图像；根据梯度图像获取关键帧图像的配准点。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据预设的分割策略将梯度图像分为至少两个网格；获取各网格中的梯度最大值，得到关键帧图像的配准点。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对关键帧图像进行水平方向的差分运算，得到水平差分图像；对水平差分图像进行垂直方向的差分运算，得到关键帧图像对应的梯度图像。

在一个实施例中，金字塔图像的顶层图像中各待配准点之间的距离小于1像素。

在一个实施例中，金字塔图像的层数是根据各待配准图像之间的最大位移量和金字塔缩小系数确定的。

在一个实施例中，金字塔图像的层数通过公式为n＝MIN(N),s.t.cⁿ>D得到的，其中，n表示金字塔图像的层数，c表示金字塔缩小系数，D表示最大位移量。

本实施例提供的终端设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取关键帧图像的配准点；

对待配准图像进行缩小分辨率运算，得到待配准图像对应的金字塔图像，金字塔图像包括至少两层图像；

根据缩小分辨率运算，对关键帧图像的配准点在关键帧图像的位置信息进行缩小运算，得到关键帧图像的配准点在金字塔图像中的顶层图像中的配准位置信息；

根据顶层图像中的配准位置信息，对待配准图像进行配准，获得待配准图像的配准结果；配准结果包括金字塔图像的各层图像中对应的配准位置信息。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：根据顶层图像中的配准位置信息和金字塔缩小系数，得到金字塔图像中各层图像的配准结果；去除金字塔图像中各层图像的配准结果中与待配准图像之间差异值大于预设的差异阈值的配准结果，得到待配准图像的配准结果。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：根据顶层图像中的配准位置信息和金字塔缩小系数，得到关键帧图像的配准点在金字塔图像中各层图像的初始配准位置信息；根据金字塔图像中各层图像，使用梯度下降法对金字塔图像中各层图像的初始配准位置信息进行校准，得到金字塔图像中各层图像的校准配准位置信息；根据金字塔图像中各层图像的校准配准位置信息和金字塔图像中各层图像，得到金字塔图像中各层图像的配准结果。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：获取金字塔图像中各层图像的配准结果对应的配准单应性矩阵；获取待配准图像对应的原始单应性矩阵；去除配准单应性矩阵与原始单应性矩阵之间差异值大于预设的差异阈值的配准结果，得到待配准图像的配准结果。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：根据预设的选取规则选取关键帧图像；对关键帧图像进行差分运算，得到关键帧图像对应的梯度图像；根据梯度图像获取关键帧图像的配准点。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：根据预设的分割策略将梯度图像分为至少两个网格；获取各网格中的梯度最大值，得到关键帧图像的配准点。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：对关键帧图像进行水平方向的差分运算，得到水平差分图像；对水平差分图像进行垂直方向的差分运算，得到关键帧图像对应的梯度图像。

在一个实施例中，金字塔图像的顶层图像中各待配准点之间的距离小于1像素。

在一个实施例中，金字塔图像的层数是根据各待配准图像之间的最大位移量和金字塔缩小系数确定的。

在一个实施例中，金字塔图像的层数通过公式为n＝MIN(N),s.t.cⁿ>D得到的，其中，n表示金字塔图像的层数，c表示金字塔缩小系数，D表示最大位移量。

本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像配准方法，其特征在于，所述方法包括：

对关键帧图像进行差分运算，得到所述关键帧图像对应的梯度图像；

根据所述梯度图像获取所述关键帧图像的配准点，所述配准点是所述关键帧图像中用于表示各对象位置的点；

对待配准图像进行缩小分辨率运算，当金字塔顶层图像间待配准点的距离小于1像素时停止缩小分辨率运算，得到所述待配准图像对应的金字塔图像，所述金字塔图像包括至少两层图像；

根据所述缩小分辨率运算，对所述关键帧图像的配准点在所述关键帧图像的位置信息进行缩小运算，得到所述关键帧图像的配准点在所述金字塔图像中的顶层图像中的配准位置信息；

根据所述顶层图像中的配准位置信息，对所述待配准图像进行配准，获得所述待配准图像的配准结果；所述配准结果包括所述金字塔图像的各层图像中对应的配准位置信息。

2.根据权利要求1所述方法，其特征在于，所述根据所述顶层图像中的配准位置信息，对所述待配准图像进行配准，获得所述待配准图像的配准结果，包括：

根据所述顶层图像中的配准位置信息和金字塔缩小系数，得到金字塔图像中各层图像的配准结果；

去除所述金字塔图像中各层图像的配准结果中与所述待配准图像之间差异值大于预设的差异阈值的配准结果，得到所述待配准图像的配准结果。

3.根据权利要求2所述方法，其特征在于，所述根据所述顶层图像中的配准位置信息和金字塔缩小系数，得到金字塔图像中各层图像配准结果；

根据所述顶层图像中的配准位置信息和金字塔缩小系数，得到所述关键帧图像的配准点在所述金字塔图像中各层图像的初始配准位置信息；

根据所述金字塔图像中各层图像，使用梯度下降法对所述金字塔图像中各层图像的初始配准位置信息进行校准，得到所述金字塔图像中各层图像的校准配准位置信息；

根据所述金字塔图像中各层的校准配准位置信息和所述金字塔图像中各层图像，得到所述金字塔图像中各层图像的配准结果。

4.根据权利要求2所述方法，其特征在于，所述去除所述金字塔图像中各层图像的配准结果中与所述待配准图像之间差异值大于预设的差异阈值的配准结果，得到所述待配准图像的配准结果，包括：

获取所述金字塔图像中各层图像的配准结果对应的配准单应性矩阵；

获取所述待配准图像对应的原始单应性矩阵；

去除所述配准单应性矩阵与所述原始单应性矩阵之间差异值大于所述预设的差异阈值的配准结果，得到所述待配准图像的配准结果。

5.根据权利要求1-4任一项所述方法，其特征在于，所述获取关键帧图像的配准点，包括：

根据预设的选取规则选取所述关键帧图像，所述预设的选取规则包括选取待配准图像中清晰度最高的图像、选择满足预设的条件的图像、选择预设的配准标准图像中的任意一种。

6.根据权利要求5所述方法，其特征在于，所述根据所述梯度图像获取所述关键帧图像的配准点包括：

根据预设的分割策略将所述梯度图像分为至少两个网格；

获取各网格中的梯度最大值，得到所述关键帧图像的配准点。

7.根据权利要求5所述方法，其特征在于，所述对所述关键帧图像进行差分运算，得到所述关键帧图像对应的梯度图像，包括：

对所述关键帧图像进行水平方向的差分运算，得到水平差分图像；

对所述水平差分图像进行垂直方向的差分运算，得到所述关键帧图像对应的梯度图像。

8.根据权利要求1所述方法，其特征在于，所述金字塔图像的层数是根据各所述待配准图像之间的最大位移量和金字塔缩小系数确定的。

9.根据权利要求8所述方法，其特征在于，所述金字塔图像的层数通过公式为

得到的，其中，所述

表示所述金字塔图像的层 数，所述

表示所述金字塔缩小系数，所述

表示所述最大位移量。

10.一种图像配准装置，其特征在于，所述装置包括：

获取模块，用于对关键帧图像进行差分运算，得到所述关键帧图像对应的梯度图像；根据所述梯度图像获取所述关键帧图像的配准点，所述配准点是所述关键帧图像中用于表示各对象位置的点；

第一缩小模块，用于对待配准图像进行缩小分辨率运算，当金字塔顶层图像间待配准点的距离小于1像素时停止缩小分辨率运算，得到所述待配准图像对应的金字塔图像，所述金字塔图像包括至少两层图像；

第二缩小模块，用于根据所述缩小分辨率运算，对所述关键帧图像的配准点在所述关键帧图像的位置信息进行缩小运算，得到所述关键帧图像的配准点在所述金字塔图像中的顶层图像中的配准位置信息；

配准模块，用于根据所述顶层图像中的配准位置信息，对所述待配准图像进行配准，获得所述待配准图像的配准结果；所述配准结果包括所述金字塔图像的各层图像中对应的配准位置信息。

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

Images