CN115272428A - 图像对齐方法、装置、计算机设备和存储介质 - Google Patents

图像对齐方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115272428A
CN115272428A CN202211021665.1A CN202211021665A CN115272428A CN 115272428 A CN115272428 A CN 115272428A CN 202211021665 A CN202211021665 A CN 202211021665A CN 115272428 A CN115272428 A CN 115272428A
Authority
CN
China
Prior art keywords
block image
image
block
images
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211021665.1A
Other languages
English (en)
Inventor
林子尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Sonar Sky Information Consulting Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonar Sky Information Consulting Co ltd filed Critical Sonar Sky Information Consulting Co ltd
Priority to CN202211021665.1A priority Critical patent/CN115272428A/zh
Publication of CN115272428A publication Critical patent/CN115272428A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像对齐方法、装置、计算机设备、存储介质和计算机程序产品。通过根据参考帧图像的纹理特征信息，在参考帧图像中划分出多个纹理复杂度均衡的第一区块图像，确定其他帧待对齐图像的第二区块图像中与参考帧图像中各第一区块图像相似度最大的目标第二区块图像，根据目标第二区块在其他帧待对齐图像中的位置及其对应的相似度最大的第一区块图像在参考帧图像中的位置，确定目标第二区块图像的移动向量，基于移动向量进行图像对齐。相较于传统的通过整体图像对齐的方式，本方案通过将图像划分为纹理复杂度均衡的区块图像，基于区块之间的相似度确定每个区块图像的移动向量，基于移动向量进行图像对齐，实现了提高图像对齐准确度的效果。

Description

图像对齐方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像对齐方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展，人们已经可以通过手机和相机等移动设备进行图像拍摄，图像拍摄中存在对多帧图像进行合成的方式，来增强图像的画质。由于多帧图像中会因为时间差或手持震动的原因存在偏移，因此在合成前需要对多帧图像进行对齐。目前对多帧图像进行对齐的方式通常是将整体图像进行对齐实现，然而，实际图像中存在局部运动和物体形变，导致图像无法准确匹配。
因此，目前的图像对齐方法存在对齐准确度低的缺陷。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高对齐准确度的图像对齐方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种图像对齐方法，所述方法包括：
获取至少两帧待对齐图像，从所述至少两帧待对齐图像中确定一帧参考帧图像；
根据所述参考帧图像的纹理特征信息，在所述参考帧图像中划分出多个第一区块图像；所述多个第一区块图像的纹理复杂度均在预设范围内；
针对各第一区块图像从其他帧待对齐图像中确定出至少一个第二区块图像，并获取所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度，确定相似度最大的目标第二区块图像；所述第二区块图像与所述第一区块图像的尺寸对应；
根据所述目标第二区块图像在所述其他帧待对齐图像中的位置，以及所述第一区块图像在所述参考帧图像中的位置，确定所述目标第二区块图像的移动向量；
基于根据所述移动向量，对所述目标第二区块图像以及与其对应的第一区块图像的图像进行对齐。
在其中一个实施例中，所述根据所述参考帧图像的纹理特征信息，在所述参考帧图像中划分出多个第一区块图像，包括：
将所述参考帧图像作为待划分图像，将所述待划分图像划分为多个相同尺寸的候选区块图像；
针对每个候选区块图像，获取该候选区块图像的纹理复杂度和边长；
若所述纹理复杂度大于第一预设复杂度阈值、所述边长大于或等于预设边长阈值且划分次数小于预设次数阈值，将该候选区块图像作为新的待划分图像，返回将所述待划分图像划分为多个相同尺寸的候选区块图像的步骤；否则，将该候选区块图像对应的区域确定为所述参考帧图像中的目标候选区块图像；
根据确定出的多个目标候选区块图像，确定所述参考帧图像中的多个第一区块图像。
在其中一个实施例中，所述根据确定出的多个目标候选区块图像，确定所述参考帧图像中的多个第一区块图像，包括：
获取所述多个目标候选区块图像的纹理复杂度；
将纹理复杂度小于或等于第二预设复杂度阈值且相邻的目标候选区块图像合并，得到合并后的目标候选区块图像；所述第二预设复杂度阈值小于所述第一预设复杂度阈值；
根据未合并的目标候选区块图像以及所述合并后的目标候选区块图像，得到所述参考帧图像中的多个第一区块图像。
在其中一个实施例中，所述获取该候选区块图像的纹理复杂度，包括：
根据该候选区块图像中各个像素与其相邻像素的灰度差值，得到该候选区块图像对应的灰度梯度值；
根据该候选区块图像中各个像素与该候选区块图像中预设位置的距离，确定该候选区块图像对应的标准差值；
根据该候选区块图像中存在的各个灰度级，确定该候选区块图像对应的熵值；
根据所述灰度梯度值、所述标准差值和所述熵值的加权和，确定该候选区块图像的纹理复杂度。
在其中一个实施例中，所述获取所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度，包括：
若所述第一区块图像的尺寸大于或等于预设区域尺寸，基于第一相似度比较策略确定所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度；
若所述第一区块图像的尺寸小于预设区域尺寸，且所述第二区块图像与所述第一区块图像的亮度差值小于预设亮度差阈值，基于第二相似度比较策略确定所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度；
若所述第一区块图像的尺寸小于预设区域尺寸，且所述第二区块图像与所述第一区块图像的亮度差值大于或等于预设亮度差阈值，基于第三相似度比较策略确定所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度；
其中，所述第一相似度比较策略、所述第二相似度比较策略和所述第三相似度比较策略各不相同。
在其中一个实施例中，所述基于第一相似度比较策略确定所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度，包括：
根据所述第一区块图像中的纹理特征信息以及各个第二区块图像中相同的纹理特征信息，构建单应性矩阵，根据所述单应性矩阵调整各个第二区块图像与所述第一区块图像匹配，根据调整后的第二区块图像与第一区块图像的误差值，确定所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度；或者，
所述基于第二相似度比较策略确定所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度，包括：
在其他帧待对齐图像中获取大于所述第一区块图像尺寸且包含所述第一区块图像的搜索区域，将所述第一区块图像与所述搜索区域中的第二区块图像进行匹配，根据所述搜索区域中第二区块图像与所述第一区块图像的误差值，确定所述第一区块图像与搜索区域中第二区块图像的相似度；或者，
所述基于第三相似度比较策略确定所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度，包括：
获取所述第一区块图像与所述第二区块图像的汉明距离，根据所述汉明距离得到所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度。
在其中一个实施例中，所述获取所述第一区块图像与所述第二区块图像的汉明距离，包括：
获取所述第一区块图像的中心像素点与该中心像素点相邻的其他像素点的灰度值，将所述灰度值大于所述中心像素点的灰度值的其他像素点记为第一数值，将所述灰度值小于或等于所述中心像素点的灰度值的其他像素点记为第二数值；所述第一数值和所述第二数值不同；
根据所述其他像素点对应的数值，得到所述第一区块图像对应的第一数值串；
获取所述第二区块图像的中心像素点与该中心像素点相邻的其他像素点的灰度值，将所述灰度值大于所述中心像素点的灰度值的其他像素点记为第一数值，将所述灰度值小于或等于所述中心像素点的灰度值的其他像素点记为第二数值；
根据所述其他像素点对应的数值，得到所述第二区块图像对应的第二数值串；
对所述第一数值串和所述第二数值串进行互斥或运算，得到所述第一区块图像与所述第二区块图像的汉明距离。
在其中一个实施例中，所述根据所述目标第二区块图像在所述其他帧待对齐图像中的位置，以及所述第一区块图像在所述参考帧图像中的位置，确定所述目标第二区块图像的移动向量，包括：
根据所述目标第二区块图像在其他帧待对齐图像中的位置与其对应的相似度最大的第一区块图像在所述参考帧图像中的位置的距离和方向，确定所述目标第二区块图像对应的对象的初始移动向量；
获取所述初始移动向量的置信度；
若所述置信度小于预设置信度阈值，根据关联目标第二区块图像对应的对象的初始移动向量及其置信度，调整所述目标第二区块图像对应的对象的第一初始移动向量，得到所述目标第二区块图像的移动向量；其中，所述关联目标第二区块图像与所述目标第二区块图像相邻且置信度大于或等于预设置信度阈值。
在其中一个实施例中，所述获取所述初始移动向量的置信度，包括：
获取与所述目标第二区块图像和第一区块图像的相似度比较策略对应的预设归一化参数；
根据所述目标第二区块图像与其对应的相似度最大的第一区块图像的相似度与所述预设归一化参数的比值，得到所述目标第二区块图像的置信度。
在其中一个实施例中，所述从所述至少两帧待对齐图像中确定一帧参考帧图像，包括：
获取所述至少两帧待对齐图像中各帧待对齐图像的清晰度；
将所述清晰度最大的一帧待对齐图像，作为参考帧图像。
第二方面，本申请提供了一种图像对齐装置，所述装置包括：
获取模块，用于获取至少两帧待对齐图像，从所述至少两帧待对齐图像中确定一帧参考帧图像；
划分模块，用于根据所述参考帧图像的纹理特征信息，在所述参考帧图像中划分出多个第一区块图像；所述多个第一区块图像的纹理复杂度均在预设范围内；
第一确定模块，用于针对各第一区块图像从其他帧待对齐图像中确定出至少一个第二区块图像，并获取所述第一区块图像与所述至少一个第二区块图像中各第二区块图像的相似度，确定相似度最大的目标第二区块图像；所述第二区块图像与所述第一区块图像的尺寸对应；
第二确定模块，用于根据所述目标第二区块图像在所述其他帧待对齐图像中的位置，以及所述第一区块图像在所述参考帧图像中的位置，确定所述目标第二区块图像的移动向量；
对齐模块，用于基于根据所述移动向量，对所述目标第二区块图像以及与其对应的第一区块图像的图像进行对齐。
第三方面，本申请提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
第五方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。
上述图像对齐方法、装置、计算机设备、存储介质和计算机程序产品，通过从至少两帧待对齐图像中确定一帧参考帧图像，根据所述参考帧图像的纹理特征信息，在所述参考帧图像中划分出多个纹理复杂度均衡的第一区块图像，并确定其他帧待对齐图像的第二区块图像中与参考帧图像中各第一区块图像相似度最大的目标第二区块图像，根据目标第二区块在其他帧待对齐图像中的位置及其对应的相似度最大的第一区块图像在参考帧图像中的位置，确定目标第二区块图像的移动向量，并基于移动向量进行图像对齐。相较于传统的通过整体图像对齐的方式，本方案通过将图像划分为纹理复杂度均衡的区块图像，并基于区块之间的相似度确定每个区块图像的移动向量，基于移动向量进行图像对齐，实现了提高图像对齐准确度的效果。
附图说明
图1为一个实施例中图像对齐方法的流程示意图；
图2为一个实施例中区块图像划分步骤的流程示意图；
图3为一个实施例中误差确定步骤的流程示意图；
图4为一个实施例中向量修正步骤的流程示意图；
图5为一个实施例中图像对齐装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种图像对齐方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现，包括以下步骤：
步骤S202，获取至少两帧待对齐图像，从至少两帧待对齐图像中确定一帧参考帧图像。
其中，待对齐图像可以是通过手机的摄像头等设备拍摄得到的图像，待对齐图像可以有多帧，通过多帧图像的合成可以对图像实现降噪以及HDR(High dynamic range，高动态范围)效果。然而，由于时间差或手持震动等原因，多帧图像合成时会出现图像之间的偏移，因此需要对多帧图像进行对齐。终端在对图像进行对齐时，可以获取至少两帧待对齐图像，该至少两帧待对齐图像可以是在预设时间段内连续拍摄得到的图像，也可以是存在相同图像内容的多张图像。终端可以从至少两帧待对齐图像中确定出一帧参考帧图像。
其中，上述参考帧图像可以是至少两帧待对齐图像中具有代表性的一张。终端可以根据各帧图像的清晰度确定参考帧图像。例如，在一个实施例中，从至少两帧待对齐图像中确定一帧参考帧图像，包括：获取至少两帧待对齐图像中各帧待对齐图像的清晰度；将清晰度最大的一帧待对齐图像，作为参考帧图像。本实施例中，终端在确定参考帧图像时，可以获取上述至少两帧待对齐图像中各帧待对齐图像的清晰度。并且终端可以将清晰度最大的一帧待对齐图像，作为参考帧图像。即参考帧图像可以是上述至少两帧待对齐图像中最清晰稳定的一张图像，其他帧待对齐图像可以基于参考帧图像进行对比和对齐。
步骤S204，根据参考帧图像的纹理特征信息，在参考帧图像中划分出多个第一区块图像；多个第一区块图像的纹理复杂度均在预设范围内。
其中，纹理特征信息可以是上述参考帧图像中的纹理。纹理特征信息可以是灰度分布在空间位置上形成的特征信息。通过计算图像中像素之间的相关性，反映图像在方向、间隔和变化幅度等方面的信息。终端可以获取参考帧图像中的纹理特征信息，并根据参考帧图像的纹理特征信息，在参考帧图像中划分出多个第一区块图像，其中划分出的多个第一区块图像的纹理复杂度均在预设范围内。即终端可以自适应地将上述参考帧图像划分为纹理复杂度均衡的若干个区块。其中参考帧图像中的每个区块的大小可以相同，也可以不同，区块的大小需要根据每个区块的纹理复杂度确定。例如，终端可以将区块纹理复杂度高的区块进行多次切分，区块复杂度较低的区块则少次切分或者与其他区块合并。即终端可以对参考帧图像进行多次切分，从而得到多个复杂度在预设范围内的区块图像。
终端还可以通过多种方式确定区块图像的纹理复杂度，例如终端可以通过梯度值、标准差和熵值等方式确定各个区块图像的纹理复杂度，从而判断是否需要继续切分或者合并区块。
步骤S206，针对各第一区块图像从其他帧待对齐图像中确定出至少一个第二区块图像，并获取第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度，确定相似度最大的目标第二区块图像；第二区块图像与第一区块图像的尺寸对应。
其中，终端可以对上述参考帧图像进行区块图像的划分，得到参考帧图像中的多个第一区块图像，上述至少两帧待对齐图像中，除了参考帧图像外，还会有其他帧待对齐图像，终端可以根据参考帧图像中的各个第一区块图像的尺寸，确定其他帧待对齐图像中的第二区块图像。例如，对于每个第一区块图像，终端可以按照该第一区块图像在其他帧待对齐图像中确定出一块与该第一区块图像的尺寸一致的第二区块图像，终端可以在其他帧待对齐图像中确定出多个与该第一区块图像的尺寸一致的第二区块图像，即每帧其他帧的待对齐图像中的第二区块图像可以是一个，也可以有多个。
终端在得到其他帧待对齐图像中的各个第二区块图像后，可以获取参考帧图像中各个第一区块图像与其他帧待对齐图像中的第二区块图像的相似度。例如，针对每个第一区块图像，在一帧其他帧待对齐图像中确定出多个第二区块图像，将每个第二区块图像与该第一区块图像进行相似度比较，从而终端可以得到每个第二区块图像与该第一区块图像的相似度。进而终端可以从该帧其他帧待对齐图像的多个第二区块图像中确定出相似度最大的目标第二区块图像，该目标第二区块图像即为该帧其他帧待对齐图像中与该第一区块图像最相似的部分。由于上述参考帧图像中的第一区块图像可以有多个，终端对每个第一区块图像均进行上述的相似度比较后，可以得到该帧其他帧待对齐图像中与每个第一区块图像最相似的目标第二区块图像。在该帧其他帧待对齐图像中，与第一区块图像最相似的第二区块图像可能有多个，此时终端可以通过计算第一区块图像与这些相似度最大的第二区块图像的匹配误差确定哪个为目标第二区块图像。匹配误差可以通过第一区块图像与第二区块图像之间的距离信息确定；
当有多帧其他帧待对齐图像时，终端可以在每帧其他帧待对齐图像中均确定出至少一个第二区块图像，并按照上述的方法确定出每帧待对齐图像中的目标第二区块图像。
步骤S208，根据目标第二区块图像在其他帧待对齐图像中的位置，以及第一区块图像在参考帧图像中的位置，确定目标第二区块图像的移动向量。
其中，上述目标第二区块图像可以是在其他帧待对齐图像中与其对应的第一区块图像的相似度最大的第二区块图像。即参考帧图像中存在一个第一区块图像，与目标第二区块图像相似度最大。然而由于时间差或手持震动等原因，该目标第二区块图像在其所在的待对齐图像中的位置，与其对应的第一区块图像在参考帧图像中的位置可能不同，因此，终端需要对目标第二区块图像进行移动。终端可以根据目标第二区块图像在其他帧待对齐图像中的位置，以及与其对应的相似度最大的第一区块图像在参考帧中的位置，确定目标第二区块图像的移动向量。其中，移动向量可以是用于确定目标第二区块图像的移动方向和移动距离的向量，以使得上述目标第二区块图像可以与其对应的第一区块图像对齐。
步骤S210，基于根据移动向量，对目标第二区块图像以及与其对应的第一区块图像的图像进行对齐。
其中，上述每个目标第二区块图像均具有对应的移动向量。终端可以基于上述确定的移动向量，移动目标第二区块图像，使得目标第二区块图像与其对应的相似度最大的第一区块图像对齐。终端可以将每帧待对齐图像中的目标第二区块图像均进行基于移动向量的移动，使得各个目标第二区块图像与参考帧中对应的第一区块图像对齐，终端将每帧待对齐图像中的每个目标第二区块图像均与对应的第一区块图像对齐后，可以得到对齐后的图像。从而终端可以实现多帧图像的对齐。
上述图像对齐方法中，通过从至少两帧待对齐图像中确定一帧参考帧图像，根据参考帧图像的纹理特征信息，在参考帧图像中划分出多个纹理复杂度均衡的第一区块图像，并确定其他帧待对齐图像的第二区块图像中与参考帧图像中各第一区块图像相似度最大的目标第二区块图像，根据目标第二区块在其他帧待对齐图像中的位置及其对应的相似度最大的第一区块图像在参考帧图像中的位置，确定目标第二区块图像的移动向量，并基于移动向量进行图像对齐。相较于传统的通过整体图像对齐的方式，本方案通过将图像划分为纹理复杂度均衡的区块图像，并基于区块之间的相似度确定每个区块图像的移动向量，基于移动向量进行图像对齐，实现了提高图像对齐准确度的效果。
在一个实施例中，根据参考帧图像的纹理特征信息，在参考帧图像中划分出多个第一区块图像，包括：将参考帧图像作为待划分图像，将待划分图像划分为多个相同尺寸的候选区块图像；针对每个候选区块图像，获取该候选区块图像的纹理复杂度和边长；若纹理复杂度大于第一预设复杂度阈值、边长大于或等于预设边长阈值且划分次数小于预设次数阈值，将该候选区块图像作为新的待划分图像，返回将待划分图像划分为多个相同尺寸的候选区块图像的步骤；否则，将该候选区块图像对应的区域确定为参考帧图像中的目标候选区块图像；根据确定出的多个目标候选区块图像，确定参考帧图像中的多个第一区块图像。
本实施例中，终端可以基于参考帧图像中的纹理特征信息，在参考帧图像中划分出多个纹理复杂度均衡的第一区块图像。终端可以首先将参考帧图像作为待划分图像，将待划分图像划分为多个相同尺寸的候选区块图像。终端可以对各个候选区块的图像内进行分析，例如分析区块内图像的纹理复杂度，确定是否需要继续分割或者合并。上述候选区块图像可以有多个，对于每个候选区块图像，终端可以获取该候选区块图像的纹理复杂度和边长，从而终端可以基于纹理复杂度和区块的边长，确定是否需要对区块进行进一步分割或合并。
如图2所示，图像301中的区块可以是上述将参考帧图像划分为多个相同尺寸的候选区块图像后的图像，例如301中的四个正方形区块。终端可以针对每个候选区块图像均进行纹理复杂度和边长的检测。其中，终端可以通过多种方式确定区块图像中的纹理复杂度。例如，在一个实施例中，获取该候选区块图像的纹理复杂度，包括：根据该候选区块图像中各个像素与其相邻像素的灰度差值，得到该候选区块图像对应的灰度梯度值；根据该候选区块图像中各个像素与该候选区块图像中预设位置的距离，确定该候选区块图像对应的标准差值；根据该候选区块图像中存在的各个灰度级，确定该候选区块图像对应的熵值；根据灰度梯度值、标准差值和熵值的加权和，确定该候选区块图像的纹理复杂度。
本实施例中，终端可以通过灰度的梯度值、变异数与标准差、熵值等方式确定候选区块图像的纹理复杂度。其中，图像梯度常用于边缘检测和图像复杂度分析，梯度的方向指向变化最快的方向，在边缘处像素值变化最大，梯度值较大；变异数与标准差可以描述像素间的离散程度；熵值可以是用于描述图像中具有的咨询量的度量，表明图像的复杂程度，图像复杂程度越高，熵值越大，反之则越小。上述候选区块图像可以有多个，对于每个候选区块图像，终端可以获取该候选区块图像中各个像素与其相邻像素的灰度差值，得到该候选区块图像对应的灰度梯度值。终端可以根据该候选区块图像中各个像素与该候选区块图像中预设位置的距离，确定该候选区块图像对应的标准差值。并且终端还可以根据该候选区块图像中存在的各个灰度级，确定该候选区块图像对应的熵值。
具体地，对于灰度梯度值，其计算公式可以如下所示：Grad(x,y)＝dx(i,j)+dy(i,j)；dx(i,j)＝p(i,j)-p(i-1,j)；dy(i,j)＝p(i,j)-p(i,j-1)；其中，Grad(x,y)可以是候选区块图像的灰度梯度值，dx(i,j)为在x轴方向上的灰度变化值，dy(i,j)为在y轴方向上的灰度变化值，p(i,j)为一个像素的灰度值，p(i,j)-p(i-1,j)表示在x轴方向上相邻的两个像素的灰度变化值，p(i,j)-p(i,j-1)表示在y轴方向上相邻的两个像素的灰度变化值。上述变异数也可以称为方差，方差和标准差的公式可以如下所示：
Figure BDA0003814432120000121
其中，Xi表示候选区块图像中第i个像素的位置，μ为候选区块图像中预设位置，N为候选区块图像中的像素总数。上述熵值公式可以如下所示：
Figure BDA0003814432120000122
其中，H(X)为一个候选区块图像的熵值，pi可以是候选区块图像每个灰度级出现的概率，该概率可以通过确定候选区块图像中出现的所有灰度级后，再基于各个灰度级占总灰度级的数量确定pi，n可以是候选区块图像中的灰度级总数。终端得到上述灰度梯度值、标准差值和熵值后，可以根据灰度梯度值、标准差值和熵值的加权和，确定候选区块图像的纹理复杂度，其中，上述加权和中，灰度梯度值、标准差值和熵值各自对应的权重可以根据实际情况设定。
终端得到上述各个候选区块图像的纹理复杂度后以及边长后，可以判断纹理复杂度是否大于第一预设复杂度阈值、边长是否大于或等于预设边长阈值且划分次数是否小于预设次数阈值。若终端检测到纹理复杂度大于第一预设复杂度阈值、边长大于或等于预设边长阈值且划分次数小于预设次数阈值，则终端可以确定该候选区块图像的纹理足够复杂，需要继续划分，终端将候选区块图像作为新的待划分图像，并返回将待划分图像划分为多个相同尺寸的候选区块图像的步骤，进行下一次的划分。具体地，如图2中的302所示，终端在计算各个候选区块图像的纹理复杂度后，通过上述判断确定候选区块图像的纹理足够复杂后，将候选区块图像进行再次划分。
终端在检测到上述候选区块图像的纹理复杂度小于或等于第一预设复杂度阈值、或边长小于预设边长阈值、或划分次数大于或等于预设次数阈值时，可以确定需要停止对区块图像的划分，并将上述候选区块图像对应的区域确定为参考帧图像中的目标候选区块图像。其中，目标候选区块图像可以有多个，最终终端可以得到如图2中的304和305所示的划分结果。即305中的各个区块均可以是目标候选区块图像，终端可以根据确定出的多个目标候选区块图像，确定参考帧图像中的多个第一区块图像。
通过上述实施例，终端可以基于多种参数确定区块图像的纹理复杂度，并将纹理复杂度过高的区块进行切分，得到参考帧中纹理复杂度均衡的多个区块图像，从而终端可以基于参考帧图像中的多个第一区块图像进行图像对齐，提高了图像对齐的准确度。
在一个实施例中，根据确定出的多个目标候选区块图像，确定参考帧图像中的多个第一区块图像，包括：获取多个目标候选区块图像的纹理复杂度；将纹理复杂度小于或等于第二预设复杂度阈值且相邻的目标候选区块图像合并，得到合并后的目标候选区块图像；第二预设复杂度阈值小于第一预设复杂度阈值；根据未合并的目标候选区块图像以及合并后的目标候选区块图像，得到参考帧图像中的多个第一区块图像。
本实施例中，终端在对多个候选区块图像进行划分后，可以划分得到多个纹理复杂度较低的目标候选区块图像，这些目标候选区块图像中可能存在纹理复杂度过低且区块的尺寸过小的区块，因此终端可以将这些区块进行合并。终端在划分得到多个目标候选区块图像后，可以获取多个目标候选区块图像的纹理复杂度，并获取纹理复杂度小于或等于第二预设复杂度阈值的目标候选区块图像，终端可以将上述纹理复杂度小于或等于第二预设复杂度阈值且相邻的目标候选区块图像进行合并，从而得到合并后的目标候选区块图像。其中，上述第二预设复杂度阈值小于第一预设复杂度阈值。从而终端可以令合并后的目标候选区块图像的纹理复杂度保持在一定的复杂度范围内。具体地，如图2中的303所示，终端可以将相邻且纹理复杂度过小的目标候选区块图像进行合并，从而终端可以根据未合并的目标候选区块图像以及合并后的目标候选区块图像，得到参考帧图像中的多个第一区块图像。
通过本实施例，终端可以将纹理复杂度过小且相邻的区块进行合并，从而得到参考帧图像中，纹理复杂度在预设复杂度范围内的区块图像，并基于该区块图像进行图像对齐，提高了图像对齐的准确度。
在一个实施例中，获取第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度，包括：若第一区块图像的尺寸大于或等于预设区域尺寸，基于第一相似度比较策略确定第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度；若第一区块图像的尺寸小于预设区域尺寸，且第二区块图像与第一区块图像的亮度差值小于预设亮度差阈值，基于第二相似度比较策略确定第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度；若第一区块图像的尺寸小于预设区域尺寸，且第二区块图像与第一区块图像的亮度差值大于或等于预设亮度差阈值，基于第三相似度比较策略确定第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度；其中，第一相似度比较策略、第二相似度比较策略和第三相似度比较策略各不相同。
本实施例中，参考帧图像中的第一区块图像可以有多个，对于每个第一区块图像，终端可以基于该第一区块图像的尺寸，在其他帧待对齐图像中确定出相同尺寸的第二区块图像，其中每帧其他帧待对齐图像中的第二区块图像可以有多个，终端可以通过多种方式确定其他帧待对齐图像中的第二区块图像与该第一区块图像的相似度。例如，终端可以检测第一区块图像的尺寸，若第一区块图像的尺寸大于或等于预设区域尺寸，则终端可以基于第一相似度比较策略确定第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度；若终端检测到第一区块图像的尺寸小于预设区域尺寸，则终端可以检测第一区块图像与各个第二区块图像的亮度差值，若终端检测到第一区块图像的尺寸小于预设区域尺寸，且第二区块图像与第一区块图像的亮度差值小于预设亮度差阈值，说明这两个区块之间的亮度变化均衡，则终端可以基于第二相似度比较策略确定第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度；若终端检测到上述第一区块图像的尺寸小于预设区域尺寸，且第二区块图像与第一区块图像的亮度差值大于或等于预设亮度差阈值，则终端确定这两个区块之间的亮度变化较大，终端可以基于第三相似度比较策略确定第一区块图像与第二区块图像之间的相似度。
其中，上述第一相似度比较策略、第二相似度比较策略和第三相似度比较策略之间可以互不相同，第一相似度比较策略可以是基于矩阵的比较策略，第二相似度比较策略可以是基于局部块匹配的方式的比较策略，第三相似度比较策略可以是基于立体匹配的方式的比较策略。例如，在一个实施例中，基于第一相似度比较策略确定第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度，包括：根据第一区块图像中的纹理特征信息以及各个第二区块图像中相同的纹理特征信息，构建单应性矩阵，根据单应性矩阵调整各个第二区块图像与第一区块图像匹配，根据调整后的第二区块图像与第一区块图像的误差值，确定第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度；基于第二相似度比较策略确定第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度，包括：在其他帧待对齐图像中获取大于第一区块图像尺寸且包含第一区块图像的搜索区域，将第一区块图像与搜索区域中的第二区块图像进行匹配，根据搜索区域中第二区块图像与第一区块图像的误差值，确定第一区块图像与搜索区域中第二区块图像的相似度；基于第三相似度比较策略确定第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度，包括：获取第一区块图像与第二区块图像的汉明距离，根据汉明距离得到第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度。
本实施例中，终端可以基于匹配成本确定各个区块间的相似度，匹配成本也称为误差值，终端可以基于区块图像的大小和区块图像间的亮度差异确定匹配成本。对于第一区块图像的尺寸大于或等于预设区域尺寸的情况，终端可以根据第一区块图像中的纹理特征信息以及各个第二区块图像中相同的纹理特征信息，构建单应性矩阵，并根据单应性矩阵调整各个第二区块图像与第一区块图像匹配，基于调整后的第二区块图像与第一区块图像的误差值，确定第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度。具体地，当第一区块图像较大时，例如大于预设区域尺寸，表示该第一区块为属于平坦区域或纹理较弱的区域，终端可以通过特征点检测，将该区块图像通过单应性矩阵与其他帧待对齐图像中的第二区块图像进行匹配，得到第一区块图像与第二区块图像之间的匹配误差值E1_ini，以及第二区块图像与第一区块图像之间的初始移动向量V1_ini，其中，单应性矩阵为一种3*3的矩阵，包含了旋转、缩放、平移等信息，其他帧待对齐图像中的第二区块图像可以通过单应性矩阵进行变换，从而与第一区块图像进行匹配。终端得到上述匹配误差值E1_ini后，可以基于该误差值确定第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度，例如，误差值越小，则相似度越大。
对于第一区块图像的尺寸小于预设区域尺寸且第二区块图像与第一区块图像的亮度差值小于预设亮度差阈值的情况，终端可以根据第一区块图像的尺寸，在其他帧待对齐图像中获取大于第一区块图像尺寸且包含第一区块图像的搜索区域，将第一区块图像与搜索区域中的第二区块图像进行匹配，终端可以根据搜索区域中第二区块图像与第一区块图像的误差值，确定第一区块图像与搜索区域中的第二区块图像的相似度。具体地，上述搜索区域可以是终端在其他帧待对齐图像中确定出的搜索窗口，终端在该搜索区域中进行第二区块图像的确定，并搜索与上述第一区块图像最相似的第二区块图像。在第一区块图像的尺寸较小时，第一区块图像的复杂度可能较高，此时若第一区块图像与第二区块图像的亮度变化均匀，则终端可以通过局部块匹配的方式进行匹配成本的估计，例如，终端可以基于上述第一区块图像，将该第一区块图像在其他帧待对齐图像中包含该第一区块图像的搜索区域内进行搜索，找到最相似的第二区块图像。从而得到第一区块图像与第二区块图像之间的匹配误差值E2_ini，以及第二区块图像与第一区块图像之间的初始移动向量V2_ini，其中，第二相似度比较策略的计算公式可以如下所示：
Figure BDA0003814432120000161
其中，Dp(u,v)表示匹配的误差值；p表示范数，通常为1或2；(u,v)表示初始移动向量；I(x+u+u0,y+v+v0)表示搜索区域；T(x,y)表示区块图像的区域。
对于第一区块图像的尺寸小于预设区域尺寸且第二区块图像与第一区块图像的亮度差值大于或等于预设亮度差阈值的情况，终端可以获取第一区块图像与第二区块图像的汉明距离，根据汉明距离得到第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度。其中，上述汉明距离可以通过立体匹配的方式确定。
例如，在一个实施例中，获取第一区块图像与第二区块图像的汉明距离，包括：获取第一区块图像的中心像素点与该中心像素点相邻的其他像素点的灰度值，将灰度值大于中心像素点的灰度值的其他像素点记为第一数值，将灰度值小于或等于中心像素点的灰度值的其他像素点记为第二数值；第一数值和第二数值不同；根据其他像素点对应的数值，得到第一区块图像对应的第一数值串；获取第二区块图像的中心像素点与该中心像素点相邻的其他像素点的灰度值，将灰度值大于中心像素点的灰度值的其他像素点记为第一数值，将灰度值小于或等于中心像素点的灰度值的其他像素点记为第二数值；根据其他像素点对应的数值，得到第二区块图像对应的第二数值串；对第一数值串和第二数值串进行互斥或运算，得到第一区块图像与第二区块图像的汉明距离。
本实施例中，终端在获取汉明距离前，可以先对第一区块图像和第二区块图像中的像素进行数值的转换。终端可以获取第一区块图像的中心像素点与该中心像素点相邻的其他像素点的灰度值，并将该灰度值大于中心像素点的灰度值的其他像素点记为第一数值，将灰度值小于或等于中心像素点的灰度值的其他像素点记为第一数值，将灰度值小于或等于中心像素点的灰度值的其他像素点记为第二数值。其中，第一数值和第二数值不同。从而终端可以根据其他像素点对应的数值，得到第一区块图像对应的第一数值串。另外，终端还可以获取第二区块图像的中心像素点与该中心像素点相邻的其他像素点的灰度值，将灰度值大于中心像素点的灰度值的其他像素点记为第一数值，将灰度值小于或等于中心像素点的灰度值的其他像素点记为第二数值，从而终端可以根据其他像素点对应的数值，得到第二区块图像对应的第二数值串。终端得到上述数值串后，可以对第一数值串和第二数值串进行互斥或(XOR)运算，得到第一区块与第二区块的汉明距离，终端还可以得到第一区块图像与第二区块图像之间的初始移动向量。从而终端可以基于该汉明距离确定第一区块图像与第二区块图像之间的相似度。
具体地，如图3所示，图3为一个实施例中误差确定步骤的流程示意图。在第一区块图像的纹理复杂度较高且第一区块图像与第二区块图像之间的亮度差较大时，终端可以首先将第一区块图像和第二区块图像的中心点与其邻近的像素的差异进行立体匹配的编码，得到两个字符串，如图中第一区块图像对应的{11010101}和第二区块图像对应的{10100111}，具体地，终端可以在区块图像中选取任一点，以该点为中心划出一个例如3×3的矩形，矩形中除中心点之外的每一点都与中心点进行比较，灰度值小于中心点即记为1，灰度大于中心点的则记为0，从而得到每个像素点的数值，终端按照一定顺序提取数值，可以得到上述第一数值串和第二数值串。终端可以对上述两个数值串进行互斥或运算，得到汉明距离，例如对于上述{11010101}和{10100111}，其汉明距离为4，说明第一区块图像与第二区块图像之间的匹配误差E3_ini为4，并且终端还可以根据第一区块图像与第二区块图像之间的位置差异，得到初始移动向量V3_ini。从而终端可以基于上述匹配误差确定相似度。
通过上述实施例，终端可以基于区块图像的尺寸以及各个区块图像之间的亮度变化值，确定各个区块之间不同的相似度比较策略，从而得到各个区块之间的相似度以及初始移动向量，终端基于上述相似度以及初始移动向量将区块进行对齐，提高了图像对齐的准确度。
在一个实施例中，根据目标第二区块图像在其他帧待对齐图像中的位置，以及第一区块图像在参考帧图像中的位置，确定目标第二区块图像的移动向量，包括：根据目标第二区块图像在其他帧待对齐图像中的位置与其对应的相似度最大的第一区块图像在参考帧图像中的位置的距离和方向，确定目标第二区块图像对应的对象的初始移动向量；获取初始移动向量的置信度；若置信度小于预设置信度阈值，根据关联目标第二区块图像对应的对象的初始移动向量及其置信度，调整目标第二区块图像对应的对象的第一初始移动向量，得到目标第二区块图像的移动向量；其中，关联目标第二区块图像与目标第二区块图像相邻且置信度大于或等于预设置信度阈值。
本实施例中，终端可以基于上述各个目标第二区块图像在其所在的待对齐图像中的位置，以及其对应的相似度最大的第一区块图像在参考帧图像中的位置，确定目标第二区块图像的移动向量。其中，终端可以首先进行初始移动向量的确定，终端可以根据目标第二区块图像在其他帧待对齐图像中的位置，与其对应的相似度最大的第一区块图像在所述参考帧图像中的位置的距离和方向，确定所述目标第二区块图像对应的对象的初始移动向量。终端确定每个初始移动向量的置信度后，可以获取初始移动向量的置信度，并对置信度进行检测。
其中，上述置信度可以基于匹配误差得到，但匹配误差可以根据不同的相似度比较策略得到，因此终端可以通过对各个匹配误差进行归一化后，再确定置信度。例如，在一个实施例中，获取初始移动向量的置信度，包括：获取与目标第二区块图像和第一区块图像的相似度比较策略对应的预设归一化参数；根据目标第二区块图像与其对应的相似度最大的第一区块图像的相似度与预设归一化参数的比值，得到目标第二区块图像的置信度。本实施例中，终端在归一化时，可以获取与上述目标第二区块图像和第一区块图像的相似度比较策略对应的预设归一化参数，并根据目标第二区块图像与其对应的第一相似度最大的第一区块图像的相似度与上述预设归一化参数的比值，得到目标第二区块图像的置信度。具体地，由于上述各个区块的大小不一，使用的相似度比较策略不同，因此终端可以首先确定每个相似度比较策略的预设归一化参数N，例如上述具有三个相似度比较策略，则预设归一化参数具有三种N1、N2和N3。终端可以通过公式Cn＝En/Nn，n＝1,2,3，得到各个相似度比较策略下对应的置信度。其中，En表示通过第n相似度比较策略得到的匹配误差，Cn表示基于第n相似度比较策略得到的匹配误差计算的置信度。从而终端可以通过上述计算方式，将误差值落在相同的基准上，用于后续的比较。
终端可以获取置信度小于预设置信度阈值的目标第二区块图像对应的对象的第一初始移动向量，以及获取置信度大于或等于预设置信度阈值的目标第二区块图像对应的对象的第二初始移动向量。其中，目标第二区块图像可以有多个，对应每个置信度小于预设置信度阈值的目标第二区块图像，终端可以获取与该目标第二区块图像相邻且置信度大于或等于预设置信度阈值的目标第二区块图像对应的对象的第二初始移动向量及其置信度，并根据该第二初始移动向量以及置信度，调整第一初始移动向量，得到目标第二区块图像的移动向量。
其中，上述调整可以是向量方向和代表的移动距离上的调整。具体地，如图4所示，图4为一个实施例中向量修正步骤的流程示意图。通过上述相似度比较后，各个第二区块图像中包含相应的置信度和初始的移动向量。终端可以将置信度低于预设置信度阈值Thc的区块进行向量的修正，具体可以基于与该低于预设置信度阈值Thc的区块相邻且置信度高于阈值Thc的区块，通过加权和的方式进行修正，得到最终的移动向量Vd。其计算公式如下所示：Vd＝(∑iVi·Ci)/(∑iCi)，Ci>Thc。其中i表示相邻区块的数量。如图4中所示，虚线箭头表示低于预设置信度阈值的区块图像，表示该区块图像需要进行修正，实线箭头为高置信度的区块图像，可以用于对低置信度的区块图像进行修正，图4中可以是对中间区块的向量的修正，由修正前和修正后的对比可知，通过对移动向量的修正，终端将该区块图像变为高置信度的区块图像。
通过上述实施例，终端可以首先对置信度进行归一化，基于同一基准下的置信度进行置信度判断，将置信度较低的区块基于其相邻的高置信度的区块的修正，从而终端可以基于修正后该区块的移动向量对区块图像的对象进行移动，提高了图像对齐的准确度。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像对齐方法的图像对齐装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像对齐装置实施例中的具体限定可以参见上文中对于图像对齐方法的限定，在此不再赘述。
在一个实施例中，如图5所示，提供了一种图像对齐装置，包括：获取模块500、划分模块502、第一确定模块504、第二确定模块506和对齐模块508，其中：
获取模块500，用于获取至少两帧待对齐图像，从至少两帧待对齐图像中确定一帧参考帧图像。
划分模块502，用于根据参考帧图像的纹理特征信息，在参考帧图像中划分出多个第一区块图像；多个第一区块图像的纹理复杂度均在预设范围内。
第一确定模块504，用于针对各第一区块图像从其他帧待对齐图像中确定出至少一个第二区块图像，并获取参考帧图像中各第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度，确定相似度最大的目标第二区块图像；第二区块图像与所述第一区块图像的尺寸对应。
第二确定模块506，用于根据目标第二区块图像在其他帧待对齐图像中的位置，以及第一区块图像在参考帧图像中的位置，确定目标第二区块图像的移动向量。
对齐模块508，用于基于根据移动向量，对目标第二区块图像以及与其对应的第一区块图像的图像进行对齐。
在一个实施例中，获取模块500，具体用于将参考帧图像作为待划分图像，将待划分图像划分为多个相同尺寸的候选区块图像；针对每个候选区块图像，获取该候选区块图像的纹理复杂度和边长；若纹理复杂度大于第一预设复杂度阈值、边长大于或等于预设边长阈值且划分次数小于预设次数阈值，将该候选区块图像作为新的待划分图像，返回将待划分图像划分为多个相同尺寸的候选区块图像的步骤；否则，将该候选区块图像对应的区域确定为参考帧图像中的目标候选区块图像；根据确定出的多个目标候选区块图像，确定参考帧图像中的多个第一区块图像。
在一个实施例中，获取模块500，具体用于获取多个目标候选区块图像的纹理复杂度；将纹理复杂度小于或等于第二预设复杂度阈值且相邻的目标候选区块图像合并，得到合并后的目标候选区块图像；第二预设复杂度阈值小于第一预设复杂度阈值；根据未合并的目标候选区块图像以及合并后的目标候选区块图像，得到参考帧图像中的多个第一区块图像。
在一个实施例中，获取模块500，具体用于根据该候选区块图像中各个像素与其相邻像素的灰度差值，得到该候选区块图像对应的灰度梯度值；根据该候选区块图像中各个像素与该候选区块图像中预设位置的距离，确定该候选区块图像对应的标准差值；根据该候选区块图像中存在的各个灰度级，确定该候选区块图像对应的熵值；根据灰度梯度值、标准差值和熵值的加权和，确定该候选区块图像的纹理复杂度。
在一个实施例中，第一确定模块504，具体用于若第一区块图像的尺寸大于或等于预设区域尺寸，基于第一相似度比较策略确定第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度；若第一区块图像的尺寸小于预设区域尺寸，且第二区块图像与第一区块图像的亮度差值小于预设亮度差阈值，基于第二相似度比较策略确定第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度；若第一区块图像的尺寸小于预设区域尺寸，且第二区块图像与第一区块图像的亮度差值大于或等于预设亮度差阈值，基于第三相似度比较策略确定第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度；其中，第一相似度比较策略、第二相似度比较策略和第三相似度比较策略各不相同。
在一个实施例中，第一确定模块504，具体用于根据第一区块图像中的纹理特征信息以及各个第二区块图像中相同的纹理特征信息，构建单应性矩阵，根据单应性矩阵调整各个第二区块图像与第一区块图像匹配，根据调整后的第二区块图像与第一区块图像的误差值，确定第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度。
在一个实施例中，第一确定模块504，具体用于在其他帧待对齐图像中获取大于第一区块图像尺寸且包含第一区块图像的搜索区域，将第一区块图像与搜索区域中的第二区块图像进行匹配，根据搜索区域中第二区块图像与第一区块图像的误差值，确定第一区块图像与搜索区域中第二区块图像的相似度。
在一个实施例中，第一确定模块504，具体用于获取第一区块图像与第二区块图像的汉明距离，根据汉明距离得到第一区块图像与至少一个第二区块图像中的各第二区块图像的相似度。
在一个实施例中，第一确定模块504，具体用于获取第一区块图像的中心像素点与该中心像素点相邻的其他像素点的灰度值，将灰度值大于中心像素点的灰度值的其他像素点记为第一数值，将灰度值小于或等于中心像素点的灰度值的其他像素点记为第二数值；第一数值和第二数值不同；根据其他像素点对应的数值，得到第一区块图像对应的第一数值串；获取第二区块图像的中心像素点与该中心像素点相邻的其他像素点的灰度值，将灰度值大于中心像素点的灰度值的其他像素点记为第一数值，将灰度值小于或等于中心像素点的灰度值的其他像素点记为第二数值；根据其他像素点对应的数值，得到第二区块图像对应的第二数值串；对第一数值串和第二数值串进行互斥或运算，得到第一区块图像与第二区块图像的汉明距离。
在一个实施例中，第二确定模块506，具体用于根据目标第二区块图像在其他帧待对齐图像中的位置与其对应的相似度最大的第一区块图像在参考帧图像中的位置的距离和方向，确定目标第二区块图像对应的对象的初始移动向量；获取初始移动向量的置信度；若置信度小于预设置信度阈值，根据关联目标第二区块图像对应的对象的初始移动向量及其置信度，调整目标第二区块图像对应的对象的第一初始移动向量，得到目标第二区块图像的移动向量；其中，关联目标第二区块图像与目标第二区块图像相邻且置信度大于或等于预设置信度阈。
在一个实施例中，第二确定模块506，具体用于获取与目标第二区块图像和第一区块图像的相似度比较策略对应的预设归一化参数；根据目标第二区块图像与其对应的相似度最大的第一区块图像的相似度与预设归一化参数的比值，得到目标第二区块图像的置信度。
在一个实施例中，获取模块500，具体用于获取至少两帧待对齐图像中各帧待对齐图像的清晰度；将清晰度最大的一帧待对齐图像，作为参考帧图像。
上述图像对齐装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像对齐方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述的图像对齐方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的图像对齐方法。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的图像对齐方法。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (14)

1.一种图像对齐方法，其特征在于，所述方法包括：
获取至少两帧待对齐图像，从所述至少两帧待对齐图像中确定一帧参考帧图像；
根据所述参考帧图像的纹理特征信息，在所述参考帧图像中划分出多个第一区块图像；所述多个第一区块图像的纹理复杂度均在预设范围内；
针对各第一区块图像从其他帧待对齐图像中确定出至少一个第二区块图像，并获取所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度，确定相似度最大的目标第二区块图像；所述第二区块图像与所述第一区块图像的尺寸对应；
根据所述目标第二区块图像在所述其他帧待对齐图像中的位置，以及所述第一区块图像在所述参考帧图像中的位置，确定所述目标第二区块图像的移动向量；
基于根据所述移动向量，对所述目标第二区块图像以及与其对应的第一区块图像的图像进行对齐。
2.根据权利要求1所述的方法，其特征在于，所述根据所述参考帧图像的纹理特征信息，在所述参考帧图像中划分出多个第一区块图像，包括：
将所述参考帧图像作为待划分图像，将所述待划分图像划分为多个相同尺寸的候选区块图像；
针对每个候选区块图像，获取该候选区块图像的纹理复杂度和边长；
若所述纹理复杂度大于第一预设复杂度阈值、所述边长大于或等于预设边长阈值且划分次数小于预设次数阈值，将该候选区块图像作为新的待划分图像，返回将所述待划分图像划分为多个相同尺寸的候选区块图像的步骤；否则，将该候选区块图像对应的区域确定为所述参考帧图像中的目标候选区块图像；
根据确定出的多个目标候选区块图像，确定所述参考帧图像中的多个第一区块图像。
3.根据权利要求2所述的方法，其特征在于，所述根据确定出的多个目标候选区块图像，确定所述参考帧图像中的多个第一区块图像，包括：
获取所述多个目标候选区块图像的纹理复杂度；
将纹理复杂度小于或等于第二预设复杂度阈值且相邻的目标候选区块图像合并，得到合并后的目标候选区块图像；所述第二预设复杂度阈值小于所述第一预设复杂度阈值；
根据未合并的目标候选区块图像以及所述合并后的目标候选区块图像，得到所述参考帧图像中的多个第一区块图像。
4.根据权利要求2所述的方法，其特征在于，所述获取该候选区块图像的纹理复杂度，包括：
根据该候选区块图像中各个像素与其相邻像素的灰度差值，得到该候选区块图像对应的灰度梯度值；
根据该候选区块图像中各个像素与该候选区块图像中预设位置的距离，确定该候选区块图像对应的标准差值；
根据该候选区块图像中存在的各个灰度级，确定该候选区块图像对应的熵值；
根据所述灰度梯度值、所述标准差值和所述熵值的加权和，确定该候选区块图像的纹理复杂度。
5.根据权利要求1所述的方法，其特征在于，所述获取所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度，包括：
若所述第一区块图像的尺寸大于或等于预设区域尺寸，基于第一相似度比较策略确定所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度；
若所述第一区块图像的尺寸小于预设区域尺寸，且所述第二区块图像与所述第一区块图像的亮度差值小于预设亮度差阈值，基于第二相似度比较策略确定所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度；
若所述第一区块图像的尺寸小于预设区域尺寸，且所述第二区块图像与所述第一区块图像的亮度差值大于或等于预设亮度差阈值，基于第三相似度比较策略确定所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度；
其中，所述第一相似度比较策略、所述第二相似度比较策略和所述第三相似度比较策略各不相同。
6.根据权利要求5所述的方法，其特征在于，所述基于第一相似度比较策略确定所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度，包括：
根据所述第一区块图像中的纹理特征信息以及各个第二区块图像中相同的纹理特征信息，构建单应性矩阵，根据所述单应性矩阵调整各个第二区块图像与所述第一区块图像匹配，根据调整后的第二区块图像与第一区块图像的误差值，确定所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度；或者，
所述基于第二相似度比较策略确定所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度，包括：
在其他帧待对齐图像中获取大于所述第一区块图像尺寸且包含所述第一区块图像的搜索区域，将所述第一区块图像与所述搜索区域中的第二区块图像进行匹配，根据所述搜索区域中第二区块图像与所述第一区块图像的误差值，确定所述第一区块图像与搜索区域中第二区块图像的相似度；或者，
所述基于第三相似度比较策略确定所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度，包括：
获取所述第一区块图像与所述第二区块图像的汉明距离，根据所述汉明距离得到所述第一区块图像与所述至少一个第二区块图像中的各第二区块图像的相似度。
7.根据权利要求6所述的方法，其特征在于，所述获取所述第一区块图像与所述第二区块图像的汉明距离，包括：
获取所述第一区块图像的中心像素点与该中心像素点相邻的其他像素点的灰度值，将所述灰度值大于所述中心像素点的灰度值的其他像素点记为第一数值，将所述灰度值小于或等于所述中心像素点的灰度值的其他像素点记为第二数值；所述第一数值和所述第二数值不同；
根据所述其他像素点对应的数值，得到所述第一区块图像对应的第一数值串；
获取所述第二区块图像的中心像素点与该中心像素点相邻的其他像素点的灰度值，将所述灰度值大于所述中心像素点的灰度值的其他像素点记为第一数值，将所述灰度值小于或等于所述中心像素点的灰度值的其他像素点记为第二数值；
根据所述其他像素点对应的数值，得到所述第二区块图像对应的第二数值串；
对所述第一数值串和所述第二数值串进行互斥或运算，得到所述第一区块图像与所述第二区块图像的汉明距离。
8.根据权利要求5所述的方法，其特征在于，所述根据所述目标第二区块图像在所述其他帧待对齐图像中的位置，以及所述第一区块图像在所述参考帧图像中的位置，确定所述目标第二区块图像的移动向量，包括：
根据所述目标第二区块图像在其他帧待对齐图像中的位置与其对应的相似度最大的第一区块图像在所述参考帧图像中的位置的距离和方向，确定所述目标第二区块图像对应的对象的初始移动向量；
获取所述初始移动向量的置信度；
若所述置信度小于预设置信度阈值，根据关联目标第二区块图像对应的对象的初始移动向量及其置信度，调整所述目标第二区块图像对应的对象的第一初始移动向量，得到所述目标第二区块图像的移动向量；其中，所述关联目标第二区块图像与所述目标第二区块图像相邻且置信度大于或等于预设置信度阈值。
9.根据权利要求8所述的方法，其特征在于，所述获取所述初始移动向量的置信度，包括：
获取与所述目标第二区块图像和第一区块图像的相似度比较策略对应的预设归一化参数；
根据所述目标第二区块图像与其对应的相似度最大的第一区块图像的相似度与所述预设归一化参数的比值，得到所述目标第二区块图像的置信度。
10.根据权利要求1至9任意一项所述的方法，其特征在于，所述从所述至少两帧待对齐图像中确定一帧参考帧图像，包括：
获取所述至少两帧待对齐图像中各帧待对齐图像的清晰度；
将所述清晰度最大的一帧待对齐图像，作为参考帧图像。
11.一种图像对齐装置，其特征在于，所述装置包括：
获取模块，用于获取至少两帧待对齐图像，从所述至少两帧待对齐图像中确定一帧参考帧图像；
划分模块，用于根据所述参考帧图像的纹理特征信息，在所述参考帧图像中划分出多个第一区块图像；所述多个第一区块图像的纹理复杂度均在预设范围内；
第一确定模块，用于针对各第一区块图像从其他帧待对齐图像中确定出至少一个第二区块图像，并获取所述第一区块图像与所述至少一个第二区块图像中各第二区块图像的相似度，确定相似度最大的目标第二区块图像；所述第二区块图像与所述第一区块图像的尺寸对应；
第二确定模块，用于根据所述目标第二区块图像在所述其他帧待对齐图像中的位置，以及所述第一区块图像在所述参考帧图像中的位置，确定所述目标第二区块图像的移动向量；
对齐模块，用于基于根据所述移动向量，对所述目标第二区块图像以及与其对应的第一区块图像的图像进行对齐。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
14.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
CN202211021665.1A 2022-08-24 2022-08-24 图像对齐方法、装置、计算机设备和存储介质 Pending CN115272428A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211021665.1A CN115272428A (zh) 2022-08-24 2022-08-24 图像对齐方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211021665.1A CN115272428A (zh) 2022-08-24 2022-08-24 图像对齐方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115272428A true CN115272428A (zh) 2022-11-01

Family

ID=83752433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211021665.1A Pending CN115272428A (zh) 2022-08-24 2022-08-24 图像对齐方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115272428A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740182A (zh) * 2023-08-11 2023-09-12 摩尔线程智能科技(北京)有限责任公司 一种鬼影区域确定方法、装置、存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740182A (zh) * 2023-08-11 2023-09-12 摩尔线程智能科技(北京)有限责任公司 一种鬼影区域确定方法、装置、存储介质及电子设备
CN116740182B (zh) * 2023-08-11 2023-11-21 摩尔线程智能科技(北京)有限责任公司 一种鬼影区域确定方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN109034078B (zh) 年龄识别模型的训练方法、年龄识别方法及相关设备
US9665789B2 (en) Device and method for analyzing the correlation between an image and another image or between an image and a video
US8718324B2 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
EP2839389B1 (en) Image retargeting quality assessment
CN108230292B (zh) 物体检测方法和神经网络的训练方法、装置及电子设备
KR100660725B1 (ko) 얼굴 추적 장치를 가지는 휴대용 단말기
Pham et al. Efficient image splicing detection algorithm based on markov features
WO2014070489A1 (en) Recursive conditional means image denoising
WO2023098045A1 (zh) 图像对齐方法、装置、计算机设备和存储介质
Lecca et al. Comprehensive evaluation of image enhancement for unsupervised image description and matching
Zhang et al. Fine-grained image quality assessment: A revisit and further thinking
CN114332183A (zh) 图像配准方法、装置、计算机设备和存储介质
CN115272428A (zh) 图像对齐方法、装置、计算机设备和存储介质
CN114170558A (zh) 用于视频处理的方法、***、设备、介质和产品
Chen et al. Face super resolution based on parent patch prior for VLQ scenarios
CN109063537B (zh) 针对异常小目标解混的高光谱图像预处理方法
WO2022206679A1 (zh) 图像处理方法、装置、计算机设备和存储介质
CN115147296A (zh) 高光谱图像矫正方法、装置、计算机设备和存储介质
CN115550558A (zh) 拍摄设备的自动曝光方法、装置、电子设备和存储介质
CN115564639A (zh) 背景虚化方法、装置、计算机设备和存储介质
CN112991448B (zh) 一种基于颜色直方图的回环检测方法、装置及存储介质
Xia et al. A coarse-to-fine ghost removal scheme for HDR imaging
CN115063473A (zh) 物体高度的检测方法、装置、计算机设备、存储介质
CN117237386A (zh) 对目标对象进行结构化处理的方法、装置和计算机设备
Van Vo et al. High dynamic range video synthesis using superpixel-based illuminance-invariant motion estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230815

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Room F, 11/F, Beihai Center, 338 Hennessy Road, Wan Chai District, 810100 Hong Kong, China

Applicant before: Sonar sky Information Consulting Co.,Ltd.

TA01 Transfer of patent application right