CN109685839A

CN109685839A - 图像对齐方法、移动终端以及计算机存储介质

Info

Publication number: CN109685839A
Application number: CN201811565425.1A
Authority: CN
Inventors: 彭君; 王德才
Original assignee: Guangzhou Huaduo Network Technology Co Ltd
Current assignee: Guangzhou Huaduo Network Technology Co Ltd
Priority date: 2018-12-20
Filing date: 2018-12-20
Publication date: 2019-04-26
Anticipated expiration: 2038-12-20
Also published as: CN109685839B

Abstract

本申请提供了一种图像对齐方法、移动终端以及算机存储介质。图像对齐方法包括：获取第一图像和至少一张第二图像；提取第一图像的多个第一特征点和第二图像的多个第二特征点；获取所述第二特征点与所述第一特征点的置信度，筛选出所述置信度位于预设置信度范围的第二特征点；根据第一特征点和筛选出的第二特征点计算变换参数；根据变换参数对多个多个第二特征点进行处理，以得到第三图像。通过上述图像对齐方法，能够对图像进行自动对齐，从而获取多张对齐的图像。

Description

图像对齐方法、移动终端以及计算机存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像对齐方法、移动终端以及计算机存储介质。

背景技术

随着图像处理技术的不断进步，拍摄图像的设备也不断更新。目前的摄影设备已经能够快速对景物进行连拍，从而获取多张图像。

但在用户使用摄影设备时，由于环境变化剧烈或者用户本身无意识的身体移动从而导致在同一场景获取的多张图像出现不同程度的偏移。这些摇动和抖动都会对多张图像合成的视频或动态图像产生不利影响，例如合成的视频或动态图像出现重启、模糊等情况。

发明内容

本申请提供了一种图像对齐方法、移动终端以及计算机存储介质，主要解决的技术问题是如何防止发生环境变化剧烈或者用户本身无意识的身体移动从而导致在同一场景获取的多张图像出现不同程度的偏移的情况。

为解决上述技术问题，本申请提供了一种图像对齐方法，所述图像对齐方法包括：

获取第一图像和至少一张第二图像；

提取所述第一图像的多个第一特征点和所述第二图像的多个第二特征点；

获取所述第二特征点与所述第一特征点的置信度，筛选出所述置信度位于预设置信度范围的第二特征点；

根据所述第一特征点和所述筛选出的第二特征点计算变换参数；

根据所述变换参数对多个所述第二特征点进行处理，以得到第三图像。为解决上述技术问题，本申请还提供了一种移动终端，所述移动终端包括处理器以及与所述处理器耦接的存储器、摄像头模组；

其中，所述摄像头模组用于获取所述第一图像和所述第二图像；

所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的图像对齐方法。

为解决上述技术问题，本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述的图像对齐方法。

与现有技术相比，本申请的有益效果是：获取第一图像和至少一张第二图像；提取第一图像的多个第一特征点和第二图像的多个第二特征点；获取所述第二特征点与所述第一特征点的置信度，筛选出所述置信度位于预设置信度范围的第二特征点；根据第一特征点和筛选出的第二特征点计算变换参数；根据变换参数对多个多个第二特征点进行处理，以得到第三图像。获取特征点后，以第一图像为参考图像，根据置信度高的第一图像和第二图像的特征点计算变换参数；根据变换参数，将第二图像的所有特征点变换坐标数据，以生成与第一图像对齐的第三图像。因此，通过上述图像对齐方法，能够对至少一个第二图像进行调整，以获取与第一图像对齐的图像。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请图像对齐方法第一实施例的流程示意图；

图2是本申请图像对齐方法第二实施例的流程示意图；

图3是本申请图像对齐方法第三实施例的流程示意图；

图4是本申请图像对齐方法第四实施例的流程示意图；

图5是图4中图像对齐方法中获取第三图像的流程示意图；

图6是本申请移动终端一实施例的结构示意图；

图7是本申请计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提出了一种图像对齐方法，通过该图像对齐方法可以实现多张图像的批量处理；例如，通过本实施例的图像对齐方法可以实现和用于多张图像合成视频或动态图像前的自动对齐。具体请参见图1，图1是本申请图像对齐方法第一实施例的流程示意图。

本实施例的图像对齐方法应用于可用于拍摄图像的移动终端，在终端的领域，移动终端可为智能手机、平板电脑、摄影相机等智能终端；在操作***的领域，移动终端可搭载安卓操作***或者IOS操作***。

如图1所示，本实施例的图像对齐方法包括以下步骤：

S11：获取第一图像和至少一张第二图像。

其中，移动终端获取多张图像，并在多张图像中获取一张图像设为基准的图像，该基准图像即第一图像。多张图像中的其余图像为第二图像，移动终端将至少一张第二图像根据第一图像进行变换，从而实现多张图像对齐。

移动终端可以通过摄像头模组实时获取第一图像和至少一张第二图像，即摄像头模组可以用于连续拍摄多张图像，移动终端将多张图像中的第一张图像作为基准的第一图像，其余图像作为第二图像。进一步地，移动终端也可以预设连拍功能中预设张数后的图像作为基准的第一图像，其余图像均作为第二图像。

移动终端也可以从存储介质获取多张图像，并且获取作为基准的第一图像和需要变换的至少一张第二图像，存储介质可为U盘、移动硬盘等。进一步地，移动终端还可以从互联网中下载类似的图像，并根据下载时间设置作为基准的第一图像和至少一张第二图像。

移动终端在获取到第一图像和至少一张第二图像后，对第一图像和第二图像进行预处理。在图像分析处理中，预处理用于对消除第一图像和第二图像中的干扰或者噪声，从而提高下述步骤中特征抽取的可靠性和准确性。

例如，当移动终端获取的是人脸图像，对人脸图像的预处理可以包括人脸扶正，人脸图像增强，以及归一化等处理方法。

S12：提取第一图像的多个第一特征点和第二图像的多个第二特征点。

其中，移动终端提取第一图像的多个第一特征点，该第一特征点可以用于作为第一图像的主要标记，也可以用于作为第二图像的参考标记。本实施例的第一特征点可以包括颜色特征、纹理特征、形状特征或空间关系特征的一种或多种。

移动终端提取第一特征点的方法可为Fourier变换法、窗口Fourier变换(Gabor)、小波变换法、最小二乘法、边界方向直方图法或者根据Tamura纹理特征的纹理特征提取等方法中的一种。

其中，移动终端提取第二图像的多个第二特征点，提取第二特征点的方式与提取第一图像的第一特征点的方式相同，在此不再赘述。

S13：获取第二特征点与第一特征点的置信度，在置信度位于预设置信度范围内时，提取对应的第二特征点。

其中，移动终端提取第一特征点和第二特征点，并预设根据第一特征点的置信度范围。在本实施例中，根据坐标数据，置信度可为在第一图像上的第一特征点和在第二图像上的第二特征点的坐标距离。

移动终端分别提取每一个第一特征点，然后遍历所有的第二特征点，获取多组第二特征点与第一特征点的置信度，并判断每组第二特征点与第一特征点的置信度是否在预设的置信度范围内。若是，则提取该置信度对应的第二特征点。

S14：根据第一特征点和相关第二特征点获取变换参数。

其中，移动终端提取多组第一特征点和对应的第二特征点，并对上述第一特征点和对应的第二特征点进行处理计算，以获取适应于多组第一特征点和相关第二特征点的变换参数。

移动终端根据该变换参数，将第二图像上的第二特征点变换到与对应的第一特征点相同或相近的坐标位置。

S15：根据变换参数，变换多个第二特征点，以得到第三图像。

其中，移动终端获取变换参数后，根据该变换参数对第二图像上的第二特征点进行变换，然后将变换后的多个第二特征点组合得到第三图像。

在本实施例中，移动终端获取第一图像和至少一张第二图像，并对第一图像和第二图像进行预处理，使得第一图像和第二图像的特征点更易于提取；提取第一特征点和第二特征点后，移动终端获取与每个第一特征点的置信度在预设置信度范围内的相关第二特征点，并根据多组第一特征点和对应的相关第二特征点获取变换参数，从而得到第二图像变换到第一图像的变换参数；最后，根据变换参数，移动终端变换多个第二特征点，以得到第三图像；其中，第三图像为根据第一图像变换后的第二图像；通过上述图像对齐方法，移动终端能够根据基准图像对其余图像进行自动对齐，从而获取与基准图像对齐的多张图像。

本申请还提供了另一种图像对齐方法，具体请参见图2，图2是本申请图像对齐方法第二实施例的流程示意图。

在上述资源管理方法第一实施例的步骤S11和步骤S12的基础上，本实施例的图像对齐方法进一步还包括以下步骤：

S21：获取第一图像和至少一个第二图像。

S22：将第一图像和第二图像进行灰度处理。

其中，移动终端进一步对第一图像和第二图像进行灰度处理，以提高特征提取的准确性。

由于现有技术汇总拍摄的图片多为彩色图像，彩色图像中的每个像素的颜色有R、G、B三个分量决定，而每个分量有255种值可取，这样一个像素点可以有1600多万的颜色的变化范围，这会对特征提取造成很大的干扰。而灰度图像是R、G、B三个分量相同的一种特殊的彩色图像，灰度图像的描述与彩色图像一样仍然反映了整幅图像的整体和局部的色度和亮度等级的分布和特征，但灰度图像一个像素点的变化范围只有255种。所以在本实施例的图像处理中，移动终端将各种格式的彩色图像转变为灰度图像，以使在后续处理中移动终端对第一图像和第二图像进图特征提取的计算量减少。

进一步地，移动终端在对第一图像和第二图像进行灰度处理的过程中，还可以进行图像平滑处理，能够抑制第一图像和第二图像的噪声，改善图像质量。然后移动终端将处理后的第一图像和第二图像进行直方图均衡化，即将第一图像和第二图像的灰度分布转换为均匀分布，使得第一图像和第二图像的细节更加清楚，直方图各灰度等级的分布也更加平衡。最后移动终端对第一图像和第二图像进行灰度变换，即对比度拉伸，使用最简单的分段线性变换函数，将原图像亮度值动态范围按线性关系扩展到指定的范围或整个动态范围。

S23：根据ORB算法，提取第一图像的多个第一特征点。

其中，移动终端采用ORB算法提取第一图像中的多个第一特征点。具体地，移动终端采用FAST(features from accelerated segment test)算法来检测特征点，即任意选取第一图像中的像素点，并将该像素点与其预设范围内的多个像素点作比较；如果该像素点与其中大部分的像素点不同，则移动终端判定该像素点为第一图像中的第一特征点。

S24：根据ORB算法，提取第二图像的多个第二特征点。

其中，移动终端同样采用ORB算法提取第二图像中的多个第二特征点，在此不再赘述。

S25：根据第一特征点的坐标数据，获取第一特征点的定义矩数据、质心数据和主方向数据。

其中，移动终端从第一图像中提取第一特征点的坐标数据，并根据该坐标数据，计算得到该第一特征点的定义矩数据、质心数据和主方向数据。特征点的定义矩数据、质心数据和主方向数据能够反映出该特征点的性质，进而反映出图像本质特征，能够标识图像中目标物体。通过特征点的定义矩数据、质心数据和主方向数据还能够完成特征点的匹配、变换等图像处理操作。

具体地，移动终端根据第一特征点的坐标数据可以获取该第一特征点的定义矩数据，定义矩数据的计算公式为：

其中，M_ij为所述第一特征点的定义矩，(x,y)为所述第一特征点的坐标，I(x,y)为所述第一特征点的坐标函数关系。

移动终端根据第一特征点的定义矩数据可以获取该第一特征点的质心数据，质心数据的计算公式为：

其中，c_x为所述质心的横坐标，c_y为所述质心的纵坐标，零阶矩一阶矩

进一步地，移动终端还可以根据第一特征点的定义矩的二阶矩，获取对应第一特征点的形状方向数据，在此不再赘述。

移动终端根据第一特征点的定义矩数据，进一步可以获取该第一特征点的主方向数据，主方向数据的计算公式为：

其中，c_ori为所述第一特征点的主方向数据。

S26：根据第二特征点的坐标数据，获取第二特征点的定义矩数据、质心数据和主方向数据。

其中，移动终端从第二图像中提取第二特征点的坐标数据，并根据该坐标数据，计算得到该第二特征点的定义矩数据、质心数据和主方向数据。

在本实施例中，移动终端在获取第一图像和第二图像后，对第一图像和第二图像进行灰度处理，以便分别提取第一图像和第二图像的特征点；进一步地，移动终端根据第一特征点的坐标数据，计算得到第一特征点的定义矩数据、质心数据和主方向数据，上述数据可以进一步反应图像的本质特征，提高本实施例图像对齐方法的准确性。

本申请还提供了又一种图像对齐方法，具体请参见图3，图3是本申请图像对齐方法第三实施例的流程示意图。

在上述图像对齐方法第三实施例的步骤S13基础上，本实施例的图像对齐方法进一步还包括以下步骤：

S31：根据第一特征点，得到与所述第一特征点的定义矩数据、质心数据和主方向数据相关的预设条件，并获取满足所述预设条件的多个所述第二特征点。

其中，移动终端根据第一特征点的定义矩数据、质心数据和主方向数据预设一范围条件。移动终端根据该第一特征点和该范围条件获取满足该范围条件的多个第二特征点。

具体地，移动终端可以根据定义矩数据预设一定义矩范围条件，根据质心数据预设一质心范围条件，根据主方向数据预设一主方向范围条件，当某个第二特征点同时满足上述定义矩范围条件、质心范围条件和主方向范围条件，则移动终端认为该第二特征点满足预设的范围条件。

S32：遍历多个所述第二特征点，获取在所述第一特征点预设距离范围内的相关第二特征点。

其中，移动终端在步骤S31中获取满足预设范围条件的多个第二特征点，并计算每个第二特征点与第一特征点在图像上的距离。移动终端预设一距离范围，当某个第二特征点与第一特征点在图像上的距离在预设距离范围内时，移动终端认为该第二特征点为高置信度的特征点。通过上述判定方法，移动终端可以根据第一特征点获取至少一个高置信度的第二特征点。

进一步地，移动终端还可以比较多组距离数据，并将与第一特征点在图像上的距离最短的第二特征点作为高置信度的第二特征点。通过上述判定方法，移动终端可以根据第一特征点获取一个高置信度的第二特征点。

例如，提取出第一特征点f0-1，然后提取多个第二特征点中两个最邻近特征点f1-a，f1-b。移动终端计算两个最邻近特征点f1-a，f1-b在图像上与第一特征点f0-1的距离L(1a)，L(1b)的大小，当L(1a)>L(1b)时，移动终端认为f1-b为第一特征点f0-1在第二图像上置信度最高的第二特征点。

在本实施例中，移动终端通过预设范围条件，根据第一特征点，提取满足预设范围条件的一个或多个高置信度的第二特征点。

本申请还提供了再一种图像对齐方法，具体请参见图4，图4是本申请图像对齐方法第四实施例的流程示意图。

在上述图像对齐方法第一实施例的步骤S14的基础上，本实施例的图像对齐方法进一步还包括以下步骤：

S41：根据至少三组第一特征点和相关第二特征点获取变换参数。

其中，移动终端根据至少三组第一特征点和相关第二特征点获取变换参数，变换参数的计算公式为：

其中，为所述变换参数，(x,y)为第一特征点的坐标数据，(x’,y’)为第二特征点的坐标数据。

变换参数中，为仿射变换矩阵，移动终端对第二图像应用该非刚性变换矩阵，可以将第二图像进行变换；[a，c]表征第二特征点的角度变换参数，[b，d]表征第二特征点的大小变换参数，[e，f]表征第二特征点的位移变换参数。

S42：根据变换参数，变换多个第二特征点，以得到第三图像。

其中，如图5所示，获取变换参数后，移动终端根据该变换参数对第二图像上的第二特征点进行变换，然后将变换后的多个第二特征点组合得到第三图像。

S43：根据第一图像和至少一个第三图像，合成包括多帧图像的视频或动态图像。

其中，对多个第二图像进行变换后，移动终端得到第一图像和至少一个第三图像。移动终端进而将第一图像和至少一个第三图像合成包括多帧图像的视频或动态图像。

在本实施例中，根据变换参数，移动终端将第二图像变换为第三图像，并将第一图像和至少一个第三图像合成包括多帧图像的视频或动态图像，从而降低了用户拍摄序列照片的门槛，能够通过本实施例的图像对齐方法解决序列图像的抖动问题，提升合成视频或动态图像的质量。

为实现上述图像对齐方法，本申请还提供了一种移动终端，具体请参见图6，图6是本申请移动终端一实施例的结构示意图。

移动终端100为上述实施例所揭示的可用于拍摄图像的移动终端，如图6所示，移动终端100包括处理器11以及与处理器11耦接的存储器12、摄像头模组13。

其中，摄像头模组13用于获取第一图像和第二图像；

存储器12用于存储程序数据，处理器11用于执行程序数据以实现上述的图像对齐方法。

在本实施例中，处理器11还可以称为CPU(Central Processing Unit，中央处理单元)。处理器11可能是一种集成电路芯片，具有信号的处理能力。处理器11还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器11也可以是任何常规的处理器等。

本申请还提供一种计算机存储介质，如图7所示，计算机存储介质200存储有程序数据，程序数据能够被执行以实现如本申请图像对齐方法实施例中所述的方法。

本申请图像对齐方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。根据这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims

1.一种图像对齐方法，其特征在于，所述图像对齐方法包括：

获取第一图像和至少一张第二图像；

根据所述变换参数对多个所述第二特征点进行处理，以得到第三图像。

2.根据权利要求1所述的图像对齐方法，其特征在于，所述获取第一图像和至少一张第二图像的步骤之后，所述图像对齐方法还包括：

将所述第一图像和所述第二图像进行预处理，其中，预处理包括灰度处理；

所述提取所述第一图像的多个第一特征点和所述第二图像的多个第二特征点的步骤，进一步包括：

根据ORB算法，提取所述第一图像的多个第一特征点和所述第二图像的多个第二特征点。

3.根据权利要求2所述的图像对齐方法，其特征在于，所述第一特征点包括坐标数据；所述提取所述第一图像的多个第一特征点的步骤，进一步包括：

根据所述第一特征点的坐标数据，获取所述第一特征点的定义矩数据、质心数据和主方向数据。

4.根据权利要求3所述的图像对齐方法，其特征在于，所述图像对齐方法还包括：

根据所述第一特征点的坐标数据，获取所述第一特征点的定义矩数据，所述定义矩数据的计算公式为：

其中，M_ij为所述第一特征点的定义矩，(x,y)为所述第一特征点的坐标，I(x,y)为所述第一特征点的坐标函数关系；

所述根据所述第一特征点的坐标数据，获取所述第一特征点的定义矩数据、质心数据和主方向数据的步骤，进一步包括：

根据所述第一特征点的定义矩数据，获取所述第一特征点的质心数据，所述质心数据的计算公式为：

其中，c_x为所述质心的横坐标，c_y为所述质心的纵坐标；

根据所述第一特征点的质心数据，获取所述第一特征点的主方向数据，所述主方向数据的计算公式为：

其中，c_ori为所述第一特征点的主方向数据。

5.根据权利要求3所述的图像对齐方法，其特征在于，所述获取所述第二特征点与所述第一特征点的置信度，筛选出所述置信度位于预设置信度范围的第二特征点的步骤，进一步包括：

获取与所述第一特征点的定义矩数据、质心数据和主方向数据相关的预设条件，并获取满足所述预设条件的多个所述第二特征点。

6.根据权利要求5所述的图像对齐方法，其特征在于，所述获取与所述第一特征点的定义矩数据、质心数据和主方向数据相关的预设条件，并获取满足所述预设条件的多个所述第二特征点的步骤之后，进一步包括：

遍历多个所述第二特征点，获取所述第二特征点与所述第一特征点的距离，在所述距离位于预设距离范围内时，筛选出对应的第二特征点。

7.根据权利要求1所述的图像对齐方法，其特征在于，所述根据所述第一特征点和所述相关第二特征点获取变换参数，进一步包括：

根据至少三组所述第一特征点和所述相关第二特征点获取所述变换参数，所述变换参数的计算公式为：

其中，为所述变换参数，x为所述第一特征点的横坐标，y为所述第一特征点的纵坐标，x’为所述第二特征点的横坐标，y’为所述第二特征点的纵坐标。

8.根据权利要求1所述的图像对齐方法，其特征在于，所述根据所述变换参数，变换多个所述第二特征点，以得到第三图像的步骤之后，所述图像对齐方法还包括：

根据所述第一图像和至少一张所述第三图像，合成包括多帧图像的视频或动态图像。

9.一种移动终端，其特征在于，所述移动终端包括处理器以及与所述处理器耦接的存储器、摄像头模组；

所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-8中任一项所述的图像对齐方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1-8中任一项所述的图像对齐方法。