CN110930440B - 图像对齐方法、装置、存储介质及电子设备 - Google Patents
图像对齐方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN110930440B CN110930440B CN201911252973.3A CN201911252973A CN110930440B CN 110930440 B CN110930440 B CN 110930440B CN 201911252973 A CN201911252973 A CN 201911252973A CN 110930440 B CN110930440 B CN 110930440B
- Authority
- CN
- China
- Prior art keywords
- image
- alignment
- vector
- translation
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 239000013598 vector Substances 0.000 claims abstract description 253
- 238000013519 translation Methods 0.000 claims abstract description 115
- 230000014616 translation Effects 0.000 claims description 113
- 238000012545 processing Methods 0.000 claims description 65
- 238000005070 sampling Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 238000011282 treatment Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 16
- 239000002131 composite material Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种图像对齐方法、装置、存储介质及电子设备，其中图像对齐方法包括：获取同一拍摄场景的第一图像和第二图像；基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量；获取当前图像流中上一帧图像的历史对齐向量；确定所述历史对齐向量与所述对齐向量的共同参考方向，计算所述对齐向量在所述共同参考方向上的对齐分量；按照所述对齐分量，控制所述第二图像相对于所述第一图像进行第二叠加平移，以将所述第二图像与所述第一图像对齐。本实施例提供的图像对齐方案，可以保证图像流每相邻两次第二对齐处理的叠加移动方向相近或相同，防止图像流抖动。
Description
技术领域
本申请属于图像技术领域，尤其涉及一种图像对齐方法、装置、存储介质及电子设备。
背景技术
相比于普通的视频，由高动态范围(High-Dynamic Range，简称HDR)的合成图像构成的视频可以提供更多的动态范围和图像细节。对于视频中的每帧高动态范围的合成图像，在由同一拍摄场景的两帧图像进行合成处理前，需要对两帧图像进行对齐处理。
相关技术中，对于视频中的每帧高动态范围的合成图像，在由同一拍摄场景的两帧图像进行合成处理前，基于仿射变换矩阵对两帧图像进行对齐处理。该种对齐方式可能出现视频中相邻两帧合成图像的对齐方向相异或相反，导致视频发生抖动。
发明内容
本申请实施例提供一种图像对齐方法、装置、存储介质及电子设备，可以保证图像流每相邻两次第二对齐处理的叠加移动方向相近或相同，防止图像流抖动。
第一方面，本申请实施例提供一种图像对齐方法，包括：
获取同一拍摄场景的第一图像和第二图像；
基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量；
获取当前图像流中上一帧图像的历史对齐向量；
确定所述历史对齐向量与所述对齐向量的共同参考方向，计算所述对齐向量在所述共同参考方向上的对齐分量；
按照所述对齐分量，控制所述第二图像相对于所述第一图像进行第二叠加平移，以将所述第二图像与所述第一图像对齐。
第二方面，本申请实施例提供一种图像对齐装置，包括：
第一获取模块，用于获取同一拍摄场景的第一图像和第二图像；
第一处理模块，用于基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量；
第二获取模块，用于获取当前图像流中上一帧图像的历史对齐向量；
第一确定模块，用于确定所述历史对齐向量与所述对齐向量的共同参考方向，计算所述对齐向量在所述共同参考方向上的对齐分量；
第二处理模块，用于按照所述对齐分量，控制所述第二图像相对于所述第一图像进行第二叠加平移，以将所述第二图像与所述第一图像对齐。
第三方面，本申请实施例提供的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请任一实施例提供的图像对齐方法。
第四方面，本申请实施例提供的电子设备，包括处理器和存储器，所述存储器有计算机程序，所述处理器通过调用所述计算机程序，用于执行如本申请任一实施例提供的图像对齐方法。
本申请实施例提供的图像对齐方案，在确定对齐向量之后，电子设备不是按照对齐向量对第二图像进行第二叠加移动，而是获取当前图像流中上一帧图像的历史对齐向量，确定历史对齐向量与对齐向量的共同参考方向，然后按照对齐向量在共同参考方向上的对齐分量对第二图像进行第二叠加移动，可以保证图像流每相邻两次第二对齐处理的叠加移动方向相近或相同，防止图像流抖动。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的图像对齐方法的第一流程示意图。
图2是本申请实施例提供的当前图像流的拍摄示意图。
图3是本申请实施例提供的共同参考方向的确定示意图。
图4是本申请实施例提供的第二叠加平移示意图。
图5是本申请实施例提供的图像对齐方法的第二流程示意图。
图6是本申请实施例提供的多次叠加平移的示意图。
图7是本申请实施例提供的图像对齐方法的第三流程示意图。
图8是本申请实施例提供的图像对齐方法中图像下采样示意图。
图9是本申请实施例提供的第一叠加平移示意图。
图10是本申请实施例提供的图像对齐方法的第四流程示意图。
图11是本申请实施例提供的图像对齐装置的结构示意图。
图12是本申请实施例提供的电子设备的第一结构示意图。
图13是本申请实施例提供的图像处理电路的结构示意图。
图14是本申请实施例提供的电子设备的第二结构示意图。
具体实施方式
以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。本文所使用的术语「模块」可看做为在该运算***上执行的软件对象。本文不同模块、引擎及服务可看做为在该运算***上的实施对象。
本申请实施例提供一种图像对齐方法，该图像对齐方法的执行主体可以是本申请实施例提供的图像对齐装置，或者集成了该图像对齐装置的电子设备。其中，电子设备包括摄像组件，该摄像组件包括至少一个摄像头。该电子设备可以是智能手机、平板电脑、掌上电脑(PDA，Personal Digital Assistant)等。
以下进行具体分析说明。
请参阅图1，图1为本申请实施例提供的图像对齐方法的第一流程示意图，该图像对齐方法可以包括以下步骤：
101、获取同一拍摄场景的第一图像和第二图像。
在一些拍摄模式下，例如连拍、录像、延时摄影等拍摄模式，电子设备需要连续输出多帧图像以构成图像流。图像流中的每一帧图像都可以采用多帧原始图像进行合成得到。
图像流中的每一帧图像对应的原始图像都可以按照本申请实施例的方案进行图像对齐处理。
例如，电子设备可以通过一个或多个摄像头获取同一拍摄场景的多帧待处理图像，从该多帧待处理图像中选取任意一帧图像(或者选择清晰度最高的一帧图像)作为参考图像，记为第一图像，剩余图像(或者将剩余图像中清晰度较好的一帧或多帧图像)作为待对齐图像，记为第二图像。其中，该方案中每个摄像头曝光一次可得到一帧图像。
其中，第一图像和第二图像呈现的是同一拍摄场景，且第一图像和第二图像的尺寸相同。该方案中的拍摄场景是指用户通过摄像头所要拍摄的场景，即摄像头所对准的场景即为拍摄场景。需要说明的是，本申请实施例中拍摄场景并非特指某一特定场景，而是跟随摄像头的指向所实时对准的场景。
102、基于多个预设向量将第二图像相对于第一图像进行第一叠加平移，以确定对齐向量。
本申请实施例中，在获取同一拍摄场景的第一图像和第二图像之后，电子设备可以基于多个预设向量将第二图像相对于第一图像进行一次第一叠加平移，得到对齐向量。或者，电子设备也可以基于多个预设向量将经过预处理的第二图像相对于经过预处理的第一图像进行多次第一叠加平移，得到对齐向量。
其中，预处理可以包括至少一次下采样处理，预处理还可以包括二值化处理。多个预设向量预先设置在电子设备中，且多个预设向量具有不同的方向。需要说明的是，在对第一图像进行二值化处理以及下采样处理时，电子设备可以先对第一图像进行二值化处理，再对二值化处理得到的图像进行下采样处理。电子设备也可以先对第一图像进行下采样处理，再对下采样处理得到的图像进行二值化处理。
其中，第一叠加平移是指将第二图像相对于第一图像分别按照多个预设向量进行平移，并在每次平移后，获取第二图像与第一图像之间的重叠部分的像素点的像素值差异，基于获取每次平移后的结果确定出对齐向量。
103、获取当前图像流中上一帧图像的历史对齐向量。
本申请实施例中，在得到对齐向量之后，电子设备可以获取当前图像流中上一帧图像的历史对齐向量。其中，历史对齐向量是当前图像流中上一帧图像在使用多帧待处理图像进行图像对齐操作所确定出的对齐向量。
例如，请参阅图2，图2为本申请实施例提供的当前图像流的拍摄示意图。电子设备曝光得到3帧曝光参数为0EV、-1EV和1EV的图像，作为本次对齐处理的待处理图像，例如，将0EV图像作为第一图像，将剩余的-1EV图像和1EV图像作为第二图像。对于曝光时间为Ti的0EV图像和曝光时间为Ti的-1EV图像，电子设备在得到曝光时间为Ti的-1EV图像和0EV图像的对齐向量后，获取的当前图像流中上一帧图像的历史对齐向量，是指曝光时间为Ti-1的-1EV图像在与0EV图像进行对齐时平移的向量。其中，i是大于1的正整数。同理，对于曝光时间为Ti的0EV图像和曝光时间为Ti的1EV图像，当前图像流中上一帧图像的历史对齐向量，是指曝光时间为Ti-1的1EV图像在与0EV图像进行对齐时平移的向量。
可以理解的是，作为一种例外情况，对于图像流(例如视频流)中的第一帧图像，不存在上一帧图像，因此，在102中计算出对齐向量之后，直接按照对齐向量控制第二图像相对于第一图像进行第二叠加平移，以将第二图像与第一图像对齐。
104、确定历史对齐向量与对齐向量的共同参考方向，计算对齐向量在共同参考方向上的对齐分量。
本申请实施例中，在获取当前图像流中上一帧图像的历史对齐向量之后，电子设备可以从一个或多个预设方向中确定历史对齐向量对应的预设方向，以及对齐向量对应的预设方向，将历史对齐向量和对齐向量都对应的预设方向作为共同参考方向，然后计算对齐向量在共同参考方向上的对齐分量。其中，一个或多个预设方向预先设置在电子设备中。对于预设方向的朝向，本申请实施例不作具体限定。需要说明的是，共同参考方向可以是一个或多个。
例如，请参阅图3，图3为本申请实施例提供的共同参考方向的确定示意图。电子设备设置有4个预设方向，记为：N方向、S方向、E方向、W方向，在二维平面上，上述四个方向中任意相邻的两个方向之间的夹角为90°。电子设备得到的对齐向量是P2，获取的历史对齐向量是P1。电子设备可以从4个预设方向中确定对齐向量P2对应的预设方向是N方向和E方向，历史对齐向量P1对应的预设方向是N方向和W方向，将历史对齐向量P1和对齐向量P2都对应的N方向作为共同参考方向。然后，电子设备可以计算对齐向量P2在共同参考方向上的对齐分量Y1。其中，若向量在预设方向上的分量大于0，则将该预设方向作为与向量对应的方向。
需要说明的是，当共同参考方向有多个时，多个对齐分量的合并向量是对齐向量。
105、按照对齐分量，控制第二图像相对于第一图像进行第二叠加平移，以将第二图像与第一图像对齐。
本申请实施例中，在计算对齐向量在共同参考方向上的对齐分量之后，电子设备可以控制第二图像与第一图像重合，然后按照对齐分量控制第二图像相对于第一图像进行平移，即按照对齐分量控制第二图像相对于第一图像进行第二叠加平移，从而实现第二图像与第一图像的对齐。
例如，请参阅图4，图4为本申请实施例提供的第二叠加平移示意图。其中，图像L1作为第一图像，图像L2作为第二图像，根据图像L1和图像L2得到的对齐分量是
电子设备在按照对齐分量/>
控制图像L2相对于图像L1进行第二叠加平移时，先将图像L2与图像L1重合，然后按照对齐分量/>
控制图像L2相对于图像L1进行平移，即平移后的图像L2与图像L1对齐。
由上可知，本申请实施例提供的图像对齐方法，在确定对齐向量之后，电子设备不是按照对齐向量对第二图像进行第二叠加移动，而是获取当前图像流中上一帧图像的历史对齐向量，确定历史对齐向量与对齐向量的共同参考方向，然后按照对齐向量在共同参考方向上的对齐分量对第二图像进行第二叠加移动，可以保证图像流每相邻两次第二对齐处理的叠加移动方向相近或相同，防止图像流抖动。
请参阅图5，图5为本申请实施例提供的图像对齐方法的第二流程示意图，该图像对齐方法可以包括以下步骤：
201、获取同一拍摄场景的第一图像和第二图像。
本申请实施例中，在连拍或录像过程中，电子设备可以通过一个或多个摄像头获取同一拍摄场景的第一图像和第二图像。
其中，第一图像是图像对齐处理的参考图像，第一图像是一帧图像。第二图像是图像对齐处理的待处理图像，第二图像可以是一帧或多帧图像。第一图像和第二图像呈现的是同一拍摄场景，且第一图像和第二图像的尺寸相同。该方案中的拍摄场景是指用户通过摄像头所要拍摄的场景，即摄像头所对准的场景即为拍摄场景。需要说明的是，本申请实施例中拍摄场景并非特指某一特定场景，而是跟随摄像头的指向所实时对准的场景。
202、分别按照多个预设向量，将第二图像相对于第一图像进行多次叠加平移。
本申请实施例中，在获取同一拍摄场景的第一图像和第二图像之后，电子设备可以在第二图像与第一图像重合的基础上，分别按照多个预设向量将第二图像相对于第一图像进行多次平移。其中，预设向量预先设置在电子设备中。一个预设向量具有方向和大小，对于预设向量的大小本申请实施例不作具体限定，如大小可为一个像素。任意两个预设向量的方向不同，大小相同。在每次第二图像平移前，第二图像都是与第一图像重合。
例如，请参阅图6，图6为本申请实施例提供的多次叠加平移的示意图。其中，图像S1作为第一图像，图像S2作为第二图像，电子设备预先设置有四个预设向量，记为：第一预设向量、第二预设向量、第三预设向量以及第四预设向量。电子设备将图像S2与图像S1重合，然后分别按照第一预设向量、第二预设向量、第三预设向量、第四预设向量对图像S2进行平移，即实现图像S2的四次叠加平移。
203、在每次叠加平移后，计算第二图像与第一图像的相关值或非相关值，并将最大相关值或最小非相关值对应的预设向量作为对齐向量。
本申请实施例中，在每次叠加平移后，电子设备可以确定第二图像与第一图像的重叠区域，根据重叠区域计算第二图像与第一图像的相关值或非相关值。按照上述方法，在多次叠加平移后，电子设备可以得到多个相关值或多个非相关值。然后将多个相关值中最大相关值对应的预设向量作为对齐向量，或者将多个非相关值中最小非相关值对应的预设向量作为对齐向量。
例如，请参阅图6，电子设备按照第一预设向量对图像S2进行平移后，可以确定图像S2与图像S1的重叠区域，记为K1K2K3K4区域。然后电子设备在K1K2K3K4区域中统计位置重叠、且灰度值相同的像素点数目，作为相关值G1。同理，电子设备可以得到相关值G2、相关值G3以及相关值G4。最后，电子设备可以将4个相关值中最大相关值对应的预设向量作为对齐向量，如假设4个相关值中最大相关值是相关值G4，那么对齐向量是第四预设向量。
其中，相关值是第二图像与第一图像中灰度值相同、且在位置上重叠的像素点数目。非相关值是第二图像与第一图像中灰度值不同、且在位置上重叠的像素点数目。
需要说明的是，经过一次第一叠加平移得到的对齐向量，是根据多个相关值或多个非相关值从多个预设向量中筛选的某一个预设向量。
在一些实施例中，在计算第二图像与第一图像的相关值或非相关值时，电子设备可以对叠加平移后的第二图像与第一图像的重叠区域进行异或操作；根据异或操作结果，计算叠加平移后的第二图像与第一图像的相关值或非相关值。其中，异或操作是指在重叠位置上的两像素点的灰度值相同为假，记为0；相异为真，记为1。
204、获取当前图像流中上一帧图像的历史对齐向量。
本申请实施例中，在得到对齐向量之后，电子设备可以获取当前图像流中上一帧图像的历史对齐向量。其中，历史对齐向量是当前图像流中上一帧历史第二图像在与上一帧历史第一图像进行对齐时平移的向量。
205、确定历史对齐向量与对齐向量的共同参考方向，计算对齐向量在共同参考方向上的对齐分量。
本申请实施例中，在获取当前图像流中上一帧图像的历史对齐向量之后，电子设备可以从一个或多个预设方向中确定历史对齐向量对应的预设方向，以及对齐向量对应的预设方向，将历史对齐向量和对齐向量都对应的预设方向作为共同参考方向，然后计算对齐向量在共同参考方向上的对齐分量。其中，一个或多个预设方向预先设置在电子设备中。对于预设方向的朝向，本申请实施例不作具体限定。需要说明的是，共同参考方向可以是一个或多个。
在一些实施例中，确定历史对齐向量与对齐向量的共同参考方向之后，电子设备可以确定共同参考方向的数量；当共同参考方向有一个时，执行计算对齐向量在共同参考方向上的对齐分量；当共同参考方向有多个时，按照对齐向量，控制第二图像相对于第一图像进行第二叠加平移，以将第二图像与第一图像对齐。
206、按照对齐分量，控制第二图像相对于第一图像进行第二叠加平移，以将第二图像与第一图像对齐。
本申请实施例中，在计算对齐向量在共同参考方向上的对齐分量之后，电子设备可以控制第二图像与第一图像重合，然后按照对齐分量控制第二图像相对于第一图像进行平移，即按照对齐分量控制第二图像相对于第一图像进行第二叠加平移，从而实现第二图像与第一图像的对齐。
207、将对齐后的第一图像和第二图像进行合成处理，得到具有高动态范围的合成图像。
本申请实施例中，在将第二图像与第一图像对齐后，将对齐后的第一图像和第二图像进行合成处理，得到具有高动态范围的合成图像。其中，图像的动态范围是指图像的明暗差别。
在一些实施例中，当前拍摄模式为录像模式，获取当前图像流中上一帧图像的历史对齐向量时，电子设备可以获取当前视频流中上一视频帧的历史对齐向量。得到具有高动态范围的合成图像之后，电子设备可以对合成图像进行视频编码处理，得到拍摄场景对应的视频。
请参阅图7，图7为本申请实施例提供的图像对齐方法的第三流程示意图，该图像对齐方法可以包括以下步骤：
301、获取同一拍摄场景的第一图像和第二图像。
本申请实施例中，在连拍或录像过程中，电子设备可以通过一个或多个摄像头获取同一拍摄场景的第一图像和第二图像。其中，第一图像是图像对齐处理的参考图像，第一图像是一帧图像。第二图像是图像对齐处理的待处理图像，第二图像可以是一帧或多帧图像。第一图像和第二图像呈现的是同一拍摄场景，且第一图像和第二图像的尺寸相同。
302、按照一种或多种预设采样倍数，对第一图像进行一次或连续多次下采样处理，得到一种或多种尺寸的第三图像，对第二图像进行一次或连续多次下采样处理，得到一种或多种尺寸的第四图像。
本申请实施例中，在获取第一图像和第二图像之后，电子设备可以将按照一种预设采样倍数，对第一图像进行一次下采样处理，得到一种第三图像，以及对第二图像进行一次下采样处理，得到一种第四图像。或者，电子设备按照多种预设采样倍数，对第一图像进行连续多次下采样处理，得到多种尺寸的第三图像，以及对第二图像进行连续多次下采样处理，得到多种尺寸的第四图像。
其中，该方案的预设采样倍数预先设置在电子设备中。多个预设采样倍数各不相同。需要说明的是，假设采样倍数是4，在对像素分辨率为2048×1536的图像进行下采样处理后，得到像素分辨率为512×384的图像。
在一些实施例中，在按照一种或多种预设采样倍数，对第一图像进行一次或连续多次下采样处理前，电子设备可以先对第一图像进行高斯滤波处理。同理，对第二图像进行一次或连续多次下采样处理前，电子设备也可以先对第二图像进行高斯滤波处理。
303、按照尺寸由小至大的顺序，基于上一种尺寸的第四图像和第三图像的第一叠加平移的结果，对下一种尺寸的第四图像和第三图像进行第一叠加平移，直至得到所述第二图像相对于所述第一图像的对齐向量，其中，在对各尺寸的第四图像和第三图像进行第一叠加平移时，基于多个预设向量进行多次叠加平移以得到所述结果。
其中，在将第四图像相对于第三图像进行第一叠加平移时，执行如下流程：
a、分别按照多个预设向量，将第四图像相对于第三图像进行多次叠加平移；
b、在每次叠加平移后，计算第四图像与第三图像的相关值或非相关值，并将最大相关值或最小非相关值对应的预设向量，作为本次第一叠加平移的偏移向量。
请参阅图8，图8为本申请实施例提供的图像对齐方法中图像下采样示意图。电子设备按照采样倍数m1对第一图像和第二图像(记为图像H1和图像H2)进行下采样处理，得到一种尺寸的第三图像和第四图像，记为图像H3和图像H4。以及按照采样倍数m2对图像H3和图像H4进行下采样处理，得到又一种尺寸的第三图像和第四图像，记为图像H5和图像H6。
电子设备在图像H5与图像H6重合的基础上，将图像H6相对于图像H5进行第一叠加平移以得到第一个偏移向量，如图9所示，图9为本申请实施例提供的第一叠加平移示意图，第一个偏移向量的大小为1，方向向右。
然后在图像H4与图像H3位置重合的基础上，电子设备根据前次第一叠加平移的结果，先按照第一个偏移向量的方向，将图像H4相对于图像H3平移m2，再将图像H4相对于图像H3进行第一叠加平移得到第二个偏移向量，如图9所示，第二个偏移向量的大小为1，方向向下。
接着在图像H1与图像H2位置重合的基础上，电子设备根据前次第一叠加平移的结果，先按照第二个偏移向量的方向将图像H2相对于图像H1平移m1，以及按照第一个偏移向量的方向将图像H2相对于图像H1平移m1×m2，再将图像H2相对于图像H1进行第一叠加平移得到第三个偏移向量，如图9所示，第三个偏移向量的大小为1，方向向右。
304、根据一种或多种预设采样倍数，合并多次第一叠加平移对应的预设向量，得到对齐向量。
本申请实施例中，在第二图像相对于第一图像进行第一叠加平移后，对于每一种尺寸的第四图像相对于第三图像进行第一叠加平移得到的偏移向量，电子设备可以将小于该尺寸的预设采样倍数乘积与该偏移向量相乘，然后将相乘后得到的向量与第二图像相对于第一图像进行的第一叠加平移得到的偏移向量相加，得到对齐向量。其中，第一叠加平移对应的预设向量是指第一叠加平移得到的偏移向量。
例如，如图9所示，在第二图像相对于第一图像进行第一叠加平移后，即图像H2相对于图像H1进行第一叠加平移后，得到第三个偏移向量，电子设备可以按照下述公式进行计算，得到对齐向量：对齐向量＝m1×m2×第一个偏移向量+m1×第二个偏移向量+第三个偏移向量。
305、获取当前图像流中上一帧图像的历史对齐向量。
本申请实施例中，在得到对齐向量之后，电子设备可以获取当前图像流中上一帧图像的历史对齐向量。其中，历史对齐向量是当前图像流中上一帧历史第二图像在与上一帧历史第一图像进行对齐时平移的向量。
306、确定历史对齐向量与对齐向量的共同参考方向，计算对齐向量在共同参考方向上的对齐分量。
本申请实施例中，在获取当前图像流中上一帧图像的历史对齐向量之后，电子设备可以从一个或多个预设方向中确定历史对齐向量对应的预设方向，以及对齐向量对应的预设方向，将历史对齐向量和对齐向量都对应的预设方向作为共同参考方向，然后计算对齐向量在共同参考方向上的对齐分量。其中，一个或多个预设方向预先设置在电子设备中。对于预设方向的朝向，本申请实施例不作具体限定。需要说明的是，共同参考方向可以是一个或多个。
307、按照对齐分量，控制第二图像相对于第一图像进行第二叠加平移，以将第二图像与第一图像对齐。
本申请实施例中，在计算对齐向量在共同参考方向上的对齐分量之后，电子设备可以控制第二图像与第一图像重合，然后按照对齐分量控制第二图像相对于第一图像进行平移，即按照对齐分量控制第二图像相对于第一图像进行第二叠加平移，从而实现第二图像与第一图像的对齐。
请参阅图10，图10为本申请实施例提供的图像对齐方法的第四流程示意图，该图像对齐方法可以包括以下步骤：
401、获取同一拍摄场景的第一图像和第二图像。
本申请实施例中，在连拍或录像过程中，电子设备可以通过一个或多个摄像头获取同一拍摄场景的第一图像和第二图像。其中，第一图像是图像对齐处理的参考图像，第一图像是一帧图像。第二图像是图像对齐处理的待处理图像，第二图像可以是一帧或多帧图像。第一图像和第二图像呈现的是同一拍摄场景，且第一图像和第二图像的尺寸相同。
402、对第一图像二值化处理，得到第一二值化图像，对第二图像二值化处理，得到第二二值化图像。
其中，二值化图像中只存在黑色像素点和白色像素点，即二值化图像中像素点的灰度值只存在两种情况：1或0。
在一些实施例中，对第一图像二值化处理，得到第一二值化图像时，电子设备可以获取第一图像中像素点的灰度中位值；将第一图像中灰度值大于灰度中位值的像素点的灰度设置为一，将第一图像中灰度值小于或等于灰度中位值的像素点的灰度设置为零，得到第一二值化图像。同理，电子设备可以按照上述方法获取第二二值化图像。
在一些实施例中，对第一图像二值化处理，得到第一二值化图像时，电子设备可以获取第一图像中像素点的灰度均值；将第一图像中灰度值大于灰度均值的像素点的灰度设置为一，将第一图像中灰度值小于或等于灰度均值的像素点的灰度设置为零，得到第一二值化图像。同理，电子设备可以按照上述方法获取第二二值化图像。需要说明的是，相比于基于灰度中位值的二值化处理方法，基于灰度均值的二值化处理方法，可以节省计算量，提高处理速度。
403、基于多个预设向量将第二二值化图像相对于第一二值化图像进行第一叠加平移，以确定对齐向量。
其中，在基于多个预设向量将第二二值化图像相对于第一二值化图像进行第一叠加平移，以确定对齐向量时，执行如下流程：
c、按照一种或多种预设采样倍数，对第一二值化图像进行一次或连续多次下采样处理，得到一种或多种尺寸的第五图像，对第二二值化图像进行一次或连续多次下采样处理，得到一种或多种尺寸的第六图像。
d、按照尺寸由小至大的顺序，基于上一种尺寸的第六图像和第五图像的第一叠加平移的结果，对下一种尺寸的第六图像和第五图像进行第一叠加平移，直至得到所述第二图像相对于所述第一图像的对齐向量，其中，在对各尺寸的第六图像和第五图像进行第一叠加平移时，基于多个预设向量进行多次叠加平移以得到所述结果。
e、根据一种或多种预设采样倍数，合并多次第一叠加平移对应的预设向量，得到对齐向量。
需要说明的是，上述流程与上文实施例中流程仅是实施对象不同，因此其具体实现过程可参见上文实施例，此处不再赘述。
404、获取当前图像流中上一帧图像的历史对齐向量。
本申请实施例中，在得到对齐向量之后，电子设备可以获取当前图像流中上一帧图像的历史对齐向量。其中，历史对齐向量是当前图像流中上一帧历史第二图像在与上一帧历史第一图像进行对齐时平移的向量。
405、确定历史对齐向量与对齐向量的共同参考方向，计算对齐向量在共同参考方向上的对齐分量。
本申请实施例中，在获取当前图像流中上一帧图像的历史对齐向量之后，电子设备可以从一个或多个预设方向中确定历史对齐向量对应的预设方向，以及对齐向量对应的预设方向，将历史对齐向量和对齐向量都对应的预设方向作为共同参考方向，然后计算对齐向量在共同参考方向上的对齐分量。其中，一个或多个预设方向预先设置在电子设备中。对于预设方向的朝向，本申请实施例不作具体限定。需要说明的是，共同参考方向可以是一个或多个。
406、按照对齐分量，控制第二图像相对于第一图像进行第二叠加平移，以将第二图像与第一图像对齐。
本申请实施例中，在计算对齐向量在共同参考方向上的对齐分量之后，电子设备可以控制第二图像与第一图像重合，然后按照对齐分量控制第二图像相对于第一图像进行平移，即按照对齐分量控制第二图像相对于第一图像进行第二叠加平移，从而实现第二图像与第一图像的对齐。
请参阅图11，图11为本申请实施例提供的图像对齐装置的结构示意图。图像对齐装置500可以包括：第一获取模块501、第一处理模块502、第二获取模块503、第一确定模块504、第二处理模块505。
第一获取模块501，用于获取同一拍摄场景的第一图像和第二图像；
第一处理模块502，用于基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量；
第二获取模块503，用于获取当前图像流中上一帧图像的历史对齐向量；
第一确定模块504，用于确定所述历史对齐向量与所述对齐向量的共同参考方向，计算所述对齐向量在所述共同参考方向上的对齐分量；
第二处理模块505，用于按照所述对齐分量，控制所述第二图像相对于所述第一图像进行第二叠加平移，以将所述第二图像与所述第一图像对齐。
在一些实施例中，获取同一拍摄场景的第一图像和第二图像之后，图像对齐装置500还可以包括：
第三处理模块，用于对所述第一图像二值化处理，得到第一二值化图像，对所述第二图像二值化处理，得到第二二值化图像；
基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量时，第一处理模块502还用于：
基于多个预设向量将所述第二二值化图像相对于所述第一二值化图像进行第一叠加平移，以确定对齐向量。
在一些实施例中，对所述第一图像二值化处理，得到第一二值化图像时，所述第三处理模块可以用于：
获取所述第一图像中像素点的灰度均值；
将所述第一图像中灰度值大于所述灰度均值的像素点的灰度设置为一，将所述第一图像中灰度值小于或等于所述灰度均值的像素点的灰度设置为零，得到第一二值化图像。
在一些实施例中，基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量时，第一处理模块502可以用于：
分别按照多个预设向量，将所述第二图像相对于所述第一图像进行多次叠加平移；
在每次叠加平移后，计算所述第二图像与所述第一图像的相关值或非相关值，并将最大相关值或最小非相关值对应的预设向量作为对齐向量。
在一些实施例中，计算所述第二图像与所述第一图像的相关值或非相关值时，第一处理模块502可以用于：
对叠加平移后的第二图像与第一图像的重叠区域进行异或操作；
根据异或操作结果，计算叠加平移后的第二图像与第一图像的相关值或非相关值。
在一些实施例中，基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量时，第一处理模块502可以用于：
按照一种或多种预设采样倍数，对所述第一图像进行一次或连续多次下采样处理，得到一种或多种尺寸的第三图像，对所述第二图像进行一次或连续多次下采样处理，得到一种或多种尺寸的第四图像；
按照尺寸由小至大的顺序，基于上一种尺寸的第四图像和第三图像的第一叠加平移的结果，对下一种尺寸的第四图像和第三图像进行第一叠加平移，直至得到所述第二图像相对于所述第一图像的对齐向量，其中，在对各尺寸的第四图像和第三图像进行第一叠加平移时，基于多个预设向量进行多次叠加平移以得到所述结果；
根据一种或多种预设采样倍数，合并多次第一叠加平移对应的预设向量，得到所述对齐向量。
在一些实施例中，确定所述历史对齐向量与所述对齐向量的共同参考方向之后，图像对齐装置500还可以包括：
第二确定模块，用于确定所述共同参考方向的数量；
第四处理模块，用于当所述共同参考方向有多个时，按照所述对齐向量，控制所述第二图像相对于所述第一图像进行第二叠加平移，以将所述第二图像与所述第一图像对齐；
当所述共同参考方向有一个时，第一确定模块504执行所述计算所述对齐向量在所述共同参考方向上的对齐分量。
在一些实施例中，得到与所述第一图像对齐的第二图像之后，图像对齐装置500还可以包括：
第五处理模块，用于将对齐后的第一图像和第二图像进行合成处理，得到具有高动态范围的合成图像。
在一些实施例中，当前拍摄模式为录像模式，获取当前图像流中上一帧图像的历史对齐向量时，第二获取模块503可以用于：
获取当前视频流中上一视频帧的历史对齐向量；
得到具有高动态范围的合成图像之后，图像对齐装置500还可以包括：
第六处理模块，用于对所述合成图像进行视频编码处理，得到所述拍摄场景对应的视频。
由上述可知，本申请实施例提供的图像对齐装置，第一获取模块501获取同一拍摄场景的第一图像和第二图像，第一处理模块502基于多个预设向量将第二图像相对于第一图像进行第一叠加平移，以确定对齐向量，第二获取模块503获取当前图像流中上一帧图像的历史对齐向量，第一确定模块504确定历史对齐向量与对齐向量的共同参考方向，计算对齐向量在共同参考方向上的对齐分量，第二处理模块505按照对齐分量，控制第二图像相对于第一图像叠加移动，以进行第二对齐处理，得到与第一图像对齐的第二图像，可以保证图像流每相邻两次第二对齐处理的叠加移动方向相近或相同，防止图像流抖动。
本申请实施例还提供一种电子设备，请参阅图12，图12为本申请实施例提供的电子设备的第一结构示意图。电子设备600包括处理器601、存储器602、以及摄像组件603。其中，处理器601与存储器602、摄像组件603电性连接。
处理器601是电子设备600的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器602内的计算机程序，以及调用存储在存储器602内的数据，执行电子设备600的各种功能并处理数据，从而对电子设备600进行整体监控。
存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的计算机程序等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
摄像组件603可以包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括：摄像头、图像信号处理器(Image Signal Processor，ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息，并提供可由图像信号处理器处理的一组原始图像数据。
图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。
图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像存储器的图像数据时，图像信号处理器可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器，以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，图像信号处理器的输出还可发送给图像存储器，且显示器可从图像存储器读取图像数据。在一种实施方式中，图像存储器可被配置为实现一个或多个帧缓冲器。
图像信号处理器确定的统计数据可发送给控制逻辑器。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。
控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据，确定摄像头的控制参数以及ISP控制参数。例如，摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵等。
请参阅图13，图13为本申请实施例提供的图像处理电路的结构示意图。如图13所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。
例如图像处理电路可以包括：摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中，摄像头可以包括一个或多个透镜和图像传感器。在一些实施例中，摄像头可为长焦摄像头或广角摄像头中的任一者。
摄像头采集的第一图像传输给图像信号处理器进行处理。图像信号处理器处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数，从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外，第一图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。
在本申请实施例中，电子设备600中的处理器601会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器602中，并由处理器601运行存储在存储器602中的计算机程序，从而实现各种功能，如下：
获取同一拍摄场景的第一图像和第二图像；
基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量；
获取当前图像流中上一帧图像的历史对齐向量；
确定所述历史对齐向量与所述对齐向量的共同参考方向，计算所述对齐向量在所述共同参考方向上的对齐分量；
按照所述对齐分量，控制所述第二图像相对于所述第一图像进行第二叠加平移，以将所述第二图像与所述第一图像对齐。
请一并参阅图14，图14为本申请实施例提供的电子设备的第二结构示意图。在某些实施方式中，电子设备700还可以包括：显示器704以及电源705。其中，显示器704以及电源705分别与处理器701电性连接。
显示器704可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。
电源705可以用于给电子设备700的各个部件供电。在一些实施例中，电源705可以通过电源管理***与处理器701逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
在本申请实施例中，电子设备700中的处理器701会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器702中，并由处理器701运行存储在存储器702中的计算机程序，从而实现各种功能，如下：
获取同一拍摄场景的第一图像和第二图像；
基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量；
获取当前图像流中上一帧图像的历史对齐向量；
确定所述历史对齐向量与所述对齐向量的共同参考方向，计算所述对齐向量在所述共同参考方向上的对齐分量；
按照所述对齐分量，控制所述第二图像相对于所述第一图像进行第二叠加平移，以将所述第二图像与所述第一图像对齐。
在一些实施例中，获取同一拍摄场景的第一图像和第二图像之后，处理器701还可以执行：
对所述第一图像二值化处理，得到第一二值化图像，对所述第二图像二值化处理，得到第二二值化图像；
基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量，处理器701可以执行：
基于多个预设向量将所述第二二值化图像相对于所述第一二值化图像进行第一叠加平移，以确定对齐向量。
在一些实施例中，对所述第一图像二值化处理，得到第一二值化图像时，处理器701可以执行：
获取所述第一图像中像素点的灰度均值；
将所述第一图像中灰度值大于所述灰度均值的像素点的灰度设置为一，将所述第一图像中灰度值小于或等于所述灰度均值的像素点的灰度设置为零，得到第一二值化图像。
在一些实施例中，基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量时，处理器701可以执行：
分别按照多个预设向量，将所述第二图像相对于所述第一图像进行多次叠加平移；
在每次叠加平移后，计算所述第二图像与所述第一图像的相关值或非相关值，并将最大相关值或最小非相关值对应的预设向量作为对齐向量。
在一些实施例中，计算所述第二图像与所述第一图像的相关值或非相关值时，处理器701可以执行：
对叠加平移后的第二图像与第一图像的重叠区域进行异或操作；
根据异或操作结果，计算叠加平移后的第二图像与第一图像的相关值或非相关值。
在一些实施例中，基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量时，处理器701可以执行：
按照一种或多种预设采样倍数，对所述第一图像进行一次或连续多次下采样处理，得到一种或多种尺寸的第三图像，对所述第二图像进行一次或连续多次下采样处理，得到一种或多种尺寸的第四图像；
按照尺寸由小至大的顺序，基于上一种尺寸的第四图像和第三图像的第一叠加平移的结果，对下一种尺寸的第四图像和第三图像进行第一叠加平移，直至得到所述第二图像相对于所述第一图像的对齐向量，其中，在对各尺寸的第四图像和第三图像进行第一叠加平移时，基于多个预设向量进行多次叠加平移以得到所述结果；
根据一种或多种预设采样倍数，合并多次第一叠加平移对应的预设向量，得到所述对齐向量。
在一些实施例中，确定所述历史对齐向量与所述对齐向量的共同参考方向之后，处理器701还可以执行：
确定所述共同参考方向的数量；
当所述共同参考方向有一个时，执行所述计算所述对齐向量在所述共同参考方向上的对齐分量；
当所述共同参考方向有多个时，按照所述对齐向量，控制所述第二图像相对于所述第一图像进行第二叠加平移，以将所述第二图像与所述第一图像对齐。
在一些实施例中，得到与所述第一图像对齐的第二图像之后，处理器701还可以执行：
将对齐后的第一图像和第二图像进行合成处理，得到具有高动态范围的合成图像。
在一些实施例中，当前拍摄模式为录像模式；获取当前图像流中上一帧图像的历史对齐向量时，处理器701可以执行：
获取当前视频流中上一视频帧的历史对齐向量；
得到具有高动态范围的合成图像之后，处理器701还可以执行：
对所述合成图像进行视频编码处理，得到所述拍摄场景对应的视频。
由上可知，本申请实施例提供的电子设备，在确定对齐向量之后，电子设备不是按照对齐向量对第二图像进行第二叠加移动，而是获取当前图像流中上一帧图像的历史对齐向量，确定历史对齐向量与对齐向量的共同参考方向，然后按照对齐向量在共同参考方向上的对齐分量对第二图像进行第二叠加移动，可以保证图像流每相邻两次第二对齐处理的叠加移动方向相近或相同，防止图像流抖动。
本申请实施例还提供一种存储介质，该存储介质存储有计算机程序，当该计算机程序在计算机上运行时，使得该计算机执行上述任一实施例中的图像对齐方法，比如：获取同一拍摄场景的第一图像和第二图像；基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量；获取当前图像流中上一帧图像的历史对齐向量；确定所述历史对齐向量与所述对齐向量的共同参考方向，计算所述对齐向量在所述共同参考方向上的对齐分量；按照所述对齐分量，控制所述第二图像相对于所述第一图像进行第二叠加平移，以将所述第二图像与所述第一图像对齐。
在本申请实施例中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM)、或者随机存取记忆体(Random Access Memory，RAM)等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
需要说明的是，对本申请实施例的图像对齐方法而言，本领域普通测试人员可以理解实现本申请实施例的图像对齐方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如图像对齐方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的图像对齐装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，该存储介质譬如为只读存储器，磁盘或光盘等。
以上对本申请实施例所提供的一种图像对齐方法、装置、存储介质以及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种图像对齐方法，其特征在于，包括：
获取同一拍摄场景的第一图像和第二图像；
基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量；
获取当前图像流中上一帧图像的历史对齐向量，其中，所述当前图像流中第一图像和第二图像的曝光时间为Ti，所述历史对齐向量为曝光时间为Ti-1的第二图像在与曝光时间为Ti-1的第一图像进行对齐时平移的向量，i是大于1的正整数；
确定所述历史对齐向量与所述对齐向量的共同参考方向，计算所述对齐向量在所述共同参考方向上的对齐分量；
按照所述对齐分量，控制所述第二图像相对于所述第一图像进行第二叠加平移，以将所述第二图像与所述第一图像对齐。
2.根据权利要求1所述的图像对齐方法，其特征在于，所述获取同一拍摄场景的第一图像和第二图像之后，还包括：
对所述第一图像二值化处理，得到第一二值化图像，对所述第二图像二值化处理，得到第二二值化图像；
所述基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量，包括：
基于多个预设向量将所述第二二值化图像相对于所述第一二值化图像进行第一叠加平移，以确定对齐向量。
3.根据权利要求2所述的图像对齐方法，其特征在于，所述对所述第一图像二值化处理，得到第一二值化图像，包括：
获取所述第一图像中像素点的灰度均值；
将所述第一图像中灰度值大于所述灰度均值的像素点的灰度设置为一，将所述第一图像中灰度值小于或等于所述灰度均值的像素点的灰度设置为零，得到第一二值化图像。
4.根据权利要求1所述的图像对齐方法，其特征在于，所述基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量，包括：
分别按照多个预设向量，将所述第二图像相对于所述第一图像进行多次叠加平移；
在每次叠加平移后，计算所述第二图像与所述第一图像的相关值或非相关值，并将最大相关值或最小非相关值对应的预设向量作为对齐向量。
5.根据权利要求4所述的图像对齐方法，其特征在于，所述计算所述第二图像与所述第一图像的相关值或非相关值，包括：
对叠加平移后的第二图像与第一图像的重叠区域进行异或操作；
根据异或操作结果，计算叠加平移后的第二图像与第一图像的相关值或非相关值。
6.根据权利要求1所述的图像对齐方法，其特征在于，所述基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量，包括：
按照一种或多种预设采样倍数，对所述第一图像进行一次或连续多次下采样处理，得到一种或多种尺寸的第三图像，对所述第二图像进行一次或连续多次下采样处理，得到一种或多种尺寸的第四图像；
按照尺寸由小至大的顺序，基于上一种尺寸的第四图像和第三图像的第一叠加平移的结果，对下一种尺寸的第四图像和第三图像进行第一叠加平移，直至得到所述第二图像相对于所述第一图像的对齐向量，其中，在对各尺寸的第四图像和第三图像进行第一叠加平移时，基于多个预设向量进行多次叠加平移以得到所述结果；
根据一种或多种预设采样倍数，合并多次第一叠加平移对应的预设向量，得到所述对齐向量。
7.根据权利要求1所述的图像对齐方法，其特征在于，确定所述历史对齐向量与所述对齐向量的共同参考方向之后，还包括：
确定所述共同参考方向的数量；
当所述共同参考方向有一个时，执行所述计算所述对齐向量在所述共同参考方向上的对齐分量；
当所述共同参考方向有多个时，按照所述对齐向量，控制所述第二图像相对于所述第一图像进行第二叠加平移，以将所述第二图像与所述第一图像对齐。
8.根据权利要求1至7任一项所述的图像对齐方法，其特征在于，得到与所述第一图像对齐的第二图像之后，还包括：
将对齐后的第一图像和第二图像进行合成处理，得到具有高动态范围的合成图像。
9.根据权利要求8所述的图像对齐方法，其特征在于，当前拍摄模式为录像模式；所述获取当前图像流中上一帧图像的历史对齐向量，包括：
获取当前视频流中上一视频帧的历史对齐向量；
所述得到具有高动态范围的合成图像之后，还包括：
对所述合成图像进行视频编码处理，得到所述拍摄场景对应的视频。
10.一种图像对齐装置，其特征在于，包括：
第一获取模块，用于获取同一拍摄场景的第一图像和第二图像；
第一处理模块，用于基于多个预设向量将所述第二图像相对于所述第一图像进行第一叠加平移，以确定对齐向量；
第二获取模块，用于获取当前图像流中上一帧图像的历史对齐向量，其中，所述当前图像流中第一图像和第二图像的曝光时间为Ti，所述历史对齐向量为曝光时间为Ti-1的第二图像在与曝光时间为Ti-1的第一图像进行对齐时平移的向量，i是大于1的正整数；
第一确定模块，用于确定所述历史对齐向量与所述对齐向量的共同参考方向，计算所述对齐向量在所述共同参考方向上的对齐分量；
第二处理模块，用于按照所述对齐分量，控制所述第二图像相对于所述第一图像进行第二叠加平移，以将所述第二图像与所述第一图像对齐。
11.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至9任一项所述的图像对齐方法。
12.一种电子设备，包括处理器、存储器，所述存储器有计算机程序，其特征在于，所述处理器通过调用所述计算机程序，用于执行如权利要求1至9任一项所述的图像对齐方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911252973.3A CN110930440B (zh) | 2019-12-09 | 2019-12-09 | 图像对齐方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911252973.3A CN110930440B (zh) | 2019-12-09 | 2019-12-09 | 图像对齐方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110930440A CN110930440A (zh) | 2020-03-27 |
| CN110930440B true CN110930440B (zh) | 2023-06-27 |
Family
ID=69858573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911252973.3A Active CN110930440B (zh) | 2019-12-09 | 2019-12-09 | 图像对齐方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110930440B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111986129B (zh) * | 2020-06-30 | 2024-03-19 | 普联技术有限公司 | 基于多摄图像融合的hdr图像生成方法、设备及存储介质 |
| CN115550570B (zh) * | 2022-01-10 | 2023-09-01 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011176777A (ja) * | 2010-02-25 | 2011-09-08 | Olympus Corp | 画像処理装置及び画像処理方法 |
| CN107527360A (zh) * | 2017-08-23 | 2017-12-29 | 维沃移动通信有限公司 | 一种图像对齐方法及移动终端 |
| CN107851321A (zh) * | 2015-11-30 | 2018-03-27 | 华为技术有限公司 | 图像处理方法和双摄像头*** |
| CN108668087A (zh) * | 2017-03-27 | 2018-10-16 | 展讯通信（上海）有限公司 | 图像对齐方法及装置、移动终端 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8111947B2 (en) * | 2004-06-08 | 2012-02-07 | Canon Kabushiki Kaisha | Image processing apparatus and method which match two images based on a shift vector |
| US9218643B2 (en) * | 2011-05-12 | 2015-12-22 | The Johns Hopkins University | Method and system for registering images |
| US9177360B2 (en) * | 2012-09-11 | 2015-11-03 | Apple Inc. | Automatic image orientation and straightening through image analysis |
| JP6647246B2 (ja) * | 2017-06-28 | 2020-02-14 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム |
-
2019
- 2019-12-09 CN CN201911252973.3A patent/CN110930440B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011176777A (ja) * | 2010-02-25 | 2011-09-08 | Olympus Corp | 画像処理装置及び画像処理方法 |
| CN107851321A (zh) * | 2015-11-30 | 2018-03-27 | 华为技术有限公司 | 图像处理方法和双摄像头*** |
| CN108668087A (zh) * | 2017-03-27 | 2018-10-16 | 展讯通信（上海）有限公司 | 图像对齐方法及装置、移动终端 |
| CN107527360A (zh) * | 2017-08-23 | 2017-12-29 | 维沃移动通信有限公司 | 一种图像对齐方法及移动终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110930440A (zh) | 2020-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107948519B (zh) | 图像处理方法、装置及设备 | |
| CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| KR102279436B1 (ko) | 이미지 처리 방법, 장치 및 기기 | |
| CN108712608B (zh) | 终端设备拍摄方法和装置 | |
| US8885067B2 (en) | Multocular image pickup apparatus and multocular image pickup method | |
| JP6347675B2 (ja) | 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム | |
| CN107911682B (zh) | 图像白平衡处理方法、装置、存储介质和电子设备 | |
| CN107948520A (zh) | 图像处理方法和装置 | |
| CN110536057A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
| CN110349163B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN109194877A (zh) | 图像补偿方法和装置、计算机可读存储介质和电子设备 | |
| CN107704798B (zh) | 图像虚化方法、装置、计算机可读存储介质和计算机设备 | |
| CN108024054A (zh) | 图像处理方法、装置及设备 | |
| CN113170061B (zh) | 图像传感器、成像装置、电子设备、图像处理***及信号处理方法 | |
| CN110198418A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP2013061850A (ja) | ノイズ低減のための画像処理装置及び画像処理方法 | |
| WO2022066353A1 (en) | Image signal processing in multi-camera system | |
| CN110930440B (zh) | 图像对齐方法、装置、存储介质及电子设备 | |
| CN107454328B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN110276730B (zh) | 图像处理方法、装置、电子设备 | |
| CN112866554B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| JP2007189298A (ja) | 画像処理装置、画像処理方法および撮像装置 | |
| JP2007049301A (ja) | 画像処理装置及び画像処理方法 | |
| KR20120039855A (ko) | 카메라 모듈의 이미지 처리 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |