CN1221137C

CN1221137C - 一种图像合成处理方法

Info

Publication number: CN1221137C
Application number: CN 03156042
Authority: CN
Inventors: 王浩; 俞青; 谢律
Original assignee: Vimicro Corp
Current assignee: Zhongxing Technology Co ltd
Priority date: 2003-08-29
Filing date: 2003-08-29
Publication date: 2005-09-28
Anticipated expiration: 2023-08-29
Also published as: CN1525760A

Abstract

一种图像合成处理方法，尤其是涉及到可将运动中拍摄的各帧图像合成为原有静态图像的方法。其包括下列步骤：步骤一，将所拍摄的各帧图像分离提取出来；步骤二，通过对所取的N帧和N+1帧图像数据的计算，寻求拍摄镜头的精确平面运动轨迹；步骤三，根据运动轨迹对各帧图像进行合成；其中本发明在步骤二中是在对图像放大一定倍数的条件下对偏移量进行估计的，在步骤三中是先在原始尺寸上做FFT变换、求出相位的相关函数等以得到原始尺寸下偏移量的。利用本方法减小了求平面运动轨迹时的累积误差，大大缩小区块比对的搜索空间，使得比对操作过程的计算量降低了很多，提高了图像合成的效率，同时还可以避免由于计算量大带来的误差增大的可能性。

Description

一种图像合成处理方法

技术领域

本发明涉及到一种图像合成处理方法，尤其是涉及到可将运动中拍摄的各帧图像合成为原有静态图像的方法。

背景技术

在很多的场合，人们需要利用摄像设备将被摄对象拍摄下来，由于摄像设备的视角有限，用户或者无法看到整个拍摄对象，或者虽然可以看到整个拍摄对象但细节损失较严重，当用户希望于恰当的时候将所拍摄的对象重新显示的时候，便需要专门的图像处理方法将使用者即时拍摄的图像再现，在现有技术中，已经出现了将所摄的多幅图像进行合成处理还原成原有图像的技术。美国专利局公开了一种专利号为6526183的专利，该发明涉及到一种从图像流包括一系列的拍摄对象中产生大的静态图像M(n)的装置和方法。但是现有的合成方法在处理的时候只对原始尺寸下的平面运动轨迹估计，这样会造成相当大的累积误差，因为运动轨迹是由各帧之间偏移量累加得到的，而误差亦随之累加。为了解决上述问题，本发明提供了一种新的图像合成处理方法。

发明内容

本发明的目的在于提供一种可实现对在运动中拍摄的图像文件进行处理以合成原始静态图像的方法。

一种图像合成处理方法，其包括下列步骤：

步骤一将所拍摄的各帧图像分离提取出来；

步骤二通过对所取的N帧和N+1帧图像数据的计算，寻求拍摄镜头的精确平面运动轨迹；

步骤三根据运动轨迹对各帧图像进行合成；

其特征在于，步骤二包括下列步骤：步骤1).对第N和N+1帧图像中同一区域进行傅立叶变换；步骤2).根据上述的傅立叶变换的变换结果，求出其相位相关函数(Phase Correlation Function)步骤3).查找相位相关函数(Phase Correlation Function)的最大值，将其坐标确定为放大1倍条件下的偏移量；步骤4).将步骤1)中的两个区域分别进行插值，放大一定倍数；步骤5).对步骤4)中的结果进行区块比对(block matching)，得到放大一定倍数条件下的偏移量；步骤6).将各帧之间的偏移量进行累加，得到镜头在放大一定倍数条件下的平面移动轨迹；

步骤三包括下列步骤：步骤1.根据放大一定倍数条件下的平面移动轨迹，生成一个足够大的空图像，以及同样大的一个矩阵用来记录累加次数；步骤2.将各帧图像进行插值处理，放大到相同倍数；步骤3.将步骤2中得到的每帧图像根据平面移动轨迹进行平移，累加到步骤1中的空图像上；步骤4.在步骤3中每累加一帧图像，同时记录每个像素被累加的次数；步骤5.在步骤4完成之后，将每个像素值除以其被累加次数，得到放大相应倍数条件下的结果；步骤6.将步骤5的结果进行插值处理缩小同样倍数，得到原始尺寸下的最终结果。

所述图像合成处理方法中第N和N+1帧图像中同一区域可以是整幅图像，也可以是其位置相同的某一部分，还可以是位置不同但相对偏移已知的两块区域。

所述图像合成处理方法中“镜头的平面运动轨迹”指的是镜头与被拍摄对象之间的相对运动，实际运用中，镜头可能处于固定状态但拍摄对象在移动。

所述图像合成处理方法中的傅立叶转换方法可以是快速傅立叶变换(FFT)，也可以是离散傅立叶变换(DFT)。

所述图像合成处理方法中对图像放大和缩小的倍数可以是任意整数或非整数倍，如4倍，1.5倍等等，但是在取4倍时，将达到较佳的效果。

所述图像合成处理方法中对图像放大和缩小的操作可以通过双三次插值(bicubic)或其他插值方法来实现。

所述步骤二中对第N和N+1帧图像的偏移估计可以通过一次或多次使用图像放大或缩小整数或非整数倍的技术进行叠代计算得到。例如可以先缩小图像至二分之一倍并估计在二分之一倍尺寸下的偏移量，根据这个结果估计在一倍尺寸下的偏移量，继而将图像放大至二倍并利用一倍尺寸下的偏移量来估计二倍尺寸下的偏移量，等等。

所述步骤二中的步骤4)所指的两块区域可以是步骤1)中所用的两块区域，也可以是其他两块区域，但这两块区域在第N和N+1帧中的相对位置偏移应该是已知的。

所述的图像拍摄后可以首先处理成任何格式的图像格式文件，再由处理设备进行相应地处理；连续的初始静态图像摄取后处理成任何格式的图像格式文件，都将为本发明所述方法支持以进行相应的图像处理合成。

本发明的优点主要在于：

首先，本发明所述方法是在图像放大一定倍数的条件下对偏移量进行估计，减小了求平面运动轨迹时的累积误差。

第二，如果直接放大四倍尺寸然后再做FFT变换、求相位的相关函数(Phase Correlation Function)，则计算量会增大很多倍。因此，本发明先在原始尺寸上做FFT变换、求出相位的相关函数(PhaseCorrelation Function)等以得到原始尺寸下的偏移量，然后利用这个结果做为先验知识，大大缩小将来区块比对(Block Matching)的搜索空间(search window)，使得比对操作过程的计算量降低了很多，提高了图像合成的效率，同时还可以避免了由于计算量大带来的误差随之增大的可能性。

最后，在合成过程中如果只用原始尺寸的图像进行图像合成，结果会不可避免地比较粗糙。因此，本发明所述的图像合成处理方法先在将图像放大四倍的条件下合成，然后再对此图像向下采样，得到原始尺寸的图像，从而使图像质量有明显提高。

附图说明

图1是本发明所述图像合成处理方法流程图

图2是本发明所述图像合成处理方法的处理过程中的发生图像偏离对比图

图3是本发明所述图像合成处理方法的具体实施例一

图4是本发明所述图像合成处理方法的具体实施例二

图5是本发明所述图像合成处理方法所用区块比对方法的示意图

具体实施方式

如图l所示，一种图像合成处理方法，步骤1：由外部设备进行图像拍摄并且将图像转变为motion JPEG格式；步骤2：将Motion JPEG格式中的各帧图像分离提取出来；步骤3：通过这些图像，进行精确的镜头平面运动轨迹的确定，通常这种确定可以达到精确到1/4像素的程度；步骤4，根据该运动轨迹对各帧图像进行合成。

所述步骤2中对各帧图像的分离可以通过在图像拍摄设备中进行来实现，如可以是在带有摄像头的U盘中、也可以是带有摄像头的移动通讯终端中实现图像的提取分离。

对各帧图像的分离还可以通过在专门的设备如PC机等中进行来实现。

如图2所示，在图像合成处理的过程中，一般来说是通过各帧图像的偏移量来估计原始图像运动轨迹的，如该图所示，图2a图和图2b图之间的区别在于同一被摄对象在不同帧图像中所处的位置是不同的，如果以获得的偏移量进行计算和处理可以得到一个关于摄像设备中镜头平面运动的轨迹。

如图3所示，在确定摄像镜头的平面运动轨迹的过程中是通过下面的步骤来实现的：步骤a).对第N和N+1帧图像中的同一区域进行FFT变换；步骤b).对上述两个FFT变换结果，求出其相位的相关函数(Phase Correlation Function)；步骤c).在步骤b)的结果中，查找相位的相关函数(Phase Correlation Function)的最大值，最大值对应的坐标即为即为放大1倍条件下的偏移量；步骤d).将步骤a)中的两个区域分别进行双三次插值(bicubic)，并且放大四倍；步骤e).对步骤d)中的结果进行区块比对(Block Matching)，得到放大四倍条件下的偏移量；步骤f).将各帧之间的偏移量进行累加，得到摄像头在放大四倍条件下的平面移动轨迹。

双三次插值(bicubic)的运用是为了使得将来的离散数据能够符合某个连续函数而进行的运算，从而能够在此基础上将进行了FFT变换的同一区域放大数倍，所以在本发明中采用了双三次插值(bicubic)的方法以达到使得计算过程中的离散函数数据符合某个连续函数而进行的计算。

在本实施例中，如果只估计原始尺寸下的平面运动轨迹，会造成相当大的累积误差。因为运动轨迹是由各帧图像之间的偏移量累加得到的，而误差亦随之增加。本实施例解决此问题的主要方法是在放大四倍的条件下对偏移量进行估计。

同时，如果直接放大四倍尺寸然后再做FFT变换、求相位的相关函数(Phase Correlation Function)，则计算量会增大很多倍。因此，本实施例先在原始尺寸上做FFT变换、求出相位的相关函数(Phase Correlation Function)等以得到原始尺寸下的偏移量，利用这个结果继续对图像的格式文件进行处理大大缩小了以后的区块比对的搜索空间，从而使得计算量降低很多。

如图4所示，在完成上述平面运动轨迹确定后，再根据运动轨迹对各帧图像进行合成，具体包括以下步骤：步骤1).根据放大四倍条件下的平面移动轨迹，生成一个足够大的空图像，以及同样大的一个矩阵用来记录累加次数；步骤2).从将各帧图像进行双三次插值(bicubic)，放大四倍；步骤3).将步骤2)中得到的每帧图像根据摄像头的平面移动轨迹进行平移，累加到步骤1)中得到的空图像上；步骤4).在步骤3)中每累加一帧图像，同时记录每个像素被累加的次数；步骤5).完成之后，将每个像素除以其被累加次数，得到放大四倍条件下的结果；步骤6).将步骤5)的结果用双三次插值(bicubic)缩小四倍，得到原始尺寸下的最终结果。

图5是本发明所述图像合成处理方法所用区块比对方法的示意图，显示了在第k帧的图像中的像素(n1，n2)，在k+1帧图像中找到相同的比对区域。出于计算量上的考虑，通常这种寻找是在某个较小的范围(搜索窗口)内进行的，而不是在整幅图像上进行。关于区块比对(block Matching)的说明如下：通常在图像合成过程中，出现在某一帧画面中的任何一部份，往往可以在前一帧画面中的某一个位置找到，只要记录那一个部份是从前一帧画面的那一部份移动过来的，就可以使需要储存的画面资讯减少许多，这种技巧称为运动补偿(motion compensation)。如果在某一帧画面中是以一定大小的区块为单位，则每一个区块都可以在参考画面中找到。那么在参考画面的某一个范围内寻找和该区块最接近的，也就是误差最小的区块，这种方法就称为区块比对(block matching)。如果区块比对时找到最接近的，就只要记录该区块在两个画面中的位移，也就是所谓的运动向量(motion vector)以及误差的部份，就可以很准确地找到所需要的图像偏移量。

所以，区块比对(Block matching)是一种最为有效的实际运动参数估算的方法，因为该方法所使用的硬件复杂程度较低，所以它能广泛的被应用。所有的H.261和MPEG 102格式的图像均可以应用区块比对进行运动估算。在区块匹配当中，通过像素域的搜索过程，我们可以最准确地估计出所求的运动向量。

Claims

1.一种图像合成处理方法，其步骤包括：

步骤一将所拍摄的各帧图像分离提取出来；

步骤二通过对所取的N帧和N+1帧图像数据的估算，寻求拍摄镜头的精确平面运动轨迹；

步骤三根据运动轨迹对各帧图像进行合成；

其特征在于，步骤二包括下列步骤：步骤1)。对第N和N+1帧图像中同一区域进行傅立叶变换；步骤2)。根据上述的傅立叶变换的变换结果，求出其相位相关函数；步骤3)。查找相位相关函数的最大值，将其坐标确定为放大1倍条件下的偏移量；在步骤4)。将步骤1)中的两个区域分别进行插值处理，放大一定倍数；步骤5)。对步骤2)中的结果进行区块比对，得到放大一定倍数条件下的偏移量；步骤6)。将各帧之间的偏移量进行累加，得到镜头在放大数倍条件下的平面移动轨迹；

步骤三包括下列步骤：步骤1.根据放大一定倍数条件下的平面移动轨迹，生成一个足够大的空图像，以及同样大的一个矩阵用来记录累加次数；步骤2.将各帧图像进行插值处理，放大相应倍数；步骤3.将步骤2中得到的每帧图像根据平面移动轨迹进行平移，累加到步骤1中的空图像上；步骤4.在步骤3中每累加一帧图像，同时记录每个像素被累加的次数；步骤5.在步骤4完成之后，将每个像素除以其被累加次数，得到放大相应倍数条件下的结果；步骤6.将5的结果在插值处理后缩小同样倍数，得到原始尺寸下的最终结果。

2.如权利要求1所述的图像合成处理方法，其特征在于，对第N和N+1帧图像的偏移估计可以通过多次使用图像放大和缩小一定倍数进行叠代计算实现。

3.如权利要求1所述的图像处理合成方法，其特征在于，所述图像处理过程中的傅立叶转换方法可以是快速傅立叶变换，也可以是离散傅立叶变换。

4.如权利要求1所述的图像处理合成方法，其特征在于，所述的图像处理过程中对图像进行插值处理采用双三次插值处理方法。

5.如权利要求1所述的图像处理合成方法，其特征在于，所述图像处理过程中对图像放大和缩小的倍数为4倍。

6.如权利要求1所述的图象处理合成方法，其特征在于，所述第N和N+1帧图像中同一区域可以是下列区域：整幅图像或位置相同的某一部分或位置不同但相对偏移已知的两块区域。