CN104754180A - 降低视频画面抖动的方法与装置 - Google Patents

Abstract

一种降低视频画面抖动的方法，包括以下步骤：将画面分割为多个区块；根据每一上述区块的变异值选取至少一上述区块；根据上述被选取区块决定上述画面在一方向的整体移动向量；并根据整体移动向量在上述方向对上述画面进行移动补偿。

Description

降低视频画面抖动的方法与装置

技术领域

本发明是有关于一种处理视频画面(video frame)的方法与装置，且特别是有关于一种降低视频画面抖动的方法与装置。

背景技术

数字相机、数字摄影机或移动电话之类的手持装置所拍摄的视频，因为人的手不稳定，其画面难免会抖动；此外﹐车用的行车记录器也会因车子行驶时稳定度不够，造成拍摄的视频画面抖动；目前有两种解决方案可解决视频抖动的问题。

第一种解决方案是光学图像稳定技术(OIS:optical image stabilization)。就是用陀螺仪(gyroscope)之类的移动感应器(motion sensor)来检测摄影装置的移动，然后使用音圈马达(VCM:voice coil motor)之类的制动器(actuator)来移动镜片或图像感应器(image sensor)以补偿摄影装置的移动。

第二种解决方案是电子图像稳定技术(EIS:electronic image stabilization)。就是用软件或硬件执行算法(algorithm)来估计并补偿摄影装置的移动。由于省去了移动感应器和制动器，电子图像稳定技术的成本低于光学图像稳定技术。

发明内容

本发明提供一种降低视频画面抖动的方法与装置，以解决摄影装置的视频画面抖动问题。

本发明的降低视频画面抖动的方法包括以下步骤：将一画面分割为多个区块(block)；根据每一上述区块的一变异值(variance)选取至少一上述区块；根据上述被选取区块决定上述画面在一方向的整体移动向量(global motionvector)；并根据整体移动向量在上述方向对上述画面进行移动补偿(motioncompensation)。

本发明的降低视频画面抖动的装置包括储存装置与处理器。储存装置储存上述画面。处理器耦接储存装置，执行上述的降低视频画面抖动的方法。

基于上述，本发明提出一种更有效率而且更实际的解决方案，可以使摄影装置拍摄的视频画面更稳定。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

附图说明

图1是依照本发明的一实施例的一种降低视频画面抖动的装置的示意图。

图2与图3是依照本发明的一实施例的一种降低视频画面抖动的方法的流程图。

图4、图5与图6是依照本发明的一实施例的区块移动估计的示意图。

图7与图8是依照本发明的一实施例的整体移动向量的示意图。

图9是依照本发明的一实施例的一种降低视频画面抖动的方法的流程图。

图10是依照本发明的一实施例的视频画面的移动补偿的示意图。

[标号说明]

100：降低视频画面抖动的装置        120：储存装置

140：处理器                        210～250、320～343：方法步骤

410～440：画面中的区块或区域

510、610、620、630：移动估计的搜寻位置

615、625、635：移动估计的搜寻区域

810：分布图中的峰值                 910～980：方法步骤

1010、1020：画面位置                d、r：预设参数

具体实施方式

图1是依照本发明的一实施例的一种降低视频画面抖动的装置100的示意图。装置100包括储存装置120与处理器140。处理器140耦接储存装置120。处理器140可执行图2、图3与图9所示的方法以降低一个视频中的画面的抖动。此视频可以是数字相机、数字摄影机或移动电话之类的手持装置所拍摄的视频，或是行车记录器之类的摄影装置所拍摄的视频。储存装置120可储存上述视频以及上述方法所需的或所产生的各种数值与数据。

图2是依照本发明的一实施例的一种降低视频画面抖动的方法的流程图。处理器140对视频中的每一画面执行图2所示的流程。以下将上述视频中正在被图2流程处理的画面称为目前画面。为了降低计算与储存的需求，图2的降低视频画面抖动的方法可以只使用目前画面的强度分量(intensitycomponent，或称为luminance component)，而不使用目前画面的其余分量。

以下说明图2流程。首先，在步骤210缩小目前画面，以降低计算与储存的需求。每一个画面都是多个像素(pixel)组成的二维阵列(array)，上述的二维包括水平与垂直两个方向。步骤210可在这两个方向上使用相同比例或不同比例缩小目前画面。若不需要降低计算与储存的需求，则可省略步骤210。在步骤220，将目前画面分割为互不重迭的多个区块(block)。例如每一区块可以是边长为16个像素的正方形。

在步骤230，使用下列的公式(1)计算每一个区块的变异值(variance)。

${\mathrm{\σ}}_i=\frac{1}{\mathrm{mn}}\underset{p}{\mathrm{\Σ}}|y_p-\stackrel{\‾}{y}|...\left(1\right)$

公式(1)之中，σi是第i个区块的变异值，m、n分别是该区块的长度与宽度，y_p是该区块的位置p的强度值，也就是上述的强度分量，是该区块的强度分量的平均值。上述的位置，是指像素在画面中的位置。接下来，比较每一区块的变异值和一个预设的阈值，选取变异值大于或等于阈值的每一个区块。未被选取的区块会被丢弃，不在后续的方法步骤中使用。步骤230的目的是去除位于目前画面的平坦区(flat region)的区块，因为平坦区在移动估计(motion estimation)中容易产生不可靠的移动向量(motion vector)。

接下来，在步骤240根据被选取的区块决定目前画面的整体移动向量(global motion vector)。在步骤250，根据整体移动向量对目前画面进行移动补偿(motion compensation)。

图3是步骤240的详细流程图。步骤240可分为两部分，也就是区块移动估计(block motion estimation)320与整体移动估计(global motionestimation)340。区块移动估计320包括步骤321～324，整体移动估计340包括步骤341～343。

区块移动估计320是根据上述视频中的目前画面和前一画面，对每一个被选取区块进行移动估计，以取得每一个被选取区块的移动向量。以下将正在进行区块移动估计320的被选取区块称为目前区块。由于视频中的画面是依照时间顺序排列，所以上述的前一画面的时间顺序在目前画面之前。

以下说明区块移动估计320。首先，在步骤321，在前一画面中的目前区块周围的一个大小为2r×2r像素的区域中进行粗略搜寻(coarse search)，r是预设参数。例如图4所示，若以目前区块410的左上端点为原点，则上述区域420的左上端点坐标为(-r,-r)，右下端点坐标为(r-1,r-1)。步骤320的粗略搜寻仅在区域420中搜寻间距为d的多个位置，以找出上述多个位置之中的k个最佳匹配位置(best matched position)，d与k都是预设参数。图5以菱形绘示上述的多个搜寻位置，例如位置510，这些位置依照固定间距d呈棋盘状排列。

在某一位置的搜寻意味着比对目前画面中的目前区块与前一画面中以该位置为左上端点的同等大小区块。例如在位置(-r,-r)的搜寻就是比对目前画面中的目前区块410与前一画面中的区块430，而在位置(r-1,r-1)的搜寻就是比对目前画面中的目前区块410与前一画面中的区块440。上述两区块的比对可使用任何现有的算法，例如绝对差值总和(SAD:sum of absolution difference)或区域二元图案(LBP:local binary pattern)。

接下来是步骤322的详细搜寻(fine search)。例如图6所示，假设k=3，位置610、620和630是图5的多个搜寻位置中的3个最佳匹配位置。步骤322的详细搜寻就是搜寻区域615、625与635中的每一个位置(也就是每一个像素的位置)，以找出区域615、625与635中的kd²个位置之中的一个最佳匹配位置。区域615、625与635各自对应位置610、620和630，而且各自包括位置610、620和630。区域615、625与635都是边长为d个像素的正方形，所以每一个区域615、625或635各包括d²个可搜寻的位置。

步骤321的粗略搜寻与步骤322的详细搜寻可使用相同或不同的区块比对算法。例如步骤321的粗略搜寻可使用SAD以加快比对速度，而步骤322的详细搜寻可使用LBP以提高比对的准确度。

接下来，在步骤323取得目前区块的移动向量(u,v)，此移动向量就是从目前区块左上端点指向步骤322的详细搜寻最终所得的最佳匹配位置的向量。

接下来，在步骤324检查是否目前画面仍有未处理的被选取区块。如果有，则流程返回步骤321，并以下一个未处理的被选取区块作为目前区块。如果没有，则流程进入整体移动估计340。

整体移动估计340是在目前画面的水平与垂直两个方向分别进行，这两个方向的整体移动估计340互不相关。若有特殊的应用环境是只有一个方向会发生视频画面的抖动，则可以只对该方向进行整体移动估计340。下面说明仅以水平与垂直其中一个方向为范例(以下称为目前方向)，另一个方向可依此类推。

进入整体移动估计340之后，在步骤341产生上述的被选取区块的移动向量在目前方向的分布图(histogram)。此分布图有2r个槽位(bin)。由图4的区域420可知，所有被选取区块的移动向量在目前方向的分量的数值范围是从-r到r-1，总共2r个不同数值。此分布图中的每一个槽位就是对应其中一个数值，用来累计对应数值的出现次数。步骤341检查每一个被选取区块的移动向量。若第i个区块的移动向量(ui,vi)的目前方向的分量为ui，则将数值ui所对应的该槽位的累计值加一。如此检查过每一个被选取区块后，即可得到目前方向的分布图。例如图7所示的一个分布图的范例，图7的横轴是上述的数值范围，纵轴表示各槽位的累计值。

接下来，在步骤342对分布图使用低通滤波器以减少噪声，使分布图平滑化，例如可使用高斯滤波器(Gaussian filter)或均值滤波器(mean filter)之类的低通滤波器，图8是对图7的分布图使用高斯滤波器所得的分布图。

接下来，在步骤343根据分布图中的峰值(peak value)位置决定目前画面在目前方向的整体移动向量。所谓峰值就是分布图的各槽位的累计值其中的最大值。以图8的分布图为例，目前方向的整体移动向量就是峰值810在横轴上的对应数值。这样的整体移动向量其实只是目前画面真正的整体移动向量在目前方向的分量。合并两个方向的分量即可得到目前画面的真正的整体移动向量。

图9是依照本发明的一实施例的步骤250的详细流程图。图9的移动补偿是对视频中的每一个画面执行一次。图9的移动补偿也是在目前画面的水平与垂直两个方向分别进行，这两个方向的移动补偿互不相关。若有特殊的应用环境是只有一个方向会发生视频画面的抖动，则可以只对该方向进行图9的移动补偿。下面说明仅以水平与垂直其中一个方向为范例(以下称为目前方向)，另一个方向可依此类推。

首先，在步骤910检查目前画面在目前方向的整体移动向量是否无效。先用以下的公式(2)计算目前方向的分布图的变异值。

${\mathrm{\σ}}_h=\frac{1}{N}\underset{j=1}{\overset{2r}{\mathrm{\Σ}}}{h}_j|j-\stackrel{\‾}{u}|...\left(2\right)$

公式(2)之中的σ_h就是目前方向的分布图的变异值，N是被选取区块的数量，h_j是分布图的第j个槽位的累计值，。如果分布图的变异值σ_h大于一个预设的阈值，而且分布图的峰值小于另一个预设的阈值，则判定目前画面在目前方向的整体移动向量无效，否则判定上述的整体移动向量有效。整体移动向量无效通常发生在有大片平坦区或有重复的材质图案(texturepattern)的画面，这种画面的分布图通常没有明显的峰值，因此可用分布图的变异值来检测这种画面。

如果整体移动向量无效，则流程进入步骤920，在目前方向对目前画面进行和前一画面相同的移动补偿(也就是用同一个移动补偿向量进行移动补偿)，或在目前方向不对目前画面进行移动补偿。如果整体移动向量有效，则在步骤930检查视频是否在目前画面发生场景改变。所谓场景改变是指目前画面和前一画面相差甚大的情况，例如有车辆等大型物体从摄影镜头前方通过，或摄影镜头急速横移(panning)，此时不应该进行移动补偿。场景改变可根据目前画面在目前方向的整体移动向量的数值来检测。如果上述整体移动向量大于一个预设的阈值，则判定有场景改变，否则判定没有场景改变。若发生场景改变，则流程进入步骤940，在目前方向不对目前画面进行移动补偿。若未发生场景改变，则流程进入步骤950。

在步骤950，依照目前画面在步骤210在目前方向的缩小比例，放大目前画面在目前方向的整体移动向量，并且在后续步骤中使用经过上述放大的整体移动向量进行目前画面的目前方向的移动补偿。如果步骤210被省略，则步骤950也应该省略。

在步骤960，计算一个连续画面集合其中的每一个画面在目前方向的第一相对位置。第一相对位置就是对应的该画面相对于移动补偿之前的摄影镜头的位置。上述视频自第一个画面开始，目前画面为上述视频的第i个画面，上述的连续画面集合由上述视频的自第i-s个画面至第i+t个画面的每一个画面组成，s与t为预设正整数。上述的连续画面集合也包括目前画面。目前画面的第一相对位置l_i可用下面的公式(3)计算，其余画面可依此类推。

$l_i=\underset{j=1}{\overset{i}{\mathrm{\Σ}}}{g}_j=l_{i-1}+g_i...\left(3\right)$

公式(3)之中的l_i-1是前一画面在目前方向的第一相对位置，g_i是目前画面在目前方向的整体移动向量，g_j是视频中的第j个画面在目前方向的整体移动向量。由公式(3)可知，一个画面的第一相对位置是视频中的第一个画面至该画面的每一个画面的目前方向的整体移动向量的累计结果。

接下来，在步骤970用下面的公式(4)计算目前画面在目前方向的第二相对位置l′_i。第二相对位置就是对应的该画面相对于移动补偿之后的摄影镜头的位置。

$l_i^{\′}=\frac{1}{s+1+t}\underset{j=i-s}{\overset{i+t}{\mathrm{\Σ}}}{l}_j...\left(4\right)$

公式(4)中的l_j是视频中的第j个画面在目前方向的第一相对位置。由公式(4)可知目前画面在目前方向的第二相对位置l′_i就是上述的连续画面集合其中的每一个画面在目前方向的第一相对位置l_j的平均值。

接下来，在步骤980使用目前画面在目前方向的移动补偿向量(motioncompensation vector)进行目前画面的移动补偿，也就是依照移动补偿向量平移(shift)目前画面的切割窗口(cropping window)。上述的移动补偿向量等于l′_i-l_i，也就是目前画面在目前方向的第二相对位置减去第一相对位置。

图10是依照本发明的一实施例的视频画面的移动补偿的示意图。图10的横轴是视频中的画面编号，也可以视为时间轴，纵轴则是视频画面的位置。移动补偿之前的画面位置标示为1010，移动补偿之后的画面位置标示为1020。由图10可看出本发明的移动补偿确实可降低视频画面的抖动。

综上所述，本发明只选取非平坦区的区块以避免不可靠的移动向量，本发明对移动向量的分布图进行平滑滤波以取得稳定的整体移动向量，本发明利用分布图的变异值检测无效的整体移动向量，因此本发明可降低视频画面的抖动，使视频画面更稳定。另外，本发明在区块的移动估计中使用粗略至详细的两阶段搜寻，有助于更有效率且更实际可行的硬件设计。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附的权利要求范围所界定者为准。

Claims (20)

1.一种降低视频画面抖动的方法，包括：

将第一画面分割为多个区块；

根据每一上述区块的变异值选取至少一上述区块；

根据该至少一被选取区块决定该第一画面在至少一方向的整体移动向量；以及

根据该整体移动向量在该方向对该第一画面进行移动补偿。

2.根据权利要求1所述的降低视频画面抖动的方法，其中该降低视频画面抖动的方法仅使用该第一画面的强度分量，而不使用该第一画面的其余分量。

3.根据权利要求1所述的降低视频画面抖动的方法，在分割该第一画面之前还包括：

在该方向上依照比例缩小该第一画面；

而且对该第一画面进行移动补偿的步骤包括：

依照该比例放大该整体移动向量；以及

根据放大后的该整体移动向量在该方向对该第一画面进行移动补偿。

4.根据权利要求1所述的降低视频画面抖动的方法，其中根据每一上述区块的该变异值选取至少一上述区块的步骤包括：

选取该变异值大于或等于阈值的每一上述区块。

5.根据权利要求1所述的降低视频画面抖动的方法，其中根据该至少一被选取区块决定该整体移动向量的步骤包括：

根据该第一画面和第二画面对每一上述被选取区块进行移动估计，以取得每一上述被选取区块的移动向量，其中该第二画面的时间顺序在该第一画面之前；

产生该至少一被选取区块的该移动向量在该方向的分布图；以及

对该分布图使用低通滤波器，然后根据该分布图决定该整体移动向量。

6.根据权利要求5所述的降低视频画面抖动的方法，其中对于每一上述被选取区块，取得该移动向量的步骤包括：

搜寻该第二画面中的该被选取区块周围的第一区域中的多个第一位置，以找出上述多个第一位置之中的预设数量的最佳匹配位置，其中上述多个第一位置依照固定间距呈棋盘状排列；以及

对于每一上述最佳匹配位置，搜寻包括该最佳匹配位置的第二区域中的每一第二位置，以找出上述多个第二位置之中的最佳匹配位置，其中该第二区域的边长为该固定间距；以及

根据上述多个第二位置之中的该最佳匹配位置取得该被选取区块的该移动向量。

7.根据权利要求5所述的降低视频画面抖动的方法，在对该分布图使用该低通滤波器之后还包括：

根据该分布图中的峰值位置决定该整体移动向量。

8.根据权利要求5所述的降低视频画面抖动的方法，还包括：

若该分布图的变异值大于第一阈值而且该分布图的峰值小于第二阈值，则在该方向对该第一画面进行和该第二画面相同的移动补偿，或在该方向不对该第一画面进行移动补偿。

9.根据权利要求5所述的降低视频画面抖动的方法，还包括：

若该整体移动向量大于阈值，则在该方向不对该第一画面进行移动补偿。

10.根据权利要求1所述的降低视频画面抖动的方法，其中该第一画面为视频的多个画面之一，该视频自第二画面开始，而且对该第一画面进行移动补偿的步骤包括：

计算该视频中包括该第一画面的连续画面集合中的每一第三画面在该方向的第一相对位置，其中该第一相对位置是根据该视频中自该第二画面至该第三画面的每一画面的该整体移动向量而产生；

根据每一上述第三画面的该第一相对位置计算该第一画面在该方向的第二相对位置；以及

根据该第一画面的该第一相对位置和该第二相对位置进行该第一画面的移动补偿。

11.一种降低视频画面抖动的装置，包括：

储存装置，储存第一画面；以及

处理器，耦接该储存装置，将该第一画面分割为多个区块，根据每一上述区块的变异值选取至少一上述区块，根据该至少一被选取区块决定该第一画面在至少一方向的整体移动向量，并根据该整体移动向量在该方向对该第一画面进行移动补偿。

12.根据权利要求11所述的降低视频画面抖动的装置，其中该降低视频画面抖动的装置仅使用该第一画面的强度分量，而不使用该第一画面的其余分量。

13.根据权利要求11所述的降低视频画面抖动的装置，其中该处理器在分割该第一画面之前在该方向上依照比例缩小该第一画面，而且该处理器依照该比例放大该整体移动向量，并根据放大后的该整体移动向量在该方向对该第一画面进行移动补偿。

14.根据权利要求11所述的降低视频画面抖动的装置，其中该处理器选取该变异值大于或等于阈值的每一上述区块。

15.根据权利要求11所述的降低视频画面抖动的装置，其中该处理器根据该第一画面和第二画面对每一上述被选取区块进行移动估计，以取得每一上述被选取区块的移动向量，该第二画面的时间顺序在该第一画面之前，该处理器产生该至少一被选取区块的该移动向量在该方向的分布图，对该分布图使用低通滤波器，然后根据该分布图决定该整体移动向量。

16.根据权利要求15所述的降低视频画面抖动的装置，其中该处理器搜寻该第二画面中的该被选取区块周围的第一区域中的多个第一位置，以找出上述多个第一位置之中的预设数量的最佳匹配位置，上述多个第一位置依照固定间距呈棋盘状排列；该处理器对于每一上述最佳匹配位置，搜寻包括该最佳匹配位置的第二区域中的每一第二位置，以找出上述多个第二位置之中的最佳匹配位置，该第二区域的边长为该固定间距；该处理器根据上述多个第二位置之中的该最佳匹配位置取得该被选取区块的该移动向量。

17.根据权利要求15所述的降低视频画面抖动的装置，其中该处理器在对该分布图使用该低通滤波器之后，根据该分布图中的峰值位置决定该整体移动向量。

18.根据权利要求15所述的降低视频画面抖动的装置，其中若该分布图的变异值大于第一阈值而且该分布图的峰值小于第二阈值，则该处理器在该方向对该第一画面进行和该第二画面相同的移动补偿，或在该方向不对该第一画面进行移动补偿。

19.根据权利要求15所述的降低视频画面抖动的装置，其中若该整体移动向量大于阈值，则该处理器在该方向不对该第一画面进行移动补偿。

20.根据权利要求11所述的降低视频画面抖动的装置，其中该第一画面为视频的多个画面之一，该视频自第二画面开始，该储存装置储存该视频，该处理器计算该视频中包括该第一画面的连续画面集合中的每一第三画面在该方向的第一相对位置，该第一相对位置是根据该视频中自该第二画面至该第三画面的每一画面的该整体移动向量而产生；该处理器根据每一上述第三画面的该第一相对位置计算该第一画面在该方向的第二相对位置，并根据该第一画面的该第一相对位置和该第二相对位置进行该第一画面的移动补偿。