CN105791705A - 适用于移动式延时摄影的视频防抖方法、***及拍摄终端 - Google Patents

Abstract

本发明公开了一种适用于移动式延时摄影的视频防抖方法、***及拍摄终端，其通过对待处理视频的图像帧进行关键点提取和关键点匹配，根据所述的特征点匹配的结果计算出所述相邻图像帧之间的单应性矩阵，并根据所述相邻图像帧的单应性矩阵计算所述待处理视频的运动轨迹，然后根据所述的运动轨迹抽取待处理视频的图像帧中的关键帧，对所述关键帧的单应性矩阵进行平滑处理得到稳定视频，其只利用视频图像信息，结合图像的关键点信息和单应性关系进行抽帧和平滑处理，不依赖硬件，算法鲁棒性高，防抖效果显著，特别适用于抖动较大的移动式延时摄影，并且也适用于普通视频的防抖处理。

Description

适用于移动式延时摄影的视频防抖方法、***及拍摄终端

技术领域

本发明涉及视频处理技术领域，特别是一种适用于移动式延时摄影的视频防抖方法及其应用该方法的***、拍摄终端。

背景技术

移动式延时摄影是延时摄影的一个分支，是一种表现拍摄目标快速变化的摄影手法，具有极强的时间压缩能力，可以将长时间的事物变化压缩在很短的时间内显现出来。与传统的延时摄影采用三脚架等设备固定相机不同，移动式延时摄影在拍摄的过程中，相机等拍摄设备多为人工手持，且跟随拍摄者不断移动。由于手持摄影的不稳定性以及压缩视频时间的过程会造成摄影目标无规律的高频抖动现象。为了提高移动式延时摄影的拍摄效果，需要对拍摄视频进行防抖处理。

在现有技术的视频防抖方法中，一般是通过获取移动设备的陀螺仪数据与视频图像数据，然后根据陀螺仪数据估计移动设备的运动情况进而对视频图像数据进行补偿、裁切等处理。这种基于陀螺仪的防抖方式对硬件的要求较高，容易出现零飘、延时等情况，且对于大幅度抖动的防抖效果不理想。

发明内容

本发明为解决上述问题，提供了一种适用于移动式延时摄影的视频防抖方法、***及拍摄终端，其主要是利用视频图像信息，不依赖硬件，算法鲁棒性较高，对于不同场景的视频图像防抖处理都具有较好的效果。

为实现上述目的，本发明采用的技术方案为：

首先，本发明提供一种适用于移动式延时摄影的视频防抖方法，其包括以下步骤：

10.对待处理视频的图像帧进行关键点提取；

20.根据所提取的关键点，对相邻图像帧进行关键点匹配；

30.根据所述的特征点匹配的结果，计算出所述相邻图像帧之间的单应性矩阵；

40.根据所述相邻图像帧的单应性矩阵，计算所述待处理视频的运动轨迹；

50.根据所述的运动轨迹抽取待处理视频的图像帧中的关键帧；

60.对所述关键帧的单应性矩阵进行平滑处理，得到稳定视频。

优选的，所述的步骤10中，对待处理视频的图像帧进行关键点提取，是通过遍历待处理视频的每一帧图像帧，并将所述图像帧的每个像素点与相邻像素点进行灰度值的比较，并根据每个像素点与相邻像素点的灰度差值进行关键点的标记。

优选的，所述的步骤20中，对相邻图像帧进行关键点匹配，进一步包括：

21.计算当前关键点的邻域范围的梯度直方图，并将该梯度直方图作为当前关键点的描述符；

22.根据所述关键点的描述符，对所述相邻图像帧的对应关键点进行相似性的匹配。

优选的，所述的步骤30中，所述相邻图像帧之间的单应性矩阵，是通过对所述相邻图像帧的相匹配的对应关键点进行线性变换的计算，得到所述相邻图像帧之间的单应性矩阵，计算公式如下：

x,＝Hx；

其中，x,为待匹配的图像帧的关键点集合，x为参考图像帧的对应的关键点集合，H为所述的单应性矩阵。

优选的，所述的步骤40中，根据所述相邻图像帧的单应性矩阵计算所述待处理视频的运动轨迹，是通过将当前图像帧之前的所有图像帧的单应性矩阵进行相乘处理得到所述当前图像帧的运动状态，从而计算得到所述待处理视频的各个图像帧的运动状态，最后将各个图像帧的运动状态进行拟合得到所述待处理视频的运动轨迹。

优选的，所述的步骤50中，根据所述的运动轨迹抽取待处理视频的图像帧中的关键帧，还进一步根据延时摄影的加速程度计算待抽取的关键帧的间隔距离，根据所述运动轨迹和所述间隔距离进行关键帧的抽取。

优选的，所述的步骤60中，所述关键帧的单应性矩阵的计算公式如下：

$x^{\′}=\frac{h_1^T\[x,y,1\]}{h_3^T\[x,y,1\]};$

$y^{\′}=\frac{h_2^T\[x,y,1\]}{h_3^T\[x,y,1\]};$

其中，h表示一个三行三列的单应性矩阵，h的下标数字1、2、3表示所述单应性矩阵的第1、2、3行，T表示所述单应性矩阵的转置，x、y表示所述关键帧的仿射变换前的对应像素点的坐标值，x‘、y’表示所述关键帧的仿射变换后的对应像素点的坐标值。

优选的，所述的步骤60中，对所述关键帧的单应性矩阵进行平滑处理，是通过将平滑处理后的单应性矩阵除以平滑处理前的单应性矩阵，得到修正变换矩阵，并采用该修正变换矩阵对所述关键帧进行插值计算，得到稳定视频。

其次，本发明提供一种适用于移动式延时摄影的视频防抖***，其包括：

关键点提取模块，用于对待处理视频的图像帧进行关键点提取；

关键点匹配模块，其根据所提取的关键点，对相邻图像帧进行关键点匹配；

单应性矩阵求解模块，其根据所述的特征点匹配的结果，计算出所述相邻图像帧之间的单应性矩阵；

运动轨迹求解模块，其根据所述相邻图像帧的单应性矩阵，计算所述待处理视频的运动轨迹；

关键帧抽取模块，其根据所述的运动轨迹抽取待处理视频的图像帧中的关键帧；

平滑处理模块，用于对所述关键帧的单应性矩阵进行平滑处理，得到稳定视频。

另外，本发明还提供一种拍摄终端，其包括如上所述的适用于移动式延时摄影的视频防抖***。

本发明的有益效果是：

本发明的一种适用于移动式延时摄影的视频防抖方法、***及拍摄终端，其通过对待处理视频的图像帧进行关键点提取和关键点匹配，根据所述的特征点匹配的结果计算出所述相邻图像帧之间的单应性矩阵，并根据所述相邻图像帧的单应性矩阵计算所述待处理视频的运动轨迹，然后根据所述的运动轨迹抽取待处理视频的图像帧中的关键帧，对所述关键帧的单应性矩阵进行平滑处理得到稳定视频，其只利用视频图像信息，结合图像的关键点信息和单应性关系进行抽帧和平滑处理，不依赖硬件，算法鲁棒性高，防抖效果显著，特别适用于抖动较大的移动式延时摄影，并且也适用于普通视频的防抖处理。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明适用于移动式延时摄影的视频防抖方法的流程简图；

图2为本发明适用于移动式延时摄影的视频防抖***的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的一种适用于移动式延时摄影的视频防抖方法，其包括以下步骤：

10.对待处理视频的图像帧进行关键点提取；

20.根据所提取的关键点，对相邻图像帧进行关键点匹配；

30.根据所述的特征点匹配的结果，计算出所述相邻图像帧之间的单应性矩阵；

40.根据所述相邻图像帧的单应性矩阵，计算所述待处理视频的运动轨迹；

50.根据所述的运动轨迹抽取待处理视频的图像帧中的关键帧；

60.对所述关键帧的单应性矩阵进行平滑处理，得到稳定视频。

所述的步骤10中，对待处理视频的图像帧进行关键点提取，是通过遍历待处理视频的每一帧图像帧，并将所述图像帧的每个像素点与相邻像素点进行灰度值的比较，并根据每个像素点与相邻像素点的灰度差值进行关键点的标记。图像关键点的提取方法还可以采用现有技术的其他方法，例如还可以采用SIFT关键点检测，通过使用了拉普拉斯图像金字塔以及高斯滤波差分图像来快速的求取高斯拉普拉斯空间中的极值。

所述的步骤20中，对相邻图像帧进行关键点匹配，主要是根据相邻图像帧的对应关键点的相似性进行匹配，本实施例中，采用以下步骤：

21.计算当前关键点的邻域范围的梯度直方图，并将该梯度直方图作为当前关键点的描述符；

22.根据所述关键点的描述符，对所述相邻图像帧的对应关键点进行相似性的匹配。

所述的步骤30中，所述相邻图像帧之间的单应性矩阵，是通过对所述相邻图像帧的相匹配的对应关键点进行线性变换的计算，得到所述相邻图像帧之间的单应性矩阵，计算公式如下：

x,＝Hx；

其中，x,为待匹配的图像帧的关键点集合，x为参考图像帧的对应的关键点集合，H为所述的单应性矩阵，通过将待匹配的图像帧和参考图像帧的对应关键点的坐标转换到齐次坐标系，并采用最小二乘法计算得到对应关键点之间的单应性关系。

或者，本发明还可以采用非线性变换的计算来得到所述相邻图像帧之间的单应性矩阵，例如通过将图像进行切割，假设切割成10行10列的小块，对每一个小块都计算出一个单应性矩阵，这样可以使图像的匹配效果更精细，可以达到更好的防抖效果，但运算量很大；或者，还可以通过不同类型的单应性矩阵，比如仿射变换矩阵与相似变换矩阵进行加权求和作为最终的单应性矩阵，可以是防抖效果更鲁棒，不会出现大的图像畸变。

所述的步骤40中，根据所述相邻图像帧的单应性矩阵计算所述待处理视频的运动轨迹，是通过将当前图像帧之前的所有图像帧的单应性矩阵进行相乘处理得到所述当前图像帧的运动状态，从而计算得到所述待处理视频的各个图像帧的运动状态，最后将各个图像帧的运动状态进行拟合得到所述待处理视频的运动轨迹。单应性矩阵是表示相邻帧之间的变化关系，即下一帧相对于上一帧的一些平移、旋转、缩放的变化，通过累计每一帧的运动变化，来拟合出完整的运动轨迹。单应性矩阵计算运动轨迹的过程就是不断的累乘单应性矩阵，例如，要计算第n帧图像所处的状态，就通过累乘前面的1到n个的单应性矩阵。

所述的步骤50中，根据所述的运动轨迹抽取待处理视频的图像帧中的关键帧，还进一步根据延时摄影的加速程度计算待抽取的关键帧的间隔距离，根据所述运动轨迹和所述间隔距离进行关键帧的抽取。普通的延时摄影视频是根据固定的间隔距离进行抽帧，比如设定加速2倍的话，就是隔一帧抽取一张图像，对于视频来说，就是抽一帧，丢一帧，抽一帧，对一帧，最后生成的视频在视觉效果上就形成快放的效果，且这种简单暴力的抽帧方法会导致相邻帧之间的巨大抖动。本发明根据所述运动轨迹和所述间隔距离进行关键帧的抽取，能够得到稳定的视频效果。

所述的步骤60中，所述关键帧的单应性矩阵的计算公式如下：

$x^{\′}=\frac{h_1^T\[x,y,1\]}{h_3^T\[x,y,1\]};$

$y^{\′}=\frac{h_2^T\[x,y,1\]}{h_3^T\[x,y,1\]};$

其中，h表示一个三行三列的单应性矩阵，h的下标数字1、2、3表示所述单应性矩阵的第1、2、3行，T表示所述单应性矩阵的转置，例如原来是1行3列的矩阵，上标加T就变成了3行1列的矩阵，x、y表示所述关键帧的仿射变换前的对应像素点的坐标值，x‘、y’表示所述关键帧的仿射变换后的对应像素点的坐标值。

所述的步骤60中，对所述关键帧的单应性矩阵进行平滑处理，是通过将平滑处理后的单应性矩阵除以平滑处理前的单应性矩阵，得到修正变换矩阵，并采用该修正变换矩阵对所述关键帧进行插值计算，得到稳定视频。

如图2所示，本发明还提供一种适用于移动式延时摄影的视频防抖***100，其包括：

关键点提取模块101，用于对待处理视频的图像帧进行关键点提取；

关键点匹配模块102，其根据所提取的关键点，对相邻图像帧进行关键点匹配；

单应性矩阵求解模块103，其根据所述的特征点匹配的结果，计算出所述相邻图像帧之间的单应性矩阵；

运动轨迹求解模块104，其根据所述相邻图像帧的单应性矩阵，计算所述待处理视频的运动轨迹；

关键帧抽取模块105，其根据所述的运动轨迹抽取待处理视频的图像帧中的关键帧；

平滑处理模块106，用于对所述关键帧的单应性矩阵进行平滑处理，得到稳定视频。

另外，本发明还提供一种拍摄终端，该拍摄终端包括如上所述的适用于移动式延时摄影的视频防抖***，其中，适用于移动式延时摄影的视频防抖***可以采用图2实施例的结构，其对应地，可以执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，详细可以参见上述实施例中的相关记载，此处不再赘述。

所述拍摄终端包括：手机、数码相机或平板电脑等配置有摄像头的设备。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于***实施例和终端实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种适用于移动式延时摄影的视频防抖方法，其特征在于，包括以下步骤：

10.对待处理视频的图像帧进行关键点提取；

20.根据所提取的关键点，对相邻图像帧进行关键点匹配；

30.根据所述的特征点匹配的结果，计算出所述相邻图像帧之间的单应性矩阵；

40.根据所述相邻图像帧的单应性矩阵，计算所述待处理视频的运动轨迹；

50.根据所述的运动轨迹抽取待处理视频的图像帧中的关键帧；

60.对所述关键帧的单应性矩阵进行平滑处理，得到稳定视频。

2.根据权利要求1所述的一种适用于移动式延时摄影的视频防抖方法，其特征在于：所述的步骤10中，对待处理视频的图像帧进行关键点提取，是通过遍历待处理视频的每一帧图像帧，并将所述图像帧的每个像素点与相邻像素点进行灰度值的比较，并根据每个像素点与相邻像素点的灰度差值进行关键点的标记。

3.根据权利要求1所述的一种适用于移动式延时摄影的视频防抖方法，其特征在于：所述的步骤20中，对相邻图像帧进行关键点匹配，进一步包括：

21.计算当前关键点的邻域范围的梯度直方图，并将该梯度直方图作为当前关键点的描述符；

22.根据所述关键点的描述符，对所述相邻图像帧的对应关键点进行相似性的匹配。

4.根据权利要求1所述的一种适用于移动式延时摄影的视频防抖方法，其特征在于：所述的步骤30中，所述相邻图像帧之间的单应性矩阵，是通过对所述相邻图像帧的相匹配的对应关键点进行线性变换的计算，得到所述相邻图像帧之间的单应性矩阵，计算公式如下：

x’＝Hx；

其中，x’为待匹配的图像帧的关键点集合，x为参考图像帧的对应的关键点集合，H为所述的单应性矩阵。

5.根据权利要求1所述的一种适用于移动式延时摄影的视频防抖方法，其特征在于：所述的步骤40中，根据所述相邻图像帧的单应性矩阵计算所述待处理视频的运动轨迹，是通过将当前图像帧之前的所有图像帧的单应性矩阵进行相乘处理得到所述当前图像帧的运动状态，从而计算得到所述待处理视频的各个图像帧的运动状态，最后将各个图像帧的运动状态进行拟合得到所述待处理视频的运动轨迹。

6.根据权利要求1至5任一项所述的一种适用于移动式延时摄影的视频防抖方法，其特征在于：所述的步骤50中，根据所述的运动轨迹抽取待处理视频的图像帧中的关键帧，还进一步根据延时摄影的加速程度计算待抽取的关键帧的间隔距离，根据所述运动轨迹和所述间隔距离进行关键帧的抽取。

7.根据权利要求1至5任一项所述的一种适用于移动式延时摄影的视频防抖方法，其特征在于：所述的步骤60中，所述关键帧的单应性矩阵的计算公式如下：

$x^{\′}=\frac{h_1^T\[x,y,1\]}{h_3^T\[x,y,1\]};$

$y^{\′}=\frac{h_2^T\[x,y,1\]}{h_3^T\[x,y,1\]};$

其中，h表示一个三行三列的单应性矩阵，h的下标数字1、2、3表示所述单应性矩阵的第1、2、3行，T表示所述单应性矩阵的转置，x、y表示所述关键帧的仿射变换前的对应像素点的坐标值，x‘、y’表示所述关键帧的仿射变换后的对应像素点的坐标值。

8.根据权利要求1至5任一项所述的一种适用于移动式延时摄影的视频防抖方法，其特征在于：所述的步骤60中，对所述关键帧的单应性矩阵进行平滑处理，是通过将平滑处理后的单应性矩阵除以平滑处理前的单应性矩阵，得到修正变换矩阵，并采用该修正变换矩阵对所述关键帧进行插值计算，得到稳定视频。

9.一种适用于移动式延时摄影的视频防抖***，其特征在于，包括：

关键点提取模块，用于对待处理视频的图像帧进行关键点提取；

关键点匹配模块，其根据所提取的关键点，对相邻图像帧进行关键点匹配；

单应性矩阵求解模块，其根据所述的特征点匹配的结果，计算出所述相邻图像帧之间的单应性矩阵；

运动轨迹求解模块，其根据所述相邻图像帧的单应性矩阵，计算所述待处理视频的运动轨迹；

关键帧抽取模块，其根据所述的运动轨迹抽取待处理视频的图像帧中的关键帧；

平滑处理模块，用于对所述关键帧的单应性矩阵进行平滑处理，得到稳定视频。

10.一种拍摄终端，其特征在于，包括权利要求9所述的适用于移动式延时摄影的视频防抖***。