CN103974068B - 一种基于内容的视频尺寸缩小的方法 - Google Patents

Abstract

本发明公开了一种基于内容的视频尺寸缩小的方法，首先进行场景切换检测与关键帧提取；采用前向整像素运动估计为非关键帧的每一像素在关键帧中找到与之匹配的象素点，并对每个块进行前向整像素点运动估计，找到运动矢量；对视频所有帧的重点区域像素点进行保护，防止这些像素点被选入最优接缝或最优接缝的映射后在后续步骤中被删除；提取关键帧的最优接缝，采用动态设计法在关键帧中搜索最小能量接缝；进行鲁棒接缝检测和质量判断，缩小视频帧直至视频帧尺寸满足设计要求。本发明的有益效果是运算量小，占用空间小。

Description

一种基于内容的视频尺寸缩小的方法

技术领域

本发明属于视频处理技术领域，涉及一种基于内容的视频尺寸缩小的方法。

背景技术

抽线技术是图像尺寸变换的一种方法，又称为内容感知的图像尺寸变换法。该方法基于寻找图像中一系列从上到下或者从左到右的最不重要的通路-接缝，并自动地将这些接缝挨个删除以达到缩小图像尺寸的目的，鲁棒接缝是指接缝存在于连续视频帧的相同内容中，删除这些接缝不会引起视频闪烁和抖动。

现有视频缩放技术均是对视频帧进行等尺寸缩放，但使得视频在小尺寸手持设备上观看时清晰度不高，不能满足用户的要求。由于现有视频缩放技术无法分辨视频帧中内容的重要性，因此无法实现在缩小过程中对重要内容进行保真处理即保持原始分辨率。

现有的基于内容感知的图像缩放技术如剪切技术、图形切割技术和抽线技术可以较好地保留图像中的主体内容，但是将剪切技术和抽线种技术应用于视频处理会产生明显的视觉抖动和闪烁，并显著地增加了视频帧间差。此外该两种技术的计算量很大，需要对视频帧进行逐帧处理。图形切割技术能够有效避免视觉抖动和闪烁，但是该技术需要处理完一段视频流中的所有帧才能确定一条接缝的删除，运算量和所需的存储空间大得没法在现有普通计算机中实现高清视频的处理。FSCAV需要用RANSAC方法去估计补偿连续帧之间的摄像机运动，运算量大，通常要进行300次的迭代,估计精度才会比较高，而且该方法也必须处理完所有视频帧才能完成一次抽线过程，运算量大所需存储量仍然大。

现有技术的缺点：等尺寸视频缩放技术无法满足视频重要内容在小尺寸的手持设备中的保真显示；基于内容感知的图像缩放技术如剪切技术和抽线技术运算量大，抽线技术会出现前景物体失真，帧间差明显增加，并会产生明显的视觉抖动和闪烁；图形切割技术运算量和存储量太大，一般通用计算机无法实现高清视频的处理。FSCAV方法采用八个参数定义摄像机的运动情况：其中六个参数代表放射运动，两个参数描述景深变化。该方法需要用RANSAC方法去估计补偿连续帧之间的摄像机运动，运算量大，通常要进行300次的迭代估计精度才会比较高，而且该方法也必须处理完所有视频帧才能完成一次抽线过程。

发明内容

本发明的目的在于提供一种基于内容的视频尺寸缩小的方法，解决了现有的方法计算量大的问题。

本发明所采用的技术方案是按照以下步骤进行：

步骤1，场景切换检测与关键帧提取；

步骤2，前向整像素运动估计：本步骤采用前向整像素运动估计为非关键帧的每一像素在关键帧中找到与之匹配的像素点；对视频的非关键帧分成4×4大小的若干个块，并对每个块进行前向整像素点运动估计，找到运动矢量(MV)；

步骤3，对视频所有帧的重点区域像素点进行保护，防止这些像素点被选入最优接缝或最优接缝的映射后在后续步骤中被删除；

步骤4，提取关键帧的最优接缝，采用动态设计法在关键帧中搜索最小能量接缝；

搜索最小能量接缝过程为：混合能量计算公式计算每个关键帧中的像素的删除代价能量E_total(x)，联合考虑了该像素点的原始能量、抽线集中程度以及像素角色值，式中E_cong表示在前景区域内连续抽线的集中程度，E_role代表每个像素的角色值，即背景、前景以及不可删除区域，E(x)代表像素点x的能量，

E_total(x)＝E_role(x)×(E(x)+E_cong(x))

Ω_undeletable表示不可删除区域、Ω_foreground表示前景区域,Ω_background表示背景区域,Ω_still表示静止区域,表示前景区域删除的抽线数量，表示前景区域内像素的平均能量，根据接缝搜索原则，在具体实现时需要设置垂直接缝的不可删除区域的边缘的A1-A4点的E_role值为∞，水平接缝的不可删除区域的边缘的B1-B4点的E_role值为∞,表示求解使得能量最大的属于前景区域的x；

水平接缝定义为：

垂直接缝定义为:

I表示n×m大小的图像，S_i表示垂直接缝点，S_j表示水平接缝点，表示水平接缝，表示垂直接缝；

寻找最优接缝：

按选定的混合能量计算公式计算视频关键帧中各个像素点的删除代价能量E_total(x)，定义接缝的代价值为(水平)和(垂直)，接下来根据最小化接缝代价值的原则寻找最优接缝，最优接缝的定义式为：

表示水平最优接缝，表示垂直最优接缝，e(I(S_i))表示按混合能量计算公式计算的垂直接缝点删除代价能量，e(I(S_j))表示按混合能量计算公式计算的水平接缝点删除代价能量，寻找最优接缝的方式采用动态设计法，动态设计法分成如下两步：

第一步，为每一个切入点(p,q)计算与之可能相连的接缝最小累积能量：

垂直接缝最小累积能量为：

M_v(p,q)＝e(p,q)+min(M_v(p-1,q-1),M_v(p-1,q),M_v(p-1,q+1))

p＝1,...,n；q＝1,...,m；M_v(p,q)＝0,if p≤1 or q≤1水平接缝最小累积能量为：

M_h(p,q)＝e(p,q)+min(M_h(p-1,q-1),M_h(p,q-1),M_h(p+1,q-1))

p＝1,...,n；q＝1,...,m；M_h(p,q)＝0,if p≤1 or q≤1在完成此过程的循环计算以后，最后累积能量最小的M_v(p,q)即指向了最优垂直接缝,最后累积能量最小的M_h(p,q)即指向了最优水平接缝；其中e(p,q)指切入点(p,q)的能量值；

第二步，反方向寻迹第一步获得的最小M_v(p,q)或者M_h(p,q)遍历的点即找到最优接缝的路径；

步骤5，鲁棒接缝检测：本步骤检测步骤4提取的最优接缝是否是鲁棒接缝，并通过运动矢量MV实现关键帧最优接缝在非关键帧上的映射，检测到鲁棒接缝后就在关键帧里删除该鲁棒接缝并删除非关键帧里鲁棒接缝的映射像素点，完成水平或者垂直方向一个像素大小的缩小；

步骤6，质量判断:本步骤分析在不出现明显失真前提下多少接缝可以被删除，删除第i条接缝以后的代价能量函数用E(s_i)表示，当E(s_i)超过门限T_S时本案将认为不能继续删除鲁棒接缝完成视频帧尺寸缩小，而换用常规的等尺寸缩放方法继续缩小尺寸直至视频帧尺寸满足设计要求。

进一步，所述步骤1中场景切换检测通过判断当前帧方差的二阶导数实现，每个场景的第一个清晰帧为关键帧。

进一步，所述步骤5中，当关键帧最优接缝在非关键帧上的映射被不可删除区域或者不精确的运动矢量打断，从而在映射接缝中出现缺损像素时，在不可删除区域的同行或同列区域进行局部搜索找到替代映射点填补映射接缝的缺损像素，当前最优接缝在该场景的所有非关键帧中有对应的映射像素点或者能通过上述处理方案填补修复时该接缝成为一条鲁棒接缝，否则为非鲁棒接缝。

进一步，设删除第i条接缝以后的代价能量函数用E(s_i)表示，当E(s_i)超过门限T_S时将认为不能继续删除鲁棒接缝完成视频帧尺寸缩小而换用常规的等尺寸缩放方法继续缩小尺寸直至视频帧尺寸满足设计要求，T_S由下式计算：

式中E(s₁)表示第一次迭代搜索中删除第一条最优接缝的代价能量，表示第一次迭代搜索中删除前k条最优接缝的代价能量，α＝0.2为加权系数。

本发明的有益效果是运算量小，占用空间小。

附图说明

图1是本发明不同缩放技术的视觉效果比较图；

图2是本发明不可删除区域示意图；

图3是本发明映射像素点被删除情况下的替代搜索示意图；

图4是经本发明处理后连续帧的帧间差比较图；

图5是本发明步骤流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明提出了一种基于内容的视频尺寸缩小方法，能在最大程度上实现视频尺寸缩放中重要内容的保真处理，并能有效消除视觉抖动和闪烁，大大减小视频帧间差。该方法运算量小，所需存储量小，能够有效地避免前景物体失真、视觉抖动和闪烁缺点，在最大程度上实现了视频尺寸缩放中重要内容的保真处理，并使得帧间差较现有基于内容感知的图像缩放技术明显减小。如图1所示为本发明缩放与常规技术缩放的比较图，其中从左到右：原始图，剪切技术，等尺寸缩放技术，本发明缩放技术。

发明的技术方案步骤如下：

步骤1，场景切换检测与关键帧提取：本步骤将视频帧按内容进行分段，具有相同内容的视频帧划分到同一个场景，场景划分便于在后续步骤中搜索鲁棒接缝。关键帧用于在后续步骤中搜索最优接缝。本发明通过判断当前帧方差的二阶导数进行场景切换检测并确定每个场景的第一个清晰帧为关键帧。

步骤2，前向整像素运动估计：本步骤采用前向整像素运动估计为非关键帧的每一像素在关键帧中找到与之匹配的像素点，为后续步骤实现关键帧最优接缝在非关键帧中的映射。对视频的非关键帧分成4×4大小的若干个块，并对每个块进行前向整像素点运动估计，找到运动矢量(MV)。

步骤3，重点区域保护：本步骤对视频所有帧的重点区域像素点进行保护，防止这些像素点被选入最优接缝或最优接缝的映射在后续步骤中被删除。本发明采用现有的公知的人脸检测、边缘检测方法对关键帧的重要区域像素点即不可删除区域和前景区域，如人体、重要物体等进行保护。

并通过前一步获得的运动矢量(MV)的特征对视频所有帧进行区域划分成前景、背景以及静止与运动区域。确定每个像素点的角色，是属于前景还是非前景，是否是不可删除区域，用于确定E_role和

步骤4，关键帧最优接缝提取：本步骤提取关键帧的最优接缝，为后续判断该接缝是否为鲁棒接缝和删除该接缝以及该接缝像素点在非关键帧中的映射点实现视频帧尺寸缩小做好准备。本发明用动态设计法在关键帧中搜索最小能量接缝，通过挨个删除最优接缝就能达到减小视频图像大小尺寸的目的。在后续步骤将判断该最优接缝是否为鲁棒接缝，如果是就予与删除，如果不是就寻找下一个最优接缝进入下一个搜索-判断-删除循环，直至质量损失到不可接受或者视频图像尺寸已经缩小到了指定大小。

为进一步减小缩放过程对前景部分的损失，本发明提出混合能量计算公式计算每个关键帧中的像素的删除代价能量E_total(x)，联合考虑了该像素点的原始能量、抽线集中程度以及像素角色值。式中E_cong表示在前景区域内连续抽线的集中程度，E_role代表每个像素的角色值(背景、前景以及不可删除区域)，E(x)代表像素点x的能量。

E_total(x)＝E_role(x)×(E(x)+E_cong(x)) (1)

Ω_undeletable表示不可删除区域、Ω_foreground表示前景区域，Ω_background表示背景区域,Ω_still表示静止区域,表示前景区域删除的抽线数量。表示前景区域内像素的平均能量。

根据接缝搜索原则，不可删除区域的边缘点同样需要标注为不可删除点如图2的8个点A1-A4、B1-B4表示。在具体实现时需要设置垂直接缝的不可删除区域的边缘的A1-A4点的E_role值为∞，水平接缝不可删除区域的边缘的B1-B4点的E_role值为∞,表示求解使得能量最大的属于前景区域的x。

水平接缝定义为：

垂直接缝定义为:

I表示n×m大小的图像，S_i表示垂直接缝点，S_j表示水平接缝点，表示水平接缝，表示垂直接缝。

寻找最优接缝：

按选定的混合能量计算公式(1)计算视频关键帧中各个像素点的删除代价能量E_total(x)。定义接缝的代价值为(水平)和(垂直)。接下来根据最小化接缝代价值的原则寻找最优接缝。最优接缝的定义式为：

表示水平最优接缝表示垂直最优接缝，e(I(S_i))表示按混合能量计算公式计算的垂直接缝点删除代价能量，e(I(S_j))表示按混合能量计算公式计算的水平接缝点删除代价能量。寻找最优接缝的方式采用动态设计法。

动态设计法分成如下两步：

第一步，为每一个切入点(p,q)计算与之可能相连的接缝最小累积能量：

垂直接缝最小累积能量为：

M_v(p,q)＝e(p,q)+min(M_v(p-1,q-1),M_v(p-1,q),M_v(p-1,q+1))

p＝1,...,n；q＝1,...,m；M_v(p,q)＝0,if p≤1 or q≤1水平接缝最小累积能量为：

M_h(p,q)＝e(p,q)+min(M_h(p-1,q-1),M_h(p,q-1),M_h(p+1,q-1))

p＝1,...,n；q＝1,...,m；M_h(p,q)＝0,if p≤1 or q≤1在完成此过程的循环计算以后，最后累积能量最小的M_v(p,q)即指向了最优垂直接缝,最后累积能量最小的M_h(p,q)即指向了最优水平接缝。其中e(p,q)指切入点(p,q)的能量值。

第二步，反方向寻迹第一步获得的最小M_v(p,q)或者M_h(p,q)遍历的点即找到最优接缝的路径。

步骤5，鲁棒接缝检测：本步骤检测步骤4提取的最优接缝是否是鲁棒接缝。根据鲁棒接缝一定存在于具有相同内容的连续视频帧中的原理，本发明通过步骤2得到的运动矢量MV实现关键帧最优接缝在非关键帧上的映射，如式(2)中的(2-a垂直接缝，2-b水平接缝)所示。

式中I_K表示关键帧，I_t表示非关键帧，代表关键帧中的垂直最优接缝，代表关键帧中的水平最优接缝，(MV_x，t,MV_y,t)表示非关键帧的运动矢量。在某些情况下式(2)的映射会被不可删除区域或者不精确的运动矢量打断，从而在映射接缝中出现缺损像素。如图3所示，当点A已经被先前的抽线过程删除时本发明将计算与点A相邻的点B和点C的代价能量，选择代价能量小的点作为替代映射点。如果有多于2个映射点在不可删除区域，本发明将在不可删除区域的同行或同列区域进行局部搜索找到替代映射点填补映射接缝的缺损像素。当且仅当当前最优接缝在该场景的所有非关键帧中有对应的映射像素点或者能通过上述处理方案填补修复时该接缝成为一条鲁棒接缝，否则为非鲁棒接缝。检测到鲁棒接缝后就在关键帧里删除该鲁棒接缝并删除非关键帧里鲁棒接缝的映射像素点，完成水平或者垂直方向一个像素大小的缩小。

步骤6，质量判断，本步骤将分析在不出现明显失真前提下多少接缝可以被删除，删除第i条接缝以后的代价能量函数用E(s_i)表示，当E(s_i)超过门限T_S时将认为不能继续删除鲁棒接缝完成视频帧尺寸缩小而换用常规的等尺寸缩放方法继续缩小尺寸直至视频帧尺寸满足设计要求。T_S由式(3)计算：

式中E(s₁)表示第一次迭代搜索中删除第一条最优接缝的代价能量，表示第一次迭代搜索中删除前k条最优接缝的代价能量。α＝0.2为加权系数。

图4为处理后连续帧的帧间差比较图(上排：本发明,下排:图形切割技术)。图5为本发明流程图。

如下表1所示，主观评分比较，其分数越低质量越好，由20位非专业人士和20位专业人士评分，能看出本发明缩放技术对比剪切方法、等尺寸缩放方法的优势。

表1

如表2所示，计算量与所耗存储空间比较，本发明所占空间与图形切割方法、FSCAV方法相比具有相当大的优势。

表2

本发明特点：

1.通过混合能量计算公式计算每个像素的删除代价能量E_total(x)。

2.鲁棒接缝检测方法。

3.质量监控有效避免过渡抽线出现前景物体失真。

Claims (4)

1.一种基于内容的视频尺寸缩小的方法，其特征在于按照以下步骤进行：

步骤1，场景切换检测与关键帧提取；

步骤2，前向整像素运动估计：本步骤采用前向整像素运动估计为非关键帧的每一像素在关键帧中找到与之匹配的像素点；对视频的非关键帧分成4×4大小的若干个块，并对每个块进行前向整像素点运动估计，找到运动矢量(MV)；

步骤3，对视频所有帧的重点区域像素点进行保护，防止这些像素点被选入最优接缝或最优接缝的映射后在后续步骤中被删除；

步骤4，提取关键帧的最优接缝，采用动态设计法在关键帧中搜索最小能量接缝；

搜索最小能量接缝过程为：混合能量计算公式计算每个关键帧中的像素的删除代价能量E_total(x)，联合考虑了该像素点的原始能量、抽线集中程度以及像素角色值，式中E_cong表示在前景区域内连续抽线的集中程度，E_role代表每个像素的角色值，即背景、前景以及不可删除区域，E(x)代表像素点x的能量，

E_total(x)＝E_role(x)×(E(x)+E_cong(x))

$E_{role}\left(x\right)=\left\{\begin{array}{cc}\mathrm{\&infin;}& x\&Element;{\mathrm{\&Omega;}}_{undeletable}\\ \frac{1}{2}\mathrm{\&gamma;}& \mathrm{\&gamma;}<1,x\&NotElement;{\mathrm{\&Omega;}}_{foreground}\\ \frac{1}{2\mathrm{\&gamma;}}& \mathrm{\&gamma;}\&GreaterEqual;1,x\&NotElement;{\mathrm{\&Omega;}}_{foreground}\\ \frac{5}{\mathrm{\&gamma;}}& \mathrm{\&gamma;}<1,x\&Element;{\mathrm{\&Omega;}}_{foreground}\\ 5\mathrm{\&gamma;}& \mathrm{\&gamma;}\&GreaterEqual;1,x\&Element;{\mathrm{\&Omega;}}_{foreground}\end{array}\right.,$

$\mathrm{\&gamma;}=\frac{\underset{x}{\max }\left(E\left(x|x\&Element;{\mathrm{\&Omega;}}_{foregroud}\right)\right)}{\underset{x}{\max }\left(E\left(x|x\&Element;{\mathrm{\&Omega;}}_{backgroud}\right),E\left(x|x\&Element;{\mathrm{\&Omega;}}_{still}\right)\right)},$

$E_{cong}\left(x\right)=\stackrel{\&OverBar;}{E}\&times;Num\left(I_{S|S\&Element;{\mathrm{\&Omega;}}_{foreground}}\right){|}_{x\&Element;{\mathrm{\&Omega;}}_{foreground}}$

Ω_undeletable表示不可删除区域、Ω_foreground表示前景区域,Ω_background表示背景区域,Ω_still表示静止区域,表示前景区域删除的抽线数量，表示前景区域内像素的平均能量，根据接缝搜索原则，在具体实现时需要设置垂直接缝的不可删除区域的边缘的A1-A4点的E_role值为∞，水平接缝的不可删除区域的边缘的B1-B4点的E_role值为∞,表示求解使得能量最大的属于前景区域的x；

水平接缝定义为：

$I_{S^x}={\left\{I\left(S_j\right)\right\}}_{j=1}^m={\left\{I(j,y(j\left)\right)\right\}}_{j=1}^m$

垂直接缝定义为:

$I_{S^y}={\left\{I\left(S_i\right)\right\}}_{i=1}^n={\left\{I\left(x\right(i),i)\right\}}_{i=1}^n$

I表示n×m大小的图像，S_i表示垂直接缝点，S_j表示水平接缝点，表示水平接缝，表示垂直接缝；

寻找最优接缝：

按选定的混合能量计算公式计算视频关键帧中各个像素点的删除代价能量E_total(x)，定义接缝的代价值为(水平)和(垂直)，接下来根据最小化接缝代价值的原则寻找最优接缝，最优接缝的定义式为：

$I_{S^{*x}}=\underset{I_{S^x}}{min}E\left(I_{S^x}\right)=\underset{I_{S^x}}{min}\underset{j=1}{\overset{m}{\&Sigma;}}e\left(I\right(S_j\left)\right)$

$I_{S^{*y}}=\underset{I_{S^y}}{min}E\left(I_{S^y}\right)=\underset{I_{S^y}}{min}\underset{i=1}{\overset{n}{\&Sigma;}}e\left(I\right(S_i\left)\right)$

表示水平最优接缝，表示垂直最优接缝，e(I(S_i))表示按混合能量计算公式计算的垂直接缝点删除代价能量，e(I(S_j))表示按混合能量计算公式计算的水平接缝点删除代价能量，寻找最优接缝的方式采用动态设计法，动态设计法分成如下两步：

第一步，为每一个切入点(p,q)计算与之可能相连的接缝最小累积能量：

垂直接缝最小累积能量为：

M_v(p,q)＝e(p,q)+min(M_v(p-1,q-1),M_v(p-1,q),M_v(p-1,q+1))

p＝1,...,n；q＝1,...,m；M_v(p,q)＝0, if p≤1 or q≤1

水平接缝最小累积能量为：

M_h(p,q)＝e(p,q)+min(M_h(p-1,q-1),M_h(p,q-1),M_h(p+1,q-1))

p＝1,...,n；q＝1,...,m；M_h(p,q)＝0,if p≤1 or q≤1

在完成此过程的循环计算以后，最后累积能量最小的M_v(p,q)即指向了最优垂直接缝,最后累积能量最小的M_h(p,q)即指向了最优水平接缝；其中e(p,q)指切入点(p,q)的能量值；

第二步，反方向寻迹第一步获得的最小M_v(p,q)或者M_h(p,q)遍历的点即找到最优接缝的路径；

步骤5，鲁棒接缝检测：本步骤检测步骤4提取的最优接缝是否是鲁棒接缝，并通过运动矢量MV实现关键帧最优接缝在非关键帧上的映射，检测到鲁棒接缝后就在关键帧里删除该鲁棒接缝并删除非关键帧里鲁棒接缝的映射像素点，完成水平或者垂直方向一个像素大小的缩小；

步骤6，质量判断:本步骤分析在不出现明显失真前提下多少接缝可以被删除，删除第i条接缝以后的代价能量函数用E(s_i)表示，当E(s_i)超过门限T_S时将认为不能继续删除鲁棒接缝完成视频帧尺寸缩小，而换用常规的等尺寸缩放方法继续缩小尺寸直至视频帧尺寸满足设计要求。

2.按照权利要求1所述一种基于内容的视频尺寸缩小的方法，其特征在于：所述步骤1中场景切换检测通过判断当前帧方差的二阶导数实现，每个场景的第一个清晰帧为关键帧。

3.按照权利要求1所述一种基于内容的视频尺寸缩小的方法，其特征在于：所述步骤5中，当关键帧最优接缝在非关键帧上的映射被不可删除区域或者不精确的运动矢量打断，从而在映射接缝中出现缺损像素时，在不可删除区域的同行或同列区域进行局部搜索找到替代映射点填补映射接缝的缺损像素，当前最优接缝在该场景的所有非关键帧中有对应的映射像素点或者能通过上述处理方案填补修复时该接缝成为一条鲁棒接缝，否则为非鲁棒接缝。

4.按照权利要求1所述一种基于内容的视频尺寸缩小的方法，其特征在于：设删除第i条接缝以后的代价能量函数用E(s_i)表示，当E(s_i)超过门限T_S时将认为不能继续删除鲁棒接缝完成视频帧尺寸缩小而换用常规的等尺寸缩放方法继续缩小尺寸直至视频帧尺寸满足设计要求，T_S由下式计算：

$T_S=\mathrm{\&alpha;}\&CenterDot;E\left(s_1\right)+(1-\mathrm{\&alpha;})\&CenterDot;E\left(s_k^{*}\right)$

式中E(s₁)表示第一次迭代搜索中删除第一条最优接缝的代价能量，表示第一次迭代搜索中删除前k条最优接缝的代价能量，α＝0.2为加权系数。