CN101489031A - 基于运动分类的自适应帧速率上转换方法 - Google Patents

Abstract

本发明公开了一种基于运动分类的自适应运动补偿帧速率上转换方法，主要解决现有方法中存在的运动补偿不准确、运算复杂度过大的问题。其步骤为：首先，使用基于积分投影的全局运动估计方法，将视频分为全局运动序列和局部运动序列；采用高阶统计模型对局部运动序列进行运动检测来得到静止背景和遮挡区域；构造相距一个像素距离的灰度共生矩阵，运用角二阶矩和熵两个指标量化纹理复杂度；在提出的混合运动估计法中加入CSAD准则，根据纹理复杂度对全局运动序列和局部运动序列的运动区域进行运动估计，避免了运动补偿插值时重叠和孔洞区域的产生。最后，对运动区域进行补偿插值，静止区域进行时域平均，遮挡区域为当前帧或者前一帧的复制。

Description

基于运动分类的自适应帧速率上转换方法

技术领域

本发明属于图像/视频处理领域，涉及数字电视格式处理，特别是一种自适应帧速率上转换方法，可用于视频会议，视频终端设备的兼容，以及低比特编码解码端的视频增强。

背景技术

随着图像编码与视频传输的飞速发展，数字高清晰度电视HDTV使人们在自己的起居室里就能得到极高品质的视听享受。然而从模拟到数字电视时代的转变是一个渐进的过程，高清晰度电视HDTV、标准清晰度电视SDTV、以及传统的模拟电视将在相当长的一段时间内同时存在。各种影视设备对帧速率的要求各不一致，因此各种设备之间的连接需要进行帧速率的转换。

帧速率上转换是指将低帧速率向高帧速率进行转换，典型的如30Hz向60Hz，50Hz向100Hz的转换。相比于低帧速率，在时间轴上，高帧速率导致帧与帧之间的时间间隔变小，同时添加了许多原本不存在帧的时间位置，在这些位置上，需要根据前后帧的内容“无中生有”出一副新的帧。

以是否考虑运动信息为准则，产生新一帧的方法可以分为非运动补偿方法与运动补偿方法。

非运动补偿方法，包括帧复制与帧平均。帧复制是指在新增图像帧处直接复制前一帧的信息。帧平均指的是在新增图像帧处放置的是前后两帧的信息的平均值。这两种方式简单，易于实现，但仅适合没有运动的场景。在运动区域，帧复制会导致运动物体的抽动，而帧平均则会导致运动物体的模糊。

运动补偿方法，往往考虑物体的运动，沿运动轨迹进行插值。由于考虑了运动信息，所获得的插值帧具有很好的运动描述，因而具有很好的图像质量。目前绝大多数基于运动的帧速率上转换方法首先在两帧或多帧图像间进行运动估计获取运动信息，然后使用这些运动信息进行运动补偿插值，获得插值帧。显然，帧速率上转换的性能依赖于运动估计和运动补偿算法的优劣。

众所周知，双向运动估计能得到比单向运动估技更精确的运动矢量，然而由于插值帧实际上是不存在，是人们自己生成的，会产生“背景取代物体”的现象，参见图3(a)，因此它得依赖于一些辅助措施来提高运动估计准确性。例如，B.-T.Choi，S.-H.Lee，and S.-J.Ko.New frame rate up-conversion using bi-directional motion estimation.IEEE Trans.Consumer Electron.，2000，46(3)，603-609.使用了双向运动估计作为帧速率上转换的第一步，但是其初始运动矢量仍然是依赖于单向运动估计的，并非真正的双向运动估计。

传统的沿运动轨迹的补偿插值方法会因无运动轨迹而产生孔洞，或因存在多重运动轨迹而产生重叠区域，参见图3(b)。为了克服这个缺陷，已经提出了中值滤波和线性插值(T.-Y.Kuo and C.-C.J.Kuo，Motion-compensated interpolation for low-bit-rate video qualityenhancement.Proc.of SPIE，Applications of Digital Image Processing XXI，San Diego，California，1998，3460：277-288)的方法去处理这些区域。然而这样的方法需要大量的检测重叠和孔洞区域的计算，并且孔洞区域的邻域可能还有孔洞出现。另一类简单的运动补偿方法虽然不会产生孔洞区域，但是它却建立在一个特定假设的前提下，即插值帧中每一个块的运动矢量和对应位置处的块运动矢量式是相同的，然而这个假设在运动比较大的情况下是不成立的。

针对现有运动估计和运动补偿相结合时产生的背景取代物体、孔洞、重叠等补偿不精确的问题，提出了混合运动估计，有效解决这种不足。

发明内容

本发明的目的在于提供一种基于运动分类的自适应帧速率上转换方法，以克服上述双向运动估计中背景取代物体，单向运动估计中易出现孔洞、重叠造成补偿插值不准确问题，以及运算量过大的问题，提高插值帧的质量。

实现本发明目的的技术方案是：根据视频的运动内容，采用全局运动估计的方法将其分为全局运动类型和局部运动类型的序列；对局部运动类型的序列，进行运动物体、遮挡区域、显露区域的检测；对全局运动序列和局部运动序列的运动区域，进行混合的运动估计。具体过程如下：

(1)利用图像的积分投影对视频序列进行全局运动估计，将视频图像逐帧分为全局运动序列和局部运动序列图像；

(2)对局部运动序列图像，利用高阶统计量模型对帧差图像进行高斯噪声检测，获得包含运动物体、背景遮挡以及背景显露区域；

(3)在四个方向(0°，45°，90°，135°)上构造相距一个像素距离的灰度共生矩阵，对全局运动序列和局部运动序列中的运动物体进行纹理分析，得到能量和熵两个特征值；

(4)根据能量和熵这两个纹理特征，对全局运动序列和局部运动序列的运动物体进行混合运动估计，得到运动矢量场；

(5)根据运动矢量场，采用双向平均的补偿方法，对全局运动序列和局部运动序列的运动部分进行插值；采用直接取对应帧的对应区域进行复制的方法，对局部运动序列的静止背景、遮挡区域和覆盖区域进行插值，实现在两帧图像之间重建出一帧的的上转换。

所述的利用高阶统计量模型对帧差图像进行高斯噪声检测，包括如下步骤：

(a)计算图像当前区域的四阶矩

其中，η(x，y)为中心在(x，y)位置处的一个滑动窗口，N_η是窗口内像素的个数，

为窗口内帧差图像像素的平均值，此均值为：

(b)设置判断运动区域的比较门限α：

 

其中

为噪声方差，c是跟图像序列特征无关的常量，A为图像背景中的一块区域，通常取边缘部分，N_A为背景区域A中像素点的个数；

(c)将四阶距与门限α进行比较判断运动区域，得到运动标记图m(x，y)：

其中m(x，y)＝1，代表(x，y)位置处为运动区域，否则为静止区域。

所述的对全局运动序列和局部运动序列的运动物体进行混合运动估计，包括如下步骤：

(a)分别计算当前帧和前一帧图像的能量和图像中每一个宏块的熵，并对应取平均，得到平均能量ASM和平均熵值ENT；

(b)通过实验设置ASM的比较门限t₁，以及ENT的比较门限t₂和t₃，并且t₂>t₃；

(c)如果ASM>t₁，执行(4d)，否则，执行(4e)；

(d)对每一个块，如果块的熵值ENT>t₂，按照块匹配准则，执行双向运动估计，否则，执行单项运动估计；

(e)对每一个块，如果块的熵值ENT>t₃，按照块匹配准则，执行双向运动估计，否则，执行单项运动估计。

本发明将视频序列分为全局运动序列和局部运动序列，对局部运动序列采用了运动物体检测技术，精确分割出静止背景，对静止背景区域不再进行运动估计，节省了一部分计算量，有效避免了运动估计时的错误，提高插值帧静止区域质量；同时由于根据能量和熵这两个纹理特征，对全局运动序列和局部运动序列的运动物体进行混合运动估计，克服了传统单向运动估计和运动补偿相结合时极易产生的孔洞、重叠区域等补偿插值不准确的问题，也克服了双向运动估计容易产生的“背景取代物体”现象，提高的运动估计与补偿的准确性；此外由于在运动估计过程中，使用基于纹理信息的的块匹配准则进行匹配，提高了块匹配的准确性。

附图说明

图1是现有运动估计方法产生的错误结果示意图，其中

(a)单向运动估计产生孔洞、遮盖区域，

(b)双向运动估计“背景取代物体”现象；

图2是本发明流程示意图；

图3是本发明遮挡区域产生示意图；

图4是在四种序列下采用不同帧速率上转换方法的客观质量PSNR比较示意图；

图5是在Foreman序列下采用不同帧速率上转换方法的主观比较示意图；

图6是在Garden序列下采用不同帧速率上转换方法的主观比较示意图。

具体实施方式

本发明的核心思想是利用简单而有效的全局运动估计方法对帧序列进行分类，分为全局运动类型的帧序列和具有局部运动类型的帧序列。对于全局运动的序列，由于整帧图像几乎都在运动，直接进行运动估计部分。而对于具有静止像素占绝大部分的局部运动序列，则执行运动物体检测，遮挡显露区域检测操作，仅对运动部分进行运动分析。为了获得高准确性的运动矢量，本发明采用了混合运动估计的方法得到运动矢量信息。对于搜索策略，可以根据***要求来确定，对实时性要求高的，可采用快速搜索方法，对插值帧质量要求高的，可采用全搜索，3DRS搜索，亦可加入半精度，1/4精度来进一步提高运动矢量精确性。

参照图2，本发明的步骤如下：

步骤一，利用积分投影对视频图像进行分类。

积分投影由于可以将两维数据转化为一维数据，能够降低计算量，因而得到了广泛的应用。本发明利用图像的积分投影对视频序列进行全局运动估计，将视频图像逐帧分为全局运动序列和局部运动序列图像，具体步骤是：

首先，利用水平积分投影Ph_t和垂直积分投影Pv_t分别计算出水平方向和垂直方向的全局运动矢量gv_y和gv_x：

${\mathrm{gv}}_y=\arg \underset{v\∈R_v}{\min }\underset{y=1}{\overset{s_y}{\mathrm{\Σ}}}|P{h}_t\left(y\right)-P{h}_{t-1}(y+v)|---\left(1\right)$

${\mathrm{gv}}_x=\arg \underset{u\∈R_h}{\min }\underset{x=1}{\overset{s_h}{\mathrm{\Σ}}}|P{V}_t\left(x\right)-P{V}_{t-1}(x+u)|---\left(2\right)$

其中，t为时域坐标，S_h和S_v分别为帧的水平和垂直方向的大小，R_h和R_v分别为运动估计时水平和垂直方向的搜索区域，Ph_t和Pv_t分别为当前帧I的水平和垂直积分投影和水平积分投影，即：

${\mathrm{Ph}}_t\left(y\right)=\underset{x=1}{\overset{S_h}{\mathrm{\Σ}}}{I}_t(x,y),y=(\mathrm{1,2},\·\·\·,S_v)---\left(3\right)$

${\mathrm{Pv}}_t\left(x\right)=\underset{y=1}{\overset{S_v}{\mathrm{\Σ}}}{I}_t(x,y),x=(\mathrm{1,2},\·\·\·,S_h)---\left(4\right)$

然后，根据gv_y和gv_x判断视频序列的类型type为：

$\mathrm{type}=\left\{\begin{array}{cc}1& \left|g{v}_x\right|+\left|{\mathrm{gv}}_y\right|>0\\ 0& \mathrm{else}\end{array}\right.---\left(5\right)$

其中“1”代表全局运动类型，“0”为局部运动类型。

步骤二：对运动物体进行检测。

对分类后得到的局部运动序列，利用高阶统计模型在不进行运动估计的前提下，在帧差序列中检测非高斯信号，从而检测出运动物体所在的区域。非高斯信号区域的检测通过代表当前窗口区域内运动信息的四阶距

和门限α进行比较来获得，即：

其中m(x，y)为运动区域标记，1代表运动区域，0代表静止区域，代表窗口区域的四阶距，该四阶距由下式得到：

其中η(x，y)为中心在(x，y)位置处的一个滑动窗口，N_η是窗口内像素的个数，

为窗口内帧差图像像素的平，表示为：

门限α通过以下公式获得：

 

其中，

为噪声方差，c是跟图像序列特征无关的常量，A为图像背景中的一块区域，通常取边缘部分，N_A为背景区域A中像素点的个数。

步骤三：检测运动区域中的遮挡与覆盖部分

由于物体的运动，在后续帧中不可避免会出现背景的遮挡，同时前面被遮挡的背景又显现出来，如图3所示。在这些遮挡与显露的区域内进行运动估计得到的运动矢量是极为不可靠的，因此，检测遮挡与显露区域成为增加插值帧质量的一个重要步骤。

静止背景通过运动检测已经获得，为了构建遮挡区域，本发明利用当前帧的运动区域和运动矢量，首先预测出前一帧的运动区域R_pm；然后由当前帧的运动区域R_cm减去其和前一帧运动区域的重叠部分获得覆盖背景R_c；最后，在前一帧的运动区域R_pm中去除当前帧和前一帧运动区域的重叠部分即得到显露背景R_c′。

步骤四：对运动区域进行混合运动估计

通过遮挡与覆盖的检测，可以得到去除遮挡与覆盖部分后的运动区域。再对该区域进行混合运动估计，得到相应的运动矢量。因此，在0°，45°，90°，135°四个方向上构造相距一个像素距离的灰度共生矩阵，使用能量和熵两个灰度共生矩阵特征来判定图像纹理的复杂程度，并以此作为混合运动估计的判据，步骤如下：

Step1：根据灰度共生矩阵得出当前帧和前一帧图像的能量和图像中每一个宏块的熵，并取前后对应两帧的平均值，得到平均能量ASM和平均熵值ENT；

Step2：通过实验设置平均能量ASM的比较门限t₁，以及平均熵值ENT的比较门限t₂和t₃，并且t₂>t₃；

Step3：如果ASM>t₁，跳到Step4，否则，转到Step5；

Step4：对每一个块，假如块的熵值ENT>t₂，按照基于纹理信息的块匹配准则CSAD，执行双向运动估计，否则，执行单项运动估计，返回；

Step5：对每一个块，假如块的熵值ENT>t₃，按照基于纹理信息的块匹配准则CSAD，执行双向运动估计，否则，执行单项运动估计，返回；

所述的基于纹理信息的块匹配准则CSAD公式为：

$\mathrm{CSAD}(d\stackrel{\→}{x},d\stackrel{\→}{y})=2\·\mathrm{SAD}(d\stackrel{\→}{x},d\stackrel{\→}{y})/(T_{t-1}(x,y)+T_t(x,y))---\left(10\right)$

其中，T_t(x，y)是与纹理信息有关的除数因子，表示为：

$T_t(x,y)=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}|I_t(x+d\stackrel{\→}{x},y+d\stackrel{\→}{y})-B_t|---\left(11\right)$

B_t代表块内灰度的均值，由下式表示：

$B_t=\frac{1}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{I}_t(x+d\stackrel{\→}{x},y+d\stackrel{\→}{y})---\left(12\right)$

其中，M×N为块的尺寸。

步骤五：运动补偿插值

首先，对全局运动序列和局部运动序列的运动部分，采用双向平均的补偿插值方法，即将前后两帧的匹配块取均值，用公式表示为：

$f_{t-\frac{1}{2}}(x,y)=\frac{1}{2}(f_{t-1}(x-{\stackrel{\→}{v}}_x,y-{\stackrel{\→}{v}}_y)+f_t(x+{\stackrel{\→}{v}}_x,y+{\stackrel{\→}{v}}_y))---\left(13\right)$

式中，

为待插值块，

和

分别为前一帧和当前帧的匹配块；

然后，对局部运动序列的静止背景、遮挡显露区域，直接取对应帧的对应区域进行复制，获得插值区域，从而完成整个帧的插值。

本发明的优点可通过以下实验进一步说明：

本发明在大量标准视频图像上进行了测试实验，在此选择4组视频序列作为代表进行说明。“Carphone”是具有静态背景和复杂前景运动的序列。“Foreman”是具有略微晃动的背景和复杂前景运动的序列。“Garden”是摄像机做水平方向平移运动的序列。“Mobile”是摄像机缩放，并且物体在水平和垂直方向都有运动的序列。选择了客观评价标准PSNR和主观质量作为优劣的评测依据。

(1)客观评测

将本发明的方法(Method4)与三种传统方法(Mehtod1—Method3)针对所述的四个不同的视频序列进行客观评测。该三种传统方法Mehtod1—Method3如表1所示。

表1 评测中使用的运动估计和运动补偿方法

表1中“传统的运动补偿”即沿着运动轨迹的双向取平均运动补偿，孔洞区域按照“B.-W.Jeon，G.-I.Lee，S.-H.Lee and R.H.Park.Coarse-to-fine frame interpolation for frame rateup-conversion using pyramid structure.IEEE Trans.Consumer Electron.，2003，49(3)：499-508.”中处理孔洞的方法处理。“简单的运动补偿”为“S-H Lee，O Kwon，R-H ParkWeighted-adaptive motion-compensated frame rate up-conversion[J].IEEE Trans.ConsumerElectron.，2003，49(3)：485-492.”中的双向取平均方法。

利用表1所示的运动估计和运动补偿方法，得到的PNNR值如表2所示。

表2 四个测试序列在四种帧速率转换算法中的平均PSNR值

由表2数据得出的PSNR曲线如图4所示，其中图4(a)是“Carphone”序列50帧图像采用本发明的方法和传统的方法逐帧客观质量比较图；图4(b)是“Foreman”序列50帧图像采用本发明的方法和传统的方法逐帧客观质量比较图；图4(c)是“Garden”序列50帧图像采用本发明的方法和传统的方法逐帧客观质量比较图；图4(d)是“Mobile”序列50帧图像采用本发明的方法和传统的方法逐帧客观质量比较图。

从图4可以看出，本发明的方法得到的插值帧绝大部分客观质量高于传统的方法，PSNR最大高出传统方法4个dB。从表2可以看出，本发明的方法平均客观性能高于传统的单项或者双向运动估计得到的结果。

(2)主观评测

根据本发明对全局运动序列和局部运动序列的不同处理方法，有代表性的以局部运动比较显著的Foreman序列，和全局运动比较显著的Garden序列为例，进行深入的主观评测。

图5为Foreman序列的一帧。可以看到，Method1在人脸的左下巴和右嘴处产生了块失真，相邻的背景也产生了块效应。在Method2的插值结果中，在模式相似的背景中，可以看到与Method1相似的块失真。Method3在帽子的边缘处产生了失真。本发明的结果中，上述块效应基本消失，没有人眼可以感觉到的失真。

图6为Garden序列的一帧。Method1和Method2在树干左半部分，竹竿处产生了较严重的失真，图像最右边白色天窗处也产生了失真。在Method3的结果中，一个树枝的下半部分与上班部分没有正确连接上，而且树干左半部分也有失真。在本发明的结果中，树干处的失真减小，树枝连接正确，竹竿处的失真消失了，天窗部分也没有失真。综上所述。本发明能得到更加符合人眼视觉特性的插值帧。

Claims (5)

1.一种基于运动分类的自适应帧速率上转换方法，包括如下步骤：

(1)利用图像的积分投影对视频序列进行全局运动估计，将视频图像逐帧分为全局运动序列和局部运动序列图像：

(2)对局部运动序列图像，利用高阶统计量模型对帧差图像进行高斯噪声检测，获得包含运动物体、背景遮挡以及背景显露区域；

(3)在四个方向(0°，45°，90°，135°)上构造相距一个像素距离的灰度共生矩阵，对全局运动序列和局部运动序列中的运动物体进行纹理分析，得到能量和熵两个特征值；

(4)根据能量和熵这两个纹理特征，对全局运动序列和局部运动序列的运动物体进行混合运动估计，得到运动矢量场；

(5)根据运动矢量场，采用双向平均的补偿方法，对全局运动序列和局部运动序列的运动部分进行插值；采用直接取对应帧的对应区域进行复制的方法，对局部运动序列的静止背景、遮挡区域和覆盖区域进行插值，实现在两帧图像之间重建出一帧的的上转换。

2.如权利要求1所述的方法，其中步骤(1)的所述的将视频图像逐帧分为全局运动序列和局部运动序列图像，表示为：

$\mathrm{type}=\left\{\begin{array}{cc}1& \left|{\mathrm{gv}}_x\right|+\left|{\mathrm{gv}}_y\right|>0\\ 0& \mathrm{else}\end{array}\right.$

${\mathrm{gv}}_x=\arg \underset{u\∈R_h}{\min }\underset{x=1}{\overset{S_h}{\mathrm{\Σ}}}|{\mathrm{PV}}_t\left(x\right)-{\mathrm{PV}}_{t-1}(x+u)|$

${\mathrm{gv}}_y=\arg \underset{v\∈R_v}{\min }\underset{y=1}{\overset{S_v}{\mathrm{\Σ}}}|{\mathrm{Ph}}_t\left(y\right)-{\mathrm{Ph}}_{t-1}(y+v)|$

式中，type给出了序列的运动类型，“1”代表全局运动类型，“0”为局部运动类型；Ph_t和Pv_t分别为当前帧I的水平和垂直积分投影，gv_y，gv_x为y和x方向的全局运动矢量；t为时域坐标，S_h，S_v为帧的水平和垂直方向的大小，R_h，R_v为运动估计时水平和垂直方向的搜索区域。

3.如权利要求1所述的方法，其中步骤(2)所述的利用高阶统计量模型对帧差图像进行高斯噪声检测，包括如下步骤：

(3a)计算图像当前区域的四阶矩

其中，η(x，y)为中心在(x，y)位置处的一个滑动窗口，N_η是窗口内像素的个数，为窗口内帧差图像像素的平均值，此均值为：

(3b)设置判断运动区域的比较门限α：

 

其中

为噪声方差，c是跟图像序列特征无关的常量，A为图像背景中的一块区域，通常取边缘部分，N_A为背景区域A中像素点的个数；

(3c)将四阶距与门限α进行比较判断运动区域，得到运动标记图m(x，y)：

其中m(x，y)＝1，代表(x，y)位置处为运动区域，否则为静止区域。

4.如权利要求1所述的方法，其中步骤(4)所述的对全局运动序列和局部运动序列的运动物体进行混合运动估计，包括如下步骤：

(4a)分别计算当前帧和前一帧图像的能量和图像中每一个宏块的熵，并对应取平均，得到平均能量ASM和平均熵值ENT；

(4b)通过实验设置ASM的比较门限t₁，以及ENT的比较门限t₂和t₃，并且t₂>t₃；

(4c)如果ASM>t₁，执行(4d)，否则，执行(4e)；

(4d)对每一个块，如果块的熵值ENT>t₂，按照块匹配准则，执行双向运动估计，否则，执行单项运动估计；

(4e)对每一个块，如果块的熵值ENT>t₃，按照块匹配准则，执行双向运动估计，否则，执行单项运动估计。

5.如权利要求4所述的方法，其中步骤(4d)和步骤(4e)所述的块匹配准则为：

$\mathrm{CSAD}(\stackrel{\→}{\mathrm{dx}},\stackrel{\→}{\mathrm{dy}})=2\·\mathrm{SAD}(\stackrel{\→}{\mathrm{dx}},\stackrel{\→}{\mathrm{dy}})/(T_{t-1}(x,y)+T_t(x,t))$

$T_t(x,y)=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}|I_t(x+\stackrel{\→}{\mathrm{dx}},y+\stackrel{\→}{\mathrm{dy}})-B_t|$

$B_t=\frac{1}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{I}_t(x+\stackrel{\→}{\mathrm{dx}},y+\stackrel{\→}{\mathrm{dy}})$

式中，M×N为块的尺寸，T_t是与纹理信息有关的除数因子，B_t代表块内灰度的均值，其余变量同上。

Images