CN101867812B - 一种利用边缘效应进行运动预测的视频数据压缩运动估计方法 - Google Patents

Abstract

本发明涉及视频压缩领域，公开一种利用边缘效应进行运动预测的视频数据压缩运动估计方法，在该方法中采用了具有交集部的圆形宏块划分方法，并通过交集部的运动向量取中间值确定宏块运动矢量预测值；通过初始搜索和初定匹配模块的确定，同时通过以初定匹配模块为基点进行二次搜索范围的确定和运动估算。本发明方法可以提高估算的准确度和速度，有效消除视频中的“方块”现象。

Description

一种利用边缘效应进行运动预测的视频数据压缩运动估计方法

技术领域：

本发明涉及视频压缩领域，特别是面向数字家庭的流动媒体视频数据压缩运动估计方法。

背景技术

在多媒体应用中，一幅640×480的256色彩图像所占的数据量为300kB，而动态视频要求每秒播放25～30帧图像，因而以640×480的窗口播放256色彩***图像，即使在没有声音数据的情况下，也要求每秒处理8MB左右的数据量，所以为了通过有限网络带宽和速度下，实现多媒体的流畅播放，有必要对动态视频进行最大程度的压缩处理。

多媒体的数据量和信息量关系为I＝D-du，其中，I为信息量，D为数据量，du为冗余量。信息量是要传输的主要数据，数据冗余是无用的数据，没有必要传输。视频信号上存在大量冗余数据，这是进行视频数据压缩的基础，多媒体视频信号的冗余度存在于结构和统计两方面。在结构方面，冗余度表现为很强的空间相关性和时间相关性，空间相关性为帧内相关性，时间相关性即帧间相关性，由于相邻帧的图像大部分区域信号的变化缓慢，尤其是背景部分几乎不变，所以视频信号在相部象素间、相部行间乃至相邻帧间存在较强的相关性，这种相关性就表现为空间冗余和时间冗余。在统计方面，冗余度表现为人眼在观察图像时的局限性，人眼对图像细节分辨率、运动分辨率和对比度分辨率的感觉都有一定界限，所以相当多的图像信息对于人眼来说是无关紧要的，这些空间冗余和时间冗余也为视频压缩带来了广阔的空间。

目前，主要利用三种手段对图像进行压缩：利用离散余弦变换(DCT)和矢量量化消除帧内相关性，利用运动估计消除帧间相关性，利用熵编码消除图像数据编码带来的冗余。传统的消除帧间相关性的方法是运动估计，即对于当前图像帧的数据，首先在前一帧搜索与其最匹配的区域，计算当前帧的数据相对于前一帧数据的运动矢量，寻找到结果后，对两者的差值进行编码。目前有多种运动估计算法，其中最常见的方法是块匹配法，即每帧图像被划分为二维的N*N象素的子块，一般N为16，假定每个子块内的所有象素作相等的平移运动，当前帧的N*N子块在前一帧对应的子块的部域窗口内搜索与之最匹配的子块，当前子块与前帧的匹配块在二维平面上的位移即为运动估计得到的运动矢量。块匹配法中搜索匹配子块的方法也有多种，如全搜索法、三步搜索法(3SS)、交叉搜索法、新三步搜索法(3NSS)、菱形搜索、六边形运动搜索、小钻石形运动搜索。其中全搜索法是对于当前帧的每一个宏块，在前帧的特定范围(通常为部域)内计算每个点的块匹配值，该部域内的每个点为匹配点，然后将最小匹配值对应的匹配点作为最佳匹配点，最佳匹配点对应的运动矢量为当前宏块的运动矢量。

目前块匹配法常见的块划分方法为将图像划分为N*N象素的子块，一般N为16。各宏块之间是互相独立，没有相交的部分。在做当前宏块的运动矢量预测值时，一般是选取左宏块、正上宏块、右宏块的运动矢量作为参考。实际上，宏块的预测最能反映其变化的应在与块与块之间交界处的像素值的变化方向和运动矢量，而目前常见的块划分方法缺把这个重点给忽略，也很大程度上造成在视频播放时候，当分辨率低的情况下，难免会给人一种“方格”的效果。目前，视频数据压缩运动估计另一个重点是匹配子块的搜索的速率问题，先后出现的新三步搜索法(3NSS)、菱形搜索、六边形运动搜索、小钻石形运动搜索方法一定程度上提高了搜索的速率，进而提高了视频的压缩效率，但面向于网络应用的高清流动媒体传输与播放，这种压缩效率仍很难满足实际应用需要。

发明内容

本发明目的是公开一种区别于目前视频压缩运动估算的不同的宏块划分方法，并利用各宏块之间相交部分对当前宏块的进行运动矢量预测，可以更真实的反映块与块之间的变化；另外，本发明还通过与二步搜索法提高匹配子块的搜索速率，进而提高视频的压缩速度和压缩量以满足数字家庭视频网络播放的要求。

本发明的目的通过下面技术方案实现：

一种利用边缘效应进行运动预测的视频数据压缩运动估计方法，其特征在于，该方法包括如下步骤：

A、选取均匀分布的点作为圆心，将每帧划分成均匀分布的相互具有交集部的圆形宏块；

B、每个圆形宏块以圆心为中心划分计算块；所述计算块是以圆心为中心并以该圆心呈现中心对称的宏块；

C、计算当前宏块的左交集部、上交集部和右交集部的运动矢量的中值以确定每宏块运动矢量预测值，并确定计算块的第一中途停止判决门限值T₁和第二中途停止判决门限值T₂；其中，T₁＝M*N；T₂＝2*T₁，其中M，N为计算块的高度和宽度；

D、根据当前帧宏块中心点的横坐标确定初始搜索范围为前一帧相同横坐标对应的宏块；根据各自运动矢量计算初始搜索范围内计算块的对应位置点进行

运算，其中I_c(i，j)表示当前宏块中计算块象素的灰度值，I_r(i+u，j+v)表示前帧中初始搜索范围内计算块对应象素的灰度值，(u，v)为运动矢量，M、N为计算块的高度和宽度；

E、判断SAD值是否小于第一中途停止判决门限值T₁，如果是则该SAD值对应的运动向量作为运动估计的最终结果；否则选取最小初始搜索范围内SAD值最小的前帧宏块为初定匹配模块；

F、选取初选匹配模块的中心坐标为起点与其45°对角线相连宏块作为二次搜索范围，根据各自运动矢量计算二次搜索范围内计算块的对应位置点进行

运算，针对每个位置点所求得的SAD值是否小于所述第二中途停止判决门限值T₂；如果是则该SAD值对应的运动向量作为运动估计的最终结果；否则选取二次搜索范围SAD最小值的宏块为选定匹配模块；

G、记录SAD值对应的运动向量为运动估计的最终结果。

作为优化，圆形宏块的半径R₁为相邻宏块中心间距W₁的

进一步优化，每个宏块的计算块为以宏块圆心为中心，宽度为(W₁-R₁)的纵横对称的方形块。

综上所述，本发明方案的优点包括：

1.采用了互相之间具有交集的宏块划分方法，消除了现有大部分视频中出现方格的现象；

2.宏块呈圆状，相邻宏块的交集面积和边界相同；通过采用宏块之间交集部分的运动矢量，并进而通过计算它们的中值来确定当前宏块的运动矢量预测值，更真实的反应了宏块之间的运动变化；

3.宏块设有计算块，并采用了全新的搜索方法，提高了搜索的效率和大量降低压缩过程的工作量，使运动估算更快速和准确。

附图说明

图1为现有视频图像宏块划分示意图；

图2为本发明的帧图像宏块划分示意图；

图3为本发明的交集部和计算块划分示图；

图4为宏块和交集部放大示图；

图5为划分有计算块的宏块和交集部放大示图；

图6为初搜索范围及搜索方向示图；

图7为二次搜索范围及搜索方向示图；

图8为本发明整体实施流程图。

具体实施方式

参考图1所示，为现有技术中常见的视频图像宏块划分方法。帧图像被划分为二维的均匀分布的N*N象素的子块，并且一般N为16。根据现有的运动估算原理，假定每个子块内的所有象素作相等的平移运动，前帧的N*N子块在前一帧对应的子块的部域窗口内搜索与之最匹配的子块，当前子块与前帧的匹配块在二维平面上的位移即为运动估计得到的运动矢量。

参考图2，为本发明的帧图像宏块划分方法，即首先确定若干均匀分布的点为圆心点，然后以这些点为圆心，将帧图像划分为等半径呈圆形的宏块。如果以16*16象素大小的方块中心为圆心，则这些圆心点坐标可以表示为：{(x，y)|x＝8(k+1)，y＝8(k+1)，k∈N}；半径为：

圆心点坐标可以根据宏块的大小做调整。

参考图3、图4，宏块相互之间具有交集部。当圆心点坐标可以表示为：{(x，y)|x＝8(k+1)，y＝8(k+1)，k∈N}；半径为：

时，各交集部正好是以16*16象素大小的方块的四个端点。如图4所示，各交集部面积相等，分别代表着相邻宏块之间四个方向像素值的变化。

本发明与现有技术对比，区别除了宏块的划分方法、形状不同、宏块之间存在交集部外，在当前宏块运动矢量预测值的估算方法。在本发明，首先计算当前宏块的左交集部01、上交集部02和右交集部03的运动矢量，并分别记为W_LU，W_U，W_R(如图3和图4所示)，则运动矢量预测值为MVP_MED(u，v)＝med{W_LU，W_U，W_R}。当当前宏块没有左交集部01时，则W_LU＝(0，0)；没有上交集部02时，则W_U＝(0，0)；没有右交集部03时则W_R＝(0，0)。由于左交集部01、上交集部02和右交集部03直接反影着宏块的变化，所以通过它们的运动矢量来作为当前宏块运动预测矢量，更可以提高运动估算的准缺度。另外，可以通过计算交集部的中间值来作为当前宏块运动预测矢量，原理相同，不再重复。

参考图3和5所示，本发明的宏块内，还划分有一个计算块04。计算块04是与交集部相对独立的，真正体现宏块特征的核心部分。如图5，计算块是以圆心为中心并以该圆心呈现中心对称的宏块。当圆心点坐标可以表示为：{(x，y)|x＝8(k+1)，y＝8(k+1)，k∈N}；半径为：

时，则计算块04为 $|16*(2-\sqrt{2})|*|16*(2-\sqrt{2})|$ 像素的方块。

实现运动估算，另外一个重要问题是搜索速度和前帧的参考宏块选择问题。在本发明中，与现有的三步搜索法(3NSS)、菱形搜索、六边形运动搜索、小钻石形运动搜索方法不同，首先根据计算块决定第一中途停止判决门限值T₁和第二中途停止判决门限值T₂；方法是：T₁＝M*N；T₂＝2*T₁，其中M，N为计算块的高度和宽度。

第一中途停止判决门限值T₁和第二中途停止判决门限值T₂确定后，根据当前帧宏块中心点(假设为(X₀，Y₀))的横坐标X确定初始搜索范围；确定方法为被搜索的前帧宏块中心点的Y＝Y₀对应的宏块；根据各自运动矢量计算初始搜索范围内计算块的对应位置点进行

运算，其中I_c(i，j)表示当前宏块中计算块象素的灰度值，I_r(i+u，j+v)表示前帧中初始搜索范围内计算块对应象素的灰度值，(u，v)为运动矢量，M，N为计算块的高度和宽度；初始搜索范围的搜索方向，可以根据运动矢量预测方向决定，如图6所示，假如为偏向X坐标，则搜索方向为由X₀开始，往X＞X₀搜索。该搜索过程中，当前帧宏块计算的SAD值小于第一中途停止判决门限值T₁则该SAD值对应的运动向量作为运动估计的最终结果并结束检索和当前帧的运动估算，否则对处于0-＞X₀范围内的前一帧宏块进行搜索，判断SAD，有SAD值小于第一中途停止判决门限值T₁则该SAD值对应的运动向量作为运动估计的最终结果，否则选取最小SAD值前帧宏块为初定匹配模块。

初定匹配模块被确定后，由于该搜索范围只局限于单个方向，所以在寻找不到第一中途停止判决门限值T₁的前帧宏块时，有必要在其它坐标方向进行二次搜索。如图7所示，选取初选匹配模块的中心坐标为起点与其呈现±45°对角线相连的前帧宏块作为二次搜索范围。具体实施时候可以先+45°方向，然后后-45°方向进行搜索，搜索过程中根据各自运动矢量计算二次搜索范围内计算块的对应位置点进行运算，针对每个位置点所求得的SAD值是否小于所述第二中途停止判决门限值T₂；如果是则该SAD值对应的运动向量作为运动估计的最终结果；否则选取二次搜索范围SAD最小值的宏块为选定匹配模块，并记录选定匹配模块的块匹配值及其运动向量为运动估计的最终结果。

综上所述，在整个检索的范围囊括了二维图两个坐标的四个方向，同时当前宏块运动矢量预测来确定初始的搜索方向，根据第一中途停止判决门限值T₁和第二中途停止判决门限值T₂加快了搜索的速度，根据本搜索方法，可以减少搜索的范围，提高估算的准确度和有效性。

参考图8，下面，综合上面所说对整个流程做概括描述：

如步骤S801，首先确定均匀分布的点作圆心；

如步骤S802，以圆心为基准将帧图像划分为具有交集部的圆形宏块；

如步骤S803，宏块里划分计算块；

如步骤S804，计算当前宏块的左交集部、上交集部和右交集部的运动矢量W_LU，W_U，W_R；

如步骤S805，三个运动向量取中间值确定宏块运动矢量预测值；

如步骤S806和S807，确定第一中途停止判决门限值T₁和第二中途停止判决门限值T₂；

如步骤S808，根据宏块运动矢量预测确定初始搜索的方向；

如步骤S809，搜索前一帧与当前宏块中心点的Y坐标相同的宏块；

如步骤S810，计算被搜索宏块SAD值；

如步骤S811，判断SAD值是否小于T₁，是则该SAD值对应的运动向量作为运动估计的最终结果并结束检索，完成当前帧的运动估算；否则进入步骤S812；

如步骤S812，取初步搜索范围内SAD值最小的前帧宏块为初定匹配模块；

如步骤S813，确定与初定匹配模块圆心坐标呈正负45度对角线相连宏块作为二次搜索范围；

如步骤S814，计算二次被搜索宏块的SAD值；

如步骤S815，判断SAD值是否小于T₂；是则该SAD值对应的运动向量作为运动估计的最终结果并结束检索，完成当前帧的运动估算；否则进入步骤S816；

如步骤S816，选取二次搜索分为内SAD值最小的前帧宏块为选定匹配模块；

如步骤S817，得到运动估算结果。

Claims (4)

1.一种利用边缘效应进行运动预测的视频数据压缩运动估计方法，其特征在于，该方法包括如下步骤：

A、选取均匀分布的点作为圆心，将每帧划分成均匀分布的相互具有交集部的圆形宏块；

B、每个圆形宏块以圆心为中心划分计算块；所述计算块是以圆心为中心并以该圆心呈现中心对称的宏块；

C、计算当前宏块的左交集部、上交集部和右交集部的运动矢量的中值以确定每宏块运动矢量预测值，并确定计算块的第一中途停止判决门限值T₁和第二中途停止判决门限值T₂；其中，T₁＝M*N；T₂＝2*T₁，其中M，N为计算块的高度和宽度；

D、根据当前帧宏块中心点的横坐标确定初始搜索范围为前一帧相同纵坐标对应的宏块；根据各自运动矢量计算初始搜索范围内计算块的对应位置点进行

运算，其中I_c(i，j)表示当前宏块中计算块象素的灰度值，I_r(i+u，j+v)表示前帧中初始搜索范围内计算块对应象素的灰度值，(u，v)为运动矢量，M、N为计算块的高度和宽度；

E、判断SAD值是否小于第一中途停止判决门限值T₁，如果是则该SAD值对应的运动向量作为运动估计的最终结果；否则选取最小初始搜索范围内SAD值最小的前帧宏块为初定匹配模块；

F、选取与初选匹配模块的中心坐标为端点，并与其呈±45°对角线所相连前帧宏块作为二次搜索范围，根据各自运动矢量计算二次搜索范围内计算块的对应位置点进行

运算，判断每个位置点所求得的SAD值是否小于所述第二中途停止判决门限值T₂；如果是则该SAD值对应的运动向量作为运动估计的最终结果；否则选取二次搜索范围SAD最小值的宏块为选定匹配模块；

G、记录SAD值对应的运动向量为运动估计的最终结果。

2.如权利要求1所述的视频数据压缩运动估计方法，其特征在于：圆形宏块的半径R1为相邻宏块中心间距的

3.如权利要求1或2所述的视频数据压缩运动估计方法，其特征在于：每个宏块的计算块为以宏块圆心为中心，呈纵横对称的方形图像块，所述计算块是与所述交集部相对独立的。

4.如权利要求3所述的视频数据压缩运动估计方法，其特征在于：初始搜索方向与运动矢量预测的水平分量方向相同。

Images