CN103051857A - 基于运动补偿的1/4像素精度视频图像去隔行方法 - Google Patents

Abstract

本发明公开了一种基于运动补偿的1/4像素精度视频图像去隔行方法，主要解决现有运动补偿去隔行方法中运动估计精度有限的问题。其实现过程是：读入隔行视频序列，选取相应插值场和参考场；在参考场中，应用六阶有限冲击响应滤波器进行半像素插值；对参考场的1/4像素点应用整像素和半像素点进行线性插值；运用有效的三步搜索法E3SS对参考场的整像素、分像素进行运动估计，寻找绝对误差和SAD最小的运动矢量；对参考场进行双向运动估计，得到两个运动矢量，取其中绝对误差和SAD最小的作为当前块的运动矢量；根据当前块运动矢量，利用对应参考块进行运动补偿，得到去隔行图像。本发明在未增加计算复杂度的前提下提高了图像质量，可用于视频图像去隔行的处理。

Description

基于运动补偿的1/4像素精度视频图像去隔行方法

技术领域

本发明属于图像处理技术领域，涉及视频图像隔行扫描格式至逐行扫描格式的转换，可用于隔行扫描图像至逐行扫描图像的去隔行处理，是近年来视频图像去隔行的研究热点之一。

背景技术

目前随着各种新型显示设备、新的电视广播格式的发展，在视频领域存在大量不同的格式标准。为了实现不同格式视频信号间的交流，视频格式转变不可或缺。当今电视广播***中，绝大部分视频信号源采用隔行扫描，此方式可以减少带宽需求，但会引起爬行、画面闪烁、边缘模糊及锯齿现象。去隔行技术是格式转换的一项关键技术，也是其他格式转换技术的基础。所谓“去隔行”，即从隔行扫描格式向逐行扫描格式的转换。

为了克服隔行图像转换为逐行图像时带来的模糊、锯齿等现象，人们提出了许多不同的去隔行方法，按照去隔行技术发展的时间顺序，依次为：线性去隔行方法，包括空域线性滤波、时域线性滤波、时空域线性滤波；非线性去隔行方法，包括基于边缘自适应的去隔行方法、基于中值滤波的去隔行方法、基于运动自适应的去隔行方法；基于运动补偿的去隔行方法，为目前最先进的去隔行方法。

运动补偿去隔行方法有两个重要的过程：运动估计与运动补偿。对于视频图像序列，相邻帧与帧之间存在着较强的相关性，运动估计就是对多帧之间的运动信息的估计。运动补偿是根据运动估计的结果做插值运算。运动估计和运动补偿被广泛应用于数字视频处理中。例如H.261，H.263，H.264和MPEG-1，MPEG-2，MPEG-4压缩标准中，都用到了运动估计与运动补偿。在去隔行视频处理中，运动估计应用前后场的运动信息，得到运动矢量MV，然后沿着运动轨迹进行插值来重构帧。一般来说，如果得到的运动矢量足够准确，运动补偿方法将得到最好的去隔行效果。这种去隔行方法能够很好地保持图像的垂直清晰度。

运动估计是运动补偿方法的基础，也是运动补偿去隔行方法最重要的一步。目前已经有多种运动估计方法，常用的有块匹配法，贝叶斯运动估计等。块匹配法是最常用的一种运动估计方法，其基本思想是将图像划分成N×N个固定大小、互不重叠的图像块，并假设子块内所有像素均具有相同的运动参数，即每个子块的运动为刚体平移，对每块分别进行处理。当前场的N×N个子块在参考场对应的子块邻域窗口内根据一定的匹配准则搜索到与之最匹配的子块，当前子块与匹配块在二维平面上的位移即为运动估计得到的运动矢量。块匹配运动估计的优势在于计算简单、计算量小和硬件实现简单，精度与复杂度方面有较好的折衷。

运动补偿是根据运动估计得到的运动矢量所描述的运动轨迹进行图像插值，这样就相当于将一个运动序列虚拟地变成一个静止序列，因此也就可以利用静止图像插值的方法处理运动图像。常用的运动补偿有前向运动补偿、后向运动补偿、双向运动补偿和多假设运动补偿等方法。

目前，基于运动估计和运动补偿的去隔行方法主要由整像素运动估计、运动补偿构成。其中运动估计采用整像素块匹配快速运动估计方法，运动补偿采用的是双向运动补偿方式，这种方法的不足之处是：整像素运动估计搜索范围内的运动矢量位移都是整像素级别的，如果视频序列中物体存在分数像素级运动，现有的整像素运动估计搜索精度不足，无法准确得到真实运动的运动矢量，只能在整像素级搜索范围内寻找相对最优的匹配块，从而导致明显的块效应，对隔行视频图像去隔行处理效果不佳。

发明内容

本发明的目的在于针对上述现有技术的不足，提出基于运动估计与运动补偿的1/4像素精度块匹配图像去隔行方法，以提高块匹配运动估计的搜索准确度，提高隔行视频图像去隔行处理效果。

为实现上述目的，本发明技术方案包括如下步骤：

(1)读入一个大小为352×288的raw格式的100场的实际隔行视频序列，选取一个插值场和两个参考场，其中选取的参考场为插值场的前向场和后向场；

(2)在前向和后向参考场的整像素点之间产生半像素点：

应用相邻整像素点进行内插得到半像素点，其中内插方式为应用一个六阶有限冲击响应滤波器对相邻整像素点进行加权，滤波器权值为：

(1/32,-5/32,5/8,5/8,-5/32,1/32)；

(3)在得到所有的半像素位置像素点后，由邻近整像素点和半像素点进行线性插补，得到1/4像素位置的像素点；

(4)运用有效的三步搜索法E3SS对参考场整像素、1/2像素、1/4像素位置进行块匹配运动估计，寻找绝对误差和SAD最小的最佳匹配块，当位移矢量为(i,j)时，绝对误差和SAD定义如下：

$\mathrm{SAD}(i,j)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}|f_k(m,n)-f_{k-1}(m+i,n+j)|,$

式中，f_k和f_k-1分别是当前场和前向场对应像素点的灰度值，M×N为宏块大小；

(5)对前向和后向参考场进行双向运动估计，得到两个运动矢量(dx₁,dy₁)、(dx₂,dy₂)，取其中绝对误差和SAD最小的一个运动矢量作为当前宏块的运动矢量(dx,dy)；

(6)根据当前宏块的运动矢量(dx,dy)，应用前向和后向参考场中相应的参考宏块，线性插值得到插值宏块F(x,y;k)：

$F(x,y;k)=\frac{F(x-\mathrm{dx},y-\mathrm{dy};k-1)+F(x+\mathrm{dx},y+\mathrm{dy};k+1)}{2},$

其中，(x,y)为宏块的坐标，F(x-dx,y-dy;k-1)为前向参考场应用运动矢量(dx,dy)得到的参考宏块，F(x+dx,y+dy;k+1)为后向参考场应用运动矢量(dx,dy)得到的参考宏块；

(7)合并插值宏块F(x,y;k)与当前宏块，得到去隔行后的逐行图像宏块。

本发明由于采用邻近整像素点和半像素点进行线性插补，得到1/4像素位置的像素点，故能有效地提高运动估计搜索精度；同时由于本发明采用六阶有限响应滤波器对整像素点进行插值，得到插值效果更优的半像素点，能有效消除图像噪声引起的像素点突变对插值效果的影响；此外由于本发明对整数、分数像素位置运用有效的三步搜索法E3SS进行块匹配运动估计搜索，因而降低了计算复杂度，并且对运动剧烈图像差值效果好，能在保证插值计算复杂度适当的前提下，有效地提高了插值后的图像视觉效果。

附图说明

图1为本发明的流程图；

图2为本发明使用的测试视频图像；

图3为本发明应用的一种有效的三步搜索法E3SS的搜索模板；

图4为本发明与现有整像素运动补偿去隔行法对football序列进行去隔行处理的实验对比图；

图5为本发明与现有整像素运动补偿去隔行法对soccer序列进行去隔行处理的实验对比图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

参照图1，本发明的实施步骤如下：

步骤1,选取插值场和参考场：

读入一个大小为352×288的raw格式的100场的实际隔行视频序列，插值场按照时间顺序从起始场到结束场依次选取，选取一个场作为插值场后，两个参考场分别为选取的插值场的前向场和后向场。

步骤2，在前向和后向参考场的整像素点之间产生半像素点。

根据待插值半像素点与相邻整像素点距离的不同，应用不同的像素点插值得到半像素点，其实现步骤如下：

(2a)对于临近水平方向整数位置的半像素点，是通过应用一个六阶有限冲击响应滤波器对左右邻近整像素点进行加权，内插得到插值半像素点，其中滤波器权值为：(1/32,-5/32,5/8,5/8,-5/32,1/32)；

(2b)对于临近垂直方向整数位置的半像素点，是通过应用一个六阶有限冲击响应滤波器对上下邻近的整像素点进行加权，内插得到插值半像素点，其中滤波器权值为：(1/32,-5/32,5/8,5/8,-5/32,1/32)；

(2c)对于余下的半像素位置的像素点，是通过应用一个六阶有限冲击响应滤波器对六个水平或者垂直方向已知的邻近半像素点进行加权，内插得到插值半像素点，其中滤波器权值为：(1/32,-5/32,5/8,5/8,-5/32,1/32)。

步骤3，在参考场中得到所有的半像素位置像素点后，根据待插值1/4像素点与相邻整像素点、半像素点距离的不同，应用不同的整像素点和半像素点插值得到1/4像素点，其实现步骤如下：

(3a)对于临近水平方向整像素和半像素位置的四分之一像素，是由左右邻近的整像素点和半像素点进行线性插补得到；

(3b)对于临近垂直方向整像素和半像素位置的四分之一像素，是由上下邻近的整像素点和半像素点进行线性插补得到；

(3c)对于余下的四分之一像素位置的像素，是用相邻对角线位置的两个半像素点进行线性插补得到。

步骤4，，运用有效的三步搜索法E3SS对参考场的整像素、1/2像素、1/4像素位置进行块匹配运动估计。

参照图3，本步骤的具体实现如下：

(4a)对整像素位置，搜索该E3SS模板上的13个检测点，如果最小误差点为搜索窗口中心检测点，则该最小误差点对应的参考宏块为最佳匹配参考宏块，搜索结束，得到一个最佳匹配参考宏块对应的运动矢量(i_int,j_int)；如果最小误差点处于13个检测点的外8个检测点，采用三步搜索法3SS继续进行块匹配运动估计搜索；如果最小误差点处于13个检测点的内菱形的4个检测点，将此时的最小误差点作为下一步搜索内菱形的4个检测点的中心点，继续搜索对应的内菱形4个检测点，直到最小误差点为内菱形4个检测点的中心点或搜索到达搜索窗口边界位置；结束搜索后，得到最佳匹配参考宏块对应的运动矢量(i_int,j_int)；

(4b)对1/2像素位置，搜索该E3SS模板上的13个检测点，如果最小误差点为搜索窗口中心检测点，则该最小误差点对应的参考宏块为最佳匹配参考宏块，搜索结束，得到一个最佳匹配参考宏块对应的运动矢量(i_1/2,j_1/2)；如果最小误差点处于13个检测点的外8个检测点，采用三步搜索法3SS继续进行块匹配运动估计搜索；如果最小误差点处于13个检测点的内菱形的4个检测点，将此时的最小误差点作为下一步搜索内菱形的4个检测点的中心点，继续搜索对应的内菱形4个检测点，直到最小误差点为内菱形4个检测点的中心点或搜索到达搜索窗口边界位置；结束搜索后，得到最佳匹配参考宏块对应的运动矢量(i_1/2,j_1/2)；

(4c)对1/4像素位置，搜索该E3SS模板上的13个检测点，如果最小误差点为搜索窗口中心检测点，则该最小误差点对应的参考宏块为最佳匹配参考宏块，搜索结束，得到一个最佳匹配参考宏块对应的运动矢量(i_1/4,j_1/4)；如果最小误差点处于13个检测点的外8个检测点，采用三步搜索法3SS继续进行块匹配运动估计搜索；如果最小误差点处于13个检测点的内菱形的4个检测点，将此时的最小误差点作为下一步搜索内菱形的4个检测点的中心点，继续搜索对应的内菱形4个检测点，直到最小误差点为内菱形4个检测点的中心点或搜索到达搜索窗口边界位置；结束搜索后，得到最佳匹配参考宏块对应的运动矢量(i_1/4,j_1/4)；

(4d)从整像素、1/2像素、1/4像素位置搜索得到的运动矢量(i_int,j_int)、(i_1/2,j_1/2)、(i_1/4,j_1/4)中，选取绝对误差和SAD最小的运动矢量，作为应用有效的三步搜索法E3SS得到的最佳运动矢量(i,j)。

步骤5，对前向和后向参考宏块的整像素、1/2像素、1/4像素位置分别进行搜索比较，得到前向参考宏块的运动矢量(dx₁,dy₁)和后向参考宏块的运动矢量(dx₂,dy₂)，取其中绝对误差和SAD最小的一个运动矢量作为当前宏块的运动矢量(dx,dy)。

步骤6，根据当前宏块的运动矢量(dx,dy)，应用前向和后向参考场中相应的参考宏块，线性插值得到插值宏块F(x,y;k)：

$F(x,y;k)=\frac{F(x-\mathrm{dx},y-\mathrm{dy};k-1)+F(x+\mathrm{dx},y+\mathrm{dy};k+1)}{2},$

其中，k为插值场在图像序列中的序号，(x,y)为宏块的坐标，F(x,y;k)为第k个插值场中以(x,y)为坐标的插值宏块，F(x-dx,y-dy;k-1)为前向参考场应用运动矢量(dx,dy)得到的参考宏块，F(x+dx,y+dy;k+1)为后向参考场应用运动矢量(dx,dy)得到的参考宏块。

步骤7，将插值宏块F(x,y;k)逐行***当前宏块，形成一个行数为当前宏块行数二倍的图像宏块，该图像宏块为去隔行后的逐行图像宏块。

本发明的效果可以通过以下仿真实验和对比客观评价指标进一步说明：

1)仿真实验条件：

本发明的实验环境是Microsoft Visual Studio 2010，实验原始数据是两个大小为352×288的raw格式的100场的实际隔行视频序列，为经典的测试序列football和soccer序列，图2(a)为football序列的快照，图2(b)为soccer序列的快照。

本发明使用的客观评价指标为峰值信噪比PSNR，定义如下：

假定：两幅图像的大小为X×Y，令f(x,y)表示原始图像，

表示插值后的图像，客观评价指标峰值信噪比PSNR定义为：

$\mathrm{PSNR}=101g\left\{\frac{{255}^2}{\frac{1}{\mathrm{XY}}\underset{x=1}{\overset{X}{\mathrm{\Σ}}}\underset{y=1}{\overset{Y}{\mathrm{\Σ}}}{[f(x,y)-\hat{f}(x,y)]}^2}\right\}.$

2)仿真实验内容：

仿真实验1，对图2(a)所示的football序列，运用整像素运动补偿去隔行方法进行实验仿真得到一个峰值信噪比PSNR曲线，运用本发明的1/4像素精度运动补偿去隔行方法进行实验仿真得到一个峰值信噪比PSNR曲线，将两个峰值信噪比PSNR曲线进行对比，结果如图4所示；

仿真实验2，对图2(b)所示的soccer序列，运用整像素运动补偿去隔行方法进行实验仿真得到一个峰值信噪比PSNR曲线，运用本发明的1/4像素精度运动补偿去隔行方法进行实验仿真得到一个峰值信噪比PSNR曲线，将两个峰值信噪比PSNR曲线进行对比，结果如图5所示。

3)实验结果分析：

从图4比较结果可以看出，对于存在剧烈运动的经典测试序列football，相比整像素快速运动估计去隔行效果，运用本发明提出的1/4像素精度运动补偿去隔行方法对图像去隔行处理的效果有明显的提升；

从图5比较结果可以看出，对于存在场景、人物综合运动的的经典测试序列soccer，相比整像素快速运动估计去隔行效果，运用本发明提出的1/4像素精度运动补偿去隔行方法对图像去隔行处理的效果有明显的提升；

综上，本发明提出的基于运动补偿的1/4像素精度块匹配图像去隔行方法，在现有的整像素精度运动估计去隔行方法的基础上加入了1/2像素精度和1/4像素精度图像插值，使得运动估计搜索范围扩大，运动矢量搜索的精度提高，相对于整像素精度运动估计去隔行方法，本发明的图像PSNR评价标准有大幅度提升，在保证计算复杂度的前提下，能有效提高去隔行后的视频图像的视觉效果。

Claims (4)

1.一种基于运动补偿的1/4像素精度视频图像去隔行方法，包括如下步骤：

(1)读入一个大小为352×288的raw格式的100场的实际隔行视频序列，选取一个插值场和两个参考场，其中选取的参考场为插值场的前向场和后向场；

(2)在前向和后向参考场的整像素点之间产生半像素点：

应用相邻整像素点进行内插得到半像素点，其中内插方式为应用一个六阶有限冲击响应滤波器对相邻整像素点进行加权，滤波器权值为：

(1/32,-5/32,5/8,5/8,-5/32,1/32)；

(3)在得到所有的半像素位置像素点后，由邻近整像素点和半像素点进行线性插补，得到1/4像素位置的像素点；

(4)运用有效的三步搜索法E3SS对参考场整像素、1/2像素、1/4像素位置进行块匹配运动估计，寻找绝对误差和SAD最小的最佳匹配块，当位移矢量为(i,j)时，绝对误差和SAD定义如下：

$\mathrm{SAD}(i,j)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}|f_k(m,n)-f_{k-1}(m+i,n+j)|,$

式中，f_k和f_k-1分别是当前场和前向场对应像素点的灰度值，M×N表示图像宏块的大小；

(5)对前向和后向参考场进行双向运动估计，得到两个运动矢量(dx₁,dy₁)、(dx₂,dy₂)，取其中绝对误差和SAD最小的一个运动矢量作为当前宏块的运动矢量(dx,dy)；

(6)根据当前宏块的运动矢量(dx,dy)，应用前向和后向参考场中相应的参考宏块，线性插值得到插值宏块F(x,y;k)：

$F(x,y;k)=\frac{F(x-\mathrm{dx},y-\mathrm{dy};k-1)+F(x+\mathrm{dx},y+\mathrm{dy};k+1)}{2},$

其中，k为插值场在图像序列中的序号，(x,y)为宏块的坐标，F(x,y;k)为第k个插值场中以(x,y)为坐标的插值宏块，F(x-dx,y-dy;k-1)为前向参考场应用运动矢量(dx,dy)得到的参考宏块，F(x+dx,y+dy;k+1)为后向参考场应用运动矢量(dx,dy)得到的参考宏块。

(7)合并插值宏块F(x,y;k)与当前宏块，得到去隔行后的逐行图像宏块。

2.根据权利要求1所述的图像去隔行方法，其中步骤(2)中所述应用相邻整像素点进行内插得到半像素点，是根据半像素点与相邻整像素点距离的不同，应用不同的像素点进行插值，即：

对于临近水平方向整数位置的半像素点，是通过应用一个六阶有限冲击响应滤波器，对左右邻近的六个整数位置像素点进行加权得到；

对于临近垂直方向整数位置的半像素点，是通过应用一个六阶有限冲击响应滤波器，对上下邻近的六个整数位置像素点进行加权得到；

对于余下的半像素位置的像素点，是通过应用一个六阶有限冲击响应滤波器，对六个水平或者垂直方向已知的邻近半像素点进行加权得到。

3.根据权利要求1所述的图像去隔行方法，其中步骤(3)中所述，在得到所有的半像素位置像素点后，由邻近整像素点和半像素点进行线性插补，得到1/4像素位置的像素点，是根据1/4像素点与相邻整像素点、半像素点距离的不同，应用不同的整像素点和半像素点进行插值，即：

对于临近水平方向整像素和半像素位置的四分之一像素，是由左右邻近的整像素点和半像素点进行线性插补得到；

对于临近垂直方向整像素和半像素位置的四分之一像素，是由上下邻近的整像素点和半像素点进行线性插补得到；

对于余下的四分之一像素位置的像素，是用相邻对角线位置的两个半像素点进行线性插补得到。

4.根据权利要求1所述的图像去隔行方法，其中步骤(4)所述的运用有效的三步搜索法E3SS对参考场整像素、1/2像素、1/4像素位置进行块匹配运动估计，是通过有效的三步搜索法E3SS模板进行，该E3SS模板上设有13个检测点，这些检测点按照外部矩形包含8个检测点、内部菱形包含4个检测点，1个窗口中心检测点的规则排列，每个检测点对应一个参考场宏块，当前宏块和参考宏块之间的绝对误差和SAD最小的检测点即为最小误差点，应用该有效的三步搜索法E3SS进行块匹配运动估计，按照如下步骤进行：

(4a)对整像素位置，搜索该E3SS模板上的13个检测点，如果最小误差点为搜索窗口中心检测点，则该最小误差点对应的参考宏块为最佳匹配参考宏块，搜索结束，得到一个最佳匹配参考宏块对应的运动矢量(i_int,j_int)；如果最小误差点处于13个检测点的外8个检测点，采用三步搜索法3SS继续进行块匹配运动估计搜索；如果最小误差点处于13个检测点的内菱形的4个检测点，将此时的最小误差点作为下一步搜索内菱形的4个检测点的中心点，继续搜索对应的内菱形4个检测点，直到最小误差点为内菱形4个检测点的中心点或搜索到达搜索窗口边界位置；结束搜索后，得到最佳匹配参考宏块对应的运动矢量(i_int,j_int)；

(4b)对1/2像素位置，搜索该E3SS模板上的13个检测点，如果最小误差点为搜索窗口中心检测点，则该最小误差点对应的参考宏块为最佳匹配参考宏块，搜索结束，得到一个最佳匹配参考宏块对应的运动矢量(i_1/2,j_1/2)；如果最小误差点处于13个检测点的外8个检测点，采用三步搜索法3SS继续进行块匹配运动估计搜索；如果最小误差点处于13个检测点的内菱形的4个检测点，将此时的最小误差点作为下一步搜索内菱形的4个检测点的中心点，继续搜索对应的内菱形4个检测点，直到最小误差点为内菱形4个检测点的中心点或搜索到达搜索窗口边界位置；结束搜索后，得到最佳匹配参考宏块对应的运动矢量(i_1/2,j_1/2)；

(4c)对1/4像素位置，搜索该E3SS模板上的13个检测点，如果最小误差点为搜索窗口中心检测点，则该最小误差点对应的参考宏块为最佳匹配参考宏块，搜索结束，得到一个最佳匹配参考宏块对应的运动矢量(i_1/4,j_1/4)；如果最小误差点处于13个检测点的外8个检测点，采用三步搜索法3SS继续进行块匹配运动估计搜索；如果最小误差点处于13个检测点的内菱形的4个检测点，将此时的最小误差点作为下一步搜索内菱形的4个检测点的中心点，继续搜索对应的内菱形4个检测点，直到最小误差点为内菱形4个检测点的中心点或搜索到达搜索窗口边界位置；结束搜索后，得到最佳匹配参考宏块对应的运动矢量(i_1/4,j_1/4)；

(4d)对整像素、1/2像素、1/4像素位置搜索得到的运动矢量(i_int,j_int)、(i_1/2,j_1/2)、(i_1/4,j_1/4)，选取其中绝对误差和SAD最小的运动矢量，作为应用有效的三步搜索法E3SS得到的最佳运动矢量(i,j)。

Images