CN101600109A - 基于纹理和运动特征的h.264降尺寸转码方法 - Google Patents

Abstract

基于纹理和运动特征的H.264降尺寸转码方法，属于计算机数字视频转码技术领域。本发明具体包括以下步骤：(1)获取输入H.264编码码流中的编码信息，包括：帧间编码模式、运动矢量和离散余弦变换系数；(2)根据图像纹理特征，利用运动边缘检测划分运动区域和背景区域；(3)对位于不同区域内的宏块，根据其运动特征采用相应的帧间模式；对位于运动区域的宏块，根据其运动差异性分别选择自适应运动矢量下采样方法或者最严重加权法进行运动矢量重建，对位于背景区域的宏块采用平均加权法进行运动矢量重建，对位于运动目标边缘和内部的宏块进行运动搜索。与其它方法相比，使用本方法可以既能够保证转码后视频质量，又有效解决了降尺寸转码实时性问题。

Description

基于纹理和运动特征的H.264降尺寸转码方法

技术领域

本发明属于计算机数字视频转码技术领域，具体涉及一种基于纹理和运动特征针对H.264编码标准的视频进行降尺寸转码的方法。

背景技术

随着视频编码技术和网络技术的发展，基于网络的多媒体通信，如视频会议，Internet视频点播，数字电视等已被广泛应用于社会和人们的日常生活中，在个人多媒体设备上接收和播放高清晰数字视频的服务受到人们的青睐。由于网络种类的多样性(如Internet网、电信网和蜂窝无线网等)，终端设备性能(如显示分辨率、处理能力和存储能力等)的差异以及视频编码标准(MPEG2、MPEG4、H.264等)的不同，使得提高视频流在不同应用环境之间的兼容性变得十分重要。为了解决网络带宽与接收终端显示材料的限制，原始的高分辨率视频码流往往需要被转换为适合接收端显示的低分辨率码流之后进行传输，由此引入了降低空间分辨率的视频转码技术。

同类视频转码，尤其是基于H.264编码标准的视频转码成为近年来国内外研究的热点。H.264/AVC是一个面向未来IP和无线环境下的视频压缩标准，它采用多模式的帧内预测，可变块尺寸的运动预测，以及更精细像素的运动估计与补偿有效地减少图像序列空间和时间冗余，在视频压缩效率方面比目前所有的视频压缩标准都有显著的提高。由于运动估计和运动补偿需要占用H.264编码中60％的编码时间，显然，如果在转码中重新对宏块进行运动矢量预测和修正，计算量太大，难以满足实时性要求。为此，利用输入码流中的信息来减少计算量，提高转码速度是一个有效的途径。在帧间模式选择方法的研究中，提出过利用残差宏块和边缘块亮度值，以及利用DCT域内低频的三个变换系数来提前判决帧间预测模式。LEE J和JEON B.提出一种结合帧内预测与帧间预测的快速模式选择方法。利用平均加权法(AAW)、最佳加权法(ABW)和最严重加权法(AWW)计算新运动矢量可以有效降低重新编码的计算量，但是当宏块运动较分散时会造成转码质量下降。SHEN Bo等人提出一种运动矢量重估计的体系结构AMVR DIM，利用运动矢量的多样性(diversity)和宏块的重要性(importance)来控制目标宏块的重编码模式。针对视频序列运动程度的不同，尤其是场景和物体剧烈运动的情况，目前方法的适用范围仍然受到一定局限，应用效果不是十分理想。

发明内容

本发明的目的是充分利用输入编码码流中的编码信息，解决宏块运动不一致造成的运动预测不精确的问题，提出一种基于纹理和运动特征的对于不同运动程度的视频都具有较高转码质量H.264降尺寸转码方法。

为了解决上述技术问题，本发明提供了一种基于纹理和运动特征的H.264降尺寸转码方法，其特征在于：利用输入H.264编码码流中的编码信息，将视频数据基于图像纹理特征利用运动边缘检测划分为运动区域和背景区域，对位于不同区域内的宏块根据其运动特征采用相应的转码策略，具体包括下述步骤：

1)获取H.264编码码流中的编码信息，包括：帧间编码模式，运动矢量和离散余弦变换系数，即DCT系数；

2)利用DCT系数，通过如下公式得到运动边缘：

$\frac{\underset{i=0}{\overset{3}{\mathrm{\Σ}}}{\mathrm{DCT}}_i}{4}>0$

式中i代表原始视频的四个宏块，DCT_i表示宏块i不为零的DCT系数，通过垂直、水平方向逐行的块搜索，标记每行最左端和最右端该值大于0的宏块位置，以及每列最上端和最下端该值大于0的宏块位置，由各帧中被标记的宏块组成运动边缘序列；

3)根据步骤2)得到的运动边缘序列，将各帧图像分为运动区域和背景区域，分别采用不同的帧间模式选择方法和运动矢量重建及修正方法进行转码。

在本发明所提供的基于纹理和运动特征的H.264降尺寸转码方法中，所述的帧间模式选择方法包括下述步骤：

1)计算位于运动区域内宏块的运动程度MA_i：

${\mathrm{MA}}_i=\frac{1}{4\×m}\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\left(\right|{\mathrm{mv}}_{\mathrm{iv}}|+|{\mathrm{mv}}_{\mathrm{ih}}\left|\right)$

式中，mv_ih，mv_iv代表宏块MB_i在水平和垂直方向上的运动矢量；

2)将MA_i与预设的高低两个阈值T_{A_low}和T_{A_high}进行比较；如果MA_i≤T_{A_low}，则从四个宏块的候选模式中选择大块模式(L1：16×16，16×8，8×16)计算其率失真代价，转到步骤3)，如果没有大块模式则转到步骤5)；如果T_{A_low}＜MA_i≤T_{A_high}，则从四个宏块的候选模式中选择小块模式(L2：8×8，4×8，8×4，4×4)计算其率失真代价后转到步骤3)，如果没有小块模式则转码步骤5)；如果MA_i＞T_{A_high}，则采用帧内预测模式；

3)选择率失真代价最小的模式作为最终编码模式；

4)对于位于背景区域的宏块，如果四个候选模式中有不少于2个SKIP模式，则选择SKIP模式，否则转到5)；

5)选用残差最大，即不为零DCT系数最大宏块的模式作为最终编码模式。

在本发明所提供的基于纹理和运动特征的H.264降尺寸转码方法中，所述的运动矢量重建及修正方法包括下述步骤：

1)对于位于运动区域的宏块，利用计算方差的方法定义宏块的运动差异性dif_i：

${\mathrm{dif}}_i=\underset{i=0}{\overset{3}{\mathrm{\Σ}}}\sqrt{{({\mathrm{mv}}_{\mathrm{ih}}-{\stackrel{\‾}{\mathrm{mv}}}_h)}^2+{({\mathrm{mv}}_{\mathrm{iv}}-{\stackrel{\‾}{\mathrm{mv}}}_v)}^2}$

其中，mv_h和mv_v分别为水平及垂直方向上的差异性平均值；通过将当前宏块的运动差异性与差异性平均值的比较设置差异性因子MD_i：

${\mathrm{MD}}_i=\left\{\begin{array}{c}\mathrm{high},\frac{{\mathrm{dif}}_i}{\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{\mathrm{dif}}_i}\&GreaterEqual;1\\ \mathrm{low},\frac{\mathrm{di}{f}_i}{\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{\mathrm{dif}}_i}<1\\ \mathrm{zero},{\mathrm{dif}}_i=0\end{array}\right.$

如果MD_i的值为high，则表明原始视频4个宏块的运动较分散，采用自适应运动矢量下采样(Adaptive Motion Vector Re-sampling，AMVR)方法重建运动矢量mv′：

${\mathrm{mv}}^{\&prime;}=\frac{1}{2}\frac{\underset{i=1}{\overset{4}{\mathrm{\&Sigma;}}}{\mathrm{mv}}_i{\mathrm{DCT}}_i}{\underset{i=1}{\overset{4}{\mathrm{\&Sigma;}}}{\mathrm{DCT}}_i}$

其中，mv_i为原始视频中四个宏块的运动矢量，DCT_i为不为零的DCT系数；

否则，采用最严重加权法(Align-to-worst Weighting，AWW)重建运动矢量mv′：

${\mathrm{mv}}^{\&prime;}=\frac{1}{2}{\mathrm{mv}}_{\mathrm{MAX}\{{\mathrm{DCT}}_i,i=\mathrm{0,1},\mathrm{2,3}\}}$

其中，

表示选取四个宏块中DCT系数最大宏块的运动矢量；

2)对于位于背景区域的宏块，采用平均加权法(Align-to-average Weighting，AAW)重建运动矢量mv：

${\mathrm{mv}}^{\&prime;}=\frac{1}{2}\frac{\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{mv}}_i}{4}$

其中，mv_i为原始视频中四个宏块的运动矢量；

3)对位于运动目标边缘和内部的宏块进行±2像素的运动搜索；对于位于背景区域的宏块不进行运动搜索。

本发明的有益效果在于，所提出的方法既能够保证转码后视频质量，又有效解决了降尺寸转码实时性问题，取得了更优的编码效果和更广泛的适用性。

附图说明

图1是图像行方向边缘宏块搜索示意图；

图2是图像列方向边缘宏块搜索示意图；

图3是本发明采用的基于纹理和运动特征的H.264降尺寸转码方法整体流程图；

图4是本发明采用的帧间模式选择方法的流程图；

图5是本发明采用的运动矢量合成及修正方法的流程图；

图6是foreman序列实验结果PSNR-Bitrate曲线图；

图7是paris序列实验结果PSNR-Bitrate曲线图；

图8是silent序列实验结果PSNR-Bitrate曲线图；

图9是耗费运算时间的实验结果对比图。

具体实施方式

本发明提供了一种基于纹理和运动特征的H.264降尺寸转码方法，其具体实施例详细步骤如下：

采用H.264/AVC的测试模型jm12.2，实验平台采用Visual C++6.0。首先将CIF格式(352×288)的标准测试序列缩小为QCIF格式(176×144)；其次对CIF格式视频在JM12.2上编码再解码，在解码过程中读取编码信息并将其写入TXT格式的外部文件中，在对降尺寸以后的视频进行编码时通过读取外部文件获得编码信息；然后调用本发明中提到的方法来完成对降尺寸视频具体的编码工作。每个序列选取前50帧进行转码，编码方式采用首帧为帧内编码(intra-frame，I帧)，后续帧为帧间编码(inter-frame，P帧)。

具体实施中，在计算机中完成以下程序：

第一步：读取txt文件中的编码信息，包括：帧间编码模式，运动矢量和离散余弦变换(DCT)系数；

第二步：计算原始视频序列中4个相邻宏块不为零DCT系数的均值。

第三步：在垂直和水平方向上进行逐行的块搜索，标记每行最左端和最右端不为零DCT系数的均值大于0的宏块位置，以及每列最上端和最下端该值大于0的宏块位置，由各帧中被标记的宏块组成运动边缘序列。

第三步：根据以上得到的运动边缘序列划分出各帧图像的运动区域与背景区域，对位于运动区域和背景区域的宏块采用不同的帧间模式选择和运动矢量重建与修正策略。

第四步：帧间模式选择按照如下步骤进行：

1)对位于运动区域边缘及内部的宏块，计算其在原始视频中4个相邻宏块运动矢量均值，与预设的高低两个经验阈值比较，在本发明中低阈值设定为16，高阈值设定为32，大于高阈值则采用帧内编码；该值界于高低阈值之间，则通过率失真优化算法从4个候选模式的小块分割模式中选取最优编码模式；该值小于低阈值，则通过率失真优化算法从4个候选模式的大块分割模式中选取最优编码模式；否则采用DCT系数最大宏块的编码模式；

2)对位于背景区域的宏块，如果4个宏块的候选模式中有不少于2个的SKIP模式，则采用SKIP模式，否则采用DCT系数最大宏块的编码模式。

第五步：按照如下步骤进行运动矢量重建：

1)对位于运动区域边缘及内部的宏块，计算其在原始视频中4个相邻宏块运动矢量的方差，并定义为宏块的运动差异性，与帧中宏块运动差异的均值比较，大于均值说明4个宏块运动较分散，利用DCT系数对4个运动矢量进行加权计算合成新的运动矢量；

2)差异性小于均值说明4个宏块运动一致，利用DCT系数最大宏块的运动矢量作为新的运动矢量；

3)对位于背景区域的宏块，采用平均加权法计算运动矢量。

第六步：在得到运动矢量之后，进行运动矢量修正，对位于运动区域边缘及内部的宏块进行小范围运动搜索，对位于背景区域的宏块不进行运动搜索。

为了验证本发明所提出方法的普遍适用性和高效性，以下给出实验结果。实验选取3个具有不同运动程度的CIF格式(352×288)的测试序列，分别为silent.yuv，foreman.yuv和paris.yuv序列，将其缩减为QCIF格式视频(176×144)。每个序列选取前50帧进行转码，编码方式采用首帧为帧内编码(intra-frame，I帧)，后续帧为帧间编码(inter-frame，P帧)。

将本发明所提出的基于纹理和运动特征的H.264降尺寸转码方法(Proposed Method)，与全搜索转码(Full-search ME)，以及在现有方法中转码效果最好的最严重加权法(align-to-worst，AWW)在编码质量和编码效率两方面进行转码效果的比较。

由图6，7，8所示的PSNR-Bitrate曲线可以看出，与全搜索转码(Full-searchME)相比，最严重加权法(AWW)的编码质量下降严重。本发明提出的方法，对于不同运动程度的视频序列在PSNR方面比AWW算法有平均0.1dB至0.2dB的提高。

图9所示的是耗费运算时间的比较，可以看出，全搜索转码(Full-searchME)的运算复杂度非常大，因此降低转码中运动估计占用的运算时间是解决转码实时性问题的关键因素。AWW方法可将编码速度平均提高97.20％，本发明所提出的方法编码速度平均提高96.73％，而转码后的图像质量要比使用AWW方法有很大提高。综合考虑编码质量和编码速度双方面的因素，本发明提出的方法在有效解决了降尺寸转码实时性问题的同时，与现有方法相比，取得了更优的编码效果和更广泛的适用性。

Claims (3)

1、基于纹理和运动特征的H.264降尺寸转码方法，其特征在于：利用输入H.264编码码流中的编码信息，将视频数据基于图像纹理特征利用运动边缘检测划分为运动区域和背景区域，对位于不同区域内的宏块根据其运动特征采用相应的转码策略，具体包括下述步骤：

1)获取H.264编码码流中的编码信息，包括：帧间编码模式，运动矢量和离散余弦变换系数，即DCT系数；

2)利用DCT系数，通过如下公式得到运动边缘：

$\frac{\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{DCT}}_i}{4}>0$

式中i代表原始视频的四个宏块，DCT_i表示宏块i不为零的DCT系数，通过垂直、水平方向逐行的块搜索，标记每行最左端和最右端该值大于0的宏块位置，以及每列最上端和最下端该值大于0的宏块位置，由各帧中被标记的宏块组成运动边缘序列；

3)根据步骤2)得到的运动边缘序列，将各帧图像分为运动区域和背景区域，分别采用不同的帧间模式选择方法和运动矢量重建及修正方法进行转码。

2、根据权利要求1所述的基于纹理和运动特征的H.264降尺寸转码方法，其特征在于所述的帧间模式选择方法包括下述步骤：

1)计算位于运动区域内宏块的运动程度MA_i：

${\mathrm{MA}}_i=\frac{1}{4\&times;m}\underset{i=0}{\overset{m}{\mathrm{\&Sigma;}}}\left(\right|{\mathrm{mv}}_{\mathrm{iv}}|+|{\mathrm{mv}}_{\mathrm{ih}}\left|\right)$

式中，mv_ih，mv_iv代表宏块MB_i在水平和垂直方向上的运动矢量；

2)将MA_i与预设的高低两个阈值T_{A_low}和T_{A_high}进行比较；如果MA_i≤T_{A_low}，则从四个宏块的候选模式中选择大块模式计算其率失真代价，转到步

骤3)，如果没有大块模式则转到步骤5)；如果T_{A_low}＜MA_i≤T_{A_high}，则从四个宏块的候选模式中选择小块模式计算其率失真代价后转到步骤

3)，如果没有小块模式则转码步骤5)；如果MA_i＞T_{A_high}，则采用帧内预测模式；

3)选择率失真代价最小的模式作为最终编码模式；

4)对于位于背景区域的宏块，如果四个候选模式中有不少于2个SKIP模式，则选择SKIP模式，否则转到5)；

5)选用残差最大，即不为零DCT系数最大宏块的模式作为最终编码模式。

3、根据权利要求1所述的基于纹理和运动特征的H.264降尺寸转码方法，其特征在于所述的运动矢量重建及修正方法包括下述步骤：

1)对于位于运动区域的宏块，利用计算方差的方法定义宏块的运动差异性dif_i：

${\mathrm{dif}}_i=\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}\sqrt{{({\mathrm{mv}}_{\mathrm{ih}}-{\stackrel{\&OverBar;}{\mathrm{mv}}}_h)}^2+{({\mathrm{mv}}_{\mathrm{iv}}-{\stackrel{\&OverBar;}{\mathrm{mv}}}_v)}^2}$

其中，mv_h和mv_v分别为水平及垂直方向上的差异性平均值；通过将当前宏块的运动差异性与差异性平均值的比较设置差异性因子MD_i：

${\mathrm{MD}}_i=\left\{\begin{array}{c}\mathrm{high},\frac{{\mathrm{dif}}_i}{\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\mathrm{di}{f}_i}\&GreaterEqual;1\\ \mathrm{low},\frac{{\mathrm{dif}}_i}{\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{\mathrm{dif}}_i}<1\\ {\mathrm{zero},\mathrm{dif}}_i=0\end{array}\right.$

如果MD_i的值为high，则表明原始视频4个宏块的运动较分散，采用自适应运动矢量下采样方法重建运动矢量mv′：

${\mathrm{mv}}^{\&prime;}=\frac{1}{2}\frac{\underset{i=1}{\overset{4}{\mathrm{\&Sigma;}}}{\mathrm{mv}}_i{\mathrm{DCT}}_i}{\underset{i=1}{\overset{4}{\mathrm{\&Sigma;}}}{\mathrm{DCT}}_i}$

其中，mv_i为原始视频中四个宏块的运动矢量，DCT_i为不为零的DCT系数；

否则，采用最严重加权法重建运动矢量mv′：

${\mathrm{mv}}^{\&prime;}=\frac{1}{2}{\mathrm{mv}}_{\mathrm{MAX}\{\mathrm{DC}{T}_i,i=\mathrm{0,1,2,3}\}}$

其中，

表示选取四个宏块中DCT系数最大宏块的运动矢量；

2)对于位于背景区域的宏块，采用平均加权法重建运动矢量mv′：

${\mathrm{mv}}^{\&prime;}=\frac{1}{2}\frac{\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{mv}}_i}{4}$

其中，mv_i为原始视频中四个宏块的运动矢量

3)对位于运动目标边缘和内部的宏块进行±2像素的运动搜索；对于位于背景区域的宏块不进行运动搜索。

Images