CN101404774B - 运动搜索中宏块划分模式的选择方法 - Google Patents

Abstract

本发明属于视频编码技术，具体涉及一种H.264的帧间分数级运动搜索方法。本发明所要解决的技术问题是，提供一种运动搜索中能快速划分宏块的宏块划分模式的选择方法。运动搜索中宏块划分模式的选择方法，采用阈值对划分后的块的SAD值进行判断，从而判定当前模式下块的匹配度，如划分的块在当前模式下匹配度较高，则对该块不再进行其它模式的划分，以减少宏块划分模式的选择量；如划分的块在当前模式下匹配度较低，为了保证帧间预测精度，则对该块进行其它模式的划分。本发明能有效地减少宏块划分选择模式的选择量和块的运动搜索次数，从而提高编码器算法速度。

Description

运动搜索中宏块划分模式的选择方法

技术领域

本发明属于视频编码技术，具体涉及一种H.264的帧间分数级运动搜索方法。

背景技术

H.264/AVC是由联合视频工作组(Joint Video Team，JVT)制定的。该标准为广播、存储设备、对话服务以及无线网络等方面的视频技术提供了技术支持，该标准和以往的标准相比，例如：H.263、H.263+、H.263++和MPEG-4，在视频编码效率上取得了很大的提高，在相同视频质量下，H.264不仅比H.263和MPEG-4节约了50％的码率，而且对网络传输具有更好的支持功能。H.264/AVC采用了许多新的技术，包括多模式的帧内预测、FMO(灵活模块次序)、1/4像素精度的运动估计和运动补偿、多参考帧技术、环路滤波技术等。这些新的技术不仅使得H.264具有了更好的视频压缩性能，而且让视频标准能更广泛地、更灵活地应用于不同的网络环境。

视频源由视频图像序列构成，视频序列被划分为不同的GOP(视频图像组)，在视频图像组里，可以由三种不同的视频图像帧构成，分别为I帧、P帧和B帧。I帧为帧内预测帧，其视频图像通过本帧内的图像信息进行压缩编码，这种模式的编码效率往往不高。P帧为帧间预测帧，其采用了帧间运动补偿技术，即通过前面已编码帧的信息来预测当前帧。B帧为双向帧间预测帧，它可以利用前面已编码帧或者后续帧，或者同时使用前面和后续重建帧的信息来进行帧间预测。P帧和B帧相比I帧，只需要很少的编码比特来存储图像信息，这些信息主要是帧间预测的残差。

帧间预测通过运动补偿预测对视频源进行压缩编码。当前帧中的宏块通过在参考帧中寻找匹配的宏块进行预测，其当前帧中的宏块位置与参考帧中的宏块位置差为运动向量。帧间预测的关键部分就在于如何寻找匹配块，即运动搜索。运动搜索精确度影响着视频压缩的效率和重建的质量，在H.264中采用了1/4像素精度的运动搜索方法和多种宏块划分模式进行运动搜索。而在H.264中需要遍历宏块的每种划分模式，这样需要大量的计算量。H.264之所以进行不同宏块划分模式的运动搜索，目的是为了尽可能减少运动搜索的残差与编码运动向量比特数。宏块划分成的块越小，运动搜索能够更加精确地匹配到参考帧中的图像，其帧间预测的残差就可以越少。但是宏块划分成的块越多，其所需要传输的运动向量越多。因此宏块的最佳划分模式应该由残差的多少(由绝对误差和(sum of absolute difference，SAD)决定)和编码运动向量的编码比特数共同决定。由于宏块划分的模式种类很多，对于16×16的宏块可划分为16×16、8×16、16×8和8×8四种模式，如图1所示，进一步的，每个8×8的块还可以划分为8×8、8×4、4×8和4×4四种模式，如图2所示。现有技术在运动搜索中，选择最优的宏块划分模式需要遍历的宏块划分的各种模式(16×16宏块有第一模式16×16、第二模式8×16、第三模式16×8、第四模式8×8；8×8宏块有第一模式8×8、第二模式4×8、第三模式8×4和第四模式4×4)，得到每种划分模式下运动搜索的运动向量和残差(绝对误差和)，计算出其匹配误差函数，找出宏块在各划分模式下具有最小的匹配误差函数的模式作为该宏块的划分模式。这需要大量的计算量，影响了视频编码的速度，尤其是在实时通信时，这种搜索方法很难满足实际需要。

每个块的匹配误差函数计算公式如下：

其中SAD(绝对误差和)的计算公式如下：

Bx、By＝16、8、或4

其中，s是当前进行编码的原始数据，而c是已经编码重建的用语进行运动补偿的参考帧的数据；

为候选的运动矢量，

为预测的运动矢量；λ_MOTION为拉格朗日常数；

代表了运动矢量差分编码可能耗费的比特数；MV_x表示运动向量

在x轴方向的大小；MV_y表示运动向量

在y轴方向的大小。得到每个块的匹配误差函数后，将宏块内所有块的匹配误差函数相加，便得到宏块在这种划分模式下的匹配误差函数。

发明内容

本发明所要解决的技术问题是，提供一种运动搜索中能快速划分宏块的宏块划分模式的选择方法。

本发明为解决上述技术问题所采用的技术方案是，运动搜索中宏块划分模式的选择方法，包括以下步骤：

a、以第一模式作为当前宏块划分模式，对宏块进行第一次运动搜索，得到第一模式块对应的残差矩阵与运动向量，计算从第一模式块划分得到的4个第四模式块的SAD值；

b、选出所述4个第四模式块中具有最大SAD的第四模式块，将该第四模式块对应的SAD值分别与其水平相邻和垂直相邻的第四模式块的SAD值相加；判断与水平相邻的第四模式块的SAD值相加的值是否大于与垂直相邻的第四模式块的SAD值相加的值，如是，则将第二模式作为当前宏块划分模式，第二次运动搜索以第二模式来划分宏块；如否，则将第三模式作为当前宏块划分模式，第二次运动搜索以第三模式来划分宏块；

c、计算当前宏块划分模式下，分别将划分得到的2个第二模式块或第三模式块的SAD值与第一阈值比较，逐一判断当前宏块划分模式下的第二模式块或第三模式块的SAD值是否大于第一阈值，如是，对大于第一阈值的第二模式块或第三模式块进行第二次运动搜索，得到该第二模式块或第三模式块对应的残差矩阵与运动向量；如否，以第一次运动搜索得到的残差矩阵与运动向量作为第二模式块或第三模式块对应得到的残差矩阵与运动向量；

d、根据第二次运动搜索得到的残差矩阵，计算第二模式块或第三模式块划分得到的第四模式块的SAD值；

e、逐一判断各第四模式块的SAD值是否大于第二阈值，如是，以第四模式来划分宏块，对大于第二阈值的第四模式块进行第三次运动搜索，得到该第四模式块对应的残差矩阵与运动向量；如否，以上一次运动搜索得到的残差矩阵与运动向量作为第四模式块对应的残差矩阵与运动向量；

f、统计宏块在第一模式、第二模式与第四模式，或者第一模式、第三模式与第四模式下对应的残差矩阵与运动向量，并计算出各个模式的匹配误差函数，以最小的匹配误差函数对应的宏块划分模式作为当前宏块的划分模式。

步骤e中，所述上一次运动搜索具体为，当该第四模式块所在的第二模式块或第三模式块在步骤c中的SAD值与第一阈值判断中，对应的第二模式块或第三模式块的SAD值大于第一阈值，那么该第四模式块对应的上一次运动搜索为第二次运动搜索；否则，该第四模式块对应的上一次运动搜索为第一次运动搜索。

残差矩阵为当前宏块减去参考帧中最匹配块的差值，SAD值体现了残差的大小，SAD值越大表明当前宏块与参考帧的匹配度越低，本发明中，采用阈值对划分后的块的SAD值进行判断，从而判定当前模式下块的匹配度，如划分的块在当前模式下匹配度较高，则对该块不再进行其它模式的划分，以减少宏块划分模式的选择量；如划分的块在当前模式下匹配度较低，为了保证帧间预测精度，则对该块进行其它模式的划分。

所述宏块为16×16块或8×8块；当宏块为16×16块时，对应的第一模式块为16×16块，第二模式为8×16块，第三模式块为16×8，第四模式块为8×8；所述宏块为8×8块时，对应的第一模式块为8×8块，第二模式为4×8块，第三模式块为8×4，第四模式块为4×4。

本发明的有益效果是，有效地减少宏块划分选择模式的选择量和块的运动搜索次数，从而提高编码器算法速度。

附图说明

图1为16×16宏块划分模式；

图2为8×8宏块划分模式；

图3为16×16宏块中划分块的SAD值表示；

图4为8×8宏块中划分块的SAD值表示。

具体实施方式

以对16×16宏块划分模式选择的方法为例，先进行16×16宏块划分模式选择，再对8×8宏块的划分模式进行选择，最终的宏块划分模式的确定根据不同划分模式下的匹配误差函数决定。

本发明的具体实施步骤如下：

I.进行16×16宏块的划分模式选择，各划分块的SAD值如图3所示：

1)采用16×16的模式(第一模式)进行运动搜索；

2)根据运动搜索，得到16×16块对应的残差矩阵与运动向量，并计算4个8×8块(第四模式块)的SAD值；这4个8×8块的SAD值分别为SAD41、SAD42、SAD43和SAD44，它们的大小关系为SAD41＞SAD42＞SAD43＞SAD44；

3)找出4个8×8块中具有最大SAD值的块(SAD41)，将其SAD41分别于水平相邻8×8块和垂直相邻8×8块的SAD值(水平相邻8×8块的SAD值为SAD42，垂直相邻8×8块的SAD值为SAD43)相加，由于(SAD41+SAD42)大于(SAD41+SAD43)，则采用8×16块(第二模式块)作为当前宏块划分模式；SAD41值与SAD42相加得到SAD21；

4)计算在第二模式下另一个8×16块的SAD值，SAD43值与SAD44相加得到SAD22，分别判断这两个块的SAD值(SAD21、SAD22)是否大于8×16划分模式的阈值(TSAD23，第一阈值)，SAD21大于TSAD23，则SAD21对应的8×16块需要进行一次新的运动搜索(将8×16模式作为当前宏块划分模式)，并得到该8×16块对应的残差矩阵与运动向量；SAD22小于TSAD23，SAD22对应的8×16块则不需要进行新的运动搜索，该8×16块的运动向量及残差矩阵仍采用16×16块运动搜索得到的结果；

5)根据步骤4)对SAD21对应的8×16块进行的新的运动搜索，得到其2个8×8块(第四模式块)的SAD值(SAD41′、SAD42′)，SAD41′＞SAD43＞SAD42′＞SAD44；

6)判断SAD41′、SAD42′、SAD43和SAD44是否大于8×8划分模式的阈值(TSAD4，第二阈值)，其中，SAD41′＞SAD43＞TSAD4＞SAD42′＞SAD44；SAD41′和SAD43大于TSAD4，则SAD41′和SAD43对应的8×8块需要进行一次新的运动搜索(将8×8模式作为当前8×16块块划分模式)，并得到该8×8块对应的残差矩阵与运动向量；SAD42′和SAD44小于TSAD4，则不需要进行新的运动搜索，SAD42′对应8×8块的运动向量及残差矩阵仍采用8×16块运动搜索得到的结果，而SAD44对应8×8块的运动向量及残差矩阵仍采用16×16块运动搜索得到的结果；

II.进行该宏块内每个8×8块的划分模式选择，各划分块的SAD值如图4所示：

1)得到的每个8×8块(第一模式块)的残差矩阵与运动向量，并计算其每个8×8块中的4个4×4块(第四模式块)的SAD值(SAD71、SAD72、SAD73和SAD74)，SAD71＞SAD74＞SAD72＞SAD73；

2)找出4个4×4块中具有最大SAD值的块(SAD71)，将其SAD71分别于水平相邻和垂直相邻4×4块的SAD值(SAD72、SAD73)相加，比较这两个相加得到的SAD值，找出最大的一个SAD及其4×4块组合模式(4×8(第二模式)或8×4(第三模式)的宏块划分模式)，(SAD71+SAD73)大于(SAD71+SAD72)，表明应采用8×4块的宏块划分模式；SAD71值与SAD73相加得到SAD51；

3)计算在这种宏块划分模式下另一个块的SAD值，SAD74与SAD72相加得到SAD52；分别判断这SAD51、SAD52是否大于该块划分模式的阈值(TSAD56，第一阈值)；SAD51＞TSAD56＞SAD52；SAD51对应的8×4块需要进行一次新的运动搜索(将8×4模式作为当前8×8块块划分模式)，并得到该8×4块对应的残差矩阵与运动向量；SAD52对应的8×4块不需要进行新的运动搜索，该块的运动向量及残差矩阵仍采用8×8块的运动搜索得到的结果；

4)根据SAD51对应的8×4块得到其中2个4×4块的SAD值(SAD71′、SAD73′)；SAD71′＞SAD74＞SAD72＞SAD73′；

5)判断SAD71′、SAD72、SAD73′和SAD74是否大于4×4宏块划分模式的阈值(TSAD7，第二阈值)，SAD71′＞TSAD7＞SAD74＞SAD72＞SAD73′，SAD71′大于TSAD7，则SAD71′对应的4×4块需要进行一次新的运动搜索(将4×4模式作为当前8×4块的划分模式)，并得到该4×4块对应的残差矩阵与运动向量；SAD72、SAD73′和SAD74小于TSAD7，它们对应的4×4块不需要进行新的运动搜索，其SAD73′对应块的运动向量及残差矩阵仍采用8×4块的运动搜索得到的结果，而SAD72和SAD74对应块的运动向量及残差矩阵仍采用8×8块的运动搜索得到的结果；

III.根据第I和II步得到的结果，统计出宏块每种划分模式下运动搜索的运动向量和残差，计算出其匹配误差函数，找出宏块在各种划分模式下具有最小的匹配误差函数的模式作为该宏块的划分模式。

在算法实现过程中，阈值的设置影响了算法的速度和帧间预测的精度。往往阈值设置越低，帧间预测的精度越高，但是需要遍历的宏块划分模式的数量越多，同时在不同模式下需要进行运动搜索块的数量也越多，其编码器速度越慢，反之帧间预测的精度越低，但是需要遍历的宏块划分模式的数量越少，同时在不同模式下需要进行运动搜索块的数量也越少，其编码器速度越快。一般而言，其阈值的设定不宜太低，这样做的目的是在一些块的SAD已经很小的情况下，再对其块进行进一步划分和运动搜索来达到降低SAD的可能性不大，即使能有所降低，其降低的程度也会很小，但是却需要更多的运动向量编码比特，这些情况下块的进一步划分很难成为最优的划分模式。

Claims (1)

1.运动搜索中宏块划分模式的选择方法，其特征在于，包括以下步骤：

a、以第一模式作为当前宏块划分模式，对宏块进行第一次运动搜索，得到第一模式块对应的残差矩阵与运动向量，计算从第一模式块划分得到的4个第四模式块的SAD值；

b、选出所述4个第四模式块中具有最大SAD值的第四模式块，将该第四模式块对应的SAD值分别与其水平相邻和垂直相邻的第四模式块的SAD值相加；判断与水平相邻的第四模式块的SAD值相加的值是否大于与垂直相邻的第四模式块的SAD值相加的值，如是，则将第二模式作为当前宏块划分模式，第二次运动搜索以第二模式来划分宏块；如否，则将第三模式作为当前宏块划分模式，第二次运动搜索以第三模式来划分宏块；

c、计算当前宏块划分模式下，分别将划分得到的2个第二模式块或第三模式块的SAD值与第一阈值比较，逐一判断当前宏块划分模式下的第二模式块或第三模式块的SAD值是否大于第一阈值，如是，对大于第一阈值的第二模式块或第三模式块进行第二次运动搜索，得到该第二模式块或第三模式块对应的残差矩阵与运动向量；如否，以第一次运动搜索得到的残差矩阵与运动向量作为第二模式块或第三模式块对应得到的残差矩阵与运动向量；

d、根据第二次运动搜索得到的残差矩阵，计算第二模式块或第三模式块划分得到的第四模式块的SAD值；

e、逐一判断各第四模式块的SAD值是否大于第二阈值，如是，以第四模式来划分宏块，对大于第二阈值的第四模式块进行第三次运动搜索，得到该第四模式块对应的残差矩阵与运动向量；如否，以上一次运动搜索得到的残差矩阵与运动向量作为第四模式块对应的残差矩阵与运动向量；

f、统计宏块在第一模式、第二模式与第四模式，或者第一模式、第三模式与第四模式下对应的残差矩阵与运动向量，并计算出各个模式的匹配误差函数，以最小的匹配误差函数对应的宏块划分模式作为当前宏块的划分模式；

所述宏块为16×16块或8×8块；当所述宏块为16×16块，对应的第一模式块为16×16块，第二模式为8×16块，第三模式块为16×8，第四模式块为8×8；当所述宏块为8×8块时，对应的第一模式块为8×8块，第二模式为4×8块，第三模式块为8×4，第四模式块为4×4；

步骤e中，所述上一次运动搜索具体为，当该第四模式块所在的第二模式块或第三模式块在步骤c中的SAD值与第一阈值判断中，对应的第二模式块或第三模式块的SAD值大于第一阈值，那么该第四模式块对应的上一次运动搜索为第二次运动搜索；否则，该第四模式块对应的上一次运动搜索为第一次运动搜索。

Images