CN1751522A - 利用对选定宏块的跳过移动估计进行的视频编码 - Google Patents

Abstract

通过在计算相对于前面的帧中的相同区域是否出现任意动作之前决定编码视频帧的区域还是跳过该编码来减少视频编码的计算复杂性。在一个实施例中，决定是否跳过对一个区域的编码基于对该区域中像素值能量的估计和/或对离散余弦变换系数的估计。在另一实施例中，该决定基于对如果不编码该区域可能出现的畸变的估计。

Description

利用对选定宏块的跳过移动估计进行的视频编码

本发明涉及视频编码器，具体涉及在编码视频信号时减少计算复杂性。

基于例如H263和MPEG-4的视频编码标准的视频编码器和解码器(CODEC)是视频压缩领域中公知的。

这些标准的发展已经实现了在小得多的带宽上发送视频信号，同时仅仅存在最小程度的质量降低的能力。然而，解码，以及更具体地说编码要求大量的计算处理资源。对于移动设备，例如个人数字助理(PDA)或者移动电话，耗电与处理器利用率紧密相关，并且因此涉及电池充电的寿命。显而易见的是，希望减少移动设备中的处理量以提高每次电池充电后该设备的操作时间。在一般目的的个人计算机中，CODEC必须与其它装置分享处理资源。这就有助于驱动器在不降低观察质量的情况下减少处理利用率，因此减少功率耗尽。

在许多视频用途中，例如远程会议，照相机拍摄的区域的大部分是静态的。在这些情况下，不必要地使用了功率资源或者处理器资源，以编码相对于基准视频帧没有显著变化的区域。

作为实例描述由编码器(例如H263或者MPEG-4简单类兼容的)来处理视频图像所需的典型步骤。

第一步要求从当前图像选择基准图像。这些基准图像分成非重叠宏块。每个宏块包括四个亮度块和两个色度块，每块包括8×8个像素。

众所周知的是，在编码处理中通常需要最大计算时间的步骤是移动估计、正向离散余弦变换(FDCT)和反向离散余弦变换(IDCT)。

移动估计步骤寻找当前图像与一个或多个基准图像之间的相似性。对于当前图像中的每个宏块而言，进行搜索以识别最佳匹配当前图像中的当前宏块的基准图像中的预测宏块。该预测宏块由表示相对于当前宏块的距离偏移的移动矢量(MV)表示。然后从当前宏块中减去该预测宏块，以形成预测错误(PE)宏块。然后对该PE宏块进行离散余弦变换，这样就将图像从空间域变换到频率域，并且输出与频谱子带有关的系数矩阵。对于大多数图像而言，许多信号能量处于人眼最为敏感的低频。然后量化所形成的DCT矩阵，这包括将DCT系数除以量化器值，然后四舍五入成最接近的整数。这具有将许多较高频率系数减小到零的效果，并且这是会造成图像畸变的步骤。典型的是，量化器步长大小越大，图像质量越差。然后，通过“折线”扫描使来自量化器步骤之后的矩阵的值重新排序。这包括从矩阵的左上角向下到矩阵的右下角对角地来回读取数值。这就会将各个零值集合在一组，从而使数据流在最终通过熵编码转变成位流之前有效地进行行程长度编码。通常在这时添加其它的“报头”数据。

如果MV等于零，并且量化DCT系数全部等于零，那么不必在编码位流中包括宏块的编码数据。取而代之，加入报头信息以表示已经“跳过”该宏块。

US6192148公开了一种用于在编码处理的DCT步骤之前预测是否应当跳过宏块的方法。在移动估计之后如果MV已经返回零、宏块的亮度值的平均绝对差小于第一阈值并且宏块的色度值的平均绝对差小于第二阈值，这种方法决定是否完成所述步骤。

对于整个编码处理而言，移动估计以及FDCT和IDCT典型地过多地使用处理器。现有技术仅仅预测了在移动估计步骤之后的跳过块，因此在处理中仍然包含过多使用处理器的一个步骤。

本发明公开了一种用于预测跳过的宏块的方法，其不需要移动估计或者DCT步骤。

根据本发明提供了一种编码视频图像的方法，包括以下步骤：

将该图像分成多个区域；

预测每个区域是否需要通过进一步步骤的处理，所述预测步骤包括将每个区域的一个或多个统计值与一个或多个阈值进行比较。

因此，本发明通过避免在可能的情况下处理器的大量操作而避免了资源的不必要使用。

所述进一步的步骤优选包括移动估计和/或变换处理步骤。

该变换处理步骤优选为离散余弦变换处理步骤。

一个区域优选为非重叠宏块。

一个宏块优选为16×16的像素矩阵。

优选的是，统计值之一是宏块的一些或全部像素值的能量估计是否小于预定阈值，该估计可以可选择地除以量化器步长。

可选择的或更为优选的是，统计值之一是宏块的一个或多个子块的某些离散余弦变换系数的值的估计是否小于第二阈值。

可选择的是，统计值之一是由于跳过宏块造成的畸变的估计是否小于预定阈值。

优选的是，通过根据一个或多个预先编码的宏块的一些或全部像素值而获得的一个或多个统计值来计算相对于该宏块的畸变估计。

可以通过从跳过的宏块相对于预先编码宏块的亮度值的绝对差的和(SAE_skip)中减去编码宏块相对于预先编码宏块的亮度值的绝对差的和(SAE_noskip)的估计来计算畸变的估计。

可以由常数值K来估计SAE_noskip，或者在更精确的方法中可以由预先编码宏块的亮度值的绝对差的和来估计SAE_noskip，并且如果不存在预先编码宏块则由常数值K来估计。

更为优选的是，可以由包含在计算机可用媒质上的计算机程序来实施该编码图像的方法。

更为优选的是，可以由电子电路来实施编码图像的方法。

对某些离散余弦变换系数值的估计可以包括：将子块分成四个相等的区域；计算子块的每个区域的剩余像素值的绝对差的和，其中剩余的像素值是从当前的像素亮度值中减去的相应的基准(预先编码)像素亮度值；

估计子块的每个区域的低频离散余弦变换系数，使得：

Y₀₁＝abs(A+C-B-D)

Y₁₀＝abs(A+B-C-D)

Y₁₁＝abs(A+D-B-C)

其中Y₀₁、Y₁₀和Y₁₁表示三个低频离散余弦变换系数的估计，A、B、C和D表示了该子块的每个区域的绝对差的和，其中A是左上角、B是右上角、C是左下角和D是右下角；以及

从算得的所有估计中选择离散余弦变换系数的估计的最大值。

应当理解，在本领域中，提到像素值是指构成彩色像素的三种成分中的任意一个，即一个亮度值和两个色度值。在一些情况下，使用“样本”值来取代像素值以指代三个成分值中的一个，该值应当视为可以与像素值互换。

还应当理解，宏块可以是所考虑的帧内像素中具有特定尺寸的任意区域。

现在将通过参照附图通过实例描述本发明，这些附图中：

图1表示了视频图像编码处理的流程图；

图2表示了宏块编码处理的流程图；

图3表示了预测决定处理的流程图；

图4表示了另一预测决定处理的流程图。

参照图1，第一步102读取视频序列中的图像帧，并且将其分成非重叠的宏块(MB)。每个MB包括四个亮度块以及两个色度块，每块包括8×8个像素。步骤104按照如图2所示方式编码MB。

参照图2示出了MB编码处理104，其中在任何其它步骤之前执行决定步骤202。

当前的H263编码处理目前表明视频编码处理中的每个MB典型地按照图2所示的顺序或者不同的顺序通过步骤204到226，或者等价处理。移动估计步骤204识别一个或多个预测MB，每个预测MB是由表示相对于当前MB的距离偏移和基准图像选择的MV确定的。移动补偿步骤206从当前MB减去预测MB，以形成预测错误(PE)MB。如果需要编码MV的值(步骤208)，那么MV被熵编码(步骤210)，可选择的是对MV的熵编码可参照预测的MV进行。

然后，对PE MB的每块进行正向离散余弦变换(FDCT)212，其输出表示每个PE块的频谱子带的系数块。然后对FDCT块的系数进行量化(例如通过除以量化器步长)214，然后四舍五入为最接近的整数。这具有将许多系数减少为零的效果。如果存在一些非零量化系数(Q_coeff)216，那么由步骤218到222对所得到的块进行熵编码。

为了形成重建图像以做进一步预测，量化的系数(Q_coeff)被重新标度(例如通过乘以量化器步长)224，并且进行反向离散余弦变换(IDCT)226。在IDCT之后，将重建的PE MB添加到基准MB并且存储以用于进一步预测。

决定步骤228读取前面处理的输出，如果MV等于零并且所有Q_coeff为零，则不将该编码信息写入位流，但是取而代之写入跳过MB指示。这表示用于编码MB的所有处理时间是不必要的，这是因为该MB被认为与预先的MB相似或相同的。

作为本发明的一个实施例，在图2中决定步骤202预测是否可能跳过当前的MB，即在处理步骤202-226之后，不编码MB，取而代之写入跳过指示。如果决定步骤202预测了将跳过MB，则MB不会进行到步骤204和后面的处理步骤，而是跳过信息直接进行到步骤232。

图3示出了决定跳过MB 202的流程图。

被跳过的MB具有零MV和Q_coeff。如果在当前的MB与基准帧中相同的MB位置之间存在强烈的相似性，则可能达到这两个条件。由具有零位移的MB的亮度部分的绝对差之和(SAD0_MB)近似为通过从当前MB中不进行移动补偿地减去基准MB而形成的剩余MB的能量，SAD0_MB由以下等式给出：

$\mathrm{SAD}{0}_{\mathrm{MB}}=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}|C_C(i,j)-C_P(i,j)|$

等式1

C_c(i，j)和C_p(i，j)分别是来自当前帧和基准帧中相同位置上的MB的亮度样本。

SAD0_MB与将要跳过该MB的可能性之间的关系还取决于量化器步长，这是因为较大的步长典型造成跳过MB的比例增大。

计算SAD0_MB(可选择除以量化器步长(Q))302与第一阈值的比较即为第一比较步骤304。如果算得值大于第一阈值，则MB进行到步骤204，并且进入普通编码处理。如果算得值小于第一阈值，则执行第二计算306。

步骤306对剩余的MB执行附加的计算。每个8×8亮度块分成四个4×4块。A、B、C和D(等式2)是每个4×4块的SAD值，R(i，j)是不具有移动补偿的剩余像素值。

$A=\underset{i=0}{\overset{3}{\mathrm{\Σ}}}\underset{j=0}{\overset{3}{\mathrm{\Σ}}}\left|R(i,j)\right|B=\underset{i=0}{\overset{3}{\mathrm{\Σ}}}\underset{j=3}{\overset{7}{\mathrm{\Σ}}}\left|R(i,j)\right|$

$C=\underset{i=4}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{3}{\mathrm{\Σ}}}|R(i,j)D=\underset{i=4}{\overset{7}{\mathrm{\Σ}}}\underset{j=4}{\overset{7}{\mathrm{\Σ}}}|R(i,j)|$

等式2

Y₀₁、Y₁₀和Y₁₁(等式3)分别提供了对于三个低频DCT系数coeff(0，1)、coeff(1，0)和coeff(1，1)的大小的低复杂性估计。如果这些系数中的任意一个是大的，那么不应跳过该MB的可能性大。因此将Y4×4_块(等式4)用于预测是否可以跳过每个块。使用等式5来计算宏块的亮度部分的最大值。

Y₀₁＝abs(A+C-B-D)  Y₁₀＝abs(A+B-C-D)

Y₁₁＝abs(A+D-B-C)                      等式3

Y4×4_块＝MAK(Y₀₁，Y₁₀，Y₁₁)            等式4

Y4×4_MAX＝MAX(Y4×4_块1，Y4×4_块2，Y4×4_块3，Y4×4_块4)等式5

将算得的Y4×4_max的值与第二阈值进行比较308。如果该算得的值小于第二阈值，那么跳过该MB并且该处理中的下一步骤是232。如果算得的值大于第二阈值，则该MB转移到步骤204以及随后的编码步骤。

这些步骤典型地对计算复杂性具有非常小的影响。通常在任意的移动估计算法的第一步中计算SAD0_MB，因此不需要额外的计算。此外，如果通过将MB中每个4×4样本子块的SAD值加在一起计算SAD0_MB，那么可以在没有妨碍的情况下计算每个4×4块(等式2中的A、B、C、D)的SAD值。

分类算法的附加计算要求是等式3、4和5中的操作，并且这些操作典型地不会有大的计算量。

图4示出了流程图，其中描述了决定跳过MB 202的另一实施例。

在前面的实施例(图3)中，跳过MB 202的决定基于当前MB相对于基准MB的亮度。在本实施例中，跳过MB 202的决定基于由于跳过MB造成的估计畸变。

当解码器解码MB时，对所编码的剩余数据解码，并且将其添加到移动补偿基准帧样本以生成解码MB。由均方误差(MSE)可以近似为解码MB相对于原始未压缩MB数据的畸变。由以下等式给出解码MB的亮度样本a_ji与原始亮度样本b_ij相比的MSE：

$\mathrm{MS}{E}_{\mathrm{MB}}=\frac{1}{16\·16}\underset{i,j}{\mathrm{\Σ}}{(a_{\mathrm{ij}}-b_{\mathrm{ij}})}^2$ 等式6

将MSE_noskip定义为编码和发送的宏块的亮度MSE，以及将MSE_skip定义为跳过的(未编码的)MB的亮度MSE。当一个MB被跳过时，由解码器将基准帧中相同位置上的MB数据***该位置中。对于特定MB位置，编码器可以选择解码该MB或者跳过它。跳过或编码该MB之间的畸变之差MSE_dtiff定义为：

MSE_diff＝MSE_skip-MSE_noskip                     等式7

如果MSE_diff为零或者具有小值，则编码该MB具有较小或没有“益处”，因为如果跳过该MB将获得非常相似的重建结果。小MSE_diff值包括具有小MSE_skip值的MB，其中在基准帧中相同位置上的MB对于当前MB是良好匹配的。小MSE_diff值还包括具有大MSE_noskip值的MB，其中解码、重建的MB由于量子化畸变而与原始MB显著不同。

有选择性地跳过MB的目的是减小计算量。在编码器中典型地不计算MSE，因此需要附加的计算来计算等式7。解码MB的亮度样本的绝对误差之和(SAE)由以下等式给出：

${\mathrm{SAE}}_{\mathrm{MB}}=\underset{i,j}{\mathrm{\Σ}}|a_{\mathrm{ij}}-b_{\mathrm{ij}}|$ 等式8

SAE近似随着MSE单调递增，因此SAE是除MSE之外的可选择的适当的对畸变的测量值。因此使用SAE_diff作为对由于跳过MB造成的畸变增加的估计，即跳过MB与编码MB之间SAE的差：

SAE_diff＝SAE_skip-SAE_noskip                       等式9

SAE_skip是未编码MB与基准帧中相同位置上的亮度数据之间绝对误差的和。这典型地是作为编码器中的移动估计算法的第一步进行计算的，并且通常记为SAE₀₀。因此，在每个MB的处理的早期就已经出现了SAE_skip。

SAE_noskip是解码MB与原始未解码MB相比的SAE，并且通常在编码或解码过程中不进行计算。此外，如果实际上跳过该MB，则不能计算SAE_noskip。因此需要SAE_noskip的模型以便计算等式9。

第一模型如下：

SAE_noskip＝K(其中K是常数)。

其后按照以下等式计算SAE_diff：

SAE_diff＝SAE_skip-K                            等式10

该模型在计算上是简单的，但是似乎不精确，这是因为存在许多不符合简单线性趋势的MB。

另一可选的模型如下：

SAE_noskip(i，n)＝SAE_noskip(i，n-1)

其中i是当前的MB数，n是当前的帧，n-1是前一个编码的帧。

该模型需要编码器计算SAE_noskip，对每个编码MB进行等式8的单独计算，但可以对当前MB提供更精确的SAE_noskip估计。如果MB(i，n-1)是被跳过的MB，那么不能计算SAE_noskip(i，n-1)，并且必须回到第一模型。

根据等式9并且利用上述的模型，用于有选择性地跳过并且因此不处理MB的两个算法如下：

算法(1)：

    if(SAE₀₀-K)＜T

        skip current MB

    else

        code current MB

算法(1)使用了对SAE_noskip的简单近似，但是可以直接应用。

算法(2)：

      if(MB(i，n-1)has been coded)

          SAE_noskip{estimate}＝SAE_noskip(i，n-1)

      else

          SAE_noskip{estimate}＝K

      If(SAE₀₀-SAE_noskip{estimate})＜T

          skip current MB

     else

          code current MB

算法(2)提供了对于SAE_noskip的更精确的估计，但是要求在编码了每个未跳过MB之后计算和存储SAE_noskip。在两种算法中，阈值参数T控制跳过MB的比例。更大的T值会造成跳过的MB的数量增加，但还造成由于不正确跳过的MB造成畸变的增加。

在不会背离本发明的范围的情况下，对于预测方法的改进和修改可以包括在前面的描述中。

例如，利用一个或多个预先编码的宏块的亮度值的绝对差的和的组合或者加权组合，可以估计SAE_noskip。此外，利用另一种统计方法，例如平方误差或者方差的和来估计SAE_noskip。

Claims (17)

1、一种编码视频图像的方法，包括以下步骤：

将该图像分成多个区域；

预测是否需要进一步的步骤来处理每个区域，所述预测步骤包括将每个区域的一个或多个统计值与一个或多个阈值进行比较。

2、根据权利要求1所述的方法，其中所述进一步的步骤包括移动估计。

3、根据权利要求1或2所述的方法，其中所述进一步的步骤包括变换处理。

4、根据权利要求3所述的方法，其中该变换处理步骤是离散余弦变换处理步骤。

5、根据前述任意一项权利要求所述的方法，其中一个区域为非重叠宏块。

6、根据权利要求5所述的方法，其中一个宏块是16×16的像素矩阵。

7、根据前述任意一项权利要求所述的方法，其中该统计值之一是该宏块的一些或全部像素值的能量估计是否小于第一预定阈值。

8、根据权利要求7所述的方法，其中将该能量的估计在与所述第一阈值进行比较之前除以量化器步长。

9、根据前述任意一项权利要求所述的方法，其中该统计值之一是该宏块的一个或多个子块的某些离散余弦变换系数的值的估计是否小于第二预定阈值。

10、根据权利要求9所述的方法，其中对某些离散余弦变换系数的值的估计包括：

将该子块分成四个相等的子区域；

计算该子块的每个子区域的剩余像素值的绝对差的和，其中该剩余的像素值是从所述宏块的相应像素亮度值中减去的相应预先编码的像素亮度值；

估计该子块的每个区域的低频离散余弦变换系数，使得：

Y₀₁＝abs(A+C-B-D)

Y₁₀＝abs(A+B-C-D)

Y₁₁＝abs(A+D-B-C)

其中Y₀₁、Y₁₀和Y₁₁表示三个低频离散余弦变换系数的估计，A、B、C和D表示了所述子块的每个区域的绝对差的和，其中A代表左上角区域、B是右上角、C是左下角和D是右下角；以及

从算得的所有估计中选择离散余弦变换系数的估计的最大值。

11、根据权利要求1到6所述的方法，其中该统计值之一是对由于跳过所述宏块造成的畸变的估计是否小于第三预定阈值。

12、根据权利要求11所述的方法，其中相对于所述宏块通过由一个或多个预先编码的宏块的一些或全部像素值而获得的一个或多个统计值来计算对畸变的估计。

13、根据权利要求11或12所述的方法，其中通过从被跳过的宏块相对于预先编码宏块的亮度值的绝对差的和(SAE_skip)中减去一个编码宏块相对于预先编码宏块的亮度值的绝对差的和(SAE_noskip)的估计来计算畸变的估计。

14、根据权利要求13所述的方法，其中由常数值K来估计SAE_noskip。

15、根据权利要求13所述的方法，其中由预先编码宏块的亮度值的绝对差的和来估计SAE_noskip，并且如果不存在预先编码宏块则由常数值K来估计。

16、根据权利要求1所述的编码图像的方法，由包含在计算机可用媒质上的计算机程序来实施。

17、根据权利要求1所述的编码图像的方法，由电子电路来实施。

Images