CN100493191C - 具有低复杂度噪声消减的视频编码器及视频编码方法 - Google Patents

Abstract

通过利用运动估计决定集合来进行噪声消减，可以在视频编码同时获得低复杂度的噪声消减。对每个宏块进行N(其中N是整数)次运动估计，以得到N个运动估计数据集合，其中每个集合包括参考画面索引和运动向量。通常，虽然不是必要的，但是每个运动估计数据集合利用不同的参考画面。对于每个宏块，使用这N个运动估计数据集合来创建噪声消减宏块，然后对其编码。

Description

具有低复杂度噪声消减的视频编码器及视频编码方法

交叉引用

根据35U.S.C.119(e)，本申请要求2003年7月9日提交的美国临时专利申请60/485,891的优先权，其方案被结合于此申请文件中。

技术领域

本发明涉及用于编码(压缩)视频流的视频编码器。

背景技术

许多应用需要对视频流进行压缩(即，编码)以减小带宽需求。当前的编码设备根据数种公知的压缩技术来执行视频压缩，例如MPEG、H.263以及H.264。已经证实，使用这些标准视频压缩技术，在给定比特率时，压缩带噪声的视频序列要比压缩清楚的视频序列更加困难。噪声消减可以作为视频压缩之前采用的预处理功能。在这种条件下，噪声消减级减小了输入画面序列上的噪声，然后将该序列提供给编码器，来对噪声消减后的画面进行压缩。

现有的噪声消减技术包括空间和/或时间滤波。时间滤波包括向来自数个不同输入画面的像素应用滤波函数(例如，平均)，以创建滤波后的像素。视频序列的时间滤波通常分为两类：(1)运动补偿以及(2)非运动补偿。对于包含运动的视频序列，运动补偿时间滤波方法通常优于非运动补偿时间滤波方法。运动补偿时间滤波噪声消减方法通常比其他噪声消减方法需要更多的计算量。

于是，需要一种技术来在视频编码期间执行运动补偿噪声消减，同时具有减小了的计算复杂度。

发明内容

简而言之，根据本发明的第一方面，提供了一种用于对视频信号编码并同时消减噪声的方法。该方法包括：对输入视频信号中每个宏块进行N次运动估计，以得到N个运动估计数据集合，其中N是整数，每个集合包括参考画面索引和运动向量。通常，虽然不是必要的，但是每个运动估计数据集合利用不同的参考画面。使用N个运动估计数据集合中每一个集合来生成预测，并且在滤波操作中使用这N个预测，以得到噪声消减宏块。编码噪声消减宏块，并把运动估计数据集合中最佳的一个集合的运动向量和参考画面索引用于该宏块。。

根据本发明的第二方面，一种视频编码器包括运动估计级，其执行运动估计以及噪声消减。该编码器使用N个运动估计数据集合对每个宏块执行噪声消减，其中，虽然不是必要的，但是通常运动估计数据集合中每一个集合是从分离的参考画面生成的。编码噪声消减宏块，并把运动估计数据集合中最佳的一个集合的运动向量和参考画面索引用于该宏块。

附图说明

图1图示了根据现有技术的示例性视频编码器的方框图；

图2图示了根据本发明第一方面的嵌入了噪声消减器的视频编码器；

图3图示了描述根据本发明的包括噪声消减方法的视频编码过程的流程图；

图4图示了描述在图3的视频编码过程期间发生的噪声消减过程的流程图；以及

图5图示了根据本发明第二方面嵌入了噪声消减器和空间滤波器的视频编码器。

具体实施方式

图1图示了能够实现H.264压缩技术以及类似压缩技术的现有视频编码器10。图1的H.264编码器10包括加法模块12，在其非反相输入端提供了输入视频流。运动估计模块14接收输入视频流以及参考画面存储装置16中存储的先前编码参考画面。对于输入视频流中出现的当前输入画面中的每个宏块(macroblock)，运动估计模块14将当前宏块与来自参考画面存储装置16的一个或多个参考画面进行比较。

H.264视频压缩***(也称作JVT或MPEG AVC)使用树状结构分层宏块分区(partition)。帧间编码的16×16像素宏块可以划分为16×8、8×16、或8×8大小的宏块分区。8×8像素的宏块分区(称作子宏块)可以进一步划分为8×4、4×8和4×4大小的子宏块分区。运动估计模块14基于特定宏块的特性，选择如何将宏块划分为分区及子宏块分区，以便最大化压缩效率及主观质量。对于每个宏块，运动估计模块14将提供宏块模式，其指示宏块分解为各种分区尺寸。另外，运动估计模块14为每个宏块提供参考画面索引和运动向量。

H.264视频压缩标准允许使用多个参考画面来进行帧间预测，其中编码了参考画面索引，以指示多个参考画面中特定一个参考画面的使用。在P画面(或P片)中，只使用单向预测，并且在第一列表(称作列表0)中管理允许的参考画面。在B画面(或B片)中，管理参考画面的两个列表：列表0和列表1。在B画面(或B片)中，允许使用列表0或列表1来进行单向预测。还允许使用列表0和列表1来进行双向预测。当使用双向预测时，对列表0和列表1预测值进行平均，以形成最终预测值。

运动估计模块14在为宏块决定最佳宏块模式、参考画面索引以及运动向量时具有相当大的自由度，以便为当前画面创建良好的预测值，以确保高效编码。一旦在运动估计过程期间运动估计模块14做出了这些决定，运动补偿模块17将从运动估计模块接收到参考画面索引、宏块模式以及运动向量。根据这些信息，运动补偿模块17形成预测值，用于利用加法模块12从输入画面中减去该预测值，以创建差画面。利用变换模块18对差画面进行变换。量化器20将变换后的差画面量化，然后将其输入到熵编码器22，在熵编码器22输出端得到编码视频画面。反向量化器24和反向变换模块26分别对差画面执行反向量化和反向变换，以得到参考画面，以便存储在参考画面存储装置16中，用于在编码随后的画面时使用。

图2图示了根据本发明的具有噪声消减的视频编码器的第一优选实施例100。编码器100与图1的编码器10具有许多相同的元件，并且在这两幅附图中相似的标号表示相似的元件。与图1的现有编码器10类似，图2的编码器100包括运动估计模块14’，其接收输入视频流以及来自参考画面存储装置16的先前编码画面。然而，图2的运动估计模块14’在以下方面与图1的运动估计模块14不同。如前所述，图1的运动估计模块14得到宏块的单个最佳宏块模式、宏块分区的参考画面索引、以及宏块分区或子宏块分区的运动向量。相反，本发明的运动估计模块14’在其输出端提供运动估计数据的N个集合，其中每个集合包括宏块的分区或子宏块分区的宏块模式、参考画面索引(RefPicIndex)、以及运动向量(MV)。

根据本发明，图2的视频编码器所执行的运动估计功能有助于噪声消减。编码器100内的噪声消减器102从运动估计模块14’接收N个运动估计数据集合中的每一个。如后面参考图4所述，噪声消减器102将当前像素与从运动估计模块14接收到的预测值比较。如果它们之间的差别小于预定阈值，则预测值变为噪声消减器102用来进行像素滤波的滤波集合的一部分。这种像素滤波的结果得到存储在滤波后画面存储装置104中的滤波后画面。这种滤波后画面变为编码过程的输入，即，加法放大器12的输入。

图3以流程图示出了图2的编码器100对输入视频流中每个画面进行消减噪声编码时所实现的过程的步骤。该过程在步骤200中开始，其中初始化各个变量，包括循环变量mb。此后，进行步骤202，并且开始循环过程。此后，进行步骤204，其中对每个宏块进行运动估计，计算N个运动估计决定集合中的每一个，并将它们存储起来。图2的噪声消减器102然后在步骤206中使用所存储的N个运动估计决定集合，对宏块执行噪声消减。

在步骤208中对宏块进行视频编码。首先，图2的运动补偿模块17使用N个存储的运动估计决定集合中最佳的一个集合(通常认为第一个集合是这些集合中最佳的一个)来创建宏块的预测值。从滤波后画面中减去该预测。差画面然后以参考图1描述的方式经历变换、量化以及熵编码。差画面还经历反向量化和反向变换，然后存储在图2的参考画面存储装置17中。在本发明的一个实施例中，N个运动估计数据集合中的每一个利用不同的参考画面索引。在步骤208之后，进行步骤210，其中，当循环变量mb等于宏块的数目时，在步骤202中开始的循环过程结束。换句话说，重复步骤202～208，直至完成对画面中所有宏块的编码。此后，在步骤212中编码过程结束。

如前所述，N个运动估计决定集合充当图2的噪声消减器102的输入。图4以流程图的形式示出了噪声消减器102所执行的噪声消减过程的步骤。噪声消减过程开始于步骤300，其中开始循环操作，在循环操作中根据循环索引p来循环通过每个像素。在步骤302中，读取当前画面块中每个像素p的值pic[p]。在步骤304中，开始第二循环操作，其中根据循环变量i来循环通过每个运动估计决定集合。在步骤306中，图2的运动补偿模块17通过使用第i个运动估计决定集合执行运动补偿，来为像素p创建预测值pred[i]。在步骤308中，在当前像素pic[p]与预测值pred[i]之间进行差测量。差测量可以包括计算中的亮度(luma)和/或色度(chroma)值。作为示例，差测量可以是绝对的差值。如果差测量低于阈值，则在步骤310中，将预测值添加到滤波集合fset(在图2的噪声消减器102所执行的噪声消减滤波操作中使用)。在步骤310之后(或者，当差测量大于阈值时，在步骤308之后)，然后进行步骤312，并且循环i操作结束。换句话说，重复步骤304～310，直至为每个运动估计决定集合生成预测值并且随后比较该预测值与阈值。

在步骤312之后，进行步骤314，并且将从在步骤310中创建的滤波集合fset获得的滤波器应用于像素p，以创建滤波后像素值。分别对亮度样本以及相关联的具有两个色度分量的样本进行滤波操作。在噪声消减滤波操作中，可以使用数种不同滤波器函数中的任一种，例如计算平均、加权平均、或中位值。滤波操作还可以在计算中包括空间近邻(spatial neighbor)。还可以将空间近邻与阈值相比较，以考虑在滤波操作中是否包括空间近邻。图2的滤波后像素存储装置104将像素滤波操作的结果存储为Filt_pic[p]。滤波后画面Filt_pic然后在对随后的画面进行噪声消减时变为视频编码过程的其他部分的输入。或者，可以使用参考画面存储装置的原始输入画面作为噪声消减过程的输入。

对于帧内(I)画面(或，I片)内的宏块，通常只进行空间滤波。或者，可以进行前述运动估计和噪声消减过程，但是视频编码器只执行帧内编码，因此不利用在运动估计决定集合中所选择的运动估计决定集合。对于编码器100，由于对I画面执行运动估计，所以增加了少许复杂度，因为现有运动估计模块14’已经存在，并且在这种条件下变为不使用。

图5示出了根据本发明的编码器100’的另一说明性实施例。图5的编码器100’与图2的编码器100具有许多相同的特征，并且相似的标号表示相似的元件。然而，与图2的编码器100不同，图5的编码器100’包括空间滤波器106，用于在运动估计模块14’接收到输入画面之前对输入画面滤波。对于I画面，不进行运动估计，并且开关108将空间滤波器106的输出耦合到加法模块12。对于P和B画面，使用空间滤波后的输入画面作为输入来执行运动估计。在这种情形下，开关108将加法放大器的非反相输入端耦合来接收噪声消减器102的输出。

前面描述了适于任何基于块的运动补偿视频压缩技术的低复杂度噪声消减的编码器。然而，本发明的编码器对于使用多个参考画面的压缩技术(例如，H.264)产生最好的结果，因为编码器和噪声消减器都可以重复使用运动估计功能，这允许使用在噪声消减滤波过程中所使用的多个画面。与单独的视频噪声消减***的复杂度相比，作为视频编码器的一部分来执行噪声消减而增加的复杂度非常小。对于带噪声的视频序列，与常规视频编码器相比，本发明的编码器可以大大改进特定比特率时的压缩视频质量。

Claims (10)

1、一种用于对视频信号编码并同时消减噪声的方法，包括如下步骤：

对输入视频信号中每个宏块进行N次运动估计，以得到N个运动估计决定集合，其中N是大于1的整数，每个集合包括参考画面索引和运动向量；

使用N个运动估计决定集合，对每个宏块创建噪声消减宏块；以及

使用所述运动估计决定集合中的第一个集合，编码每个噪声消减宏块。

2、根据权利要求1所述的方法，其特征是，进行运动估计的步骤还包括如下步骤：使用N个不同参考画面中的每个画面，进行N次运动估计。

3、根据权利要求1所述的方法，其特征是，创建所述噪声消减宏块的步骤还包括如下步骤：

选择所述N个运动估计决定集合中的至少多个集合；以及

使用所选择的运动估计决定集合，对所述宏块中每个像素进行时间滤波。

4、根据权利要求3所述的方法，其特征是，所述选择步骤还包括如下步骤：

对每个运动估计决定集合生成预测值；

计算所述预测值与当前像素之间的差值；

确定所述差值是否小于阈值；并且如果小于阈值的话，

选择其差值小于所述阈值的运动估计决定集合。

5、根据权利要求1所述的方法，其特征是，还包括如下步骤：在估计运动之前对所述输入视频进行空间滤波。

6、一种用于对视频信号编码并同时消减噪声的方法，包括如下步骤：

使用N个不同的参考画面中的每个画面，对输入视频信号中每个宏块进行N次运动估计，以得到N个运动估计决定集合，其中N是大于1的整数，每个集合包括参考画面索引和运动向量；

使用N个运动估计决定集合，对每个宏块创建噪声消减宏块；以及

使用所述运动估计决定集合中的第一个集合，编码每个噪声消减宏块。

7、一种视频编码器，包括：

运动估计级，用于对输入视频信号的每个宏块中的运动进行N次估计，以得到N个运动估计决定集合，其中N是大于1的整数，每个集合包括参考画面索引和运动向量；

噪声消减器，用于使用N个运动估计决定集合，创建噪声消减宏块；以及

编码装置，用于编码所述噪声消减宏块。

8、根据权利要求7所述的编码器，其特征是，还包括参考画面存储装置，用于存储编码画面，并且其中所述运动估计级使用所存储的N个不同参考画面来进行N次运动估计。

9、根据权利要求7所述的编码器，其特征是，还包括：

参考画面存储装置，用于存储编码画面；

用于将所存储的先前编码画面用作输入视频流，以便估计每个宏块的运动以得到N个运动估计决定集合的装置；以及

用于应用所述运动估计决定集合来对画面进行滤波以进行噪声消减的装置。

10、根据权利要求7所述的编码器，其特征是，还包括空间滤波器，用于在执行运动估计之前对所述输入视频进行空间滤波。

Images