CN1134171C - 信号编码设备和方法 - Google Patents

Abstract

一种信号编码设备和方法，其中，在输入端提供的运动画面图象信号被传送给运动矢量检测/运动预测残差计算器，图象内运动预测残差计算器和帧/场DCT编码类型判断装置。根据判定的输入MB(宏块)DCT编码类型，计算图象内运动预测残差。然后，利用INTRA/INTER判断装置比较图象内运动预测残差与输入MB运动预测残差，来决定输入MB将被帧内编码还是被帧间编码，以便执行所决定的编码类型。

Description

信号编码设备和方法

技术领域

本发明涉及信号编码设备和方法、信号记录介质和信号传送方法，特别涉及适用于将运动画面图象信号记录到例如光盘、磁带等的记录介质上和从这些记录介质上再现所述信号以便在一个显示单元上进行显示的信号编码装置和方法、信号记录介质和信号传送方法，还特别涉及适用于经过电话会议***(视频会议***)、画面电话***(可视电话***)、广播***等中的传送线向接收方传送来自发送方的运动画面图象信号的信号编码装置和方法、信号记录介质和信号传送方法。

背景技术

由于数字视频信号具有大量的数据，所以将数字视频信号较长时间地记录到一个较小容量记录介质上、或在有限通信线中的多个信道中传送它们都需要一个装置以对所述视频信号高效编码。为了满足这种需要，已提出了使用视频信号、特别是运动画面图象信号之间的相关性以实现对这种信号的高效编码。MPEG(运动画面专家组)是这种数据压缩技术之一。这项技术是在ISO-IEC、JTC1、SC2和WG11协会中进行多次讨论而达成的用于数据压缩的标准协议。MPEG是一项混合数据压缩技术，其中，运动补偿预测编码(将被称之为“帧间编码”)和DCT(离散余弦变换)被结合执行。利用这种MPEG技术，首先预测运动画面信号从一帧到另一帧的运动，然后计算预测残差的信号以减少时基方向的冗余，和所述残差信号被进行离散余弦变换(DCT)以减少空间冗余，借此实现高效视频信号编码。

在图1所示的MPEG***中，利用将各种画面分类成三种：I、P和B对视频信号进行压缩编码。在这三种画面中，I图象独立于其它图象被进行帧内编码。P图象被进行正向预测编码。所述预测编码从顺时针过去位置的I或P图象进行。所述B图象被双向预测编码。该预测编码在使用在B图象顺时针前后位置的I或P从正向、反向或双向进行。所述画面的组合形成了一个GOP(图象组)。各个图象被分成多个宏块(MB)。例如在4∶2∶0格式下，一个MB由6个块组成，包括空间上彼此对应的4个亮度块Y₁、Y₂、Y₃、Y₄和两个色度块C_b和C_r。这些块中的每一个都由64个象素组成(8行，每行含有8个象素)。

在P和B图象素中，每个MB的编码类型可以在帧内编码(图象内预测编码)和帧间编码(运动补偿预测编码，如上所述)之间进行转换。P图象只能以一种模式，即正向预测编码类型被帧间编码。B图象可以利用正向、反向和双向三种模式中对B图象帧间编码最有效的一种模式进行编码。

为了判断帧内或帧间编码类型中的哪一种模式是对编码MB的最佳模式，理想的方法是首先试用帧间或帧内编码类型两者，然后取它们中传送数据量较小的一种。但是，这样花费很多时间或需要大量的计算。

为了避免上述问题，已提出了一种用于选择帧内或帧间编码类型的简单方法，这就是MPEG视频仿真模型3(ISO/IEC、JTC1/SC2/WG11N0010MPEG90/041 1990.7)。这个仿真模型3(以下简称模型3)根据运动补偿预测残差估计帧间编码的效率，并根据MB内预测残差估计帧内编码的效率，以比较运动补偿预测残差和MB内预测残差。来决定选择帧内编码或帧间编码中的哪一个。这个方法将借助图2所示流程图作进一步解释。

在图2的步骤200，计算输入MB(宏块)亮度信号16×16象素运动预测残差信号的均方值VAR。具体是，确定在输入MB信号A[i，j]和被运动矢量(x，y)作为参考的预测MB信号F[x+i，y+j]之间差的均方值，定义如下：

VAR＝(∑(A[i，j]-F[x+i，y+j])²)/256

                (i＝0～15，j＝1～15)                    (1)

应当注意，也可以采用绝对值来替换所述均方值。

在步骤201，根据下述关系计算亮度信号的16×16象素的数据分布VAROR，作为输入MB的MB内预测残差：

VAROR＝(∑A[i，j]²)/256-MEAN²

            (i＝0～15，j＝0～15)           (2)

MEAN＝(∑A[i，j])/256                      (3)

在步骤202，在图7所示特性曲线的基础上使VAR和VAROR彼此比较。就是说，当VAR＞THR和VAROR＜VAR时，选择帧内编码(INTRA)用于输入MB(在步骤203)，反之，选择帧间编码(INTER)用于所述MB(在步骤204)。“THR”是一个阈值，例如THR＝64。

在步骤205，以指定的模式执行MB编码。对于帧内编码，所述MB被分解成多个数据块。对于帧间编码，MB内预测残差被分解成多个数据块。每个数据块被进行8×8DCT编码。

应当注意，在MPEG2中，可以进行两种DCT编码：场编码和帧编码。可以选择其中一个用于每个MB。图4示出了在每个DCT编码类型中MB亮度信号和数据块之间的关系。每个数据块是一个8×8DCT编码单元。在帧型DCT编码中，每个MB亮度信号数据块被分解成4个块。另一方面，在场型DCT编码中，MB亮度信号被分解成由多个场形成的每个块。

在上述模型3中，计算在尺寸为16×16象素亮度信号的分布以估计帧内编码的效率。但是，在这种方法中，不可能估计在两种DCT编码的每一种中的编码效率。就是说，很明显，与已经描述传统例的理想编码类型选择方法比较，模型3往往更容易错误选择低效的编码类型，在所述传统例中，实际上先试用帧内和帧间两种编码类型，然后执行它们中数据传输量少的一个。

另外，在上述模型3中，计算16×16象素亮度信号的分布以估计帧内编码的效率。但是，对于估计每个8×8数据块的DCT编码效率来说，这种方法是不能令人满意的。就是说，与已描述的传统例的理想编码类型选择方法相比，模型3更频繁错误选择低效编码类型。

发明内容

因此，本发明的目的是通过提供一种信号编码设备和方法、信号记录介质和信号传送方法来克服现有技术的上述缺点，其中，改进了模型3以提高编码效率。

根据本发明的一个方面，提供一种信号编码设备，包括：编码类型判断装置，用于判断对数据块进行编码的正交变换的类型是由一帧或多帧形成编码数据块还是由一场或多场形成编码数据块；残差选择装置，用于根据所述数据块是由一帧或多帧形成还是由一场或多场形成，从一组残差值中选择一个残差值；编码装置，用于选择帧内编码或帧间编码，在所述帧内编码中，输入画面图象信号被分解成每个数据块用作一个编码单元的多个数据块；在帧间编码中，预测输入画面图象信号的帧间运动，所生成的预测残差信号被分解成多个数据块；其中，所述选择是根据所述残差选择装置选择的所述残差值进行的；和控制装置，用于根据所选择的正交变换类型，控制依据帧内或帧间编码的正交变换对所述输入画面图象信号进行的编码。

根据本发明的另一方面，提供一种信号编码方法，包括下述步骤：根据一组差值判断正交变换中数据块是由一帧或多帧形成还是由一场或多场形成；根据所述数据块是由一帧或多帧形成还是由一场或多场形成，从一组残差值中选择一个残差值；根据选择的残差值，判断输入画面图象信号要被帧内编码还是被帧间编码；执行帧间编码，其中，预测输入画面图象信号的帧间运动，将所生成的预测残差信号分解成多个数据块，并对每个数据块执行包括DCT的所述正交变换；和执行帧内编码，其中，所述输入画面图象信号被直接分解成多个数据块，并对每个数据块进行所述正交变换。

上述目的可以通过选择输入画面图象信号的帧内编码或帧间编码来实现。在所述的帧内编码中，输入画面图象信号被分解成多个数据块，每个数据块是一个编码单元并被进行正交变换；在所述的帧间编码中，预测输入画面图象信号的帧间运动，作为预测结果的残差信号被分解成多个数据块，根据判断要被正交变换编码的数据块是由场还是由帧形成的判断结果，对每个数据块进行正交变换。

在选择上述帧内编码或帧间编码时，根据判定的正交变换类型，采用一预定方法计算每个数据块图象内预测残差之和，比较图象内预测残差和输入画面图象信号的运动预测残差，从而进行所述输入画面图象信号是要被帧内编码还是被帧间编码的判断。

在上述处理中使用的数据块的大小可以为例如8×8象素。可以根据该数据块平均值计算象素差的绝对值之和、或根据数据块平均值计算象素差的平方和，来计算所述数据块的图象内预测残差。

根据本发明，根据判断要被正交变换编码的数据块是由场还是由帧形成的判断结果，来选择各输入画面图象信号的编码类型，即帧内编码或帧间编码。在帧内编码中，输入画面图象信号被分解成多个数据块，其中每个数据块都是一个编码单元并被进行正交变换；在帧间编码中，预测输入画面图象信号的帧间运动，并且作为预测结果的残差信号被分解成多个数据块，其中每个数据块被进行正交变换。因此，可以使输入画面图象信号的编码效率提高。

根据判定的正交变换类型，通过利用预定方法计算每个数据块图象内预测残差的和，比较图象内预测残差和输入画面图象的运动预测残差，判断输入画面图象信号是要被帧内还是帧间编码，来选择帧内编码或帧间编码。

因此，与采用的传统技术相比，可以选择输入画面图象信号帧内或帧间编码中更加有效编码类型，从而实现具有改善编码效率的信号编码装置和方法。

通过记录被如此高效编码的信号，可以得到一种高效记录介质；通过传送这种高效编码信号，可以实现高效信号传输。

附图说明

图1示出了MPEG GOP、画面，MB和数据块之间的关系；

图2是用于解释判断输入MB是帧内编码还是帧间编码的传统算法的流程图；

图3是根据本发明的运动画面图象编码装置的框图；

图4示出了MB亮度信号和帧型DCT编码数据块以及场型DCT编码数据块之间的关系；

图5示出了一个程序，用于解释如何判断所述DCT编码是帧型的还是场型的；

图6示出了一个程序，用于解释根据本发明计算输入MB中图象内预测残差VAROR的例子；

图7是一特性曲线图，示出了本发明用于经过比较输入MB的图象内预测残差VAROR和输入MB中运动预测残差来判断输入MB是帧内还是帧间编码；和

图8是用于解释根据本发明实施例用于判断MB要被帧内编码还是被帧间编码的算法的流程图。

具体实施方式

图3以框图的形式简要示出了采用本发明运动画面编码方法的运动画面编码装置结构的一个例子。如该图所示，在端10处提供的运动画面图象信号S1，经过用于向构成DCT电路12的DCT编码器提供预测残差的计算器11、量化电路13、逆量化电路14、逆DCT电路15，计算器16和运动补偿电路17。所述DCT编码器将在下面进一步描述。

在端10处提供的运动画面图象信号S1还被提供给运动矢量检测/运动预测残差计算电路21。在这个电路21中，在基准帧和输入MB(宏块)亮度信号之间进行模式匹配以检测输入MB的运动矢量。就是说，在下述关系式(3)的基础上，确定在输入MB亮度信号A[i，j]、和被作为任意运动矢量(x，y)基准的MB亮度信号F[x+i，y+j]之差的绝对值之和：

Ef＝∑|A[i，j]-F[x+i，y+j]|

              (i＝0～15，j＝0～15)               (3)

应当注意，虽然基准帧信号最好是原始图象信号的输入运动画面图象信号S1，但可使用在运动补偿电路17的帧存储器中存储的本地译码的帧信号来代替。于是，在这种情况下，基准帧信号S7被从运动补偿电路17提供给运动矢量检测/运动预测残差计算电路21。电路21将取其中上述Ef是最小值的坐标(x，y)作为当前MB的运动矢量，并将当前的Ef值作为运动矢量S6的运动预测残差VAR加以传送。

运动画面图象信号S1还被提供给电路22，以判断所述DCT编码是帧型编码还是其中每个数据块都是由多个场组成的场型编码。

图4示出了在每种DCT编码中MB亮度信号和数据块之间的关系。每个数据块是一个8×8DCT编码单位。在帧型DCT编码中，每个MB亮度信号数据块被分解成4个块。但是，在场型DCT编码中，信号被分解使每个数据块由多个场形成。

下面结合图4说明用于解释如何判断DCT编码是帧型编码还是场型编码的程序。首先，对16×16象素的输入MB亮度信号，计算一个帧中彼此垂直相邻象素之差的绝对值之和dif_fr，计算一个场内彼此垂直相邻象素之差的绝对值之和dif_fi。接着，比较dif_fr和dif_fi的值。当dif_fr小于dif_fi时，DCT编码是帧型编码，反之，DCT编码是场型编码。然后，电路22提供DCT编码类型S9给图象内预测残差计算器23。

运动画面图象信号S1被提供给图象内运动预测残差计算器23，在该计算器23中，在当前MB的帧和场型DCT编码数据块中运动预测残差的基础上，计算输入MB的图象内运动预测残差VAROR。

图6示出了一个VAROR计算程序的例子。在图6所示的这个程序中，输入MB亮度信号帧型DCT编码的数据块是bfr0[i，j]，bfr1[i，j]、bfr2[i，j]和bfr3[i，j]，而场型DCT编码的数据块是bfi0[i，j]、bfi1[i，j]、bfi2[i，j]和bfi3[i，j]，其中i是水平象素的索引，且i＝0～7，j是垂直象素的索引，且j＝0～7。根据各数据块的平均值计算象素差的绝对值之和，作为数据块中的运动预测残差。当DCT编码是帧型编码时，获得的画面内图象运动预测残差VAROR_mbfr，被取作4个帧型DCT编码数据块中运动预测残差之和，而数据块内图象运动预测残差VAROR_mbfi被取作4个场型DCT编码数据块中运动预测残差之和。当(从电路22提供的信号S9的)DCT编码是帧型编码时，VAROR_mbfr被取作VAROR；而当DCT编码是场型编码时，VAROR_mbfi被取作VAROR。MB内运动预测残差计算器23将提供VAROR值。

下面解释图6所示算法的某些变量。为了计算数据块内运动预测残差，可以计算平方和以代替绝对值和。在这种情况下，利用所述平方和替换所述绝对值来计算上述表达式(3)。

当根据多个数据块的平均值计算象素差的绝对值和时，所述和可以如下计算：

mean_mb＝(mean_bfr0+mean_bfr1+mean_bfr2+mean_bfr3)/4

mean_bfr0＝mean_bfr1＝mean_bfr2＝mean_bfr3＝mean_mb

mean_top＝(mean_bfi0+mean_bfi1)/2

mean_bottom＝(mean_bfi2+mean_bfi3)/2

mean_bfi0＝mean_bfi1＝mean_top

mean_bfi2＝mean_bfi3＝mean_bottom

其中，mean_x是x的平均值。

另外，上述mean_mb可以被取作16×16象素输入MB亮度信号的平均值。上述mean_top可以被取作输入MB亮度信号顶场中16×8象素的平均值。而上述mean_bottom可以被取作输入MB亮度信号底场中16×8象素的平均值。

另外还提供了一个帧内/帧间(INTRA/INTER)判断电路24，用于在上述输入MB的VAR和VAROR值的基础上判断MB是帧内编码还是帧间编码。这个判断的例子示于图7。如该图所示，当VAR＞THR(THR是一个预定阈值)和VAROR＜VAR时，INTRA/INTER判断电路24将向运动补偿电路17提供一个MB模式S8。

图8示出了在用于判断上述输入MB是帧内编码还是帧间编码的算法的操作流程。

如所看到的，在步骤100计算输入MB亮度信号16×16象素的运动预测残差VAR。在下一个步骤101计算帧型DCT编码数据块的块内运动预测残差的和VAROR_mbfr，以及场型DCT编码数据块的块内运动预测残差的和VAROR_mbfi。在步骤S102，判断用于输入MB的DCT编码是帧型编码还是场型编码。可以首先执行步骤S101和S102中的任何一个。

在步骤S103，当DCT编码是帧编码时，(在步骤S104)VAROR_mbfr被用作VAROR；而当DCT编码是场编码时，(在步骤S105)VAROR_mbfi被用作VAROR。

在步骤S106，在VAR和VAROR的基础上判断输入MB的MB模式是INTRA模式(在步骤S107)还是INTER模式(在步骤S108)。

在步骤S109，以预定MB模式对输入MB编码。对于帧内编码，输入MB被分解成指定类型DCT编码的多个数据块。对于帧间编码，运动预测残差MB被分解成指定类型DCT编码的多个数据块。每个数据块被进行8×8象素的DCT编码。

因此，在判断输入MB是帧内还是帧间编码的过程中，可以选择比以往更高效率的编码类型。由此，可以实现高效编码的运动画面编码方法和装置。

再参考图3，下面详细描述在决定输入MB的MB模式S8之后的编码处理。

运动补偿电路17具有一个画面图象存储器，用于存储本地译码的图象作为运动补偿的基准画面图象。当MB模式S8是INTER时，运动补偿电路17将在运动矢量S6的基础上从所述画面图象存储器中读出一个预测MB信号S2。计算器11将取输入运动画面图象S1的输入MB信号作为一个加法信号，与取自从运动补偿电路17的作为减法信号的运动预测MB信号S2相加，来计算在上述输入MB信号和运动预测MB信号之间的差，并将该差值作为运动预测残差MB信号加以传送。另一方面，当MB模式S8是INTRA时，不进行预测并且从计算器11传送输入MB信号。

来自计算器11的运动预测残差MB信号(当MB模式S8是INTRA时的输入MB信号)被传送给DCT电路12。在电路12中，运动预测MB信号被根据指定类型DCT编码分解成多个数据块，每个数据块被进行8×8象素DCT(离散余弦变换)。在量化电路13中，从DCT电路提供的DCT因数被根据缓冲器19的位占空因数以预定的步长被量化。量化电路13输出的量化输出信号被传送给逆量电路14和变长编码电路18。

在逆量化电路14中，来自量化电路13的量化输出信号被进行与在量化电路13中已执行量化相应的逆量化处理。逆量化电路14的输出被提供给逆DCT电路15，并在这里进行逆DCT，以对运动预测残差MB信号进行译码并将译码后的信号传送给计算器16。计算器16也被提供有一个与提供给计算器11的运动预测MB信号S2相同的信号。计算器16将把运动预测MB信号S2加到译码后的运动预测残差MB信号上。由此，提供被本地译码的运动预测画面图象信号。该被本地译码的运动画面图象信号被存储到运动补偿电路17的图象存储器中，在这里，它将被用作下一个运动补偿的基准图象。

另一方面，变长编码电路18对来自量化电路13的输出信号、量化步长和运动矢量进行霍夫曼编码，以提供一个符合ISO/IEC13828-2(MPEG2视频)语法的位流。该位流被提供给缓冲存储器19，该缓冲存储器19用于平滑从输出端20接收的位流S6的位速率。另外，当缓冲存储器19溢出时，它将向量化电路13反馈一个量化信息。此时，量化电路13中的量化步长被放大，借此以减少从量化电路13传输的信息量。从输出端20传送的编码信号位流被记录到诸如磁盘，磁带等的信号记录介质上或经过传输线进行传送。

如上所述，根据本发明的运动画面图象编码装置的实施例具有一个帧间编码装置，用于预测输入运动画面图象信号的帧间运动，将生成的运动预测残差信号分解成多个数据块，并对每个数据块进行诸如DCT的正交变换，该实施例还包括一个帧内编码装置，用于将输入运动画面图象信号本身分解成多个数据块，并对每个数据块进行正交变换，该实施例还包括：(a)用于判断由帧或场形成数据块的正交变换类型的装置(用于判断DCT编码处于帧模式或场模式的电路22)；和(b)用于根据上述判定的正交变换类型，控制判断输入运动画面图象信号要被帧内编码还是被帧间编码的方法的装置(图象内运动预测残差计算器23和INTRA/INTER判断电路24)。

根据装置(a)判定的正交变换类型，装置(b)以预定方法计算每个块的画面内图象预测残差和，用于比较图象内运动预测残差和输入画面图象的运动预测残差，借此判断输入画面图象信号将被帧内编码还是将被帧间编码。

在上述处理中使用的上述数据块的大小可以为8×8个象素，通过根据数据块的平均值计算象素差绝对值的和、或通过根据数据块的平均值计算象素差的平方和，来计算数据块的图象内预测残差。

因此，同现有技术相比，可以对输入画面图象信号选择在帧内或帧间编码中选择更加有效的编码类型，从而实现一种具有改善编码效率的信号编码装置和方法。

应当注意，本发明并不仅局限于上述实施例。即：例如它并不局限于诸如MPEG型的运动画面图象信号的数字信号，它也可被用于根据帧内/帧间编码和正交变换结合编码而生成的各种数字运动画面图象等信号上。当然，本发明也可以在不脱离由所附权利要求规定的范围和本发明精神的情况下以各种形式作出修改。

Claims (6)

1.一种信号编码设备，包括：

编码类型判断装置，用于判断对数据块进行编码的正交变换的类型是由一帧或多帧形成编码数据块还是由一场或多场形成编码数据块；

残差选择装置，用于根据所述数据块是由一帧或多帧形成还是由一场或多场形成，从一组残差值中选择一个残差值；

编码装置，用于选择帧内编码或帧间编码，在所述帧内编码中，输入画面图象信号被分解成每个数据块用作一个编码单元的多个数据块；在帧间编码中，预测输入画面图象信号的帧间运动，所生成的预测残差信号被分解成多个数据块；其中，所述选择是根据所述残差选择装置选择的所述残差值进行的；和

控制装置，用于根据所判断的正交变换类型，控制依据帧内或帧间编码的正交变换对所述输入画面图象信号进行的编码。

2.如权利要求1的设备，其特征是所述控制装置包括：

图象内运动预测残差计算装置，用于根据编码类型判断装置判定的正交变换类型，计算每个块中画面内图象运动预测残差之和；以及

帧内/帧间判断装置，用于比较画面内图象运动预测残差和输入画面图象信号的运动预测残差，以判断所述输入画面图象信号要被帧内编码还是被帧间编码。

3.如权利要求1的设备，其特征是通过根据宏数据块的亮度信号的平均值计算象素差的绝对值和，来确定块内图象运动预测残差。

4.如权利要求1的设备，其特征是通过根据宏数据块的亮度信号的平均值计算象素差的平方和，来确定块内图象运动预测残差。

5.一种信号编码方法，包括下述步骤：

根据一组差值判断正交变换中数据块是由一帧或多帧形成还是由一场或多场形成；

根据所述数据块是由一帧或多帧形成还是由一场或多场形成，从一组残差值中选择一个残差值；

根据选择的残差值，判断输入画面图象信号要被帧内编码还是被帧间编码；

执行帧间编码，其中，预测输入画面图象信号的帧间运动，将所生成的预测残差信号分解成多个数据块，并对每个数据块执行包括离散余弦变换的所述正交变换；和

执行帧内编码，其中，所述输入画面图象信号被直接分解成多个数据块，并对每个数据块进行所述正交变换。

6.如权利要求5的方法，还包括下述步骤：

根据编码类型判断步骤判定的正交变换类型，计算每个数据块中画面内图象运动预测残差之和；以及

通过比较画面内图象运动预测残差和输入画面图象信号的运动预测残差，判断输入画面图象信号要被帧内编码还是被帧间编码。

Images