CN1780401A - 译码装置及使计算机执行译码方法的程序 - Google Patents

Abstract

本发明提供一种译码装置及使计算机执行译码方法的程序，该装置在对编码图像进行译码时，不进行逆DCT，仅抽出其DCT系数的DC系数。对于I图形，输出其DC系数作为该块的译码数据，对于P图形及B图形，将DC系数加上利用运动矢量计算出的运动补偿值后，作为该块的像素值。在进行运动补偿时，通过将运动矢量的精度降低到8像素单位(块单位)，能够使运动补偿值的计算大幅度简化，使高速生成缩略图成为可能。

Description

译码装置及使计算机执行译码方法的程序

技术领域

本发明涉及对MPEG图像数据进行译码的图像译码装置、图像译码方法、和实现这种译码方法的程序。

背景技术

为了再现被编码的图像，译码处理是必要的。但是，有时并不是要求完全再现原来的图像，而只要求得到能了解图像概况的缩小图像、或者像素密度较低的图像(以下称为缩略图)即可。

为此，例如已有根据经MPEG编码后的图像数据而生成缩略图图像的技术(例如、参照专利文献1)。在这种技术中，仅利用MPEG编码中的每个块的DCT系数的DC系数来生成缩略图图像。具体地，对于I图形将DCT***的DC系数、对于P图形及B图形将DC系数与运动补偿值相加后，对图像进行译码。该专利在生成P图形及B图形的运动补偿中，直接利用了运动矢量值，执行将参照图像中的最大4个块的DC系数按照与运动矢量量相对应的比例进行相加的内插计算。

另一方面，在通常的使用运动补偿的图像译码技术中，具有通过执行运算精度低的运动补偿来减少计算量以高速地对图像进行译码的技术(例如专利文献2)。在这种技术中，只在运动补偿的精度不向其他图像传播的B图形使运动矢量的精度在译码侧降低到整数像素的精度，通过省去了在小数像素精度时发生的像素内插计算，以达到减少计算量的目的。

[专利文件1]特开2003-219420公报

[专利文件2]特开平9-322175公报

发明内容

在上述的根据MPEG编码数据来生成缩略图的技术中，对于运动补偿是必需的P图形和B图形，依照运动矢量量来进行参照图像的像素内插计算。这种内插计算是将参照图像中的最大4个块的DC系数按照对应于运动矢量量的比例进行相加等、求得与运动矢量所示位置相对应的DC系数的处理，这个计算的计算量非常大。因此，存在由于该内插处理而无法实现高速译码处理的情况。

此外，上述专利文献2所记述的技术只是简单地在译码侧将运动矢量的精度转变为整数精度，即便将这种技术用于缩略图生成技术，对于只有以块为单位的参照图像的像素值的缩略图图像，仍然需要内插计算。

本发明是鉴于上述实际情况而做出的，其目的在于提供一种在只利用MPEG中的DCT系数的DC系数来生成缩略图时能够简化生成用于其运动补偿的预测图像的处理、并能够高速地生成缩略图的图像再现装置。

以下说明在本申请中公开的代表性发明。

在对运动补偿编码的图像进行译码时，无须进行逆DCT变换，仅利用每个块的DCT系数的DC系数来生成缩小图像(缩略图)。对于I图形，直接使用该块的DCT系数的DC系数，对于P图形和B图形，通过将基于运动矢量的运动补偿值加到DC系数上而生成缩小图像。另外，关于前述运动补偿，使运动矢量的精度变换为块的整数倍单位。

依靠上述构成，减少了译码器中的处理。若将运动矢量的精度降低到块单位(例如8像素单位)的精度，虽然会使图像质量有所下降，但却可使用于运动补偿的计算量大幅度减少，因此可以高速地生成和再现缩略图。

附图说明

图1是本发明所用的图像再现装置的一个实施例的说明图。

图2是说明现有的、MPEG流的译码装置的说明图。

图3是表示利用现有方法时预测图像和参照图像的关系图。

图4是表示利用本发明时预测图像和参照图像的关系图。

图5是运动矢量精度切换器的一个实施例。

图6是本发明的缩略图显示时的一个显示例。

图7是利用本发明的缩略图显示装置的一个实施例。

最佳实施方式

以下，用图示说明本发明的实施例。

图1示出了本发明的一种实施方式下的、生成运动图像缩略图的图像译码再现装置的构成。需要指出的是，本申请中缩略图即包含静止图像又包含运动图像。另外，虽然本申请此后对采用MPEG作为编码方式的实施例进行了说明，但实际上，本申请也可适用于对所有使用运动补偿的编码数据的译码处理。

在图2中，示出了通常的MPEG编码数据的译码单元。被编码的比特流首先在可变长译码单元1中对宏块单位的编码信息进行译码，分离出编码模式、与运动矢量相关的信息、量子化信息以及量子化DCT系数；分离出的DCT系数在逆量子化单元2中被还原成DCT系数，由逆DCT7变换成像素空间数据；在内部编码模式下，将所得到的像素空间数据作为译码图像直接输出；另一方面，在运动补偿预测单元5中通过利用运动矢量信息和参照图像的运动补偿预测而生成的预测图像的块数据被生成。在运动补偿模式下，在加法运算单元3中将该块数据与像素空间数据相加后输出。在此，所谓的参照图像是已经被译码的图像，至于P图形，因为在此后的译码处理中被用于参照图像，所以被保存到视频存储器4中。

在图2所记述的本发明的构成中，上述可变长译码单元1、逆量子化单元2、加法单元3、运动补偿预测单元5进行与上述说明的结构相同的处理。另一方面，在图2所示的本发明中没有逆DCT处理单元2。对于由逆量子化单元2进行逆量子化后求得的DCT系数，在本实施例中不进行逆DCT，而对DCT系数的DC系数原样进行处理。

在MPEG编码中，按多个块单位对图像进行处理。例如，块为8×8像素单位等，从逆量子化单元2输出的DCT系数的数目就是像素块单位中的像素数。所谓DCT系数就是表示该块的像素值的空间频率分量的系数，可以考虑将相当于该DCT系数的DC系数(坐标(0，0)的DCT系数)的值作为该块整体的平均值。由此，只要直接输出DC系数，就相当于输出块中像素的像素值(灰度值或色差值)的平均值。由于对于一个块存在一个DC系数，所以，例如在块尺寸为8×8时，若只利用DC系数做成图像，则对于编码图像，生成为其纵向、横向各缩小为1/8的缩小图像。所生成的译码图像被保存的视频存储器40中，在此后对所处理的图像进行运动补偿时，作为参照图像使用。

关于I图形，通过原样输出DC值而得到缩略图图像。可是，对于在帧间进行运动补偿的P图形、B图形而言，必须使用运动矢量和参照图像进行运动补偿，计算在运动矢量对应位置上的DC系数。在此，运动补偿是通过使对图像的各个块进行译码的值和对已经完成译码的参照图像进行运动补偿预测的值相加来进行的。

如图3所示，关于处理过程中的块，假设在进行运动补偿预测处理后得到的预测块为111。通常，为了提高运动矢量的精度，运动矢量是以1/2像素精度或1/4像素精度等小数像素精度来传送的。可是，在仅利用DCT系数的DC系数来生成图像的本装置中，保存在视频存储器40中的参照图像只由每个块的DC系数构成。在图3所示的实施例中，对于预测块111，保存在参照图像中的块112、113、114、115是重复的。在此，对于各个块，假设所保存的DCT系数的DC系数分别为b1、b2、b3、b4。在本申请的构成中，有必要利用这些保存的DC系数求出预测块111的像素值。

例如，将块111的x边中存在于参照块114、115中的长度116、117以及y边中存在于参照块118、119中的长度118、119分别设为x1、x2、y1、y2，在内插处理中根据所保存的参照图像的DC系数来求出预测块113的像素值bc时，可通过下式来求得：

bc＝(x1*y1*b1+x2*y1*b2+x1*y2*b3+x2*y2*b4)/64     (3)

若该块自身的DC系数数据为bp，则进行了运动补偿的、该块的DC系数b可由下列算式算出。

b＝bc+bp                                   (4)

像这样，通过对参照图像进行内插计算，即便对P图形、B图形，也可以生成仅由DC系数构成的图像。可是，在内插计算(3)中，需要大量的计算。具体的说，因为对每一个块都要进行式(3)的计算(8次乘法运算、3次加法运算、1次除法运算)，所以对整个画面而言，计算量非常大，从而也需要相当长的处理时间。

因此，提出了在运动补偿时不进行必要的内插计算而进行译码的方法。具体地说，就是考虑利用运动矢量精度控制器6将运动矢量的精度降低到8像素精度、即块单位。如果通过进行这样的处理而将运动矢量变换为8像素精度，则在仅由DC系数构成的参照图像中必定存在与处理块相对应的像素。例如，对于位于图3所示位置的预测块111，通过使运动矢量精度为8像素精度，可如图4所示，被近似为例如处于最近的参照块115。据此，也可以将与参照块115相对应地存储的DC系数用作对应的DC系数，从而使不需要式(3)所示的内插计算且高速生成缩略图成为可能。

在此，示出了将运动矢量降低为8像素精度的计算式例。运动矢量由水平方向的运动矢量h、垂直方向的运动矢量v构成。设精度降低至8像素精度时的水平、垂直方向的运动矢量分别为h’、v’，则其计算公式可以表示为：

h’＝sign(h)·[|h/8|]·8

v’＝sign(v)·[|v/8|]·8

其中，sign(x)是当x为正时等于+1、x为0时等于0、x为负时等于-1的函数，|x|是x的绝对值，[x]表示不超过x的整数。

例如，通过这样的计算，当参照宏块与多个宏块相重叠时，对象宏块将选用有重叠的宏块中的某一个。因为目的是为了将矢量近似为块单位矢量，所以也可以采用利用各种不同的近似方法，选择在上述公式以外近似为面积较大的某一个块的其他方法。逼近误差小的方法其画质下降程度也小，逼近误差大的方法其画质下降程度也大。因此，如果不考虑画质，甚至可以考虑将运动矢量全部近似为0矢量(无运动)。

在上述实施例中，说明了以8×8像素为块单位的处理。但是，可以依据要得到的缩略图的大小，以更大的块单位、比如16×16的宏块单位，执行相同的处理。在这种情况下，相对原图像生成在纵向、横向两个方向上各缩小到1/16的缩小图像。因为DC系数是按块单位传送的，所以有必要对处理对象的宏块生成一个DC系数。作为具体方法，具有选择使用与具有重复部分的4个8×8块中的某一个块相对应的DC系数的方法，或者对4个8×8块DC系数取平均值的方法等。例如，为了选择1的DC系数，可以像上述那样选择重复部分的多个块等。不管怎样，保存在视频存储器40中的参照图像也变成每个宏块由一个值构成的缩小图像。

像这样，通过用本申请中的矢量精度控制器6使运动矢量的精度降至处理块的整数倍的单位(例如16像素单位)，可以使进行运动补偿时的内插计算变为不必要，且能够高速生成缩略图。另外，在本实施例中，因为处理块的单位变大，所以减少了对存储器的存取次数，同时，运动补偿的计算次数也比上述实施例1有所减少，从而更加提高了高速生成缩略图的可能性。

图7表示利用了本发明的缩略图显示装置。从流再现单元30输出的图像编码数据流被输入到缩略图生成单元31以生成缩略图。所生成的缩略图由输出单元32输出表示。在此，图1中所示的各部件相当于缩略图生成单元31的内部结构。另外，生成缩略图时的运动矢量的精度由控制单元35来控制。

可以认为，在用户通过用户输入单元34指定缩略图的图像尺寸时，使运动矢量精度控制单元6中的运动矢量精度对应于该尺寸而变化。例如，若用户希望获得纵向、横向的尺寸相对原图像分别为1/8大小的缩略图，则将运动矢量精度降至8像素精度。若用户希望获得纵向、横向大小相对于原图像分别为1/16的缩略图，则将运动矢量精度降至16像素精度。或者，若用户希望获得图像劣化较少的图像，则进行不降低小数像素精度的运动矢量精度的运动补偿。在这种情况下，如上所述，既可以构成为通过进行内插计算来求得对应点的像素值，也可以另外设计图1所示的结构。

这些运动矢量精度的切换是按照每个作为处理对象的处理帧来进行的。作为切换指示方法，可以通过由用户选择显示在显示单元上的精度选择项，或直接输入所希望的精度值来实现精度切换。而且，也可以由用户输入指定所输出的缩略图图像的尺寸，在装置对对应于该尺寸的精度进行判断后进行自动切换。例如，在获得的缩略图图像的尺寸在纵向、横向上分别为原图像的1/8的时候，考虑预先使精度与译码图像尺寸相对应地进行存储，之后使运动矢量精度自动降至8像素精度的方法。

另外，也可以考虑不定义所输出的缩略图图像的尺寸，而按照译码器的处理负荷来切换运动矢量精度。例如，在译码器由软件构成的情况下，可以在例如控制单元35等中设置使该软件进行操作的处理装置(CPU)的负荷率的计算单元。然后，可以考虑按照计算出的负荷率，通过切换所生成的缩略图的运动矢量精度，来调整画面质量和控制运算量。具体地说，就是预先使运动矢量的精度信息与负荷率相对应地存储，根据该信息来选择精度。

如此，通过设置为切换运动矢量精度的结构，可以按照用户的要求来选择缩略图的画质和译码处理的速度。在用户对画质要求较低时，通过在编码图像的译码处理中使用更简单的方法，可以更高速地生成缩略图。

图6所示为将本发明用在图像显示装置等中的实施例。由于与现有技术相比，利用本发明生成缩略图减少了处理量，所以可以实现高速显示。而且，分析该缩略图后，能够通过适用公知技术而进行场景检测和剪切检测等。

例如，在从连续的影像中检测出剪切点的情况下、或是为了影像编辑的目的而确认影像的内容的情况下需要缩小图像的时候，即便产生某种程度的画质降低也没有问题。这时，若使用本发明就可以高速生成在图像解析中所需的画质的缩略图，通过将生成的缩略图一览显示在画面下部，可以高效率地浏览影像内容。

另外，在本实施例中，通过经由输入单元选择一览显示的缩略图中的某一个，在画面上部或整个画面上显示出与该缩略图相关联的图像。显示在该画面或整个画面上的译码图像通常还是希望使用通常的译码方式(不降低运动矢量精度)。因此，通过设置在上述实施例中公开的运动矢量精度控制器6，进行使用了小数精度或无变换处理的运动矢量的译码处理。由此，在高速显示缩略图的同时，也可以无画质劣化地视听所选择的图像。

在实现以上说明的本发明时，还包括通过基于硬件和读取软件而进行的程序处理、以及通过硬件和软件的协调处理来实现各结构的情况。

Claims (16)

1.一种译码装置，其特征在于，包括：

存储单元，存储已经被译码的参照图像；

运动补偿预测单元，利用上述参照图像而生成所输入的图像编码数据的预测图像；

精度控制单元，控制在上述运动补偿预测单元中所使用的运动矢量的精度；以及

输出单元，用于输出利用上述所生成的预测图像而被译码的图像，

其中上述参照图像由构成图像的多个块中每个块的DC成分所构成，上述运动补偿预测单元利用在上述精度控制单元中被变换成上述块的整数倍单位的精度后的上述运动矢量而生成上述预测图像。

2.如权利要求1所述的译码装置，其特征在于：上述精度控制单元逐个处理帧地选择多个所准备的上述块的整数倍单位中的某一个，变换上述运动矢量的精度。

3.如权利要求1所述的译码装置，其特征在于：上述精度控制单元具有用于切换执行还是不执行上述运动矢量精度变换的切换单元。

4.如权利要求2所述的译码装置，其特征在于：上述精度控制单元具有用于切换执行还是不执行上述运动矢量精度变换的切换单元。

5.如权利要求2所述的译码装置，其特征在于：

还包括输入单元，

上述精度控制单元根据经上述输入单元输入的指示信息，进行上述运动矢量的精度选择。

6.如权利要求3所述的译码装置，其特征在于：

还包括输入单元，

上述精度控制单元根据经上述输入单元输入的指示信息，进行上述运动矢量的精度选择。

7.如权利要求5所述译码装置，其特征在于：经由上述输入单元输入的指示用于指示所显示的译码图像的尺寸，上述精度控制单元选择与该译码图像尺寸相对应的精度。

8.如权利要求6所述译码装置，其特征在于：经由上述输入单元输入的指示用于指示所显示的译码图像的尺寸，上述精度控制单元选择与该译码图像尺寸相对应的精度。

9.如权利要求1所述的译码装置，其特征在于：

还包括上述译码装置的处理负荷测算单元，

上述精度控制单元根据上述处理负荷测算单元的输出来选择运动矢量的精度。

10.如权利要求2所述的译码装置，其特征在于：

还包括上述译码装置的处理负荷测算单元，

上述精度控制单元根据上述处理负荷测算单元的输出来选择运动矢量的精度。

11.如权利要求3所述的译码装置，其特征在于：

还包括上述译码装置的处理负荷测算单元，

上述精度控制单元根据上述处理负荷测算单元的输出来选择运动矢量的精度。

12.如权利要求1所述的译码装置，其特征在于，还包括：用于对上述经过译码的多个图像进行一览显示的显示单元。

13.如权利要求2所述的译码装置，其特征在于，还包括：用于对上述经过译码的多个图像进行一览显示的显示单元。

14.如权利要求3所述的译码装置，其特征在于，还包括：用于对上述经过译码的多个图像进行一览显示的显示单元。

15.一种用于使计算机执行图像编码数据的译码方法的程序，其特征在于：

从输入的图像编码数据中分离出每个块的量子化DCT系数和运动矢量信息；

将上述运动矢量的精度变换为上述块的整数倍单位；

通过利用了已被译码的参照图像和上述被变换的运动矢量的信息的运动补偿预测来生成预测图像；

对上述量子化DCT系数进行逆变换后，与上述预测图像相加而合成译码图像；以及

上述参照图像由上述每个块的DC系数构成。

16.如权利要求9所述的用于使计算机执行图像编码数据的译码方法的程序，其特征在于：还具有逐个帧地将运动矢量的精度切换为上述块的整数倍单位的精度。

Images