CN1720745A - 对移动通信终端的运动图像进行编码的***和方法 - Google Patents

Abstract

本发明涉及对移动通信终端的运动图像进行编码的***和方法。本发明包括：帧内编码过程，对运动图像压缩目标信号进行离散余弦变换，通过对离散余弦变换后的运动图像压缩目标信号进行量化得到量化系数，利用Golomb－Rice编码作为熵编码对该量化系数进行编码，并且输出Golomb－Rice编码后的量化系数；以及帧间编码过程，对运动图像压缩目标信号进行估算，估算出移动是否发生在一个宏块单元中，把该宏块分类成移动块和非移动块，分别存储该移动块和非移动块，编码和输出作为纹理映象信息的有关移动在每一个宏块中是否发生的信息，并且在估算移动是否发生时，同时对移动块进行帧内模式和帧间模式的估算。

Description

对移动通信终端的运动图像进行编码的***和方法

技术领域

本发明涉及运动图像编码，更为具体地，本发明涉及对移动通信终端的运动图像进行编码的***和方法，该***和方法能够使在编码运动图像时，处理过程和操作数最少，并且通过以软件方式具体实现来与移动通信终端相适应。

背景技术

目前，处理运动图像的技术已经被应用于各种不同的领域。例如互联网上的电影服务的视频点播(VOD)服务，就是这项技术的一个代表性实例。

用于处理运动图像的此种不同领域中的国际标准已经被定义。作为典型的国际标准，运动图像专家组-1(MPEG-1)用作为视频高密光盘存储的压缩方法，MPEG-2作为高清晰数字电视广播或数字视频光盘(DVD)服务的压缩方法应用和使用，以及MPEG-4，其是制作适合于不同内容的压缩编码器的方法，且可以在例如互联网广播或者国际移动通信2000***(IMT-2000)的无线环境中的运动图像压缩解决方案中使用。另外，还有为电视会议开发的H.261，其性能和MPEG-1相似并且主要用于ISDN网络，为视频电话开发的H.263，其提供一个MPEG-4基础；以及H.26L(H.264)，其是用于图像电话、支持运动图像的蜂窝电话和电视等的最新标准压缩方法，并且能将压缩性能提高到MPEG-4的两倍。

同时，上述运动图像处理技术被应用于各种领域中，而个人电脑(PC)是公众普遍接触的一个领域。然而，PC存在移动性受到限制的问题。最近，处理诸如个人数字助理(PDA)、和手机等移动通信终端中的运动图像的技术正逐渐发展，该技术允许通过互联网连接以及安装照相机来提供各种各样的多媒体服务并且解决了PC移动性受到限制的问题。

然而，与PC相比，由于移动通信终端的CPU性能较差、内存较小、提供驱动功率的电池容量有限，所以在应用需要对终端进行许多操作的运动图像处理技术就有很多限制。因此，运动图像处理技术还没有象PC那样以软件方式具体实现。取而代之，利用一个硬件芯片来提供运动图像压缩技术。

近来，由于移动通信终端中使用的CPU的性能已经得到改进(例如，Qualcomm的MSM6000的商品化)，所以出现了许多以软件方式将运动图像处理技术应用于移动通信终端的尝试。然而，与运动图像的解码相比，由于运动图像处理的相关技术需要许多操作来编码运动图像，所以实际上不能以软件方式将运动图像处理技术应用于移动通信终端。因此，为了以软件方式将运动图像处理技术应用于移动通信终端，就需要开发一种运动图像压缩编码技术，其能够减少操作数，从而满足移动通信终端CPU的性能。

例如，如图1所述，根据使用MPEG的相关技术的运动图像编码设备，所述设备包括帧内编码部件20和帧间编码部件30，其中帧内编码部件20使用同一帧内的空间相关性，只利用该帧自身来进行压缩，而帧间编码部件30使用当前帧和在前帧之间的时间相关性来进行压缩。此时，所述***使用离散余弦变换(DCT)方法来对运动图像进行编码。

帧内编码部件20在对MPEG序列进行编码时，将霍夫曼编码方法作为熵编码方法应用。如同帧内编码部件20一样，帧间编码部件30将霍夫曼编码方法作为熵编码方法应用，并且使用当前帧和在前帧的时间相关性进行编码作为预测帧编码(即，P帧编码)。此时，在在前帧图像的情况下，由于要对从压缩状态恢复的图像进行比较，所以在进行编码时还要进行解码。

另外，帧间编码部件30中的移动估算单元31把运动图像压缩目标信号(YUV420，YUV422)分成16*16像素宏块，并且估算移动是否发生在每一个宏块即搜索区域中，其中，运动图像压缩目标信号是通过把视频信号变换单元10输出的RGB(红绿蓝)图像变换成MPEG格式得到。然后，就可以通过估算移动来得到运动矢量(VM)，并且估算有关其中移动超出搜索区域或者移动不能被运动矢量表达的情形的信息。此时，运动矢量是具有当前帧图像和在前帧图像最大相似性的位置信息。通过提供此种运动矢量，就可以进行具有较高压缩性能和品质的压缩。

然而，在编码运动图像时，移动估算单元31的移动估算处理占用了大多数的操作。因此，在由于CPU性能的限制而需要较低的复杂性的移动通信终端的情况下，由于该移动估算处理，以软件方式来具体实现编码运动图像的功能就会变得困难。

另外，根据相关技术的运动图像编码设备，在帧间编码方法中，每一个宏块可以被分类成没有移动发生的块和有移动发生的块，并且，根据其编码方法，该有运动发生的块可以被分类成帧内模式和帧间模式。帧内模式是一种以与帧内编码一样的方式处理宏块的模式，而帧间模式是一种使用当前帧和在前帧之间的差值对宏块进行编码的模式。帧内模式和帧间模式通过当前帧和在估算运动向量时出现的搜索区域中的宏块单元的最小平均值的差值进行区分，其中最小平均值通过计算当前帧的宏块和在前帧的宏块的差值得到。

如上所述，依照使用MPEG的相关技术的运动图像编码设备，由于在进行帧间编码时使用从压缩图像恢复的在前图像，所以在编码运动图像时还要进行解码处理。由于帧间编码通过对每一个宏块进行移动估算来得到运动矢量，并且另外还要进行一个DCT和量化过程来得到有关移动是否发生在每一个宏块中的信息，所以帧间编码需要复杂的操作。因此，以软件方式来具体实现移动通信终端中的运动图像编码非常困难。此外，由于将霍夫曼编码作为熵编码使用，所以它并不适合于实时服务。

发明内容

因此，本发明已经被作出来解决上述相关技术中出现的问题。本发明的一个目的是在编码运动图像时，通过应用具有低复杂性和快处理速度的Golomb-Rice编码作为熵编码方法，来具体实现一个适合于移动通信终端的运动图像编码功能，该移动通信终端是一个需要实时服务的应用领域。

本发明的又一目的是使操作数最少，在对运动图像进行帧间编码时，由于进行编码时不需要解码处理，所以可以通过使用在前内帧的原始图像进行预测帧编码来实现上述目的。

本发明的另一个目的是通过去掉不必要的处理例如用于运动图像帧间编码时获取运动矢量的处理，来大大减少操作，这个目标可以通过在对运动图像进行帧间编码时在宏块中进行移动估算，使用块边界的像素值来估算移动是否发生，以及同时进行帧内模式和帧间模式的估算来实现。

本发明的又一个目的是节省为允许对适合于移动通信终端的运动图像进行编码而增加的硬件芯片的开发费用，并且通过以不同于硬件芯片、能够快速处理一些情形的软件方式来具体实现运动图像编码功能，可以更加有效地为快速发展的移动通信终端提供运动图像服务。

为了完成上述目的，本发明提供了一种对移动通信终端的运动图像编码的***，该***具有一个视频信号变换单元，该视频信号变换单元用于将输入的RGB图像变换成具有Y、U和V分量的运动图像压缩目标信号，所述***包括帧内编码部件和帧间编码部件。其中，帧内编码部件用于对运动图像压缩目标信号进行离散余弦变换，通过对离散余弦变换后的运动图像压缩目标信号进行量化来得到量化系数，利用Golomb-Rice编码作为熵编码对量化系数进行编码，并且输出Golomb-Rice编码后的量化系数；而帧间编码部件使用在前内帧的原始图像，利用Golomb-Rice编码对运动图像压缩目标信号进行预测帧编码，使用块边界的像素值来估算移动是否发生在宏块中，并且同时进行帧内模式和帧间模式的估算。

优选地，帧间编码部件可以包括：移动估算单元，用于使用在前内帧的原始图像，对视频信号变换单元输出的运动图像压缩目标信号进行估算，估算移动是否发生在一个搜索区域即一个宏块单元中；纹理映象信息存储单元，用于存储指示移动是否发生在每一个宏块中的纹理映象信息；移动块存储单元，用于存储有移动发生的移动块，该移动块由移动估算单元输出；非移动块存储单元，用于存储没有移动发生的非移动块，该非移动块由移动估算单元输出；离散余弦变换(DCT)单元，用于通过对移动块存储单元中存储的移动块进行离散余弦变换来得到DCT系数；量化单元，用于通过对得到的DCT系数进行与量化宽度和每一频率分量相应的量化过程来产生量化系数；以及Golomb-Rice编码单元，用于利用Golomb-Rice编码来编码产生的量化系数，并随后输出该量化系数。

优选地，移动估算单元可以利用当前帧的宏块边界值和在前帧的宏块边界值之间的差值来估算移动是否发生，分别输出有移动发生的块和没有移动发生的块，并且将有关移动是否发生在每一个宏块中的信息作为纹理映象信息输出。

优选地，移动估算单元可以基于对当前帧的宏块和在前帧的宏块之间的差值求平方得到的值，进行帧内模式和帧间模式的估算，其中该差值是在估算运动是否发生时得到的最终值。

不同地，本发明提供了一种对移动通信终端的运动图像进行编码的方法，通过把输入的RGB图像变换成运动图像压缩目标信号来进行帧内编码和帧间编码，所述方法包括：帧内编码过程，其对运动图像压缩目标信号进行离散余弦变换，通过对离散余弦变换后的运动图像压缩目标信号进行量化得到量化系数，利用Golomb-Rice编码作为熵编码对该量化系数进行编码，然后输出Golomb-Rice编码后的量化系数；以及帧间编码过程，对运动图像压缩目标信号，估算移动是否发生在一个宏块单元中，把该宏块分类成移动块和非移动块，分别存储移动块和非移动块，编码和输出作为纹理映象信息的有关移动是否发生的信息，并且在估算移动是否发生时，同时对运动块进行帧内模式和帧间模式的估算。

优选地，帧间编码过程可以包括：通过当前帧的宏块边界值和在前帧的宏块边界值之间的差值来估算移动是否发生；根据移动是否发生的估算结果，输出没有移动发生的非移动块和有移动发生的移动块并存储在每个存储单元中，然后编码和输出指示移动是否在相应宏块中发生的纹理映象信息；以及在进行移动是否发生的估算时，同时估算是否以帧内模式和帧间模式对有移动发生的移动块进行编码。

优选地，帧间编码过程可以在被估算为帧内模式时，用与帧内编码同样的方法来对移动块进行编码，而在被估算为帧间模式时，通过对当前帧的原始图像和在前图像之间的不同分量进行编码来对移动块进行编码。

附图说明

通过结合参考附图的详细描述，本发明的上述和其它目的、特点和优点都将变得更加明显，其中：

图1是一个描述根据MPEG模式的相关技术的运动图像编码***的结构的框图；和

图2是一个功能性地描述了根据本发明的一个实施例的移动通信终端的运动图像编码***的结构的框图。

^**上述结构图中重要部分的号码描述^**

10：视频信号变换单元         50：帧内编码部件

51，65：DCT单元              52，66：量化单元

53，67：Golomb-Rice编码单元  60：帧间编码部件

61：移动估算单元             62：移动块存储单元

63：非移动块存储单元         67：纹理映象信息存储单元

发明详述

在下文中，将结合附图对本发明的优选实施例进行描述。在下面对本发明的描述中，考虑到可能使本发明的主题变得相当不清楚，所以在这里省略大家已知的功能和结构的详细描述。

根据本发明的对运动图像进行编码的***是以软件方式具体体现，而不是硬件芯片。如图2所示，根据本发明的一个实施例的***包括：视频信号变换单元10，用于把输入的RGB图像变换成具有MPEG-4格式的运动图像压缩目标信号(YUV 420)；帧内编码部件50，用于对运动图像压缩目标信号进行离散余弦变换、量化以及利用Golomb-Rice编码方法的熵编码；以及帧间编码部件60，用于使用在前内帧的原始图像，利用Golomb-Rice编码进行预测帧编码，使用块边界的像素值来估算移动是否发生在宏块单元中，并且同时进行帧内模式和帧间模式的估算。

帧内编码部件50包括DCT单元51、量化单元52和Golomb-Rice编码单元53。DCT单元51通过对视频信号变换单元10输出的运动图像压缩目标信号(YUV 420)进行离散余弦变换来得到DCT系数。量化单元52通过进行一个使得到的DCT系数成为与量化宽度和每一个频率分量相应的8*8量化矩阵的量化过程，来产生量化系数。Golomb-Rice编码单元53利用Golomb-Rice编码对产生的量化系数进行编码和输出。

帧间编码部件60包括移动估算单元61、移动块存储单元62、非移动块存储单元63、纹理映象信息存储单元64、DCT单元65、量化单元66和Golomb-Rice编码单元67。

移动估算单元61使用在前内帧的原始图像，对视频信号变换单元10输出的运动图像压缩目标信号进行估算，估算出移动是否发生在一个搜索区域即宏块单元(16*16)中。此时，它利用当前帧的宏块边界值和在前帧的宏块边界值之间的差值来估算移动是否发生，根据估算结果分别输出有移动发生的块和没有移动发生的块，并且将有关移动是否发生在每一个宏块中的信息作为纹理映象信息输出。另外，它基于当前帧的宏块和在前帧的宏块之间差值求平方得到的值，进行帧内模式和帧间模式的估算，其中该差值是在估算移动是否发生时得到的最终值。

移动块存储单元62存储有移动发生的块。非移动块存储单元63存储没有移动发生的块。纹理映象信息存储单元64存储移动估算单元61输出的纹理映象信息，该纹理映象信息指示移动是否发生在每一个宏块中。

DCT单元65通过对移动块存储单元62中存储的移动块进行离散余弦变换来得到DCT系数。量化单元66通过进行一个使得到的DCT系数成为与量化宽度和每一频率分量相应的8*8量化矩阵的量化过程，来产生量化系数。Golomb-Rice编码单元67利用Golomb-Rice编码对产生的量化系数进行编码和输出。

在下文中，将对具有上述结构的运动图像编码***的操作进行描述。

首先，通过视频信号变换单元10，将从例如照相机的输入设备(没有示出)输入的RGB图像被变换成具有MPEG-4格式的运动图像压缩目标信号(YUV420)，然后将其输入到帧内编码部件50。

然后，帧内编码部件50通过对视频信号变换单元10输入的运动图像压缩目标信号(YUV420)进行离散余弦变换来得到DCT系数，而后通过进行一个使得到的DCT系数成为与量化宽度和每一频率分量相应的8*8量化矩阵的量化过程，来产生量化系数。

之后，帧内编码部件50利用Golomb-Rice编码对产生的量化系数进行编码和输出。因此，如同静止图像一样，通过使用帧内的空间相关性来进行该输入图像帧的编码。此时，由于复杂性低于霍夫曼编码(其是相关技术的熵编码方法)，并且可以进行实时编码，所以它可以应用于实时服务中。

同时，帧间编码部件60通过使用当前帧和在前帧之间的时间相关性对视频信号变换单元10输入的运动图像压缩目标信号进行编码。首先，帧间编码部件60中的移动估算单元61把运动图像压缩目标信号分成宏块单元(16*16)，并且把该块单元分类成有移动发生的块(移动块)和没有移动发生的块(非移动块)。此时，它将有关移动是否发生在每一宏块中的信息作为纹理映象信息存储。

换句话说，移动估算单元61通过使用在前内帧的原始图像估算移动是否发生在一个搜索区域即一个宏块单元中。此时，它利用当前帧的宏块边界值和在前帧的宏块边界值之间的差值来估算移动是否发生。

当估算出相应宏块是一个没有移动发生的非移动块时，移动估算单元61输出该宏块，把该非移动块存储到非移动块存储单元63中，然后把没有移动发生在该宏块中的信息存储到纹理映象信息存储单元64中。

然而，当估算出相应宏块是一个有移动发生的移动块时，移动估算单元61输出该宏块，把该移动块存储到移动块存储单元62中，然后把有移动发生在宏块中的信息存储到纹理映象信息存储单元64中。

因为存储在纹理映象信息存储单元64中的有关移动是否发生的信息被编码和输出，所以解码部件(没有示出)能够获悉有关移动是否发生在每一个宏块中的信息。因此，对于非移动块，编码过程和任何后续过程都不需要。换句话说，解码部件通过复制前面图像的块，利用纹理映象信息来处理非移动块。

另外，在进行移动是否发生的估算时，移动估算单元61同时估算是否以帧内模式或帧间模式对有移动发生的运动块进行编码。

换句话说，在有物体移动、光线的改变或者来自运动图像输入装置(例如照相机)的噪音的情况下，这些块可以被估算为有移动发生的移动块。在上述情况中，其中存在有大的移动例如物体移动的移动块被估算为以帧内模式进行编码。其中存在图像中的小改变(例如由于光线或噪声引起的微小变化)的移动块，被估算为以帧间模式进行编码。

相应的帧内模式编码或帧间模式编码信息被编码和存储，使得解码部件了解这些信息。此时，在移动块估算为处于帧内模式的情况下，原始图像的块值可以以与帧内编码同样的方法进行编码。在移动块被估算为处于帧间模式的情况下，当前帧的原始图像和先前图像之间的不同分量被编码。

工业适用性

如上所述，按照本发明，当对运动图像进行编码时，应用具有低复杂性和快处理速度的Golomb-Rice编码而不是霍夫曼编码作为熵编码的方法。因此，可以具体实现一个适合移动通信终端的运动图像编码功能，该移动通信终端是一个需要实时服务的应用。

根据本发明，在对运动图像进行帧间编码时，可以通过使用在前内帧的原始图像来执行预测帧编码。因此，因为不需要如相关技术那样使用从压缩的先前图像恢复的图像，所以可以使操作数最少。例如，在进行编码时不需要解码处理。

另外，根据本发明，在对运动图像进行帧内编码时，可以在一个宏块单元中执行移动是否发生的估算。此时，如相关技术一样，使用块边界的像素值来只估算移动是否发生，而不获取运动矢量。因此，由于用于获取运动矢量以及用于获取有关移动是否发生的信息所需要的离散余弦变换过程和量化过程被省略，所以可以减少许多操作。

此外，根据本发明，在对运动图像进行帧间编码时，同时进行运动估算以及帧内模式和帧间模式的估算，而不是如相关技术那样，在获得运动矢量以后，才执行帧内模式和帧间模式的估算。因此，和相关技术的运动图像编码设备相比，可以减少前面所描述过程的操作。

另外，根据本发明，上述的运动图像编码功能以软件的方式具体实现。因此，就可以减少用于开发移动通讯终端的额外费用的负担，该额外费用是由于为编码运动图像而增加的硬件芯片而产生的。另外，与硬件芯片相反，由于上述功能是以软件方式具体实现，从而更简单和更快地处理一些情况，所以就可以更加有效地提供在移动通信终端上的运动图像服务。

虽然结合了具体优选实施例对本发明进行了说明和描述，但是本领域的普通技术人员应该明白，在不背离所附权利要求书规定的本发明的精神与范围的情况下，可以进行各种不同形式和细节的修改。

Claims (7)

1、一种对移动通讯终端的运动图像进行编码的***，该***具有一个视频信号变换单元，该视频信号变换单元用于把输入的RGB图像变换成具有Y，U和V分量的运动图像压缩目标信号，所述***包括：

帧内编码部件，用于对该运动图像压缩目标信号进行离散余弦变换，通过对离散余弦变换后的该运动图像压缩目标信号进行量化，来得到量化系数，利用Golomb-Rice编码作为熵编码对该量化系数进行编码，并且输出Golomb-Rice编码后的量化系数；以及

帧间编码部件，用于使用在前内帧的原始图像，利用Golomb-Rice编码，对该运动图像压缩目标信号进行预测帧编码，使用块边界的像素值来估算移动是否发生在宏块单元中，并且同时进行帧内模式和帧间模式的估算。

2、如权利要求1所述的***，其中所述帧间编码部件包括：

移动估算单元，用于使用在前内帧的原始图像，对所述视频信号变换单元输出的所述运动图像压缩目标信号进行估算，估算移动是否发生在一个搜索区域即该宏块单元中；

纹理映象信息存储单元，用于存储指示移动是否发生在每一个宏块中的纹理映象信息；

移动块存储单元，用于存储有移动发生的移动块，该移动块由该移动估算单元输出；

非移动块存储单元，用于存储没有移动发生的非移动块，该非移动块由该移动估算单元输出；

离散余弦变换(DCT)单元，用于通过对该移动块存储单元中存储的移动块进行离散余弦变换来得到DCT系数；

量化单元，用于通过对该得到的DCT系数进行一个与量化宽度和每一个频率分量相应的量化过程，来产生量化系数；以及

Golomb-Rice编码单元，用于利用Golomb-Rice编码来编码并随后输出所产生的量化系数。

3、如权利要求2所述的***，其中，所述移动估算单元利用当前帧的宏块边界值和在前帧的宏块边界值的差值，来估算移动是否发生，分别输出有移动发生的块和没有移动发生的块，并且将有关移动是否发生在每一个宏块中的信息作为纹理映象信息输出。

4、如权利要求2所述的***，其中所述移动估算单元基于当前帧的宏块和在前帧的宏块之间的差值求平方而得到的值，进行帧内模式和帧间模式的估算，其中该差值是在估算移动是否发生时得到的最终值。

5、一种用于对移动通信终端的运动图像进行编码的方法，该方法通过把输入的RGB图像变换成运动图像压缩目标信号来进行帧内编码和帧间编码，所述方法包括：

帧内编码过程，对该运动图像压缩目标信号进行离散余弦变换，通过对离散余弦变换后的该运动图像压缩目标信号进行量化，得到量化系数，利用Golomb-Rice编码作为熵编码对该量化系数进行编码，并且输出Golomb-Rice编码后的量化系数；以及

帧间编码过程，对该运动图像压缩目标信号进行估算，估算出移动是否发生在一个宏块单元中，把该宏块分类成移动块和非移动块，分别存储该移动块和该非移动块，编码和输出作为纹理映象信息的有关移动是否发生的信息，并且在估算移动是否发生时，同时对该运动块进行帧内模式和帧间模式的估算。

6、如权利要求5所述的方法，其中所述帧间编码过程包括：

利用当前帧的宏块边界值和在前帧的宏块边界值的差值来估算移动是否发生；

根据移动是否发生的估算结果，输出且在每个存储单元中存储没有移动发生的非移动块和有移动发生的移动块，并且随后编码和输出指示有关移动是否发生在相应宏块中的纹理映象信息；以及

在进行移动是否发生的估算时，同时估算是否对有移动发生的移动块以帧内模式或帧间模式进行编码。

7、如权利要求5所述的方法，其中所述帧间编码过程以与所述帧内编码同样的方式，对被估算为帧内模式的移动块进行编码，而通过对当前帧的原始图像和在前图像之间的不同分量进行编码，来对被估算为帧间模式的移动块进行编码。

Images