CN101594536A

CN101594536A - 编码/解码设备、编码/解码方法以及存储介质

Info

Publication number: CN101594536A
Application number: CNA2009101196422A
Authority: CN
Inventors: 屋森章弘; 岛田智史
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2008-05-28
Filing date: 2009-03-24
Publication date: 2009-12-02
Also published as: US20090296809A1; JP2009290463A; EP2129132A2; JP5195032B2; KR101090586B1; EP2129132A3; US8761246B2; KR20090123772A

Abstract

一种编码/解码设备、编码/解码方法以及存储介质。这是一种用于对输入视频信号进行压缩/编码的编码设备。该编码设备包括：减少/转换单元，其用于根据输入视频信号的特性转换亮度分量的格式或色度分量的格式；以及编码单元，其用于对格式经减少/转换单元转换的视频信号进行压缩/编码以生成编码数据。

Description

编码/解码设备、编码/解码方法以及存储介质

相关技术描述

与音频数据或字符数据的数据量相比，视频数据的数据量非常大，因此在其处理和数据传递中，数据的压缩/编码是不可或缺的。

对于所述编码提出了各种方法。

例如，专利文献1(日本专利申请公开2007-53788)公开一种压缩/编码方法，该方法能够计算每段图像数据的模式的编码难度，并且能够通过以取决于计算出的难度的压缩比对数据进行适当压缩/编码，随意改变压缩后数据的大小。

专利文献2(日本专利申请公开H10-164581)还公开一种用于对图像模式不均匀的图像数据进行编码使其图像质量均匀的技术。在专利文献2中，针对每个宏块(MB)计算出编码难度和指示图像劣化显著性的加权系数，基于编码难度和加权系数计算其复杂度，并且使用复杂度计算每个MB的编码量化位阶(quantization scale)。

此外，专利文献3(日本专利申请公开H11-196437)公开一种运动检测方法，该方法用于利用混合信号检测帧之间以及场之间视频信号的运动以提高图像数据的压缩效率，其中混合信号是通过将其亮度与色度以特定比例相加获得的。

待压缩的视频数据为4:2:2格式信号或者4:4:4格式信号，其中在4:2:2格式信号中，亮度(Y)具有的像素数量是每个色度(Cb、Cr、Pb、Pr或者U、V)具有的像素数量的两倍，在4:4:4格式信号中，亮度的像素数量与色度的像素数量相同。然而，在视频编码的大多数编码中，视频数据在其格式被转换成4:2:0格式信号或4:2:2格式信号之后进行编码，其中，通过二次抽样减少了色度的像素数量，原因是期望在像素信号水平的处理中减少色度像素的总数以改进压缩比，或者是因为从人类视觉特性的观点来看更容易看出亮度劣化。

通常，用于减少处理后的色度像素的数量的编码方法有助于在尽可能保持质量的同时改进压缩效率。

图1示出视频格式的简单概念。

视频是多个静止图像的组，并且包括多个帧。编码设备的帧存储器存储所述多个帧。

在4:2:2格式信号的情况下，当静止图像帧之一被取出时，其以比率Y∶Cb∶Cr＝4∶2∶2构成。作为这种4:2:2格式信号的具体示例有ITU-R Rec.709、ITU-R Rec.656等等。

一个帧由多个MB构成，并且每个MB由四个Y块、一个Cb块和一个Cr块构成。一个块由8×8个像素构成。

这种4:2:2格式信号的每个静止图像以比率Y∶Cb∶Cr＝4∶1∶1转换成被称为4:2:0格式信号的视频格式信号，并且被进行编码。在该图像编码处理中，每个静止图像分成称作宏块(MB)的子块，并且针对每个MB进行编码。在这种情况下，使用以比率Y∶Cb∶Cr＝4∶1∶1转换成4:2:0格式的视频信号。

图2和图3分别示出传统编码/解码设备的配置。

图2所示的编码设备1a包括色度减少/转换单元11、帧存储器12、运动矢量探测单元13、运动预测单元14、正交变换(T(DCT))单元16、量化(Q)单元17、可变长度编码(VLC)单元18、逆量化(IQ)单元19、逆正交变换(IDCT)单元20、加法器21和减法器15。

色度减少/转换单元11将输入视频信号的色度例如从4:2:2格式信号减少为4:2:0格式信号。帧存储器12主要存储帧数据以预测运动，并且存储过去的和将来的图像数据。运动矢量探测单元13从帧存储器12读取原始图像宏块22和参考块23，并且基于它们计算运动矢量，该运动矢量为参考块23距原始图像宏块22的运动量。作为运动矢量，最小预测残差信号是基于特定准则(绝对值和或者平方和)选择的。运动预测单元14基于帧存储器12中的参考帧以及由运动矢量探测单元13计算出的运动矢量执行前向预测、后向预测和双向预测，并且生成预测帧。

减法器15将原始图像宏块22减去由运动预测单元14计算出的预测帧，并且将差输出到正交变换单元16。对于每8×8块，正交变换单元16对运动经补偿后的像素进行直接余弦变换(Direct Cosine Transform，DCT)。量化单元17在考虑视觉特性的情况下对DCT变换系数进行量化。可变长度编码单元18将量化值转换成可变长度码(例如Huffman码等等)，并将该码输出。

逆量化单元19将量化值反向转换成DCT变换系数。逆正交变换单元20将逆量化单元19计算出的DCT变换系数反向转换成8×8块像素数据。加法器21将经运动预测单元14输出的运动矢量补偿后的预测帧加到逆正交变换单元20输出的差值的像素数据上，并且将由于压缩而引入失真的像素数据写入存储器帧12，作为新的参考帧。

在具有这样的配置的编码设备1a中，当视频信号输入时，色度减少/转换单元对视频信号进行用于减少视频信号色度的格式转换，并且将其存储在帧存储器12中。于是，对视频信号进行图像数据压缩处理，如MPEG等等，并且输出视频信号的码。

在视频编码设备1a中，通过消除时间和空间方向上的冗余，原始信号的大量信息得到压缩。更具体地说，对于时间方向，使用了用于通过使用运动矢量消除前、后帧之间的差的运动补偿方法，而对于空间方向，使用了用于将屏幕的水平/垂直平面变换成频率分量的正交变换、通过量化获得的正交变换系数的代表值等等。还使用可变长度编码作为运算信息压缩方法来执行数据压缩。

在传统的视频编码设备1a中，通过使用色度减少/转换单元11执行色度的分辨率转换，例如将4:2:2格式输入信号转换成4:2:0格式信号，提高了压缩效率。

接下来，描述传统解码设备2a。

图3示出传统解码设备2a的配置示例。

图3所示的解码设备2a包括可变长度解码(VLD)单元31、逆量化(IQ)单元32、逆正交变换(IDCT)单元33、运动补偿单元34、加法器35、帧存储器36和色度扩展/转换单元37。

可变解码单元31将可变长度码(例如Huffman码等等)转换成量化值。逆量化单元32将量化值反向转换成DCT变换系数。逆正交变换单元33将逆量化单元32计算出的DCT变换系数反向转换成8×8块像素数据。然而，虽然在I画面情况下在此计算的像素数据是实际像素数据自身，但是在P画面或B画面情况下，它是两个像素数据之间的差值。运动补偿单元34计算经编码设备1a中使用的运动矢量补偿后的块。加法器35将逆量化单元32输出的差值与经运动补偿单元34输出的运动矢量补偿后的块相加，以计算P画面或B画面。帧存储器36存储计算出的帧的像素数据。色度扩展/转换单元37在后处理时通过色度补偿例如将色度经编码设备1a减少后的4:2:0格式信号转换成4:2:2格式信号。

在传统解码设备2a中，由于执行编码设备1a的编码处理的逆处理，所以其部件中很多与编码设备1a中包括的部件相同。在解码设备2a中，通过编码设备1a的编码处理的逆处理计算差值，并且在运动补偿单元34中使用由编码设备1a确定的运动矢量对差值进行解码。在色度扩展/转换单元37中，对在编码处理的前级中经过色度减少/转换的码进行扩展处理，以将其作为视频信号发送。

然而，在要进行编码/解码的视频信号中，并非总是更容易看出亮度，并且亮度取决于场景，色度有时比亮度更具特点。

在此情况下，在编码时色度的劣化变得显著。但是，在视频编码中，当输入4:2:2格式信号时，往往将其转换成4:2:0格式信号。

近来，在家用电器(例如与HDTV兼容的TV、电影等等)中，色度得到更完全地表示，并且可以更加具体地表示色彩深度。同样从这种观点来看，可以说，成份色度分量处理已得到广泛开展。

发明内容

面对这样的问题和市场趋势，本发明的目的在于提供编码/解码设备、编码/解码方法以及实现编码的存储介质，其中，在保持用于编码的处理量、即要处理的块的数量的同时更偏向色度。

所述编码设备设想对输入视频信号进行压缩和编码，并且为了解决上述问题，该编码设备包括亮度复杂度计算单元、色度复杂度计算单元、减少/转换单元和编码单元。

亮度复杂度计算单元计算输入视频信号中的亮度的复杂度。

色度复杂度计算单元计算输入视频信号中的色度的复杂度。

减少/转换单元基于分别由亮度复杂度计算单元和色度复杂度计算单元计算出的亮度复杂度和色度复杂度转换输入视频信号的格式。

编码单元对经减少/转换单元进行格式转换后的视频信号进行压缩/编码，以生成编码数据。

利用这种配置，在该编码设备中，基于输入视频信号中的亮度复杂度和色度复杂度进行格式转换。

所述解码设备设想对输入编码信号进行解码，并且包括图像转换规格单元、解码单元和扩展/转换单元。

图像转换规格单元计算在对视频信号进行编码时执行的格式转换的类型。

解码单元基于来自图像转换规格单元的格式转换的类型对编码信号进行解码。

扩展/转换单元基于来自图像转换规格单元的格式转换的类型对经解码单元解码后的信号的格式进行转换。

利用这种配置，在该解码设备中，可以对格式经编码设备转换后的编码信号进行解码。

本发明还包括其范围内的编码方法、解码方法及其存储介质。

附图说明

图1示出视频格式的简要概念。

图2示出传统编码设备的配置。

图3示出传统解码设备的配置。

图4示出在本优选实施例中编码设备的配置示例。

图5是示出传统编码设备在对输入视频信号进行编码时的操作的流程图。

图6是示出本优选实施例中的编码设备在对输入视频信号进行编码时的操作的流程图。

图7示出2:2:2格式MB的结构示例。

图8示出本优选实施例中解码设备的配置示例。

图9是示出传统解码设备在对输入视频信号进行解码时的操作过程的流程图。

图10是示出本优选实施例中解码设备的操作过程的流程图。

图11示出画面组的结构。

图12示出本优选实施例中附于经编码设备编码的比特流的每个GOP的Sequence_extension(序列扩展)信息的示例。

图13A和图13B示出chroma_format(色度格式)信息的示例结构。

图14A示出picture_coding_extension(画面编码扩展)信息的示例。

图14B示出mb_format(mb格式)信息的示例。

图15示出实现本优选实施例中的编码/解码设备的信息处理设备的***环境。

图16示出存储介质的示例。

具体实施方式

以下参照附图描述本发明的一个优选实施例。

本优选实施例中的编码设备通过基于输入视频信号的复杂度自适应修改经过分辨率转换的亮度或色度来提高其编码处理性能。

本优选实施例中的解码设备基于附于编码信号等的信息确定经过分辨率转换的亮度或色度，并且对编码数据进行解码。

例如，在编码设备中，添加用于在编码设备的前级减少/转换亮度而非色度并且保持色度的分辨率的功能。添加用于分析要进行编码的输入信号的亮度/色度分量中的每一个分量的复杂度的功能，以及用于基于来自分析单元的统计信息确定是减少亮度分量还是色度分量的功能。

在解码设备中，添加用于确定哪个信号分量(色度分量或者亮度分量)减少以及在解码处理或解码处理的后处理时扩展色度/亮度信号之一的功能。关于哪个信号分量(色度信号或者亮度信号)减少的信息可以被复用在要进行编码的信号的比特流中。或者，该信息可以通过在编码/解码设备中执行相同处理隐式确定。

因此，如果期望成份亮度编码，则可以如以往那样减少色度信号，而如果期望成份色度编码，则可以减少亮度而不是色度。

图4示出本优选实施例中编码设备1b的配置示例。在图4中，相同的标号用于与图2所示编码设备1a中的部件相同的部件。

图4所示的编码设备1b与图2所示的编码设备1a相比较时，在图4所示的编码设备1b中，新提供了亮度复杂度计算单元41、色度复杂度计算单元42和编码控制单元43，并且提供减少/转换单元44，而不是色度减少/转换单元44。

亮度复杂度计算单元41计算输入视频信号中的亮度的复杂度。色度复杂度计算单元42计算输入视频信号中的色度的复杂度。

以下示出关于如何计算所述复杂度的计算公式的一个示例。

如果设画面内部像素值和画面内部像素数量为xi和N，则平均画面内部像素值μ表示如下：

μ = Σ_{i = 0}^{N - 1} (xi / N)

在这种情况下，如果相对平均画面内部像素值μ的平方微分误差S定义如下，则可以如下计算画面内部像素分布σ²和标准偏差σ。

S = Σ_{i = 0}^{N - 1} {(xi - μ)}^{2}

σ²＝S/(N-1)

σ = \sqrt{S / (N - 1)} . . . (1)

亮度复杂度计算单元41使用公式(1)计算亮度的分布值σY，并且将其输入到编码控制单元43。色度复杂度计算单元42使用公式(1)计算色度的分布值σCb和σCr，并且将它们输入到编码控制单元43。

编码控制单元43包括减少确定单元45、画面格式确定单元46、图像读取单元47、预测类型确定单元48和量化控制单元49。

减少确定单元45基于从亮度复杂度计算单元41输入的分布值σY、从色度复杂度计算单元42输入的σCb和σCr，确定在输入视频信号中是亮度复杂度较大还是色度复杂度较大。为了防止确定结果频繁改变，并非简单地比较σY与σCb+σCr，而是将色度分布值加上偏移α并将σY与σCb+σCr+α进行比较。画面格式确定单元46基于减少确定单元45的确定结果确定是减少视频信号的亮度还是色度，并指示减少/转换单元44进行该操作。图像读取单元47控制从帧存储器12读取的块。预测类型确定单元48基于如何进行预测(例如执行帧内预测还是帧间预测，在帧间预测中还执行帧预测还是执行场预测等等)来控制运算计算器15和21。基于压缩比，量化控制单元49控制量化单元17的量化粗糙度。

减少/转换单元44根据画面格式确定单元46的控制指令将输入视频信号转换成色度减少的格式信号或者亮度减少的格式信号。

在具有如此配置的编码设备1b中，当输入视频信号时，计算输入视频信号的亮度分量和色度分量中的每一个分量的复杂度。如果亮度的复杂度小，则减少亮度。如果色度的复杂度小，则减少色度。于是，在执行视频信号的这种格式转换之后，视频信号得以压缩和减少。

接下来，描述本优选实施例中的编码设备1b的操作过程。

首先，为了进行比较，描述传统编码设备1a的操作过程。

图5是示出传统编码设备1a在对输入视频信号进行编码时的操作过程的流程图。

在图5所示过程开始时，首先，在步骤S0中，编码设备1a通过色度减少/转换单元11减少视频信号的色度分量。然后，在步骤S1中，色度减少的格式信号被转换成例如4:2:0格式信号，并且被存储在帧存储器12中。

其后，将MB计数器值j设置为0(步骤S2)。在此之后，针对每个MB，对帧存储器12中的视频信号进行编码。

在本编码处理中，首先，读取原始图像MB 22及其参考块23，并在步骤S3中，由运动矢量探测单元12针对每个MB探测运动矢量。其后，在步骤S4中，由运动预测单元14使用步骤S3中探测到的运动矢量进行运动预测。

其后，在步骤S5中，将该块的计数器值i设置为0。其后，在步骤S6中，使用步骤S5中的运动预测的结果对块进行处理。这种块处理包括正交变换、量化、可变长度编码、逆量化和逆正交变换。这种块处理还包括MB类型确定等等，通过MB类型确定，确定以什么模式对MB进行编码。

在4:2:0格式信号的情况下，如图1所示，一个MB包括六个块Y0、Y1、Y2、Y3、Cb和Cr。在步骤S7中，在递增块计数器值I的同时(步骤S8中为“是”)，对所有这六个块进行块处理。在对所有块的块处理完成之后(步骤S8中为“否”)，在步骤9中，MB的计数器值j加1。如果计数器值j尚未达到MB的总数(步骤S10中为“是”)，则重复进行步骤S4至步骤S10中的上述处理。如果计数器值j已达到MB的总数(步骤S10中为“否”)并且所有MB的处理完成，则处理结束。

接下来，描述本优选实施例中的编码设备1b的操作过程。

与图5所示的处理相比时，图6所示的处理包括用于确定关于减少/转换亮度还是减少/转换色度的信息的处理。

当图6所示的处理开始时，首先，在步骤S11中，使用公式(1)计算分别指示输入视频信号的亮度分量和色度分量的复杂度的分布值σY以及σCb和σCr。

其后，在步骤S12中，由编码控制单元43的减少确定单元45将步骤S11中计算出的亮度的分布值σY与色度的分布值σCb和σCr进行比较，并且确定减少哪个(亮度还是色度)影响较小，具体是亮度的分布值σY较小还是色度的分布值σCb和σCr较小。结果，如果确定应该减少色度(步骤S12中为色度)，则在步骤S13中，画面格式确定单元46减少视频信号的色度并生成4:2:0格式信号(步骤S14)。

如果在步骤S12中确定应该减少亮度(步骤S12中为亮度)，则在步骤S15中，画面格式确定单元46减少视频信号的亮度并生成亮度减少的格式信号(步骤S16)。在以下描述中，亮度减少的这种格式信号被称为2:2:2格式信号。新定义的这种2:2:2格式信号在当前视频信号中不存在。

图7示出2:2:2格式MB的示例。

如图7所示，在2:2:2格式MB中，亮度仅具有两个块Y0和Y1，并且数量是原始4:2:2格式信号的一半。色度具有四个块Cb0、Cb1、Cr0和Cr1，并且数量与原始4:2:2格式信号相同。

由于在这种2:2:2格式信号中色度保持不变而仅仅减少亮度，所以即使该格式用于受色度信号影响极大的图像时，信息量减少的影响也小。

当在步骤S14中生成4:2:0格式信号时，在图6所示步骤S17及其后的处理与图5所示步骤S2及其后的处理相同。

当在步骤S16中生成2:2:2格式信号时，也针对每个MB执行编码处理。

如图7所示，2:2:2格式信号的每个MB包括六个块Y0、Y1、Cb0、Cb1、Cr0和Cr1，并且针对每个MB，对这六个块进行运动矢量探测(步骤S18)以及利用由运动矢量探测获得的运动矢量进行的运动估计(步骤S19)。其后，对MB的每个块进行块处理(步骤S21)。这些处理几乎与图5所示步骤S2至步骤S10中的处理相同。

如上所述，在本优选实施例的编码设备1b中，在压缩处理的前级，可以计算输入视频信号的亮度分量和色度分量的复杂度，并且可以减少具有较小影响的信息。

因此，虽然传统编码设备总是仅削减输入视频信号的色度分量并对其进行编码，但是当确定色度分量对图像影响很大时，本优选实施例中的编码设备通过提供用于削减亮度分量而不是色度分量的机制，可以简练地提高在对于色度分量方面编码劣化显著的情形下的编码效率。

虽然在以上示例中要么削减亮度分量，要么削减色度分量，但是本优选实施例中的编码设备1b并非仅限于此。当仅仅特别希望强调全部色度中的Cr信号分量(红色色度分量)等等时，可替选地，通过修改每个信号分量的减少/扩展比例，例如，在水平/垂直方向中的每个方向上将Y减少到1/2，在垂直方向上将Cb减少到1/2以将其转换为1:1:4信号格式，以及将Cr扩展为两倍等等，可以在保持处理块数量的同时执行编码。

接下来，描述本优选实施例中的解码设备。

图8示出本优选实施例中的解码设备2b的配置示例。在图8中，相同标号用于与图3所示的传统解码设备2a的部件相同的部件。

将图8所示的解码设备2b与图3所示的解码设备2a相比较时，在解码设备2b中，新提供了参考帧转换读取单元51和图像转换规格单元52，并且提供扩展/转换单元53而不是色度扩展/转换单元37。

参考帧转换读取单元51基于来自图像转换规格单元52的关于信号格式的通知将运动补偿单元34的参考帧的格式转换成与解码后画面的编码格式相同的格式，并且控制运动补偿单元34执行运动补偿处理。

图像转换规格单元52提取复用在输入比特流中的choroma_format或mb_format(稍后描述)，存储待存储在帧存储器36中的若干分钟画面的编码格式信息，并且不时地将这些通知给参考帧转换读取单元51、帧存储器36和扩展/转换单元53。

在具有如此配置的解码设备2b中，当输入要解码的比特流时，可变长度码被转换成量化值，于是通过对其进行逆量化和逆变换获得差值。运动补偿单元34使用比特流中复用的运动矢量(MV)对其进行解码。在这种情况下，运动补偿保证单元34基于来自图像转换规格单元52的格式规格计算参考帧。扩展/转换单元53执行扩展处理，以基于来自图像转换规格单元52的格式规格还原在编码处理的前级所执行的格式转换，并且将其作为视频信号发送。

因此，本优选实施例中其色度或亮度分量被编码设备1b减少/编码的比特流也可以由解码设备2b进行解码。

接下来，描述本优选实施例中的解码设备2b的操作过程。

首先，为了进行比较，描述传统解码设备2a的操作过程。

图9是示出传统解码设备2a的操作过程的流程图。

在图9中，当处理开始时，首先，在步骤S31中，将MB的计数器值j设置为0以将其清零。

其后，在步骤S33中，使块的计数器值i递增，并且对与计数器值i对应的块进行块处理。在该块处理中，作为可变长度码的比特流被转换成量化值，并且对其进行转换、逆量化和逆变换处理。于是，在递增块的计数器值i的同时(步骤34)对一个MB的数据进行步骤S33中的处理(步骤S35中为“是”)。

于是，在对于一个MB的块处理完成之后(步骤S35中为“否”)，运动补偿单元34针对每个MB执行运动补偿(步骤S36)。

其后，当在步骤S37中递增MB的计数器值j时，执行步骤S32至步骤S38中的处理。在所有MB的处理完成之后(步骤S38中为“否”)，在步骤S39中，扩展色度分量并生成4:2:2格式信号。其后，处理结束。

如上所述，在传统解码设备2a中，最终，所生成的4:2:0格式视频信号被转换成4:2:2格式信号。

接下来，描述本优选实施例中的解码设备2b的操作过程。

图10是示出在本优选实施例中解码设备2b的操作过程的流程图。

在本优选实施例的解码设备2b中，虽然一直到该过程中通过解码生成一个画面的部分与传统设备中的相同，但是解码设备2b与传统设备不同，不同之处在于待在解码的后处理中进行扩展的信号分量自适应不同。

更具体地说，除了因为参考帧随信号格式而变化所以必须向运动补偿单元34报告参考帧之外，直到在步骤S43针对每个块执行块处理之后针对每个MB执行运动补偿的如图10所示步骤S41至步骤S48中的处理基本上与图9所示的传统解码设备2a的步骤S31至步骤S38中的处理相同。

在本优选实施例的解码设备2b中，关于步骤S48及其之后的处理，在步骤S49中，扩展/转换单元53基于比特流中复用的chroma_format或mb_format识别在直到步骤S48中被解码的信号的格式，并且确定该格式是通过减少色度信号分量还是亮度分量获得的。

如果在步骤S49中确定色度分量减少了(在步骤S49中为色度)，则在步骤S50中，扩展色度分量并生成/输出4:2:2格式信号。其后，处理结束。如果在步骤S49中确定亮度分量减少了(在步骤S49中为亮度)，则在步骤S51中，扩展亮度分量并生成/输出4:2:2格式信号。其后，处理结束。

还可以通过在编码信息上叠加/发送指示格式类型(chroma_format或mb_format)的信息作为画面头部的一个分量，确定扩展/转换单元53扩展色度分量还是亮度分量，如上述示例中那样。可替选地，通过预先在解码设备2b中设置信息作为统计信息并且在编码侧和解码侧都执行相同的计算，可以隐式确定扩展/转换单元53扩展色度分量还是亮度分量，而无需附加该信息。

接下来，描述格式类型的修改单位。

已知在组成压缩视频的画面(＝1场或1帧)中，存在三种类型：I画面(画面内部)、P画面(预测画面)和B画面(双向预测画面)。

I画面是参考画面，对其仅进行空间压缩而不进行时间压缩，并且其压缩比低。对于P画面，除了进行空间压缩之外，还进行时间压缩，其中时间压缩仅在时间轴前向方向上预测进行，并基于与I画面的差。对于B画面，除了进行空间压缩之外，还使用与前、后帧的差进行双向预测压缩。因此，B画面的压缩比高于P画面的压缩比。

在压缩码中，这些画面不是独立的，并且压缩/扩展是对作为视频的最小组成单位的每组多个画面(被称为GOP(画面组))进行的。

在本优选实施例的编码设备1b中，编码是针对每个GOP进行的，并且在编码的前级执行的信号格式切换也是针对每个GOP进行的。

图11示出画面组的结构。

图11示出GOP的示例，其中，在用于参考的一个I画面或P画面之后连续出现两个B画面。

通过如此限制以通过切换信号格式减少每个GOP的色度分量或亮度分量，在编码设备1b和解码设备2b二者中，可以利用相同的分辨率执行运动预测和压缩，并且它们的配置变得容易。

在图11中，B0画面和B1画面参考I2画面，B3画面和B4画面参考I2画面和P5画面，P5画面参考I2画面，B6画面和B7画面参考P5画面和P8画面，P8画面参考P5画面，B9画面和B10画面参考P8画面和P11画面，P11画面参考P8画面，B12画面和B13画面参考P11画面和P14画面，并且P14画面参考P11画面。

因此，由于必须预先处理供参考的画面，所以在图11中按照I2、B0、B1、P5、B3、B4、P8、B6、B7、P11、B9、B10、P14、B12和B13的顺序处理画面。

或者，可以针对每个画面而不是针对每个GOP切换信号格式。

在本优选实施例中，用于将其实际存储在帧存储器中的最小单位为画面(＝1场或1帧)。因此，当针对每个画面执行切换时，可以实现更加精细的控制。

在该配置中，有可能运动预测原始图像与参考图像在分辨率方面不同，因此必须将其考虑在内。

当针对每个画面进行格式类型修改时，亮度分量减少的目标画面仅仅是作为非参考画面的B画面。I画面和P画面被转换成4:2:0格式信号。

因此，即使在针对每个画面对分辨率改变的信号分量进行切换时，也可以减少由于原始图像与参考图像之间的差而导致的影响。

由于运动预测中未被参考的B画面即使在其准确度降低时在时间方向上也不扩散编码噪声，所以准确度降低的编码可以例如通过利用运动矢量的简单转换而将其替换的方法等等而应用于B画面。

此外，在另一优选实施例中，当针对每个画面切换格式时，为了消除原始图像与参考图像之间的分辨率差的影响，在待编码的任何画面中，也可以在色度分量与亮度分量之间以及在原始图像与参考图像之间匹配分辨率。

在该配置中，可以通过将指示每个画面的格式的信息(例如减少色度分量还是减少亮度分量，等等)附到每个画面作为每个画面的头部信息并且在编码处理时存储该信息来实现。

更具体地，在B画面的情况下，即使原始图像、前向参考图像和后向参考图像中的每一个的要减少的信号分量不同时，例如通过将整个画面的分辨率修改为要编码的当前画面的分辨率，读取并根据该分辨率对其进行编码，可以以较小的准确度损失进行编码。

图12示出本优选实施例中Sequence_extension信息的示例，其中Sequence_extension信息附于由编码设备所编码的比特流的每个GOP。

Sequence_extension信息包括chroma_format信息61，并且chroma_format信息61存储指示相应GOP中的画面的格式的信息。

图13示出chroma_format信息61的示例结构。

在图13A示出结构中，chroma_format信息61为两比特，并且该结构示出如果chroma_format信息61是“00”，则相应GOP的画面的格式是2:2:2，而如果是“01”，则相应GOP的画面的格式是4:2:0。

在图13B示出的结构中，chroma_format信息61为三比特，以防止当“0”连续出现时将其识别为“起始码”。

图13B示出当chroma_format信息61是“100”时，相应GOP的画面的格式是2:2:2，而当该信息是“001”时，相应GOP的画面的格式是4:2:0。

当在编码的前级针对每个GOP切换信号格式时，在解码设备2b中，通过参照该chroma_format信息61可以获知编码比特流的格式。

图14A示出本优选实施例中picture_coding_extension信息的示例，该信息附于由编码设备所编码的每个比特流。

mb_format信息71新附于picture_coding_extension信息，并且该mb_format信息71包括指示其对应画面的格式的信息。

图14B示出mb_format信息71的示例。

在图14B中，mb_format信息71是一个比特，并且图14B示出如果该比特是“0”，则其对应画面的格式被转换成2:2:2。如果该比特是“1”，则基于图13所示的sequence_extension信息中的chroma_format信息61确定其对应画面的格式。

当在编码的前级针对每个画面切换信号格式时，在解码设备2b中，通过参考该mb_format信息71可以获知编码比特流的格式。

本优选实施例中的编码设备1b和解码设备2b不仅由图4和图8所示的硬件来配置，而且还可以通过执行信息处理设备中的程序由软件实现。

图15示出实现本优选实施例中的编码设备1b和解码设备2b的信息处理设备的***环境。

图15所示的信息处理设备包括CPU 81、主存储设备82(例如RAM等等)、辅助存储设备83(例如硬盘等等)、输入/输出设备(I/O)84(例如显示器、键盘、指示设备等等)、网络连接设备85(例如通信接口、调制解调器等等)以及用于从便携式存储介质(例如盘、磁带等等)读取存储内容的介质读取设备，这些通过总线88彼此连接。这些部件经由总线88彼此交换数据。

CPU 81使用主存储设备作为工作存储器，通过执行辅助存储设备83中的程序以及经由网络连接设备85安装的程序，实现图4和图9所示的编码设备1b和解码设备2b的每个部件的功能以及图6和图10所示的流程图的处理。

在图15所示的信息处理设备中，介质读取设备86读取存储介质87(例如磁带、软盘、CR-ROM、MO、DVD等等)中存储的程序和数据，并且经由外部接口将它们加载到本优选实施例中的信息处理设备上。于是，程序和数据被存储在主存储设备82和辅助存储设备83中，并且通过由CPU 81使用该数据执行该程序，上述流程图的处理得以通过软件实现。

在图15所示的信息处理设备中，有时使用存储介质87(例如CD-ROM等等)交换应用软件。因此，本发明不限于编码设备、解码设备、编码方法、解码方法以及程序，并且当由计算机使用时，本发明还可以构成为计算机可读存储介质87或用于使得计算机能够实现本发明的本优选实施例中的上述功能的程序。

在这种情况下，如图16所示，“存储介质”包括：可与介质驱动设备97分离/附接的便携式存储介质96，例如CD-ROM、软盘(或MO、DVD、存储器卡、可移动盘等等)；经由网络线路93连接的外部设备(数据库等等)中的存储单元92；以及信息处理设备91中的主体94中的存储器(RAM、硬盘等等)95等等。在便携式存储介质96和存储单元(数据库等等)92中存储的程序被加载到存储器(RAM、硬盘等等)95上并执行。

对于上述存储介质(例如CD-ROM、DVD-ROM等等)，除上述示例之外，还使用采用蓝光激光器的下一代光盘存储介质(例如Blu-ray Disc(商标)、AOD(先进光盘)等等)、使用红光激光器的HD-DVD9、使用蓝/紫光激光器的蓝光DVD、全息图等等。本发明还可以使用未来开发的各种这样的大容量存储介质来实现。

如上所述，根据本优选实施例中的编码设备，由于当通过削减输入视频信号的亮度或色度分量来转换格式时以及转换其分辨率时，计算亮度分量和色度分量的复杂度，并且基于复杂度对格式进行转换，所以可以更简练地提高色度分量的编码劣化显著的情形下的编码效率。

虽然在上述示例中要么削减亮度分量要么削减色度分量，但是如果不是希望强调全部色度分量，更具体地，仅仅希望强调Cr信号分量(红色色度分量)等等，则通过修改每个信号分量的压缩/扩展比例，例如，通过在Y∶Cb∶Cr＝4∶2∶2的信号中在水平/垂直方向中的每个方向上将Y减少到1/2，在垂直方向上将Cb减少到1/2以及以此将将Cr扩展为两倍，如1:1:4信号中那样等等，可以在保持处理块数量不变的同时执行编码。

在4:2:0格式的情况以及2:2:2格式的情况下，由本优选实施例中的编码设备1b所编码的数据的块的数量相同，并且它们的处理量也相同。

根据本优选实施例中的解码设备2b，可以对由编码设备1b编码的信号进行解码。

Claims

1.一种用于对于输入视频信号进行压缩和编码的编码设备，包括：

减少/转换单元，其用于根据所述输入视频信号的特性转换亮度或色度的格式；以及

编码单元，其用于对格式经所述减少/转换单元转换的所述输入视频信号进行压缩/编码。

2.根据权利要求1所述的编码设备，在所述减少/转换单元的前级还包括：

亮度复杂度计算单元，其用于计算所述输入视频信号中的亮度分量的复杂度；

色度复杂度计算单元，其用于计算所述输入视频信号中的色度分量的复杂度，其中，

所述减少/转换单元基于分别由所述亮度复杂度计算单元和所述色度复杂度计算单元计算出的亮度分量和色度分量的复杂度，转换所述输入视频信号的格式。

3.根据权利要求2所述的编码设备，其中，

当亮度分量的复杂度较小时，所述压缩/转换单元将所述输入视频信号的格式转换成亮度分量减少的格式，

当色度分量的复杂度较小时，所述压缩/转换单元将所述输入视频信号的格式转换成色度分量减少的格式。

4.根据权利要求3所述的编码设备，其中，

亮度分量减少的格式的块的数量与色度分量减少的格式的块的数量相同。

5.根据权利要求3所述的编码设备，其中，

亮度分量减少的格式是仅所述亮度分量的分辨率被减少一半的格式，并且，

色度分量减少的格式是4:2:0格式。

6.根据权利要求1所述的编码设备，其中，

所述减少/转换单元针对所述输入视频信号的每个画面组转换所述格式。

7.根据权利要求1所述的编码设备，其中，

所述减少/转换单元针对所述输入视频信号的每个画面转换所述格式。

8.根据权利要求1所述的编码设备，其中，

所述减少/转换单元基于所述复杂度仅对B画面进行格式的切换。

9.根据权利要求1所述的编码设备，其中，

所述减少/转换单元以使得所述输入视频信号的参考源帧的格式与参考目的帧的格式能够变为相同的方式转换格式。

10.根据权利要求2所述的编码设备，其中，

在假设所述输入视频信号的画面内部像素值和画面内部像素的数量分别是xi和N的情况下，所述亮度复杂度计算单元和所述色度复杂度计算单元基于标准偏差σ计算亮度分量的复杂度和色度分量的复杂度，其中所述标准偏差σ是在平均画面内部值μ、相对所述平均画面内部值μ的平方微分误差S定义如下时获得的：

μ = Σ_{i = 0}^{N - 1} (xi / N)

S = Σ_{i = 0}^{N - 1} {(xi - μ)}^{2}

σ = \sqrt{S / (N - 1)} .

11.一种用于对输入编码信号进行解码的解码设备，包括：

图像转换规格单元，其用于计算在编码时执行的格式转换的类型；

解码单元，其用于基于来自所述图像转换规格单元的格式转换的类型对所述编码信号进行解码；以及

扩展/转换单元，其用于基于来自所述图像转换规格单元的格式转换的类型转换由所述解码单元解码的信号的格式。

12.根据权利要求11所述的解码设备，其中，

所述图像转换规格单元基于预设值计算格式转换的类型。

13.根据权利要求11所述的解码设备，其中，

所述图像转换规格单元基于附于所述编码信号的每个画面组的信息计算格式转换的类型。

14.根据权利要求11所述的解码设备，其中，

所述图像转换规格单元基于附于所述编码信号的每个画面的信息计算格式转换的类型。

15.一种用于对输入视频信号进行压缩/编码的编码方法，包括：

根据所述输入视频信号的特性转换亮度格式或者色度格式；以及

对格式经转换的视频信号进行压缩/编码以生成编码数据。

16.根据权利要求15所述的编码方法，在格式转换之前还包括：

计算所述输入视频信号中的亮度分量的复杂度和所述输入视频信号中的色度分量的复杂度；以及

基于亮度分量或色度分量的复杂度转换输入视频信号的格式。

17.一种用于对输入编码信号进行解码的解码方法，包括：

计算在编码时执行的格式转换的类型；

基于所计算的格式转换的类型对所述编码信号进行解码；以及

基于所计算的格式转换的类型转换经解码信号的格式。

18.一种存储介质，其上记录有程序，当所述程序由用于对输入视频信号进行压缩/编码的信息处理设备执行时，所述程序使得所述信息处理设备能够执行处理，所述处理包括：

计算所述输入视频信号中的亮度分量的复杂度；

计算所述输入视频信号中的色度分量的复杂度；

基于亮度分量和色度分量的复杂度转换所述输入视频信号的格式；以及

对转换后的视频信号进行压缩/编码以生成编码数据。

19.一种存储介质，其上记录有程序，当所述程序由用于对输入编码信号进行解码的信息处理设备执行时，所述程序使得所述信息处理设备能够执行处理，所述处理包括：

计算在编码时执行的格式转换的类型；

基于所计算的格式转换的类型转换经解码信号的格式。