CN101771876A - 编码设备、编码方法、记录介质和图像处理装置 - Google Patents

Abstract

提供了编码设备、编码方法、记录介质和图像处理装置。一种编码设备包括：色差信号编码单元，用来在多个色差信号编码模式下对每个处理块的色差信号进行编码，以产生多个色差信号位流；色差模式选择单元，用来从所述多种色差信号编码模式中选择色差信号编码模式；亮度信号编码单元，用于通过从固定代码数量中减去被编码的色差信号位流的代码数量，计算出亮度目标代码数量，并对度亮度信号进行编码，以产生亮度信号位流；色差重新选择单元，用来选择与色差信号位流相对应的色差信号编码模式，其中，该色差信号位流具有不大于所述固定代码数量的代码数量、以及关于色差信号的较小恶化；以及多路复用单元，用于将亮度信号位流和被编码的色差信号位流进行多路复用，以产生位流。

Description

编码设备、编码方法、记录介质和图像处理装置

技术领域

本发明涉及编码设备、编码方法、记录介质和图像处理装置，并且优选地应用到例如编码器等的图像处理装置中，所述图像处理装置根据例如MPEG(动态图像专家组)等编码方法对图像数据进行编码。

背景技术

迄今为止，以下技术已被广泛应用：将要被记录的或者分发(distribute)的图像数据通过编码器编码，并在对其图像进行显示时，通过解码器对其进行解码。近年来，图像数据的提高的分辨率和提高的帧频导致了这些图像数据的信息量的增大。因此，对于图像处理装置来说，必须在一定时间段内处理大量的图像数据，而不管包括在图像处理装置中的例如存储器、计算能力等等受限的资源。

在使得图像数据经受某种图像处理的情况下，例如图1所示，图像处理装置R1在存储器4中临时性地存储提供给该处理装置R1的图像数据BL。接着，图像处理单元2从存储器4中与图像处理定时同步地读出所需要的图像数据BL，从而，使得图像数据经受图像处理。

然而，注意，图像处理装置R1在存储器4中以一定增量(increment)(例如，对于每张画面)来存储图像数据BL，因此，即使在只利用画面内的部分数据的情况下，也必须从存储器4中读出整个画面的信息。通常，图像数据的数据量是非常大的，因此，图像处理装置R1必须具有如存储器4那样的非常大的存储容量，并且还必须保证宽的总线带宽。结果，对于图像处理装置R1，***的尺寸加大了，而成本难以降低。

因此，已经提出了如下方法：将图像数据BL存储在存储器4中，通过编码处理而减少图像数据BL的数据量。(例如日本专利第3918263号)

对于日本专利第3918263号中描述的图像处理装置1S，如图2所示，图像数据BL临时性地被编码，并在其数据量得到减少的状态下被存储在存储器4中。此时，图像处理装置1S通过将图像数据分成很小的块增量而对图像数据进行编码，并将它们存储在存储器4中。

接下来，如图3所示，图像处理装置1S以块增量从存储器4中读出经编码的图像数据BL，并且还对经编码的图像数据BL进行解码，并通过图像处理单元2使得此图像数据BL经受图像处理。

具体地，例如图4A和4B所示，图像处理装置1S通过DPCM(差分脉冲编码调制)电路10执行编码。DPCM电路10通过获取相邻的像素值之间的差值，将例如由8位组成的像素值量化为6位。此时，第一个像素仍具有8位，这是因为没有产生差值。

因此，例如，图像处理装置1S能够将以具有5个由8位组成的像素(即，40位)的块为增量的数据减少至一共32位，其是数据量的4/5。也就是说，通过图像处理装置1S，以很小的块的增量，对图像数据BL进行编码，并将其存储在存储器4中，由此，能够执行对存储器4的任意访问(access)，并且可以减小总线频带。而且，对于图像处理装置1S，根据通过编码减少了数据量，可减小存储器4的存储容量。并且，DPCM处理是简单的编码处理，因此，不会削弱存储器存取效率。

发明内容

顺便提及，对于如此配置的图像处理装置1S，执行根据DPCM处理的编码。此DPCM处理是简单的编码处理，因此，已经存在从存储器4读出的、并被解码的图像数据BL显著恶化的可能性。也就是说，在日本专利第3918263号中描述的方法采用简单的处理，可对于作为小的块增量的每个处理块，对图像数据进行编码，但是该方法包括的问题在于会导致图像数据恶化。

已经发现期望提供一种编码设备、编码方法、记录介质和图像处理装置，由此，利用简单的处理为每个小处理块而对图像数据进行编码，而且还防止这些图像数据的恶化。

根据本发明的实施例，一种编码设备包括：色差信号编码单元，其被配置用于在多个色差信号编码模式下对每个处理块的色差信号进行编码，以产生多个色差信号位流(bit stream)；色差模式选择单元，其被配置用于从所述多个色差信号编码模式中，选择一个色差信号编码模式作为所选择的色差模式；亮度信号编码单元，其被配置用于根据从固定代码数量(code amount)中减去根据由色差模式选择单元选择的所选择的色差模式进行编码的色差信号位流的代码数量而得到的减法值，计算出亮度目标代码数量，并对每个处理块的亮度信号进行编码，以便等于或者小于该亮度目标代码数量，以产生亮度信号位流；色差重新选择单元，其被配置用于选择与所述色差信号位流相对应的色差信号编码模式作为重新选择的色差模式，其中，该色差信号位流与所述亮度信号位流的代码数量的总代码数量等于或者小于所述固定代码数量，并且关于所述色差信号的恶化较小；以及多路复用单元，其被配置用于将所述亮度信号位流和采用所述所重新选择的色差模式进行编码的色差信号位流进行多路复用，以产生由具有所述固定代码数量的码块组成的位流。

因此，依据所述编码设备，可利用这样的色差信号位流来产生位流，即，在该色差信号位流中，对于实际使用的亮度信号位流的代码数量和色差信号位流的代码数量等于或者小于固定代码数量的范围，图像质量不会最大程度地恶化。

另外，根据本发明的实施例，一种编码方法包括以下步骤：在多种色差信号编码模式中对每个处理块的色差信号进行编码，以产生多个色差信号位流；第一选择，即，从所述多个色差信号编码模式中选择一个色差信号编码模式，作为所选择的色差模式；通过从固定代码数量中减去由在所述第一选择中选择的所选择的色差模式进行编码的色差信号位流的代码数量，计算亮度目标代码数量，并对所述每个处理块的亮度信号进行编码，以便等于或者小于该亮度目标代码数量，以产生亮度信号位流；第二选择，即，选择与所述色差信号位流相对应的色差信号编码模式，作为重新选择的色差模式，其中，该色差信号位流与所述亮度信号位流的代码数量的总代码数量等于或者小于所述固定代码数量，并且，关于所述色差信号的恶化较小；以及，将所述亮度信号位流和采用所述重新选择的色差模式进行编码的色差信号位流进行多路复用，以产生由具有所述固定代码数量的码块组成的位流。

因此，依据所述编码方法，可利用这样的色差信号位流来产生位流，即，在该色差信号位流中，对于实际使用的亮度信号位流的代码数量和色差信号位流的代码数量等于或者小于固定代码数量的范围，图像质量不会最大程度地恶化。

另外，根据本发明的实施例，一种记录介质存储使得计算机执行以下步骤的程序：在多个色差信号编码模式下对每个处理块的色差信号进行编码，以产生多个色差信号位流；第一选择，即，从所述多个色差信号编码模式中选择色差信号编码模式，作为所选择的色差模式；通过从固定代码数量中减去由在所述第一选择中选择的所选择的色差模式编码的色差信号位流的代码数量，计算出亮度目标代码数量，并对每个处理块的亮度信号进行编码，以便等于或者小于该亮度目标代码数量，以产生亮度信号位流；第二选择，选择与所述色差信号位流相对应的色差信号编码模式，作为重新选择的色差模式，其中，该色差信号位流与所述亮度信号位流的代码数量的总代码数量等于或者小于所述固定代码数量，并且，关于所述色差信号的恶化较小；以及，将所述亮度信号位流和采用所述重新选择的色差模式进行编码的色差信号位流进行多路复用，以产生由具有所述固定代码数量的码块组成的位流。

因此，依据所述存储在该记录介质中的程序，可以使得计算机进行处理以使得利用这样的色差信号位流来产生位流，即，在该色差信号位流中，对于实际使用的亮度信号位流的代码数量和色差信号位流的代码数量等于或者小于固定代码数量的范围，图像质量不会最大程度地恶化。

另外，根据本发明的实施例，一种图像处理装置包括：信号分离单元，被配置为将图像数据分离为色差信号和亮度信号；编码设备，包含：色差信号编码单元，其被配置用于在多个色差信号编码模式中对每个处理块的色差信号进行编码，以产生多个色差信号位流，色差模式选择单元，其被配置用于从所述多个色差信号编码模式中选择色差信号编码模式作为所选择的色差模式，亮度信号编码单元，其被配置用于通过从固定代码数量中减去采用由所述色差模式选择单元选择的所选择的色差模式进行编码的色差信号位流的代码数量，计算亮度目标代码数量，并对所述每个处理块的亮度信号进行编码，以便等于或者小于该亮度目标代码数量，以产生亮度信号位流，色差模式重新选择单元，其被配置用于选择与所述色差信号位流相对应的色差信号编码模式作为重新选择的色差模式，其中，该色差信号位流与所述亮度信号位流的代码数量的总代码数量等于或者小于所述固定代码数量，并且所述色差信号的恶化较小，以及多路复用单元，其被配置用于将所述亮度信号位流和采用所述重新选择的色差模式进行编码的色差信号位流进行多路复用，以产生由具有所述固定代码数量的码块组成的位流；存储器，其被配置用于存储所述每个码块的所述位流；解码单元，其被配置用于从所述存储器中为所述每个码块读取并解码所述位流，以产生所述图像数据；以及图像处理单元，其被配置用于对由所述解码单元解码的图像数据进行处理。

因此，依据所述图像处理装置，可以将利用如下这样的色差信号位流产生的位流存储于该存储器中，即，在该色差信号位流中，对于实际使用的亮度信号位流的代码数量和色差信号位流的代码数量等于或者小于固定代码数量的范围，图像质量不会最大程度地恶化。

根据以上配置，可利用这样的色差信号位流来产生位流，即，在该色差信号位流中，对于实际使用的亮度信号位流的代码数量和色差信号位流的代码数量等于或者小于固定代码数量的范围，图像质量不会最大程度地恶化。因此，本发明可实现一种编码设备、编码方法、记录介质和图像处理装置，由此，采用简单的处理可对于每个小的处理块而编码图像数据，并且还防止该图像数据的恶化。

附图说明

图1是图示现有的图像处理装置的配置示例的示意图；

图2是图示现有的图像处理装置的另一配置示例的示意图；

图3是用于描述以块为增量的DPCM处理的示意图；

图4A和图4B是用于描述DPCM处理的示意图；

图5是图示根据本实施例的图像处理装置的整体配置的示意图；

图6是图示图像数据临时存储处理程序的流程图；

图7是图示现有的码块的配置的示意图；

图8是图示编码单元的配置的示意图；

图9是图示编码处理程序的流程图；

图10是图示信号分析单元的配置的示意图；

图11是用于描述差值计算的示意图；

图12是用于描述编码难度水平确定处理程序的流程图；

图13是图示颜色指定区域(color specification region)的示意图；

图14是用于描述特定颜色块确定处理程序的流程图；

图15是图示色差信号编码单元的配置的示意图；

图16是图示色差高压缩处理单元和色差低压缩处理单元的配置的示意图；

图17A至17E是图示非线性表的示意图；

图18是用于描述色差信号编码处理程序的流程图；

图19是用于描述色差信号压缩处理程序的流程图；

图20是用于描述在色差信号编码单元中的量化模式选择处理程序的流程图；

图21是用于描述非线性量化处理程序的流程图；

图22是用于描述线性量化处理程序的流程图；

图23是用于描述非线性逆量化处理程序的流程图；

图24是用于描述线性逆量化处理程序的流程图；

图25是用于描述色差信号编码模式选择处理程序的流程图；

图26是图示亮度信号编码单元的配置的示意图；

图27是图示亮度高压缩处理单元和亮度低压缩处理单元的配置的示意图；

图28是图示后量化单元的配置示意图；

图29是用于描述DWT变换处理的示意图；

图30是图示位平面(bit plane)的配置的示意图；

图31是图示零位平面的示意图；

图32是图示SIG位平面的示意图；

图33是图示零位平面的重要性的示意图；

图34是用于描述丢弃位平面的示意图；

图35是用于描述增加位的示意图；

图36是用于描述IDWT变换处理的示意图；

图37是图示亮度信号编码模式选择单元的配置的示意图；

图38是用于描述亮度信号编码处理程序的流程图；

图39是用于描述在亮度信号编码单元中的量化模式选择处理程序的流程图；

图40是用于描述后量化处理程序的流程图；

图41是用于描述亮度信号编码模式选择处理程序的流程图；

图42是图示色差信号编码模式重新选择单元的配置的示意图；以及

图43是用于描述色差编码模式重新选择处理程序的流程图。

具体实施方式

下面，将参照附图说明本发明的实施例。注意，将按以下顺序进行描述。

1.实施例(编码方法的细节)

2.其它实施例

1.实施例

1-1.图像处理装置的配置

项目1表示作为整体的图像处理装置。注意，与图1至图4B所示的相关技术对应的部分被标注以相同的标号。

图像处理单元2使得从外部提供的图像数据BL经受各种类型的图像处理，例如编码处理、编辑处理等，以产生处理流ES，并将其提供给没有示出的外部设备。

图像处理单元2在图像处理时，提供之后将要在编码单元3中引用的图像数据BL。编码单元3使得图像数据BL经受编码处理(之后将描述细节)以产生位流BS，并将其提供给存储器4。这里，存储器4被配置为用来以总线传输为增量(例如128字节)读出和写入图像数据BL。

如图6所示，如果假设编码单元3向存储器4提供少于总线传输增量的位流BS，则虚拟数据DD将被填充到该位流BS。换句话说，编码单元3只是以与虚拟数据DD的量等同的量来消耗总线频带(band)和存储器4的存储容量。

对于每个由M×N像素组成的处理块，编码单元3对图像数据BL进行编码，以产生位流BS，并将其提供给存储器4。这样，依据编码单元3，可以通过编码减少位流BS的数据量，从而可以将存储器4的存储容量设置为较小。

此时，编码单元3继续由与总线传输增量相同的代码数量组成的码块，从而产生位流BS。这样，编码单元3能够为由与总线传输增量相同的代码数量组成的每个码块传输位流BS，由此，可最大程度地有效利用总线频带。

结果，对于执行读出和写入的每个区域，将码块存储在存储器4中。这样，依据编码单元3，没有浪费地消耗存储器4的存储容量，所以可以将存储器4的存储容量设置为较小。

接下来，图像处理单元2通过解码单元5从存储器4接收图像数据BL。此时，解码单元5对提供给每个码块的位流BS进行解码，并将其提供给图像处理单元2。

也就是说，如图7所示，当临时性地存储要被引用的图像数据BL时，图像处理装置1根据图像数据临时存储处理程序RT1，执行图像数据临时存储处理。

当开始了图像数据临时存储处理程序RT1时，图像处理装置1进行至步骤SP1，并且，当对从图像处理单元2为每个处理块提供的图像数据BL进行编码以产生延续码块的位流BS时，进行至下个步骤SP2。

在步骤SP2中，当为每个码块通过存储器4和例如总线等的网络向解码单元5传输位流BS时，图像处理装置1进行至下个步骤SP3。

在步骤SP3中，当通过为每个码块对位流BS进行解码而为每个处理块产生图像数据BL、并将其提供给图像处理单元2时，图像处理装置1进行至结束步骤，以结束图像数据临时存储处理程序RT1。

因此，图像处理装置1能够减少位流BS的数据量，同时有效利用总线频带和存储器4的存储容量。

1-2.编码单元的简介

图8示出了编码单元3的配置。编码单元3针对给每个处理块，对所提供的图像数据BL进行编码，从而产生位流BS，其中，延续由固定代码数量(总线传输增量)组成的码块。

具体地，当被提供图像数据BL时，编码单元3将此图像数据BL提供给信号变换单元31。信号变换单元31为每个由M×N像素组成的处理块分离图像数据BL。此外，信号变换单元31从由此处理块组成的图像数据BL产生亮度信号PY(例如Y信号)和色差信号PVU(例如V信号和U信号)。

此时，在提供多路复用亮度信号PY和色差信号PVU的图像数据BL的情况下，信号变换单元31简单地将图像数据BL分解为亮度信号PY和色差信号PVU。同样地，在图像数据BL是表示颜色空间的信号(例如RGB信号)的情况下，信号变换单元31通过颜色空间处理，从此图像数据BL产生亮度信号PY和色差信号PVU。而且，信号变换单元31执行子采样处理，例如，将按4:4:4方式组成的图像数据BL变换为4:2:2的方式。

接下来，信号变换单元31将色差信号PVU提供给信号分析单元32和色差信号编码单元33，同时将亮度信号PY提供给信号分析单元32和亮度信号编码单元34。

信号分析单元32对从信号变换单元31提供的亮度信号PY和色差信号PVU进行分析，以根据对表示图像数据BL是否是包含大量显著的特定颜色的图像的颜色指定信息IE和图像数据BL进行编码，产生表示压缩难度水平的编码难度水平ID。信号分析单元32将编码难度水平ID提供给色差信号编码单元33和亮度信号编码单元34，而将颜色指定信息IE提供给色差信号编码单元33和色差信号编码模式重新选择单元35。注意，随后将描述信号分析单元32的详细配置。

色差信号编码单元33部分地采用DPCM(差分脉冲编码调制)方法对从信号变换单元31提供的色差信号PVU进行编码。在此，色差信号编码单元33具有两个色差编码模式(具有相对高压缩率的高压缩模式、和具有相对低压缩率的低压缩模式)。色差信号编码单元33根据所述两个色差信号编码模式产生两个色差信号位流BSc(色差高压缩位流BSc1和色差低压缩位流BSc2)，并将它们提供给色差信号编码模式重新选择单元35。

此外，色差信号编码单元33根据图像数据BL的编码难度水平ID、以及色差高压缩位流BSc1和色差低压缩位流BSc2的图像质量，选择一个色差信号编码模式作为所选择的色差模式。此时，如果图像数据BL包含大量特定颜色，则色差信号编码单元33选择低压缩模式，从而防止图像质量恶化。

色差信号编码单元33计算借助所选择的色差模式而产生的色差信号位流BSc(在下文中，称之为“选择的色差信号位流BScS”)的代码数量，作为色差信号利用位计数IBc，并将其提供给亮度信号编码单元34。注意，随后将描述色差信号编码单元33的详细配置。

亮度信号编码单元34利用从色差信号编码单元33提供的色差信号利用位计数Ibs、和从信号分析单元32提供的编码难度水平ID，从而产生亮度信号位流BSy，同时调整代码数量。也就是说，亮度信号编码单元34调整亮度信号位流BSy的代码数量，使得通过将亮度信号位流BSy的代码数量和色差信号位流Bsc的代码数量相加而获得的代码数量与目标代码数量(即，作为总线传输增量的128字节)匹配。

在此，亮度信号编码单元34除了具有与色差信号编码模式类似的所述高压缩模式和低压缩模式外，还具有后量化模式作为亮度信号编码模式。该后量化模式是这样的模式，其中丢弃根据代码数量的位平面，从而对代码数量与目标代码数量接近的亮度信号PY进行编码。

亮度信号编码单元34从三个亮度代码信号编码模式中选择图像质量最佳的一个亮度信号编码模式，作为所选择的亮度模式。亮度信号编码单元34计算依据所选择的亮度模式而产生的亮度信号位流BSy(在下文中，称作“选择的亮度信号位流BSyS”)的代码数量，作为亮度信号利用位计数IBy。

接着，亮度信号编码单元34将所选择的亮度信号位流BSyS提供给多路复用单元36，而将亮度信号利用位计数IBy提供给色差信号编码模式重新选择单元35。注意，随后将描述亮度信号编码单元34的详细配置。

色差信号编码模式重新选择单元35基于从亮度信号编码单元34提供的亮度信号利用位计数IBy，重新选择色差信号位流BSc。

也就是说，色差信号编码模式重新选择单元35重新选择色差信号编码模式中的、在加上亮度信号位流BSy的代码数量后的代码数量与总线传输增量匹配的范围内图像质量最佳的一个。自此，依据重新选择的色差模式而产生的色差信号位流BSc将被称为“重新选择的色差信号位流BScR”。注意，随后将描述色差信号编码模式重新选择单元35的具体配置。

多路复用单元36将所选择的亮度信号位流BSyS和重新选择的色差信号位流BScR进行多路复用，以产生由具有固定代码数量的码块组成的位流BS。此时，在通过将所选择的亮度信号位流BSyS和重新选择的色差信号位流BScR相加而获得的代码数量不是所述固定代码数量(传送总线增量)的情况下，多路复用单元36将虚拟数据填充至位流BS。

在此，如上所述，产生亮度信号位流BSy，以使得通过将亮度信号位流BSy的代码数量和色差信号位流BSc的代码数量相加而获得的代码数量通常与总线传输增量一致。因此，通过简单地将由小数据量组成的虚拟数据添加至所选择的亮度信号位流BSyS和重新选择的色差信号位流BScR，多路复用单元36容易地产生具有固定代码数量的码块，其中，代码数量是总线传输增量。也就是说，如图9所示，编码单元3在对图像数据BL进行编码时执行编码处理程序RT2。

当从图像处理单元2提供图像数据BL时，编码单元3开始编码处理程序RT2，并进入步骤SP11。

在步骤SP11中，当为每个由M×N个像素组成的处理块从图像数据BL产生亮度信号PY和色差信号PVU时，编码单元3进行至下个步骤SP12。

在步骤SP12中，当对亮度信号PY和色差信号PVU进行分析以产生编码难度水平ID和颜色指定信息IE时，编码单元3进行至到下个步骤SP13。

在步骤SP13中，编码单元3根据两个色差信号编码模式而对图像数据BL进行编码，同时利用编码难度水平ID调整代码数量。接着，当基于编码难度水平ID和颜色指定信息IE选择色差编码模式时，编码单元3进行至下个步骤SP14。

在步骤SP14中，编码单元3根据包括后量化模式在内的三个亮度信号编码模式对亮度信号PY进行编码，以使关于所选择的色差信号位流BScS的加法值与总线传输增量匹配。接下来，当基于图像质量选择亮度信号编码模式之一时，编码单元3进入下个步骤SP15。

在步骤SP15中，当重新选择色差信号编码模式的、在将被添加了亮度信号位流BSy的代码数量之后的代码数量与总线传输增量的范围匹配的范围内图像质量最佳的一个时，编码单元3进入下个步骤SP16。

在步骤SP16中，当通过将重新选择的色差信号位流BScR和所选择的亮度信号位流BSyS多路复用而产生由总线传输增量组成的码块时，编码单元3进入结束步骤，以结束编码处理程序RT2。

这样，编码单元3产生亮度信号位流BSy，以使加至所选择的色差信号位流BScS的代码数量的加法值与总线传输增量的范围匹配。此外，编码单元3重新选择在关于图像质量为最佳的所选择的亮度信号位流BSyS的代码数量的加法值与总线传输增量匹配的范围内，图像质量为最佳的色差信号位流BSc。

因此，在所选择的亮度信号位流BSyS的代码数量比假定的代码数量小的情况下，编码单元3可以利用图像质量更佳的色差信号位流BSc产生位流BS。结果，编码单元3能够保持位流BS的图像质量恶化程度最低，同时固定位流BS的码块的代码数量。

1-3.信号分析单元的配置

下面，将参照图10关于信号分析单元32的配置进行描述。信号分析单元32将从信号变换单元31提供的亮度信号PY和色差信号PVU分别提供给编码难度水平计算单元101和颜色区域指定单元102。

编码难度水平计算单元101产生码难度水平ID，其要用于选择色差信号编码模式、以及通过分析亮度信号PY和色差信号PVU而对色差信号位流BSc和亮度信号位流BSy的代码数量进行调整。而且，通过分析亮度信号PY和色差信号PVU，颜色区域指定单元102产生颜色指定信息IE，其表示该图像是否包含大量恶化显著的特定颜色。

1-3-1.编码难度水平的产生

根据DPCM方法(随后将描述其细节)，色差信号编码单元33和亮度信号编码单元34具有非线性量化模式和线性量化模式。在非线性量化模式中，通过将每个像素值表示为相邻像素之间的差值，执行非线性量化。另一方面，在线性量化模式中，使得每个像素经受线性量化。

在非线性量化模式中，相邻像素之间的图像越接近，所述差值越小，由此能够减小由于量化而导致的图像质量的恶化。因此，在所述差值较小的情况下，色差信号编码单元33和亮度信号编码单元34利用非线性量化模式对每个像素进行编码。

编码难度水平计算单元101执行编码难度水平确定处理，其中基于相邻像素之间的差值较大的所谓的边沿(例如对象的轮廓部分等)，产生表示当对处理块进行编码时的压缩难度水平的编码难度水平ID。在几乎不存在边沿的情况下，可利用非线性量化模式对图像数据BL进行编码，并且相应地，编码难度水平计算单元101确定编码难度水平为低。另一方面，在存在许多边沿的情况下，当采用非线性量化模式对图像数据BL进行编码时，导致图像质量的恶化，并且相应地，编码难度水平计算单元101确定编码难度水平为高。

也就是说，可以基于像素之间的差值预测色差信号位流BSc和亮度信号位流BSy的代码数量。注意，为了容易地理解说明，将关于由M×1像素(根据当N＝1时的M×N像素)组成的处理块而进行描述，但是本发明并不局限于此。

具体地，如图11所示，编码难度水平计算单元101从处理块的亮度信号PY的中间像素(第M/2个)向两端计算相邻像素之间的差值。这样，从中间像素开始计算差值，由此可向所述两个方向计算差值，并且相应地，可进行例如差值计算器等的硬件的并行运行。

同样，与从一端开始计算差值的情形相比，从用作参考的像素直至被最后计算差值的像素的像素数量可减小至一半左右，从而将差值误差传播减小为较小。

编码难度水平计算单元101检测到具有绝对值大于边沿检测阈值Th0的差值的像素作为边沿，并且还基于处理块中包含的边沿的大小和数量确定编码难度水平。

也就是说，编码难度水平计算单元101基于与检测到的边沿相对应的差值(在下文中，称为边沿差值)的绝对值的平均值大小，来确定边沿的大小。同样，编码难度水平计算单元101计算处理块的边沿的数量。

在边沿差值的平均值小于边沿大小阈值Th1的情况下，边沿差值平均来说是较小的值，并且编码难度水平较低，并且相应地，编码难度水平计算单元101产生代表“低”的编码难度水平ID。

同样地，在边沿差值的平均值大于边沿大小阈值Th1，并且边沿的数量大于边沿数量阈值Th2的情况下，由于编码导致的难度较高，并且相应地，编码难度水平计算单元101产生代表“高”的编码难度水平ID。

此外，在边沿差值的平均值大于边沿大小阈值Th1，并且边沿的数量小于边沿数量阈值Th2的情况下，编码难度水平计算单元101进一步利用色差信号PVU的边沿的数量来确定编码难度水平。

也就是说，编码难度水平计算单元101从U信号和V信号的中间向两端计算色差信号PVU的相邻像素间的差值。接下来，编码难度水平计算单元101检测到具有绝对值大于边沿检测阈值Th3的差值的像素作为边沿。

接着，在色差信号PVU的边沿的数量大于边沿数量阈值Th4的情况下，编码难度水平计算单元101确定编码难度水平为高，并产生代表“高”的编码难度水平ID。另一方面，在边沿的数量小于边沿数量阈值Th4的情况下，编码难度水平计算单元101确定编码难度水平为低，并产生代表“低”的编码难度水平ID。

这样，编码难度水平计算单元101首先基于亮度信号PY的边沿确定关于亮度信号的编码难度，并且在对确定有困难的情况下，编码难度水平计算单元101基于色差信号PVU的边沿确定编码难度水平。也就是说，编码难度水平ID主要代表关于亮度信号PY的编码难度水平，并且只在亮度信号PY的编码难度水平处于中间灰色区域(gray zone)的情况下，才能表示色差信号PVU的难度水平。

接下来，将参照图12的流程图，关于在产生编码难度水平ID时要执行的编码难度水平确定处理程序RT3而进行描述。

当被提供了亮度信号PY和色差信号PVU时，编码难度水平计算单元101进行至步骤SP101。

在步骤SP101中，当从亮度信号PY计算出差值，并且还检测到此差值的绝对值大于边沿检测阈值Th0而作为边沿的像素时，编码难度水平计算单元101就进行至下个步骤SP102。

在步骤SP102中，编码难度水平计算单元101确定关于边沿差值的平均值是否小于边沿大小阈值Th1。在此，当获得了肯定的结果时，这表明边沿差值不是显著较大的值，相应地，由于编码导致的难度为低。此时，编码难度水平计算单元101进行至下个步骤SP107。

另一方面，在已经在步骤SP102中获得否定的结果的情况下，这表明存在由于编码导致的难度为高的可能性，此时，编码难度水平计算单元101进行至下个步骤SP104。

在步骤SP104中，编码难度水平计算单元101确定亮度信号PY的边沿的数量是否小于边沿数量阈值Th2。在此，在已经获得否定的结果的情况下，这表明差值的平均值较大，并且边沿的数量自身较大，相应地，编码难度为高。此时，编码难度水平计算单元101进行至下个步骤SP108。

另一方面，在步骤SP104中，在已经获得了肯定的结果的情况下，这表明尽管亮度信号PY包含由较大的边沿差值组成的像素，但是这样的像素的数量不是很大，因此，编码难度水平处于中间水平(既不高又不低)。此时，编码难度水平计算单元101进行至下个步骤SP105。

在步骤SP105中，当从色差信号PVU计算出差值，并且检测到此差值的绝对值大于边沿检测阈值Th3而作为边沿的像素时，编码难度水平计算单元101进行至下个步骤SP106。

在步骤SP106中，编码难度水平计算单元101确定色差信号PVU的边沿的数量是否小于边沿数量阈值Th4。这里，在已经获得肯定的结果的情况下，这表明尽管关于亮度信号PY的编码难度为中间水平，但是关于色差信号PVU的编码难度为低。此时，编码难度水平计算单元101进行至下个步骤SP107。

另一方面，在步骤SP106中，在已经获得否定的结果的情况下，这表明尽管关于亮度信号PY的编码难度为中间水平，但是关于色差信号PVU的编码难度为高。此时，编码难度水平计算单元101进行至下个步骤SP108。

在步骤SP107中，当产生表示编码难度为低的编码难度水平ID时，编码难度水平计算单元101进入结束步骤，以结束编码难度水平确定处理程序RT3。

同样，在步骤SP108中，当产生表示编码难度为高的编码难度水平ID时，编码难度水平计算单元101进入结束步骤，以结束编码难度水平确定处理程序RT3。

因此，编码难度水平计算单元101主要产生编码难度水平ID，其表示关于亮度信号PY的编码难度，并且只在亮度信号PY的编码难度水平处于中间灰色区域的情况下，才表示色差信号PVU的难度水平。

1-3-2.颜色指定信息的产生

颜色区域指定单元102通过特定颜色块确定处理对亮度信号PY和色差信号PVU进行分析，以确定处理块是否为包含大量的恶化明显易见的特定颜色的图像。

也就是说，颜色区域指定单元102定义了恶化明显易见的颜色(在下文中，称之为“特定颜色”)。例如，如图13所示，该坐标由Y信号、V信号和U信号的三个轴上的值组成。颜色区域指定单元102利用多个立方体和矩形平行六面体的组合定义了包含特定颜色的信号值的区域(在下文中，称之为“颜色指定区域”)。包括在该颜色指定区域中的像素被确定为特定颜色。

颜色区域指定单元102通过根据亮度信号PY和色差信号PVU的组合而确定处理块的每个像素是否包含在该颜色指定区域中，确定每个像素是否是特定颜色。在处理块中被确定为特定颜色的像素的数量大于特定颜色块阈值Th5的情况下，颜色区域指定单元102确定此处理块为作为恶化明显易见的图像的特定颜色块。

接下来，将参照图14中所示的流程图描述特定颜色块确定处理程序RT4。当被提供了亮度信号PY和色差信号PVU时，颜色区域指定单元102开始特定颜色块确定处理程序RT4，并进入下个步骤SP110。

在步骤SP110中，当根据亮度信号PY和色差信号PVU的组合对属于预定颜色指定区域的像素的数量进行计数时，颜色区域指定单元102进行至下个步骤SP111。

在步骤SP111中，颜色区域指定单元102确定属于该颜色指定区域的像素的数量是否大于特定颜色块阈值Th5。在此，在已经获得肯定的结果的情况下，这表明该处理块包含大量特定颜色，并且是特定颜色块。此时，颜色区域指定单元102进行至下个步骤SP113。

在步骤SP113中，当产生表示处理块为特定颜色块的颜色指定信息IE时，颜色区域指定单元102进入结束步骤以结束该处理。

另一方面，在步骤SP111中，在已经获得了否定的结果的情况下，这表明该处理块不包含大量特定颜色，且不是特定颜色块。此时，颜色区域指定单元102进行至下个步骤SP114。

在步骤SP114中，当产生了表示该处理块不是特定颜色块的颜色指定信息IE时，颜色区域指定单元102进行至结束步骤，以结束该处理。

因此，颜色区域指定单元102确定该处理块是否为作为包含大量的恶化明显易见的特定颜色的图像的特定颜色块，并产生颜色指定信息IE。因此，颜色指定信息IE能够表示该处理块是否为特定颜色块。

1-4.色差信号编码单元的配置

下面，将描述色差信号编码单元33的配置。如图15所示，色差信号编码单元33通过色差高压缩处理单元111和色差低压缩处理单元112，利用两个色差信号编码模式对色差信号PVU进行编码，以产生两个色差信号位流BSc。色差信号编码单元33通过色差信号编码模式选择单元113，从这两个色差信号位流BSc(色差高压缩位流BSc1和色差低压缩位流BSc2)选择色差信号编码模式之一。

1-4-1.色差信号编码处理

图16示出了色差高压缩处理单元111和色差低压缩处理单元112的配置。色差高压缩处理单元111和色差低压缩处理单元112具有通常相同的配置。

首先，将描述色差高压缩处理单元111所执行的色差信号编码处理，而将省略对于执行相同处理的色差低压缩处理单元112的描述。稍后将描述色差高压缩处理单元111和色差低压缩处理单元112之间的不同点。

1-4-1-1.色差编码处理

色差高压缩处理单元111对要为每个由M×N像素组成的处理块提供的色差信号PVU进行编码，从而产生色差高压缩位流BSc1。

色差高压缩处理单元111将从信号分析单元32提供的编码难度水平ID、以及从信号变换单元31提供的色差信号PVU提供给子块大小确定单元121。

子块大小确定单元121将每个处理块的色差信号PVU分成对应于编码难度水平ID的子块大小。在这里，如上所述，编码难度水平ID主要表示关于亮度信号PY的编码难度水平，并且只在亮度信号PY的编码难度水平处于中间灰色区域的情况下，才表示关于色差信号PVU的难度水平。

在此，在子块的大小被设置为较小并且增大了其数量的情况下，子块大小确定单元121可将适当的非线性表或者量化系数应用至为每个子块执行的非线性量化处理和线性量化处理(细节将在后文描述)，由此可提高图像质量。然而，在增加了子块的数量的情况下，子块大小确定单元121增加了所采用的表和量化系数的信息，并增加了代码数量。

另一方面，在增大子块的大小并且减少其数量的情况下，子块大小确定单元121对应用适当的非线性表或者量化系数存在困难，因此，图像质量恶化。但是，在子块的数量被减少的情况下，子块大小确定单元121能够减少关于所利用的表和量化系数的信息，并且相应地，可以减少代码数量。

将在处理块中产生的色差高压缩位流BSc1、与之后要在处理块中产生的亮度信号位流BSy相结合，并产生由固定代码数量(总线传输增量)组成的码块。

在编码难度水平ID为高的情况下，子块大小确定单元121通过增加子块的大小，产生很少的子块。在预测到亮度信号PY的编码难度为高的情况下，子块大小确定单元121分配关于亮度信号PY的大代码数量，同时抑制色差高压缩位流BSc1的代码数量。结果，子块大小确定单元121能够防止由于亮度信号PY的恶化而导致的图像质量恶化。

同样地，在预测到亮度信号PY的编码难度水平为中间，并且色差信号PVU的编码难度水平为高的情况下，子块大小确定单元121能防止色差高压缩位流BSc1的代码数量的增加。

同样地，在编码难度水平ID为低的情况下，子块大小确定单元121通过减小子块的大小而产生大量的子块。在预测到亮度信号PY的编码难度水平为低的情况下，子块大小确定单元121能够对色差高压缩位流BSc1分配相对大的代码数量，并且可防止由于色差信号PVU的恶化而导致的图像质量的恶化。

此外，在预测到亮度信号PY的编码难度水平为中间，并且色差信号PVU的编码难度水平为低的情况下，子块大小确定单元121通过向亮度信号位流BSy分配甚至更大的代码数量，能够以可靠的方式防止图像质量的恶化。

具体地，子块大小确定单元121具有块数量分配表，其中，根据编码难度水平ID的水平分配子块的数量。子块大小确定单元121根据编码难度水平ID的水平，从该块数量分配表中选择子块的数量，并将色差信号PVU分成子块。

接下来，子块大小确定单元121将每个子块的色差信号PVU提供给减法器122和第一存储单元125。结果，色差信号PVU被按次序地存储在第一存储单元125中。

将来自子块大小确定单元121的色差信号PVU、以及来自切换单元134的上次处理的(即，相邻像素的)色差信号PVU(在下文中，称为“本地色差信号LVU”)提供给减法器122。

减法器122通过从色差信号PVU中减去本地色差信号LVU而产生差值，并将此提供给非线性量化单元123A和量化模式确定单元129。

注意，在色差信号PVU为处理块的第一像素的情况下，不产生差值。在这种情况下，子块大小确定单元121也将色差信号PVU提供给熵编码单元127。也就是说，处理块的第一个像素的色差信号PVU毫无变化地被提供给熵编码单元127。

在这里，色差高压缩处理单元111包括非线性量化单元123A和线性量化单元124A。非线性量化单元123A采用非线性量化模式对从减法器122提供的差值进行量化，产生非线性量化的值。在非线性量化模式中，可减少代码数量，但是图像质量恶化。

另一方面，线性量化单元124A采用线性量化模式对从子块大小确定单元121提供的无变化的色差值PVU进行量化，产生线性量化的值。在线性量化模式中，尽管与非线性量化模式相比，可以提高图像质量，但是增加了代码数量。接下来，从线性量化模式和非线性量化模式选择一个量化模式，并执行熵编码。

具体地，非线性量化单元123A包含多个非线性表，其中通过量化差值而获得的量化的位的最大值是小值(附图中的“3”)，如图17B和17C所示，作为用于量化的非线性表。

例如图17A所示，非线性量化单元123A选择要使用的非线性表，以使子块的差值的最大值(在下文中，称作为“最大差值”)被分配给包含在该非线性表中的最大的量化的位。

例如，在该最大差值为“13”的情况下，非线性量化单元123A选择图17B作为非线性表。同样地，在所述最大差值为“9”的情况下，非线性量化单元123A选择图17C作为非线性表。

这样，非线性量化单元123A可利用与包含在子块中的差值相对应的非线性表，从而通过减少了被分配至比所述最大差值更大的值的量化的位的数量，防止由于量化导致的图像质量的恶化。

接下来，非线性量化单元123A增加代表用于每个子块的非线性表的非线性表标识符。

同样，色差信号PVU也被无变化地提供给线性量化单元124A。线性量化单元124A通过监控存储有编码的子块的第二存储单元128，计算对于从现在开始要被编码的子块而容许的剩余的代码数量。

也就是说，线性量化单元124A根据通过从基于编码难度水平ID而设置的色差目标代码数量中减去为每个子块而实际产生的代码数量而得到的剩余代码数量，确定量化精度(即，经受量化的具有线性量化的值的位的数量)。接下来，线性量化单元124A利用确定的量化精度，使得色差信号PVU经受线性量化，并且将表示量化精度的量化精度标识符加至所产生的线性量化的值。

量化模式确定单元129执行量化模式选择处理，其中从非线性量化模式和线性量化模式中选择一个量化模式。自此，所选择的非线性量化模式或者所选择的线性量化模式将被称为所选择的量化模式。

量化模式确定单元129控制切换单元126，以便将依据所选择的量化模式而产生的量化的值(自此，称之为“所选择的量化值”)传送至熵编码单元127。

熵编码单元127采用VLC(可变长度代码)表，使得所选择的量化的值经受熵编码，以产生色差高压缩位流BSc1。接着，熵编码单元127将色差高压缩位流BSc1提供给第二存储单元128和色差信号编码模式选择单元113。结果，色差高压缩位流BSc1被存储在第二存储单元128中。

同样地，色差高压缩处理单元111使得所选择的量化的值经受本地解码，以产生本地色差信号LVU。色差高压缩处理单元111使用本地色差信号LVU作为对应于上个像素的色差信号PVU，以计算出差值。同样地，色差高压缩处理单元111通过比较原始的色差信号PVU和本地色差信号LVU，计算出表示所选择的量化值的恶化多少的色差图像质量评估值EVc1。

具体地，非线性量化的值和线性量化的值分别被提供给非线性逆量化单元131和线性逆量化单元132。线性逆量化单元132根据由量化精度标识符表示的精度，使得线性量化的值经受线性逆量化，以产生本地色差信号LVU。

非线性逆量化单元131利用由非线性表标识符表示的非线性表，使得非线性量化的值经受非线性逆量化，以产生差值，并将其提供给加法器133。加法器133将该差值加至从第一存储单元125提供的先前的本地色差信号LVU，以产生本地色差信号LVU。此时，非线性逆量化单元131将本地色差信号LVU提供给减法器122。

切换单元134在量化模式确定单元129的控制下，将通过使得所选择的量化的值经受逆量化而产生的本地色差信号PVU提供给第一存储单元125。

结果，从子块大小确定单元121适当提供的色差信号PVU、和通过对所选择的量化的值进行解码而获得的本地色差信号LVU被存储在第一存储单元125中。

当正在产生关于由处理块组成的色差信号PVU的所有的本地色差信号LVU时，图像质量评估值计算单元135计算出色差图像评估值EVc1，其表示关于色差信号PVU的本地色差信号LVU的图像质量的恶化程度，并将其提供给色差信号编码模式选择单元113。图像质量评估值计算单元135可计算出例如均方差(MSE)，作为色差图像质量评估值EVc1。

在此，色差信号编码单元33通过子块大小确定单元121而设置子块的数量为可变的，从而调整色差高压缩位流BSc1的代码数量，以便不超过与编码难度水平ID对应的色差目标代码数量。

然而，色差信号编码单元33通过熵编码单元127执行可变长度编码，并且因此，仅仅根据子块的数量，不容易控制色差高压缩位流BSc的代码数量。

因此，色差信号编码单元33利用量化模式确定单元129监控实际编码的子块的代码数量，并根据该代码数量为每个子块切换非线性量化模式和线性量化模式。因此，色差信号编码单元33进行控制，以使对于每个处理块，色差高压缩位流BSc1不超过根据编码难度水平ID的代码数量。

量化模式确定单元129基于编码难度水平ID和实际编码的色差高压缩位流BSc1的代码数量，执行量化模式选择处理，其中从非线性量化模式和线性量化模式中选择一个量化模式作为所选择的量化模式。

量化模式确定单元129通过确认第二存储单元128，对每个子块的色差高压缩位流BSc1的代码数量进行监控，来执行量化模式选择处理。因此，量化模式确定单元129调整实际将要产生的色差高压缩位流BSc1的代码数量。

具体地，量化模式确定单元129操作以便满足下列特征，以在保持图像质量的同时产生具有很少代码数量的色差高压缩位流BSc1。

(1)在子块的色差信号PVU的最大差值较小的情况下，即使在采用非线性量化模式的情况下，图像质量的恶化也较小。因此，在色差信号PVU的最大差值较小的情况下，量化模式确定单元129通过选择非线性量化模式而减少代码数量。

(2)在编码难度水平ID表示“高”的情况下，对于从现在开始将要被编码的亮度信号PY，预测到由于非线性量化模式而导致的图像质量的恶化很大，因此，必须采用增加代码数量的线性量化模式。而且，对于色差信号PVU，存在由于(1)导致不选择非线性量化模式的许多子块，存在可以频繁使用线性量化模式的可能性，且色差信号位流BSc的代码数量可超过假设。因此，量化模式确定单元129采用非线性量化模式，以便以可靠的方式将代码数量分配给亮度信号位流BSy。换句话说，在编码难度水平ID表示“高”的情况下，一直利用非线性量化模式。

(3)在子块的色差信号PVU的最大差值较大，并且编码难度水平ID表示“低”的情况下，尽管对色差信号位流BSc的代码数量的分配有余地，但是由非线性量化模式导致的图像质量的恶化较大。因此，量化模式确定单元129选择线性量化模式，由此可以保持图像质量。

(4)在可分配给处理块的色差信号位流BSc的代码数量不足的情况下，使该代码数量优先。也就是说，即使在应该在(3)中选择线性量化模式的情形下，量化模式确定单元129仍选择非线性量化模式。

也就是说，量化模式确定单元129将分配充足的代码数量给亮度信号位流BSy设定为第一优先级，并将采用非线性量化模式的色差高压缩位流BSc1的代码数量减少为尽可能少。接下来，只在在分配给亮度信号位流BSy充足的代码数量后存在剩余代码数量的情况下，量化模式确定单元129才采用线性量化模式以提高色差高压缩位流BSc1的图像质量。

因此，色差高压缩处理单元111基于编码难度水平ID而改变子块的数量，从而对色差信号PVU进行编码，以保持作为包含亮度信号PY在内的位流BS的整体的图像质量的恶化为最小。接着，色差高压缩处理单元111基于实际产生的色差高压缩位流BSc1的代码数量选择量化模式。

因此，色差高压缩处理单元111将实际产生的色差高压缩位流BSc1的代码数量反馈给量化模式的选择，从而可重新调整此代码数量。因此，色差高压缩处理单元111能以可靠的方式产生具有与编码难度水平ID对应的色差目标代码数量的色差高压缩位流BSc1。

1-4-1-2.色差高压缩处理单元和色差低压缩处理单元之间的不同点

下面，将描述色差高压缩处理单元111和色差低压缩处理单元112之间的不同点。如图17B和17C所示，色差高压缩处理单元111的非线性量化单元123A具有多个非线性表，作为要用于量化的非线性表，其中通过对差值进行量化而获得的量化的位的最大值是小值(图中的“3”)。

另一方面，如图17D和17E所示，色差低压缩处理单元112的非线性量化单元123B具有多个非线性表，作为要用于量化的非线性表，其中量化的位的最大值是大值(图中的“5”)。

因而，与非线性量化单元123A相比，非线性量化单元123B可利用许多量化的位来代表差值，而且相应地，可抑制图像质量的恶化，尽管编码的子块的代码数量增加(即，压缩比降低)。

而且，与线性量化单元124A相比，色差低压缩处理单元112的线性量化单元124B提高了量化精度(增加了线性量化的值的位数量)。

因此，与线性量化单元124A相比，线性量化单元124B增加了被编码的子块的代码数量(即，压缩比降低了)，但是可抑制图像质量的恶化。

也就是说，当从信号变换单元31提供色差信号PVU，并且从信号分析单元32提供编码难度水平ID和颜色指定信息IE时，色差低压缩处理单元112以与色差高压缩处理单元111相同的方式执行色差编码处理，以产生色差低压缩位流BSc2和色差图像质量评估值EVc2。

注意，对于色差高压缩处理单元111和色差低压缩处理单元112，对量化模式确定单元129设置相同的色差目标代码数量。

接下来，色差低压缩处理单元112将色差低压缩位流BSc2和色差图像质量评估值EVc2提供给色差信号编码模式选择单元113。

1-4-2.色差信号编码模式选择处理

色差信号编码单元33的色差信号编码模式选择单元113(图15)从高压缩模式和低压缩模式中选择出与颜色指定信息IE和编码难度水平ID相对应的色差信号编码模式。

具体地，色差信号编码模式选择单元113基于颜色指定信息IE，确定处理块是否为包含大量的恶化明显易见的特定颜色的特定颜色块。在处理块为特定颜色块的情况下，色差信号编码模式选择单元113选择低压缩模式作为所选择的色差模式，以保持图像质量的恶化为最小。

在该低压缩模式下，例如，关于特定颜色而将非线性表和量化精度预先设定为最佳，从而可以将关于特定颜色的色差低压缩位流BSc2的恶化保持为最小。

也就是说，色差信号编码模式选择单元113调整位流BS的代码数量的分配，以分配相对大的代码数量给关于特定颜色块的色差信号位流BSc。而且，在低压缩模式下，色差信号编码模式选择单元113预先设定非线性表和量化精度，以抑制关于特定颜色的图像质量的恶化，从而抑制关于特定颜色的色差低压缩位流BSc2的恶化。

因而，色差信号编码模式选择单元113可防止特定颜色的恶化，并能防止图像质量的可见的恶化明显。

另一方面，在处理块不是特定颜色块的情况下，色差信号编码模式选择单元113基于编码难度水平ID而选择所选择的色差模式。

在此，在编码难度水平ID表示“高”的情况下，可以预测到亮度信号PY的编码难度水平为高，并且不必须频繁使用非线性模式，因此，必须向亮度信号位流BSy分配大的代码数量。而且，存在色差信号位流BSc的代码数量可增加的可能性。此时，色差信号编码模式选择单元113抑制色差信号位流BSc的代码数量。

也就是说，在编码难度水平ID表示“高”的情况下，色差信号编码模式选择单元113选择色差高压缩模式作为所选择的色差模式。

另一方面，在编码难度水平ID表示“低”的情况下，可以预侧到亮度信号PY的编码难度为低，并且，即使频繁采用非线性模式，图像质量的恶化也较小，不必须向亮度信号位流BSy分配大的代码数量。而且，可以预测到色差信号位流BSc的代码数量较小。此时，色差信号编码模式选择单元113增加色差信号位流BSc的代码数量。

也就是说，在编码难度水平ID表示“低”的情况下，色差信号编码模式选择单元113选择色差低压缩模式作为所选择的色差模式。

在此，色差信号编码单元33产生色差高压缩位流BSc1和色差低压缩位流BSc2，同时改变子块的数量、线性量化和非线性量化。因此，存在如下可能性：取决于其中色差高压缩位流BSc1的代码数量大于色差低压缩位流BSc2的代码数量的图像，而发生反转现象(reversal phenomenon)。

因此，色差信号编码模式选择单元113将色差高压缩位流BSc1和色差低压缩位流BSc2进行比较。在色差信号位流BSc中之一具有很少的代码数量和良好的图像质量的情况下，色差信号编码模式选择单元113选择色差信号位流BSc中的这一个作为所选择的色差信号位流BScS。

也就是说，在不考虑编码难度水平ID时、色差高压缩位流BSc1的代码数量比色差低压缩位流BSc2的代码数量小，并且色差图像质量评估值EVc1比色差图像质量评估值EVc2更好(更小)的情况下，色差信号编码模式选择单元113选择高压缩模式。

同样地，在不考虑编码难度水平ID时、色差低压缩位流BSc2的代码数量比色差高压缩位流BSc1的代码数量小，并且色差图像质量评估值EVc2比色差图像质量评估值EVc1更好(更小)的情况下，色差信号编码模式选择单元113选择低压缩模式。

因而，色差信号编码模式选择单元113能够选择具有少的代码数量和良好的图像质量的色差信号位流BSc作为所选择的色差信号位流BScS。结果，色差信号编码模式选择单元113可最大程度地提高图像质量，而不增加所选择的色差信号位流BScS的代码数量。

接下来，色差信号编码模式选择单元113产生表示所选择的色差信号位流BScS的代码数量的色差信号利用位计数IBc。此外，色差信号编码模式选择单元113产生表示所选择的色差模式的色差信号模式选择信息ISc。色差信号编码模式选择单元113将色差信号利用位计数IBc提供给亮度信号编码单元34，同时将色差信号利用位计数IBc和色差信号模式选择信息ISc提供给色差信号编码模式重新选择单元35。

如上所述，关于其中的图像质量的恶化明显易见的特定颜色块，色差信号编码模式选择单元113选择低压缩模式。因而，对于特定颜色块，色差信号编码模式选择单元113能保持图像质量的恶化最小，因此能够防止用户认识到图像质量的恶化。

而且，对于除了特定颜色块之外的、其中的图像质量的恶化不明显的其它块，色差信号编码模式选择单元113基于编码难度水平ID来选择色差信号编码模式。

因而，在在将充足的代码数量分配至恶化明显易见的亮度信号PY之后，并且代码数量进一步具有余量的情况下，色差信号编码模式选择单元113可以向色差信号PVU分配相对大的代码数量。结果，色差信号编码模式选择单元113可以向亮度信号PY和色差信号PVU分配代码数量，同时使亮度信号PY优先而不留下任何代码数量，并且，能够保持作为整***流BS的图像质量的恶化最小。

1-4-3.具体处理程序

下面，将参照附图18至图25的流程图描述色差信号编码处理程序RT5。

当从颜色变换单元31提供色差信号PVU时，色差信号编码单元33开始色差信号编码处理，并进入下个步骤SP121。

在步骤SP121中，色差信号编码单元33进入子程序SRT11，并且，当在高压缩模式下对色差信号PVU进行编码以产生色差高压缩位流BSc1时，色差信号编码单元33进行至下个步骤SP122。

在步骤SP122中，色差信号编码单元33进入子程序SRT11，并且，当在低压缩模式下对色差信号PVU进行编码以产生色差低压缩位流BSc2时，色差信号编码单元33进入下个步骤SP123。

在步骤SP123中，色差信号编码单元33进入子程序SRT17，并且，当执行用于从高压缩模式和低压缩模式中选择一个编码模式的色差信号编码模式选择处理时，色差信号编码单元33进入结束步骤，以结束色差信号编码处理程序RT5。

在步骤SP121和SP122中，色差信号编码单元33进入子程序SRT11(图19)中的步骤SP141，子程序SRT11表示色差信号压缩处理程序。

在步骤SP141中，当基于编码难度水平ID确定子块大小，并且还根据该子块大小将每个处理块的色差信号PVU分解成子块时，色差信号编码单元33进入下个步骤SP142。

在步骤SP142中，色差信号编码单元33确定作为处理对象的色差信号PVU的像素是否为处理块的第一像素。在此，在已经获得肯定的结果的情况下，色差信号编码单元33对计算关于上一像素的差值存在困难，并且，相应地，进入下个步骤SP143。

在步骤SP143中，色差信号编码单元33将所述第一像素提供给熵编码单元127，并进行至下个步骤SP144。

在步骤SP144中，色差信号编码单元33将该第一像素存储到第一存储单元125中，并返回至步骤SP142。

另一方面，在已经在步骤SP142中得到否定的结果的情况下，色差信号编码单元33就进行至下个步骤SP146。

在步骤SP146中，当为每个子块计算将要处理的像素与存储在第一存储单元125中的上一像素之间的差值时，色差信号编码单元33进行至下一步骤SP147。

在步骤SP147中，色差信号编码单元33进入子程序SRT12(图20)中的步骤SP171，子程序SRT12表示在色差信号编码单元中的量化模式选择处理程序，其用以基于最大差值、编码难度水平ID和剩余代码数量执行对量化模式的选择。

在步骤SP171中，色差信号编码单元33确定子块的最大差值是否小于非线性阈值Th6。

在此，在已经获得肯定的结果的情况下，这表明即使在执行非线性量化处理的情况下，图像质量的恶化也较小，从而可以减少代码数量，并且此时，色差信号编码单元33进行至下个步骤SP174。

另一方面，在已经在步骤SP171中获得否定的结果的情况下，这表明存在由于非线性量化处理而导致图像质量恶化的可能性，并且此时，色差信号编码单元33进入下一步骤SP172。

在步骤SP172中，色差信号编码单元33确定编码难度水平ID是否为“高”。在此，在已经获得肯定的结果的情况下，当对于亮度信号位流BSy而频繁采用非线性模式时，或者当在步骤SP171中，对于很多子块而获得肯定的结果并且选择非线性模式时，存在图像质量会恶化的可能性。因此，这表明应当向亮度信号位流BSy分配大的代码数量。此时，色差信号编码单元33进行至下一步骤SP174。

另一方面，在已经在步骤SP172中获得否定的结果的情况下，这表明亮度信号位流BSy的代码数量减少了，或者色差信号位流BSc的代码数量增加了，因此，不必向亮度信号位流BSy分配大的代码数量。此时，色差信号编码单元33进行至下一步骤SP173。

在步骤SP173中，色差信号编码单元33确定通过从根据编码难度水平ID而在处理块中设定的色差信号目标代码数量中减去已经被编码的子块的代码数量而得到的剩余的代码数量是否不足。

在此，在已经获得肯定的结果的情况下，这表明必须抑制从现在开始将要被编码的子块的代码数量，并且此时，色差信号编码单元33进入下一步骤SP174。

在步骤SP174中，当选择非线性量化模式时，色差信号编码单元33进入子程序SRT11(图19)中的步骤SP148。

另一方面，在已经在步骤SP173中得到否定的结果的情况下，这表明存在由于非线性量化模式导致图像质量可能恶化的可能性，没有必要向亮度信号位流BSy分配大的代码数量，并且剩余的代码数量是足够的。此时，色差信号编码单元33进入步骤SP175，选择线性量化模式，以向色差信号位流BSc分配许多代码数量，并进入子程序SRT11(图19)中的步骤SP148。

在步骤SP148中，色差信号编码单元33确定是否已经选择了非线性量化模式。在这里，在已经得到肯定的结果的情况下，色差信号编码单元33从下一步骤SP149进行至表示非线性量化处理程序的子程序SRT13(图21)中的步骤SP181，以执行非线性量化处理。

在步骤SP181中，当检测到子块的最大差值时，色差信号编码单元33进行至下一步骤SP182。

在步骤SP182中，当根据最大差值选择非线性表时，色差信号编码单元33进入下一步骤SP183。

在步骤SP183中，当利用在步骤SP182中选择的非线性表使得子块经受非线性量化时，色差信号编码单元33进入下一步骤SP184。

在步骤SP184中，当增加了关于经受非线性量化的子块而选择的非线性表的非线性表标识符时，色差信号编码单元33就进入子程序SRT11(图19)中的步骤SP151。

另一方面，在已经在步骤SP148(图19)中得到否定的结果的情况下，色差信号编码单元33从下一步骤SP150进行至表示线性量化处理程序的子程序SRT14(图22)中的步骤SP191，以执行线性量化处理。

在步骤SP191中，当根据通过从为每个处理块设定的色差信号目标代码数量中减去已经被编码的子块的代码数量而得到的剩余代码数量来选择线性量化的精度(即，量化值的位数量)时，色差信号编码单元33进入下一步骤SP192。

在步骤SP192中，当利用在步骤SP191中选择的精度使得子块经受线性量化时，色差信号编码单元33进行至下一步骤SP193。

在步骤SP193中，当增加了表示关于经受线性量化的子块而选择的精度的量化精度标识符时，色差信号编码单元33进入子程序SRT11(图19)中的步骤SP151。

在步骤SP151中，当关于在步骤SP149或者步骤SP150中量化的量化值执行熵编码(即，可变长度编码)时，色差信号编码单元33进入下一步骤SP152。

在步骤SP152中，色差信号编码单元33确定是否已经选择了非线性量化模式。

在这里，在已经得到肯定的结果的情况下，色差信号编码单元33进入下一步骤SP154，以执行非线性逆量化处理。

在步骤SP154中，色差信号编码单元33进入表示非线性逆量化处理程序的子程序SRT15(图23)中的步骤SP201。

在步骤SP201中，当从非线性标识符对非线性量化值正被量化时所利用的非线性表进行解译时，色差信号编码单元33进入下一步骤SP202。

在步骤SP202中，当利用在步骤SP201中解译的非线性表而执行关于非线性量化值的非线性逆量化时，色差信号编码单元33进入子程序SRT11(图19)中的步骤SP155。

在步骤SP155中，当通过将在步骤SP202中产生并经受非线性逆量化的非线性量化值增加到与前一(last)像素对应的本地色差信号LVU，而产生将要被处理的像素的本地色差信号LVU时，色差信号编码单元33进入下一步骤SP157。

另一方面，在已经在步骤SP152中得到否定的结果的情况下，色差信号编码单元33进入表示线性逆量化处理程序的子程序SRT16(图24)中的步骤SP211，以执行线性逆量化处理。

在步骤SP211中，当从量化精度标识符解译线性量化的精度时，色差信号编码单元33进行至下一步骤SP212。

在步骤SP212中，当通过利用在步骤SP211中解译的线性量化精度来执行关于线性量化值的线性逆量化，产生本地色差信号LVU时，色差信号编码单元33进入子程序SRT11(图19)中的步骤SP157。

在步骤SP157中，色差信号编码单元33将本地色差信号LVU存储到第一存储单元125中，并进入下一步骤SP158。

在步骤SP158中，色差信号编码单元33确定是否已经完成关于处理块的所有子块的编码。

在这里，在已经得到否定的结果的情况下，这表明必须对下一个子块进行编码，并且此时，色差信号编码单元33进入下一步骤SP159。

在步骤SP159中，当将在步骤SP151中执行的熵编码的编码结果存储在第二存储单元128中时，色差信号编码单元33返回到步骤SP142，以继续色差信号压缩处理程序。

另一方面，在已经在步骤SP158中得到肯定的结果的情况下，这表明已经完成了关于处理块的色差信号压缩处理，并且此时，色差信号编码单元33进入下一步骤SP160。

在步骤SP160中，当计算出表示本地色差信号LVU关于色差信号PVU的的恶化程度的色差图像质量评估值EVc时，色差信号编码单元33返回至色差信号编码处理程序RT5(图18)中的步骤SP123。

在步骤SP123中，色差信号编码单元33进行至代表色差信号编码模式选择处理程序的子程序SRT17(图25)中的步骤SP171，以从高压缩模式和低压缩模式中选择一个模式。

在步骤SP171中，色差信号编码单元33根据颜色指定信息IE确定处理块是否为特定颜色块。

在此，在已经得到肯定的结果的情况下，这表明处理块包含许多图像质量恶化明显易见的特定颜色，并且相应地，必须对色差信号位流BSc的图像质量的恶化进行抑制。此时，色差信号编码单元33进入下一步骤SP175。

另一方面，在已经在步骤SP171中得到否定的结果的情况下，不必考虑特定颜色，并且相应地，色差信号编码单元33进入下一步骤SP172。

在步骤SP172中，色差信号编码单元33确定关于处理块的编码难度水平ID是否表示“低”。

在此，在已经得到肯定的结果的情况下，这表明必须向色差信号位流BSc分配大的代码数量，并且此时，色差信号编码单元33进入下一步骤SP173。

在步骤SP173中，色差信号编码单元33将高压缩模式和低压缩模式进行比较。此时，色差信号编码单元33确定与高压缩模式相比，色差图像质量评估值EVc是否较小且更适合于低压缩模式，或者与高压缩模式相比，色差信号位流BSc的代码数量是否较小且更适用于低压缩模式。

在这里，在已经获得肯定的结果的情况下，这表明与高压缩模式相比，图像质量和代码数量中至少一个更适用于低压缩模式，并且相应地，应当选择色差低压缩模式。此时，色差信号编码单元33进入下一步骤SP175。

另一方面，在已经在步骤SP173中得到否定的结果的情况下，这表明图像质量和代码数量都更适用于高压缩模式，并且相应地，应当选择色差高压缩模式。此时，色差信号编码单元33进入下一步骤SP176。

另一方面，在已经在步骤SP172中获得否定的结果的情况下，这表明必须向色差信号位流BSc分配小的代码数量。此时，色差信号编码单元33进入下一步骤SP174。

在步骤SP174中，色差信号编码单元33将高压缩模式和低压缩模式进行比较。此时，色差信号编码单元33确定与低压缩模式相比，色差图像质量评估值EVc是否较小且更适合于高压缩模式，或者与低压缩模式相比，色差信号位流BSc的代码数量是否较小且更适合于高压缩模式。在此，在已经得到肯定的结果的情况下，这表明与低压缩模式相比，图像质量和代码数量中至少一个更适合于高压缩模式，并且相应地，应当选择色差高压缩模式。此时，色差信号编码单元33进入下一步骤SP176。

另一方面，在已经在步骤SP174中得到否定的结果的情况下，这表明图像质量和代码数量都更适合于低压缩模式，并且相应地，应当选择色差低压缩模式。此时，色差信号编码单元33进入下一步骤SP175。

在步骤SP175中，当选择与色差低压缩模式相对应的色差低压缩位流BSc2作为所选择的色差信号位流BScS时，色差信号编码单元33进入下一步骤SP177。

在步骤SP176中，当选择与色差高压缩模式相对应的色差高压缩位流BSc1作为所选择的色差信号位流BScS时，色差信号编码单元33进入下一步骤SP177。

在步骤SP177中，当产生表示所选择的色差信号位流BScS的代码数量的色差信号利用位计数IBc时，色差信号编码单元33进入下一步骤SP178。

在步骤SP178中，当产生表示所选择的色差模式的色差信号模式选择信息ISc时，色差信号编码单元33返回至色差信号编码处理程序RT5(图18)中的步骤SP123。接着，色差信号编码单元33从步骤SP123进入结束步骤，以结束色差信号编码处理程序RT5。

1-5.亮度信号编码单元的配置

下面，将描述亮度信号编码单元34的配置。如图26所示，亮度信号编码单元34通过亮度高压缩处理单元201、亮度低压缩处理单元202和后量化单元203，利用三个亮度信号编码模式对亮度信号PY进行编码，以产生三个亮度信号位流BSy。接着，亮度信号编码单元34通过亮度信号编码模式选择单元204选择一个亮度信号编码模式。

注意，亮度信号编码单元34将通过从总线传输增量中减去色差信号利用位计数IBc表示的所选择的色差信号位流BScS的代码数量和用于报头的代码数量而得到的值设定为亮度目标代码数量。

1-5-1.亮度信号编码处理

如图27所示，亮度高压缩处理单元201具有与如图16所示的色差高压缩处理单元111大致相同的配置。而且，除了量化精度不同之外，亮度低压缩处理单元202具有与亮度高压缩处理单元201大致相同的配置，对于色差低压缩处理单元112也是如此，因此将省略其描述。

注意，图27图示了对应于具有通过将100加至图16中的标号而获得的标号的图16的部分。此后，对于亮度高压缩处理单元201，将只对与色差高压缩处理单元111不同的部分进行描述，并且，关于与色差高压缩处理单元111相同的处理的描述将被省略。

来自信号变换单元31的亮度信号PY、来自信号分析单元32的编码难度水平ID以及来自色差信号编码单元33的色差信号利用位计数IBc被提供给亮度高压缩处理单元201。亮度高压缩处理单元201将亮度信号PY、编码难度水平ID和色差信号利用位计数IBc提供给子块大小确定单元221，并还将编码难度水平ID和色差信号利用位计数IBc提供给量化模式确定单元229。

子块大小确定单元221将每个处理块的亮度信号PY分成与色差信号利用位计数IBc和编码难度水平ID相对应的子块大小。

也就是说，在色差信号利用位计数IBc较大的情况下，子块大小确定单元221必须将能够被分配给亮度信号位流BSy的亮度信号目标代码数量设定得较小，并且相应地，将子块大小设定为较大，以减小子块数量。

同样地，在色差信号利用位计数IBc较小的情况下，子块大小确定单元221必须将能够被分配给亮度信号位流BSy的亮度信号目标代码数量设定得较大，并且相应地，将子块大小设定为较小，以增加子块数量。

而且，在编码难度水平ID为高的情况下，可以预测到亮度信号PY的编码难度为高或中间，而且将要产生的亮度信号位流BSy的代码数量增加，因此，子块大小确定单元221将子块大小设定为较大。

此外，在编码难度水平ID为低的情况下，可以预测到亮度信号PY的编码难度为低或中间，而且将要产生的亮度信号位流BSy的代码数量减少，因此，子块大小确定单元221将子块大小设定为较小。

具体地，子块大小确定单元221包括与关于色差信号利用位计数IBc和编码难度水平ID的块数量关联的块数量分配表。子块大小确定单元221选择与色差信号利用位计数IBc和编码难度水平ID相对应的块数量。

接下来，子块大小确定单元221将为每个处理块提供的亮度信号PY分成由所选择的块数量构成的子块，并将它们分别提供给减法器222、线性量化单元224和第一存储单元225。

结果，对于对应于色差信号利用位计数IBc和编码难度水平ID的每个子块，亮度高压缩处理单元201能够使得亮度信号PY经受非线性量化处理和线性量化处理。因此，亮度高压缩处理单元201可对每个处理块的亮度高压缩位流Bsy1的代码数量进行调整，以与亮度信号目标代码数量匹配。

在这里，色差高压缩处理单元111已经在选择量化模式时利用了编码难度水平ID，以优先向亮度信号位流BSy分配代码数量。另一方面，对于亮度高压缩处理单元201，不必考虑这样的代码数量。因此，对于亮度高压缩处理单元201，在选择量化模式时未考虑编码难度水平ID。

具体地，在子块的最大差值较小并且小于非线性量化模式阈值Th7的情况下，即使在关于子块执行非线性量化处理的情况下，图像质量也不会明显恶化，因此，亮度高压缩处理单元201的量化模式确定单元229选择非线性量化模式。

此外，在最大差值较大并且等于或大于非线性量化模式阈值Th7的情况下，量化模式确定单元229对通过从亮度信号目标代码数量中减去已经被编码的子块的代码数量缩得到的剩余代码数量进行确认。在剩余代码数量充足的情形下，量化模式确定单元229选择代码数量增加的线性量化模式，并且另一方面，在剩余代码数量不足的情况下，选择代码数量减少的非线性量化模式。

因而，亮度高压缩处理单元201可通过根据剩余代码数量选择量化模式，调整亮度信号位流BSy的代码数量，以与亮度信号目标代码数量匹配。

1-5-2.后量化处理

后量化单元203执行后量化处理，其中亮度信号PY从重要(significant)位开始被编码，直到亮度信号PY变为亮度目标代码数量为止，并且在达到目标代码数量时，剩余的位将被丢弃，从而产生亮度量化位流BSy3。

具体地，如图28所示，当被提供色差利用位计数IBc和亮度信号PY时，后量化单元203将色差信号利用位计数IBc提供给RB(精细位(RefinementBit))编码单元254，并将亮度信号PY提供给图像质量评估值计算单元258和DWT(离散小波变换)单元251。

DWT单元251执行DC电平转移处理，其中采用比亮度信号PY少一位的位数量和正/负符号表示亮度信号PY。DWT单元251关于经受这种DC电平转移处理的亮度信号PY进行DWT处理，以计算出DWT系数的绝对值(自此，称之为“DWT绝对值”)和正/负符号。自此，将DWT绝对值和正/负符号一起称为“DWT系数”。

此时，例如如图29所示，DWT单元251关于每个经受DC电平转移处理的处理块的亮度信号PY进行DWT处理，从而分解成作为低频分量的区域3L和作为高频分量的区域3H、2H和1H。注意，每个区域的名称表示随着最高数字值变成小值，高频的程度增加。

DWT单元251将DWT绝对值提供给ZBP(零位平面)编码单元252和DWT系数丢弃单元256。同样，DWT单元251向SB(重要位)编码单元253、RB编码单元254和IDWT(逆DWT)单元257提供正/负位。

如图30所示，ZBP编码单元252将DWT绝对值分成Q×R像素的编码块，并被分解成位平面。自此，将分解成位平面的DWT绝对值称为“平面化的(planed)DWT绝对值”。在图30中，位深度为“0”的位被表示为作为最高位的MSB(最重要的位)，而位深度为“8”的位被表示为作为最低位的LSB(最不重要的位)。

注意，在图30中，编码块由表示以位深度“0”至“8”的9个块组成，并且将该编码块的每个位深度的块称为“编码平面”。对于此后量化处理，通过减少编码块的大小(即，Q×R像素的值)，可提高分辨率。

注意，用图30中非斜线表示的编码平面是这样的编码平面，其指示包含自编码平面在内的较高的(upper)编码块中，DWT绝对值的高位全为“0”(自此，称之为“零平面”)。同样，用斜线表示的编码平面表示这样的编码平面，即在其中，在自编码平面中至少出现一个“1”，或者在较高的编码平面中至少出现一个“1”。

ZBP编码单元252对于每个编码平面，从MSB侧向LBS侧方向检测零平面延续至哪个位深度。接着，如图31所示，ZBP编码单元252定义了位于最LSB侧的零平面作为零位平面(用垂直线表示的)。

ZBP编码单元252利用VLC表使得零位平面的位置经受可变长度编码，并产生零位编码的信息。例如，作为可变长度编码方法，使用Huffman编码、利用JPEG(联合图像专家组)2000的标签树编码等等。接着，ZBP编码单元252将平面化的DWT值和零位编码的信息提供给SB编码单元253。

来自ZBP编码单元252的平面化的DWT值和零位编码的信息、以及来自DWT单元251的正/负符号被提供给SB编码单元253。SB编码单元253根据零位编码的信息表示的零位平面的位置确定SIG块。

在此，如图32所示，零位平面的一个较低块，即，从MSB侧观察的最高位置上获得“1”的编码平面(用水平线表示的)，将被称为SIG平面。该SIG平面包含位于每个DWT绝对值内的最高位置处的“1”，并且因此，具有最高的重要性。

SB编码单元253利用VLC表对SIG平面中包含的每个位进行编码。同样，SB编码单元253以1个位为增量对SIG平面进行确认，并且在获得位“1”的情况下，对对应于该位所属于的DWT绝对值的正/负符号进行编码。注意，SB编码单元253不对对应于位“0”的正/负符号进行编码。

接下来，SB编码单元253将作为SIG编码信息的包含在编码的SIG平面中的SIG位、以及与“1”对应的正/负符号连同平面化的DWT值和零位编码的信息一起提供给RB编码单元254。

来自SB编码单元253的平面化的DWT值和SIG位编码的信息、以及来自DWT单元251的正/负符号被提供给RB编码单元254。RB编码单元254根据零位编码的信息表示的零位平面的位置确定RF平面。

在此，比SIG平面低的平面(用斜线表示的)将称作RF平面。顺便提一下，如以上所述，对于DWT绝对值，频率越低，重要性越高，而频率越高，重要性越低。同样，对于平面化的DWT值，MSB侧的位深度越浅，重要性越高，而LSB侧的位深度越深，重要性越低。

也就是说，如图33所示的图像所示，对于平面化的DWT值，位置越靠近左上方，重要性越高，而位置越靠近右下方，重要性越低。因此，RB编码单元254以从重要性对于平面化的DWT值较高的编码平面开始的按顺序对编码平面进行编码。

具体地，RB编码单元254从重要性较高的平面化的DWT值开始扫描，并根据SIG编码的信息而跳过零平面和SIG平面，从而只对RF平面的每个RF位进行编码。

此时，RB编码单元254利用VLC表对包含在RF平面中的每个位进行编码。同样，RB编码单元254以1个位为增量(即，对于每个RF位)而对RF平面进行确认，并且在得到位“1”的情况下，对较高的位进行确认。在较高的位不包含“1”的情况下，RB编码单元254对对应于RF位所属于的DWT绝对值的正/负符号进行编码。自此，被编码的RF平面和正/负符号将称为RF编码的信息。

换句话说，SB编码单元253和RB编码单元254从较高的位对DWT绝对值进行确认，并只有当第一次获得位“1”时，才对对应于DWT绝对值的正/负符号进行编码。

此时，RB编码单元254将通过从作为固定代码数量(总线传输增量)的码块的代码数量中减去用于色差信号利用位计数IBc和报头的代码数量而获得的值设定为亮度目标代码数量。接着，当作为零位编码的信息、SIG编码的信息和RF编码的信息的总代码数量的亮度总代码数量达到亮度目标代码数量时，RB编码单元254采用与该亮度目标代码数量匹配的范围作为RF编码的信息。接下来，RB编码单元254产生表示已经完成编码的位置的丢弃信息。

注意，在在总代码数量达到亮度目标代码之前已经完成对所有的RF平面的编码的情况下，RB编码单元254在此时结束编码，并产生丢弃信息。

也就是说，如图34所示，在在结束对所有的RF平面的编码之前亮度总代码数量已经达到亮度目标代码数量的情况下，RB编码单元254丢弃还未完成编码的RF平面。这样，RB编码单元254可以只丢弃具有较低重要性的位，并且相应地，图像质量的恶化能够保持为最小。

同样，RB编码单元254对RF平面进行编码，直到亮度总代码数量达到亮度目标代码数量为止，并在与亮度目标代码数量匹配的范围内产生RF编码的信息。这样，RB编码单元254可最大程度地使得通过将所选择的色差信号位流BScS和亮度量化的位流BSy3相加而得到的代码数量更接近于作为总线传输增量的码块的代码数量。

接下来，RB编码单元254将丢弃信息提供给DWT丢弃单元256，同时将零位编码的信息、SIG编码的信息、RF编码的信息和丢弃信息提供给报头产生单元255。

报头产生单元255通过拣选(sorting)丢弃信息作为报头而产生亮度量化的位流BSy3，并将其提供给亮度信号编码模式选择单元204。

在此，后量化单元203通过图像质量评估单元258产生亮度图像质量评估值EVy3，其表示使用后量化处理的亮度信号PY的图像质量恶化了多少。

顺便提下，图像质量会随着后量化处理而恶化的有损编码只涉及丢弃RF平面。因此，后量化单元203从由DWT单元251产生的平面化的DWP值中丢弃与亮度量化的位流BSy3丢弃的RF平面相对应的位平面。接下来，后量化单元203基于位平面已经被丢弃的平面化的DWT值(自此，称之为“丢弃的DWT值”)，产生本地亮度信号LY。

这样，在不需麻烦地解码所编码的信息(零位编码的信息、SIG编码的信息以及RF编码的信息)的情况下，后量化单元203可以产生本地亮度信号LY，其指示与对于解码此编码的信息的情况相同的图像质量恶化。

也就是说，后量化单元203简单地丢弃与被丢弃的RF平面相对应的平面化的DWT值，由此，与对亮度量化的位流BSy3进行解码的情况相比，可减小用于产生本地亮度信号LY的处理负荷。

具体地，DWT丢弃单元256临时性地存储从DWT单元251提供的平面化的DWT值。接下来，当丢弃从RB编码单元254提供的信息时，DWT丢弃单元256丢弃平面化的DWT值中的、与在RB编码单元254丢弃的RF平面相对应的位平面，以产生丢弃的DWT值，并将其提供给IDWT单元257。

另外，如图35所示，在被丢弃的RF平面中，DWT丢弃单元256对最高阶的位平面(用网格表示的)加“1”。此时，只有在每个RF位的高阶位平面包含“1”的情形下，DWT丢弃单元256才加“1”。另一方面，在高阶位平面不包含“1”的情况下，DWT丢弃单元256不加“1”。

也就是说，“1”被加到在高阶位平面中包含“1”的位，由此能够获得与舍入(rounding)被丢弃的位的情况相同的效果，并能改进关于平面化的DWT值的图像质量。在进行解码时执行该处理，从而可以提高亮度量化的位流BSy3的图像质量。

也就是说，DWT丢弃单元256执行与解码情形相同的处理，从而产生表示在被解码时的图像质量的本地亮度信号LY。

如图36所示，当被提供已经被增加一个位的被丢弃的DWT值时，IDWT单元257关于已经被增加了所述位的被丢弃的DWT值执行IDWT处理，从而将由3L、3H、2H和1H四个带组成的被丢弃的DWT值变换为空域。

另外，IDWT单元257将与在DC电平转移中被减去的值相同的值增加到变换为空域的被丢弃的DWT值，从而执行IDC电平转移处理，以产生本地亮度信号LY。接着，IDWT单元257将本地亮度信号LY提供给图像质量评估值计算单元258。

亮度信号PY和本地亮度信号LY被提供给图像质量评估值计算单元258。例如，图像质量评估值计算单元258计算亮度信号PY和本地亮度信号LY之间的均方差，从而计算出表示本地亮度信号LY关于亮度信号PY的图像质量恶化程度的值，并将其提供给亮度信号编码模式选择单元204，作为亮度图像质量评估值EVy3。

这样，后量化单元203以从具有较高重要性的位平面开始的顺序进行编码，并且在基于色差利用位计数IBc而超出亮度信号目标代码数量的情况下，以从具有较低重要性的位平面开始的顺序丢弃位该平面。

这样，后量化单元203可以最大程度地使得亮度量化的位流BSy3和所选择的色差信号位流BScS的总代码数量接近于目标代码数量(总线传输增量)。因此，在已经利用亮度量化的位流BSy3产生了码块的情况下，后量化单元203不必在该码块中添加虚拟数据。

1-5-3亮度信号编码模式选择单元的配置

下面，将描述亮度信号编码模式选择单元204。如图26所示，亮度高压缩位流BSy1和亮度图像质量评估值EVy1、亮度低压缩位流BSy2和亮度图像质量评估值EVy2、以及亮度量化的位流BSy3和亮度图像质量评估值EVy3被提供给亮度信号编码模式选择单元204。

亮度信号编码模式选择单元204对亮度图像质量评估值EVy1、EVy2和EVy3进行比较，并选择与最优(最小值)的亮度图像质量评估值EVy相对应的亮度信号编码模式作为所选择的亮度模式。

接着，亮度信号编码模式选择单元204将表示该亮度信号编码模式的亮度模式标识符加到与所选择的亮度模式相对应的亮度信号位流BSy，并将其提供给多路复用单元36，作为所选择的亮度信号位流BSyS。同样，亮度信号编码模式选择单元204产生表示所选择的亮度信号位流BSyS的代码数量的亮度信号利用位计数IBy，并将此提供给色差信号编码模式重新选择单元35。

在此，亮度信号编码单元34采用与亮度高压缩处理单元201和亮度低压缩处理单元202非常不同的技术来实现量化。因此，亮度信号编码模式选择单元204能够从具有不同图像质量恶化程度的三种类型的亮度信号位流BSy中选出具有最佳图像质量的亮度信号位流BSy，作为所选择的亮度信号位流BSyS。

也就是说，亮度信号编码模式选择单元204进行大量的不同的量化处理，由此，将关于由多种类型的图像质量组成的亮度信号PY的图像质量的恶化程度保持为最小。

注意，在存在多个具有相同亮度图像质量评估值EVy的亮度信号编码模式的情况下，亮度信号编码模式选择单元204选择其中亮度信号位流BSy的代码数量较小的亮度信号编码模式。

因而，在多个亮度信号位流BSy具有相同图像质量的情况下，亮度信号编码模式选择单元204能够抑制亮度信号位流BSy的代码数量。

1-5-4.详细处理程序

下面，将参照图38至41的流程图说明亮度信号编码处理程序RT6。

当被提供亮度信号PY、编码难度水平ID和色差信号利用位计数IBc时，亮度信号编码单元34开始亮度信号编码处理程序RT6，并进入步骤SP201。

在步骤SP201中，亮度信号编码单元34进入子程序SRT11(图19)中的步骤SP141，并当在高压缩模式下对亮度信号PY进行编码时，进入下一步骤SP202。

在步骤SP202中，亮度信号编码单元34进入子程序SRT11(图19)中的步骤SP141，并当在低压缩模式下对亮度信号PY进行编码时，进入下一步骤SP203。

现在，让我们假设，对于子程序SRT11而言，分别地，色差信号编码单元33被读取作为亮度信号编码单元34，色差信号PVU被读取作为亮度信号PY，本地色差信号LVU被读取作为本地亮度信号LY，以及色差信号位流BSc被读取作为亮度信号位流BSy。

而且，在步骤SP147中，亮度信号编码单元34进入表示在亮度信号编码单元中的量化模式选择处理程序的子程序SRT21(图39)中的步骤SP211。

在步骤SP211中，亮度信号编码单元34确定最大差值是否小于非线性量化模式阈值Th7。

在此，当得到肯定的结果时，这表明即使关于子块进行非线性量化处理，图像质量也不会明显恶化，因此，应当选择非线性量化模式作为所选择的量化模式。此时，亮度信号编码单元34进入下一步骤SP213。

另一方面，在步骤SP211中，当得到否定的结果时，这表明存在在关于子块进行非线性量化处理时图像质量会显著恶化的可能性。此时，亮度信号编码单元34进入下一步骤SP212。

在步骤SP212中，亮度信号编码单元34将亮度信号目标代码数量和已经被编码的子块的代码数量进行比较，并确定剩余代码是否不足。

在此，在已经得到肯定的结果的情况下，这表明应当选择非线性量化模式，以抑制从现在开始将要被编码的子块的代码数量。此时，亮度信号编码单元34进入下一步骤SP213。

另一方面，在已经在步骤SP212中得到否定的结果的情况下，这表明不必抑制子块的代码数量，并且因此，应当选择线性量化模式。此时，亮度信号编码单元34进入下一步骤SP214。

在步骤SP213中，当选择非线性量化模式作为量化模式时，亮度信号编码单元34进入子程序SRT11(图19)中的步骤SP148。

类似地，在步骤SP214中，当选择了线性量化模式作为量化模式时，亮度信号编码单元34进入子程序SRT11(图19)中的步骤SP148。

接下来，当结束子程序SRT11时，亮度信号编码单元34返回到亮度信号编码处理程序RT6(图38)中的步骤SP203。

在步骤SP203中，亮度信号编码单元34进入子程序SRT22(图40)中的步骤SP221，并关于亮度信号PY进行后量化处理。

在步骤SP221中，亮度信号编码单元34关于每个处理块的亮度信号PY进行DC电平转移和DWT处理，以计算出DWT绝对值和正/负符号。此外，当将该DWT绝对值分解为位平面以产生平面化的DWT值时，亮度信号编码单元34进入下一步骤SP222。

在步骤SP222中，对于平面化的DWP值，亮度信号编码单元34检测到最后的位平面作为零位平面，其中包括自位平面在内的所有的较高的位平面的位都为“0”。当对零位平面位置进行编码时，亮度信号编码单元34进入下一步骤SP223。

在步骤SP223中，当从较高的位平面开始计数，第一次检测到具有“1”的位平面作为SIG平面，并对该SIG平面的SIG位进行编码时，亮度信号编码单元34进入下一步骤SP224。

在步骤SP224中，亮度信号编码单元34检测到存在于比SIG平面更低位置的RF平面。接着，当对该RF平面的RF位进行编码，直到代码数量达到亮度信号目标代码数量为止、或者所有的RF位都被编码为止时，亮度信号编码单元34进入下一步骤SP225。

在步骤SP225中，当通过产生报头并且将该报头加至在步骤SP222、SP223和SP224中被编码的编码信息而产生亮度量化的位流BSy3时，亮度信号编码单元34进入下一步骤SP226。

在步骤SP226中，亮度信号编码单元34关于在步骤SP221中产生的平面化的DWT值，对与在步骤SP224中未被编码的RF平面相对应的位平面执行丢弃，以产生丢弃的DWT值。另外，当将在被丢弃的位平面的最高位平面处具有“1”的高位加“1”时，亮度信号编码单元34进入下一步骤SP227。

在步骤SP227中，当通过关于在步骤SP226中被加上所述位的被丢弃的DWT值执行IDWT处理和IDC电平转移处理而产生本地亮度信号LY时，亮度信号编码单元34进入下一步骤SP228。

在步骤SP228中，当计算出本地亮度信号LY关于亮度信号PY的恶化程度，作为亮度图像质量评估值EVy3时，亮度信号编码单元34进入亮度信号编码处理程序RT6(图38)中的步骤SP204。

在步骤SP204中，亮度信号编码单元34进入代表亮度信号编码模式选择处理程序的子程序SRT23(图41)中的步骤SP231，并从三个亮度信号编码模式中选出一个。

在步骤SP231中，当选择出这三个亮度信号编码模式中的与最佳的亮度图像质量评估值EVy相对应的亮度信号编码模式时，亮度信号编码单元34进入下一步骤SP232。

在步骤SP232中，亮度信号编码单元34确定是否存在在步骤SP231中选择的两个或更多亮度模式。

在此，在已经得到肯定的结果的情况下，这表明应当选择亮度信号编码模式中的一个。此时，亮度信号编码单元34进入下一步骤SP233。

在步骤SP233中，当在亮度信号编码模式中选择具有最少代码数量的一个亮度信号编码模式作为所选择的亮度模式时，亮度信号编码单元34进入下一步骤SP234。注意，在相同代码数量的情形中，可选择任意一种亮度信号编码模式。

另一方面，在已经在步骤SP232中得到否定的结果的情况下，这表明已经选择了一种亮度信号编码模式。此时，当选择该选择的亮度信号编码模式作为所选择的亮度模式时，亮度信号编码单元34进入下一步骤SP234。

在步骤SP234中，亮度信号编码单元34通过将亮度模式标识符作为报头增加到与所选择的亮度模式相对应的亮度信号位流BSy，而产生所选择的亮度信号位流BSyS。接着，亮度信号编码单元34返回到亮度信号编码处理程序RT6(图38)中的步骤SP204，并进入结束步骤，以结束亮度信号编码处理程序RT6。

1-6.色差编码模式重新选择单元的配置

下面，将对色差编码模式重新选择单元35的配置进行说明。色差编码模式重新选择单元35根据所选择的亮度信号位流BSyS的实际代码数量，重新选择色差信号位流BSc。

如图42所示，颜色指定信息IE、色差信号模式选择信息ISc、色差信号利用位计数IBc、亮度信号利用位计数IBy、色差高压缩位流BSc1、色差图像质量评估值EVc1、色差低压缩位流BSc2以及色差图像质量评估值EVc2被提供给色差编码模式重新选择单元35。

如上所述，亮度信号编码单元34在三种亮度信号编码模式中产生亮度信号位流BSy，以使代码数量与亮度信号目标代码数量匹配，并且还选择一种亮度信号编码模式。换句话说，亮度信号位流BSy的代码数量被控制为不超过亮度信号目标代码数量，但是不执行高精度比率控制，在高精度比率控制中，增加代码数量以接近于亮度信号目标代码数量。

对于亮度高压缩位流BSy1和亮度低压缩位流BSy2，例如，在子块的最大差值较小，并且仅非线性量化模式已经被频繁选择的情况下，存在每个处理块的代码数量可能小于亮度信号目标代码数量的可能性。

而且，对于亮度量化的位流BSy3，在DWT绝对值较小，并且RF平面的数量也较小的情况下，即使所有的RF平面都被编码，也存在每个处理块的代码数量可能比亮度信号目标代码数量少很多的可能性。

在此，已经选择了具有最佳图像质量的所选择的亮度信号位流BSyS，相应地，没有重新选择的余地了。因此，色差编码模式重新选择单元35根据亮度信号利用位计数IBy重新选择色差信号位流BSc。这样，色差编码模式重新选择单元35彻底利用作为固定代码数量(总线传输增量)的容许用于码块的代码数量，以将图像质量的恶化抑制为最小。

具体地，色差信号编码模式重新选择单元35的色差信号编码模式重新确定单元301根据颜色指定信息IE确认处理块是否为特定颜色块。在处理块为特定颜色块的情况下，色差编码模式重新选择单元35选择适合于该特定颜色块的低压缩模式，作为色差信号编码模式。

另外，在处理块不是特定颜色块的情况下，色差信号编码模式重新确定单元301将通过从总线传输增量中减去亮度信号利用位计数IBy表示的代码数量所得到的值设定为重新选择的目标代码数量。

接着，色差信号编码模式重新确定单元301重新选择在与所重新选择的目标代码数量匹配的范围内具有较佳图像质量的色差信号编码模式，并将其作为重新选择的色差模式。

首先，色差信号编码模式重新确定单元301根据色差信号模式选择信息ISc，确定通过色差信号编码模式选择单元113所选择的色差模式。

接下来，在已经选择了低压缩模式的情况下，色差信号编码模式重新确定单元301确认已经选择了具有较佳图像质量的色差信号编码模式。当确认低压缩模式的色差图像质量评估值EVc2比高压缩模式的色差图像质量评估值EVc1更优时，色差信号编码模式重新确定单元301无变化地重新选择低压缩模式。

即使在低压缩模式的色差图像质量评估值EVc2不比高压缩模式的色差图像质量评估值EVc1更优的情况下，在由于高压缩模式导致的代码数量与重新选择的目标代码数量不匹配的情形下，色差信号编码模式重新确定单元301也无变化地重新选择低压缩模式。

另一方面，在高压缩模式的色差图像质量评估值EVc1不比低压缩模式的色差图像质量评估值EVc2更优的情况下，并且在由于高压缩模式导致的代码数量与所重新选择的目标代码数量匹配的情形下，色差信号编码模式重新确定单元301重新选择具有较佳图像质量的高压缩模式。

另外，在已经选择了高压缩模式的情况下，当高压缩模式的色差图像质量评估值EVc1比低压缩模式的色差图像质量评估值EVc2更优时，色差信号编码模式重新确定单元301无变化地重新选择高压缩模式。

即使在高压缩模式的色差图像质量评估值EVc1不比低压缩模式的色差图像质量评估值EVc2更优的情况下，当由于低压缩模式导致的代码数量与所重新选择的目标代码数量不匹配时，色差信号编码模式重新确定单元301也无变化地重新选择高压缩模式。

另一方面，在高压缩模式的色差图像质量评估值EVc1不比低压缩模式的色差图像质量评估值EVc2更优，并且由于低压缩模式导致的代码数量与所重新选择的目标代码数量匹配的情况下，色差信号编码模式重新确定单元301重新选择具有较佳图像质量的低压缩模式。

接着，色差信号编码模式重新确定单元301将所重新选择的信息提供给切换单元302和色差信号模式标识符添加(adding)单元303，所重新选择的信息表示与所重新选择的色差编码模式相对应的色差信号位流BSc。

色差高压缩位流BSc1和色差低压缩位流BSc2被提供给切换单元302。切换单元302根据所述重新选择的信息，将与所重新选择的色差信号编码模式相对应的色差信号位流BSc提供给色差信号模式标识符添加单元303。

色差信号模式标识符添加单元303通过将代表由所述重新选择的信息表示的所重新选择的色差模式的所重新选择的色差模式标识符添加至所提供的色差信号位流BSc，而产生重新选择的色差信号位流BScS。色差信号模式标识符添加单元303将所重新选择的色差信号位流BScS提供给多路复用单元36。

如上所述，将与编码难度水平ID相对应的相同的值设置到色差信号编码单元33的色差高压缩处理单元111和色差低压缩处理单元112，作为色差目标代码数量。

在编码难度水平ID指示“高”的情况下，色差信号编码单元33只采用非线性量化模式作为所选择的量化模式，并利用不同的非线性表，产生由非线性量化的值组成的色差高压缩位流BSc1和色差低压缩位流BSc2。

在这种情形中，根据非线性表之间的差异，色差高压缩位流BSc1的代码数量少于色差低压缩位流BSc2的代码数量。色差信号编码单元33已选择了具有较少代码数量的色差高压缩位流BSc1作为所选择的色差信号位流BScS。

因此，在编码难度水平ID指示“高”，并且代码数量与所重新选择的目标代码数量匹配的情况下，色差信号编码模式重新选择单元35能重新选择具有较佳图像质量的色差低压缩位流BSc2作为所重新选择的色差信号位流BScR。

另外，在编码难度水平ID指示“低”的情况下，色差信号编码单元33关于具有由于非线性量化导致的较低图像质量恶化的子块执行非线性量化。在色差信号位流BSc的代码数量包含于色差目标代码数量的范围内，色差信号编码单元33关于具有由于非线性量化导致的较高图像质量恶化的子块执行线性量化。

在这种情况下，实质上，由于非线性表和量化精度的差异，色差高压缩位流BSc1的代码数量小于色差低压缩位流BSc2的代码数量。而且，实质上，与色差低压缩位流BSc2的图像质量相比，色差高压缩位流BSc1的图像质量恶化了。

因此，色差信号编码单元33实质上选择其中代码数量可能较大而且图像质量可能较佳的色差高压缩位流BSc1作为所选择的色差信号位流BScS。然而，存在如下情况：对于色差高压缩位流BSc1和色差低压缩位流BSc2，代码数量或者图像质量或者它们二者之间的关系颠倒(invert)。

在颠倒代码数量和图像质量之一的情况下，色差信号编码单元33优先考虑选择色差低压缩位流BSc2的原则。换句话说，存在如下可能性：色差信号编码单元33可选择与色差高压缩位流BSc1相比而具有低图像质量且少的代码数量的色差低压缩位流BSc2，作为所选择的色差信号位流BScS。

因此，即使在编码难度水平ID指示“低”的情况下，色差信号编码模式重新选择单元35，也可以重新选择在代码数量与所重新选择的目标代码数量匹配的范围内具有较佳的图像质量的色差高压缩位流BSc1，作为所重新选择的色差信号位流BScR。

这样，在所选择的亮度信号位流BSyS的代码数量被确定后，色差信号编码模式重新选择单元35重新选择色差信号位流BSc，其在包含所选择的亮度信号位流BSyS的代码数量的总代码数量与总线传输增量匹配的范围内具有最佳图像质量。

因此，色差信号编码模式重新选择单元35被配置为不降低图像质量，同时最大程度地利用作为码块所容许的代码数量(总线传输增量)。

下面，将参照图43中的流程图说明色差信号编码模式重新选择处理程序RT7。

当颜色指定信息IE、色差信号模式选择信息ISc、色差信号利用位计数IBc、亮度信号利用位计数IBy等已经被提供时，色差信号编码模式重新选择单元35开始色差信号编码模式重新选择处理程序RT7，并进入下一步骤SP301。

在步骤SP301中，色差信号编码模式重新选择单元35确定处理块是否为特定颜色块。

在此，在已经得到肯定的结果的情况下，这表明关于色差信号位流BSc的图像质量的恶化明显，并且相应地，应当选择具有低的图像质量恶化的低压缩模式。此时，色差信号编码模式重新选择单元35进入下一步骤SP305。

另一方面，在已经在步骤SP301中得到否定的结果的情况下，色差信号编码模式重新选择单元35进入下一步骤SP302。

在步骤SP302中，色差信号编码模式重新选择单元35根据色差信号模式选择信息ISc，确定是否已经选择了低压缩模式作为所选择的色差模式。

这里，在已经得到肯定的结果的情况下，这表明存在或许已经选择了具有较佳图像质量的色差信号编码模式的可能性。此时，色差信号编码模式重新选择单元35进入下一步骤SP303。

在步骤SP303中，色差信号编码模式重新选择单元35确定，与低压缩模式相对应的色差图像质量评估值EVc2是否比与高压缩模式相对应的色差图像质量评估值EVc1更佳，或者高压缩模式下的代码数量是否与所重新选择的目标代码数量不匹配。

这里，在已经得到肯定的结果的情况下，这表明低压缩模式下的图像质量比高压缩模式下的图像质量更佳，或者尽管在高压缩模式下的图像质量优于低压缩模式下的图像质量，但高压缩模式下的代码数量与所重新选择的目标代码数量不匹配，因此，应当无变化地选择低压缩模式。此时，色差信号编码模式重新选择单元35进入下一步骤SP305。

另一方面，在已经在步骤SP303中获得否定的结果的情况下，这表明高压缩模式下的图像质量优于低压缩模式下的图像质量，并且利用高压缩模式产生的色差高压缩位流BSc2的代码数量与所重新选择的目标代码数量匹配，因此，应当选择高压缩模式。此时，色差信号编码模式重新选择单元35进入下一步骤SP306。

另一方面，在已经在步骤SP302中得到否定的结果的情况下，色差信号编码模式重新选择单元35进入下一步骤SP304。

在步骤SP304中，色差信号编码模式重新选择单元35确定下列中的一个或另一个：与高压缩模式相对应的色差图像质量评估值EVc1是否比与低压缩模式相对应的色差图像质量评估值EVc2更佳；或者低压缩模式下的代码数量是否与所重新选择的目标代码数量不匹配。

这里，在已经得到肯定的结果的情况下，这表明高压缩模式下的图像质量比低压缩模式下的图像质量更优，或者尽管低压缩模式下的图像质量比高压缩模式下的图像质量更优，但低压缩模式下的代码数量与所重新选择的目标代码数量不匹配。因此，应当无变化地选择高压缩模式。此时，色差信号编码模式重新选择单元35进入下一步骤SP306。

另一方面，在已经在步骤SP304中得到否定的结果的情况下，这表明低压缩模式下的图像质量比高压缩模式下的图像质量更优，并且利用低压缩模式产生的色差低压缩位流BSc1的代码数量与所重新选择的目标代码数量匹配，因此，应当选择低压缩模式。此时，色差信号编码模式重新选择单元35进入下一步骤SP305。

在步骤SP305中，当选择低压缩模式作为所重新选择的色差模式时，色差信号编码模式重新选择单元35进入下一步骤SP307。

在步骤SP306中，当选择高压缩模式作为所重新选择的色差模式时，色差信号编码模式重新选择单元35进入下一步骤SP307。

在步骤SP307中，当通过将所重新选择的色差模式标识符添加到与所重新选择的色差模式相对应的色差信号位流BSc而产生重新选择的色差信号位流BScR时，色差信号编码模式重新选择单元35进入结束步骤，以结束色差信号编码模式重新选择处理程序RT7。

注意，上述的一系列编码处理可通过硬件或者软件执行。在采用软件实现编码处理的情况下，实质上在CPU和RAM中形成编码单元3。接着，在RAM中实施(render)存储在ROM中的编码程序，由此执行编码处理。

1-7.操作和优势

对于上述配置，在多个色差信号编码模式(高压缩模式和低压缩模式)中的每个中，图像处理装置1的编码单元3对每个处理块的色差信号PVU进行编码，以产生多个色差信号位流BSc(色差高压缩位流BSc1和色差低压缩位流BSc2)。编码单元3从高压缩模式和低压缩模式中选择一个色差信号编码模式作为所选择的色差模式。

编码单元3通过从作为固定的代码数量的总线传输增量中减去所选择的色差信号位流BScS的代码数量，计算出亮度目标代码数量，其中所选择的色差信号位流BScS是利用所选择的色差模式而编码的色差信号位流BSc。接下来，编码单元3对每个处理块的亮度信号PY进行编码，以使其不超过该亮度目标代码数量，以产生作为亮度信号位流的所选择的亮度信号位流BSyS。

编码单元3选择与一个色差信号位流BSc相对应的色差信号编码模式作为所选择的色差模式，其中，包括所选择的亮度信号位流BSyS的代码数量在内的总代码数量小于总线传输增量，并且关于色差信号PY的恶化也较小。

编码单元3将所选择的亮度信号位流BSyS和利用所重新选择的色差模式而编码的重新选择的色差信号位流BScR进行多路复用，以产生由具有总线传输增量的码块组成的位流BS。

换句话说，编码单元3预先产生多个色差信号位流BSc，并临时性地将假定期望的颜色信号位流BSc设定为所选择的色差信号位流BSc。编码单元3根据通过从总线传输增量中减去所选择的色差信号位流BSc的代码数量所得到的减法值，计算出亮度目标代码数量，以产生所选择的亮度信号位流BSyS，以便与该亮度目标代码数量匹配。编码单元3选择色差信号位流BSc作为所重新选择的色差信号位流BScR，其中，在通过从总线传输增量中减去所选择的亮度信号位流BSyS的代码数量而得到的所重新选择的目标代码数量的范围内，该色差信号位流BSc具有最佳的图像质量。

因而，编码单元3可利用色差信号位流BSc产生码块，其中，在包含所选择的亮度信号位流BSyS的代码数量的总代码数量不超过总线传输增量的范围内，该色差信号位流BSc具有最低恶化。结果，编码单元3能够保持用于位流BS的重新选择的色差信号位流BScR的恶化最小，由此，可提高作为整体的位流BS的图像质量。

编码单元3产生色差评估值EVc，其表示色差信号位流BSc关于色差信号PVU的恶化程度。编码单元3根据色差图像质量评估值EVc，在每个色差信号编码模式(高压缩模式和低压缩模式)中，识别到色差信号位流BSc关于色差信号PVU的恶化程度。

这样，编码单元3将色差图像质量评估值EVc进行比较，由此，可选择出具有最小恶化的色差信号位流BSc。

编码单元3对色差信号PVU和亮度信号PY进行分析，从而确定色差信号PVU是否包含大量的特定颜色(即，该处理块是否为特定颜色块)。在确定出该处理块为特定颜色块的情况下，编码单元3从多个色差信号编码模式中，选择与色差低压缩位流BSc2相对应的低压缩模式作为所选择的色差模式，色差低压缩位流BSc2具有关于色差信号PVU的较小恶化。

也就是说，编码单元3调整代码数量的分配，以向与特定颜色块对应的色差信号位流BSc分配大的代码数量。因此，作为位流BS整体而言，可抑制图像质量的恶化，并且因此，可使得位流BS的图像质量的恶化较不明显。

关于被确定为特定颜色块的色差信号PVU，编码单元3选择由作为色差模式选择单元的色差信号编码模式选择单元113选择的所选择的色差模式，作为重新选择的色差模式。

因此，编码单元3可以使用用于简单地重新选择具有关于色差信号PVU的较小的恶化的所选择的色差模式的简单处理，抑制所重新选择的色差信号位流BScR的图像质量的恶化。

编码单元3将低压缩模式作为色差编码模式，用于防止特定颜色恶化。在确定处理块为特定颜色块的情况下，编码单元3选择低压缩模式作为所选择的色差模式。

因此，编码单元3能够抑制被限定为颜色指定区域的特定颜色专门的图像质量的恶化，因此，可有效抑制关于特定颜色的图像质量的恶化。

编码单元3利用后量化处理对亮度信号PY进行编码，其中亮度信号PY被分解为位平面，并且丢弃具有较低重要性的位平面，以得到亮度目标代码数量。

编码单元3从具有最高重要性的位平面开始按顺序对作为被分解为位平面的亮度信号PY的平面化的DWT绝对值进行编码，并且当被编码的平面化的DWT绝对值达到亮度目标代码数量时，丢弃剩余的位平面。

因此，编码单元3可以只丢弃具有较低重要性的位平面，由此可保持由于量化导致的图像质量的恶化最小。另外，在所有的平面化的DWT绝对值已经被编码的情况下，编码单元3不执行量化，因此，防止图像质量恶化。另一方面，编码单元3可以执行编码，直到被编码的平面化的DWT绝对值达到亮度目标代码数量为止，由此，利用亮度目标代码数量，可最大程度地抑制图像质量的恶化。而且，编码单元3可将亮度量化的位流BSy3的代码数量大致设定为亮度目标代码数量。

编码单元3利用包括执行后量化处理的后量化模式在内的多种亮度信号编码模式(高压缩模式、低压缩模式和后量化模式)，对亮度信号PY进行编码。编码单元3从高压缩模式、低压缩模式和后量化模式中，选择与亮度信号位流BSy相对应的亮度信号编码模式作为所选择的亮度模式，该亮度信号位流Bsy具有关于亮度信号PY的最小恶化。

因此，编码单元3可利用与由大概相同的编码方法组成的高压缩模式和低压缩模式不同的编码方法，对亮度信号PY进行编码。结果，即使在图像质量随着编码方法之一而极度恶化的情况下，编码单元3也可采用其它编码方法进行编码，由此，可有效抑制关于由各种图像组成的亮度信号PY的图像质量的恶化。

编码单元3产生亮度图像质量评估值EVy，其表示与亮度信号PY相对应的亮度信号位流BSy的恶化程度。编码单元3根据亮度图像质量评估值EVy，利用亮度信号编码模式，对与亮度信号PY对应的亮度信号位流BSy的恶化程度进行识别。因此，编码单元3可通过比较亮度图像质量评估值EVy，选择具最小恶化的亮度信号位流BSy。

对于DWT绝对值，编码单元3通过丢弃与被亮度信号编码单元34丢弃的剩余位平面对应的位平面，产生作为被丢弃的位平面的被丢弃的DWT值，并计算出对应于亮度信号PY的该被丢弃的DWT值的恶化程度，作为亮度图像质量评估值EVy3。

因此，编码单元3能够准确地将由于其中已经丢弃了位平面的量化导致的图像质量的恶化表示为被丢弃的DWT值。因此，与通过对亮度量化的位流BSy3进行解码而计算出关于亮度信号PY的恶化程度的情形相比，编码单元3采用简单的处理，能够准确地计算出亮度图像质量评估值EVy3。

在在被丢弃的位平面中在位于最高位置的位平面的高位存在“1”的情况下，编码单元3将“1”加至被丢弃的DWT值，以根据已经被添加所述位的被丢弃的DWT值，产生亮度图像质量评估值EVy3。

因而，编码单元3能够执行与对于利用解码单元5进行解码而产生的亮度信号PY相同的处理，由此，在解码时的图像质量的恶化可被准确地反映在亮度图像质量评估值EVy3中。

编码单元3将作为经受正交变换的亮度信号PY的DWT绝对值分解成位平面。因此，编码单元3能够将位集中在低频率区域中，由此，可减轻在对位平面进行丢弃时导致的图像质量的恶化。

编码单元3通过执行DC电平转移将亮度信号PY表示为正/负符号和比该亮度信号少1位的值，并且将作为通过使得经受DC电平转移的亮度信号PY经受正交变换而产生的正交变换的值的DWT绝对值分解为位平面，作为亮度信号PY。

因此，编码单元3能将DWT绝对值处理为比该亮度信号少1位的值，并且相应地，位平面的位深度可被减少一级(hierarchy)，并且可以减少将要被丢弃的位平面的数量。

编码单元3可通过利用DWT作为正交变换，将位集中于低频区域，进一步有效地减轻在丢弃位平面时导致的图像质量的恶化。

编码单元3具有作为压缩编码模式的低压缩模式和高压缩模式，作为多种亮度信号编码模式。利用低压缩模式和高压缩模式，编码单元3将处理块分解为比该处理块更小的子块。

在预测到根据作为可减少代码数量的第一模式的非线性量化模式，子块的图像质量的恶化较小的情况下，编码单元3采用非线性量化模式对该子块进行编码。

在预测到根据非线性量化模式，子块的图像质量的恶化较大的情况下，并且在通过从亮度目标代码数量中减去已经被编码的子块的代码数量而获得的剩余代码数量不足，且该剩余代码数量没有余量(leeway)的情况下，编码单元3利用非线性量化模式对该子块进行编码。

在预测到根据非线性量化块，子块的图像质量的恶化较大的情况下，并且在所述剩余代码数量充足，且该剩余代码数量有余量的情形下，编码单元3利用增加代码数量的线性量化模式对该子块进行编码。因而，编码单元3对每个处理块的亮度信号PY进行编码，以使其少于亮度目标代码数量。

也就是说，在在不管剩余代码数量均可减少代码数量的非线性量化模式下，图像质量的恶化较小的情况下，编码单元3利用非线性模式对子块进行编码。编码单元3可产生具有较少代码数量的亮度信号位流BSy，而不造成图像质量的恶化。

接着，编码单元3可通过利用色差信号编码模式重新选择单元35重新选择色差信号位流BSc，将亮度信号位流BSy的代码数量的减少分配给色差信号位流BSc。

这样，编码单元3能够向所重新选择的色差信号位流BScR分配大的代码数量，而不降低亮度信号位流BSy的图像质量，由此，可提高作为整体的位流BS的图像质量。

编码单元3取决于像素之间的差值中的最大值是否较小，确定根据非线性量化模式，子块的图像质量的恶化是否较小。编码单元3利用非线性量化模式对子块的像素之间的差值进行编码，并利用线性量化模式对子块的像素进行编码。因此，编码单元3可通过准确地确定由于非线性模式导致的图像质量的恶化，选择适当的量化模式。

编码单元3利用线性量化模式，通过经受线性量化对像素值进行编码，而利用非线性量化模式，通过经受非线性量化对像素之间的差值进行编码。因此，编码单元3可以对在非线性量化模式中图像质量容易恶化的图像进行编码，以尽可能轻微地降低图像质量，同时在非线性量化模式中有效地减少代码数量。

编码单元3通过利用信号分析单元32对亮度信号PY进行分析，当利用高压缩模式或者低压缩模式对处理块进行编码时，预测亮度信号位流BSy的代码数量。

编码单元3具有作为色差压缩编码模式的高压缩模式和低压缩模式，作为多种色差信号编码模式。利用高压缩模式和低压缩模式，编码单元3将每个处理块的色差信号PVU分为比该处理块更小的子块。

在预测到根据作为可减少代码数量的第三模式的非线性量化模式，子块的图像质量恶化较小的情况下，编码单元3采用非线性量化模式对子块进行编码。

在预测到根据非线性量化模式，子块的图像质量的恶化较大的情况下，且在通过从色差目标代码数量中减去已经被编码的子块的代码数量而获得的剩余代码数量不充足，且该剩余代码数量没有余量的情形下，编码单元3采用非线性量化模式对该子块进行编码。

在预测到根据非线性量化模式，子块的图像质量的恶化较大的情况下，且在所述剩余代码数量充足，且该剩余代码数量有余量的情形下，编码单元3利用增加代码数量的量化模式对该子块进行编码。

在预测到当对亮度信号PY进行编码时代码数量较大的情况下，编码单元3利用非线性量化模式对处理块中的所有子块进行编码。因此，编码单元3可最大程度地减少色差位流BSc的代码数量，并能够向具有关于图像质量的很大影响的亮度信号位流BSy分配大的代码数量。

编码单元3通过对亮度信号PY进行分析，预测亮度信号位流BSy的代码数量，作为编码难度水平ID。编码单元3根据编码难度水平ID，设定作为色差信号位流BSc的目标代码数量的色差目标代码数量，并对色差信号PVU进行编码，以将色差信号位流BSc的代码数量抑制为比色差目标代码数量少。

因而，编码单元3可调整亮度信号位流BSy的代码数量和色差信号位流BSc的代码数量之间的平衡。

编码单元3设定色差目标代码数量，以优先向亮度信号位流BSy分配代码数量。因此，编码单元3可向易显眼的亮度信号位流BSy分配大的代码数量，由此，可使得作为整***流BS的图像质量的恶化较不明显。

另外，图像处理设备1对于每个码块，将由编码单元3产生的位流BS存储在存储器4中，通过解码单元5对其进行解码，并且将其提供给图像处理单元2。

现在，例如对于普通的编码方法，如JPEG(联合图像专家组)、AVC(高级视频编码)等等，尽管压缩效率较高，但是处理负荷非常大，这降低存储器的访问效率。另外，这些编码方法以画面为增量进行编码，因此，很难开始以块为增量或者以总线传输为增量进行编码。

图像处理装置1能够通过由简单配置组成的编码单元3快速地对图像数据BL进行编码。因此，图像处理装置1能够减少存储器4的容量，并且还能以图像数据的最小恶化而对该图像数据BL进行编码。

根据上述配置，编码单元3利用多个色差信号编码模式，产生多个色差信号位流BSc。编码单元3将通过从总线传输增量中减去该色差信号位流BSc的代码数量而得到的剩余量设定为亮度信号位流BSy的亮度目标代码数量，以产生该亮度信号位流BSy。

当产生亮度信号位流BSy时，编码单元3根据通过从总线传输增量中减去实际产生的亮度信号位流BSy的代码数量而获得的剩余代码数量，从多个色差编码模式中重新选择出色差编码模式。

因此，在产生亮度信号位流BSy时，编码单元3能够将通过将所选择的亮度信号位流BSyS和所重新选择的色差信号位流BScR进行相加而得到的代码数量大概设定为总线传输增量。因此，编码单元3可具有简单的配置，而不需要执行高精度比率控制，其中亮度信号位流BSy的代码数量可被调整以接近于亮度目标代码数量。

2.其它实施例

注意，对于以上实施例，关于将高压缩模式和低压缩模式作为多个色差信号编码模式的情形已经进行了描述。但是本发明并不局限于此，并且该两者的数量也均不受限制，相反，可以包含由其它多种类型组成的色差信号编码模式。

另外，对于上述实施例，关于亮度信号编码单元34具有3个亮度信号编码模式的情形已经进行了描述。本发明并不局限于此，相反，亮度信号编码单元34可具有至少一个亮度信号编码模式，并且其数量不受限制。而且，亮度信号编码模式并不局限于高压缩模式、低压缩模式和后量化模式，相反地，可包含由多种类型组成的亮度信号编码模式。

此外，对于上述实施例，关于根据编码难度水平ID和颜色指定信息IE来选择所选择的色差信号位流BScS的情形已经进行了描述。本发明并不局限于此，相反地，关于所选择的色差信号位流BScS的选择方法，不存在特定限制。例如，可根据编码难度水平ID和颜色指定信息IE中的一个，或者根据其它因素来选择所选择的色差信号位流BScS。

此外，对于上述实施例，已经关于如下情况而进行了描述：其中，采用高压缩模式和低压缩模式，通过根据被编码的亮度信号PY的代码数量而在线性量化模式和非线性量化模式之间进行切换，对亮度信号进行编码以使其少于亮度目标代码数量。本发明并不局限于此，相反，关于代码数量的调整方法，不存在特定的限制。例如，可通过切换非线性表而对代码数量进行调整。而且，关于色差信号PVU也是如此。

此外，对于上述实施例，关于通过均方差方法得到色差图像质量评估值EVc和亮度图像质量评估值EVy的情形，已经进行了描述。本发明并不局限于此，相反地，可采用其它的不同类型的方法计算出色差图像质量评估值EVc和亮度图像质量评估值EVy。而且，对于本发明，应当对图像质量的恶化程度进行评估，而且不必须产生色差图像质量评估值EVc和亮度图像质量评估值EVy。

此外，对于上述实施例，关于通过信号变换单元31将图像数据分为亮度信号PY和色差信号PVU的情形，已经进行了描述。本发明并不局限于此，相反地，例如，可输入预先被分为亮度信号PY和色差信号PVU的图像数据。

此外，对于上述实施例，关于对于图像质量的恶化明显的特定颜色块而选择低压缩模式的情形，已经进行了描述。本发明并不局限于此，相反，例如，在高压缩模式和低压缩模式中，可选择色差信号编码模式中具有较佳图像质量的一个。而且，对于低压缩模式，不必须对特定颜色进行调整以防止特定颜色恶化。

此外，对于上述实施例，关于根据被丢弃的DWT值来产生亮度图像质量评估值EVy3的情形，已经进行了描述。本发明并不局限于此，相反地，可根据被解码的亮度量化的位流BSy3来产生亮度图像质量评估值EVy3。

此外，对于上述实施例，关于经受DWT处理的亮度信号PY被分解为位平面的情形，已经进行了描述。本发明并不局限于此，相反地，亮度信号PY可无变化地被分解为位平面。而且，可采用不同类型作为正交变换，并且例如，可进行DCT(离散余弦变换)处理。

此外，对于上述实施例，关于使得亮度信号PY经受DC电平转移处理的情形，已经进行了描述。本发明并不局限于此，不必须采用DC电平转移处理。

此外，对于上述实施例，关于产生由128字节的总线传输增量组成的码块的情形，已经进行了描述。本发明并不局限于此，其大小并不受限制。而且，码块并不必须与总线传输增量相同。

此外，对于上述实施例，关于将亮度信号位流BSy的代码数量和色差信号PVU的代码数量预测作为编码难度水平ID的情形，已经进行了描述。本发明并不局限于此，可以只预测亮度信号位流BSy的代码数量，或者不必须预测亮度信号位流BSy的代码数量。另外，可利用与最大差值的大小不同的方法来计算编码难度水平ID。

此外，对于上述实施例，关于优先向亮度信号位流BSy分配代码数量的情形，已经进行了描述。本发明并不局限于此，并且例如，可优先向色差信号位流BSc分配代码数量。

此外，对于上述实施例，关于已经被计算出差值的第一像素设定为中心像素的情形(图11)，已经进行了描述。本发明并不局限于此，并且例如，可开始位于一个末端部分上的像素。

此外，对于上述实施例，用立方体表示颜色指定区域。本发明并不局限于此，相反地，颜色指定区域的形状不受限制，并且可被定义为立体球体、椭圆体、各种多边形对象等等。而且，可采用不同于Y信号、V信号和U信号的信号来进行定义。优选地根据亮度信号和色差信号来进行定义。

此外，对于上述实施例，关于如下情况已经进行了描述：对于在亮度信号编码单元中的量化模式选择处理，未考虑编码难度水平ID。本发明并不局限于此，可以考虑编码难度水平ID。

此外，对于上述实施例，关于在后量化处理时使得位平面经受可变长度编码的情形，已经进行了描述。本发明并不局限于此，并且可利用FLC(固定长度编码)方法。另外，通常可采用用于可变长度编码的VLC表，或者可利用适用于各种类型的处理的VLC表。

此外，对于上述实施例，关于RB编码单元254对所有的位平面进行扫描而跳过在后量化处理时被编码的位平面的情形，已经进行了描述。本发明并不局限于此，相反，例如，可进行如下布置：其中，只对未被编码的位平面进行扫描。另外，即使不从被编码的信息进行确定，也可以利用例如表示是否将要被处理的DONE平面，来确定位平面是否已经被编码。

此外，对于上述实施例，关于通过改变子块的大小来预先调整代码数量的情形，已经进行了描述。本发明并不局限于此，相反地，例如，可改变非线性表。

此外，对于上述实施例，关于根据色差编码模式重新选择处理程序RT7来选择所重新选择的色差信号位流BScR的情形，已经进行了描述。本发明并不局限于此，相反，例如，可以进行如下布置：其中，在对色差信号位流BSc的代码数量是否是否与所重新选择的目标代码数量匹配进行确定后，选择色差信号位流BSc中的具有适当的图像质量评估值EVc的一个。也就是说，可选择其代码数量与所重新选择的目标代码数量的范围相匹配的、具有较佳图像质量的色差信号位流。

此外，对于上述实施例，关于编码程序等被预先存储在ROM或者硬盘等中的情形，已经进行了描述，但是本发明并不局限于此，相反，编码程序等可被安装到来自例如记忆棒(Sony corp.的注册商标)的外部存储介质的闪存等中。而且，数据库生成程序等可通过USB(通用串行总线)、以太网、或者如IEEE(电气和电子工程师协会)802.11a/b/g等的无线LAN(局域网)从外部获得，并且此外，可通过陆地数字电视广播或者BS(广播卫星)数字电视广播而分发。

此外，对于上述实施例，关于作为编码设备的编码单元3由作为色差信号编码单元的色差信号编码单元3、作为色差模式选择单元的色差信号编码模式选择单元113、作为亮度信号编码单元的亮度信号编码单元34、作为色差模式重新选择单元的色差信号编码模式重新选择单元35以及作为多路复用单元的多路复用单元36构成的情形，已经进行了描述。本发明并不局限于此，相反，本发明的编码设备可由具有其它不同类型的配置的、色差信号编码单元、色差模式选择单元、亮度信号编码单元、色差模式重新选择单元以及多路复用单元构成。

此外，对于上述实施例，关于作为图像处理装置的图像处理装置1由作为编码单元的编码单元3、作为存储器的存储器4、作为解码单元的解码单元5以及作为图像处理单元的图像处理单元2构成的情形，已经进行了描述。本发明并不局限于此，相反，本发明的图像处理设备可由具有其它不同类型的配置的、编码单元、存储器、解码单元以及图像处理单元构成。

本申请包含与2009年1月7日在日本专利局提交的日本在先专利申请JP2009-001892所公开的主题相关的主题，通过引用将其全部内容合并在此。

所属技术领域的技术人员应该明白，在多种修改、组合、次级组合和变更在所附的权利要求书的范围或者与之等同的范围内的情况下，取决于设计要求和其它因素，可进行所述多种修改、组合、次级组合和变更。

Claims (20)

1.一种编码设备，包括：

色差信号编码单元，其被配置为在多个色差信号编码模式下对每个处理块的色差信号进行编码，以产生多个色差信号位流；

色差模式选择单元，其被配置为从所述多个色差信号编码模式中选择色差信号编码模式，作为所选择的色差模式；

亮度信号编码单元，其被配置为基于通过从固定代码数量中减去采用由所述色差模式选择单元选择的所述选择的色差模式进行编码的色差信号位流的代码数量而得到的减法值，计算亮度目标代码数量，并对所述每个处理块的亮度信号进行编码，以便等于或者小于该亮度目标代码数量，以产生亮度信号位流；

色差模式重新选择单元，其被配置为选择与所述色差信号位流相对应的色差信号编码模式作为重新选择的色差模式，其中，该色差信号位流与所述亮度信号位流的代码数量的总代码数量等于或者小于所述固定代码数量，并且关于所述色差信号的恶化较小；以及

多路复用单元，其被配置为将所述亮度信号位流和采用所述重新选择的色差模式进行编码的色差信号位流进行多路复用，以产生由具有所述固定代码数量的码块组成的位流。

2.根据权利要求1的编码设备，其中所述色差信号编码单元产生色差图像质量评估值，其表示所述色差信号位流关于所述色差信号的恶化程度；

并且其中，所述色差模式重新选择单元基于由所述色差图像质量评估值产生单元产生的所述色差图像质量评估值，在每个所述色差信号编码模式下，对所述色差信号位流关于所述色差信号的恶化程度进行识别。

3.根据权利要求1的编码设备，其中所述信号分析单元通过分析所述色差信号和亮度信号，确定所述处理块是否包括大量的恶化易见的特定颜色；

并且其中，在由所述信号分析单元确定出所述处理块包含大量的所述特定颜色的情形下，所述色差模式选择单元从所述多个色差信号编码模式中选择与关于所述色差信号的恶化较小的所述色差信号位流相对应的色差信号编码模式，作为所选择的色差模式。

4.根据权利要求3的编码设备，其中，对于由所述信号分析单元确定出包含大量所述特定颜色的所述色差信号，所述色差模式重新选择单元选择由所述色差模式选择单元选择的所选择的色差模式，作为重新选择的色差模式。

5.根据权利要求4的编码设备，其中所述色差信号编码单元具有防止所述特定颜色恶化的色差信号编码模式；

并且其中，在由所述信号分析单元确定出所述色差信号包含大量的特定颜色的情况下，所述色差模式选择单元选择防止所述特定颜色恶化的色差信号编码模式，作为所述选择的色差模式。

6.根据权利要求1的编码设备，其中，所述亮度信号编码单元通过后量化处理对所述亮度信号进行编码，其中所述亮度信号被分解为位平面，并且丢弃具有较低重要性的位平面，以获得所述亮度目标代码数量。

7.根据权利要求6的编码设备，其中所述亮度信号编码单元以从具有较高重要性的位平面开始的顺序对被分解为所述位平面的亮度信号进行编码，并当被编码的亮度信号的代码数量达到所述亮度目标代码数量时，丢弃剩余的位平面。

8.根据权利要求6的编码设备，其中所述亮度信号编码单元在包括执行后量化处理的后量化模式在内的多个亮度信号编码模式下，对所述亮度信号进行编码；

并且，该编码设备还包括：

亮度模式选择单元，其被配置用于从所述多个亮度信号编码模式中，选择与具有关于所述亮度信号的最小恶化的亮度信号位流相对应的亮度信号编码模式，作为所选择的亮度模式。

9.根据权利要求8的编码设备，其中，所述亮度信号编码单元产生亮度图像质量评估值，其表示所述亮度信号位流关于所述亮度信号的恶化程度；

并且其中，所述亮度模式选择单元基于由所述亮度图像质量评估值产生单元产生的所述亮度图像质量评估值，在所述亮度信号编码模式中，对所述亮度信号位流关于所述亮度信号的恶化程度进行识别。

10.根据权利要求9的编码设备，其中，对于所述被分解为位平面的亮度信号，所述亮度图像质量评估值产生单元通过丢弃与被所述亮度信号编码单元丢弃的所述剩余位平面相对应的位平面，产生丢弃的位平面，并计算出该丢弃的位平面关于所述亮度信号的恶化程度，作为所述亮度图像质量评估值。

11.根据权利要求10的编码设备，其中，对于所述被分解为位平面的亮度信号，所述亮度图像质量评估值产生单元丢弃与被所述亮度信号编码单元丢弃的所述剩余位平面相对应的位平面，并且随后，将在部署在被丢弃的位平面的最重要的位置上的位平面中的较高位包含“1”的情况下被加“1”的位平面视为所述丢弃的位平面。

12.根据权利要求6的编码设备，其中所述亮度信号编码单元将经受正交变换的所述亮度信号分解为所述位平面。

13.根据权利要求7的编码设备，其中所述亮度信号编码单元通过执行直流电平转移，将所述亮度信号表示为正/负符号和比所述亮度信号少1位的值，并将通过使得所述经受所述直流电平转移的亮度信号经受正交变换而产生的正交变换值分解成所述位平面，作为所述亮度信号。

14.根据权利要求8的编码设备，其中所述亮度信号编码单元具有亮度压缩编码模式作为所述多个亮度信号编码模式；

并且其中，对于所述亮度压缩编码模式，所述每个处理块的所述亮度信号被分割为比该处理块小的子块，并且在预测到根据能够减少代码数量的第一模式，所述子块的图像质量的恶化较小的情况下，采用所述第一模式对子块进行编码；

并且其中，在预测到根据所述第一模式，所述子块的图像质量的恶化较大，并且通过从所述亮度目标代码数量中减去已经被编码的子块的代码数量而得到的剩余代码数量没有余量的情况下，采用所述第一模式对所述子块进行编码；

并且其中，在预测到根据所述第一模式，所述子块的图像质量的恶化较大，并且所述剩余代码数量有余量的情况下，采用代码数量变多的第二模式对所述子块进行编码，从而对所述每个处理块的亮度信号进行编码，以使其等于或小于亮度目标代码数量。

15.根据权利要求14的编码设备，其中，取决于像素的差值的最大值是否较小，所述亮度信号编码单元确定根据所述第一模式，所述子块的图像质量的恶化是否较小，

在所述第一模式下对所述子块的像素之间的差值进行编码，

在所述第二模式下对所述子块的所述像素进行编码。

16.根据权利要求15的编码设备，其中所述亮度信号编码单元在所述第一模式下通过使得像素之间的所述差值经受非线性量化而执行编码，并且在第二模式下通过使得所述像素值经受线性量化而执行编码。

17.根据权利要求1的编码设备，还包括：

信号分析单元，其被配置为通过分析所述亮度信号，预测当在所述压缩模式下关于所述处理块进行编码时的代码数量；

其中，所述色差信号编码单元具有色差压缩编码模式作为所述多个色差信号编码模式；

并且其中，对于该色差压缩编码模式，所述每个处理块的所述色差信号被分割为比该处理块小的子块，并且在预测到根据能减少代码数量的第三模式，所述子块的图像质量的恶化较小的情况下，采用所述第三模式对子块进行编码；

在预测到根据所述第三模式，所述子块的图像质量的恶化较大，且通过从所述色差目标代码数量中减去已经被编码的子块的代码数量而得到的剩余代码数量没有余量的情况下，采用所述第三模式对所述子块进行编码；

在预测到根据所述第三模式，所述子块的图像质量的恶化较大，且所述剩余代码数量有余量的情况下，采用代码数量大的第四模式对子块进行编码，并且

在预测到当对所述亮度信号进行编码时的代码数量较大的情况下，采用所述第三模式对所述处理块中的所有子块进行编码。

18.一种编码方法，包括以下步骤：

在多个色差信号编码模式中对每个处理块的色差信号进行编码，以产生多个色差信号位流；

第一选择，即，从所述多个色差信号编码模式中选择色差信号编码模式作为所选择的色差模式；

通过从固定代码数量中减去采用由在所述第一选择中选择的所述选择的色差模式进行编码的色差信号位流的代码数量，计算出亮度目标代码数量，并对所述每个处理块的亮度信号进行编码，以等于或者小于该亮度目标代码数量，以产生亮度信号位流；

第二选择，即，选择与所述色差信号位流相对应的色差信号编码模式作为重新选择的色差模式，其中，该色差信号位流与所述亮度信号位流的代码数量的总代码数量等于或者小于所述固定代码数量，并且关于所述色差信号的恶化也较小；以及

将所述亮度信号位流和采用所述重新选择的色差模式进行编码的色差信号位流进行多路复用，以产生由具有所述固定代码数量的码块组成的位流。

19.一种存储程序的记录介质，该程序使得计算机执行以下步骤：

在多个色差信号编码模式下对每个处理块的色差信号进行编码，以产生多个色差信号位流；

第一选择，即，从所述多个色差信号编码模式中选择色差信号编码模式作为所选择的色差模式；

通过从固定代码数量中减去采用由在所述第一选择中选择的所述选择的色差模式进行编码的色差信号位流的代码数量，计算出亮度目标代码数量，并对所述每个处理块的亮度信号进行编码，以等于或者小于该亮度目标代码数量，以产生亮度信号位流；

第二选择，即，选择与所述色差信号位流相对应的色差信号编码模式作为重新选择的色差模式，其中，该色差信号位流与所述亮度信号位流的代码数量的总代码数量等于或者小于所述固定代码数量，并且关于所述色差信号的恶化也较小；以及

将所述亮度信号位流和采用所述重新选择的色差模式进行编码的色差信号位流进行多路复用，以产生由具有所述固定代码数量的码块组成的位流。

20.一种图像处理装置，包括：

信号分离单元，其被配置为将图像数据分离为色差信号和亮度信号；

编码设备，包括：

色差信号编码单元，其被配置为在多个色差信号编码模式中对每个处理块的色差信号进行编码，以产生多个色差信号位流；

色差模式选择单元，其被配置为从所述多个色差信号编码模式中选择色差信号编码模式作为所选择的色差模式；

亮度信号编码单元，其被配置为通过从固定代码数量中减去采用由所述色差模式选择单元选择的所述选择的色差模式进行编码的色差信号位流的代码数量，计算出亮度目标代码数量，并对所述每个处理块的亮度信号进行编码以等于或者小于该亮度目标代码数量，以产生亮度信号位流；

色差模式重新选择单元，其被配置为选择与所述色差信号位流相对应的色差信号编码模式作为重新选择的色差模式，其中，该色差信号位流与所述亮度信号位流的代码数量的总代码数量等于或者小于所述固定代码数量，并且关于所述色差信号的恶化也较低；和

多路复用单元，其被配置为将所述亮度信号位流和采用所述重新选择的色差模式进行编码的色差信号位流进行多路复用，以产生由具有所述固定代码数量的码块组成的位流；

存储器，其被配置为存储所述每个码块的所述位流；

解码单元，其被配置为对于所述每个码块，从所述存储器中读出并解码所述位流，以产生所述图像数据；以及

图像处理单元，其被配置为对由所述解码单元解码的所述图像数据进行处理。

Images