CN1232100C - 图像编码设备和图像解码设备 - Google Patents

Abstract

本发明的一个目的是提供一种图像编码设备及图像解码设备，其不使用掩模图像而通过执行处理来降低在解码器末端处噪声的出现，从而确保借助于不可逆编码的透过色功能。灰度级变换单元(35)将原始图像透过色的灰度级进行变换，随后编码单元(36)对图像执行不可逆编码。透过色判断单元(39)仅基于亮度信息便判断出被解码图像的透过色，且上采样单元(37)真实地恢复一个目标的轮廓，而不伴随有由于子采样所导致的分辨率恶化。因此有可能获取一个具有较小噪声的高质量图像。

Description

图像编码设备和图像解码设备

发明领域

本发明涉及一种图像编码设备和一种图像解码设备，其利用图像的一个专用色作为透过色(transmitting color)，用于通过具有高压缩比的不可逆编码合成具有背景图像的目标图像。

发明背景

为了满足数字图像处理技术的进步，近年来利用另一图像作为背景图像，从图像读取装置如数字相机或扫描仪来合成一个输入图像的合成图像合成处理一直在被不断地加以采用。在电视广播和电影的情况下，利用相机拍摄站在蓝或绿背景下的某个人的照片，然后通过采用所谓的色度键方法，利用国外等景物对在所拍摄视频内背景的色部分进行合成，并且由此产生一个如同所述个人处于所述那个国家的视频。

在因特网的WWW浏览器中，被描绘出轮廓的物体的图像也是利用背景图像进行合成的。在这种情况下，图像合成是在用户的个人计算机上来完成。然而，由于被放置在前景中的图像是通过因特网从远程服务器中被发送，所以为了节省传输时间图像被压缩。放置在前景中被描绘出轮廓的物体被称为目标，并且所述目标四周充满着专用的透过色，这样只有通过当目标与背景图像被叠加时变为透明的透过色部分，背景才具有可视性。GIF(图形互换格式)和PNG(可携带网络图形)被公知为一种标准图像格式，所述标准图像形式实现在上述方法中的透过色并且与WWW浏览器共同使用。所述这两种压缩方法采用可逆压缩，借此图像不因压缩而改变。

对于彩色传真机，存在一种被称为MRC(Mixed Raster Content)(混合光栅内容)的任选编码方法，所述方法保证按照上述相同方法的图像合成。根据MRC，一个图像被分成三层：前层、掩模层以及后层，并且每层通过不同的方法被编码。所述前层和后层是彩色图像且所述掩模层是二元图像，并且在解码器的末端来选择前层和后层中的哪一个即将被显示。

同样，用于对运动图像进行编码的MPEG(Moving Picture CodingExperts Group)(运动照片编码专家组)-4被提供一个基于目标的编码功能，所述功能保证按照上述相同方法的图像合成。根据所述基于目标的编码，除了一个包含目标的图像以外，还单独使用一个被称为α(alpha)平面的图像以规定所述目标周围的透明部分。所述α平面包括一个二元图像的二元α平面及灰度级α平面。所述灰度级α平面作为任选被用来规定半透明度，且不可逆编码被应用。所述二元α平面是必要的且可逆编码被应用。

图7示出具有所规定透过色5的原始图像1，且图8示出通过不可逆编码而获得的被解码图像2。为什么相关技术利用透过色以使用如同FIF和PNG的可逆编码进行图像合成的原因被说明如下。即，即使当规定了一个透过色时，在不可逆编码情况下，在未编码原始图像1和被解码图像2之间的像素密度被改变，尤其是这将引起边缘附近的噪声，并且由此在目标4周围产生一个非透过色部分的部分。在图7和图8两图中，灰色部分代表透过色。然而，可逆编码具有的问题是：其压缩比低于不可逆编码的压缩比。

为了使用不可逆编码而同时避免在所述目标4周围出现噪声6，则除了即将被合成的图像以外，还单独地采用一个如同以MRC和MPEG-4形式的任意形状编码的掩模图像。在图9的掩模图像3中，白色部分规定对一目标的显示且黑色部分规定对背景的显示。然而，虽然掩模图像是一个二元图像，但是它必须被可逆地编码，这增加了总的编码数量。此外，在解码器末端利用两个或多个编码方法来合成图像的需要不仅使设备变得复杂，而且要求有较大的存储器容量，因此造成制造成本增加的问题。

此外，在不可逆编码的许多情况下，一个图像在被编码之前被分成一个亮度(luminance)组分和两个色差组分，并且在所述色差组分上进行子采样。这是因为人的肉眼对色差异变化较亮度的空间变化而言具有较弱的敏感性。因此，在自然图像的情况下，当一个人看见在解码时刻一个图像通过上采样被恢复到原始分辨率时，他几乎很难注意到图像质量的恶化；此外，几乎不可能识别从执行子采样的数据所恢复的图像与未执行子采样的数据所恢复的图像之间的差异。即使在不可逆编码方法中，通过降低压缩比可以抑制噪声的出现。然而，由于当子采样被执行时分辨率恶化，所以当显示字符、一个目标的形状等时，降低压缩比并不适用。

发明概述

因此，本发明的一个目的是提供一种图像编码设备及图像解码设备，其不使用掩模图像而通过执行处理来降低在解码器末端处噪声的出现，从而确保借助于不可逆编码的透过色功能。

本发明提供一种图像编码设备，其包括：用于将原始图像透过色的亮度灰度级进行变换的灰度级变换装置；以及用于对图像进行不可逆编码的图像编码装置，其中所述图像的灰度级已经被所述灰度级变换装置所变换。

根据本发明，原始图像透过色的灰度级被所述灰度级变换装置所变换，随后执行具有高压缩比的不可逆编码。因此有可能利用较小的编码数量而不采用掩模图像对一个目标进行编码。同样，由于可以不再需要使用掩模图像，所以结构可以更加简单，并且因此成本可以得到节省。

在本发明中，优选地，所述灰度级变换装置采用一个表示最暗黑色的值作为透过色的亮度灰度级。

在本发明中，优选地，所述灰度级变换装置采用一个表示最亮白色的值作为透过色的亮度灰度级。

在本发明中，优选地，所述灰度级变换装置将存在于一个预定范围内原始图像的透过色的亮度灰度级变换到其外部。

此外，本发明提供一种图像解码装置，其包括：用于对已编码的图像进行解码的图像解码装置；以及透过色判断装置，其用于从在所述图像解码装置中被解码的图像的亮度信息中判断透过色。

根据本发明，被编码的图像在图像解码装置中被解码，并且所述透过色判断装置仅利用亮度信息便判断出所解码图像的透过色。因此有可能真实地恢复并且再生一个目标的轮廓，而不伴随有由于子采样所导致的分辨率恶化。

此外，在本发明中，优选地，所述透过色判断装置采用一个表示最暗黑色的值作为被判断为透过色的亮度灰度级。

此外，在本发明中，优选地，所述透过色判断装置采用一个表示最亮白色的值作为被判断为透过色的亮度灰度级。

在本发明中，优选地，所述图像解码装置将所解码图像的亮度灰度级当中的预定范围以外的灰度级放回到预定范围内。

此外，本发明提供一种图像处理装置，其包括：灰度级变换装置，其用于将原始图像透过色的灰度级进行变换；图像编码装置，其用于对已经由所述灰度级变换装置变换的图像进行不可逆地编码；图像解码装置，其用于对由所述图像编码装置所编码的图像进行解码；以及透过色判断装置，其用于从由所述图像解码装置所解码图像的亮度判断出透过色。

根据本发明，原始图像透过色的灰度级被灰度级变换装置所变换，随后执行具有高压缩比的不可逆编码，并且因此利用较小的编码数量而不采用掩模图像使目标被编码。以这种方法被编码的图像被解码，并且透过色判断装置仅基于亮度信息便判断出被解码图像的透过色。由此所述目标的轮廓被真实地加以恢复而不伴随有因子采样导致的分辨率恶化，由此有可能获得一个具有较少噪声的高质量图像。同样，由于可免去使用掩模图像的需要，所以布置可以更为简单且因此成本可以被节省。

此外，在本发明中，优选地，灰度级变换装置采用一个表示最暗黑色的值作为透过色的亮度灰度级，并且所述透过色判断装置采用一个表示最暗黑色的值作为被判断为透过色的亮度灰度级。

此外，在本发明中，优选地，灰度级变换装置采用一个表示最亮白色的值作为透过色的亮度灰度级，并且所述透过色判断装置采用一个表示最亮白色的值作为被判断为透过色的亮度灰度级。

此外，在本发明中，优选地，透过色判断装置在判断透过色时仅使用亮度，并且使用一个表示最暗黑色的值作为被判断为透过色的亮度灰度级。

此外，在本发明中，优选地，透过色判断装置在判断透过色时仅使用亮度，并且使用一个表示最亮白色的值作为被判断为透过色的亮度灰度级。

在本发明中，优选地，所述灰度级变换装置将存在于一个预定范围内的原始图像的透过色的亮度灰度级变换到其外部，并且所述图像解码装置将所解码图像的亮度灰度级当中的预定范围以外的灰度级放回到预定范围内。

根据本发明，通过不使用相关技术所需要的掩模图像而抑制在透过色部分中噪声的出现，可以在低成本下对一个目标图像进行编码。因为所述透过色是仅基于亮度而得到判断，所以所述目标的轮廓可以得到真实地再现，而未伴随有由于子采取所造成的分辨率下降，从而使获得高质量图像成为可能。此外，通过采用表示最暗黑色或表示最亮白色的值作为被判断为透过色的亮度灰度级，有可能采用所述值作为透过色，借此所述值通过剪裁噪声被消除。因此，如果在色差图像中出现噪声，则透过色仍然可以得到正确判断。

附图的简要说明

参考附图，根据下述详细说明本发明的其它及进一步的目的、特点及优点将变得更加清楚：

图1是示出根据本发明实施例的图像处理装置的方框图；

图2视图示出：当在白色(像素R)背景上的原始图像具有台阶状边缘并且噪声出现在被解码图像的边缘附近情况下，具有等于或大于R像素值的噪声是如何通过剪裁被变换到R-1；

图3是用来解释在变换处理单元中被设置的第一转换方程的视图；

图4是用来解释在变换处理单元中被设置的第二转换方程的视图；

图5是用来解释在变换处理单元中被设置的第三转换方程的视图；

图6A至6D是用来解释这样原理的视图，基于所述原理当0被赋给一个透过色时，图像处理装置降低了在目标周围的透过色部分内的噪声；

图7是示出在相关技术中具有所规定透过色的原始图像的视图；

图8是示出在相关技术中通过不可逆编码而获得的被解码图像的视图；以及

图9是示出用于在相关技术中的掩模图像的视图。

所优选实施例的详细说明

现在参考附图，对所优选的实施例说明如下。

图1是示出根据本发明实施例的一个图像处理装置30的方框图。这个实施例的所述图像处理装置30包括一个图像编码设备31和一个图像解码设备32。所述图像编码设备31包括色转换单元33、子采样单元34、作为灰度级变换装置的变换处理单元35，以及作为图像编码装置的不可逆编码单元36。同样，所述图像解码设备32包括作为图像解码装置的解码单元37、上采样单元38、作为透过色判断装置的透过色判断单元39，以及色转换单元40。

在所述图像编码设备31中，利用例如RGB表达，色转换单元33将原始图像20的色空间转换成亮度和两个色差。作为由亮度和色差所表示的色空间，YcbCr色空间被用于数字相机和电视摄像机，并且CIELAB色空间被用于彩色传真机。色空间的色表示***取决于安装在每个机器上的应用程序而有所不同。然而，本发明并不强调本质的差异，因此采用国际标准的色转换***便足够了。

子采样单元34使亮度分辩率完好无损并且降低了色差的分辨率。作为一种采样方法，既在垂直又在水平方向上采样像素以将色差分配到四个亮度像素的方法，或者仅在水平方向上采样像素以将一个色差像素分配到两个亮度像素的方法得到采用。所述采样方法可以采取平均法而不单采用跳过方法。

更具体而言，假设灰度级由0至R-1表示，则在物体23周围透过色部分21内的透过色亮度灰度级或者为0或者为R-1。在此，R为整数且R＝256，对8位数据。关于被输入到图像编码设备31内的图像，假设透过色的范围被预先确定，且透过色部分21也事先被确定为白色或黑色。假定R＝256且白色是透过色，则255被赋给到每个RGB，且在色转换之后的亮度值也为255。当黑色为透过色时，0被赋给到每个RGB，且亮度值也为0。变换处理单元(shift processing unit)35将具有亮度为0的透过色的灰度级变换到一个负值，且将具有亮度R-1的透过色变换到等于或大于R的一个值。

现在将解释这样的一个原理，基于此原理通过变换在透过色中的噪声得到降低。假设R为灰度级，则像素值是一个从0至R-1的整数值。总体上，256通常被赋给R，R是一个用于8位数据的值，且在这个实施例中也采用这个值。当编码被执行时像素值(R＝256)被输入。然而，在不可逆转换编码如JPEG和JPEG2000的情况下，则出现因频率转换和量化而引起的误差，且为此原因当图像被解码时，像素值可以超出灰度级范围。在这个情况下，解码单元37执行剪裁处理以将范围以外的像素值回复到边界值，即0或R-1。

图2视图示出：当在白色(像素R)背景上的原始图像具有台阶状边缘并且噪声出现在被解码图像的边缘附近情况下，具有等于或大于R的像素值的噪声是如何通过剪裁被变换到R-1。这种剪裁处理最终仅使具有等于或低于R-1像素值的噪声为可见。如图2所示，当被用来对背景变换的灰度级宽度大于由于编码而出现的噪声的灰度级宽度时，在具有超出灰度级范围以外像素值的背景上的大多数噪声在编码之前通过剪裁被消除。

为什么透过色被设置成灰度级的边界值的原因如下。即，确保透过色功能的文件格式被局限到那些具有低压缩比的可逆编码方法如GIF和PNG上。同时，由于通过具有高压缩比的不可逆转换编码如JPEG，所述值被加以改变，所以非透过色的色部分变成了透过色，或者相反地，透过色的一部分变成了非透过色的色，这导致一个在目标23上被称为“空穴”的点状丢失显示点，或者一个在目标23周围被称为“污物”的点状的额外显示部分，且合成图像的图像质量由此下降。

因此，优点在于这样的特征，即在灰度级以外的所有值均通过剪裁回复到边界值，换句话说，通过将灰度级的边界值规定为透过色且在编码之前将这个值变换到灰度级以外，则有可能通过不可逆转换编码获得透过色功能，而不破坏合成图像的图像质量。被规定为透过色的色或者是0(黑色)或是R-1(白色)或者是两者全部。

图3是用于解释被设置在变换处理单元3 5中的第一转换方程的视图，图4是用于解释被设置在变换处理单元35中的第二转换方程的视图，且图5是用于解释被设置在变换处理单元35中的第三转换方程的视图。所述变换处理单元35连同上述变换处理所需要的转换方程被设置。转换方程可以采取几种形式，且由线性函数所表达的转换方程作为一个实例被阐明如下，其中Yi是到变换处理单元35的输入图像亮度，Yo是来自变换处理单元35的输出图像亮度，R是灰度级值(在此，R＝256，这是一个用于8位数据的值)，且α、β、D1和D2每一个为0或为正整数。

(a)第一转换方程

Yo＝-D1(Yi＝0)           ...(1)

Yo＝αYi+β(0＜Yi＜R-1)  ...(2)

Yo＝R-1+D2(Yi＝R-1)      ...(3)

(b)第二转换方程

Yo＝-D1(Yi＝0)           ...(4)

Yo＝αYi+β(0＜Yi≤R-1)  ...(5)

(c)第三转换方程

Yo＝αYi(0≤Yi＜R-1)     ...(6)

Yo＝R-1+D2(Yi＝R-1)      ...(7)

具有方程(1)至(3)的第一转换方程采用0和R-1作为透过色。具有方程(4)和(5)的第二转换方程采用0作为透过色，且具有方程(6)和(7)的第三转换方程采用R-1作为透过色。每个转换方程被以这样的方式设置，以便于透过色被变换到灰度级范围之外。在第一至第三转换方程中的α和β的条件是：α≤1且β≥0。

存在通过编码目标23内的像素转变成透过色的可能性，且上述点状的丢失显示点在目标23内被生成。为了降低出现这种点状丢失显示点出现的可能性，在目标23内的像素灰度级值被设置成远离透过色灰度级值的值。借助于从第一至第三方程中的任何一个方程，通过将较小值赋给α、较大值赋给β，远离那个透过色灰度级值的这些值在转换之后便选取更远离所述透过色灰度级值的值。在具有0或R-1灰度级的像素被最初包含在目标23中的情况下，仅利用第一至第三方程则不可能避免点状丢失显示点的出现，其中所述灰度级为透过色的灰度级。因此，为了预防这种不便之处，对目标23内的像素进行预处理，这样像素值被从例如0变化到1。

不可逆编码单元36将所有被分成亮度和色差的组分共同地进行编码。色转换编码被用作不可逆编码，且可以采用国际标准的JPEG(联合摄影编码专家组)及MPEG(移动图片编码专家组)。所述转换编码通过将一个图像分成空间组分、随后通过低频组分的精细量化及高频组分的粗略量化减少了信息。这是因为人的肉眼对高频组分不敏感，以致于当高频组分被制作得精确度较低时，图像质量几乎没有恶化。然而，应该注意到：精确度较低的高频组分产生高频噪声。

在图像编码设备31中被编码的图像数据首先通过一条通讯线等被存储在累加介质中，然后从此被读出，且被输入到图像解码设备32中。

在图像解码设备32中，解码单元37将在图像编码设备31中被编码的数据解码，且将被编码的数据转换成由亮度和色差所表示的图像数据。在这个例子中，在从0至R-1范围以外的灰度级当中，借助于剪裁通过解码单元37，具有负值的那些灰度级被回复到0，且具有等于或大于R值的那些灰度级被回复到R-1。

上采样单元38将色差的分辨率回复到原始分辨率，即回复到与亮度分辨率同样高的分辨率。当两个色差像素被分配到四个亮度像素时，可以采用将单像素复制到四个色差像素的方法、实施内插的方法等，作为上采样的一种方法。

透过色判断单元39将具有亮度0或R-1的部分判断为透过色。总体上，被规定为透过色的白或黑色为无色，且由此色差值为R/2(当R＝256时为128)，即灰度级的中间值。然而，因由子采样及不可逆编码所引起的噪声影响，色差值可以选取一个不同于R/2的值，这可以使透过色带上色。为了避免这种不便之处，当亮度具有规定为透过色值的值时，透过色判断单元39强制性地将色差值改变到R/2。

色转换单元40将由亮度及色差所表示的色空间转换成专用于显示设备的色空间，所述显示设备允许图像得以显示。例如，当显示设备是一个显示器时，RGB色空间被采用，并且当显示设备为打印机时CMYK色空间被采用。

图6A至6D是用来解释这样原理的视图，基于所述原理当0被赋给一个透过色时，图像处理装置降低在目标周围的透过色部分内的噪声；在附图中，纵座标用于灰度级值且横座标用于在图像一行上的像素位置。图6A示出包含透过色的原始图像，且如图6B所示，透过色部分的灰度级通过变换处理单元35被变换到负值。

通过由通讯线或累积设备所实现的传输装置，在图像编码设备31中被编码的图像数据被输入到图像解码设备32中，并且在解码单元37中被解码。图6C示出在剪裁以前被解码的亮度，并且如图6D所示，通过借助灰度级被舍入到从0至R-1范围的剪裁处理，在透过色部分21内的噪声被消除。虽然噪声被留在色差部分内，但是由于透过色是仅基于亮度组分而得到判断，所以因色差组分引起的噪声将不影响透过色部分21。利用由此方法所获得的透过色部分，背景的图像得以合成。

正如已经说明的那样，根据本实施例，因为在透过色部分21内的噪声可以得到抑制，所以通过具有高压缩比的不可逆编码而不单独采用掩模图像，可以获得基于目标的编码。同样，因为不再需要掩模合成处理，所以设备的布置可以更为简单，且因此可以节省制造费用。此外，由于广泛用于对自然图像进行编码的标准图像编码方法可以作为编码方法被采用，而不管是移动图像还是静止图像要被编码。因此，这个实施例可以被容易地加以实施，且可以被容易地结合到各种应用程序中。

本发明可以被适宜地应用到处理移动图像和静止图像的应用程序中、可以被安装到WWW浏览器、彩色传真机、电视电话以及装备有显示器的手提电话等中。

本发明可以以其它具体的形式而具体化，而不偏离其中的实质或必要的特征。因此本实施例在所有方面被似为示例性的而非限制性的，本发明的范围由所附的权利要求所指明，而不是由上述说明所指明，且伴随所述权利要求等效性的含义及范围而来的变化旨在被包含于其中。

Claims (9)

1.一种图像编码设备，包括：

灰度级变换装置(35)，其用于将一原始图像(20)的透过色(21)亮度的灰度级进行变换；以及

图像编码装置(36)，其用于对其灰度级已经由所述灰度级变换装置(35)进行变换的图像进行不可逆编码；

其特征在于

所述灰度级变换装置(35)将所述原始图像(20)的像素灰度级用0到R-1表示，将具有亮度为0的透过色的灰度级变换到一个负值，而将具有亮度为R-1的透过色的灰度级变换到等于或大于R的一个值，以及

用表示最亮白色的R或表示最暗黑色的0作为透过色的亮度灰度级。

2.根据权利要求1的图像编码设备，其中所述灰度级变换装置(35)将存在于一个预定范围内的原始图像透过色的亮度灰度级变换到其外部。

3.一种图像解码设备，包括：

用于对所编码图像进行解码的图像解码装置(37)；以及

透过色判断装置(39)，其用于从在所述图像解码装置(37)中被解码的图像的亮度信息中判断透过色；

其特征在于

所述图像解码装置(37)将像素灰度级用0到R-1表示，并首先执行剪裁处理，将具有负值的灰度级回复到0，而将具有等于或大于R值的那些灰度级回复到R-1，以及

所述透过色判断装置(39)用表示最亮白色的R或表示最暗黑色的0作为被判断为透过色的亮度灰度级。

4.根据权利要求3的图像解码设备，其中所述透过色判断装置(39)采用一个表示最暗黑色的值作为被判断为透过色的亮度灰度级。

5.根据权利要求3的图像解码设备，其中所述透过色判断装置(39)采用一个表示最亮白色的值作为被判断为透过色的亮度灰度级。

6.根据权利要求3的图像解码设备，其中所述图像解码装置(37)将所解码图像的亮度灰度级当中的预定范围以外的灰度级放回到预定范围内。

7.一种图像处理装置，包括：

灰度变换装置(35)，其用于将原始图像(20)的透过色(21)的灰度级进行变换；

图像编码装置(36)，其用于对已经由所述灰度级变换装置(35)变换的图像进行不可逆地编码；

图像解码装置(37)，其用于对由所述图像编码装置所编码的图像进行解码；以及

透过色判断装置(39)，其用于从由所述图像解码装置(37)所解码图像的亮度判断出透过色；

其特征在于

所述灰度级变换装置(35)将所述原始图像(20)的像素灰度级用0到R-1表示，将具有亮度为0的透过色的灰度级变换到一个负值，而将具有亮度为R-1的透过色的灰度级变换到等于或大于R的一个值，

用表示最亮白色的R或表示最暗黑色的0作为透过色的亮度灰度级，以及

所述图像解码装置(37)将像素灰度级用0到R-1表示，并首先执行剪裁处理，将具有负值的灰度级回复到0，而将具有等于或大于R值的那些灰度级回复到R-1，

所述透过色判断装置(39)用表示最亮白色的R或表示最暗黑色的0作为被判断为透过色的亮度灰度级。

8.根据权利要求7的图像处理装置，其中所述透过色判断装置(39)在判断透过色时仅采用亮度。

9.根据权利要求7的图像处理装置，其中所述灰度级变换装置(35)将存在于一个预定范围内的原始图像透过色的亮度灰度级变换到其外部，以及所述图像解码装置(37)将所解码图像的亮度灰度级当中的预定范围以外的灰度级放回到预定范围内。

Images