CN101253772A - 用于滤波通过基于块的图像解压获得的图像的设备 - Google Patents

Abstract

为了消除块边缘假像和/或振铃假像，解压逐块压缩图像数据，以及使解压数据经受一串低通滤波操作。对于所选的像素位置，跳过该级联中所述低通滤波操作中选择的操作。跳跃的决定依赖于针对所选像素位置的变化的大小。级联中被跳过的滤波操作的数目随所述变化的大小的增加而增加。

Description

用于滤波通过基于块的图像解压获得的图像的设备

本发明涉及基于块的图像解压。

MPEG和JPEG是常见的基于块的图像压缩和解压标准。压缩时，将图像中的像素位置分组到矩形块中，并且对于每个块计算块中像素位置的像素值的DCT(数字余弦变换)系数。量化DCT系数，这导致图像数据的压缩。解压时，利用逆DCT方式从量化的DCT系数中重新计算出像素值。

该技术可能导致图像中的压缩假像，例如在解压图像中块之间的边界处出现虚假的阶跃变化，以及图像中尖锐对象边缘周围出现“振铃”。

美国专利申请No.2002/0126912描述了一种MPEG图像解压技术，其中把低通滤波应用于解压图像的所选择的像素，以便减少假像。低通滤波适于消除或者至少减轻如变化和振铃的压缩假像。然而，低通滤波具有模糊原始图像内容的缺点。为了减小图像的模糊，美国申请No.2002/0126912利用检测每个像素以确定像素的位置是否在块边界上并且也不在图像的自然边缘上。为了获得满足这个条件的像素的像素值，基于行的一维低通滤波器和基于列的一维低通滤波器的结合应用于解压图像。对于其他像素，则使用未滤波的解压像素值。

美国专利申请No.2003/147559也描述了一种解压技术，其中把低通滤波应用于选择的像素。该文献计算相邻解压块之间的最大强度差。当该强度差低于门限值时，则假设块之间没有目标边缘，并且应用低通滤波来抑制假像。

需要注意的是上述两篇文献都使用相当复杂以及计算密集型的检测技术来决定是否应用滤波。这是必须的，因为有条件地应用低通滤波器的结果需要谨慎的平衡：过于积极地使用滤波器会由于不必要的模糊使得图像退化，松弛则留下可见的解压失真。

首先，本发明的一个目标是提供一种方法和设备，其中通过对复杂滤波标准的敏感度较低的有条件滤波来消除压缩假像。

本发明的一个方面在于提供如权利要求1所述的一种设备。在这里，多个低通滤波运算级联在一起。对于选择的像素位置，可以略过该级联中的可变数量的低通滤波运算。因此提供了滤波上更加精确的控制，使利用较不复杂的标准来确定是否应用各自的滤波运算而没有较强烈的影响视觉假像成为可能。

从以下附图的非限制性描述中，这些以及其他目标和有利方面将变得清楚明白。

图1显示了信号流示意图，

图2显示了流程图。

图1显示了信号流示意图，具有输入10、解压级12、一连串滤波级14a-b、一连串测试级16a-b、一连串选择级18a-b以及图像再现级19。解压级12耦合到输入10以便接收压缩数据，并且耦合到第一滤波级14a以便输出解压数据。第一选择级18a分别具有与解压级12和第一滤波级14a耦合的信号输入端。第一测试级16a具有与解压级12的输出耦合的输入端，以及与选择级18a的控制输入耦合的输出端。

随后的滤波级14b、测试级16b以及选择级18b除了它们的输入与之前选择级18a的输出耦合而不与解压级12的输出耦合之外，类似地如第一滤波级14a、第一测试级16a以及第一选择级18a那样耦合。虽然只显示了多组滤波级14a-b、测试级16a-b以及选择级18a-b，但是应当认识到，一般地可以出现更多数目的这样的级联连接的组，即每个组的滤波级、测试级和选择级的输入都耦合到前一组的选择级的输出。在这种串联中最后一个选择级18b的输出与再现级19的输入耦合，所述再现级19利用来自最后一个选择级18b的图像数据控制显示屏上的图像显示，该显示屏是再现级19的一部分。

该信号流示意图可以以多种方式实现。在一个实施例中，每个级由相应的电路实现，所述电路例如被对应编程的信号处理电路，所述相应的电路如图所示相互连接。在另一个实施例中，不同的所述级在程序不同部分的控制下利用相同的信号处理电路实现。在这种实现方式中，各级之间的连接由传输存储单元(如处理器寄存器)中存储的信号数据实现。

在操作中，在依照图1的信号流示意图的处理期间，压缩图像数据经输入10提供给解压级12。解压级12利用例如MPEG或JPEG兼容解压技术(包括逆DCT计算)解压各自的块。经中间级可变程度的滤波后，再现级19利用滤波的结果控制图像显示。通过针对选择的像素位置绕开(跳过)可变数量的滤波级14a-b实现了可变次数的滤波，根据不同的测试结果跳过每个滤波级。

第一测试级16a针对一连串像素位置中的每一个测试该像素位置的互相相对的侧面上区域内像素值的展宽是否在门限值以下，并且是否小于这些区域间发生的门限阶跃。假如这样的话，那么第一测试级16a控制第一选择级18a以便将来自第一滤波级14a的滤波数据传送到它的输出端。假如不是这样的话，那么第一测试级16a控制第一选择级18a以便将来自第一滤波级14a输入端的未滤波数据传送到它的输出端。

下一步，第一选择级18a的输出再经过相同的方式处理，包含滤波或未滤波数据的测试及有条件选择。连续滤波级的滤波操作例如都是一维低通滤波器操作，其平滑掉沿图像行方向的像素值变化。因此，在较强阶跃的情况下应用两个连续的该类型的低通滤波操作，以及应用仅仅一个或者不应用该类型的低通滤波操作，这依赖于相对区域间像素值阶跃的强度以及这些区域中展宽的大小。如可以理解的那样，可以使用多于两组的级，这样可实现甚至更多可变数目的该类型的低通滤波操作。

进一步可以意识到，与这种用于沿一个图像方向进行有条件的一维低通滤波的多个级串联，可以提供其他用于沿其他的图像方向进行有条件的一维低通滤波的多个级(例如用于沿图像行的滤波级和用于沿图像列的滤波级)。同样，虽然给出了其中每个级只接收来自之前级的输入值的实施例，应该意识到，测试级和/或滤波级的部分输入值可从级联级中的早期级中获得。

图2借助于流程图举例说明了解压过程。该流程图的步骤：通过处理电路执行，所述处理电路例如可以是经过编程来或者以另外的方式被配置成执行所述过程的信号处理器电路；或者由经过编程来这样做的通用计算机执行；或者由这些电路的结合执行，其中不同的电路执行不同的步骤。

在流程图的开始，处理电路执行例如用于MPEG或JPEG编解码器中的基于块的解压步骤20，这导致像素值的图像(或部分图像)。第一步骤21a接着解压步骤20，其中处理电路沿解压图像的连续行选择一对扫描对的初始像素位置。

在第二步骤22a中，处理电路计算代表已选配对的像素位置周围像素值变化的数目。在一个实施例中，计算针对三个相邻近的像素位置的像素值之间的第一展宽A1，这三个像素位置从已选配对的左像素位置往左，所述展宽A1即针对这些像素位置的最大和最小像素值之间的差值。在该实例中，计算针对三个相邻近的像素位置的像素值之间的类似的第二展宽A2，这三个像素位置从已选配对的右像素位置往右。此外，在本实例中，计算该配对的像素位置的像素值之差的绝对值D。

在第三步骤23a中，处理电路利用在第二步骤22a中计算的数目决定是否为选择的配对执行第一级滤波操作。在第四步骤24a执行第一级滤波操作。在该实例中，处理电路把数字A1和A2与第一门限比较，以及把数字D与第二门限比较。如果数字A1、A2和D中的任何一个在相应的门限之上，那么处理电路就跳过已选配对的第一级滤波操作。步骤24a中的滤波操作包含例如计算滤波的像素值作为已选配对中左和右像素值的加权平均值：

左滤波值＝(3*左像素值+右像素值)/4

右滤波值＝(3*右像素值+左像素值)/4

在第四步骤24a的第一级滤波操作之后的第五步骤25a中，处理电路计算代表执行第一级滤波操作之后的展宽的一组新数值。在一个实例中，计算如第二步骤22a中的类似展宽，但是从所述像素位置配对的滤波值中计算而不是从原始像素值中计算。在第六步骤26a中，处理电路利用第五步骤25a中计算的数字决定是否为选择的配对执行第二级滤波操作。在第七步骤27a执行第二级滤波操作。在一个实例中，使用如第三步骤23a中的测试，但具有更高的门限。第七步骤27a的滤波操作包含使用所述像素配对的滤波值作为输入，从比第四步骤24a中的像素位置更宽的范围计算滤波的像素值作为加权平均值。

新的左滤波值＝(2*左滤波像素值+右像素值+Y1)/4

新的右滤波值＝(2*右滤波像素值+左像素值+Y2)/4

其中Y1和Y2是邻近所选配对左和右像素位置的像素位置的原始像素值。

随后，在第八步骤28a中，如果可能处理电路选择新的配对，并且如果这样从第二步骤22a开始重复该过程。一般地，沿图像行选择连续的配对，一旦行中所有的配对均被处理，则从下一个行中选择配对，依此类推。

一旦处理电路处理了所有的配对，则沿另一个图像方向重复该过程，沿图像的列而不是水平线选择像素位置配对。执行对应的第一到第八步骤21b-28b，除了利用在选择的配对上面和下面的邻近像素位置而不是水平邻近像素位置之外，其与上述的第一到第八步骤21a-28a类似。

优选地，彩色图像情况下至少为亮度像素值执行所述流程图的步骤。另外，可为例如UV分量的色彩分量执行类似的步骤。可替换地，可以为彩色图像的RGB分量中的每一个执行所述步骤。在一个实施例中，对每个级都执行一个共同的测试来决定该级的滤波操作是否应该应用于所有色彩/亮度分量。可替换地，可以对不同的色彩/亮度分量执行独立的测试。

应该意识到，该流程图仅表示实施例的一种实例。流程图中的多种变化是可能的。作为一个实例，虽然显示解压步骤20是所述过程的一部分，应该意识到该步骤如其他步骤一样在相同设备中执行不是必须的。可以在一个设备中实现解压，在其他设备中实现滤波和测试。

作为另一个实例，虽然只显示了为了略过这些滤波级具有相应测试的相应于滤波级的四个步骤，应该认识到可以利用更多数量的滤波级和测试，或者限制该滤波为仅在一维上(沿一行或沿一列)。作为另一个实例，虽然显示了所述过程进行到八步骤28a，b(如果第三步骤23a，b中的决定是不执行第一级滤波步骤24a，b，则选择一个新的配对)，应该意识到，相反地，如果略过第一级滤波步骤24a，b，那么所述过程可以进行到第五步骤25a。在这种情况下，如果跳过第一级滤波操作，那么第二测试和第二级滤波操作针对所述像素位置的配对利用原始像素值而不是利用滤波的值。

进一步，虽然流程图显示了一个实施例，其中在处理下一个配对之前针对一对像素位置执行随后的测试和滤波操作22a-27a，应该意识到，相反地在执行所述步骤下一部分25a-27a之前可以针对所有的配对执行这些步骤的第一部分22a-24a。针对每个配对共同执行两部分的优点在于中间滤波值需要较少的存储量。为了便于一个循环处理，如上所述第二级滤波操作使用所述配对中的像素位置的滤波像素值以及所述配对外部的像素位置的原始像素值的混合。针对所述配对外部的位置使用原始像素值具有额外的减小模糊的优点。由于这个原因，在另一个实施例中，即使单独的循环用于不同的滤波级，也使用原始像素值。

同样，代替在贯穿这些步骤的一个循环中计算像素位置配对一起的滤波值，可以在每个循环中计算一个像素位置的滤波值。在每个循环中使用一个配对具有对于每个配对只须执行一组测试而不是对于该配对的每个像素位置执行一组测试的优点。

进一步，虽然给出了特定的测试实例来决定是否在某个级执行滤波操作，应该意识到可以使用其他的测试。在一个实施例中，使用亮度和色彩分量的混合来决定是否执行第一或第二级滤波，例如如果从所述配对的一个像素位置到另一个的至少一个色彩分量中的阶跃在门限之上，则跳过滤波。

同样，虽然显示了基于线(行)和列的测试和滤波操作，其中滤波值和测试只依赖于作为像素位置配对的来自相同行(或列)的像素值，应该认识到，相反地，可以为测试和/或滤波使用来自在多维上延伸的区域的位置的像素值，所述位置例如来自从二维区域到所述配对的像素位置的左边和右边和/或，在视频序列的情况下，来自从之前和/或随后的图像。

应该注意，所述流程图中使用的测试的实例测试一对像素位置左边和右边的像素位置的像素值中不存在超过门限量的展宽，以及测试所述配对的像素位置的像素值之间不存在阶跃。这基于大阶跃表示不应被滤波掉的可见的“真实”边缘的假设。所述像素位置配对的左边或右边存在展宽被认为表示存在有纹理图像区域或强边缘，其将造成不可见的配对的像素值之间的假边缘，和/或其可能表示所述配对自身的像素值之间的边缘是纹理的一部分，并且因此不应当被滤波掉。

使用简单的测试，只包含局部像素值，优选地只沿一个(水平)行或(垂直)列。例如在第六步骤26a，b，通过应用至少不那么严格的测试来限定这些测试的影响，以便只跳过多级滤波过程中的个别级(步骤27a，b)，其中增加的模糊是滤波操作累加的结果。然而，可以使用与该实例不同的其他测试。

例如，代替测试左边和右边的三个像素位置中的展宽，可以使用大于或小于三个像素位置的值。同样，可以让对计算的展宽有贡献的像素值中的变化程度成为离所述配对的距离的递减(或者至少非递增)函数。使用越大的数值会得到越可靠的结果，但是太大的数值带来异常(far-off)展宽的风险，不会使得假像不可见。使用较小的数值增加了过于频繁地应用低通滤波的风险，这将导致不必要的模糊。在任何一边使用三个像素位置被发现是一个好的折衷。

代替最大值和最小值之差，可以使用不同的展宽度量，例如均方根值或偏离平均值的平均大小。同样，可以增加也必须被满足以防止跳跃的额外条件，例如所述配对的两边区域内相邻像素间的差值大小低于另外的门限的条件。这使处理变得复杂，但防止了强边缘附近不必要的模糊。在另一个实施例中，可以把像素位置左和右区域内的展宽总度量与门限比较，如果总展宽超出门限则跳过滤波级。然而，将单独的度量与各自的门限比较具有针对相邻区域内的展宽和针对所选像素位置配对的像素值内阶跃大小使用不同门限的优点。因此，例如可以使用小展宽和较大阶跃大小作为门限来跳过滤波级。结果，可以使得通过执行滤波级来减少相对大的假边缘发生在存在不多于一个相对弱的纹理的条件下。可以意识到，在所述配对的各自侧面上的展宽不需要分别进行测试。例如，在与门限相比较之前，可以将在所述配对的任何一侧上的展宽组合为公共的展宽度量(例如，取任何一侧上展宽的最大值或求和)。

优选地，将有条件执行的滤波操作应用到基本上图像中所有的像素位置(可能除图像边界附近的像素位置之外)，或者应用到成对的像素位置。可替换地，可以将滤波级的测试和应用限于成对的像素位置，所述成对的像素位置位于解压块之间边界的相互相对的侧面上。以此方式，降低了抑制或模糊不由于块假像造成的真实图像边缘的风险。然而，由于不需要从例如解压设备提供关于块边界的信息，所以应用测试来绝对各自的滤波级的应用不那么复杂。此外，以此方式，同样可以滤波不在块边界上的振铃假像。

本发明可以例如应用到利用基于块的解压的任意图像处理设备中，例如在再现静态图像或视频图像之前应用到电视机中，应用到与电视机串联的解码器设备、配备有显示屏等的移动电话、数码相机以及在这种电视机、解码器等中使用集成电路中。

Claims (13)

1、一种用于处理逐块压缩图像数据的图像处理设备，该设备包含用于接收解压图像的输入端，滤波电路(14a-b，16a-b，18a-b)，其与该输入端耦合，并设置为对所述逐块解压图像数据执行至少部分地彼此级联的至少两个空间滤波操作，每一个所述滤波操作至少沿相同的公共图像方向起低通滤波作用，滤波电路(14a-b，16a-b，18a-b)被设置为执行由解压图像数据确定的像素值的依赖于像素位置变化的测试，并且在该级联中针对所选像素位置局部跳过所述低通滤波操作中所选的操作，依赖于是否测试中的各个检测到针对所选像素位置的变化超过各自的最小准则而局部跳过所述低通滤波操作的每一个所选操作。

2、根据权利要求1所述的图像处理设备，将该设备设置为作为针对所述低通滤波操作中的至少一个操作的测试部分来执行第一门限与所选像素位置和所选像素位置的相邻像素位置的像素值之间差值大小的第一比较，以及执行第二门限与分别从所选像素位置和相邻位置向相对方向延伸的区域中像素位置的像素值之中的展宽或组合展宽的一个或更多个第二比较，如果所述大小和/或所述展宽分别超过第一和第二门限，则跳过所述低通滤波操作中的所述至少一个操作。

3、根据权利要求2所述的图像处理设备，其中每个所述区域包含至少三个像素位置。

4、根据权利要求2所述的图像处理设备，其中每个所述区域包含不超过三个像素位置。

5、根据权利要求1所述的图像处理设备，其中所述低通滤波操作中的不同操作分别包含第一一维滤波操作和第二一维滤波操作，两个操作都沿着所述公共图像方向。

6、根据权利要求1所述的图像处理设备，其中将滤波电路(14a-b，16a-b，18a-b)设置为：针对一对相邻像素位置执行公共的测试，该公共的测试测试针对所述位置配对的像素值之差的大小和/或分别从所选的像素位置和相邻位置向相对方向延伸的区域内由解压图像数据确定的依赖于像素位置的展宽；并且基于所述公共测试，针对所述配对的两个位置跳过所述级联中所述低通滤波操作中选择的一个操作。

7、根据权利要求6所述的图像处理设备，其中所述低通滤波操作包含跟随级联中所述低通滤波操作中所述选择的一个操作的另一个低通滤波操作，该另一个低通滤波操作以下列值作为输入：针对所述配对的相互相对侧面上的像素位置的、所述低通滤波操作中所述选择的一个操作的输入值；以及如果没有跳过所述低通滤波操作中所述选择的一个操作，则由所述低通滤波操作中所述选择的一个操作针对所述配对产生的滤波像素值。

8、一种解压逐块压缩图像数据的方法，该方法包含：

-对所述逐块解压图像数据执行至少部分地级联的至少两个空间滤波操作，每一个所述滤波操作至少沿相同的公共图像方向起低通滤波作用，

-执行由解压图像数据确定的像素值的依赖于像素位置的变化的测试，

-在该级联中针对所选像素位置跳过所述低通滤波操作中所选的操作，依赖于是否测试中的各个检测到针对所选像素位置的变化超过各自的最小准则而跳过所述低通滤波操作的每一个所选操作。

9、根据权利要求9所述的方法，包含作为针对至少一个所述低通滤波操作执行测试的部分来执行：

-第一门限与所选像素位置和所选像素位置的相邻像素位置的像素值之间差值大小的第一比较，以及，

-第二门限与分别从所选像素位置和相邻位置向相对方向延伸的区域中像素位置的像素值之中的展宽或组合展宽的一个或更多个第二比较，

-如果所述大小和/或所述展宽分别超过第一和第二门限，则跳过所述低通滤波操作中的所述至少一个操作。

10、根据权利要求9所述的方法，其中所述低通滤波操作中的不同操作分别包含第一一维滤波操作和第二一维滤波操作，两个操作都沿着所述公共图像方向。

11、根据权利要求9所述的方法，包含：

-针对一对相邻像素位置执行公共的测试，该公共的测试测试针对所述位置配对的像素值之差的大小和/或分别从所选的像素位置和相邻位置向相对方向延伸的区域内由解压图像数据决定的依赖于像素位置的展宽，

-基于所述公共测试，针对所述配对的两个位置跳过所述级联中所述低通滤波操作中选择的一个操作。

12、根据权利要求11所述的方法，其中所述低通滤波操作包含跟随级联中所述低通滤波操作中所述选择的一个操作的另一个低通滤波操作，该另一个低通滤波操作以下列值作为输入：针对所述配对的相互相对侧面上的像素位置的、所述低通滤波操作中所述选择的一个操作的输入值；以及如果没有跳过所述低通滤波操作中所述选择的一个操作，则由所述低通滤波操作中所述选择的一个操作针对所述配对产生的滤波像素值。

13、一种计算机程序产品，包含带指令的程序，当由可编程处理电路执行时，使得该可编程处理电路：

-对所述逐块解压图像数据执行至少部分地级联的至少两个空间滤波操作，每一个所述滤波操作至少沿相同的公共图像方向起低通滤波作用，

-执行由解压图像数据确定的像素值的依赖于像素位置变化的测试，

-在该级联中针对所选像素位置跳过所述低通滤波操作中所选的操作，依赖于是否测试中的各个检测到针对所选像素位置的变化超过各自的最小准则而跳过所述低通滤波操作的每一个所选操作。

Images