CN101208955A - 压缩域中基于dct的视频序列的图像处理 - Google Patents

Abstract

本发明涉及一种用于将对比度调整和亮度调整中的至少一个应用于对应于图像处理操作的经过压缩和运动补偿的基于DCT的视频序列的方法，包括步骤：提供经过压缩和运动补偿的基于DCT的视频序列，在压缩域中将图像处理操作应用于视频序列以得到图像经过处理的压缩视频序列，其中，所述应用是通过调整定义了基于DCT的视频序列的DCT分量得以执行的。

Description

压缩域中基于DCT的视频序列的图像处理

技术领域

本发明涉及视频数据的图像处理领域，特别涉及压缩域中视频数据的图像处理领域。

背景技术

数字视频照相机正在市场上迅速的普及。最新的移动电话配备有视频照相机，为用户提供了拍摄视频片段并将其在无线网络上发送的功能。

数字视频序列的文件大小非常之大。即使是短小的视频序列也包含数十个图像。因此，视频总是以压缩格式被保存和/或传送。存在若干可用于此目的的视频编码技术。H.263和MPEG-4是适合无线蜂窝环境的应用最广泛的标准压缩格式。

为了允许用户在其终端产生高质量视频，诸如移动电话的具有视频照相机的设备提供视频编辑功能是必要的。视频编辑是将可用的视频序列转换和/或组织为新的视频序列的过程。

已有的移动电话上的照相机在性能方面无法与市场上最尖端的数字照相机相比。因此，这样的照相机所捕获的视频通常受到校准的影响而导致下降的亮度和对比度以及不足的色彩平衡。因此，视频编辑中最为广泛需要的操作是视频的可视知觉质量的增强。这包括调整视频片段的亮度和对比度。

调整静态图像的亮度和对比度需要改变图像系数，这通常是在空域(spatial domain)中完成的。对于受约束的移动设备，调整视频(其包含数百个帧)的亮度或对比度对***资源而言是非常高代价和繁重的。考虑到用户在获得预期的结果前可能进行多次亮度或对比度调整试验，这就变成了一个更大的问题。

大多数图像编辑工具允许用户在图像上应用图像增强效果。一个示例是在原始视频过暗或过亮时提高或降低亮度。在视频编辑工具中，需要类似的操作来产生视频片段的更好的表示。

若干商业产品支持这些特征，但是它们主要是面向PC平台的。这些产品采取了在空域中应用视频增强效果的直接方法。更具体地，它们首先将视频片段解压缩到其原始格式，继而操作原始图像序列的像素值，并最终将经过增强的原始图像序列压缩为压缩比特流。这个过程被称为空域视频编辑。

然而，空域视频编辑消耗了包括存储器、储存器和计算能力在内的大量资源。尽管这对于今天的台式PC而言不是很大的问题，但是对于配备低能力的处理器以及低存储和储存资源的移动设备而言，这显然是个问题。在这些设备中，编码和解码过程花费很长的时间并且消耗很多电池电量。因此，空域方案对于移动设备而言不是可行的解决方案。

在现有技术中，为了在视频片段上执行亮度或对比度调整，视频片段首先被解码为原始格式。继而，原始图像序列被调整为指定的亮度或对比度水平。最后，经过增强的原始图形序列被再次编码。这个方法是非常计算密集型的，特别是编码部分。

亮度和对比度调整的空域视频编辑的一个示例在下文中参考图2给出。

亮度调整是指将视频片段的亮度强度提高或降低某个常量值的情况。对比度调整是指在帧内扩展亮度强度之间的差异。

为了在空域中得到这些亮度和对比度调整，一旦视频被完全解码，执行以下操作：

$\tilde{V}(x,y,t)=V(x,y,t)+K---\left(1\right)$

$\tilde{V}(x,y,t)=\mathrm{\λ}\·[V(x,y,t)-\mathrm{\η}]+\mathrm{\η}---\left(2\right)$

其中(1)表示亮度调整，(2)表示对比度调整，V(x，y，t)是解码后的视频序列，是编辑后的视频，x，y是帧内像素的空间坐标，t是时间轴。K是亮度调整值，它对于帧内的所有像素是常量。K的正值将使视频较亮，而K的负值将使视频较暗。λ＞0是用于对比度调整的扩展因子，它对于帧内的所有像素是常量。如果λ大于1，结果视频具有较高的对比度水平，而如果λ在0和1之间，结果视频具有较低的对比度水平。λ＝1的值不会对图像造成任何改变。η表示特定帧内的像素强度的平均值。公式(2)示出，对于对比度调整来说，像素强度是统一地扩展的；扩展中心是像素强度的平均值。

在修改了视频帧的像素值之后，结果帧被输送给编码器以用于重新编码，这是一个消耗时间的过程。

发明内容

本发明的目的是提供用于基于离散余弦变换(DCT)的视频序列的图像处理的方法和设备，所述方法和设备克服了现有技术的不足。

本发明提供一种用于在压缩域中在视频序列上执行增强的技术。在压缩域中执行调整解决了与移动设备相关联的计算代价问题。可以通过这个技术实现的视频增强操作可以包括提高或降低亮度、提高或降低对比度、以及阴影补偿。

本发明的目的通过所附独立权利要求中定义的主题得以解决。

根据本发明的第一方面，提供了一种用于将对比度调整和亮度调整中的至少一个应用于经过压缩和运动补偿的基于DCT的视频序列的方法。所述方法一般地包括步骤：提供所述经过压缩的基于DCT的视频序列，以及在压缩域中将图像处理操作应用于所述视频序列以得到图像经过处理的压缩视频序列。根据本发明的压缩域中的图像处理提供了支持压缩域中图像增强并且节约计算能力的有效技术。然而，数字视频序列的编码和解码步骤得以避免。

根据本发明的其它实施方式，通过调整定义了所述基于DCT的视频序列的DCT分量来执行所述应用。由此提供了空域和DCT域之间的有益连接。因此，通过调整DCT分量实现了空域中的图像操作。

根据本发明的其它实施方式，通过部分解码和编码所述基于DCT的视频序列来提供对所述DCT分量的调整。然而，部分编码和解码有时是基于DCT的视频序列的适当图像操作所需的。

根据本发明的其它实施方式，所述应用支持所述基于DCT的视频序列的对比度调整。通过执行对比度调整，用户可以增强或修改视频序列。由此实现根据本发明的方便的图像数据处理。

根据本发明的其它实施方式，所述对比度调整基于以下表达式：

$Y^{\′}(n,m)=\left\{\begin{array}{cc}\mathrm{\λ}\·Y(n,m)+(\mathrm{\λ}-1)\·\stackrel{\‾}{Y_{\mathrm{DC}}}& m=n=0\\ \mathrm{\λ}\·Y(n,m)& m\≠0\mathrm{or\; n}\≠0\end{array}\right.$

其中：

-m，n是频域(frequency domain)坐标；

-Y′(n，m)是经过编辑的图像的DCT变换；

-λ是对比度比例因子；

-Y(n，m)是原始图像的DCT变换；

是图像内所有块的DC系数的平均值。

根据本发明的其它实施方式，所述应用支持所述基于DCT的视频序列的亮度调整。通过执行亮度调整，用户可以增强或修改视频序列。由此实现根据本发明的方便的图像数据处理。

根据本发明的其它实施方式，所述亮度调整是基于以下表达式：

${Y_q}^{\′}(n,m)=\left\{\begin{array}{c}{Y}_q(n,m)+8\·K/Q_{\mathrm{DC}};m=n=0\\ Y_q(n,m);\mathrm{else}\end{array}\right.$

其中K’对应于压缩域中亮度调整的值，它由以下表达式给出：

$K\′=\left\{\begin{array}{c}8\·K/Q_{\mathrm{DC}};m=n=0\\ 0;\mathrm{else}\end{array}\right.$

其中

-m，n是频域坐标；

-Y_q′(n，m)是经过编辑的图像的DCT变换；

-Y_q(n，m)是原始图像的DCT变换；

-Q_DC是针对DC系数的量化比例。

根据本发明的其它实施方式，在所述基于DCT的视频序列的所述图像处理的所述应用基础上，提供阴影效应补偿。因此可以进行附加的图像增强操作。

根据本发明的其它实施方式，当在前面的帧中检测到超出范围的像素时，通过对残差进行补偿，以提供所述阴影补偿。这个方法提供了用于在视频序列内检测和补偿阴影效应的有益方法。

根据本发明的其它实施方式，通过设置针对DC和AC系数的阈值在基于DCT的视频序列中检测出所述超出范围的像素。由此提供了通过调整DCT分量在压缩域中的处理，使得分别针对编码和解码的计算密集型操作得以避免。

根据本发明的其它实施方式，通过部分解码所述视频中某些可能存在越界系数的帧提供所述阴影效应补偿。因此只需要部分解码，这避免了复杂和计算密集型操作。

根据本发明的其它实施方式，所述视频序列是代表所述序列的数字H.263比特流。

根据本发明的其它实施方式，在H.263比特流的基础上，如果将所述序列的所述亮度调整应用于帧内编码宏块，则像素强度的改变量与DC系数的改变量完全相同。

根据本发明的其它实施方式，所述视频序列是代表所述序列的数字mpeg-4比特流。

根据本发明的其它实施方式，对于帧内编码宏块，所述mpeg-4比特流所代表的所述序列中的所述对比度调整被提供为单程(one-pass)过程。

根据本发明的其它实施方式，提供了一种涉及所定义环境的用于基于DCT的视频序列的图像处理的计算机程序产品，包括存储在可读介质上的程序代码段，当所述程序在计算机、基于微处理器的设备、终端、网络设备、移动终端或支持便携通信的终端上运行时，所述程序代码段执行之前提及的方法的步骤。

根据本发明的其它实施方式，提供了一种涉及所定义环境的用于基于DCT的视频序列的图像处理的计算机程序产品，包括存储在机器可读介质上的程序代码段，当所述程序产品在计算机、基于微处理器的设备、终端、网络设备、移动终端或支持便携通信的终端上运行时，所述程序代码段执行上面方法的步骤。

根据本发明的其它实施方式，一种涉及所定义环境的用于基于DCT的视频序列的图像处理的软件工具，包括程序部分，当所述程序在计算机程序中被实现以用于被基于微处理器的设备、处理设备、终端设备、网络设备、移动终端、或支持便携通信的终端执行时，所述程序部分执行上面方法的操作。

根据本发明的其它实施方式，包含在载波和表示指令中的计算机数据信号，当所述信号被处理器执行时，其使得上面方法中任何一个的步骤被执行。

根据本发明的其它方面，提供了一种适合于将对比度调整和亮度调整中的至少一个应用于对应于图像处理操作的经过压缩和运动补偿的基于DCT的视频序列的模块。所述模块包括用于提供所述经过压缩的基于DCT的视频序列的组件，以及用于在压缩域中将所述图像处理操作应用于所述视频序列以得到图像经过处理的压缩视频序列的组件。

根据本发明的其它实施方式，提供了一种适合于将对比度调整和亮度调整中的至少一个应用于对应于图像处理操作的经过压缩和运动补偿的基于DCT的视频序列的移动设备。所述移动设备包括：至少一个用于图像处理的模块、I/O接口、存储器单元、通信接口以及适合于控制所述移动设备内所有实体的CPU。

对于本发明的读者来说，本发明的优点将在阅读参考本发明的实施方式的详细说明时变得显而易见，基于该详细说明，本发明的概念将很容易理解。

为了清晰起见，在详细说明和附图中，相同或相似的组件、单元或设备将被参考为相同的参考数字。

应当指出的是，名称“便携设备”和“移动设备”将贯穿说明书作为同义词使用。

附图说明

附图是为了提供对本发明的进一步理解，它与说明书相结合并构成说明书的一部分。附图说明了本发明的实施方式，并与说明书一起用来解释本发明的原理。在附图中：

图1示出了说明根据本发明的用于图像处理的方法原理的流程图；

图2示出了根据本发明的空域中的视频增强或操作过程；

图3示出了压缩域中的视频操作过程；

图4对应于根据本发明的用于图像处理的模块；以及

图5描述了分别根据本发明的移动设备或消费电子设备。

具体实施方式

参考图1，描述了说明根据本发明的方法原理的流程图。在操作S100中，可操作序列开始。根据对本发明概念的上述说明，参考操作S110所示，分别提供或得到基于DCT的视频序列。基于DCT的序列源自通过视频照相机或类似方式得到的原始序列。视频序列被预先存储在存储器中也是可能的。

在操作S120中，图像处理操作被应用于压缩视频序列。所述图像处理操作的理论背景将在下文说明中详细描述。所述图像处理操作可以包括不同的步骤，例如亮度或对比度修正或根据本发明的阴影补偿算法。所有步骤都有益地在压缩域(基于DCT的域)中进行，因此不需要视频序列中每个图像的完全编码。在调整操作S120之后，参考操作S130，提供图像经过处理的新的视频序列，使进一步的处理或存储成为可能。

如果没有进一步的处理被执行，方法在操作S150结束，并且可以对应于新的迭代被重新启动。

参考图2，提供了在空域中操作的视频调整***。如图2所示，该***将一般的经过DCT变换的视频片段作为输入，并且随后将经过多个操作模块。图2的上面部分一般地表示解码路径，下面的路径对应于编码过程，从而在所述***的输出处得到经过编辑的视频片段。在这个特定实施方式中，所述经过编辑的视频片段还分别可以是DCT形式或者压缩形式。

参考根据图2中下面路径所描述的，在视频压缩***中，时间冗余和空间冗余两者都被利用。为了利用时间冗余，只有连续帧之间的变化被编码。当前帧中的运动是从前面的帧中被估计或预测的。继而经过运动补偿或预测的帧从原始帧中被减去。

构成预测的过程被称为运动补偿S230和S260。在大多数视频压缩***中，运动补偿是基于块的。更具体地，每个帧被划分为块(称为宏块)，并且运动向量被分配给每个宏块或者块。宏块或者块的运动向量指向前面被编码的帧中与该宏块差别最小的宏块或者块。找到这些运动向量的过程被称为运动估计。运动补偿过程使用之前所确定的例如用于图像重建的甚至是用于图像改善的运动向量。运动补偿/估计过程是高计算密集型的，并且消耗整个编码过程中的大部分处理时间。

帧内的空间冗余通过在残差数据上应用变换而被利用。在大多数视频压缩标准所使用的基于DCT的视频编码***中，二维DCT变换被应用在8×8的块上。作为DCT变换的结果，像素强度被转换为DCT系数，这些DCT系数表示输入块在空域上的能量分布。在DCT变换之后，8×8块的能量高度集中在低频系数中，而高频系数通常被削弱。因此，编码和传输只需要很少的系数。

DCT变换公式在下面被示出，并根据S270被描述：

$Y(n,m)=\frac{1}{4}{C}_n{C}_m\underset{j=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}I(i,j)\·\cos \left(\frac{\mathrm{\π}\·n}{16}(2i+1)\right)\·\cos \left(\frac{\mathrm{\π}\·m}{16}(2j+1)\right)---\left(3\right)$

$C_k=\left\{\begin{array}{cc}\frac{1}{\sqrt{2}}& k=0\\ 1& k\≠0\end{array}\right.$

其中i，j是块中像素的空间坐标，n，m是频域坐标，I是像素强度，C_k是比例因子，Y(n，m)是DCT系数。最低频率系数Y(0，0)称为DC系数，并且其代表8×8块的平均强度。其它系数称为AC系数。

在参考图2中下面的路径所描述的编码过程中，在每个8×8块上应用DCT变换S270之后，DCT系数被量化，这对应于操作S280。量化之后，非零DCT系数的数目进一步减少(没有描述)。非零系数被熵编码S290并被传输或提供。经过处理或者经过编辑的视频片段现在可以被进一步处理或存储。

在解码过程中，执行上述操作的逆操作(参看编码过程)。首先，参考操作S200所描述地对比特流进行熵解码，并继而DCT系数如操作S210所示地得以解量化。DCT系数被逆变换S220以产生残差帧。对应于操作S230和S240，该残差被附加给根据前面被解码的帧产生的重建帧，以恢复未压缩的原始格式。现在，空域中经过解码的视频序列可以被进一步处理。在这个示例性实施方式中，提供了视频增强操作，参考操作S250。所述增强可以包括不同的操作，例如亮度或对比度调整等。空域中所述经过调整的视频序列被用作相应的编码或者译码过程的输入，以得出前面提到的经过编辑的视频片段。

在压缩过程中，并非所有块都通过残差信息被编码。一些块通过其原始像素值被编码。这将发生在例如前面的帧不可用或者编码残差比编码原始帧需要更多比特的情况下。原始像素值的编码被称为帧内编码，残差像素值的编码被称为帧间编码。

需要全部解码并重新编码视频比特流的空域视频增强是高度复杂的，因为必须调用一些诸如运动补偿/估计的计算密集型处理。相反，压缩域视频增强是操作DCT系数，它避免了这些复杂过程。因此，可以获得充分的加速。这个过程或***参考图3被示出，图3描述了根据本发明的创造性概念的压缩域中的图像处理***。

输入的视频片段是基于DCT的视频序列。如参考图2已经描述过的，熵解码在第一个操作S300中被执行，随后是解量化操作S310。根据本发明的视频增强操作S350在上述操作S310所产生的经过解量化的系数上被执行。

根据图3的编码路径(下面的路径)同样包括前面已经提到的操作：量化S380和熵编码S390。结果是经过编辑的视频片段，其中根据本发明的创造性概念的优点，图像处理在没有任何解压缩步骤的情况下得以完成。

下面结合亮度和对比度调整描述基于DCT的视频操作的理论基础，但是本发明不限于此。

如前所述，图像处理例如可以包括亮度和对比度调整，但是根据本发明的创造性步骤，其它技术也同样可以实现。

在本小节中给出压缩域亮度和对比度调整的理论基础。下面的公式推导了用于亮度和对比度调整的关于DCT系数的相应操作。

亮度调整

如果亮度被应用于空域中的图像I，则新图像I’将被定义为：

I′(i，j)＝I(i，j)+K    (4)

其中K是表示亮度强度变化的常量。经过编辑的帧I’(n，m)的DCTY’(n，m)如下给出：

$Y^{\′}(n,m)=\frac{1}{4}{C}_n{C}_m\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}{I}^{\′}(i,j)\·\cos \left(\frac{\mathrm{\π}\·n}{16}(2i+1)\right)\·\cos \left(\frac{\mathrm{\π}\·m}{16}(2j+1)\right)$

$Y^{\′}(n,m)=\frac{1}{4}{C}_n{C}_m\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}[I(i,j)+K]\·\cos \left(\frac{\mathrm{\π}\·n}{16}(2i+1)\right)\·\cos \left(\frac{\mathrm{\π}\·m}{16}(2j+1)\right)$

$Y^{\′}(n,m)=\frac{1}{4}{C}_n{C}_m\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}I(i,j)\·\cos \left(\frac{\mathrm{\π}\·n}{16}(2i+1)\right)\·\cos \left(\frac{\mathrm{\π}\·m}{16}(2j+1)\right)$

$+\frac{1}{4}{C}_n{C}_m\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}K\·\cos \left(\frac{\mathrm{\π}\·n}{16}(2i+1)\right)\·\cos \left(\frac{\mathrm{\π}\·m}{16}(2j+1)\right)$

$Y^{\′}(n,m)=Y(n,m)+\frac{1}{4}{C}_n{C}_m\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}K\·\cos \left(\frac{\mathrm{\π}\·n}{16}(2i+1)\right)\·\cos \left(\frac{\mathrm{\π}\·m}{16}(2j+1)\right)$

注意，对于n和m都不为零的AC系数，上面公式(4)的右手边的第二项变为零。然而，对于n＝m＝0的DC系数，它等于单位元素(unity)，也即

Y′(0，0)＝Y(0，0)+8·K

设Y_q和Y_q’是亮度调整之前和之后的量化的DC系数，

Y_q′(0，0)＝Y_q(0，0)+8·K/Q_DC

其中Q_DC是用于DC系数的量化比例。

因此，公式(4)变为：

${Y_q}^{\′}(n,m)=\left\{\begin{array}{c}{Y}_q(n,m)+8\·K/Q_{\mathrm{DC}};m=n=0\\ Y_q(n,m);\mathrm{else}\end{array}\right.$

由此，压缩域中的亮度调整值K’是：

$K^{\′}=\left\{\begin{array}{c}8\·K/Q_{\mathrm{DC}};m=n=0\\ 0;\mathrm{else}\end{array}\right.---\left(5\right)$

对比度调整

考虑如下公式所给出的对比度调整公式：

I′(i，j)＝λ·(I(i，j)-η)+η    (6)

其中η是图像像素强度的平均值，λ是对比度比例因子。

经过编辑的图像I’(i，j)的Y’(n，m)是：

$Y^{\′}(n,m)=\frac{1}{4}{C}_n{C}_m\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}{I}^{\′}(i,j)\·\cos \left(\frac{\mathrm{\π}\·n}{16}(2i+1)\right)\·\cos \left(\frac{\mathrm{\π}\·m}{16}(2j+1)\right)$

$Y^{\′}(n,m)=\frac{1}{4}{C}_n{C}_m\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}[\mathrm{\λ}\·(I(i,j)-\mathrm{\η})+\mathrm{\η}]\·\cos \left(\frac{\mathrm{\π}\·n}{16}(2i+1)\right)\·\cos \left(\frac{\mathrm{\π}\·m}{16}(2j+1)\right)$

$Y^{\′}(n,m)=\frac{1}{4}{C}_n{C}_m\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}\mathrm{\λ}\·I(i,j)\·\cos \left(\frac{\mathrm{\π}\·n}{16}(2i+1)\right)\·\cos \left(\frac{\mathrm{\π}\·m}{16}(2j+1)\right)$

$+\frac{1}{4}{C}_n{C}_m\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}\mathrm{\η}\·(\mathrm{\λ}-1)\·\cos \left(\frac{\mathrm{\π}\·n}{16}(2i+1)\right)\·\cos \left(\frac{\mathrm{\π}\·m}{16}(2j+1)\right)$

$Y^{\′}(n,m)=\mathrm{\λ}\·Y(n,m)+\frac{\mathrm{\η}\·(\mathrm{\λ}-1)}{4}{C}_n{C}_m\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}\cos \left(\frac{\mathrm{\π}\·n}{16}(2i+1)\right)\·\cos \left(\frac{\mathrm{\π}\·m}{16}(2j+1)\right)$

由于η在像素域中，因此需要将其转换为相应的压缩域参数。如下推演将η转换为其在压缩域中的对等部分：

$\mathrm{\η}=\frac{1}{8\·8\·M_1\·M_2}\underset{x=0}{\overset{M_1-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{M_2-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}I(8x+i,8y+j)$

其中M₁和M₂是图像中水平和竖直维度的8×8块的数目。

设η′_x，y是8×8块(x，y)的像素强度的平均值：

$\mathrm{\η}=\frac{1}{M_1\·M_2}\underset{x=0}{\overset{M_1-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{M_2-1}{\mathrm{\Σ}}}{{\mathrm{\η}}^{\′}}_{x,y}$

并且对于每个8×8块

${\mathrm{\η}}_{x,y}^{\′}=\frac{1}{64}\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}{I}_{x,y}(i,j)$

${\mathrm{\η}}_{x,y}^{\′}=\frac{1}{64}\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}(\frac{1}{4}\underset{n=0}{\overset{7}{\mathrm{\Σ}}}\underset{m=0}{\overset{7}{\mathrm{\Σ}}}{C}_n{C}_m{Y}_{x,y}(n,m)\·\cos \left(\frac{\mathrm{\π}\·n}{16}(2i+1)\right)\·\cos \left(\frac{\mathrm{\π}\·m}{16}(2j+1)\right))$

${\mathrm{\η}}_{x,y}^{\′}=\frac{1}{64}\underset{n=0}{\overset{7}{\mathrm{\Σ}}}\underset{m=0}{\overset{7}{\mathrm{\Σ}}}(Y_{x,y}(n,m)\·\frac{1}{4}{C}_n{C}_m\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}\cos \left(\frac{\mathrm{\π}\·n}{16}(2i+1)\right)\·\cos \left(\frac{\mathrm{\π}\·m}{16}(2j+1)\right))$

${\mathrm{\η}}_{x,y}^{\′}=\frac{1}{64}\underset{n=0}{\overset{7}{\mathrm{\Σ}}}\underset{m=0}{\overset{7}{\mathrm{\Σ}}}{Y}_{x,y}(n,m){\·\mathrm{\Φ}}_{n,m}$

其中

${\mathrm{\Φ}}_{n,m}=\frac{1}{4}{C}_n{C}_m\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}\cos \left(\frac{\mathrm{\π}\·n}{16}(2i+1)\right)\·\cos \left(\frac{\mathrm{\π}\·m}{16}(2j+1)\right)$

因此，公式

$Y^{\′}(n,m)=\mathrm{\λ}\·Y(n,m)+\frac{\mathrm{\η}\·(\mathrm{\λ}-1)}{4}{C}_n{C}_m\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}\cos \left(\frac{\mathrm{\π}\·n}{16}(2i+1)\right)\·\cos \left(\frac{\mathrm{\π}\·m}{16}(2j+1)\right)$

的右手边可以被写为：

$\frac{(\mathrm{\λ}-1)}{M_1{\·M}_2}\underset{x}{\overset{M_1-1}{\mathrm{\Σ}}}\underset{y}{\overset{M_2-1}{\mathrm{\Σ}}}{\mathrm{\η}}_{x,y}^{\′}{\·\mathrm{\Φ}}_{n,m}$

$=\frac{(\mathrm{\λ}-1)}{M_1{\·M}_2}\underset{x}{\overset{M_1-1}{\mathrm{\Σ}}}\underset{y}{\overset{M_2-1}{\mathrm{\Σ}}}(\frac{1}{64}\·\underset{n=0}{\overset{7}{\mathrm{\Σ}}}\underset{m=0}{\overset{7}{\mathrm{\Σ}}}{Y}_{x,y}(n,m){\·\mathrm{\Φ}}_{n,m}){\·\mathrm{\Φ}}_{n,m}$

Φ_n，m是所有元素强度为1的8×8块的系数矩阵。已知Φ_0，0＝8，并且对于n，m≠0，Φ_n，m≈0，上面的公式可以被重新写为：

$\frac{(\mathrm{\λ}-1)}{M_1{\·M}_2}\underset{x}{\overset{M_1-1}{\mathrm{\Σ}}}\underset{y}{\overset{M_2-1}{\mathrm{\Σ}}}(\frac{1}{64}\·Y_{x,y}\left(\mathrm{0,0}\right){\·\left({\mathrm{\Φ}}_{n,m}\right)}^2)$

$=\frac{(\mathrm{\λ}-1)}{M_1\·M_2}\underset{x}{\overset{M_1-1}{\mathrm{\Σ}}}\underset{y}{\overset{M_2-1}{\mathrm{\Σ}}}{Y}_{x,y}\left(\mathrm{0,0}\right)$

$=(\mathrm{\λ}-1)\·\stackrel{\‾}{Y_{\mathrm{DC}}}$

其中

是图像中所有8×8块的DC系数的平均。

压缩域中的对比度调整可被写为：

$Y^{\′}(n,m)=\left\{\begin{array}{cc}\mathrm{\λ}\·Y(n,m)+(\mathrm{\λ}-1)\·\stackrel{\‾}{Y_{\mathrm{DC}}}& m=n=0\\ \mathrm{\λ}\·Y(n,m)& m\≠0\mathrm{or\; n}\≠0\end{array}\right.---\left(7\right)$

基于上面的理论推导，亮度和对比度调整操作可以在DCT层面上执行。下面是操作的细节。

如上所述，帧内有两种类型的宏块，帧内编码宏块(帧内MB)和帧间编码宏块(帧间MB)。在帧内MB中，原始像素被编码。在帧间MB中，为了利用时间冗余，只有原始像素值和运动补偿像素值的差异被编码。因此帧间MB中的值代表了从前面的帧到当前帧的变化。

帧内编码宏块(帧内MB)

在帧内MB中，原始像素被编码。对于亮度调整，(5)和(7)可被用以操作用于亮度和对比度调整的DCT系数。

亮度调整

公式(5)示出了只有DC系数需要改变。

在下面的小节1)和2)中，以示例的方式考虑H.263和MPEG-4比特流。

1)H.263比特流

在H.263中，DC量化被固定为8。因此，像素强度的改变量与DC系数的改变量完全相同。

2)MPEG-4比特流

在MPEG-4中，可以应用DC和AC预测。在VLC(可变长码)编码之前，量化DC值减去来自上边或左边块的预测DC值。DC和AC预测方向的自适应选择是基于待解码的块周围的水平和数值DC梯度的比较。由于应用增强效果所导致的DC值改变，DC预测方向可能被改变。在块的基础上，用于DC系数预测的最佳方向(水平方向或竖直方向)也被用以选择用于AC系数预测的方向。因此，如果应用了AC预测，则DC系数的改变将影响AC系数的编码。根据本发明的创造性概念，可以通过将AC预测标志设置为0以强制停止AC预测来解决这个问题。应用增强效果之后的AC系数被重新VLC编码。

对比度调整

公式(7)被用以调整对比度水平。

根据(7)，需要来自帧内所有块的DC系数的平均值。然而，在通常的实现方式中，块是一个接一个地被处理的，不允许随机访问比特流，也即，为了解码块i，在i之前的块必须首先被解码。因此，为了得到精确的DC系数平均值，需要双程(two-pass)过程。为了计算平均值，第一程取出帧内所有块的DC系数。第二程应用对比度调整。

显然，双程过程将增加计算复杂性。根据本发明，采用单程过程。通过渐进添加新DC系数来估计平均DC系数的方法将被采用。这个方法有效且有利于实现。所述方法可以包括以下步骤：

1.将初始平均DC系数设置为1024，这对应于强度的中间水平。

2.在将增强效果应用于帧内MB之前，平均DC值被如下的更新：

$\stackrel{\‾}{Y_{\mathrm{DC}}}\left(n\right)=\frac{\stackrel{\‾}{Y_{\mathrm{DC}}}(n-1)*(n+M)*4+\underset{i=0}{\overset{3}{\mathrm{\Σ}}}{Y}_{\mathrm{DC}}(n,i)}{(n+M+1)*4}---\left(8\right)$

其中

是针对宏块n所估计的平均DC系数，Y_DC(n，i)是宏块n中的块i的DC系数。M是帧中的宏块数目。

3.通过将所估计的平均DC系数

代入公式(7)，而将对比度调整应用于宏块n。

帧间编码宏块(帧间MB)

在亮度或对比度调整中，增强效果被不变的应用于视频序列中的每个帧。因此，在亮度调整中，前面的帧和当前帧的像素强度改变是相同的。连续两帧之间的差异仍然没有改变。因此，帧间MB上不需要任何用于亮度调整的操作。

在对比度调整的情况下，每个帧具有相同的扩展因子。帧间MB对比度调整的空域表示在下面给出：

在时间t-1和t处在帧上应用对比度调整，得到：

I′(i，j，t)＝λ·(I(i，j，t)-η(t))+η(t)

I′(i，j，t-1)＝λ·(I(i，j，t-1)-η(t-1))+η(t-1)

设ΔI′(i，j，t)＝I′(i，j，t)-I′(i，j，t-1)是对比度调整之后的编码时间t-1和t之间的强度差。设ΔI(i，j，t)＝I(i，j，t)-I(i，j，t-1)是对比度调整之前的编码时间t-1和t之间的强度差。空域中针对帧间MB的相应操作是：

ΔI′(i，j，t)＝λ·[ΔI(i，j，t)-(η(t)-η(t-1))]+(η(t)-η(t-1))

ΔI′(i，j，t)＝λ·ΔI(i，j，t)+(1-λ)·[(η(t)-η(t-1))]

然而，除了因场景变化而使得大多数宏块都被帧内编码的情况之外，连续两帧之间的平均强度差[η(t)-η(t-1)]通常较小。因子(1-λ)通常是一个小值(小于1)。因此上面公式中的第二项可以忽略，针对帧间MB的操作是：

ΔI′(i，j，t)＝λ·ΔI(i，j，t)

本发明的进一步的目标是减小视频序列中的阴影效应。下面的小节讨论阴影效应和根据本发明的降低所述效应的方法。所述方法在压缩域中提供。

阴影效应

应用压缩域视频增强时，当包含尖锐边界的区域发生改变时，可以观察到一种被称为“阴影效应”的特定效应。出现阴影效应的原因是在视频被播放时应用了剪切(clipping)。

在数字视频***中，一个像素由一定数目的位表示。普遍的表示法是8位。更特别地，像素亮度可以有2⁸＝256种可能的值(0～255)。当应用视频增强效果时，得到的像素值可能超出范围，也即，高于255或低于0，标准的方法是将其限制在0～255的范围内。这个过程被称为剪切。

在空域视频增强中这不是问题，因为剪切是在完全解码的图像序列被重新编码之前被应用于完全解码的图像序列的。经过编辑的视频比特流不包含任何越界的像素。

在压缩域中，如图3所示，增强效果是在DCT层面上执行的。编辑之后的DCT系数可能对应于超出范围的像素。这些值将在解码过程中被剪切掉。

阴影效应是由剪切引起的。所述阴影效应可能发生在呈现尖锐边界或尖锐变化的区域，例如深色背景上的白色字母等。没有阴影效应补偿，则每个边界都将有干扰的阴影。

当区域包含尖锐边界时，两个相邻区域的亮度差异非常大。在这个区域上应用增强效果将使这个区域的一个部分内的像素超出范围，而该区域其它部分仍在范围之内。在一个示例中，数字(或字母)的像素是白色的，其对应的值接近255。另一方面，背景像素是黑色的，其对应的值接近0。当通过正值调整亮度时，白色数字的像素将大于255，而黑色背景像素将仍然位于范围之内。当剪切在解码过程中被应用时，超出范围的像素将被剪切而其它像素仍然保持不变。在下一帧中，如果这个区域内的块是帧间编码的，则只有连续两帧之间的差异被恢复。这些残差没有针对前面帧中的剪切得到补偿。因此，当残差被添加到前面的帧时，根据前面帧中被剪切的像素而重建的像素将比其指定的亮度水平较暗或较亮。

根据本发明的创造性概念，解决这个问题的一种建议是在前面的帧中检测到超出范围的像素时，对残差进行补偿。由于DCT系数是在没有完全解码的情况下被直接操作的，因此空域中超出范围的像素无法被识别。可以使用DCT层面中的对应检测。这可以通过设置针对DC系数和一些AC系数的阈值得以实现。当DC系数过大或过小并且AC系数的绝对值过大时，通常意味着该块包含尖锐对比边界，而且一些像素几乎超出范围，并且这些像素在应用增强效果时将肯定超出范围。在这种情况下，这个块将被完全解码并存储。在下一帧中，对应于这个块的残差将得到补偿并被重新编码。

这个方法需要对一些块完全解码并重新编码。然而，这仅仅应用于包含超出范围的像素的块。在实际视频序列中，这种情况并不经常发生。因此，这个修正措施将不会明显增加计算复杂性。

参考图4，描述了一种用于经过压缩的基于DCT的视频序列的图像处理的模块M400。所述模块包括两个主要组件：用于提供经过压缩的基于DCT的视频序列的组件M410，以及用于执行根据本发明的图像处理操作的组件M420。两个模块连接在一起，使得M410的输出对应于所述图像处理组件M420的输入。用于提供视频序列的组件M410接收由数字数据流表示的视频序列，并且适合于将原始图像数据变换为基于DCT的且经过压缩的视频序列。这个数据可被用作对应图像处理组件的M420的输入。

在执行所述图像处理操作之后，数据例如可以被进一步使用或被存储在存储器组件中。图像处理模块或者组件M420的基础已经在前文参考附图进行过描述。

图5示出了便携消费电子(CE)或移动设备550的主要结构组件，其示例性的代表了可以应用本发明的任何类型的便携消费电子(CE)设备。应当理解，本发明既不限于所说明的CE设备550，也不限于任何其它特定类型的便携CE设备。

所说明的便携CE设备550示例性地实现为照相机电话，它通常是指通过图像捕获传感器而具备图像和视频片段捕获能力的蜂窝电话。特别地，设备550被实施为基于处理器或基于微控制器的设备，它包括中央处理单元(CPU)；数据存储器520；应用存储器(未示出)；包括具有射频天线500的蜂窝射频接口(I/F)580以及用户标识模块(SIM)570在内的蜂窝通信装置；包括音频输入/输出(I/O)装置540(通常是麦克风和扬声器)以及具有键输入控制器(Ctrl)(未示出)的键、小键盘和/或键盘以及具有显示控制器(Ctrl)(未示出)的显示器在内的用户接口输入/输出装置；通常是具有光学器件(未示出)的用于图像投影的CCD(电荷耦合器件)传感器(未示出)的图像捕获传感器510；以及示例性的代表了根据本发明的图像处理所需的若干从属或独立模块和组件实现的图像处理模块M400(参见图4)。

通常由中央处理单元(CPU)基于操作***或基础控制应用来控制CE设备550的操作，其中所述操作***或基础控制应用通过将CE设备的特征和功能性的使用提供给其用户来控制CE设备的特征和功能性。显示器和显示器控制器(Ctrl)由中央处理单元(CPU)控制并且为用户提供信息。小键盘和小键盘控制器(Ctrl)允许用户输入信息。通过小键盘输入的信息由小键盘控制器(Ctrl)提供给中央处理单元(CPU)，CPU可以根据输入信息得以指令和/或控制。音频输入/输出(I/O)装置540至少包括用于播放音频信号的扬声器以及用于记录音频信号的麦克风。中央处理单元(CPU)可以控制从音频数据到音频输出信号的转换以及从音频输入信号到音频数据的转换，其中音频数据例如具有适合于传输和存储的格式。从数字音频到音频信号的音频信号转换及其逆过程通常由数字-模拟和模拟-数字电路支持。

另外，根据图5中所描述的特定实施方式的便携CE设备550可选择的包括蜂窝接口(I/F)580，其耦合到射频天线500上并且是用户标识模块(SIM)570可操作的。蜂窝接口(I/F)580被布置为蜂窝收发器，用以接收来自蜂窝天线的信号，对信号进行解码，对信号进行解调，并将信号降低到基带频率。蜂窝接口580提供了空中(over-the-air)接口，它与用户标识模块(SIM)570结合，用于与公共陆地移动网络(PLMN)的无线接入网络(RAN)的对应基站(BS)进行蜂窝通信。蜂窝接口(I/F)580的输出因而包含可能需要中央处理单元(CPU)进一步处理的数据流。被部署为蜂窝收发器的蜂窝接口(I/F)580还适合于接收来自中央处理单元(CPU)的数据，这些数据将通过空中接口被传输给无线接入网络(RAN)的基站(BS)。因此，蜂窝接口(I/F)580对包含信号的数据进行编码、调制并将其上转换为待使用的射频。蜂窝天线继而将结果射频信号传输给公共陆地移动网络(PLMN)的无线接入网络(RAN)的对应基站(BS)。

图像捕获传感器510通常以CCD(电荷耦合器件)和光学器件的方式实现。包含像素栅格的电荷耦合器件作为光感设备在数字照相机、数字光学扫描仪以及数字视频照相机中被用于数字图像捕获。图像被电容器阵列(CCD)上的光学器件(镜头，或者一个或更多镜头的排列)投影，使得每个电容器累积与那个位置的光强度成比例的电荷。数字视频和数字静态照相机中所使用的二维阵列捕获全部图像或图像的矩形部分。一旦阵列对该图像曝光，控制电路使每个电容器将其内容传送给其邻居。阵列中的最后一个电容器将其电荷全部传递给放大器，放大器将电荷转换为电压。通过重复这个过程，控制电路将阵列的整个内容转换为变化的电压，控制电路对变化电压进行采样、数字化，并将原始图像数据提供给图像处理模块M400以用于进一步处理。图像处理模块M400允许CE设备550的用户拍摄静态数字图像和视频序列。通常，原始图像数据被图像处理模块M400压缩并被存储在数据存储器中。除了其它功能外，图像处理模块M400还实现静态数字图像处理和视频(图像序列)处理所需的编解码模块，也即编码和解码模块，其中所实现的图像处理模块M400的组件优选地是软件应用组件，其操作可由特定的硬件实现支持，这有利于改进图像处理模块M400的处理能力和功能性。

尽管本发明是参考根据附图的实施方式描述的，显而易见本发明不限于此，而是可以在所附权利要求书的范围内以各种方式对其进行修改。

Claims (19)

1.一种将对比度调整和亮度调整中的至少一个应用于对应于图像处理操作的经过压缩和运动补偿的基于DCT的视频序列的方法，包括步骤：

提供所述经过压缩和运动补偿的基于DCT的视频序列；以及

在压缩域中将所述图像处理操作应用于所述视频序列以得到图像经过处理的压缩视频序列，其中，所述应用是通过调整定义了所述基于DCT的视频序列的DCT分量得以执行的。

2.根据权利要求1所述的方法，其中，通过部分解码和编码所述基于DCT的视频序列提供对所述DCT分量的调整。

3.根据权利要求1所述的方法，其中，在对所述基于DCT的视频序列的所述图像处理进行所述应用的基础之上提供阴影效应补偿。

4.根据权利要求3所述的方法，其中，通过在前面的帧中检测到超出范围的像素时对残差进行补偿来提供所述阴影补偿。

5.根据权利要求4所述的方法，其中，通过设置针对DC和AC系数的阈值在基于DCT的视频序列中检测出所述超出范围的像素。

6.根据权利要求4所述的方法，其中，通过部分解码其中可能存在越界系数的该帧中的某些块来提供所述阴影效应补偿。

7.根据权利要求1所述的方法，其中，所述视频序列是代表所述序列的H.263比特流，其中该H.263比特流被VLC解码，该比特流中的DCT系数被解量化，并且该图像处理操作被应用于该DCT系数。

8.根据权利要求1所述的方法，其中，如果所述序列对应于所述H.263比特流，则通过将对所述序列的所述亮度调整应用于帧内编码宏块，使像素强度的改变量与DC系数的改变量完全相同。

9.根据权利要求1所述的方法，其中，所述视频序列是代表所述序列的数字MPEG-4比特流，其中该MPEG-4比特流被VLC解码，该比特流中的DCT系数被解量化，并且该图像处理操作被应用于该DCT系数。

10.根据权利要求1所述的方法，其中，对于帧内编码宏块，所述MPEG-4比特流所代表的所述序列中的所述对比度调整被提供为单程过程。

11.一种用于将对比度调整和亮度调整中的至少一个应用于涉及所定义环境的经过压缩和运动补偿的基于DCT的视频序列的计算机程序产品，包括存储在可读介质上的程序代码段，当所述程序代码段在计算机、基于微处理器的设备、终端、网络设备、移动终端或支持便携通信的终端上运行时，所述程序代码段执行权利要求1的步骤。

12.一种用于涉及所定义环境的基于DCT的视频序列的图像处理的计算机程序产品，包括存储在机器可读介质上的程序代码段，当所述程序产品在计算机、基于微处理器的设备、终端、网络设备、移动终端或支持便携通信的终端上运行时，所述程序代码段执行权利要求1的步骤。

13.一种用于将对比度调整和亮度调整中的至少一个应用于涉及所定义环境的经过压缩和运动补偿的基于DCT的视频序列的软件工具，包括程序部分，当所述程序部分在计算机程序中被实现以用于在基于微处理器的设备、处理设备、终端设备、网络设备、移动终端、或支持便携通信的终端上执行时，所述程序部分实现权利要求1的操作。

14.一种适合于将对比度调整和亮度调整中的至少一个应用于对应于图像处理操作的经过压缩和运动补偿的基于DCT的视频序列的模块，包括：

用于提供所述经过压缩的基于DCT的视频序列的组件；以及

用于在压缩域中将所述图像处理操作应用于所述视频序列以得到图像经过处理的压缩视频序列的组件，其中，所述应用是通过调整定义了所述基于DCT的视频序列的DCT分量得以执行的。

15.根据权利要求14所述的模块，其中，所述对比度调整基于以下表达式：

$Y^{\′}(n,m)=\left\{\begin{array}{cc}\mathrm{\λ}\·Y(n,m)+(\mathrm{\λ}-1)\·\stackrel{\‾}{Y_{\mathrm{DC}}}& m=n=0\\ \mathrm{\λ}\·Y(n,m)& m\≠0\mathrm{or\; n}\≠0\end{array}\right.---\left(7\right)$

其中：

-m，n是频域坐标；

-Y′(n，m)是该经过编辑的图像的DCT变换；

-λ是对比度比例因子；

-Y(n，m)是该原始图像的DCT变换；以及

是该图像内所有块的DC系数的平均值。

16.根据权利要求14所述的模块，其中，所述亮度调整基于以下表达式：

${Y_q}^{\′}(n,m)=\left\{\begin{array}{c}{Y}_q(n,m)+8\·K/Q_{\mathrm{DC}};m=n=0\\ Y_q(n,m);\mathrm{else}\end{array}\right.$

其中K’对应于该压缩域中该亮度调整的值，它由以下表达式给出：

$K^{\′}=\left\{\begin{array}{c}8\·K/Q_{\mathrm{DC}};m=n=0\\ 0;\mathrm{else}\end{array}\right.----\left(5\right)$

其中：

-m，n是频域坐标；

-Y_q′(n，m)是该经过编辑的图像的DCT变换；

-Y_q(n，m)是该原始图像的DCT变换；以及

-Q_DC是针对DC系数的量化比例。

17.根据权利要求14所述的模块，其中，所述视频序列是代表所述序列的数字MPEG-4比特流，其中该MPEG-4比特流被VLC解码，该比特流中的DCT系数被解量化，并且该图像处理操作被应用于该DCT系数。

18.根据权利要求14所述的模块，其中，对于帧内编码宏块，所述MPEG-4比特流所代表的所述序列中的所述对比度调整被提供为单程过程。

19.一种用于将对比度调整和亮度调整中的至少一个应用于对应于图像处理操作的经过压缩和运动补偿的基于DCT的视频序列的电子设备，包括：

-至少一个用于根据权利要求14的图像处理的模块；

-I/O接口；

-存储器单元；以及

-适合于控制所述电子设备内所有实体的处理器。

Images