CN101056407B

CN101056407B - 用于运动相关编码的方法和装置

Info

Publication number: CN101056407B
Application number: CN2007100917805A
Authority: CN
Inventors: 赛巴斯腾·威特布鲁赫; 卡洛斯·科瑞; 塞德里克·塞柏特
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS; International Digital Madison Patent Holding SAS
Priority date: 2006-04-11
Filing date: 2007-04-11
Publication date: 2011-09-28
Anticipated expiration: 2027-04-11
Also published as: EP1845510B1; DE602007001047D1; TWI415461B; EP1845509A1; JP2007279745A; US20070237229A1; US8243785B2; TW200803497A; KR20070101131A; CN101056407A; EP1845510A1; KR101367960B1

Abstract

应当针对例如等离子显示面板上的假轮廓效应干扰而对重心(GCC)编码进行改进。因此，提供了图像或部分图像的GCC代码和运动幅度。此外，提供了GCC代码中的至少一个子集代码。取决于运动幅度而使用GCC代码或至少一个子集代码对视频数据进行编码。因此，如果运动增加，则能够减小编码等级的个数。通过使用纹理信息来选择GCC代码，能够获得进一步的改进。

Description

用于运动相关编码的方法和装置

技术领域

本发明涉及一种用于处理视频数据以便在显示设备上进行显示的方法，其中所述显示设备具有与图像像素相对应的多个照明元件，所述方法包括提供用于对视频输入数据进行编码的GCC(重心编码)码。此外，本发明涉及一种用于处理视频数据的相应装置。

背景技术

首先应使用等离子显示面板(PDP)来解释假轮廓效应。通常，PDP使用由仅能够为“开”或“关”的放电单元组成的矩阵阵列。因此，不像由发光模拟控制来表示灰度级的CRT或LCD，PDP通过每一个单元的脉冲脉宽调制(PWM)来控制灰度级。眼睛在与眼睛时间反应相对应的周期中对这个时间调制进行积分。在给定时间帧中，单元开启越频繁则其亮度越高。例如，当布置具有8比特的亮度等级时(每种颜色256个等级，因而共有1670万种颜色)，每一个等级可以由以下8个比特的组合来表示：

1-2-4-8-16-32-64-128。

为了实现这种编码，可以把帧周期分为8个发光子周期(被称作子场)，每一个子周期都与一个比特和一个亮度等级相对应。针对比特“2”的光脉冲数是针对比特“1”的光脉冲数的两倍，等等。使用这8个子周期，能够通过组合而建立256个灰度级。观察者的眼睛将会把这些子周期在帧周期上进行积分，以捕获正确的灰度级印象。图1示出了这个分解。

发光模式引入了与灰度级和颜色的干扰相对应的新种类的图像品质退化。它们被定义为“动态假轮廓效应”，这是因为当等离子面板上的观察点移动时，所述图像品质退化与图像中有色边缘幻影形式的灰度级和颜色干扰相对应。图像上的这种缺损导致了均匀区域上出现较强的轮廓印象。当图像具有平滑的灰度(像皮肤)且发光周期超过若干毫秒时，这种退化更为严重。

当PDP屏幕上的观察点(眼睛聚焦区)移动时，眼睛将会跟随这个移动。因此，眼睛将不再对同一个单元在帧上进行积分(静态积分)，而是会对来自位于移动轨迹上的不同单元的信息进行积分，并将会把这些光脉冲混合在一起，而这导致了有缺陷的信号信息。

基本上，当存在从一个等级向具有完全不同代码的另一个等级的转变时，会出现假轮廓效应。所以第一点来自允许实现p个灰度级(典型地，p＝256)的代码(具有n个子场)，用于从2ⁿ个可能的子场排列中(进行编码时)或从p个灰度级中(以视频等级工作)选择m个灰度级(m＜p)，从而接近的等级将会具有接近的子场排列。

第二点是保持最大等级数量，以保持良好的视频品质。为此，所选等级的最小数量应当等于子场数目的两倍。

对于所有其它示例，使用如下定义的11个子场的模式：

1 2 3 5 8 12 18 27 41 58 80。

针对这些问题，文献EP 1256924引入了重心编码(GCC)。

从上文可以看出，人眼对脉宽调制发射的光进行积分。所以如果考虑使用基本的代码对所有的视频等级进行编码，那么这些视频等级的时间位置(光线重心)不会随着视频等级而连续增长，如图2所示。

视频等级2的重心CG2大于视频等级1的重心CG1。然而，视频等级3的重心CG3小于视频等级2的重心。

这将导致假轮廓。重心被定义为在子场为“开”时由它们的自持权重加权的子场的重心：

CG (code) = \frac{Σ_{i = 1}^{n} sf W_{i} * δ_{i} (code) * dfC G_{i}}{Σ_{i = 1}^{n} sf W_{i} * δ_{i} (code)}

其中sfW_i是第i个子场的子场权重。如果第i个子场对于选择的代码来说是“开”，那么δ_i等于1，否则等于0。sfCG_i是第i个子场的重心，即第i个子场的时间位置，图3中示出了前7个子场的重心。

图4示出了针对这里选择的11个子场代码的256个视频等级的时间重心。

这个曲线是单调的，并表现出多个跳跃。这些跳跃与假轮廓相对应。根据GCC，通过仅选择某些等级而抑制这些跳跃，所选择的等级的重心将会在除了较低视频等级范围至第一预定界限和/或从第二预定界限至较高视频等级范围之外随着视频等级而连续增长。这一点可以通过图5所示的方式而实现：描绘不具有先前图形上的跳跃的单调曲线，并选择最近的点。因此，当采用GCC时不会使用所有可能的视频等级。

在较低视频等级区域中，应当避免仅选择具有增长的重心的等级，这是因为可能的等级的数目较低，所以如果仅选择具有增长的重心的等级，那么由于人眼对黑色等级非常敏感，因而用于表现黑色等级中良好视频品质的等级是不够的。另外，黑暗区域中的假轮廓是可以忽略的。

在较高等级区域中，重心出现了减小，所以所选择的等级也会出现减小，但由于人眼对较高等级不敏感，所以这种减小并不重要。在这些区域中，眼睛不能区分不同的等级，而且假轮廓等级关于视频等级可以忽略(如果考虑Weber-Fechner定律，眼睛仅对相对幅度敏感)。针对这些原因，曲线仅需要在最大视频等级的10％至80％之间的视频等级上具有单调性。

在这种情况下，针对这个示例，从256个可能的等级中选择40个等级(m＝40)。这40个等级允许保持良好的视频品质(灰度级描绘)。

由于仅能使用较少的等级(典型地为256个)，当以视频等级工作时可以做出这种选择。但是当在编码时做出这种选择时，存在2ⁿ(n为子场个数)种不同的子场排列，因而如图6所示可以选择更多的等级，其中每一个点与子场排列相对应(在给出相同的视频等级时，存在不同的子场排列)。

此外，这种方法能够应用于不同的编码，例如不发生变化的100Hz，且同样给出了良好的结果。

一方面，GCC原理能够减小可视的假轮廓效应。另一方面，由于可用的等级少于所需的等级，GCC原理把噪声以需要抖动的形式引入图像。然后，通过对可用GCC等级的空间和时间混合来呈现缺失的等级。

针对GCC原理而选择的等级的个数是较高的等级个数与较低的等级个数之间的折衷，其中较高的等级个数有利于静态区域(较少的抖动噪声)但不利于移动区域(更多的假轮廓)，而较低的等级个数有利于移动区域(较少的假轮廓)但不利于静态区域(更多的抖动噪声)。在其间能够定义位于一个极端与另一个极端之间的更大数目的GCC编码。

文献EP 1376521引入了一种基于运动检测启用的技术，取决于图像中是否存在大量运动而启用或禁用GCC。

发明内容

根据上文所述，本发明的目的是提供一种方法和一种装置，能够实现具有减小的假轮廓效应干扰的GCC。

根据本发明，这个目的通过一种视频数据处理方法来解决，所述方法用于对视频数据进行处理以显示在具有与图像像素相对应的多个照明元件的显示设备上，包括步骤：提供用于对视频输入数据进行编码的GCC代码；估计或提供图像或部分图像的运动幅度；提供所述GCC代码中的至少一个子集代码；取决于所述运动幅度而使用所述GCC代码或所述至少一个子集代码对视频数据进行编码。

此外，本发明提供了一种视频数据处理装置，用于对视频数据进行处理以显示在具有与图像像素相对应的多个照明元件的显示设备上，所述装置包括编码设备，用于借助GCC代码对视频输入数据进行编码，编码后的视频数据可以用于控制所述显示设备，其中所述编码设备能够估计或接收图像或部分图像的运动幅度，所述编码设备能够提供所述GCC代码中的至少一个子集代码，所述编码设备能够取决于所述运动幅度而使用所述GCC代码或所述至少一个子集代码对视频数据进行编码。

本发明原理的优点是：提供了各种GCC代码，从而可以对编码进行改变，例如取决于运动幅度(非方向)而几乎是线性地变化。

在简单实施例中，基于两个图像或图像的两个相应的部分的差异来估算运动幅度。可选择地，可以提供复数运动检测器，用于向所述编码设备提供与图像或部分图像有关的运动幅度。

优选地，提供了具有互不相同个数的编码等级的若干子集代码，运动幅度指示的运动越多，则用于进行编码的子集代码的编码等级个数越小。这意味着运动强度以渐近的方式确定代码。

可以把GCC代码和至少一个子集代码存储在存储器的表中。否则，如果不使用较大的存储器，则可以针对每一个像素而产生子集代码。

根据其它的优选实施例，对图像或部分图像内的肤色进行测量，并额外地(运动之外)取决于测量的肤色值而改变用于对视频数据进行编码的代码。有利地，如果检测到肤色，则减小代码的等级个数。代码改变可以通过如下方式实现：把运动幅度值与取决于测量的肤色值的因数相乘；和/或增加偏移值，运动幅度值用于产生或选择代码。如果处理器能力不是足够高，则可以从查找表(LUT)中检索取决于肤色值的代码。

附图说明

附图中示出了本发明的典型实施例，而且下文将会详细描述这些实施例。附图中：

图1示出了二进制代码的帧周期合成；

图2示出了三个视频等级的重心；

图3示出了子场的重心；

图4示出了取决于视频等级的时间重心；

图5示出了针对GCC所选择的视频等级；

图6示出了视频等级的不同子场排列的重心；

图7是若干GCC代码的时间图，这些GCC代码具有取决于运动强度的不同的等级个数；

图8是示出了分级的GCC代码的时间图；

图9是图8的部分截图；

图10是用于实现本发明原理的框图；以及

图11是用于取决于运动和肤色而选择适合的代码的框图。

具体实施方式

本发明的优选实施例涉及针对GCC的线性运动编码。

这个原理后的主要思想是得到一组全部基于相同框架的代码。这一点确实重要，因为如果根据每一个区域中的运动而把图像分为多个区域，那么两个区域之间的边界必须保持不可见。如果每一个区域中使用了完全不同的码字，那么边界将会在形成假轮廓边界的情况下变得可见。

因此，使用多个等级并为静态区域提供了良好且几乎是无噪声的灰度级，从而定义了第一GCC代码。然后基于这个代码而抑制等级，逐步地进行对快速运动而言更佳的编码。然后，取决于从每一个像素获得的运动信息，使用适合的代码子集。

运动信息可以是简单的帧差(两个帧之间的差别越明显，则所选择的等级的个数越少)，或是来自真实运动检测或运动估计的更为高级的信息。

在下文中，假定在PDP视频链的开端部分给出了例如运动幅度的运动信息。这个运动信息可以由位于同一芯片内的运动检测器/估计器而提供，或是由内部具有这种运动检测器/估计器块的前端芯片而提供。

图7示出了取决于运动速度而从针对静态像素的较多个数的离散等级直到针对快速运动像素的较少个数的离散等级中选择各种GCC模式。

在本示例中，如图7左上侧所示，具有255个离散等级的GCC代码用于静态图像；如图7右上侧所示，具有94个离散等级的GCC代码用于对低运动像素进行编码；如图7右下侧所示，具有54个离散等级的GCC代码用于对中等运动像素进行编码；如图7左下侧所示，具有38个离散等级的GCC代码用于对快速运动像素进行编码。由于离散等级的个数减少，抖动噪声等级增加。这仅是一个示例，而且可以实现更多的子码。

然而，这个原理之后的一个主要思想是获得抖动噪声等级和运动品质之间的最佳折衷。此外，一个非常重要的方面是：以分级的方式形成所有的GCC模式，否则这个原理将不会得以很好的运用。这意味着模式k自动地为模式k-l的子集。

模式个数是灵活的，并取决于目标应用。这些模式可以以各种表的形式而全部存储在芯片中，或是针对每一个像素而产生。在第一种情况下，表之间的选择将取决于运动幅度信息。在第二种情况中，运动幅度信息将用于直接计算正确的GCC编码值。

针对与图7所示相同的示例，下表示出了总括的原理：

表中每一列示出了针对每一个模式而选择的值。空格意味着没有选择该等级。对于中间模式(例如模式O与模式I之间)，符号“...”意味着取决于最佳过程而选择或不选择该代码。

从上表中可以看出，当k＜l时，模式l总是包含比模式k要少的离散等级。此外，来自模式l的所有离散等级在模式k中总是可用的。

下一个段落将提出定义各种模式的一种可能性。特别地，将会示出分级模式构造。

为了以线性方式定义所有需要的模式以便能够针对运动线性地改变这些模式，基于与理想GCC曲线的距离而开发出一种新的原理。为了说明这个原理，图8示出了3条曲线：

-灰色菱形曲线，通过使用为静态区域而定义的所有离散等级(例如本文示例中为255个)而建立；

-白色方块曲线，通过使用针对快速运动区域的所有离散等级(例如本文示例中为38)而建立；

-黑色理想曲线，用于选择重心以最小化运动伪像。

为了定义运动相关编码，针对静态区域代码中每一个可用的离散等级而定义了被称作DTI(与理想的距离)的参数。这个DTI描述了码字重心与理想GCC曲线(黑色曲线)之间的距离。图9示出了针对图8中曲线的相同等级的DTI。需要为每一个等级(码字)估算DTI。

然后，把各个DTI与每一个码字相关联。为了获得取决于运动的各种编码，将把每一个DTI与特定的运动幅度进行比较。运动幅度越大，DTI越小，以获得选择的码字。利用这个原理，能够定义随着运动幅度而变化的大量编码模式。

现在对硬件实施方式的原理和图10进行说明。如上所述，具有分级结构的各种代码可以在不工作(on the fly)时计算，或是把各种代码存储在芯片上的不同表中。

在第一种情况下，通过软件仅计算DTI，并针对每一个码字而存储在芯片上的LUT中。然后，对于每一个进入的像素产生或提供运动幅度信息。将这个信息与每一个码字的DTI信息进行比较，以确定是否必须使用该码字。

在第二种情况下，把表数目P存储在芯片中。DTI信息可以用于定义这些表，但这不是绝对强制性的。另外，可以对表进行一些实验上的微调以进一步改进行为。在这种情况下，运动幅度将会确定哪一个表必须用于对当前像素进行编码。

根据图10，把输入的R、G、B图像转发到gamma块1，gamma块1按照

Out = 4059 \times {(\frac{Input}{MAX})}^{γ}

的形式而执行二次项函数，其中γ大约为2.2，而MAX表示可能的最大输入值。输出应当至少为12比特，从而能够正确地呈现较低等级。可以把这个gamma块1的输出转发到可选的运动幅度估计块2(例如用于计算简单的帧差)。然而在理论上，能够在gamma块1之前执行运动幅度估计。

在任何情况下，运动幅度信息对于每一个进入的像素都是强制性的。如果PDP IC中不存在运动幅度估计，则外部运动信息必须是可用的(例如为了上变频的目的而在前端部件中使用运动估计的输出)。

运动幅度信息被发送到编码选择块3，编码选择块3将会选择适合的GCC编码以供使用，或是产生适合的编码以用于当前像素。基于这个选择的或产生的模式，对重定标LUT 4和编码LUT 5进行更新。重定标单元4执行GCC，而编码单元5执行普通的子场编码。在它们之间，抖动块6将会增加多于4个的比特以正确地呈现视频信号。应当注意的是，重定标块4的输出是p×8比特，其中p表示所使用的GCC码字的总数(例如在本文的示例中为从255至38)。额外的8个比特用于进行抖动，以便在抖动后仅获得p个等级以用于编码块5。编码块5把3×16比特的子场数据传送到等离子显示面板7。所有的比特和有关抖动的数目仅作为示例而给出(可以使用多于16个的子场，也可以使用多于4个比特的抖动)。

对运动编码的进一步改进可以通过关于纹理信息而实现。例如这些纹理信息涉及肤色纹理。肤色纹理对于运动再现非常敏感。因此如图11所示，可以使用更多分级决策原理来改进最终的图像品质。

因此，对肤色区域和普通区域做出不同的处理(参考欧洲专利申请04291674.2)。在涉及肤色的处理中，即使对静态区域也可以使用比普通区域更为优化的运动编码而进行处理。如图11所示，对gamma校正之前或之后的输入数据进行肤色纹理分析。如果检测到肤色，通常使用具有较低数目的等级的代码(94个等级用于静态图像，38个等级用于快速运动像素)。否则，如果没有检测到肤色，使用具有较高数目的等级的代码(255个等级用于静态像素，54个等级用于快速运动像素)。

在任意情况下，运动信息对肤色区域的影响都应当大于对普通区域的影响。

可能的实施方式是：使用两个不同的多重代码集，但在使用LUT的情况下这将极大地增加芯片上的存储量；或是对肤色使用运动幅度转换。

下面给出这种转换公式：

如果检测到皮肤，其中|V|表示原始运动幅度。值a和b是用于皮肤区域的校正系数。当两个纹理应当在静态区域中具有相同的编码时，选择b等于0。

Claims

1.一种视频数据处理方法，用于对视频数据进行处理以显示在具有与图像像素相对应的多个照明元件的显示设备(7)上，所述方法包括步骤：

-提供用于对视频输入数据进行编码的重心编码(GCC)代码，其特征在于

-估计或提供图像或部分图像的运动幅度；以及

-提供所述重心编码(GCC)代码中的至少一个子集代码；其特征在于，

-针对小运动幅度，取决于所述运动幅度而使用具有较多个数的编码等级的子集代码对视频数据进行编码；以及

-针对大运动幅度，选择具有较少个数的编码等级的另一子集代码对视频数据进行编码。

2.根据权利要求1所述的方法，其中基于两个图像或两个图像的两个相应的部分的差异来估计所述运动幅度。

3.根据权利要求1或2所述的方法，其中提供了具有互不相同个数的编码等级的若干子集代码，而且所述运动幅度指示的运动越多，则用于进行编码的子集代码的编码等级个数越小。

4.根据权利要求1或2所述的方法，其中把所述重心编码(GCC)代码和所述至少一个子集代码存储在存储器的表中。

5.根据权利要求1或2所述的方法，其中针对每一个像素产生所述至少一个子集代码。

6.根据权利要求1或2所述的方法，其中对图像或部分图像内的肤色纹理值进行确定，并额外地取决于确定的肤色纹理值而改变用于对视频数据进行编码的代码。

7.根据权利要求6所述的方法，其中所述肤色纹理值是肤色值，而且通过以下方式来改变代码：把所述运动幅度的值与取决于肤色值的因数相乘，所述运动幅度的所述值用于产生或选择使用的代码。

8.根据权利要求1或2所述的方法，其中针对每一个码字确定码字的重心与预先给定的重心编码(GCC)曲线之间的距离(DTI)，并且基于所述距离(DTI)来选择用于对所述视频数据进行编码的代码。

9.一种视频数据处理装置，用于对视频数据进行处理以显示在具有与图像像素相对应的多个照明元件的显示设备(7)上，所述装置包括

-编码设备(3、4)，用于借助重心编码(GCC)代码对视频输入数据进行编码，编码后的视频数据可以用于控制所述显示设备(7)，其特征在于

-所述编码设备(3、4)能够估计或接收图像或部分图像的运动幅度；

-所述编码设备(3、4)能够提供所述重心编码(GCC)代码中的至少一个子集代码；以及

-所述编码设备(3、4)能够取决于所述运动幅度而使用具有较多个数的编码等级的子集代码对具有小运动幅度的视频数据进行编码，还能够使用具有较少个数的编码等级的另一子集代码对具有大运动幅度的视频数据进行编码。

10.根据权利要求9所述的装置，包括运动检测设备(2)，用于向所述编码设备(3、4)提供与所述图像或所述部分图像有关的运动幅度。

11.根据权利要求9或10所述的装置，包括用于测量图像或部分图像内的肤色纹理值的纹理测量设备，从而所述编码设备(3、4)能够额外地取决于确定的纹理值而改变用于对视频数据进行编码的代码。