CN1853419B - 处理和显示图像的方法和使用所述方法的显示器 - Google Patents

Abstract

本发明提出了处理和显示图像的方法，包括步骤：修改图像源的至少一个像素的颜色(C₁)；并且计算在被处理的图像(C₃，C₄)中的所述像素的颜色，以便在被处理的图像(C₃，C₄)中的所述像素的颜色的平均值等于在一个源图像或多个源图像(C₁)中的所述像素的颜色的平均值。因此，被处理的图像的显示相对于人眼的合成颜色是在一个源图像或多个源图像中的期望颜色，而便携式摄像录音一体机将记录所修改颜色的不令人满意的混合。

Description

处理和显示图像的方法和使用所述方法的显示器

技术领域

本发明涉及一种用于显示图像的设备和方法。

背景技术

可视内容——无论它们是静止还是移动图像——一般是从与作者的权利相关联的独占性的保证而受益的作品。它们的再现一般仅仅在严格限定的框架中被允许，所述框架允许作者和他们的受益人得到报酬。

为了保证正确地遵守这些法律规则，已经开发了许多***来防止非法复制或使得复制品的质量变得非常差以使得它们不可用。

在此情形中，专利申请EP 1 237 369旨在抵制当显示图像时通过摄像机来复制图像，例如在电影院中使用便携式摄像录音一体机。为此，已经提出了使用在将要显示的值的附近的特征、以高速率来调制像素的强度，所述高速率使得所述特征为人眼所不可视，但是在由便携式摄像录音一体机拍摄的序列中产生人为失真(artefact)。

这样的解决方案需要以比闪光融合频率——它是大约60Hz——高的速率来进行调制，因此仅仅适用于具有高图像刷新速率——至少是大约100Hz——的***。在被应用到具有较低显示速率(例如50Hz或60Hz)的***的情况下，所述调制会被人眼看见，并且显著地使得所显示的图像的再现变差。

发明内容

为了避免这些问题，并且特别是为了提出适用于更宽范围的显示器的解决方案，本发明提出了一种用于处理源图像以产生至少两个连续的被处理的图像的方法，其中，在这些被处理的图像中的每一个的至少一个像素的颜色与在源图像中的相同像素的颜色不同，其中，在每个被处理的图像中的该像素的不同的颜色相互补偿，以便获得对应于在源图像中的该像素的颜色的颜色，并且其中由这些颜色的显示时间加权的、每个被处理的图像中该像素的这些不同的颜色的眼睛的合成颜色是源图像中该像素的颜色。

由此改变了图像，而不有损于相对于人眼的呈现，即使在以与现有技术相比较的较低的速率下也是如此。

优选的是，在每个被处理的图像中的所述像素的亮度等于在源图像中的像素的亮度。

按照同一思想，本发明提出了一种处理由第一组连续的源图像形成的图像的方法，产生也能够形成所述图像的第二组至少两个连续的被处理的图像，其中在第二组的第一图像中的至少一个像素的颜色与在第一组的第一图像中的相同像素的颜色不同，其中在第二组的每个图像中的该像素的颜色不同并且相互补偿，以便获得对应于第一组的图像中的该像素的合成颜色的颜色，并且其中第二组的每个图像中的该像素的这些不同的颜色的眼睛的合成颜色是第一组的图像中的该像素的合成颜色。

优选的是，在第二组的第一图像中的所述像素的亮度等于第一组的第一图像中的像素的亮度。

一般，通过所述像素的色度来限定像素的颜色。

本发明因此提出了一种将至少一个源图像处理为多个被处理的图像的方法，包括步骤：

-修改源图像的至少一个像素中的色度；并且

-计算在被处理的图像中的所述像素的色度，以便在被处理的图像中的所述像素的色度的平均值等于在一个或多个图像源中的所述像素的色度的平均值。

优选的是，不改变所述像素的亮度。

因此，在被用于显示的情况下，本发明提出了一种根据至少一个源图像来显示图像的方法，其中，连续地显示多个图像，并且其中，在至少一个像素中，被显示的图像的颜色与在源图像中的颜色不同，并且被显示的图像的颜色的合成结果就是在源图像中的颜色的合成结果。

在设备方面，本发明提出了一种用于根据源图像来显示图像的设备，包括使用以下方法的处理电路：(1)通过产生至少两个连续的被处理的图像来处理至少一个源图像，其中，在这些被处理的图像中的每一个的至少一个像素的颜色与在源图像中的相同像素的颜色不同，其中，在每个被处理的图像中的该像素的不同的颜色相互补偿，以便获得对应于在源图像中的该像素的颜色的颜色，并且其中由这些颜色的显示时间加权的、每个被处理的图像中该像素的这些不同的颜色的眼睛的合成颜色是源图像中该像素的颜色，(2)对于已经被处理的每个源图像，利用大于人眼的颜色组合的频率的显示速率，连续地显示至少两个连续的被处理的图像。

本发明还提出了一种用于根据第一组连续的源图像来显示图像的设备，每个第一组形成图像以显示，包括使用以下方法的处理电路：(1)通过产生第二组至少两个连续的被处理的图像来处理至少一个第一组连续的源图像，其中该源图像形成图像，该被处理的图像也能够形成所述图像，其中，在第二组的第一图像中的至少一个像素的颜色与在第一组的第一图像中的相同像素的颜色不同，其中，在第二组的每个图像中的该像素的颜色不同并且相互补偿，以便获得对应于在第一组的图像中的该像素的合成颜色的颜色，并且其中第二组的每个图像中的该像素的这些不同的颜色的眼睛的合成颜色是第一组的图像中的该像素的合成颜色，(2)对于已经被处理的每个第一组，利用大于人眼的颜色组合的频率的显示速率，连续地显示至少两个连续的被处理的图像。

优选的是，所显示的图像的亮度等于在源图像中的亮度。并且像素的颜色一般由所述像素的色度限定。

按照一个实施例，显示率大于人眼的颜色合成的频率，例如大于20Hz。

附图说明

通过参照附图详细说明，本发明的其他特点和优点将变得明显，在附图中：

图1示出了用于图解本发明的第一实施例的原理的图；

图2是在第一实施例中执行的处理的颜色图的表示；

图3示出了用于图解本发明的第二实施例的原理的图；以及

图4是在第二实施例中执行的处理的颜色图的表示。

具体实施方式

下面在以数字形式编码的图像的情形中进行说明，但是本发明当然不限于这种编码。在这一情形中，通过在数据介质2中存储的数据来描述要显示的一个或多个图像，所述数据介质2诸如光盘、硬盘或磁带。这个数据也可以来自广播信道(诸如无线电、卫星、电缆或ADSL)。显示***4以源流的形式来接收这个数据，所述源流表示要显示的一个图像或图像序列。

按照图1中所示的第一实施例，源流的每个图像I₁导致在显示器(例如具有屏幕10的投影机8)上显示两个图像I₃和I₄。因此，在移动图像的情况下，显示率是在源流中的图像比率的两倍。而且，可以指出，本实施例可以仅仅使用单个源图像I₁，其当然适用于静止图像的情况。

处理电路6将源图像I₁连续地转换为两个被显示的图像I₃、I₄，现在详细说明处理电路6的操作。

总体上，处理电路6使得有可能使用一个特征来调制像素的颜色，同时将所述像素的亮度，即每个像素的光强度保持在源图像中定义的级别上。因此，所述处理电路使得远离所述特征的像素的值不改变。

理论上，所述特征是任何一组像素。实际上，如果要通过便携式摄像录音一体机来拍摄所述特征，则它可以定义一个调制会使其出现的消息。甚至有可能使得所述特征包括图像的所有像素，这使得在非法记录时的图像显著地变差；但是，因为在眼睛的周围区域有较高的闪烁敏感性，这种解决方案在大屏幕的情况下可能是令人讨厌的。

现在说明对于按照通常使用的RGB标准、使用三元组R、G、B在源图像中所定义的所述特征的每个像素P执行的处理，每个值例如通过8个比特(在0到255之间)而被编码。

为了精确地执行在恒定亮度的颜色调制，定义亮度/色度类型的比色空间，例如空间YUV。在这个新的参考帧中，像素P的比色坐标如下：

$\left\{\begin{array}{c}{Y}_1=0.3*R_1+0.59*G_1+0.11*B_1\\ U_1=-0.17*R_1-0.34*G_1+0.51*B_1+128\\ V_1=0.51*R_1-0.43*G_1-0.082*B_1+128\end{array}\right.$

优选的是，应用传统伽马函数的反函数，以便在相对于像素空间的线性数字空间中工作。

如上所述，处理电路6将所显示的图像的亮度保留在源信号I₁的亮度。在像素P的情况下，在图像I₃中的亮度Y₃和在图像I₄中的亮度Y₄因此将被简单定义为：

Y₃＝Y₁，并且Y₄＝Y₁

相反，通过处理电路来修改色度分量U₁、V₁，以使得图像变差，因此它可以被摄像机拾取。但是，采取措施来保证图像I₃和I₄以高于颜色合成的频率的速率相互跟随，并且保证被修改的颜色相互补偿，以便获得期望的颜色(在源图像中定义的颜色)。

这些限制被反映在下面的一般方程式中，其中，U₃、V₃是在图像I₃中的像素P的色度分量，并且U₄、V₄是在图像I₄中的像素P的色度分量：

U₃＝g(U₁，V₁)，并且V₃＝h(U₁，V₁)

(U₃+U₄)/2＝U₁

(V₃+V₄)/2＝V₁

如在图2中的传统色度图中所示，最后两个等式表示通过眼睛对实际显示的颜色C₃(具有坐标U₃，V₃)和C₄(U₄，V₄)进行合成而获得显示器需要在点P向眼睛呈现的颜色C₁(具有坐标U₁，V₁)。

更精确而言，图2示出了在(O，U，V)平面中考虑的各种颜色。在作为示例而在此给出的通过8比特的表示中，具有坐标(128，128)的点对应于灰色。在这个图中，饱和度因此随着与坐标(128，128)的点的距离而增加。

从上面的等式，点C₁是线段C₃C₄的中点，因此实际显示的颜色C₃和C₄的眼睛合成结果是颜色C₁。在此我们说中点是因为在同一时段(例如大约20毫秒)中显示颜色C3和C4。当然，也可以提供这样一种***，其中，从一个图像到另一个图像的显示时间可以是不同的；在这种情况下，眼睛的合成颜色将是用每个颜色的显示时间加权的、实际显示的颜色的重心。

对于一种特别简单的情况，有可能使用通过下面而定义的函数f：

并且通过U₃＝f(U₁)和V₃＝f(V₁)来确定在图像I₃中的点P的比色坐标，但是按照下面的不等式来限制U3和V3的值，以便三元组(Y₃，U₃，V₃)和(Y₄，U₄，V₄)都不在8个比特的RGB中可寻址的空间之外：

$\left\{\begin{array}{c}{V}_1-\frac{255-R_1}{1.36}\≤V_3{\≤V}_1+\frac{R_1}{1.36}\\ U_1-\frac{255-B_1}{1.73}\≤U_3\≤U_1+\frac{B_1}{1.73}\end{array}\right.$

$\left\{\begin{array}{c}128-\frac{Y_1}{1.36}\≤V_3\≤128+\frac{255-Y_1}{1.36}\\ 128-\frac{Y_1}{1.73}\≤U_3\≤128+\frac{255-Y_1}{1.73}\end{array}\right.$

$V_1-\frac{1}{0.69}[G_1-0.33*(U_1-U_3)]\≤V_3\≤V_1+\frac{1}{0.69}[255-[G_1-0.33*(U_1-U_3)\left]\right]$

一旦已经计算了在图像I₃中的像素P的比色坐标U₃、V₃，则通过上面的一般方程容易获得在图像I₄中的比色坐标，所述方程给出：

U₄＝2.U₁-U₃，并且V₄＝2.V₁-V₃。

因此，完全地确定图像I₃和I₄的像素P的比色坐标，需要使用所述特征的像素组来进行这个计算。

当然，在显示之前，在此通过应用传统的伽马函数、然后使用下面的方程返回RGB参考帧，而在由显示器8使用的参考帧中表达这些值：

$\left\{\begin{array}{c}R=Y+1.36*(V-128)\\ G=Y-0.33*(U-128)-0.69*\left(\text{V-128}\right)\\ B=Y+1.73*(U-128)\end{array}\right.$

因此，例如在大约20毫秒的相同时间中通过显示器来连续地显示图像I₃和I₄。如上所述，显示时间对于每个图像可以是不同的。

当然，在显示固定图像的情况下，将定期刷新图像I₃和I₄的连续显示。

使用如上所述的函数f将导致在图像I₃中的特征的像素的强去饱和以及在图像I₄中的特征的像素的对应过饱和。如上所述，因为以大于人眼的色彩组合的频率的速率(例如50Hz)来连续地显示图像I₃和I₄，因此，由人眼在所述特征感知的合成颜色是在源图像I₁中包含的颜色C₁，因此所述特征对于人眼是不可见的。

相反，对于与显示不同步的摄像机，呈现将略微变差，因为在所拍摄的图像(I₃或I₄)中的颜色在所述特征中将是错误的(去饱和的或过饱和)。

本发明的第二实施例提出成对地处理源流的图像，并且对于如此考虑的每对图像，产生两个修改的图像作为输出以显示它们。这个实施例因此适合于源流速率等于显示速率的情况。

如图3中所示，来自数据介质2的源流的图像以连续图像I₁、I₂成对地被编组在一起。每对I₁、I₂被下面详细说明的处理单元6处理，以便获得图像对I₃、I₄以显示(通过如上所述的显示***8、10)。以比人眼的色彩组合的频率高(而并不必须大于闪烁组合频率)的速率来执行图像I₃和I₄的连续显示。例如，采用50Hz的显示速率。

处理电路6修改预定特征的像素的色度，如下详细所述，但是使得与在所述特征之外的像素相关联的值(例如RGB值)不改变。

对于所述特征的每个像素P，执行下面的处理步骤，所述像素P的在源通量中的RGB比色值(在8比特上被编码)在第一图像I₁的情况下是R₁、G₁、B₁，并且在第二图像I₂的情况下是R₂、G₂、B₂：

-使用下述类型的公式来转变到亮度/色度类型比色空间：

$\left\{\begin{array}{c}Y=0.3*R+0.59*G+0.11*B\\ U=-0.17*R-0.34*G+0.51*B+128\\ V=0.51*R-0.43*G-0.082*B+128\end{array}\right.$

以便获得像素P在图像I₁和I₂中的比色坐标Y₁、U₁、V₁和Y₂、U₂、V₂；

-应用逆伽马函数；

-保留亮度，并且修改色度分量，同时仍然将平均色度保持为等于在源图像中的平均色度(在所考虑的多个图像上进行的平均，在这种情况下，是在图像对I₁、I₂和I₃、I₄)。通过下面的一般公式来描述这个步骤：

Y₃＝Y₁并且Y₄＝Y₂

U₃＝g(U₁，V₁，U₂，V₂)并且V₃＝h(U₁，V₁，U₂，V₂)

U₃+U₄＝U₁+U₂

V₃+V₄＝V₁+V₂

-分别向在图像I₃和I₄中的像素P的所确定的比色坐标Y₃、U₃、V₃和Y₄、U₄、V₄应用伽马函数；并且

-使用一般公式返回到RGB比色空间(用于显示)：

$\left\{\begin{array}{c}R=Y+1.36*(V-128)\\ G=Y-0.33*(U-128)-0.69*(V-128)\\ B=Y+1.73*(U-128)\end{array}\right.$

像在第一实施例中的情况那样，有可能在实际中使用利用上面定义的函数f(具体上是g和h函数)而构成的简化手段，并且采用U₃＝f(U₁)和V₃＝f(V₁)。

但是，如上所述，利用将R₃、G₃、B₃和R₄、G₄、B₄保持在在8个比特上可寻址的限制内(即在0-255之间)的方式、使用下面的不等式来限制U₃和V₃值的偏移：

$\left\{\begin{array}{c}128-\frac{Y_1}{1.36}\≤V_3\≤128+\frac{255-Y_1}{1.36}\\ 128-\frac{Y_1}{1.73}\≤U_3\≤128+\frac{255-Y_1}{1.73}\end{array}\right.$

$\left\{\begin{array}{c}\frac{1}{2}[V_1+V_2-\frac{510-(R_1+R_2+Y_2-Y_1)}{1.36}]\≤V_3\≤\frac{1}{2}[V_1+V_2+\frac{R_1+R_2+Y_2-Y_1}{1.36}]\\ \frac{1}{2}[U_1+U_2-\frac{510-(B_1+B_2+Y_{2{}_{}}-Y_1)}{1.73}]\≤U_3\≤\frac{1}{2}[U_1+U_2+\frac{B_1+B_2+Y_2-Y_1}{1.73}]\end{array}\right.$

$\frac{1}{2}[V_1+V_2-\frac{1}{0.69}[G_1+G_2+Y_2-Y_1-0.33*(U_1+U_2-2.U_3)\left]\right]\≤V_3$

$V_3\≤\frac{1}{2}[V_1+V_2+\frac{1}{0.69}[510-[G_1+G_2+Y_2-Y_1-0.33*(U_1+U_2-2.U_3)]\left]\right]$

由于上述的处理，所述特征将以与通过直接地使用源流而向人眼显现的颜色(即，从图像I₁和I₂的颜色组合合成的颜色)相同的颜色向人眼显现。

相反，以随机方式而拍摄图像的便携式摄像录音一体机将记录所述特征的像素的修改颜色，由于修改的颜色的不令人满意的混合，以这种方式产生的复制品不可接受。

以类似于图2的曲线在图4中图解的实施例提出了实际显示的颜色(C₃和C₄)的合成结果对应于在源图像中的期望颜色(C₁和C₂)的合成结果，即线段C₃C₄的中点与线段C₁C₂的中点重合。

当然，本发明不限于上述实施例。特别是，有可能选择除了上述使用的函数f之外的函数g和h。例如，可以选择函数，使得图像I₃的仅仅一个分量和图像I₄中的其他分量去饱和(例如使用类型U₃＝f(U₁)和V₄＝f(V₁)的公式)。

同样，如通过使用一般函数g和h所述，不必以类似的方式来处理两个分量U和V。例如，有可能限制在分量U上进行的改变，以便限制蓝色闪烁，人眼对于蓝色闪烁相对更敏感。

Claims (12)

1.一种用于处理源图像(I₁)以产生至少两个连续的被处理的图像(I₃，I₄)的方法，其中，在这些被处理的图像(I₃，I₄)中的每一个的至少一个像素的颜色(C₃，C₄)与在源图像(I₁)中的相同像素的颜色(C₁)不同，其中，在每个被处理的图像(I₃，I₄)中的该像素的不同的颜色相互补偿，以便获得对应于在源图像(I₁)中的该像素的颜色(C₁)的颜色，并且其中由这些不同的颜色的显示时间加权的、每个被处理的图像(I₃，I₄)中该像素的这些不同的颜色的眼睛的合成颜色是源图像中该像素的颜色(C₁)。

2.按照权利要求1的方法，其中，在这些被处理的图像中的每一个的所述至少一个像素的亮度等于在源图像中的相同像素的亮度。

3.按照权利要求1的方法，其中，通过一个像素的色度来定义该像素的颜色。

4.按照权利要求1的方法，包括步骤：

-修改源图像(I₁)的至少一个像素中的色度(C₁)；并且

-计算在这些被处理的图像(I₃，I₄)中的每一个中的所述至少一个像素的色度(C₃，C₄)，以使得在这些被处理的图像(I₃，I₄)上的所述像素的色度(C₃，C₄)的平均值等于源图像(I₁)中的所述像素的色度(C₁)。

5.一种处理由第一组连续的源图像(I₁，I₂)形成的图像的方法，产生也能够形成所述图像的第二组至少两个连续的被处理的图像(I₃，I₄)，其中在第二组的第一图像(I₃)中的至少一个像素的颜色(C₃)与在第一组的第一图像(I₁)中的相同像素的颜色(C₁)不同，其中在第二组的每个图像(I₃；I₄)中的该像素的颜色(C₃；C₄)不同并且相互补偿，以便获得对应于第一组的图像(I₁，I₂)中的该像素的合成颜色的颜色，并且其中第二组的每个图像(I₃；I₄)中的该像素的这些不同的颜色的眼睛的合成颜色是第一组的图像(I₁，I₂)中的该像素的合成颜色。

6.按照权利要求5的方法，其中，通过一个像素的色度来定义该像素的颜色。

7.按照权利要求5的方法，包括步骤：

-修改第一组的第一源图像(I₁)的至少一个像素中的色度(C₁)；并且

-计算在第二组的被处理的图像(I₃，I₄)中的每一个中的所述至少一个像素的色度(C₃，C₄)，以使得在第二组的被处理的图像(I₃，I₄)上的所述至少一个像素的色度(C₃，C₄)的平均值等于第一组的源图像(I₁，I₂)中的所述至少一个像素的色度(C₁，C₂)的平均值。

8.按照权利要求5的方法，其中，不改变所述像素的亮度。

9.用于根据至少一个源图像(I₁)来显示图像的方法，其中，连续地显示多个图像(I₃，I₄)，其中，使用权利要求1-8中的任一个的方法来处理所显示的图像，

并且其中，显示速率大于人眼的颜色组合的频率。

10.按照权利要求9的方法，其中，显示速率大于20Hz。

11.用于根据源图像(I₁)来显示图像的设备，包括使用以下方法的处理电路：

-通过产生至少两个连续的被处理的图像(I₃，I₄)来处理至少一个源图像(I₁)，其中，在这些被处理的图像(I₃，I₄)中的每一个的至少一个像素的颜色(C₃，C₄)与在源图像(I₁)中的相同像素的颜色(C₁)不同，其中，在每个被处理的图像(I₃，I₄)中的该像素的不同的颜色相互补偿，以便获得对应于在源图像(I₁)中的该像素的颜色(C₁)的颜色，并且其中由这些颜色的显示时间加权的、每个被处理的图像(I₃，I₄)中该像素的这些不同的颜色的眼睛的合成颜色是源图像中该像素的颜色(C₁)，

-对于已经被处理的每个源图像(I₁)，利用大于人眼的颜色组合的频率的显示速率，连续地显示至少两个连续的被处理的图像(I₃，I₄)。

12.用于根据第一组连续的源图像(I₁，I₂)来显示图像的设备，每个第一组形成图像以显示，包括使用以下方法的处理电路：

-通过产生第二组至少两个连续的被处理的图像(I₃，I₄)来处理至少一个第一组连续的源图像(I₁，I₂)，其中该源图像(I₁，I₂)形成图像，该被处理的图像(I₃，I₄)也能够形成所述图像，其中，在第二组的第一图像(I₃)中的至少一个像素的颜色(C₃)与在第一组的第一图像(I₁)中的相同像素的颜色(C₁)不同，其中，在第二组的每个图像(I₃，I₄)中的该像素的颜色(C₃，C₄)不同并且相互补偿，以便获得对应于在第一组的图像(I₁，I₂)中的该像素的合成颜色的颜色，并且其中第二组的每个图像(I₃；I₄)中的该像素的这些不同的颜色的眼睛的合成颜色是第一组的图像(I₁，I₂)中的该像素的合成颜色，

-对于已经被处理的每个第一组，利用大于人眼的颜色组合的频率的显示速率，连续地显示至少两个连续的被处理的图像(I₃，I₄)。

Images