CN1942902B - 用于2.5维图像再现的重影虚像的削减 - Google Patents

Abstract

一种图像处理***，用于实施从一个与输入观察点相关联的输入图像向一个与输出观察点相关联的输出图像的转换。该输入图像是从该输入观察点观看时三维物体的一个预过滤的二维图像，且对于每个输入像素包括一个相关联的输入像素值和一个相关联的输入像素深度。除了输入图像之外，还接收一个隐藏图像，该隐藏图像是该三维物体的另一个二维图像，且包括有信息，该信息在从输入观察点观看时被遮蔽。该***包括一个视频处理器，该处理器通过将每个输入像素转换成一个已转换的输入像素来产生输出图像。该转换是该输入像素深度的函数。利用隐藏图像像素来填充消遮蔽区域和用于至少一个邻近于该消遮蔽区域的像素位置，依据该已转换的输入像素来产生该输出图像。从而，防止了由该预过滤的输入图像的转换所造成的重影线虚像。

Description

用于2.5维图像再现的重影虚像的削减

技术领域

本发明涉及一种图像处理***，用于通过一个与深度相关的转换，由一个与输入观察点相关的输入图像产生至少一个与输出观察点相关的输出图像，该图像分别被表示为一个输入像素阵列和一个输出像素阵列。

本发明还涉及一种方法和一种计算机程序产品。

背景技术

在二维显示器上显示图像时，特别是在虚拟现实的应用程序和计算机游戏中，对于提供深度感知的关注正在快速增长。现已知晓多种提供深度暗示的形式，例如改变亮度级或物体尺寸。特别地，立体影像或立体视觉作为用于提供深度感知的技术，受到很多关注。立体影像是通过向一个人呈现从两个相距不远的位置观察同一场景时的两个二维图像而引起的。其中一个图像被呈现给左眼，另一个图像被呈现给右眼。这两个图像在视差上相关。术语“视差”是指从两个与物体不在一条直线上的不同点观察时，该物体的表观位移或表观方向的差别。视差可使一个人感知一个场景中物体的深度。

现已知晓多种用于显示立体图像的显示技术。利用时间并行技术，可将两个输出图像同时呈现给一个或两个显示器。例如，两个图像均可利用互补色进行过滤，并叠加在一个显示器上。观察者佩带具有滤波器的眼镜，该滤波器与投影滤波器相配合。可选地，两个图像可并排地显示在一个显示器上，并利用一个观察器来观察，该观察器将每个图像导向恰当的眼睛。作为另一实例，可使用两个显示器，用于呈现两个不同偏振态的图像，并利用相应偏振态的眼镜来观看该两图像。可选地，两个图像均可利用头戴装置来呈现，该装置具有针对每只眼睛的独立的显示器。还可使用时分多路传输技术，其中左、右图像交替地显示在一个显示器上。作为一个例子，一个图像被写入一个监视器的偶数扫描行，而另一图像被写入奇数扫描行。一个遮光***用于在显示右眼图像时遮蔽左眼，而在显示左眼图像时遮蔽右眼。该遮光***可安装在观察者佩带的眼镜中。可选地，在显示器的前面放置一个具有可控偏振器的遮光装置，且观察者佩带一个具有偏振眼镜的头戴装置。

一种适用于从不同观察点使二维图像再现的可能的视频格式为一种利用深度信息加以丰富的二维视频格式.典型地，该二维输入图像以像素阵列的形式给出.它可利用比如相机或者计算机图形来获得.对于输入图像的每个像素，可得到附加的深度信息，或者类似地，对于场景中的每个点，给出该点到相机的距离(或者到另一参考点、线或面，例如投影屏幕的距离).这样的格式通常被称为2.5维视频格式.该深度信息允许将原始图像模型化为平面图像的一组样本，还可模型化为投影到一个形貌上的图像的一组样本.图2A示出了被取样的形貌的一个横截面.一条光线从相机位置投射到屏幕的每个像素.沿光线的箭头长度表示像素样本的深度值，还被称为纹元(纹理单元).该2.5维视频格式代表了现实世界完整三维模型的一个子集.通过从所期望的观察点将该形貌投影到像平面上，可实现从其它观察点再现.根据从眼睛视点和从相机点观察同一物体时的视差，通过移动像素，可由输入图像得到左眼图像和右眼图像的像素.通过选择坐标系的水平轴为平行于连接双眼的直线，可以仅发生水平位移.像素的位移量依赖于深度信息.图2B表示在观察点转换之后，被投影的输入像素的密度在输出域中不均匀.因而需要一个再取样步骤.现有的为处理广播视频信号而设计的视频处理硬件/软件能够产生高质量的输出图像.这样的硬件/软件能够将一个图像缩放至不同的显示格式，比如4∶3和16∶9，并对这样的转换进行信号的再取样和频带限制.通常按照图像的水平扫描线进行视频处理.

发明内容

本发明的一个目标是提供一种能够实施观察点转换而不引入视觉假象的视频处理***和方法。

为达到本发明的目标，提供一种如第一段所述的图像处理***，其包括：一个用于接收输入图像和隐藏图像的输入端，一个能够产生输出图像的输出像素的视频处理器，以及一个用于提供输出图像以便进行后续再现的输出端。该输入图像是从输入观察点观看时三维物体的一个预过滤的二维图像，其对于每个输入像素包括一个相关的输入像素值和一个相关的输入像素深度。隐藏图像是该三维物体的另一个二维图像，且其包括有信息，该信息在从输入观察点观看时至少部分地被遮蔽。该视频处理器能够通过将每个输入像素转换成一个与输出观察点相关的、作为输入像素深度函数的、已转换的输入像素，并利用隐藏图像像素来填充消遮蔽区域和用于至少一个邻近该消遮蔽区域的像素位置，以防止由该预过滤输入图像的转换所造成的重影线虚像，依据已转换的输入像素来产生输出图像，从而产生输出像素。

该输入图像可例如利用一个摄影机从输入观察点获得，且该隐藏图像可利用另一相机从不同于该输入观察点的一个观察点来获得。该输入图像和隐藏图像还可例如根据一特定场景的三维模型由计算机产生。该隐藏图像可为从一个给定观察点观察时该三维场景的一个完整的二维图像。该隐藏图像还可仅包括从输出观察点观察时被遮蔽的信息，且该信息仅需要一次或数次预定的转换。

在输入图像中深度不连续处可发生消遮蔽。由于记录原始视频的相机的预过滤，在深度不连续处附近的像素包含来自输入图像中前景和背景物体的颜色。因而，仅仅利用来自隐藏层的消遮蔽像素来填充孔洞将造成明显的重影线虚像。根据本发明的图像处理***的一个优点是防止了消遮蔽隐藏图像像素附近的重影线虚像。该优点是通过使隐藏层的大部分再现，以替代邻近该隐藏层的消遮蔽部分的已转换的输入像素来实现的。该隐藏层的大部分中的隐藏图像像素被***到输出图像中，代替相应的已转换的输入像素。

在本发明的一个实施例中，与深度相关的转换是从输入观察点到一个预定输出观察点的转换，且该隐藏图像与输出观察点相关。该预定距离可例如为左眼和右眼之间的距离，用于提供深度感觉。该输入图像可由位于左眼观察点位置的第一相机来获得，而隐藏图像可由位于右眼观察点位置的第二相机来获得。并非全部由第二相机记录的信息都必须存储在隐藏图像中。只有在通过从左眼输入观察点到右眼输出观察点的转换而消除遮蔽的区域中及其附近的信息才必须存储在隐藏图像中。在输入图像的转换之后，该信息被用于填充输出图像中的消遮蔽区域，并用于防止该消遮蔽区域附近的重影线虚像。

在另一个实施例中，该隐藏图像与输入观察点相关，且该隐藏图像像素与一个隐藏图像像素值和一个隐藏图像像素深度相关，视频处理器的工作可将每个隐藏图像像素转换成与输出观察点相关的、作为隐藏图像像素深度函数的、已转换的隐藏图像像素，并利用已转换的隐藏图像像素来填充消遮蔽区域和用于至少一个邻近该消遮蔽区域的像素位置，以产生输出图像.本实施例特别用于提供在不同距离上实施不同转换的可能性.该输入图像可从第一观察点由第一相机来获得，而该隐藏图像可从第二观察点由第二相机来获得.优选地，由第二相机记录的信息随后被转换到第一观察点.从而，输入图像和隐藏图像均与同一观察点相关.两个图像均可从该观察点到一任意输出观察点进行同样的转换.

在一个优选的实施例中，该图像处理***包括像素选择装置，用于依次地逐行选择输入像素。该像素选择装置被布置成为一个消遮蔽区域中的像素位置、为该消遮蔽区域之前第一数量的像素位置、并为该消遮蔽区域之后第二数量的像素位置选择一个隐藏图像像素。对于显示线上的其他像素位置，可以选择已转换的输入像素。该第一和/或第二数量的像素位置可依据一个在记录输入图像过程中所使用的水平预滤波器的宽度而定，或可根据对输入图像的分析来确定。

沿着与从输入观察点到输出观察点的位移相反的方向依次地逐行处理像素，这使检测遮蔽更为容易。这可通过维持一个x坐标范围来实现，该x坐标范围表示了像素的最远x坐标以及它们至此曾被转换的轨迹。如果下一个轨迹的转换导致该范围的增加，则已转换的下一个轨迹至少部分地未被遮蔽。以此方式可容易地确定是否从输出图像中排除一个像素。优选地，x轴为水平的，且相机位移也是水平的。如果需要，也可为其它方向。该视频处理器的工作可决定：如果一个已转换的输入像素增加了x坐标范围，且超过一预定阈值，则一个隐藏图像像素被消遮蔽。优选地，如果转换后输入像素的x坐标离开输出图像中上一个像素位置1.5个像素的距离以上，则该孔洞过大，且被至少一个来自隐藏层的像素来填充。由于对于该消遮蔽区域之前的像素位置需要利用隐藏层的像素，因而需要一个装置，以便在输入图像中已转换的输入像素被包括在输出图像中之前检测该消遮蔽区域。由于色值被积累在视频滤波器中，因而往往不可能向后追踪。为了早期检测该消遮蔽区域，视频处理可包括保持一个超前范围。

附图说明

在附图中，

图1示出了一个包括一图像处理***的常规***的方框图；

图2A-2B示出了一个从不同观察点观看时的形貌；

图3A-3C示出了一个透视投影图；

图4A-4B示出了当从不同观察点观察时物体重叠的增加；

图5A-5B示出了当从不同观察点观察物体时消遮蔽区域的外观；

图6示出了出现重影虚像的示意图；

图7示出了防止重影虚像的示意图；

图8示出了利用一x坐标范围对遮蔽的检测；

图9示出了利用一超前范围对消遮蔽区域的检测；

图10示出了根据本发明的一个视频处理***的一部分的方框图；且

图11示出了一个有效地利用了本发明的图像处理***的***方框图。

具体实施方式

为了参照图1-5解释根据本发明的***，现将描述与深度相关的转换。在此一般性描述中，一个像素被看作一个点(无量纲的)。图1示出了一个常规***的方框图，其中可有效地利用根据本发明的图像处理***。该常规***包括一个诸如图形存储器的存储器100，用于存储二维输入图像101。该输入图像101由一个划分为行和列的像素阵列组成。对于每个像素给予一个像素值。多种表示像素值的方法已众所周知，例如RGB(红、绿、蓝)或YUV编码。像素值可完全地被存储，例如使用16位或24位/像素。可选地，可使用颜色查找表(CLUT)格式，用更少的位，比如8位来为像素值编码。除像素值之外，对于每个像素还在该存储器100中存储一个深度值，作为输入深度102。该深度值可例如使用16位/像素来存储。如果需要，可使用单独的存储器来存储输入深度102。输入图像101和输入深度102可以任意合适的方式产生。作为例子，可使用两个位于不同位置的相机，优选地，每个相机代表一只不同的眼睛。由相机得到的二维图像，可形成一个图像加深度信息。然后，除了提供常规的单一的二维图像之外，还提供深度信息，该深度信息优选地与该二维图像相兼容，以允许既可利用常规的二维显示***，也可利用立体显示***来观察场景。在游戏计算机或个人计算机上，该输入图像101和输入深度102通常由一个三维再现过程来产生，该过程从存储器中存储的三维模型中获得信息。典型地，该存储器为计算机主存储器的一部分。可以使用诸如远程通信方式、音频/视频广播或电缆网的通信装置，以将该输入图像101和输入深度102提供给图像处理***。

一个处理器106利用该输入图像101和输入深度102来产生至少一个输出图像。在图1所示的例子中，产生一个左图像107和一个右图像108。左图像107代表从一个与观察者左眼重合的观察点观察时三维场景的一个二维图像。类似地，右图像108代表从一个与观察者右眼重合的观察点观察时三维场景的一个二维图像。该处理器106可在一个诸如图形存储器的存储器109中创建输出图像。根据本发明的***能够按照像素行进行处理，降低了存储需求。因而存储器可利用行缓冲器来形成，以存储图像的仅仅一个扫描行。从而，图像数据可作为数据流来处理。如果实施垂直过滤，则需要存储若干行。通常一个D/A转换器110将输出图像呈现在一个诸如立体显示器的合适的显示器111上。在一个广播接收机中，处理器106可作用于该输入图像和输入深度，该输入图像和输入深度在像素水平上与该信息的供给在时间上同步。可利用一存储器103来解除该同步，该存储器103用于存储作为输入图像101和输入深度102各自拷贝的输入图像104和输入深度105。然后，处理器106可操作输入图像104和输入深度105，而与输入图像101和输入深度102的供给无关。在合适的时刻，例如当一个完整的新图像已被创建时，该输入图像101和输入深度102被拷贝到相应的输入图像104和输入深度105。在存储器100和存储器103在物理上结合为一个存储块的情况下，该拷贝可例如通过重新指定指针寄存器来进行，而无需在物理上拷贝该数据。应当理解，依据所使用的滤波器，还可存储一行或者若干行的若干像素，而不是保持一个完全的图像拷贝。

从输入图像到输出图像的、与深度相关的转换与三维物体相对于彼此的位移相联系。在此描述的转换还被称为视差转换。这些位移的发生是由于例如观察者相对于场景的位置变化、观察者相对于场景的方位变化，物体由于相对速度而引起的相对于彼此的位置变化、或者这些变化的组合。

图2A示出了一个从相机观察点201观看并投影到像平面204上的形貌203。通常，该像平面由均匀的像素(可能沿x方向和y方向具有不同的密度)形成。在本例中，对于像平面的每个像素，确定该形貌相应的纹元(纹理单元)(从相机到像素的光线穿过该形貌的交点)。深度可以任意合适的形式来表示(例如表示从纹元到像素的长度、从纹元到相机的距离、从纹元到投影平面的距离等)。该深度还可以任意合适的形式来编码，例如，可使用线性标度的16位编码，其中具有最小容许深度的物体的深度被编码为0000H(十六进制)，而具有最大容许深度的物体的深度被编码为FFFFH。如果需要，本领域的技术人员将能够选择其它合适的表示法。图2B示出了若从观察点202观看同一形貌时将发生的情况。如以下将阐明的那样，可能发生遮蔽206(纹元将不再可见)，缩小205和放大207。如果原物体不是一个形貌，而是真实的三维物体，也同样如此。

图3A示出了一个透视投影图。所示出的是一个具有x轴30、y轴31和z轴32的三维坐标系。一个二维图像由一个按照行和列排列的离散的像素阵列组成。在此背景下，像素是根据本发明的图像处理所考虑的最小实体。图像中一个特定行的每个单独的像素可具有作为一系列离散位置之一的仅仅一个相应的位置。图像中的每个像素行与该x轴30平行，从而可根据每个像素各自的x坐标来识别一行中的每个像素。每个像素列平行于y轴31，该y轴31指向垂直于x轴30的方向。沿z轴32来测量场景的深度，该z轴32垂直于x轴30和y轴31两者。为每个特定的像素指定一个相应的z值，以表示该特定像素的景物深度。为了解释像素的视差偏移，选择坐标系的原点0＝(0，0，0)和定向，以使从观察点O₁＝(D，0，0)来观察由点P＝(x，y，z)表示的三维物体。平面z＝z_p被选择为焦平面33(观察者的眼睛聚焦的平面)。通常，显示器平面被选择为与该焦平面重合。从观察点O₁观察到的二维图像通过三维物体的投影形成在该焦平面上，该焦平面也被称为投影平面。点P被投影到P₁＝(x_p，y_p，z_p)上。

图3B示出了图3A向平面y＝0的投影。P被投影到P’＝(x，0，z)上；P”＝(D，0，z)为P’到平面x＝D的投影。由三角形O1P’P”可推出：z_p/z＝(x_p-D)/(x-D)，得出x_p＝D+(x-D)·z_p/z。

图3C示出了图3A向平面x＝D的投影。P被投影到P’＝(D，y，z)上；P”＝(D，0，z)为P’到平面y＝0的投影。由三角形O₁P’P”可推出：得出z_p/z＝y_p/y，得出y_p＝y·z_p/z。

由此得出P₁＝(D+(x-D)·z_p/z，y·z_p/z，z_p)。类似地，P₂＝(-D+(x+D)·z_pz，y·z_p/z，z_p)。类似的公式被给出在[IEEE Computer graphics &Applications，Tutorial：Time-Multiplexed Stereoscopic ComputerGraphics，March 1992](《IEEE计算机图形学与应用教程：时分多路传输立体计算机图形学，1992年3月》)。由这些公式可推知：通过选择x轴，使其平行于经过观察点的直线，则P₁和P₂的y坐标相同。于是，当由从O₁观察到的图像得出一个从O₂观察到的图像时，不发生垂直视差。一般而言，通过以此方式选择x轴，简化了视差的计算。输出图像的像素可从输入图像来获得。假设输入图像对应于从O₁观察到的图像，且输出图像对应于从O₂观察到的图像。进一步假设对于输入像素p_i＝(x_i，y_i)，给定像素值和三维点P(x，y_i，z_i)的深度z_i，从其中可得出p_i。相应的输出像素p₀＝(x₀，y₀)，其中y₀＝y_i，与同一三维点P(x，y_i，z_i)相关。由此得出：

x_i＝D+(x-D)·z_p/z_i，和

x₀＝-D+(x+D)·z_p/z_i。

这意味着x₀可按以下方式由x_i得出：

x₀＝x_i-2·D+2·D·z_p/z_i＝x_i+2·D·(z_p/z_i-1)。从而，该输出图像可通过实施一个水平偏移d(仅沿x方向)从输入图像得到：

D＝2·D·(z_p/z-1)。                                    (1)

由此公式可观察到：该偏移与深度的倒数成正比。在该公式中，2·D对应于观察点O₁和O₂之间的偏移量。

图4A示出了从一个观察点O₃观察时的场景，其相应于输入图像，其中一个近处的物体40部分地与一个远处的物体41重叠。为清晰起见，图中未示出y轴。由于重叠，该输入图像包括近处物体40的全部像素和远处物体41的仅一部分像素，如图中观察到的图像42所示。图4B示出了从一观察点O₄观察到的同一场景，其相应于输出图像43。从图4B可清楚地看到该重叠有所增加。如果图4B中的输出图像43由图4A中的输入图像42来获得，该增加的重叠将通过至少一个对应于背景物体41的输入像素反映出来，该至少一个对应于背景物体41的输入像素部分地或全部地被对应于前景物体40的一个输入像素遮蔽。在重叠区域，对于输出图像中的像素值有多种选择。根据本发明的***使用重建滤波器来确定输出像素的位置(即根据输出图像的网格)，转换后的输入像素影响着输出图像的位置。

有别于将输入图像的不同像素偏移到相同的输出像素位置，图5示出了由于没有输入像素来填充输出图像53中的一个位置而导致在输出图像53中出现“孔洞”的例子。图5A示出了在输入图像52中，一个背景物体51部分地被前景物体50模糊化。在图5B中，当从一观察点O₆观察时，由输出图像53可见，物体50和51之间不发生重叠。

现将参照图6来描述当来自一隐藏层的像素被包括在一输出图像中时重影线虚像的出现。图像处理***在输入端接收到一个输入图像601和一个隐藏图像602。该输入图像601与输入观察点相关，且示出了例如一个深色前景物体606和浅色背景物体607。由于记录原始视频的相机的预过滤，位于深度边界608的像素包括深色前景和浅色背景物体两者的部分颜色。依据所选择的实施例而定，该隐藏图像602或者与输入观察点相关，或者与输出观察点相关。从输入图像601到输出观察点的转换可能在该观察点转换的输入图像603中产生一个消遮蔽区域612。该消遮蔽区域612由来自隐藏图像602的像素来填充，并使用一滤波器。依据隐藏图像602所关联的观察点来确定是否在该隐藏图像像素可被用于填充该消遮蔽区域612之前转换该隐藏图像602。由于预过滤，某些在转换之前位于输入图像中原始深度边界的像素将仍包括前景和背景物体两者的某些颜色。该转换在输出图像605中产生一个新的深度边界。因而，输出图像605包括两个不同的深度边界，出现了一个重影线虚像610。

现将参照图7来描述利用根据本发明的图像处理***来防止重影线虚像610。在本***中，不仅在消遮蔽区域609中的像素位置被来自隐藏图像602的像素来填充，而且邻近于该消遮蔽区域的一个或多个像素也取自隐藏图像602。结果产生一个放大的消遮蔽区域614，并且具有来自前景和背景两者颜色的像素不再是输出图像的一部分。对已转换的像素实施一个过滤过程，结果为一个没有重影虚像的输出图像613。

图8示出了利用一x轴范围80来检测遮蔽.例如，遮蔽被如下进行检测.视频处理器106的工作能够沿着与从输入观察点v₀ 81到输出观察点v₁ 82的位移相反的方向按顺序地处理一个扫描行，即一个具有输入像素的行。该处理包括将输入像素转换成作为相关输入像素深度函数的输出像素。像素a83、b84和c85的投影像素为与观察点v₀ 81相关的输入图像的一部分。通过向与观察点v₁ 82相关联的输出图像86的转换，像素a83被遮蔽。像素b84和c85未被遮蔽，并被映射到输出图像86上。该过程可包括保持一个x轴范围80，该x轴范围80表示：对于已被处理的输入像素，相对于一个预定的起始位置，已经被至少一个已转换的输入像素遮蔽的最远x坐标。然后，可以推断：如果一个被转换的像素不使该范围延长，该像素一定被先前处理过的像素遮蔽。在此情况下，由像素a 83转换成的像素并不使该范围延长，这是因为它被由像素b 84转换成的像素遮蔽。因而，像素a 83未被包括在输出图像86中。对于一个观察点转换v₁＜v₀，该自变量为模拟量。在该情况下，该扫描线随着x坐标的增加而被横穿。类似地，如果一个被转换的像素确实使该范围延长一个预定阈值以上，例如1.5个像素以上，则隐藏图像的一部分被消遮蔽，并且至少一个隐藏图像像素被***到该输出像素86中。

为了能够有效地填充来自隐藏层的贡献，优选地，应交错地处理基础图像层和隐藏层。对于两种扫描，输出扫描线的范围均可被保持。以此方式，仅将基础图像扫描线上的单次扫描与隐藏图像扫描线上的单次扫描交错地进行。在基础图像的坐标框架中指定隐藏层的像素，以使已转换的输入图像与已转换的隐藏图像容易结合。

在根据本发明的图像处理***的一个实施例中，如图9所示来检测重影线虚像。图9示出了图8所示输入图像的转换，其被转换成与观察点v₂(v₂＞v₁)相关联的输出图像。在图像处理***的该实施例中，使用一个超前范围91来检测消遮蔽。x坐标范围80保持着输入像素，该输入像素在转换后被供给到一个滤波器，该滤波器对输出扫描线进行预过滤并以屏幕分辨率对该输出扫描线进行取样。位于x坐标范围80之前的该超前范围91检测到可能的遮蔽、缩小、放大和/或消遮蔽的区域。如果一个转换后的像素确实使该超前范围91延长一个预定阈值以上，优选地1.5个像素以上，则检测到一个消遮蔽区域。例如，如图9所示，在从观察点v₀至v₂的观察点转换之后，一个消遮蔽区域92出现在像素b84和c 85之间。首先由超前范围91检测到该消遮蔽。然后x坐标范围80到达该消遮蔽区域，且来自隐藏层94的消遮蔽像素d 93被***到输出图像86中。为了防止重影线虚像，将对隐藏层94的优先选择权授予邻近于该消遮蔽隐藏图像像素的像素位置。优选地，一至四个位于该消遮蔽区域之前和/或之后的像素位置被来自隐藏图像94的像素来填充。在滤波器中，像素的色值被积累，这使替换已处理的像素极端困难。从而，该消遮蔽区域的检测必须发生在待替换的输入采样被供给到滤波器之前。使用一个超前范围91，以能够早期检测消遮蔽区域。

图10示出了根据本发明的图像处理***的一个实施例1000的示意图.该***使用四个不同的范围.一个基础x坐标范围1001和一个基础超前范围1002分别被用于转换输入像素和在已转换的输入图像1010中检测消遮蔽区域.一个隐藏的x坐标范围1003和一个隐藏的超前范围1004同时对隐藏图像1012进行同样的操作.优选地有多余的隐藏层，且对每个隐藏层提供一个x坐标范围和一个超前范围.除了预检测消遮蔽区域之外，该隐藏超前范围可用于确定是否存在隐藏图像像素以***到一个消遮蔽区域之内或其附近.当没有隐藏图像像素用于填充一个消遮蔽区域时，该区域可利用诸如线性插值的方法来填充.视频处理器106的工作可针对输入图像1010的每个输入像素1011来检测像素在转换后使基础超前范围1002延长多少.如果一个转换后的像素使该超前范围延长一个预定阈值以上，比如1.5个像素以上，则检测到一个消遮蔽区域.来自输入图像1010和隐藏图像1012的已转换像素被馈送到一个输入像素选择单元1005.在视频处理器中，输入像素选择单元1005可作为软件或硬件部件来实现.该输入像素选择单元1005根据来自超前范围的信息来选择哪个已转换像素将成为输出图像的一部分.被选择的像素在被显示在一个合适的显示器之前被馈送到一个视频过滤块1006.根据本发明，如果一个消遮蔽区域被该超前范围1002检测到，则当输入像素选择单元1005将像素馈送到该视频过滤块1006时，在该消遮蔽区域附近，将优选选择权授予该隐藏图像1012的已转换像素.从而，防止了深度不连续处附近的重影虚像.该像素选择单元1005的工作可确定是否存在一个隐藏图像像素以***到输出图像中.如果不存在，可使用已转换的输入像素通过诸如线性插值的已知方法来填充该消遮蔽区域及其邻近的像素位置.

图11示出了一个有效地利用了本发明的图像处理***的***方框图。图11所示***是图1所示常规***的一个增强版本。除了输入图像101和输入深度102之外，存储器100还接收一个隐藏图像1101以及可选的隐藏图像像素深度值。如果一个存储器103被用于存储输入图像101的一个拷贝104和输入深度102的一个拷贝105，则该存储器还存储隐藏图像像素1101和隐藏图像像素深度1102的拷贝1104和1105。处理器1106的工作可产生输出图像的输出像素。如上所述，产生了输出像素。处理器1106的工作可将输入图像转换成与一预定输出观察点相关联的输出图像。在此情况下，可不必转换该隐藏图像。在根据本发明的***的一个实施例中，输出观察点由最终用户来选择，且输入图像像素和隐藏图像像素均被转换成与输出观察点相关联的已转换像素。

应当指出，上述实施例阐明而非限制本发明，并且那些本领域的技术人员将能够设计多种可选的实施例而不脱离所附权利要求的范围。在权利要求中，任何置于括号之间的参考符号不应被解释为限制本权利要求。动词“包括”及其变形并不排除那些在权利要求中未予声明的元件或步骤的存在。一个元件前面的冠词“一个”并不排除多个该元件的存在。本发明可通过包括多个独立元件的硬件，并通过适当编程的计算机来实现。在列举了多种装置的装置权利要求中，这些装置中的若干个可由一个同样的硬件项目来体现。某些措施在互不相同的从属权利要求中被陈述，这个事实并不表明不能够有益地使用这些措施的组合。

Claims (13)

1.一种图像处理***，用于通过一个与深度相关的转换由一个与输入观察点相关联的输入图像产生至少一个与输出观察点相关联的输出图像；这些图像分别被表示为一个输入像素阵列和一个输出像素阵列；该图像处理***包括：

一个用于接收该输入图像的输入端，该输入图像是从输入观察点观看时三维物体的二维图像加深度表示，该输入图像对于每个输入像素包括一个输入像素值和一个输入像素深度；

一个视频处理器，其用于执行将每个输入像素转换成一个与输出观察点相关联的、作为输入像素深度的函数的、已转换的输入像素的依赖于深度的转换，以及基于该已转换的输入像素来产生该输出图像的输出像素；以及

一个用于提供该输出图像以便进行后续再现的输出端，

其特征在于

所述输入端还被安排用于接收隐藏图像，该隐藏图像是该三维物体的另一表示，并且包括从输入观察点观看时至少部分地被遮蔽的信息，以及

所述视频处理器还被安排为在基于所述已转换的输入像素创建输出图像的输出像素时使用来自隐藏图像的隐藏图像像素来填充消遮蔽区域并且针对与该输出图像中的消遮蔽区域邻近的至少一个像素位置防止由于输入图像的所述转换所造成的重影线虚像。

2.如权利要求1所述的图像处理***，其中与深度相关的转换是从输入观察点到一个预定的输出观察点的转换，且隐藏图像与该输出观察点相关联。

3.如权利要求1所述的图像处理***，其中隐藏图像与输入观察点相关联，且隐藏图像像素包括一个隐藏图像像素值和一个隐藏图像像素深度，该视频处理器被用于：

将每个隐藏图像像素转换成与输出观察点相关联的、作为隐藏图像像素深度的函数的、已转换的隐藏图像像素；和

利用已转换的隐藏图像像素来填充消遮蔽区域和用于至少一个邻近于该消遮蔽区域的像素位置，产生该输出图像。

4.如权利要求1所述的图像处理***，其中像素阵列的像素行被用于在连续的显示行上进行水平显示，且该视频处理器被用于依次地逐行处理输入像素。

5.如权利要求4所述的图像处理***，还包括像素选择装置，用于选择：

一个消遮蔽区域中的像素位置、该消遮蔽区域之前第一数量的像素位置、以及该消遮蔽区域之后第二数量的像素位置的隐藏图像像素，该第一数量和/或第二数量大于零；以及

显示行上的其它像素位置的已转换的输入像素。

6.如权利要求5所述的图像处理***，其中该第一和/或第二数量的像素位置依据一个在记录输入该图像过程中所使用的水平预滤波器的宽度而定。

7.如权利要求5所述的图像处理***，其中该第一和/或第二数量的像素位置在输入端被接收作为关于该输入图像的附加信息。

8.如权利要求5所述的图像处理***，其中该第一和/或第二数量的像素位置依据对该输入图像的分析来确定。

9.如权利要求5所述的图像处理***，每个输入像素由一个x坐标和一个y坐标来表示，该视频处理器用于沿x轴在与从该输入观察点到该输出观察点的位移相反的方向依次地逐行处理输入像素；该处理包括：

保持一个x坐标范围，该x坐标范围表示对于相对于一个预定的起始位置的已被处理的输入像素，已经被至少一个已转换的输入像素遮蔽的最远x坐标，其中如果处理方向为从左到右，则该最远x坐标为最高x坐标，而如果处理方向为从右到左，则该最远x坐标为最低x坐标；

保持一个超前范围，用于在该x坐标范围之前来决定：如果一个已转换的输入像素使该超前范围增加一个预定阈值以上，则一个隐藏图像像素被消遮蔽，以使该像素选择装置为该消遮蔽区域位置之前的第一数量的像素位置选择一个隐藏图像像素。

10.如权利要求9所述的图像处理***，其中该视频处理器用于保持一个隐藏图像x坐标范围，该x坐标范围表示对于相对于一个预定的起始位置的已被处理的隐藏图像像素，已经被至少一个已转换的隐藏图像像素遮蔽的最远x坐标，其中如果处理方向为从左到右，则该最远x坐标为最高x坐标，而如果处理方向为从右到左，则该最远x坐标为最低x坐标。

11.如权利要求9或10所述的图像处理***，其中该超前范围是位于该x坐标范围之前的一定数量的像素，该数量等于将被***到该消遮蔽区域位置之前的已转换的隐藏图像像素的数量。

12.如权利要求1所述的图像处理***，其中该输入端被布置成用于接收至少一个附加的隐藏图像，该附加的隐藏图像包括至少部分地被其它隐藏图像中的物体所遮蔽的信息，且视频处理器用于根据所述与深度相关的转换、输入图像、隐藏图像和至少一个附加的隐藏图像来产生输出图像的输出像素。

13.一种用于通过一个与深度相关的转换由一个与输入观察点相关联的输入图像产生至少一个与输出观察点相关联的输出图像的方法；这些图像分别被表示为一个输入像素阵列和一个输出像素阵列；该方法包括：

接收该输入图像，该输入图像是从该输入观察点观看时三维物体的二维图像加深度表示，并且该输入图像对于每个输入像素包括一个输入像素值和一个输入像素深度；

接收隐藏图像，该隐藏图像是该三维物体的另一表示并且包括从输入观察点观看时至少部分地被遮蔽的信息；

将每个输入像素转换成一个与该输出观察点相关联的、作为该输入像素深度的函数的、已转换的输入像素；

基于该已转换的输入像素来产生该输出图像的输出像素；使用隐藏图像的隐藏图像像素来填充消遮蔽区域并且针对与输出图像中的该消遮蔽区域邻近的至少一个像素位置防止由于输入图像的所述转换所造成的重影线虚像；以及

提供该输出图像，以进行后续再现。

Images