CN100449572C - 图像再现的运动控制 - Google Patents

Abstract

公开了一种显示设备(100)，用于根据3D视觉信息显示输出图像。该显示设备(100)包括：第一接收装置(101)，用于接收代表该3D视觉信息的第一信号(3DV)；第二接收装置(116)，用于接收代表作为时间的函数的、输出图像的观察者的位置信息的第二信号(P)；滤波装置(122)，用于对该第二信号(P)进行高通滤波，得到第三信号(PF)；再现装置(118)，用于根据第一信号(3DV)和第三信号(PF)再现输出图像；以及显示装置(112)，用于显示该输出图像。

Description

图像再现的运动控制

技术领域

本发明涉及一种用于根据3D视觉信息显示输出图像的显示设备。

本发明涉及一种根据3D视觉信息显示输出图像的方法。

本发明还涉及一种由计算机设施装载的计算机程序产品，包括用来根据3D视觉信息再现输出图像的指令，该计算机设施包括处理装置和存储器。

背景技术

在3D显像领域中，已知有多种深度暗示对3D感受做出了贡献。它们当中的两种是立体镜观看和交互式的运动视差。在立体镜观看的情况下，为观看者的眼睛呈现与正在显像的场景具有稍微不同的立体视点的图像。利用交互式运动视差，正在加以显像的立体视点相对于观看者的头部位置是自适应的。

在下文中，简要描述为观看者呈现这些深度暗示的两个例子。在第一个例子中，三维(3D)视觉信息是借助几何3D模型而被表示的。应用领域包括合成的内容，也就是计算机图形，例如游戏和计算机辅助设计(CAD)。这里，所要显像的场景是由几何3D模型描述的，例如VRML(虚拟现实建模语言)。使用由所谓头部***测量的关于观看者的头部位置的信息来设置视点，作为立体图像合成(再现)中的一个参数。左和右视图是例如时间复用在基于CRT的监视器上的，并且与无源眼镜相结合的电光开关根据偏振状态实现3D显像。这种类型的显像只是说明性的，也可以采用其它备选方案，包括自动立体镜观看。

第二个例子适用于基于图像的内容的3D显像。3D视觉信息借助于图像和相应的深度图来表示。这种格式的数据例如被存储和调换为红、绿、蓝和深度(RGBD)。这意味着每个像素被注释了表示相应的场景点到摄像机的距离的深度值。在这种表示中的深度部分可能以几种方式中的一种获得。例如使用深度范围摄像机直接与图像数据一起记录的或者使用不均匀从立体照相记录中获得。使用所谓的图像变形(image warping)技术(例如在Computer Graphics Annual Conference Series，Proceeddings of SIGGRAPH 93第279-288页中由Shenchang Eric Chen和Lance Williams所作的文章《用于图像合成的视图内插(Viewinterpolation for image synthesis)》中介绍的技术)实现由这一输入素材自适应合成具有新视点的图像。该变形本质上可以归结为对原始输入图像的像素进行达到与深度值成反比的程度的重新采样并且随后对所获得数据进行重新采样。在使用这种方法时，由于图像在变形处理的作用下发生了扭曲，因此问题出现了。该扭曲量取决于所应用的视点偏移量，而且还取决于图像内容：如果深度表示，即，深度图，包括相对较多的间断，那么会经常出现这样的情况：在新图像的某些区域内，物体应当再出现：去遮挡。这一信息是无法获得的，因为在原始图像中物体是受到遮挡的。这在合成图像中留下了空白，这个空白应当通过这样那样的方式加以填补，但是不管怎样都会降低图像质量。观看者所感觉到的质量降低的量同样也取决于内容：当目标周围的背景具有均匀的性质时，用其它背景信息填补空白干扰较小。当应用于交互运动视差时，对于相对较大的头部运动，例如如果观察者移动他的椅子，扭曲可能很严重。

发明内容

本发明的一个目的是提供一种开头段中介绍的显示设备，该显示设备设置成用于，如果被追踪的观察者在特定时间段中几乎不移动，则再现(render)与3D视觉信息的预定视图相应的默认图像。

本发明该目的的实现在于该显示设备包括：

-第一接收装置，用于接收代表该3D视觉信息的第一信号；

-第二接收装置，用于接收代表作为时间的函数的输出图像的观察者的位置信息的第二信号，该位置信息是相对于该显示设备的位置信息；

-滤波装置，用于对该第二信号进行高通滤波，得到第三信号；

-再现装置，用于根据该第一信号和该第三信号再现该输出图像；以及

-显示装置，用于显示该输出图像。

本发明的一个重要方面是代表图像的观察者的位置信息的第二信号的滤波。通过对该第二信号进行滤波，在实际位置信息和再现装置的输出之间没有线性关系，但是在实际位置信息每时间单元的变化与再现装置的输出之间有关系。这意味着，如果在特定时间段期间实际位置信息的变化是零，即，如果观察者的速度是零的话，则滤波装置的输出等于零。因此再现装置将再现与默认位置信息相应的默认图像，该默认图像是3D视觉信息的预定视图。另一方面，如果在特定时间段期间实际位置信息的变化相对较大，即，如果观察者的速度和/或加速度相对较大，则滤波装置的输出相对较高，得到所再现的与相对于默认图像相对较大的角度相对应的输出图像序列。根据本发明的显示设备的优点在于，将它设置成，对与用来观察交互运动视差的移动相应的、观察者头部的迅速移动做出反应，同时将它设置成，如果最近的移动不是做此用途的，而是例如仅仅是由换个姿势或移动观察者正坐着的椅子造成的，则显示优选的默认图像。在后一种情况下，显示设备最终将集中到这样一个状态：如果最近的移动之后观察者在一段时间内几乎不移动，就显示所述默认图像。

3D视觉信息可以几种方式表示：用VRML写成的3D模型、体元的体集合、一组表面描述或者图像加深度图。

在根据本发明的显示设备的实施例中，3D视觉信息包括输入图像和相应的深度图，并且该输入图像和该输出图像对于第三信号的预定值基本上相等，然而对于该第三信号的另一值，该输出图像表示一个与对应输入图像的场景的第一视图不同的场景视图。换句话说，根据本发明的显示设备显示扭曲最小的输出图像。因而，如果观察者暂时不移动，图像质量是最佳的。在该输入图像和输出图像之间可能有较小的差别，也就是图像基本上相等但不必完全相等。这些差别可能例如是由为了根据输入图像计算输出图像而进行的较小的变形操作、量化或其它图像处理操作造成的。

根据本发明的显示设备的实施方式还包括用于将第三信号限制在下限和上限之间的限幅装置。对由头部***产生的第三信号进行滤波，以防止相对较大的视点偏移。这可以以牺牲对相对较大头部运动的视点适应性为代价防止相关的扭曲。

根据本发明的显示设备的实施例，还包括内容分析装置，用于分析3D视觉信息和/或输出图像并且用于控制滤波装置和/或限幅装置。最好内容分析装置被设置为确定一组测量值的测量值，该组测量值包括对应于深度图中的不连续点的数目的第一测量值、对应于输入图像的背景的均匀性的第二测量值以及对应于输出图像中的空白的数目的第三测量值。应用的控制最好如下所述：

-该内容分析装置被设置为，如果第一测量值相对较高或者第二测量值相对较低或者第三测量值相对较高，则增加下限和/或降低上限；以及

-内容分析装置被设置为，如果第一测量值相对较高或者第二测量值相对较低或者第三测量值相对较高，则降低滤波装置的截止频率。

另外，控制信号被脱机确定并且作为元数据嵌入到3D视觉信息中。

最好显示设备是多视图显示设备，该多视图显示设备设置为用于再现另一个输出图像并且沿第一方向显示该输出图像并且沿第二方向显示该另一输出图像。换句话说，将本发明应用于3D显示设备或者也称为立体显示设备中是有利的。

本发明的又一目的是提供一种在开头段中描述的方法，如果被跟踪的观察者在特定时间段中几乎不移动就再现与3D视觉信息的预定视图相应的默认图像。

本发明目的的实现在于该方法包括：

-接收代表3D视觉信息的第一信号；

-接收代表作为时间的函数的输出图像的观察者的位置信息的第二信号，该位置信息是相对于显示设备的位置信息；

-对该第二信号高通滤波，得到第三信号；

-根据该第一信号和该第三信号再现该输出图像；以及

-显示该输出图像。

本发明的又一目的是提供一种开头段中描述的计算机程序产品，如果被跟踪的观察者在特定时间段中几乎不移动，则再现与3D视觉信息的预定视图相应的默认图像。

本发明目的的实现在于该计算机程序产品在装载后为所述处理装置提供执行下列步骤的能力：

-接收代表3D视觉信息的第一信号；

-接收代表作为时间的函数的输出图像的观察者的位置信息的第二信号，该位置信息是相对于显示设备的位置信息；

-对该第二信号进行高通滤波，得到第三信号；以及

-根据该第一信号和该第三信号再现该输出图像。

显示设备的修改和其变化可以对应于所描述的该方法和该计算机程序产品的修改和变化。

附图说明

参照下面描述的实施方式和实施例并且参照附图，根据本发明的显示设备、方法和计算机程序产品的这些和其它方面将变得明显并且将被说明，其中：

图1示意性地示出根据本发明的显示设备的实施方式；

图2示出通过图1的显示设备产生的三个不同的输出图像；

图3示意性地示出根据本发明的立体显示设备的实施例；

图4示意性地示出限幅单元的传输特性；以及

图5示出由头部***提供的头部***信号和从头***信号导出的经过高通滤波的信号。

贯穿各个附图，相同的附图标记用于表示类似的部分。

具体实施方式

图1示意性地示出根据本发明的显示设备100的实施方式。显示设备100被设置成用于基于3D视觉信息和所提供的位置信息来显示输出图像。典型地，显示设备100与头部***108相连，该头部***被设置成用于确定观察者104(也就是观众)相对于显示设备100的位置102。另外，显示设备100包括这样的头部***108。观察者104的位置102可以由超声跟踪***检测，或者观察者104可以戴上磁体以将其位置102指示给磁性跟踪***。按照另一种实施方式，一个或多个摄像机可以扫描观看区域以便确定观察者的位置，例如为识别观察者的眼睛的***供应图像数据。按照又一种实施方式，观察者104戴上反射诸如红外能量之类的电磁能量的反射器。扫描红外源和红外检测器或者广角红外源和扫描红外检测器确定反射器的位置，该反射器最好戴在观察者104的两个眼睛之间。

显示设备100包括：

-第一输入单元101，用于接收代表3D视觉信息的第一信号3DV；

-第二输入单元116，用于接收代表作为时间的函数的观察者的位置信息的第二信号P；

-高通滤波器单元122，用于对第二信号P进行高通滤波，得到第三信号PF；

-再现单元118，用于基于第一信号3DV和第三信号PF再现输出图像；以及

-显示装置112，用于显示输出图像。

显示设备100根据需要包括一个限幅单元124，用于将第三信号PF限制在较低限制和较高限制之间，得到第四信号PFC。

显示设备100根据需要包括信号变换单元126以便将第四信号PFC变换为具有适于再现的值的第五信号PP。该变换可能包括在坐标系之间的换算或映射，例如从观察者的世界坐标到3D视觉***的观看坐标或者从笛卡儿坐标变换到极坐标的换算或映射。

下面将结合图1和图2介绍显示设备100的工作方式。图2示出借助按照本发明的显示设备100产生的三个不同的输出图像200-204。假定第一信号3DV包括输入图像和相应的深度图。假定观察者104在特定时间点位于显示装置112之前的特定位置102上。该特定位置102相当于头部***108的坐标系的空间原点。显示设备100显示输出图像中的第一个输出图像200。输出图像中的这一第一个输出图像200表示人的一部分，也就是头部208、肩膀210和右胳膊212。看上去就象观察者104可以直视该人的双眼206。输出图像中的第一个输出图像200基本上等于提供给显示设备100的输入图像。

接着，观察者104以第一箭头105表示的方向很快地移动。头***108检测到该运动并且相应地输出第二信号P。借助高通滤波器单元122对第二信号进行高通滤波。根据需要对高通滤波器单元122的输出进行限幅和变换并且最后提供到再现单元118。因此，再现单元118开始根据输入图像、深度图和经过滤波的位置信息计算一系列输出图像。各个输出图像基于与位置信息相对应的经过处理的信号的不同值。输出图像最好是按照Computer Graphics Annual Conference Series，Proceedings of SIGGRAPH 93第279-288页中的Shenchang Eric Chen和Lance Williams的文章《用于图像合成的视图内插(View interpolation forimage synthesis)》中介绍的算法计算的。在图2中示出了正显示在显示装置112上的一系列输出图像中的第二个输出图像204。输出图像中的第二个输出图像204表示人的一部分，也就是头部208、肩膀210和右胳膊212。但是现在看上去观察者104不能直视该人的双眼206，而是看起来就象该人将他的头部208向左转动了一点。

如果观察者104随后相对快地移动到相反方向，也就是用第二箭头103指示的方向，则执行相似的处理。结果是为观察者104给出输出图像中的第三个输出图像202。输出图像中的第三个输出图像202也表示人的一部分，即，头部208、肩膀210和右胳膊212。同样也是看上去好象观察者104不能直视该人的双眼206。不过，现在看起来好象该人将他的头部208向右转动了一点。

如果第三个经过高通滤波的信号PF超过了预定的阈值，则限幅单元124将对第三个经过高通滤波的信号PF进行限幅。因此，对于与相对原点102的距离d1和d2相应的位置107和109，分别为观察者104呈现了相同的输出图像中的第三个输出图像204。

如上所述，由于进行了移动，为观察者104呈现了与场景的不同视图相应的不同输出图像200-204。在这种示范性的情况下，场景包括正在讲话的人。这种图像表达现象称为交互式运动视差。

假定观察者位于第二位置107上并且在一段时间内没有移动，例如在1-5秒内。因此经过高通滤波的第三信号PF的值等于零。再现单元118将产生默认输出图像，即，输出图像中的第一个输出图像200。

如果观察者沿着第二箭头103指示的方向从第二位置107开始移动，则将会为观察者呈现输出图像中的第三个输出图像204。如果观察者沿着第一箭头105指示的相反方向从第二位置107开始移动，则将会为观察者呈现输出图像中的第二个输出图像202。

第一输入单元101、第二输入单元116、高通滤波器单元122、限幅单元124、再现单元118和信号变换单元126可以使用一个处理器来实现。通常，这些功能是在软件程序产品的控制下实现的。在执行期间，通常要将软件程序产品装载到存储器中，比如RAM，并且从那里执行。程序可以从背景存储器中加载，比如ROM、硬盘或磁和/或光存储装置，或者可以通过象因特网之类的网络来加载。根据需要，专用集成电路能够提供所公开的功能。

图3示意性地表示按照本发明的立体视觉显示设备300的实施方式。这种实施方式200的工作过程基本上等于结合图1和2介绍的实施方式100的工作过程。下面介绍一些不同之处。

立体视觉显示设备300包括用于再现左眼输出图像的再现单元118和用于再现右眼输出图像的另一再现单元120，左眼输出图像和右眼输出图像构成立体像对。立体象对的两个输出图像是按照结合图1介绍的那种算法计算出来的，只是为再现单元118和另一再现单元120提供的是不同的位置信息信号PPL和PPR。这两个信号PPL和PPR之间的差异与观察者104的眼睛之间的距离(或假定的距离)有关。借助多路复用器单元114对左眼输出图像和右眼输出图像进行时间复用，并且将其显示在基于CRT的显示装置112上。根据偏振状态，电光开关110与无源眼镜106相组合能够实现立体镜显像。这种类型的显像只是说明性的，也可以采用其它可选实施方式，包括自动立体镜观看。

立体视觉显示设备300还包括设置成用于控制限幅单元124和高通滤波器单元122的图像内容分析器128。显示设备300的性能是以输出图像的图像质量合乎要求为目标。这意味着，在输出图像具有预期的较低质量的情况下，限幅单元124使变换特性400的线性部分406变窄。使线性部分变窄相当于降低最大输出值Cmax 402和/或增大最小输出值Cmin 404。这一预期可以基于在将输入图像变形成输出图像或者输入图像的背景的分析期间统计出的空白(hole)的数量。背景的分析最好包括纹理分析，例如通过对输入图像进行高通滤波、根据需要随后进行阈值运算。存在相对较多的高频分量表示了详细的背景。

在进行变形期间，最好利用有关背景的信息。减少扭曲问题的已知方法是为图像加深度增补关于受遮挡区域的信息：对于从立体记录中获得的图像加深度信息，可以得到这样的信息。另外，越来越多的电影正在利用色度键控。这是这样的方法：电影演员在位于摄影棚内的蓝色或绿色背景前表演。之后，在编辑阶段，由预定的背景替换(抠除)原本为蓝色或绿色的背景，预定背景可以基于所有种类的影片素材，例如外景摄制的、用按比例缩小的模型拍摄的或者甚至计算机产生的素材。对于这些情况，可以得到包括演员遮挡部分的完整背景并且可以与图像加深度信息相结合地加以调换。通过使用所谓的增强层，视频编码标准MPEG-4支持这样的增补。

如上所述，显示设备300的性能是以输出图像的图像质量合乎要求为目标。这意味着高通滤波器单元122要反应得更快，以便在输出图像具有预期的较低质量的情况下返回到默认的输出图像200。这一预测可以基于在将输入图像变形成输出图像或者输入图像的背景分析期间统计到的空白的数量。对深度图中的不连续点的数量进行估计是量化预期图像质量的另一种方法。

虽然按照分别结合图1和3介绍的显示设备100和200的实施方式，3D视觉信息是以图像加深度图的形式提供的，但是很显然，其它实施方式能够接收以不同方式表示的3D视觉信息，例如以用VRML写成的3D模型的形式、以体元素的体集合的形式或者以一组表面描述的形式。在这种情况下，由再现单元118和120进行其它类型的再现。

根据需要，高通滤波器单元122的滤波特性是基于限幅装置124加以控制的。依据限幅单元124的输入PF是否受到限幅这一事件，对截止频率加以修改。除此之外，最好高通滤波器单元122具有所谓的不对称性能，例如对运动响应快但是对静止响应慢。

显示设备可以是视频会议***、诸如电视机或游戏装置之类的消费者装置的一部分。

图5示出由头部***108提供的(输入)头部***信号P和从该头部***信号P得出的(输出)经过高通滤波的信号PF。所采用的滤波器是截止频率为0.05Hz的一阶高通滤波器。在图5中可以清楚地看出，在时间＝0到时间＝5秒期间，经过高通滤波的信号PF与头部***信号P匹配得相对较好。在时间＝6秒之后，经过高通滤波的信号PF慢慢转到属于特定位置102的默认值，特定位置102与头部***108的坐标系的空间原点相对应。换句话说，相当于大约0.2-0.25米的空间偏离的头部***信号P中的低频部分得到了抑制。

应注意，上述实施例是说明而不是限制本发明并且本领域的熟练技术人员将能够设计出不脱离所附权利要求范围的可替换实施例。在权利要求中，任何括号中的附图标记不构成对权利要求的限制。单词“包括”不排除未列在权利要求中的元件或步骤的存在。在一个元件前面的单词“一个”不排除多个这样的元件的存在。本发明可以通过包括几个分离元件的硬件和适当编程的计算机实施。在列举几个装置的装置权利要求中，这些装置中的几个可以通过硬件的同一个部件实现。单词第一、第二和第三、等等的使用不表示任何次序。这些单词只解释为名称。

Claims (10)

1、一种显示设备(100，300)，用于根据3D视觉信息显示输出图像，该显示设备(100，300)包括：

-第一接收装置(101)，用于接收代表该3D视觉信息的第一信号(3DV)；

-第二接收装置(116)，用于接收代表作为时间的函数的、输出图像的观看者的位置信息的第二信号(P)，该位置信息是相对于该显示设备(100，300)的位置信息；

-滤波装置(122)，用于对该第二信号(P)进行高通滤波，得到第三信号(PF)；

-再现装置(118)，用于根据该第一信号(3DV)和该第三信号(PF)再现该输出图像；以及

-显示装置(112)，用于显示该输出图像。

2、如权利要求1所述的显示设备(100，300)，其中该3D视觉信息包括输入图像和相应的深度图。

3、如权利要求2所述的显示设备(100，300)，其中对于该第三信号(PF)的预定值，该输入图像和该输出图像基本上相等。

4、如权利要求2所述的显示设备(100，300)，还包括限幅装置(124)，用于将该第三信号限制在下限(404)和上限(402)之间。

5、如权利要求2或4所述的显示设备(300)，还包括内容分析装置(128)，用于分析该3D视觉信息和/或该输出图像并且用于控制滤波装置(122)和/或限幅装置(124)。

6、如权利要求5所述的显示设备(300)，其中内容分析装置(128)设置成用于确定一组测量值的一个测量值，该组测量值包括与深度图中的不连续点的数量相对应的第一测量值、与输入图像的均匀性相对应的第二测量值和与输出图像中的空白的数量相对应的第三测量值。

7、如权利要求6所述的显示设备(300)，其中内容分析装置(128)设置成用于，如果该第一测量值相对较高或者该第二测量值相对较低或者该第三测量值相对较高，则增加所述下限和/或减小所述上限。

8、如权利要求6所述的显示设备(100，300)，其中该内容分析装置(128)设置成用于，如果该第一测量值相对较高或者该第二测量值相对较低或者该第三测量值相对较高，则减小滤波装置(124)的截止频率。

9、如权利要求1所述的显示设备(300)，其中该显示设备(300)是多视图显示装置，该多视图显示装置设置成用于再现另一输出图像，并且在第一方向上显示所述输出图像和在第二方向上显示另一输出图像。

10、一种基于3D视觉信息显示输出图像的方法，该方法包括：

-接收代表该3D视觉信息的第一信号；

-接收代表作为时间的函数的、该输出图像的观看者的位置信息的第二信号，该位置信息是相对于显示设备(100，300)的位置信息；

-对该第二信号进行高通滤波，得到第三信号；

-基于该第一信号和该第三信号再现该输出图像；以及

-显示该输出图像。

Images