CN103609105B - 用于生成用于显示器的信号的方法和设备 - Google Patents

Abstract

本发明涉及一种用于生成用于显示器（103）的图像信号的设备，其包括接收视频信号的接收器（105），所述视频信号包括对应于图像序列的三维数据。图像生成器（107）根据所述三维数据和呈现视点生成对应于所述图像序列的显示器图像。镜头转换检测器（111）检测所述图像序列中的镜头转换，并且视点控制器（113）与镜头转换同步地改变呈现视点。信号生成器（109）生成包括所述显示器图像的图像信号。所述设备还可以跟踪观看者移动并且相应地适配呈现。此外，所述***可以把视点朝向标称视点偏置。由于跟踪而导致的视点改变可以是非同步的，而由于偏置而导致的视点改变则可以与镜头转换同步。

Description

用于生成用于显示器的信号的方法和设备

技术领域

本发明涉及生成用于显示器的信号，并且特别（而非排他地）涉及根据观看者的视点呈现三维图像信息。

背景技术

近年来，对于提供图像和视频内容的三维（3D）感知的兴趣日益增加，从而导致引入了可以通过向观看者的双眼提供不同视图来提供3D效果的3D显示器。这样的显示器包括按照时间顺序方式向右眼和左眼投影图像的时间顺序立体显示器。观看者佩戴包括LCD元件的眼镜，所述LCD元件交替地阻断去到左眼和右眼的光，从而确保每一只眼睛只看到对应于该只眼睛的图像。另一种类型的显示器是不需要观看者配戴眼镜的自动立体显示器。这样的显示器通常在不同的视锥中呈现相对较大数目的图像。举例来说，自动立体显示器通常可以实施九个不同视锥，其中的每一个对应于一个不同的视点集合。这样的显示器从而同时展现九幅不同图像。

作为另一个实例，可以从实施运动视差功能的传统二维显示器获得3D效果。这样的显示器跟踪用户的移动，并且相应地适配所展现的图像。在3D环境中，观看者的头部移动导致近处对象的相对较大数量的相对透视移动，后方较远处对象的移动则将逐渐更少，并且无限远深度处的对象实际上将不移动。因此，通过基于观看者的头部移动提供二维显示器上的不同图像对象的相对移动，可以实现可感知的3D效果。

为了满足对于3D图像效果的期望，产生包括描述所捕获场景的各个3D方面的数据的内容。举例来说，对于计算机生成的图形，可以开发三维模型并且使用所述三维模型来计算来自给定观看位置的图像。这样的方法例如常被用于提供三维效果的计算机游戏。

作为另一个实例，越来越多地生成包括一些3D信息的例如电影或电视节目之类的视频内容。这样的信息可以利用专用3D摄影机来捕获，所述专用3D摄影机从略有偏移的摄影机位置捕获两幅同时图像。在某些情况下，可以从偏移更多的位置捕获更多同时图像。举例来说，可以使用相对于彼此偏移的九台摄影机生成对应于九视锥自动立体显示器的九个视点的图像。

但是一个严重的问题在于，附加的信息导致大为增加的数据量，这对于视频数据的分发、传送、处理和存储来说是不切实际的。相应地，对于3D信息的高效编码至关重要。因此，已经开发出可以大大降低所需的数据速率的高效的3D图像和视频编码格式。

一种这样的编码格式对给定观看者位置的左眼图像和右眼图像进行编码。通过相对于彼此编码两幅图像可以提高编码效率。例如可以使用图像间预测，或者可以把一幅图像简单地编码为与另一幅图像的差异。

另一种编码格式提供一幅或两幅图像连同表明相对图像对象的深度的深度信息。还可以通过遮挡信息来补充这种编码，所述遮挡信息提供被更加处于前景中的其他图像元素所遮挡的图像对象的信息。

所述编码格式允许直接编码图像的高质量呈现，也就是说其允许与为之编码图像数据的视点相对应的图像的高质量呈现。所述编码格式还允许图像处理单元为相对于所捕获图像的视点存在位移的视点生成图像。类似地，可以基于与图像数据一起提供的深度信息在所述（多幅）图像中移位图像对象。此外，可以利用遮挡信息（如果此类信息可用的话）填入并非由所述图像代表的区域。

因此，基于所接收到的数据，图像处理单元可以生成对应于其他视点的图像。举例来说，图像处理单元可以生成用以表示当用户移动其头部时的运动视差的视图，或者可以生成对应于九视锥自动立体图像的所有九个视点的视图。这样的处理允许生成可以使得观看者例如能够“环顾”对象的图像。

但是一个问题在于，相对于原始编码图像，也就是说相对于为原始摄影机位置生成的图像，对应于除了原始编码图像的视点之外的其他视点的图像的质量有所降低。举例来说，图像对象的相对偏移量可能仅仅是近似正确的，或者对于作为视点改变的结果而被解除遮挡的图像对象，遮挡信息可能简单地不可用。实际上已经发现，所感知到的质量降低会随着视点的位移而非线性地增加。因此双倍的视点偏移量通常会被感知为导致远多于双倍的质量降低。

因此，一种改进的方法将是有利的，特别是一种允许更高的灵活性、更高的感知图像质量、更好的空间体验、更好的视点适配和/或更佳的性能的方法将是有利的。

发明内容

相应地，本发明尝试优选地单独或者以任意组合缓解、减轻或者消除前面所提到的一个或更多缺点。

根据本发明的一个方面，提供一种用于生成用于显示器的信号的设备，所述设备包括：用于接收视频信号的接收器，所述视频信号包括对应于图像序列的三维数据；用于根据所述三维数据和呈现视点生成对应于所述图像序列的显示器图像的图像生成器；用于检测所述图像序列中的镜头转换的镜头转换检测器；用于与所检测到的镜头转换同步地改变呈现视点的视点控制器；以及用于生成包括所述显示器图像的信号的信号生成器。

本发明可以提供改进的观看体验，并且特别在许多情形中可以感知到改进的平均图像质量。本发明可以对于观看3D图像内容的用户允许更加自然的用户体验。所述方法可以允许所展现图像的视点改变对于用户来说较不明显，从而允许所述***在改变视点方面有更高的自由度和灵活性。

可以按照任何适当的格式提供三维数据，比如对应于不同视角的多幅图像、与深度信息相组合的一幅或更多幅图像或者例如这些方法的组合。

根据本发明的一项可选特征，所述设备还包括：用于接收对应于显示器的观看者的位置的位置指示的输入；用于响应于位置指示确定观看者视点估计的处理器；并且其中视点控制器被设置成响应于观看者视点估计确定呈现视点。

可以实现改进的用户体验。举例来说，用户在移动其头部时可以感知到真实且自然的运动视差，并且与此同时允许***适配于新的半静态位置。所述适配可以允许相对于场景改变用户的视点，其中这一改变对于用户来说较不明显。所述方法可以提供针对把所展现的图像动态地适配于观看者头部移动的期望与针对呈现对应于优选视点的图像的期望之间的改进折中。

所述位置指示可以是关于用户的三维、二维或者设置一维位置特性的指示。举例来说，所述位置指示可以表明从显示器到观看者视点的角度，或者沿着与显示器平行的水平轴的某一位置。

根据本发明的一项可选特征，视点控制器被设置成调节呈现视点，以便与镜头转换非同步地跟踪观看者视点估计的改变。

这样就允许将图像平滑地并且看起来自然地适配于用户移动，同时还允许***在对于用户来说较不明显的情况下对呈现视点引入其他改变。所述方法可以特别允许生成自然的运动视差体验，从而提供较强的3D线索。

根据本发明的一项可选特征，呈现视点朝向标称视点的偏置取决于以下各项的至少其中之一：呈现视点与标称视点之间的差异；观看者视点估计与标称视点之间的差异；对应于所述图像序列的内容特性；对应于所述图像序列的深度特性；镜头转换频率估计；镜头持续时间；以及对应于呈现视点的质量降低指示。

这样可以允许改进性能并且/或者可以允许改进用户体验。

根据本发明的一项可选特征，视点控制器被设置成结合镜头转换对呈现视点引入步进改变。

这样可以允许改进的用户体验，并且例如可以降低视点改变的显著性和/或速度。视点控制器还可以被设置成在镜头转换之间的时间间隔内施行呈现视点对于观看者移动的连续且平滑的适配。

根据本发明的一项可选特征，视点控制器被设置成朝向标称视点偏置呈现视点，这是通过与镜头转换同步地朝向标称视点改变呈现视点而实现的。

这样可以允许改进所呈现图像的质量，并且与此同时允许***跟随观看者头部位置的动态改变。通常来说，对于与标称视点相对应的视点，图像质量更高。标称视点例如可以对应于创作视点，比如为之提供3D数据的视点。当偏离该标称视点时，图像生成通常会引入一些图像质量降低和伪像。当观看者改变位置时，观看者的视点也会改变。通过对呈现进行适配从而使得呈现视点跟随观看者视点，可以提供非常真实的3D体验，其例如包括运动视差并且允许观看者“环顾”对象。但是视点的改变通常可能会导致一些图像质量降低。所述***可以相应地把呈现视点从观看者视点朝向标称视点偏置，以便提高所展现图像的图像质量。此外还将该视点改变与镜头转换同步，从而导致视点改变对于用户的可感知度大为降低。由此获得了改进的图像质量，并且同时仍然允许对于用户移动的自然响应。

在一些实施例中，可以只在位置指示的变化特性满足标准时才引入偏置。举例来说，当用户头部移动在给定时间间隔内小于给定数量时，可以引入偏置。但是如果在该例中检测到高于给定水平的用户移动，则不引入偏置，并且呈现视点跟随观看者视点。

所述偏置可以是预定偏置。举例来说，可以引入呈现视点朝向标称视点的给定的预定改变。

标称视点可以是相对于显示器的标称视点，比如对称地处于显示器正前方并且处于给定的预定高度的某一位置。标称视点可以特别对应于显示器的中心观看位置。标称视点可以对应于所接收到的视频信号的创作视点，比如在捕获或生成视频信号的图像时的摄影机视点。

根据本发明的一项可选特征，所述显示器是单视显示器。

本发明可以对于在单视显示器上观看3D内容的用户允许改进的用户体验。具体来说，所述方法可以允许3D效果，这是通过对所呈现的图像实施运动视差适配并且同时允许***（至少部分地）不可感知地反转到更高质量图像而实现的。

所述信号生成可以被设置成生成包括单视图像的驱动信号。所述显示器图像可以是单视图像。

根据本发明的一项可选特征，所述显示器是立体显示器。

本发明可以对于在立体显示器上观看3D内容的用户允许改进的用户体验。具体来说，所述方法可以允许3D效果，这是通过立体呈现对应于左眼和右眼的不同图像以及可选地对所呈现的图像实施运动视差适配而实现的。所述方法可以允许降低视点改变的可感知度，并且可以特别允许以较不明显的方式反转到对应于所展现的立体图像的优选视点。

所述信号生成可以被设置成生成包括立体图像的驱动信号。所述显示器图像可以是立体图像。

所述立体显示器可以特别是自动立体显示器。

根据本发明的一项可选特征，所述设备还包括被设置成对所述图像序列引入镜头切换的镜头切换生成器。

这样可以在许多情形中提供改进的用户体验。举例来说，即使在所展现的内容不包含非常频繁的镜头转换时，也可以降低视点改变的可感知度。所述***可以特别把呈现视点改变适配成对应于所述图像序列中的镜头转换，并且在其不允许这样的适配时对所述图像序列引入附加的镜头转换，以便提供呈现视点的适当改变。

根据本发明的一项可选特征，镜头切换生成器被设置成响应于以下各项的至少其中之一引入镜头切换：镜头持续时间特性满足标准；呈现视点满足标准；质量降低指示满足标准；以及对于自动立体显示器检测到观看者跨越视锥边界。

这样可以在许多情形中并且对于许多不同的视频信号和视频内容提供改进的用户体验。

根据本发明的一项可选特征，视点控制器被设置成响应于标准被满足而切换到第二操作模式，视点控制器在处于第二操作模式时被设置成把呈现视点朝向对应于显示器的标称视点偏置，这是通过与镜头转换非同步地把呈现视点朝向标称视点改变而实现的。

这样可以对于更广范围的视频内容允许改进的适用性。举例来说，如果特定图像序列的特性不允许呈现视点的适当改变，则可以使用一种不同的模式，其中不把呈现视点改变同步到镜头转换。举例来说，对应于观看者看到图像朝向与标称视点相对应的视图的缓慢旋转，可以使用呈现视点的缓慢连续改变。

所述偏置在第二操作模式下可以慢于镜头转换同步模式。

根据本发明的一项可选特征，视点控制器被设置成相对于标称视点限制呈现视点。

这样可以在许多情形中提供改进的图像呈现，并且可以特别被用来确保图像质量与视点改变特性之间的所期望的折中。

根据本发明的一个方面，提供一种生成用于显示器的信号的方法，所述方法包括：接收包括对应于图像序列的三维数据的视频信号；根据所述三维数据和呈现视点生成对应于所述图像序列的显示器图像；检测所述图像序列中的镜头转换；与所检测到的镜头转换同步地改变呈现视点；以及生成包括所述显示器图像的信号。

根据本发明的一个方面，提供一种包括计算机程序代码装置的计算机程序产品，当在计算机上运行所述程序时，所述计算机程序代码装置被适配成施行所述方法的所有步骤。

根据本发明的一个方面，提供一种显示器，其包括：用于接收视频信号的接收器，所述视频信号包括对应于图像序列的三维数据；用于根据所述三维数据和呈现视点生成对应于所述图像序列的显示器图像的图像生成器；用于检测所述图像序列中的镜头转换的镜头转换检测器；用于与所检测到的镜头转换同步地改变呈现视点的视点控制器；显示器面板；以及用于驱动显示器面板呈现显示器图像的显示器驱动器。

参照后文中描述的（多个）实施例，本发明的前述和其他方面、特征和优点将变得显而易见并且将对其进行阐述。

附图说明

下面将参照附图仅以举例的方式来描述本发明的实施例，其中：

图1示出了根据本发明的一些实施例的显示器***的实例；

图2示出了三维场景；

图3-9公开了图1的三维场景的各种二维表示；

图10示出了在显示器上展现三维场景时的投影的一个实例；以及

图11示出了根据本发明的一些实施例的显示器***的实例。

具体实施方式

下面的描述专注在本发明的一些实施例上，所述实施例适用于尝试对于展现在显示器上的三维场景的观看者保持正确透视的显示器***。但是应当认识到，本发明不限于这种应用，而是可以同样适用于例如尝试引入或保持艺术性的、失真的或者人为的透视的应用。

图1示出了根据本发明的一些实施例的显示器***。所述***包括耦合到显示器103的图像处理单元101。在一些实施例中，图像处理单元101和显示器103可以是分开的实体，并且例如图像处理单元101可以是单独的机顶盒或其一部分（比如个人视频记录器、家庭影院放大器等等），并且显示器103可以是例如电视、视频监视器或计算机显示器之类的单独实体。在这样的实施例中，图像处理单元101和显示器103可以通过任何适当的通信介质耦合在一起，其中例如包括直接线缆、直接无线连接或者例如基于Wi-Fi的网络之类的通信网络。

在其他实施例中，图像处理单元101可以是显示器的一部分，并且实际上图像处理单元101可以包括用于直接为显示器面板（例如LCD或等离子显示器面板）生成驱动信号的功能。

图像处理单元101包括接收视频信号的接收器105。所述视频信号包括对应于一个图像序列的三维（3D）数据。所述3D数据从而允许通过对于3D数据的适当处理而生成3D图像。

在一些实施例中，所述3D数据可以简单地包括对应于相同场景的不同视点的多幅图像（其通常是同时的）。举例来说，可以提供对应于左眼视图的图像，并且可以提供对应于右眼视图的相应图像。所述两幅图像从而从不同的视点表示同一场景，并且提供所述场景的立体3D表示。在其他实施例中，可以提供多于两幅相应的图像。

作为另一个实例，可以提供作为图像数据的3D数据连同深度数据。举例来说，可以提供单一图像连同表明不同图像区域和对象（或者实际上各个单独的像素）的相应深度的数据。深度数据例如可以作为像差或z分量而被给出。此外，可以提供遮挡图像数据，其表示对应于被其他图像区域完全或部分地遮挡的图像对象的图像信息。

接收器105可以从任何适当的内部或外部来源接收视频信号。举例来说，可以从外部通信或分发网络接收视频信号，直接从例如外部BlurayTM播放器、个人视频记录器等适当来源接收视频信号，或者从例如内部光盘读取器、硬盘或实际上本地图像生成器（例如通过适当的处理平台实施的图形模型）之类的内部来源接收视频信号。

接收器105耦合到图像生成器107，其被设置成基于3D数据和呈现视点生成对应于输入图像序列的显示器图像。图像生成器107被设置成生成可以由显示器展现并且对应于场景的给定呈现视点的图像。从而生成表示将从位于呈现视点处的观看者/摄影机看到的视图的显示器图像。呈现视点可以不同于为之生成或参照输入图像序列的内容或创作视点。

举例来说，输入信号包括对于给定创作视点生成的一个图像序列。创作视点可以是对应于记录图像的实际摄影机的视点，或者例如可以是由图形模型所使用的虚拟摄影机视点。除了对应于这些图像的图像数据之外，所述3D数据还可以包括例如具有像差数据的形式的深度信息。图像生成器107随后可以利用深度数据处理图像，以便生成反映出将如何从不同视点看到所述场景的图像。因此，图像生成器107生成从可以与输入数据的原始或标称视点不同的一个视点呈现的显示器图像。

图像生成器107耦合到输出电路109，其生成包括由图像生成器107呈现的图像的输出信号。应当认识到，输出信号的具体形式取决于具体实施例和显示器的特性。举例来说，在一些实施例中，可以生成包括已编码图像的输出信号。所述编码例如可以是根据已知的编码标准，比如MPEG编码标准。在其他实施例中，输出信号可以直接包括用于适当的显示器面板的特定驱动信号。

所述***从而可以相对于输入图像数据的视点改变所呈现图像的视点。在该具体实例中，所述***被设置成以不同方式并且出于不同目的改变视点。实际上，一些视点改变被引入是为了向用户提供明显并且有利的3D效果，而其他视点改变则意图对于用户来说较不明显。

具体来说，所述***可以引入意图不被用户注意到的一些视点改变。

为了支持这样的视点改变，图1的***包括镜头转换检测器111，其被设置成检测所接收到的图像序列中的镜头转换。

镜头是连续图像序列，其中的视觉改变足够小从而会被感知为对于单一所描绘场景的单次连续观察。镜头可以被视为在（可能正在连续移动的）视点处接连捕获的一系列相互关联的连续画面，并且代表时间和空间上的连续动作。通常来说，如果出现场景改变并且/或者对应于给定场景的视点突然改变则认为发生镜头转换，例如当给定时间间隔内的视点改变超出给定阈值时就认为发生镜头转换。

镜头转换可能较为突然，其中所述转换从一幅图像（帧）到下一幅图像发生，或者至少在几帧内发生。在其他情况下，镜头转换可能更加渐进，并且在更多图像/帧上延伸。在这样的情形中，所述转换可以包括来自两个镜头的图像的渐进合并连同前一个镜头的渐出和新镜头的渐入。

应当认识到，在不背离本发明的情况下可以使用用于检测镜头转换的任何适当标准或算法。

举例来说，在某些情形中，所接收到的视频信号可以包括表明在图像序列中何时发生镜头转换的元数据。举例来说，在电影剪辑期间，可以生成表明何时发生从一个电影片段到下一个电影片段的转换的数据。该数据可以被包括在已编码信号中。在这样的情形中，镜头转换检测器111可以简单地提取出表明镜头转换的元数据。

但是通常来说，镜头转换检测器111被设置成分析所述图像序列以便估计镜头转换在何处发生。这样的检测通常可以是基于检测所包含图像的特性的改变。因此，镜头转换检测器111可以连续地生成各种图像特性，并且在某一特性的改变满足给定标准时认为发生镜头转换。

举例来说，当平均亮度和颜色分布在给定数目的帧内改变超出给定阈值时可以认为发生镜头转换。

关于现有技术镜头转换检测方法的总览以及对于其工作的分析可以在此处获得：Alan F. Smeaton的“Video shot boundary detection: Seven years of TRECVidactivity（视频镜头边界检测：TRECVid活动的七年）”，Computer Vision and ImageUnderstanding 114 (2010)，411-418，2010年。

作为镜头转换检测的一个更加具体的实例，考虑一种基于计算连续各帧的相似度的方法，所述方法是通过：把所述各帧缩小到缩略图尺寸，把缩略图重新解释为矢量，并且随后计算各个连续矢量的L2范数。在且仅在所计算的范数高于预定阈值的情况下才检测到镜头转换。可以通过包括更加复杂的帧相似度度量并且/或者通过不仅比较连续各帧而且还比较一个窗口内的多帧来扩展所述方法。后一种情况将允许正确地解释渐进转换并且忽略例如闪光之类的假转换。

应当认识到，在一些实施例中，镜头转换检测器111可以包括多种并行的检测算法或标准。举例来说，其可以不仅检测镜头转换，而且还检测这些镜头转换是硬转换还是渐进转换。

镜头转换检测器111耦合到视点控制器113，其还耦合到图像生成器107。视点控制器113确定由图像生成器107使用来生成输出显示器图像的呈现视点。因此，视点控制器113确定为之呈现图像的视点。

在某些情况下，意图使得观看者注意到视点被改变。举例来说，通过相应地移动呈现视点，可以获得观看者环顾前景对象以便看到背景元素的印象。但是在其他情形中则意图在不被用户注意到的情况下移动视点。因此，在某些情形中希望降低呈现视点改变的可感知度。

图1的视点控制器113被设置成通过（至少在有些时候）把呈现视点的改变同步到所检测到的镜头转换而实现这一点。作为一个具体实例，可以把视点改变限制到仅在镜头转换期间发生。这样将导致视点改变与所展现内容中的转换相关联地发生，从而使得这些视点改变不会被观看者注意到。

举例来说，输入图像序列可以包括从正面看去的雕像的第一镜头。可以把当前呈现视点偏移到一侧，以便提供在正面视图中被雕像遮挡的背景元素的视图。可以在整个镜头当中保持该视点。当在输入图像中发生镜头转换以便例如示出完全不同的场景时，该镜头转换被镜头转换检测器111检测到，其作为响应可以把呈现视点移动回到输入图像的视点。这将不会被用户注意到是因为场景已经完全改变，因此对于这两个镜头没有共同的或连续的视点基准。在后来的某一阶段（例如在下一次镜头转换时），场景可以切换回到所述雕像。但是呈现视点现在已经切换到输入流的视点，因此现在将不会从正面呈现雕像。但是与在雕像的镜头期间发生的转换相比，从偏移视点到输入视点的这一视点转换在感知方面的显著程度和不适程度都低得多。所述方法例如可以允许改进的用户体验，其中用户可以对于较短时间人工偏移视点（例如通过按下遥控器上的一个按钮以表明希望环顾某一前景对象），并且当***自动返回创作视点时，向回切换的感知影响得以降低。

在图1的具体实例中，所述***还包括用于接收关于显示器观看者的位置的位置指示的输入115。所述位置例如可以是表明观看者相对于显示器103的位置的准确三维位置。在其他实例中，所述位置指示可以是用户相对于显示器平面的角度的粗略指示。在一些实施例中，所述位置指示可以简单地表示观看者相对于显示器中心的水平偏移量。

应当认识到，可以使用用于生成位置指示的任何装置，并且在一些实施例中，所述用于生成位置指示的装置可以是显示器***的一部分，并且例如可以与图像处理单元101或显示器103集成在一起。

所述***例如可以包括头部跟踪或用户跟踪***。作为一个实例，可以把一台摄影机放置在显示器103上并且指向观看区域。可以对由该摄影机捕获的图像进行分析，以便检测对应于用户头部的图像对象，并且可以生成位置指示以反映其位置。作为另一个实例，用户可以佩戴例如红外传送器之类的装置，其辐射出可以被检测到并且可以被用来确定位置的信号。作为另一个实例，用户可以佩戴位置确定装置（例如具有GPS能力的移动电话），其确定位置并且将其传送到显示器***。

确定关于用户的位置指示的***的具体实例可以在以下文献中找到：CarlosMorimoto等人的“Pupil Detection and Tracking Using Multiple Light Sources（利用多个光源的瞳孔检测和跟踪）”，Journal of Image and Vision Computing，18(4)，pp.331-335，Elsevier，2000年3月；Marco La Cascia等人的“Fast, Reliable Head Trackingunder Varying Illumination: An Approach Based on Registration of Texture-Mapped 3D Models（变化照明下的快速、可靠的头部跟踪：一种基于纹理映射的3D模型的配准的方法）”，IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI)，22(4)，2000年4月；以及Johnny Chung Lee的“Hacking the Nintendo Wii Remote（破解Nintendo Wii遥控器）”，IEEE Pervasive Computing magazine，volume 7，number3，pp.29-45，2008年。

位置输入115耦合到位置处理器117，其被设置成基于所接收到的位置指示确定观看者视点。观看者视点估计在某些情况下可能与位置指示相同，但是在许多实施例中，可以使用对于位置指示的某种处理来生成观看者视点估计。举例来说，可以使用某种滤波或平均，或者可以使用几何评估来确定相对于显示器109的观看位置。

位置处理器117还耦合到视点控制器113，观看者视点估计被馈送到视点控制器113。视点控制器113随后可以响应于观看者的视点确定呈现视点。

这种方法允许获得非常有利的观看体验。实际上，随着观看者移动其头部，可以对所呈现的图像进行动态连续适配，以反映出用户的当前位置。举例来说，可以实施运动视差，从而当用户在一个方向上移动其头部时，所展现图像的图像对象在所展现图像中被移动，以便反映出视点的改变。因此，呈现视点跟踪所估计的观看者视点以便提供自然的体验，并且特别提供观看实际上存在于屏幕后方的三维场景的效果。具体来说，对于观看者头部移动的跟踪可以提供显示器作为一个窗口的感知，透过所述窗口看到真实的三维场景。

举例来说，如果用户向左移动头部，根据适当的透视和运动视差规则，（显示器平面后方的）图像对象被向左移位。所述移位的程度取决于图像对象的深度，从而使得处于不同深度的图像对象具有不同的位移。由于图像生成器107具有对应于输入图像的3D信息，因此有可能确定对应于所展现图像的适当移位。这样的方法可以特别允许从单视2D显示器提供3D体验，这是因为当用户移动其头部时，显示器上的各个图像对象的取决于差分深度的移动会为观看者提供显著的3D线索。换句话说，通过对于所展现图像实施运动视差，可以由2D显示器提供3D效果。

因此希望使得显示器***知晓观看者的位置，因为这样将允许对于3D内容的更加沉浸式的显示而不管是否存在立体视觉。

但是在许多***中，随着呈现视点偏离输入图像的视点，图像质量往往会降低。举例来说，对于通过视点改变而被解除遮挡的图像对象或区域，可能完全无法获得所需的图像数据。在这样的情形中，利用诸如外插和内插之类的估计技术，对于经过修改的视点图像的呈现会填入图像中的间隙。此外，呈现算法可能会引入错误和误差，从而导致例如图像伪像或失真的透视。

举例来说，对于当前的3D格式（比如Blu-ray和DVB 3D），已经发现随着观看者的位置变得越来越离心从而从输入信号的视点偏离更多，呈现伪像也会增多。实际上，对于这些格式除了标称的左、右视图之外完全没有图像数据，因此对于场景中的从这些视点当中的任一个都不可见的所有内容都必须进行估计。对于例如MPEG MVD和图像+深度格式之类的其他格式也会出现类似的结果。

因此，除了希望从不同视点呈现图像之外，还希望从标称视点呈现图像。

在图1的***中，这一冲突通过以下措施得以解决：允许呈现视点跟随并适配于观看者视点，同时还把呈现视点朝向特别可以对应于输入图像的视点的标称视点进行偏置。因此，所述***可以允许连续地适配于并且跟踪观看者的视点，并且同时引入呈现视点回到标称视点的缓慢偏置。因此当用户移动其头部时，所展现的图像跟随该移动以便提供运动视差效果和自然的3D体验。但是引入偏置从而使得呈现视点缓慢地反转到标称视点。因此实际的呈现视点是观看者视点的改变与朝向标称视点的缓慢偏置的组合。

此外，与所检测到的镜头转换同步地施行视点偏置。因此，取代引入呈现视点的与观看者无关的连续移动，与镜头转换同步地施行呈现视点的与观看者无关的改变。这样就提供了去向标称视点的可感知度低很多的偏置和移动。其特别可以避免或者缓解把呈现视点的缓慢连续改变感知为场景的缓慢摇动/旋转的情况。这样的与用户移动无关的摇动/呈现通常会被感知为是不合期望的，并且甚至可能引发例如运动眩晕之类的后果。

在所述***中，对于呈现视点的偏置因此是与观看者无关的运动分量，其与镜头转换同步地引入呈现视点的改变。具体来说，可以在每当镜头转换发生时对呈现视点引入步进改变。由于镜头转换通常与场景改变相关联或者至少与对应于相同场景的一个显著不同的视点相关联，因此这些步进改变通常不会被用户感知到。在该例中，可以镜头转换之间的镜头间隔期间可以不施加对于呈现视点的偏置，也就是说在镜头转换之间不对呈现视点引入与观看者无关的改变。

与此同时，可以跟踪由于观看者视点的改变而导致的呈现视点的改变。此外，可以连续地施行这一跟踪并且不同步到镜头转换。因此在（镜头转换之间的）镜头期间，呈现视点连续地改变以跟随观看者头部的移动，从而提供例如具有较强运动视差效果的自然用户体验。

所述方法从而允许呈现视点的不同改变之间的区分。具体来说，其允许与观看者有关的改变被用户清楚地感知到，同时允许大大降低与观看者无关的改变对于用户的显著程度。所述方法可以允许提供自然的3D效果以匹配头部移动，同时允许大大提高平均感知图像质量。

可以通过考虑一个具体场景以及如何在显示器上呈现该场景来阐明前面所描述的问题和原理。图2示出了将在显示器上展现的场景200。所述场景包括汽车、树木和房屋，并且透过在理想情况下充当一个窗口的显示器看到所述场景，其中透过该窗口观看所述场景。在该例中，所述显示器是单视显示器。

图3从靠近所述窗口的位置301和更加远离所述窗口的位置302示出了所述场景的中心视图。因此图3示出了将从中心视点展现在显示器上的内容。

图4示出了四个不同的视点以及所述场景的相应的正确的透视图401、402、403、404。图5示出了在施行了正确的透视调节（即视点调节/运动视差）的情况下将在显示器上展现的图像501、502、503、504。在图1的***中，该调节由视点控制器113施行，其调节呈现视点以跟踪用户移动。

图6示出了对于不包括任何透视调节的传统显示器将由观看者从不同视点看到的视图601、602、603、604。

图7和8示出了关于图1的***如何可以调节呈现视点以反映出观看者视点的改变的一个实例。图7示出了当观看者处在对应于标称位置（其通常对应于中心创作位置）的观看位置时的中心图像700。观看者现在水平移动到其中部分地从侧面观看显示器的一个位置。图1的视点控制器113跟踪该移动并且改变所显示的图像，以便反映出如图8中的图像800所示出的移动。

可以看到，所述显示器***做出反应以便提供对应于其中透过窗口看到3D场景的情形的自然体验，也就是说显示器仿佛是场景上的一个窗口。但是对应于该新视图的所展现图像非常不同于中心视点（即标称输入视点）的图像，并且可能需要未被包括在中心视图的编码中的信息。举例来说，在图8的图像中部分地看到汽车的正面，但是在图7的图像中看不到。可能无法获得正确显示汽车的正面所需的信息，因为其未被包括在对应于中心视图的输入图像中。呈现器于是可能例如尝试利用孔洞填充技术来近似或估计争取的图像数据，但是这样通常会导致呈现伪像。作为另一个实例，改变后的视点导致房屋右侧（从正面看去，即图8的右侧）的一个较大区域在图8的视图中可见但是在图7的视图中不可见。呈现算法通常将通过外插来填充这样的区域，也就是说将会把相邻的区域延伸到新的区域中。但是如果所述场景包含该区域内的任何对象，所述对象将不会在图8的视图中被呈现，从而导致呈现伪像。

此外，对于更大的视点偏移量，处理和算法缺陷往往也会增加。

因此，图8中展现的视图的图像质量可能会降低，相应地图1的***把呈现视点朝向标称视点偏置。因此，如果观看者保持静止在相同的位置处（处于侧面），图像处理单元101将切换呈现视点，从而使其最终对应于标称视点。这一移位与镜头转换同步进行。

在图9中例示了所述方法，该图示出了在观看者保持在侧面位置时为其展现的图像。第一图像901示出了对应于图8的视图，即紧接在观看者移动之后的视图。这样就为用户提供与其移动相当的透视改变。所述图像序列于是可以包括一次或更多次镜头转换并且展现其他场景。当视频返回到所述场景时，呈现视点已发生移位，因此呈现视点不再与观看者的视点相同，而是朝向标称（或基准）中心视点被移位。这一视点移位是在镜头转换期间发生的，因此无须用户具有固定的连续视点基准。因此，其对于用户不是十分明显。可能会发生另外的场景改变，并且在每一次镜头转换时，可以发生呈现视点的较小改变，从而使得呈现视点朝向标称视点向回移动。因此，在这一处理结束时，会为观看者展现对应于中心视图的视图，尽管观看者基本上位于显示器的侧面。

通过按照前面的方式应用本发明，所显示的图像将在观看者运动期间提供运动视差，从而得到非常平滑且自然的体验。但是当观看者“永久地”选择了沙发上的某一位置时，其将很可能优选仿佛坐在对应于“原始视点”（也就是导演最初所意图的视点）的位置上那样来观看视图。此外，尽管存在一些透视失真，观看者随后还将体验到最小的呈现伪像，这是因为呈现视点与标称视点相同。反转到标称视点的进一步有利之处在于，其给出了用于提供进一步的动态运动视差的最佳起点。

后面将提供关于在不同视点处呈现图像时由图像生成器107使用的原理的更加详细的描述。

在图10中示出了投影的原理。给定被建模为针孔并且位于处（即创作或内容视点）的摄影机、对象点以及（在不损失一般性的情况下）显示器平面，从而使得是该平面的2D坐标系，则下面的透视关系式成立，并且特别应当注意到通常：

。

可以对显示器坐标系进行缩放以便例如表示像素，但是为了简单起见，我们对于全部两个坐标系保持相同的单位。对于典型的2D显示器***，假设摄影机（眼睛）处于中心，从而，其中是最佳观看距离，从而把等式（1）简化为：

。

对于立体显示器***，像差通常被定义为左（L）、右（R）图像的投影的差异，并且可以很容易基于等式（1）获得。对于L和R相等的，像差关系式简化为：

。

对于典型的立体***，两台摄影机被水平位移，从而使得存在间隔。为了真实性起见，所述间隔应当等于眼内距离（intraocular distance），其对于成年人平均是65mm，但是对于创作通常使用较小的间隔。在任何情况下，深度-像差关系式都变为：

在这里，是对象点O 的水平像差，并且没有垂直像差。像差（Δx ）与深度（z ）之间的关系是非线性的：无限大深度给出等于摄影机间隔的像差，而屏幕深度给出。对于基于图像的深度呈现，常常有益的是选择像差高于深度，这是因为像差更好地映射到呈现问题。通常被存储在深度图中的深度值常常是像差的仿射映射：

其中，A 是增益，B 是偏移量。可以通过图像生成器109把这些深度值转换回到像差值。

如果在输入信号中没有提供明确的深度图或数据，则常常可以从视频数据估计这样的信息。实际上，如果输入信号包括立体图像，则被称作深度估计器或像差估计器的算法可以被用来基于在两幅图像中检测到相应的图像对象以及确定其间的像差来估计图像对象的深度。实际上，已经提出了用于从单一二维图像估计深度的算法。

在当前的立体显示装置中，像差估计器被采用来帮助本领域内已知的基线校正。也就是生成具有与原始立体序列的基线距离不同的基线距离的新的立体序列。基线校正处理通常包括基于输入立体序列估计专用像差图，并且随后基于对应的图像和像差图来呈现新的立体对。后面的呈现步骤涉及基于所确立的像差值的水平像素位移。

在图1的***中，图像处理单元101具有关于（多位）观看者的眼睛位置的信息。因此知晓对应于所有左眼和右眼的视点。在最一般的情况中，即在等式（1）中，这样就生成了水平以及垂直像差。出现垂直像差的原因在于：

左眼和右眼不具有相同的观看距离：。眼睛并非水平且处于显示器高度：。

但是在图1的***中，没有考虑垂直方向上的视点调节。这可以特别通过以下措施来实现：

利用平均（或最小/最大/左/右）观看距离：。不考虑所测量的y 坐标：。

这样就允许我们使用相同的呈现例程但是具有时变的A和B：

。

在等式（1）的一般情况中，左眼和右眼还可以具有垂直像差。这样就不允许我们使用简单的基于扫描线的视图呈现算法。

在具有图像+深度内容的情况下，我们可能希望把（1）重写为：

。

这样就基于基准摄影机位置和像素深度提供了与像素（）相关联的世界坐标（）。在知晓实际的摄影机/眼睛位置的情况下，我们随后可以把该坐标映射回到显示器平面（因此是通过头部跟踪功能确定的观看者视点）：

。

我们可以分解对于观看距离（）和位置（）的贡献。为了仅仅获得侧面观看位置校正，我们假设，并且获得以下关系式：

。

为了仅仅获得观看距离校正，我们假设，并且获得：

。

在前面的讨论中，我们假设了摄影机视图和的可用性。在没有这一知识的情况下仍然有可能假设典型的显示器尺寸和观看距离。取决于该选择，内容可以是真实性的、变平的或者在z 方向上拉长的。类似地，深度值到像差的映射可能是未知的。在这种情况下，有可能把深度值映射到一个合适的像差范围。此外在立体内容的情况下，像差有可能仅仅是艺术性的，并且与真实世界坐标不完全相关。在所有情况下都仍然有可能给出运动视差。

为了呈现/绘制具有运动视差和视点校正的图像+深度内容，我们需要使用一种图像卷曲方法，其把（彩色）图像和一个具有2-D像差的矢量场作为输入。这样的方法可以从WO1997023097获知。

这样的方法的质量取决于图像必须被卷曲的速度有多快。像差图的方差可以是关于呈现伪像的数量的指示。

所述***跟踪每一个***用户的眼睛关于位置处的显示器面板的位置。所述***还保持每一只眼睛的呈现视点位置，其被标示为。呈现是基于呈现视点进行的。对于图像+深度内容的真实性的（但是满是伪像的）呈现，。对于没有运动视差的标准呈现，，其中是与之前一样的摄影机位置。

当用户关于显示器的移动被图1的显示器***观察到时，可以调节呈现视点位置以便跟随所检测到的观看者视点：

。

在镜头转换之间遵循这种方法，也就是说在镜头期间遵循这种方法。但是当估计到一个图像/帧集合对应于镜头转换时，则朝向标称视点调节对应于用户的呈现视点，以便减少图像质量降低。这特别可以通过将呈现视点改变成对应于标称（原始/创作/中心）视点来实现：

。

在其他实施例中，引入更加平滑的转换/偏置，从而在每一次镜头转换时采取朝向标称视点的较小步进，比如：

。

所描述的方法可以与不同类型的显示器相结合来使用。

具体来说，所述***可以与仅仅向用户展现单一图像（视图）的单视显示器一起使用。在这种情况下，尽管是向用户的双眼展现相同的图像，但是通过实施运动视差可以获得非常令人信服的3D效果。实际上，通过跟踪观看者视点并且相应地修正所呈现的视点，显示器可以展现将从实际的观看者视点看按到的视图。这样就实现了环顾对象的效果以及对应于真实3D场景而改变的透视。

在其他实施例中，所述显示器可以是向用户的双眼提供不同图像的力图图像。所述显示器例如可以是在对应于用户的眼睛的每一个视点的图像之间交替的时间顺序显示器，并且观看者佩戴同步到图像切换的快门眼镜。在这种情况下，对于同时利用立体和运动视差3D线索的***可以获得更有效并且更强的3D体验。

在这样的***中，视点控制器113可以生成对应于右眼和左眼当中的每一只眼睛的呈现视点，并且图像生成器107可以生成对应于相应视点的各幅单独的显示器图像。可替换地，视点控制器113可以生成单一呈现视点，并且图像生成器107自身可以对于两幅所呈现图像当中的每一幅将呈现视点偏移某一固定偏移量。例如呈现视点可以对应于处在用户的双眼中间的某一视点，并且图像生成器107可以对于左眼和右眼视点当中的每一个将其偏移相反的数量。

所述方法还可以用于自动立体显示器。这样的显示器当前通常生成对应于不同视点的相对较大数目的视锥。随着用户移动，其眼睛可以在不同视锥之间切换，从而自动提供运动视差和立体效果。但是由于通常从参照（多个）中心视图的输入数据生成所述多个视图，因此图像质量降低对于***视图会增大。相应地，随着用户朝向最外侧的视图移动，他将会感知到质量降低。所描述的***可以通过改变呈现视点来解决这一问题。举例来说，如果观看者对于给定持续时间处在***视图中，可以对视图进行切换从而使得***视图不展现对应于***视点的图像，而是展现对应于更靠近中心的视点的图像。实际上，如果用户已经对于足够的持续时间处在***视锥中，则所述***可以简单地切换成在***视锥中呈现来自更靠近中心的视锥的图像。在所描述的***中，这一图像/视锥切换可以与镜头转换同步，以便降低对于观看者的显著程度。

因此，当观看者相对于自动立体显示器向侧面移动时将具有自然的体验，其中所述显示器同时通过立体视觉和运动视差效果来提供3D体验。但是朝向侧面的图像质量会降低。但是如果用户保持在侧面位置，则显示器将通过在不会被用户注意到的情况下渐进地改变对应于***视锥的图像的呈现视点从而使其最终展现中心图像来自动进行适配。因此，图像质量将会自动提高，并且显示器将适配于用户的新的观看位置。

应当认识到，所述偏置在一些实施例中可以是固定的预定偏置。但是在许多实施例中，所述偏置可以是自适应性偏置，从而使得例如呈现视点朝向标称视点的改变取决于各种操作特性。

举例来说，所述偏置可以取决于呈现视点、观看者视点或标称视点，或者实际上取决于这些视点之间的关系。

具体来说，所述偏置可以取决于呈现视点与标称视点之间的差异。举例来说，呈现视点离标称视点越远，图像质量降低就越大，并且相应地对于不断增大的偏移量可以增大朝向标称视点的偏置。因此，当用户更加偏向显示器的侧面时，为了使得呈现视点对应于标称或创作视点所进行的适配就可以更快。

此外，所述偏置（的程度）可以取决于呈现视点与观看者视点之间的差异。举例来说，对于观看者围绕标称视图的较小移动和变化，可能优选的是完全不引入朝向标称视图的任何偏置，这是因为质量降低不太可能非常显著。但是如果观看者视点偏离超出给定阈值，则质量降低可能会被认为是不可接受的，并且可以引入朝向标称视点的偏置。在更加复杂的实施例中，例如可以作为观看者视点与标称视点之间的差异的连续和/或单调函数来确定偏置的程度。例如可以通过所调节的改变的大小或速度来控制偏置的程度，比如通过调节对应于在每一次镜头转换时施加的改变的步长或者在镜头转换期间施加改变的频度。

在一些实施例中，所述偏置可以取决于图像序列的内容特性。因此，可以对所述偏置进行调节以匹配所展现的具体内容/图像。

举例来说，所述偏置可以取决于所估计的镜头转换频率和/或镜头持续时间（即镜头转换之间的时间）。举例来说，如果发生许多频繁的镜头转换，则对应于每一次镜头转换的呈现视点的步进改变可以相对较小，而如果仅有少数不频繁的镜头改变发生，则对于每一次镜头转换可以把呈现视点的步进改变设置得相对较大。

在一些实施例中，可以通过在呈现流水线中引入延迟而从输入信号确定镜头转换频率或间隔。在其他实施例中，可以基于先前的特性预测未来的行为。

在一些实施例中，所述偏置可以取决于输入图像的深度特性。举例来说，如果存在具有尖锐深度转变的较大深度变化，则图像质量降低有可能相对大于其中仅有较小深度变化并且没有尖锐深度转变的图像。举例来说，有一种情况可以对应于仅包含前景的图像，并且其相应地对于不同视点将不会有很大改变（例如只有很少或者没有被遮挡区域）。在第一种情况中，可以引入相对较强的偏置以便把呈现视点快速返回标称视点，并且在后一种情况下可以实施缓慢返回标称视点。

在一些实施例中，可以基于针对呈现视点计算的质量降低指示来适配所述偏置。实际上，图像生成器107的呈现算法自身可以生成所引入的质量降低的指示。作为一个简单的实例，可以通过评估图像的多大一部分已被解除遮挡但是没有相应的遮挡数据可用来生成呈现伪像的度量，也就是说可以通过由呈现算法跟踪通过从其他图像区域进行外插或内插而为之生成图像数据的图像区域来确定所述质量指示。在图像质量降低较多的情况下，可以实施导致快速返回标称视点的较大偏置，而对于图像质量降低较少的情况，则可以实施较低程度的偏置。

应当认识到，在不同实施例中可以使用许多其他算法和参数来适配偏置。

在某些情形中，可能认为仅在镜头转换期间引入偏置是不够的。举例来说，在某些情形中，可能在很长时间内都没有任何镜头转换，从而导致图像质量降低的较长持续时间。类似地，如果仅有非常少的镜头转换发生，则可能需要对应于每一次镜头转换的步进改变相对较大，从而导致非常明显的效应。

在一些实施例中，视点控制器113可以相应地能够切换到第二操作模式，其中仍然朝向标称视点偏置呈现视点，但不是与镜头转换同步进行（或者仅仅部分地与镜头转换同步进行，也就是说至少一部分偏置改变是不同步的）。

举例来说，在没有镜头转换的情况下，所述***可以回到朝向标称视点缓慢连续偏置呈现视点。这将被用户感知为图像朝向对应于中心位置的图像的缓慢摇动。尽管当偏置与镜头转换同步时其效果可能更加明显，但是通过大大缩短用户感知到较低质量图像的时间可以提供改进的折中。

关于何时切换到第二操作模式的决定可以是基于许多不同考虑因素。实际上，参照对于偏置程度的调节所描述的参数和考虑因素同样也适用于关于何时切换到第二操作模式的决定。此外，非同步偏置的特性同样也可以被等效地调节并且是基于与同步偏置相同的考虑因素。

所述***可以实施用户干扰模型，其评估例如相对于中心标称视点的观看者视点、深度数据的特性、由呈现算法生成的质量指示等因素，并且可以确定是否引入呈现视点的非同步偏置以及可能还有这一偏置的特性。

替换地或附加地，图像处理单元101可以被设置成主动向图像流中引入镜头转换。在图11中示出了这样的实施例的一个实例。在该例中，图像处理单元101还包括耦合在接收器105与图像生成器107之间的镜头***器1101。镜头***器1101还耦合到视点控制器113。

在该例中，视点控制器113可以识别出镜头转换的数目不足以提供所期望的偏置。作为一个极端实例，可能在很长时间内都没有发生镜头转换。相应地，视点控制器113可以向镜头***器1101发送信号以控制其***镜头转换。作为一个低复杂度实例，镜头***器1101可以简单地把固定图像序列***到图像流中，从而导致中断所述长镜头。此外，视点控制器113将在镜头转换期间同步地改变呈现视点，从而朝向标称视点偏置呈现视点。

通过引入附加的“假”镜头转换可以导致侵扰性和显著程度都低得多的偏置操作。应当认识到，可以实施引入镜头转换的许多不同方式，其中例如包括***先前接收到的图像序列（例如可以检测到并重复使用全景镜头）、引入预定图像、***暗图像等等。作为另一个实例，可以通过由图像生成器107在切换回到经过偏置调节的视点之前生成相同场景的但是来自非常不同的视点的一个较短序列而引入镜头转换。这样可以确保所展现内容中的连续性，并且同时引入较不明显的偏置调节。实际上，用户将感知到摄影机在两台摄影机之间来回“移位”，并且同时仍然观看相同的时间连续场景或内容。

确切的优选项以及实际上是否希望有附加的镜头转换将取决于个别实施例和使用情形的特性。

镜头转换的引入可以特别取决于镜头持续时间特性满足一定标准，例如在自从上一次镜头转换之后的时间超出一定阈值时生成镜头转换。此外，附加镜头转换的引入可以替换地或附加地取决于呈现视点满足一定标准。举例来说，可以在只有呈现视点与标称视点的差异超出给定阈值时才引入镜头转换，也就是说可以只对于最外侧视图引入镜头转换。

在一些实施例中，镜头转换的引入可以特别取决于关于所呈现图像的质量降低指示满足一定标准。举例来说，只有当由图像生成器107的呈现算法生成的质量度量落在一定阈值以下时才引入镜头转换。

在使用自动立体显示器的一些实施例中，可以响应于检测到观看者处于其可能跨越视锥边界的情况而引入镜头转换。因此当检测到观看者观察位于或靠近视锥边缘的视图时，所述***可以触发镜头转换。这样可以降低视锥转换的可感知度或者甚至完全掩蔽视锥转换，并且在许多情形中可以降低呈现视点的偏置的显著程度。

在一些实施例中，视点控制器113被设置成相对于显示器的标称视点限制呈现视点。所述限制可以是软限制或硬限制。举例来说，呈现视点可以跟踪观看者视点，但是只到观看者视点与标称视点的差异超出给定阈值为止。因此，随着观看者向侧面移动，所展现的图像可以相应地适配直到用户移动超出给定距离为止，其后图像将不会跟随观看者。具体来说，观看者只能在一定程度上环顾某一对象。这样可以确保图像质量降低不会超出给定水平。

具体来说，运动视差可以是现实性的或者可以是非线性的，从而使得运动视差效果随着与中心位置的距离而（柔和地或突然地）减小。这一效果可以通过变换而获得：

。

在没有镜头切换的情况下，通常优选的是限制运动视差的数量以避免呈现错误，这例如是通过对呈现视点与摄影机视点之间的最大距离施加限制而实现的。这可以被实现为：

该等式对应于把呈现视点限幅在中心为并且半径为γ的球上。作为另一个实例，可以利用软限幅函数如下引入软限幅：

的一种示例性实现方式是指数映射：

其中，p 和β 是可调谐参数。

前面的描述集中于只有一位观看者的情形。但是应当认识到，所述方法也可以被用于多位观看者。举例来说，所述***可以跟踪多个用户的位置，并且对呈现视点进行适配以便展现对于多个用户的最佳折中。在其他情形中，有可能分开对应于不同用户的视图（例如对于其中各个用户处于不同视锥中的自动立体显示器或者对于展现多个特定于用户的视锥的显示器）。在这样的情形中，可以对于每一个用户单独应用所述方法。

计算机程序产品这一表示法应当被理解成涵盖一个命令总集的任何物理实现方式，其中在用以把命令输入到处理器中的一系列加载步骤之后（其中可以包括中间转换步骤，比如翻译到中间语言和最终的处理器语言），所述命令总集使得通用或专用处理器能够执行一项发明的任何特性功能。具体来说，所述计算机程序产品可以被实现为例如盘或带之类的载体上的数据、存在于存储器中的数据、通过有线或无线网络连接传送的数据或者纸上的程序代码。除了程序代码之外，对于所述程序所需的特性数据也可以被具体实现为计算机程序产品。对于所述方法的操作所需的其中一些步骤可能已经存在于处理器的功能中而不是在计算机程序产品中描述，比如数据输入和输出步骤。

应当认识到，为了清楚起见前面参照不同的功能电路、单元和处理器描述了本发明的实施例。但是应当认识到，在不背离本发明的情况下可以使用不同功能电路、单元或处理器之间的任何适当的功能分布。举例来说，被图示为由分开的处理器或控制器施行的功能可以由相同的处理器或控制器施行。因此，在涉及特定的功能单元或电路时应当仅被视为涉及用于提供所描述功能的适当装置，而不表示严格的逻辑或物理结构或组织。

本发明可以通过任何适当形式来实施，其中包括硬件、软件、固件或者其任意组合。本发明可以可选地被至少部分地实施为运行在一个或更多数据处理器和/或数字信号处理器上的计算机软件。可以通过任何适当方式在物理、功能和逻辑方面实施本发明的一个实施例的各个元件和组件。实际上，所述功能可以被实施在单一单元中、实施在多个单元中或者被实施为其他功能单元的一部分。因此，本发明可以被实施在单一单元中，或者可以在物理和功能方面分布在不同的单元、电路和处理器之间。

虽然前面结合一些实施例描述了本发明，但是其不意图被限制到这里所阐述的具体形式。相反，本发明的范围仅由所附权利要求书限制。此外，虽然看起来可能是结合特定实施例描述了某项特征，但是本领域技术人员将认识到，根据本发明可以组合所描述的实施例的各项特征。在权利要求书中，“包括”一词不排除其他元件或步骤的存在。

此外，虽然被单独列出，但是例如可以通过单一电路、单元或处理器实施多个装置、元件、电路或方法步骤。此外，虽然各项单独特征可以被包括在不同的权利要求中，但是可能可以有利地组合这些特征，并且包括在不同权利要求中并不意味着某种特征组合不是可行的和/或有利的。此外，某项特征被包括在一类权利要求中并不意味着限制到该类别，而是表明所述特征在适当情况下同样适用于其他权利要求类别。此外，权利要求中的各项特征的顺序并不意味着各项特征必须按照其来工作的任何特定顺序，特别是方法权利要求中的各个单独步骤的顺序并不意味着必须按照该顺序来施行所述步骤。相反，可以按照任何适当顺序来施行所述步骤。此外，在涉及单数时并不排除复数。因此，在提到“一”、“一个”、“第一”、“第二”等等时并不排除多个。权利要求中的附图标记仅仅是作为澄清实例而给出的，并且不应当被理解为以任何方式限制权利要求的范围。

Claims (11)

1.一种用于生成用于显示器（103）的信号的设备，所述设备包括：

用于接收视频信号的接收器（105），所述视频信号包括对应于具有标称视点的图像序列的三维数据；

用于根据所述三维数据和不同于标称视点的呈现视点生成对应于所述图像序列的显示器图像的图像生成器（107）；

用于接收对应于显示器的观看者的位置的位置指示的输入（115）；

用于响应于位置指示确定观看者视点估计的处理器（117）；

被设置成响应于观看者视点估计确定呈现视点的视点控制器（113）；

用于检测所述图像序列中的镜头转换的镜头转换检测器（111）；

用于生成信号以包括所述显示器图像的信号生成器（109）

其中，所述视点控制器（113）被设置成

关于观看者视点估计偏置呈现视点，这是通过与检测到的镜头转换同步地朝向标称视点偏移呈现视点而实现的，

呈现视点朝向标称视点的偏置量取决于以下各项的至少其中之一：

-呈现视点与标称视点之间的差异；

-观看者视点估计与标称视点之间的差异；

-所述图像序列的内容特性；

-所述图像序列的深度特性；

-镜头转换频率估计；

-镜头持续时间；以及

-对应于呈现视点的质量降低指示。

2.如权利要求1所述的设备，其中，视点控制器（113）被设置成调节呈现视点以便跟踪在检测到的镜头转换之间的观看者视点估计中的改变。

3.如权利要求1所述的设备，其中，视点控制器（113）被设置成与检测到的镜头转换同步地对呈现视点引入朝向标称视点的步进改变。

4.如权利要求1所述的设备，其中，显示器（103）是立体显示器，或者显示器（103）是单视显示器。

5.如权利要求1所述的设备，其还包括被设置成对所述图像序列引入附加的镜头转换的镜头切换生成器（1101）。

6.如权利要求5所述的设备，其中，镜头切换生成器（1101）被设置成响应于以下各项的至少其中之一引入附加的镜头转换：

-镜头持续时间特性满足标准；

-呈现视点满足标准；

-质量降低指示满足标准；以及

-对于自动立体显示器检测到观看者跨越视锥边界。

7.如权利要求1所述的设备，其中，视点控制器（113）被设置成响应于标准被满足而切换到第二操作模式，视点控制器在处于第二操作模式时被设置成把呈现视点朝向对应于显示器的标称视点偏置，这是通过在镜头转换之间朝向标称视点偏移呈现视点而实现的。

8.如权利要求1所述的设备，其中，视点控制器（113）被设置成相对于标称视点限制呈现视点。

9.一种生成用于显示器（103）的信号的方法，所述方法包括：

接收包括对应于具有标称视点的图像序列的三维数据的视频信号；

根据所述三维数据和不同于标称视点的呈现视点生成对应于所述图像序列的显示器图像；

接收对应于显示器的观看者的位置的位置指示；

响应于位置指示确定观看者视点估计；

响应于观看者视点估计确定呈现视点；

检测所述图像序列中的镜头转换；

生成信号以包括所述显示器图像；以及

关于观看者视点估计偏置呈现视点，这是通过与检测到的镜头转换同步地朝向标称视点偏移呈现视点而实现的，

呈现视点朝向标称视点的偏置量取决于以下各项的至少其中之一：

-呈现视点与标称视点之间的差异；

-观看者视点估计与标称视点之间的差异；

-所述图像序列的内容特性；

-所述图像序列的深度特性；

-镜头转换频率估计；

-镜头持续时间；以及

-对应于呈现视点的质量降低指示。

10.一种显示器，其包括：

如权利要求1-8中任一项所述的用于生成信号的设备；

显示器面板；以及

耦合到所述信号以用于驱动显示器面板以呈现显示器图像的显示器驱动器。

11.如权利要求10所述的显示器，其中所述显示器面板是立体显示器，或者所述显示器面板是单视显示器。