CN103348682B

CN103348682B - 在多视图***中提供单一视觉的方法和装置

Info

Publication number: CN103348682B
Application number: CN201080071003.4A
Authority: CN
Inventors: P·秦; 上官思楠; 杜琳
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS; International Digital Madison Patent Holding SAS
Priority date: 2010-12-29
Filing date: 2010-12-29
Publication date: 2016-10-26
Anticipated expiration: 2030-12-29
Also published as: KR20140000317A; CN103348682A; EP2659680A4; JP5833667B2; EP2659680B1; BR112013014285A2; US20130286170A1; WO2012088628A1; JP2014506053A; EP2659680A1

Abstract

本发明提供了一种在包括同一场景的至少两个视图和至少一个观看区域的多视图***中提供单一视觉的方法，其中，给每个观看区域提供两个视图，并且以这样的方式对所述至少两个视图进行布置使得所述至少两个视图中的两个相邻的视图被提供给每个观看区域，以提供立体视觉。该方法包括以下步骤：接收请求观看区域提供单一视觉的指令；以及以这样的方式重新布置所述至少两个视图使得提供给提供单一视觉的观看区域的两个视图是与所述至少两个视图中的一个相同的视图。本发明还提供了一种装置。

Description

在多视图***中提供单一视觉的方法和装置

技术领域

本发明涉及多视图，并尤其涉及在多视图***中提供单一视觉的方法和装置。

背景技术

不戴眼镜提供立体视觉（或三维，3D）对用户/观众来说是非常重要的。因此，许多3D电视机采用多视图技术使得一个或更多的人可以观看3D电影而无需戴眼镜。双凸透镜是放大透镜的阵列，其被设计使得当从稍微不同的角度观看时，放大不同的图像。许多制造商正在开发自动立体视觉高清晰度3D电视，采用双凸透镜***以避免需要特殊的眼镜。这个技术将双凸透镜屏幕置于LCD之上，所述LCD可以显示由两个以上的摄像机从不同视点拍摄的同一场景的两个或更多个图像组成的图像。由于图像被放置在双凸透镜的焦平面上，仅在固定的角度折射不同的视图。3D电视机的双凸透镜将场景的左透视图折射到人的左眼，并将同一场景的右透视图折射到人的右眼，以使得使该人可以有立体的视觉。

图1示出根据现有技术的双视图的双凸透镜阵列显示器。在图中，L和R表示左和右眼的图像的相应列。其工作原理是，使用双凸透镜屏幕（或棱镜屏（prism mask））后的两列像素（一个用于左眼图像并且一个用于右眼图像）同时呈现两个立体半图像。双凸透镜屏幕将左图像和右图像导向相应的观察者眼中。

在多视图立体视觉显示器中，如在上述的双视图显示器中一样，将双凸透镜屏幕放置在LCD之上。但是，在这种情况下，如描绘根据现有技术的多视图双凸透镜阵列显示器的图2所示，LCD位于透镜的焦平面上。LCD描绘了由同一场景的多个透视图组成的图像。因为图像被放置在双凸透镜阵列的焦平面上，仅在固定的角度折射不同的视图。因此，观察者的左眼将位于可以看到一个透视图的区域，而另一只眼睛位于可以看到相邻的透视图的区域。因此，出现立体效果。在图2所示的例子中，三列像素贡献于三个观看区域。观看区域的数量可以通过添加更多的透视图来增加。

图3示出根据现有技术的4视图的立体显示器。在这个例子中，一个图像包含4个透视图。这里，它们被标记为1，2，3和4。如图3所示，菱形区域可以接收一个或多个视图。例如，标记为2的菱形区域可以接收视图2，标记为43的区域可以接收视图3和视图4。只有接收单一视图的区域适合观看，即视图1，视图2，视图3视图4。当观察着驻留在这些区域时，将一个视图导向他的左眼且另一个视图导向他的右眼，则因此出现立体效果。如果观察者希望看到单一视觉，他必须驻留在如图3所示的不舒服的区域。

因此，期望一种允许不同的观众在同一时间使用这些种类的3D电视机的方法。例如，观众可以坐在舒服的位置看到单一视觉，而其他人也可以坐在舒适的位置看到立体视觉。

发明内容

根据本发明的一个方面，提供了一种在包括同一场景的至少两个视图和至少一个观看区域的多视图***中提供单一视觉的方法，其中，给每个观看区域提供两个视图，并且以这样的方式对所述至少两个视图进行布置使得所述至少两个视图中的两个相邻的视图被提供给每个观看区域，以提供立体视觉。该方法包括以下步骤：接收请求观看区域提供单一视觉的指令；以及以这样一种方式重新布置所述至少两个视图使得提供给提供单一视觉的观看区域的两个视图是与所述至少两个视图中的一个相同的视图。

根据本发明的另一个方面，提供了一种装置，用于在包括同一场景的至少两个视图和至少一个观看区域的多视图***中提供单一视觉，其中，给每个观看区域提供两个视图，并且对所述至少两个视图进行布置使得所述至少两个视图中的两个相邻的视图被提供给每个观看区域，以提供立体视觉。该装置包括n个输入模块1201，用于接收同一场景的至少两个视图；指令模块1202，用于接收请求为所述至少一个观看区域中的观看区域提供单一视觉的指令，并将该指令传递给像素重新布置模块1203；所述像素重新布置模块1203用于，在接收到请求为所选观看区域提供单一视觉的指令时，以这样一种方式对所述至少两个视图进行重新布置使得提供给所选观看区域的两个视图是与所述至少两个视图中的一个相同的视图。

根据本发明的方面，允许观众在最初提供立体视觉的多视图***中观看单一视觉。

应理解，将在对本发明的以下详细描述中找到本发明更多的方面和优点。

附图说明

将附图包括进来以提供对本发明进一步的理解，附图与解释本发明原理的描述一起说明了本发明的实施例。因此，本发明并不限于这些实施例。附图中：

图1是示出根据现有技术的双视图的双凸透镜阵列显示器的图；

图2是示出根据现有技术的多视图的双凸透镜阵列显示器的图；

图3是示出根据现有技术的4视图的立体显示器的图；

图4是示出根据本发明的实施例的从同一场景的4个透视图生成多视图视频的例子的图；

图5是示出根据本发明的实施例的当在多视图显示器上显示多视图视频时的观看区域的图；

图6是示出根据本发明的实施例的在观看区域将视觉从立体视觉改变为单一视觉的方法的流程图；

图7是示出根据本发明的实施例的显示器将视图2的内容复制到视图1的图；

图8是示出根据本发明的实施例的在观看区域1被指示显示单一视觉后，对视图1、2、3和4的像素重新布置的图；

图9是示出根据本发明的实施例的当显示器被指示向观看区域1显示单一视觉时，显示器将视图1的内容复制到视图2的图；

图10是示出根据本发明的实施例的用于检测观众所驻留的观看区域的***的图；

图11是示出根据本发明的实施例的如何检测观看区域的图；

图12是示出根据本发明的实施例的用于在多视图***中提供单一视觉的装置的框图。

具体实施方式

现在将结合附图详细描述本发明的实施例。在下面的描述中，为了清楚和简明，可能省略对一些已知功能和配置的详细说明。

图4是示出根据本发明的实施例的从同一场景的4个透视图生成多视图（在本例中为4个视图）视频的例子的图。如图4所示，所述4个透视图的源视频按照逐帧的方式转换为多视图视频。在得到的多视图视频的每个帧中，如图4所示，来自4个视图的像素列被交替布置。在这个例子中，使用每个分辨率为200*340的四个视图来生成分辨率为800*340的多视图视频。关于对4个视图的像素重新布置以生成多视图视频，依次选择4个视图的第一像素列构成多视图视频的前4个像素列，然后用4个视图的第二像素列构成5～8个像素列。这个过程一直持续，直到选择4个视图的最后一个像素列构成多视图视频的最后4个像素列。根据一个变型，每个视图的分辨率为800*340。为了生成多视图视频，可以使用采样方法。此外，应注意，多视图视频可以从5个或更多的视图中生成。

图5是示出根据本发明的实施例的当在多视图显示器上显示包含4个视图的多视图视频时的观看区域的图。在该图中，1表示像素列来自视图1，对2、3和4同理。在这个例子中，有3个观众/观察者，即观众1、观众2和观众3。每个观众的每只眼睛看一个视图，可以看到两个相邻的视图，这样他就可以有立体视觉。例如，观众1可以看到视图1和视图2，以及观众2可以看到视图2和视图3。

图6是描述根据本发明的实施例的在观看区域将视觉从立体视觉（或称为3D）改变为单一视觉（或称为2D）的方法的流程图。假设，如图5中所示，观众坐在观看区域1。所以，他可以看到可呈现立体视觉的两个相邻的视图，即视图1和视图2。

在步骤601，显示器接收请求将观看区域，例如图5所示的观看区域1的视觉从立体视觉改变为单一视觉的指令。可以通过按下遥控器上的按钮来触发该指令。

在步骤602，显示器将对应于所述观看区域的所述两个相邻视图中一个视图的内容复制到另一视图中。在这个例子中，视图1和视图2对应于观看区域1。因此显示器可以复制视图1的内容至视图2，或复制视图2的内容至视图1。图7是示出根据本发明的实施例的显示器复制视图2的内容至视图1的图。从图中可以看出，将视图2的内容复制到视图1可通过将视图2的像素列复制到它们在视图1的相邻像素列来实现。图8是示出根据本发明的实施例的在观看区域1被指示显示单一视觉后对视图1、2、3和4的像素重新布置的图。

如果单独的观众观看，图6所示的方法运作良好。但如果多个观众观看，它可能会对其他观众造成不舒服的观看体验。图9示出当显示器被指示向观看区域1显示单一视觉时显示器将视图1的内容复制到视图2。连同图5可以看出，观看区域1仅对应于视图1，即坐在观看区域1的观众的两只眼睛都看视图1的内容。但它会对坐在观看区域2的观众造成重影，因为该观众看到视图1和视图3，而它们是不相邻的视图。当用户看到两个不相邻的视图时，在视觉效果上会有不同的深度信息、变形和其他问题。因此，为了当某个观众想改变他所驻留的观看区域为单一视觉时不对其他观众造成重影，像素重新布置规则包含1）在对应于所述单一视觉的观看区域的显示器上布置的两个视图在内容方面应该是相同，以及2）在对应于立体视觉的任何其他观看区域的显示器上布置的两个视图应该是同一场景的所有视图中两个相邻的视图。在下面示出可以满足该像素重新布置规则的伪代码的例子。但是，应注意，这种伪代码仅仅是一个例子，而不应被用于限制本发明。

假设一共有N个视图，观众坐在观看区域M，并且所述观看区域M对应于视图m和视图m+1。将观看区域M的视觉从立体视觉改变为单一视觉而不影响其他观众的观看体验的伪代码如下：

If(m==1)

Clone(1,2);//将视图[2]的像素复制到视图[1]。

Else if(m==N-1)

Clone(N,N-1);//将视图[N-1]的像素复制到视图[N]。

Else if(m<=N/2)

For(i=1,i<=m,i++)

Clone(i,i+1);//将视图[i+1]的像素复制到视图[i]。

Else if(m>N/2)

For(i=N-1,i>=m;i--)

Clone(i+1,i);//将视图[i]的像素复制到视图[i+1]。

根据本实施例，由显示器执行将观看区域的视觉从立体视觉改变为单一视觉的像素重新布置。根据一个变型，执行像素重新布置的处理模块可以位于除显示器以外的独立的设备中。

根据一个变型，单一视觉的观看区域可以随观众在立体显示器前移动而改变。例如，基于摄像机的模式识别或基于IR（红外线）的渡越时间（TOF）的技术可用于检测观众所在的观看区域。相应地，观众所驻留的当前观看区域被从立体视觉改变为单一视觉，观众曾经驻留的以前的观看区域被从单一视觉改变为立体视觉。关于基于IR的TOF，其基本原理包括发送信号，并测量从目标返回的信号的性质。通过将渡越时间和信号在应用介质中的速度相乘获得距离。TOF技术的另一种改进是测量编码的红外波相移以计算目标和光源之间的距离。

图10是示出根据本发明的实施例的用于检测观众所驻留的观看区域的***的图。

当观众打开立体电视（在默认模式下显示为立体视频），头部跟踪***处于睡眠状态以省电。当观众按下遥控器上的按钮指示更改为单一视觉后，电视唤醒头部跟踪***以检测观众驻留在哪个观看区域或在向哪个观看区域移动。在电视接收到观看区域信息后，它将通过使用上述方法相应地执行像素重新布置。此外，如果观众不移动，则头部跟踪***将变成睡眠模式省电。

对于所述头部跟踪***，我们可以使用一些现有技术，诸如深度传感器和基于知识的识别，来检测观众相对于立体电视的位置信息。例如，微软在Kinect***中采用PRIMESENSE深度传感器（它使用光编码技术）。深度传感器可以产生能够直接提供几何信息的良好的深度图像，因此它能轻易地将背景作为基板（to substrate the background）。但该***将不感应人脸的纹理以及头部的方向。基于知识的识别技术具有鲁棒性并且能够快速恢复，因为它依赖于在训练集中找到良好的匹配，而不是在参数空间中进行局部搜索。使用这些现有的技术，头部跟踪***可以得到头的位置。下面介绍检测观众所驻留的观看区域的方法。

图11是示出根据本实施例的如何通过使用头部跟踪***检测观众所驻留的观看区域的图。假设最佳距离为Z（双凸透镜多视图***具有最佳观看范围，在该范围内，用户可以看到完美的立体视频，最佳距离是最佳观看范围和电视机之间的距离）；指示要看单一视觉的观众驻留在Zone_M，他将在水平方向移动X到Zone_M+N。以下伪代码可以用于确定观众驻留在哪个观看区域。

***初始化区域范围；//多视图***建立后，每个区域的范围被固定为6.5厘米（人类眼睛之间的正常距离是6.5厘米，所以每一个区域的范围不应大于6.5厘米，否则用户不能看到立体视频）

检测观众的位置；

如果(Z==最佳距离)开始检测观众在哪个观看区域；

m=X/6.5;//观众在水平方向移动X观众从Zone_M移动到Zone_M+m;

结束

在这里，因为***知道观众曾驻留在Zone_M并且观众移动了（m=X/6.5）个区域，该***可以计算出观众所驻留的当前的观看区域，即Zone_M+N。相应地，显示器基于当前观看区域进行像素重新布置。

图12是示出根据本发明的实施例的用于在多视图***中提供单一视觉的装置的框图。它通过根据接收到的指令为一个或多个观看区域进行像素重新布置实现。例如，当该装置接收到如图5所示请求观看区域1的单一视觉的指令时，该装置将执行像素重新布置使得折射到观看区域1的两个视图显示相同的视图，即它们可以都显示视图1，或都显示视图2。应注意，该装置可以被集成在其它设备，例如立体电视中。具体而言，该装置包括：输入模块1201，指令模块1202，像素重新布置模块1203和输出模块1204。输入模块1201用于接收对应于同一场景的多个视图。应注意，所述多个视图可以是以独立的数据流的形式，或以与图4示出的相同方式的由多个视图组成的图像的形式。指令模块1202用于接收请求向观看区域提供单一视觉的指令，并将该指令传递到像素重新布置模块1203。像素重新布置模块1203用于基于所接收到的多个视图和所接收到的指令，执行像素重新布置以从所述多个视图中以使得被折射到单一视觉的观看区域的两个视图是所述多个视图中相同的视图（即两个视图包含相同的内容）并且使得被折射到任何其它立体视觉的观看区域的两个视图是所述多个视图中的两个相邻的视图的这样的方式生成图像。输出模块1204用于输出所生成的图像。根据一个变型，该装置包括检测模块（在图中未示出），用于检测想要单一视觉的观众驻留在哪个观看区域，以及向指令模块1202发送请求当前观看区域显示单一视觉和之前的观看区域显示立体视觉的指令。

已经描述了一些实现方式。然而，应理解，可以做出各种修改。例如，不同实现方式的元件可以被组合、补充、修改或删除，以产生其他实现方式。此外，一个普通技术人员将理解，其他的结构和处理可以替换已公开的那些，并且所产生的实现方式将以至少实质上相同的方式执行至少实质上相同的功能，来实现与所公开的实现方式至少实质上相同的结果。因此，这些和其他的实现方式应落入本发明的范围。

Claims

1.一种用于在包括同一场景的至少三个视图和至少两个观看区域的多视图***中提供单一视觉的方法，其中，给每个观看区域提供两个视图，并且以这样的方式对所述至少三个视图进行布置使得所述至少三个视图中的两个相邻的视图被提供给每个观看区域，以提供立体视觉，其特征在于，该方法包括以下步骤：

从同一场景的至少三个视图生成用于至少两个观看区域的图像，其中至少三个视图的像素列被交替布置；

接收请求观看区域提供单一视觉的指令；以及

以这样一种方式重新布置所述至少三个视图的布置使得提供给提供单一视觉的观看区域的图像中的像素列来自所述至少三个视图中的相同的视图，并且提供给其他的至少一个观看区域的图像中的像素列是所述至少三个视图中的两个相邻视图。

2.如权利要求1的方法，其特征在于还包括

随着观众移动，检测选择单一视觉的观众所在的当前观看区域；以及

以这样一种方式重新布置所述至少三个视图使得提供给当前观看区域的图像中的像素列来自所述至少三个视图中的相同的视图。

3.如权利要求2的方法，其特征在于，提供给之前的观看区域的图像中的像素列被改变为所述至少三个视图中的两个相邻视图。

4.一种装置，用于在包括同一场景的至少三个视图和至少两个观看区域的多视图***中提供单一视觉，其中，给每个观看区域提供两个视图，并且对所述至少三个视图进行布置使得所述至少三个视图中的两个相邻的视图被提供给每个观看区域，以提供立体视觉，其特征在于，包括

输入模块(1201)，用于接收同一场景的至少三个视图；

指令模块(1202)，用于接收请求为所述至少两个观看区域中的观看区域提供单一视觉的指令，并将该指令传递给像素重新布置模块(1203)；以及

所述像素重新布置模块(1203)用于，从同一场景的至少三个视图生成用于至少两个观看区域的图像，其中至少三个视图的像素列被交替布置，并且在接收到请求为所选观看区域提供单一视觉的指令时，以这样一种方式对所述至少三个视图的布置进行重新布置使得提供给所选观看区域的图像中的像素列来自所述至少三个视图中的相同的视图，并且提供给其他的至少一个观看区域的图像中的像素列是所述至少三个视图中的两个相邻视图。

5.如权利要求4的装置，其特征在于，还包括

检测模块，用于随着观众从之前的观看区域移动，检测选择单一视觉的观众所在的当前观看区域，以及向指令模块(1202)发送请求为当前观看区域提供单一视觉的指令；其中，

所述像素重新布置模块(1203)进一步用于使得提供给当前观看区域的图像中的像素列来自所述至少三个视图中的相同的视图。

6.如权利要求5的装置，其特征在于，提供给之前的观看区域的图像中的像素列被改变为所述至少三个视图中的两个相邻视图。