CN103096014A - 一种视频呈现方法和*** - Google Patents

一种视频呈现方法和*** Download PDF

Info

Publication number
CN103096014A
CN103096014A CN201110334678XA CN201110334678A CN103096014A CN 103096014 A CN103096014 A CN 103096014A CN 201110334678X A CN201110334678X A CN 201110334678XA CN 201110334678 A CN201110334678 A CN 201110334678A CN 103096014 A CN103096014 A CN 103096014A
Authority
CN
China
Prior art keywords
video
information
dimensional
far
dimensional video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201110334678XA
Other languages
English (en)
Other versions
CN103096014B (zh
Inventor
刘源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201110334678.XA priority Critical patent/CN103096014B/zh
Priority to EP12844506.1A priority patent/EP2739056A4/en
Priority to PCT/CN2012/075544 priority patent/WO2013060135A1/zh
Publication of CN103096014A publication Critical patent/CN103096014A/zh
Priority to US14/200,196 priority patent/US9392222B2/en
Application granted granted Critical
Publication of CN103096014B publication Critical patent/CN103096014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明实施例公开了一种视频呈现方法和***，该方法包括：接收来自远端的多视点三维视频信号；确定所述多视点三维视频信号中的多个视点图像流；在观看区域中按顺序交替显示所述多个视点图像流，其中，在所述观看区域中显示的多个视点图像流中两个相邻视点的距离为瞳距。采用本发明，可以实现远程三维视频呈现。

Description

一种视频呈现方法和***
技术领域
本发明涉及远程呈现技术领域，尤其涉及一种视频呈现方法和***。
背景技术
远程呈现***(Telepresence)可以创建沉浸式虚拟会议环境，该虚拟会议环境充分体现了参与者的人性化因素，并尽可能地复制参与人的真实体验，能够极大地提高最终用户的接受度，从而提高使用率，改进需求、投资回报率和用户的满意度。
远程呈现***相比传统视讯会议***具有很多优点，包括：能够提供真人大小的图像，眼神交流效果，更加流畅的运动以及远端参会者精确的肢体行为；高清的、演播室级的视频、光照和音频效果；统一的会议环境，使参与者感觉处于相同的会议地点，确保了不同会议地点体验的一致性；隐藏了摄像机等会议设备，减少对用户的影响等。
目前远程呈现***采用的二维视频技术。在一个远程呈现***的一端可以包括多个显示屏幕、声音/图像采集设备、通讯设备等。但是二维视频技术是以二维信息为载体形式，只能表现出景物的内容而忽略了物体的远近、位置等深度信息，是不完整的。
发明内容
本发明实施例所要解决的技术问题在于，提供一种视频呈现方法和***。可以实现三维视频的远程呈现***，提高远程呈现***的仿真度。
为此，本发明实施例提供了一种视频呈现方法，包括：
接收来自远端的多视点三维视频信号；
确定所述多视点三维视频信号中的多个视点图像流；
在观看区域中按顺序交替显示所述多个视点图像流，其中，在所述观看区域中显示的多个视点图像流中两个相邻视点的距离为瞳距。
以及，一种视频呈现***，包括：
接收模块，用于接收来自远端的多视点三维视频信号；
确定模块，用于确定所述多视点三维视频信号中的多个视点图像流；
显示模块，在观看区域中按顺序交替显示所述多个视点图像流，其中，在所述观看区域中显示的多个视点图像流中两个相邻视点的距离为瞳距。
在本发明实施例的视频呈现***中采用的是三维视频技术，并根据三维视频信号的特点选择了适应于远程呈现***的多视点三维视频信号，根据观看区域进行三维视频信号的显示，保证了使用***的观看者可以有效的观看到具有三维效果的视频，极具实用性的实现了远程三维视频呈现***。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中的视频呈现方法的一个具体流程示意图；
图2是本发明实施例中进行视频能力协商的一个具体流程示意图；
图3是本发明实施例中进行视频能力协商的另一个具体流程示意图；
图4是本发明实施例中的视频呈现***的一个具体流程示意图；
图5是本发明实施例中的协商模块的一个具体流程示意图；
图6是本发明实施例中的协商模块的另一个具体流程示意图；
图7是本发明实施例中的远程呈现***布局1的一个具体组成示意图；
图8是本发明实施例中的远程呈现***布局1的另一个具体组成示意图；
图9是本发明实施例中的远程呈现***布局2的一个具体组成示意图；
图10是本发明实施例中的远程呈现***布局3(部分)的一个具体组成示意图；
图11是本发明实施例中的远程呈现***布局3(另一部分)的一个具体组成示意图；
图12是本发明实施例中的远程呈现***布局4的一个具体组成示意图；
图13是本发明实施例中的远程呈现***布局5的一个具体组成示意图；
图14是本发明实施例中的远程呈现***布局6的一个具体组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中采用的多视点裸眼三维(Three Dimensions，3D)技术。多视点裸眼3D显示，是一种比较理想的3D呈现方式，用户可以在一个较大范围内的多个观看位置上观看到3D图像，每个位置的3D图像视角都不同。但由于多视点裸眼显示器的观看效果和观看者的观看距离及观看视角范围有很大关系，因此需要针对远程呈现的场景对多视点裸眼3D显示器的显示效果进行优化才能获得最佳的3D视频体验。
本发明实施例中的多视点裸眼3D技术主要包括基于视差挡板(Parallax Barriers)的技术、基于柱镜光栅(Lenticular Lenslets)的技术、菲涅尔透镜(Fresnel Lens)+时分复用(Time-Multiplexed)的技术。
如，基于视差挡板的多视点裸眼3D技术是在液晶屏的前方或者后方放置一块栅栏式的挡板，由于挡板的遮挡作用，观察者的左眼或右眼通过挡板上的一条狭缝只能看到显示屏上的奇偶列中的某一列像素，而不能同时看到所有列像素，这样分别由奇偶像素列组成的两幅图像就成了具有水平视差的3D图像对，通过大脑的视觉作用，最终合成为具有深度感的3D图像。
基于柱镜光栅的多视点裸眼3D技术原理与基于视差挡板的技术类似，其利用柱透镜单元的折射原理，引导光线进入特定的观察区，产生对应左右眼的立体图像对，并最终在大脑的融合下产生立体视觉。由于柱镜光栅是透射式的。因此利用这种技术生产的自由立体显示器的最大优点是不遮挡显示画面，不影响显示亮度，立体显示效果比较好。为了解决2D/3D显示切换问题，可以在柱透镜阵列中注入液晶模块调节光栅板参数的技术。在2D模式下，可以通过施加适当电压使液晶和透镜的折射率一致，通过透镜层的光线不会发生折射作用；在3D显示模式下，不施加电压，使得液晶和透镜具有不同的折射率，光线在通过透镜层时就会发生折射作用，从而能够进行3D显示。
菲涅尔透镜+时分复用的技术是通过提高时域帧率的方式来获得多视点3D图像。该方案由一个高速的CRT显示器，投影镜头，液晶快门以及菲涅尔镜等部分构成，高速CRT和光学***使在每一个时刻有一个2D图像在多视点观察区域的一个部分成像，当多个视点的图像成像足够快时，观察者就像能同时看到多个图像一样。例如每个视点的成像需要60Hz，一共有8个视点，则CRT最低需要有480Hz才能使观察者看到8个视点的无闪烁图像。
在了解了上述多视点裸眼3D显示技术的原理后，可以更容易的理解本发明实施例中的视频呈现方法的原理：根据观看区域的特点来获得多个视点图像流，当将图像流在观看区域显示时，当人的左眼接收一个视点图像流、右眼接收相邻的另一个视点图像流(反之亦然)时，则可以形成3D视觉效果。
如图1所示，为本发明实施例中的视频呈现方法的一个具体流程示意图，该方法包括下述步骤。
101、接收来自远端的多视点三维视频信号。若应用该方法的***中包括多个3D摄像设备和多个3D显示设备，则此处接收的信号则可为来自远端的多个多视点三维视频信号，根据这些信号可呈现出不同的3D视频内容。
102、确定所述多视点三维视频信号中的多个视点图像流。由于多视点3D技术中，观看效果与3D显示器的屏幕的宽度，观看范围的宽度，视点数量以及最优的观看距离决定，则在设置显示器显示3D视频时，可以先获得观看区域信息，再根据所述观看区域信息确定所述多视点三维视频信号中的多个视点图像流。
103、在观看区域中按顺序交替显示所述多个视点图像流，其中，在所述观看区域中显示的多个视点图像流中两个相邻视点的距离为瞳距。
在上述实施例中还可以进一步包括一协商过程，即包括步骤100、与远端进行三维视频能力协商，确定三维视频能力信息或和三维视频流信息，以便根据确定的三维视频能力信息或和三维视频流信息接收来自远端的多视点三维视频信号。
在具体协商过程时可以两种不同的方式，如，接收远端发送的三维视频能力信息；根据所述三维视频能力信息进行三维视频能力适配，获得本地支持的三维视频能力信息。或，构造三维视频能力信息；将所述三维视频能力信息发送至远端，以便远端进行三维视频能力适配后根据所述三维视频能力信息发送三维视频信号。如图2和图3所示，分别为两种方式下进行协商的具体过程。
如图2所示，本实施例中的协商过程包括如下步骤。
201、发送方首先根据自己的3D视频能力(或简称3D能力)构造3D视频能力信息参数。如，3D视频能力信息参数可包括3D视频采集端参数和3D视频显示端参数。所述3D视频显示端参数包括3D视频显示设备数量、3D视频显示设备类型、视点数、理想观看距离以及最大显示视差中的一个或多个。所述3D视频采集端参数包括3D视频采集设备数量、3D视频采集设备类型、3D视频采集设备空间位置关系中的一个或多个。需要注意的是3D摄像机可以是远程呈现中实际存在的摄像机，也可以是并不真实存在的虚拟摄像机，例如可以是由计算机渲染得到的3D视频的虚拟视点摄像机。
3D视频能力信息可以通过多种格式进行描述，例如采用ASN.1抽象语法标记(Abstract Syntax Notation One)进行描述，或者采用可扩展标记语言(Extensible Markup Language，XML)语言进行描述，或是采用简单的文本格式进行描述。
202、发送方通过信令消息向接收方发送3D视频能力信息参数。
203、接收方接收3D视频能力信息参数。
204、接收方在收到3D视频能力信息参数后根据自己的3D视频能力进行适配，例如根据自己的3D视频渲染能力决定是否接收视频流及接收哪几个视频流，或是决定如何渲染3D视频流。并向发送方进行确定。
205、在3D视频能力适配后，发送方发送3D视频流。
206、接收方根据前述适配的情况接收发送端发过来的3D视频流。
207、接收方对3D视频流进行解码并渲染显示。
如图3所示，该协商模式包括如下步骤。
301、接收方首先根据自己的3D能力构造信息参数。如，将上述描述的接收方的3D视频采集端参数和3D视频显示端参数，通过采用ASN.1抽象语法标记进行描述，或者采用XML进行描述，或是采用简单的文本格式进行描述。例如，在本发明实施例中可以采用简单的多个属性的集合对摄像机采集的3D能力信息进行描述，多个属性之间通过空格区分。形成如下述表1～表5的3D能力信息。
例如，在本发明实施例中可以采用如下简单的多个属性的集合对摄像机采集的3D能力信息进行描述，多个属性之间通过空格区分，如表1所示。
表1：
Figure BDA0000103448650000061
视频显示端(或称渲染端)的3D能力信息可以采用如表2所显示的方式描述。
表2：
Figure BDA0000103448650000062
以下进一步描述本发明的另一实施例中的3D视频能力信息，在本例中，采用了两个2D摄像机C0(左摄像机)和C1(右摄像机)构成双目立体摄像机进行3D视频采集，以及使用24寸单视点自动立体显示器进行视频回放，显示器的位置在中间，最佳观看距离为1.5m，可视范围30cm，最大视差30像素。则本例中的3D视频能力信息如表3的形式描述。
表3：
在本发明的另一实施例中，采用一个2D摄像机和深度摄像机的方式进行3D视频采集，并且通过24寸单视点自动立体显示器进行视频回放。摄像机和显示器的位置关系都通过旋转矩阵和平移向量描述，则本例中的3D视频能力信息如表4所述。
表4：
Figure BDA0000103448650000072
在本发明的另一实施例中，采用了8个摄像机(位置分别为P0～P7)构成了摄像机阵列进行3D视频的采集，并且采用3台8个视点的50寸多视点显示器(位置为左、中、右)进行呈现。最佳观看距离2.5m，视角范围1m，最大视差50像素。则其3D视频能力如表5所示。
表5：
Figure BDA0000103448650000073
Figure BDA0000103448650000081
302、接收方通过信令消息向发送方发送3D能力信息参数。
303、发送方接收3D能力信息参数。
304、发送方通过接收到的3D能力信息参数得知接收方的3D能力(例如支持的3D视频流数量和编码方式等)，与本地的3D能力进行3D能力适配，然后向接收方进行确认。如，将发送方的采集端3D能力与本地的显示端3D能力进行适配，将发送方的显示端3D能力与本地的采集端3D能力进行适配。
305、发送方根据适配的情况进行视频的编码和发送。
306、接收方接收发送端发过来的3D视频流。
307、接收方对3D视频流进行解码并渲染显示。
在上述协商过程，在交互3D视频能力信息参数时，还可以包括对3D视频流特性的描述，如，是否是3D视频流，3D视频流的数据内容(例如是2D视频数据还是深度/视差数据)，3D视频流的编码方式(例如是采用空域打包方式编码还是可分级分辨率增强帧兼容立体方式编码等)，3D视频流的其它一些参数(包括分辨率，帧率，所需带宽等等)，以及建立视频流和3D能力信息中描述的采集端摄像机的对应关系，视频流和呈现的显示设备的对应关系等等。
本发明的某一实施例中，由左右2个演示视频流组成的3D视频，其中V0和V1均为2D视频流，分别对应摄像机C0和C1，通过一个组合set1构成一个立体视频流，在显示器D0上进行呈现。V0和V1采用H.264/AVC进行编码，分辨率为1920×1080，帧率为60帧，占用带宽为4M。则本例中的3D视频流信息描述如表6所示。
表6：
Figure BDA0000103448650000082
本发明的某一实施例中，由左右两个对象摄像机C0和C1的2D视频合成的1路3D视频流V0，在显示器D0上进行呈现。采用Side-By-Side的空域打包方式进行编码，格式为H.264/AVC。分辨率为1920×1080，帧率为60帧，占用带宽为4M。则本例中的3D视频流信息描述如表7所示。
表7：
  V0 object stereo(C0，C1)D0 side-by-side AVC 1920，1080 60 4
本发明的某一实施例中，3个对象摄像机C0、C1和C2的2D视频组成的1路3D视频流V0，，在显示器D0上进行呈现。采用MVC方式进行编码。分辨率为1920×1080，帧率为30帧，占用带宽为8M。则本例中的3D视频流信息描述如表8所示。
表8：
  V0 object multiview(C0，C1，C2)D0 MVC 1920，1080 30 8
在通过上述两个实施例描述的方式进行能力协商后的结果可能有多种，根据适配的情况双方可以采取多种方式进行后续的编解码过程，简要描述如下。
1、最简单的情况是双方为同构的远程呈现***，远端可以按照本端的方式对3D视频流进行解码和呈现。
2、接收端为只支持2D视频的远程呈现***，无法呈现3D视频，或者不支持本端的3D视频编码方式，因此只能解码3D视频流中的2D视频数据并进行2D呈现。
则在适配后双方可以采用下述几种方式进行编解码：对于多视频流方式的3D视频数据，可以只解码其中的一个2D视频流，不解码其它的视频流；对于采用空域打包方式的3D视频数据，可以解码后采用其中的一个2D视频图像进行呈现；对于采用可分级分辨率增强帧兼容立体方式的3D视频数据，可以采用只解码基本层的2D视频数据，而不解码增强层数据的方式。
3、接收端的远程呈现***也可以支持3D视频，但支持的呈现方式和本端不同。这时接收端的***需要根据本地的呈现方式对3D视频方式进行渲染。例如按照本地显示设备的3D显示方式和最大视差呈现能力，根据解码得到的2D视频数据和视差/深度图重新生成左右视点的图像。
对于多点会议的情况，需要有MCU来进行2D/3D视频编码的转换。对于不支持3D视频的终端，可以由MCU进行3D到2D的视频转码。对于不同的3D视频编码格式，也可以由MCU进行转码以适配支持不同3D视频编解码格式的的远程呈现***。例如发送端可以发送空域打包方式的3D视频数据，而接收端只能接收可分级分辨率增强帧兼容立体方式的3D视频数据，则由MCU进行两种编码格式的转换。
相应的，如图4所示，本发明实施例还提供了一种视频呈现***，该***包括如下模块：接收模块1，用于接收来自远端的多视点三维视频信号；确定模块2，用于确定所述多视点三维视频信号中的多个视点图像流；显示模块3，在观看区域中按顺序交替显示所述多个视点图像流，其中，在所述观看区域中显示的多个视点图像流中两个相邻视点的距离为瞳距。
其中，所述接收模块1还用于接收来自远端的多个多视点三维视频信号；所述***包括多个显示模块3分别显示根据所述多个多视点三维视频信号确定的多个视点图像流。
同时，该***还可可包括：获取模块4，用于获得观看区域信息；则所述确定模块2还用于根据所述观看区域信息确定所述多视点三维视频信号中的多个视点图像流。
***还可包括：协商模块5，用于与远端进行三维视频能力协商，确定三维视频能力信息或和三维视频流信息，以便所述接收模块根据确定的三维视频能力信息或和三维视频流信息接收来自远端的多视点三维视频信号。
所述三维视频能力信息或和三维视频流信息包括三维视频采集端参数和三维视频显示端参数。
其中，所述三维视频显示端参数包括三维视频显示设备数量、三维视频显示设备类型、视点数、理想观看距离以及最大显示视差中的一个或多个；所述三维视频采集端参数包括三维视频采集设备数量、三维视频采集设备类型、三维视频采集设备空间位置关系中的一个或多个。
如图5所示，协商模块5可包括：接收子模块50，用于接收远端发送的三维视频能力信息或和三维视频流信息；适配子模块52，用于根据所述三维视频能力信息或和三维视频流信息进行三维视频能力适配，获得本地支持的三维视频能力信息或和三维视频流信息。
或，如图6所示，协商模块5可包括：构造子模块51，用于构造三维视频能力信息或和三维视频流信息；发送子模块53，用于将所述三维视频能力信息或和三维视频流信息发送至远端，以便远端进行三维视频能力适配后根据所述三维视频能力信息或和三维视频流信息发送三维视频信号。，
其中，上述***实施例中各名词的解释如前述方法实施例中一致，此处不做一一赘述。
以下以几个不同的***布局进一步说明上述的根据观看位置进行多视点3D显示的情况。
如图7所示，在本实施例的布局中中间的显示器2为多视点裸眼3D显示器(可以进行2D/3D显示切换)，旁边的显示器1和3为普通的2D显示器。显示器2的观看视角范围A1(图中的阴影区域)正好覆盖中间的两个座位16和17，最优观看距离为显示屏幕表面到座位16和17的垂直距离。根据前面所述的多视点裸眼3D显示器的显示原理，多个视点的图像按顺序交替出现在观看区域中(图中虚线部分)，相邻两个观看视点的距离为瞳距，这样用户1002和1003的左右眼能够同时看到两个视点的图像，从而形成立体(即3D)视觉。由于观看视点范围覆盖了A1区域，在这个区域内用户都能够看到3D视频，但用户观看屏幕1和3只能看到2D视频。这种布局对多视点3D显示器的观看视角要求不高，观看视角范围只需要覆盖一个较小的区域。
在与远端***进行能力协商过程中，会通知本地的上述特征，进而获得合适的多视点3D视频流，并进行渲染。本实施例的***中，显示器2具有上述实施例中的显示模块的功能，而上述实施例中的接收模块和确定模块的功能可以集成在显示器2中(此时，要求显示2有相应的处理能力)，也可以单独有具有处理能力的处理器实现；类似的，协商模块、获取模块的功能也可以有类似的设置。以下各实施例中的***也类似，此处不做赘述。
如图8所示，显示了基于图7的布局多排实现方式，和单排方式类似(其3D成像原理和图7中的一样，为了简化图示，此处不再绘制虚线视点部分)。
如图9所示，为本发明实施例中的***布局2(其3D成像原理和图7中的布局一样，为了简化图示，此处不再绘制虚线视点部分)。在该布局中，显示器1、2、3皆为多视点裸眼3D显示器(可以进行2D/3D显示切换)。显示器2的观看视角范围A10覆盖中间两个座位16和17，显示器1的观看视角范围A20覆盖座位14和15，而显示器3的观看视角范围A30覆盖座位18和19。在这种布局下，每个座位上的人观看离自己最近的显示器都能获得理想的3D体验，中间的两个座位16和17在观看显示器1和3时通常也能获得理想的3D体验，但其它座位在观看每个显示器时可能无法都获得3D体验。可以看出，3个显示器的观看视角范围是不同的，中间的范围小，两边的范围大，因此中间的显示器和两边的显示器需要采用不同的制造工艺保证观看视角范围不同。多排方式的原理和单排类似，此处不再敷述。
如图10和图11所示，为本发明实施例中的远程呈现***中多视点3D呈现的设计布局3(其3D成像原理和布局1一样，为了简化图示，此处不再绘制虚线视点部分)。在该布局中，显示器1、2、3皆为多视点裸眼3D显示器(可以进行2D/3D显示切换)，其观看视角范围A100、A200和A300都分别覆盖了整个用户区域。在这种布局下，每个用户在观看3个屏幕时都能获得最佳的3D体验。每个显示器的观看视角都和显示器与用户座位的相对位置关系相关，因此观看视角范围有可能不同，需要采用不同的制造工艺。多排方式的原理和单排类似，此处不再敷述。
如图12所示，为本发明实施例中的远程呈现***中多视点3D呈现的设计布局4(其3D成像原理和布局1一样，为了简化图示，此处不再绘制虚线视点部分)。在该布局中，采用了侧面方式的独立的多视点3D显示器101来提供3D呈现。因此在显示器设计时，需要使观看视角范围A400覆盖整个用户座位区域。多排方式的原理和单排类似，此处不再敷述。
如图13所示，为本发明实施例中的远程呈现***中多视点3D呈现的设计布局5(其3D成像原理和布局1一样，为了简化图示，此处不再绘制虚线视点部分)。在该布局中，采用了中间显示器下方放置的独立的多视点3D显示器102来提供3D呈现。观看视角范围A500范围也必须覆盖整个用户座位区域才能获得最佳的3D体验。多排方式的原理和单排类似，此处不再敷述。
图14所示，为本发明实施例中的远程呈现***中多视点3D呈现的设计布局6(其3D成像原理和布局1一样，为了简化图示，此处不再绘制虚线视点部分)。在布局中，辅助显示器20、21和22为支持2D/3D显示的显示器。其中20的3D观看视角范围覆盖座位14、15，21的观看视角范围覆盖座位16、17，22的观看视角范围覆盖作为18，19，这样每个座位区域的用户都能看到该区域的辅助显示器的3D视频，获得最优的观看效果。多排方式的原理和单排类似，此处不再敷述。
在本发明实施例的视频呈现***中采用的是三维视频技术，并根据三维视频信号的特点选择了适应于远程呈现***的多视点三维视频信号，根据观看区域进行三维视频信号的显示，保证了使用***的观看者可以有效的观看到具有三维效果的视频，实现了远程三维视频呈现***。
同时，本发明实施例还提供了远程***中进行3D视频信息协商的具体方案，实现了具有不同3D视频能力的两端组成远程***时的有效协调。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (16)

1.一种视频呈现方法，其特征在于，所述方法包括：
接收来自远端的多视点三维视频信号；
确定所述多视点三维视频信号中的多个视点图像流；
在观看区域中按顺序交替显示所述多个视点图像流，其中，在所述观看区域中显示的多个视点图像流中两个相邻视点的距离为瞳距。
2.如权利要求1所述的方法，其特征在于，在所述确定所述多视点三维视频信号中的多个视点图像流之前还包括：
获得观看区域信息；
所述确定所述多视点三维视频信号中的多个视点图像流包括：
根据所述观看区域信息确定所述多视点三维视频信号中的多个视点图像流。
3.如权利要求1所述的方法，其特征在于，所述远端的多视点三维视频信号包括远端的多个多视点三维视频信号。
4.如权利要求1至3中所述的方法，其特征在于，在所述接收来自远端的多视点三维视频信号之前还包括：
与远端进行三维视频能力协商，确定三维视频能力信息或和三维视频流信息，以便根据确定的三维视频能力信息或和三维视频流信息接收来自远端的多视点三维视频信号。
5.如权利要求4所述的方法，其特征在于，所述与远端进行三维视频能力协商，确定三维视频能力信息或和三维视频流信息包括：
接收远端发送的三维视频能力信息或和三维视频流信息；
根据所述三维视频能力信息或和三维视频流信息对远端和本地的三维视频能力进行三维视频能力适配，获得本地支持的三维视频能力信息或和三维视频流信息。
6.如权利要求4所述的方法，其特征在于，所述与远端进行三维视频能力协商，确定三维视频能力信息或和三维视频流信息包括：
构造三维视频能力信息或和三维视频流信息；
将所述三维视频能力信息或和三维视频流信息发送至远端，以便远端进行三维视频能力适配后根据所述三维视频能力信息或和三维视频流信息发送三维视频信号。
7.如权利要求4所述的方法，其特征在于，所述三维视频能力信息包括三维视频采集端参数和三维视频显示端参数；
其中，所述三维视频显示端参数包括三维视频显示设备数量、三维视频显示设备类型、视点数、理想观看距离以及最大显示视差中的一个或多个；所述三维视频采集端参数包括三维视频采集设备数量、三维视频采集设备类型、三维视频采集设备空间位置关系中的一个或多个。
8.如权利要求4所述的方法，其特征在于，所述三维视频能力信息采用抽象语法标记ASN.1进行描述，或采用可扩展标记语言XML进行描述，或采用文本格式进行描述。
9.如权利要求4所述的方法，其特征在于，所述三维视频流信息包括是否是三维视频流、三维视频流的数据内容、三维视频流的编码方式分辨率、帧率、带宽中的一个或多个。
10.一种视频呈现***，其特征在于，所述***包括：
接收模块，用于接收来自远端的多视点三维视频信号；
确定模块，用于确定所述多视点三维视频信号中的多个视点图像流；
显示模块，在观看区域中按顺序交替显示所述多个视点图像流，其中，在所述观看区域中显示的多个视点图像流中两个相邻视点的距离为瞳距。
11.如权利要求10所述的***，其特征在于，所述***还包括：
获取模块，用于获得观看区域信息；
所述确定模块还用于根据所述观看区域信息确定所述多视点三维视频信号中的多个视点图像流。
12.如权利要求10所述的***，其特征在于，
所述接收模块还用于接收来自远端的多个多视点三维视频信号；
所述***包括多个显示模块分别显示根据所述多个多视点三维视频信号确定的多个视点图像流。
13.如权利要求10至12中所述的***，其特征在于，所述***还包括：
协商模块，用于与远端进行三维视频能力协商，确定三维视频能力信息或和三维视频流信息，以便所述接收模块根据确定的三维视频能力信息或和三维视频流信息接收来自远端的多视点三维视频信号。
14.如权利要求13所述的***，其特征在于，所述三维视频能力信息或和三维视频流信息包括三维视频采集端参数和三维视频显示端参数；
其中，所述三维视频显示端参数包括三维视频显示设备数量、三维视频显示设备类型、视点数、理想观看距离以及最大显示视差中的一个或多个；所述三维视频采集端参数包括三维视频采集设备数量、三维视频采集设备类型、三维视频采集设备空间位置关系中的一个或多个。
15.如权利要求13所述的***，其特征在于，所述协商模块包括：
接收子模块，用于接收远端发送的三维视频能力信息或和三维视频流信息；
适配子模块，用于根据所述三维视频能力信息或和三维视频流信息进行三维视频能力适配，获得本地支持的三维视频能力信息或和三维视频流信息。
16.如权利要求13所述的***，其特征在于，所述协商模块包括：
构造子模块，用于构造三维视频能力信息或和三维视频流信息；
发送子模块，用于将所述三维视频能力信息或和三维视频流信息发送至远端，以便远端进行三维视频能力适配后根据所述三维视频能力信息或和三维视频流信息发送三维视频信号。
CN201110334678.XA 2011-10-28 2011-10-28 一种视频呈现方法和*** Active CN103096014B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201110334678.XA CN103096014B (zh) 2011-10-28 2011-10-28 一种视频呈现方法和***
EP12844506.1A EP2739056A4 (en) 2011-10-28 2012-05-16 METHOD AND SYSTEM FOR VIDEO PRESENTATION
PCT/CN2012/075544 WO2013060135A1 (zh) 2011-10-28 2012-05-16 一种视频呈现方法和***
US14/200,196 US9392222B2 (en) 2011-10-28 2014-03-07 Video presence method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110334678.XA CN103096014B (zh) 2011-10-28 2011-10-28 一种视频呈现方法和***

Publications (2)

Publication Number Publication Date
CN103096014A true CN103096014A (zh) 2013-05-08
CN103096014B CN103096014B (zh) 2016-03-30

Family

ID=48167094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110334678.XA Active CN103096014B (zh) 2011-10-28 2011-10-28 一种视频呈现方法和***

Country Status (4)

Country Link
US (1) US9392222B2 (zh)
EP (1) EP2739056A4 (zh)
CN (1) CN103096014B (zh)
WO (1) WO2013060135A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454204A (zh) * 2016-10-18 2017-02-22 四川大学 一种基于网络深度相机的裸眼立体视频会议***

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9210381B2 (en) * 2013-06-24 2015-12-08 Dialogic Corporation Resource-adaptive video encoder sharing in multipoint control unit
KR101826025B1 (ko) * 2016-07-22 2018-02-07 한국과학기술연구원 사용자 인터렉션이 가능한 3d 영상 콘텐츠 생성 시스템 및 방법
US10652553B2 (en) * 2016-12-07 2020-05-12 Qualcomm Incorporated Systems and methods of signaling of regions of interest

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291415A (zh) * 2008-05-30 2008-10-22 深圳华为通信技术有限公司 一种三维视频通信的方法、装置及***
CN101518095A (zh) * 2006-09-15 2009-08-26 三星电子株式会社 具有改善的分辨率的多视角自动立体显示器
CN101651841A (zh) * 2008-08-13 2010-02-17 华为技术有限公司 一种立体视频通讯的实现方法、***和设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5703961A (en) * 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
KR100304784B1 (ko) * 1998-05-25 2001-09-24 박호군 편광과광띠를이용한다자시청용3차원영상표시장치
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
KR100813961B1 (ko) * 2005-06-14 2008-03-14 삼성전자주식회사 영상 수신장치
US8630273B2 (en) * 2007-07-17 2014-01-14 France Telecom Dynamic appropriation of at least one multimedia device during call set-up
JP2009077234A (ja) 2007-09-21 2009-04-09 Toshiba Corp 三次元画像処理装置、方法及びプログラム
CN101453662B (zh) * 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、***及方法
JP5469911B2 (ja) * 2009-04-22 2014-04-16 ソニー株式会社 送信装置および立体画像データの送信方法
KR101615111B1 (ko) * 2009-06-16 2016-04-25 삼성전자주식회사 다시점 영상 표시 장치 및 방법
WO2013079413A1 (en) * 2011-11-30 2013-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hybrid recursive analysis of spatio-temporal objects
IN2015DN00797A (zh) * 2012-08-08 2015-07-03 Ericsson Telefon Ab L M

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101518095A (zh) * 2006-09-15 2009-08-26 三星电子株式会社 具有改善的分辨率的多视角自动立体显示器
CN101291415A (zh) * 2008-05-30 2008-10-22 深圳华为通信技术有限公司 一种三维视频通信的方法、装置及***
CN101651841A (zh) * 2008-08-13 2010-02-17 华为技术有限公司 一种立体视频通讯的实现方法、***和设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454204A (zh) * 2016-10-18 2017-02-22 四川大学 一种基于网络深度相机的裸眼立体视频会议***

Also Published As

Publication number Publication date
US9392222B2 (en) 2016-07-12
EP2739056A4 (en) 2014-08-13
WO2013060135A1 (zh) 2013-05-02
CN103096014B (zh) 2016-03-30
US20140184730A1 (en) 2014-07-03
EP2739056A1 (en) 2014-06-04

Similar Documents

Publication Publication Date Title
RU2528080C2 (ru) Кодирующее устройство для сигналов трехмерного видеоизображения
KR101749893B1 (ko) 다목적 ３―ｄ 화상 포맷
Matusik et al. 3D TV: a scalable system for real-time acquisition, transmission, and autostereoscopic display of dynamic scenes
Dodgson et al. Multi-view autostereoscopic 3D display
US20050185711A1 (en) 3D television system and method
Hill et al. 3-D liquid crystal displays and their applications
US9179141B2 (en) Three-dimensional image display apparatus and viewing position check method
KR20140041489A (ko) 스테레오스코픽 이미지의 동시적인 스테레오스코픽 및 모노스코픽 디스플레이를 가능하게 하기 위한 스테레오스코픽 이미지의 자동 컨버전
Ito Future television—super hi-vision and beyond
KR20160143623A (ko) 무안경 3d 영상을 이용한 적층형 홀로그램 구현 시스템
Gotchev Computer technologies for 3d video delivery for home entertainment
CN103096014B (zh) 一种视频呈现方法和***
Knorr et al. The avoidance of visual discomfort and basic rules for producing “good 3D” pictures
KR20100112940A (ko) 데이터 처리방법 및 수신 시스템
JP6502701B2 (ja) 要素画像群生成装置及びそのプログラム、並びにデジタル放送受信装置
CN112243121A (zh) 裸眼3d显示器的多模式显示方法
CN110113596B (zh) 一种可切换光栅式裸眼3d显示***及显示方法
CN103209335A (zh) 支持高屏幕刷新率的立体电影播放方法及***
CN102724539A (zh) 一种3d显示方法及显示装置
May A survey of 3-D display technologies
Date et al. Full parallax table top 3d display using visually equivalent light field
CN103051866A (zh) 网络3d 视频监控***、方法和视频处理平台
KR101686634B1 (ko) 무안경 3d 영상을 이용한 적층형 홀로그램 구현 시스템
Edirisinghe et al. Stereo imaging, an emerging technology
CN203219433U (zh) 支持高屏幕刷新率的立体电影播放***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant