CN104769940B - 深度信令数据 - Google Patents
深度信令数据 Download PDFInfo
- Publication number
- CN104769940B CN104769940B CN201380019646.8A CN201380019646A CN104769940B CN 104769940 B CN104769940 B CN 104769940B CN 201380019646 A CN201380019646 A CN 201380019646A CN 104769940 B CN104769940 B CN 104769940B
- Authority
- CN
- China
- Prior art keywords
- depth
- data
- destination
- view
- displays
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000011664 signaling Effects 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 25
- 241001269238 Data Species 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 125000001153 fluoro group Chemical group F* 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 description 13
- 239000007787 solid Substances 0.000 description 11
- 239000000463 material Substances 0.000 description 10
- 238000009877 rendering Methods 0.000 description 10
- 230000002708 enhancing effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 239000012769 display material Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000032696 parturition Effects 0.000 description 1
- 238000003359 percent control normalization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
描述了用于朝向各种类型的3D显示器传输3D数据的3D视频***。3D源设备（40）将三维[3D]视频信号（41）提供到3D目的地设备（50）。该3D目的地设备接收3D视频信号，并具有用于提供目的地深度图以为该3D显示器实现视图的形变的目的地深度处理器（52）。3D源设备生成深度信令数据，其表示用于将目的地深度图或视图的形变适配于该3D显示器的深度处理条件。3D视频信号包含该深度信令数据。目的地深度处理器根据该深度信令数据将目的地深度图或视图的形变适配于该3D显示器。深度信令数据使得呈现过程能够针对实际的3D显示器从深度数据得到更好的结果。
Description
技术领域
本发明涉及用于提供三维[3D]视频信号以供传送到3D目的地设备的3D源设备。3D视频信号包括表示3D显示器上的左眼视图的第一视频信息和表示3D显示器上的右眼视图的第二视频信息。3D目的地设备包括用于接收3D视频信号的接收机和用于提供目的地深度图以使得能够形变（warp）用于3D显示器的视图的目的地深度处理器。3D源设备包括用于生成3D视频信号和用于将3D视频信号传送到3D目的地设备的输出单元。
本发明还涉及提供3D视频信号以供传送到3D目的地设备的方法。
本发明涉及在源设备（例如广播方、互联网网站服务器、创作***、蓝光盘制造商，等等）处生成3D视频信号并将其传送到需要深度图以用于呈现多个视图的3D目的地设备（例如蓝光盘播放器、3D电视机、3D显示器、移动计算设备，等等）的领域。
背景技术
文献“Real-time free-viewpoint viewer from multiview video plus depthrepresentation coded by H.264/AVC MVC extension （来自根据H.264/AVC MVC扩展编码的多视图视频加深度表示的实时自由视点观看器）, by Shinya Shimizu, HideakiKimata, andYoshimitsu Ohtani, NTT Cyber Space Labortories, NTT corporation（NTT网络空间实验室，NTT公司）, 3DTV-CON, IEEE 2009”除了描述MPEG编码视频传送信号，还描述了3D视频技术，尤其是用于将深度图纳入视频格式中的多视图编码（MVC）扩展。用于纳入深度图视频编码的MVC扩展允许构建表示具有相关的多个补充视图（即深度图视图）的多个视图的比特流。根据该文献，可以将深度图添加到具有表示3D显示器上的左眼视图的第一视频信息和表示3D显示器上的右眼视图的第二视频信息的3D视频数据流。在解码器侧的深度图使得能够生成除了左右视图以外的、例如用于自动立体感显示的另外的视图。
发明内容
视频材料可以被提供有深度图。另外，有许多现有3D视频材料并不具有深度图数据。对于这样的材料，目的地设备可以具有用于基于第一和第二视频信息来生成所生成的深度图的立体到深度转换器。
本发明的目的是提供用于提供深度信息并传送该深度信息的、对于增强3D视频呈现来说更为灵活的***。
为此目的，根据本发明的第一方面，如开头段落中描述的源设备包括用于提供深度信令数据的源深度处理器，该深度信令数据表示用于使目的地深度图或视图的形变适配于3D显示器的处理条件，并且输出单元布置用于将该深度信令数据包括在3D视频信号中。
该方法包括：生成3D视频信号；提供深度信令数据，该深度信令数据表示用于使目的地深度图或视图的形变适配于3D显示器的处理条件；以及将深度信令数据包括在3D视频信号中。
3D视频信号包括深度信令数据，该深度信令数据表示用于使目的地深度图或视图的形变适配于3D显示器的处理条件。
在目的地设备中，接收机布置用于从3D视频信号获取深度信令数据。目的地深度处理器布置用于根据该深度信令数据而使目的地深度图或视图的形变适配于3D显示器。
这些措施具有以下效果：使得目的地设备能够使用3D视频信号中的深度信令数据而使目的地深度图或视图的形变适配于3D显示器。因此，在可用之时和可用之处，深度信令数据被应用来增强目的地深度图或形变。有效地，在源的控制之下向目的地设备提供附加深度信令数据，例如处理参数或指令，该数据使得源能够控制和增强在3D显示器中基于目的地深度图形变视图。
有利地，在处理资源可用并且离线生成被允许的源处，生成深度信令数据。因为针对相应的显示器优化了深度图和视图的形变，所以降低了目的地侧的处理要求并且增强了3D效果。
本发明还基于以下认识。发明人已经看到，在目的地侧的深度图处理或生成以及后续的视图形变通常提供非常令人愉快的结果。然而，鉴于3D显示器的能力（诸如在不同深度处的图像的锐度），在一些时刻或位置，可以通过操纵深度（例如通过向目的地深度图应用偏移量）来将实际视频内容更好地展现给观众。可以在源处预见用于在特定3D显示器处的这样的操纵的需求、量和/或参数，并且将所述深度信令数据添加作为处理条件使得能够在目的地侧增强深度图或视图形变，同时限制必须传送的深度信令数据的量。
可选地，在3D源设备中，源深度处理器布置用于提供深度信令数据作为处理条件，该深度信令数据包括以下各项中的至少一个：偏移量、增益、缩放的类型、边缘的类型。当该偏移量应用于目的地深度图时，相对于显示器的平面向后或向前有效地移动对象。有利地，发信号通知该偏移量使得源侧能够将重要对象移动到靠近3D显示器平面的位置。当该增益应用于目的地深度图时，离开或朝向3D显示器的平面有效地移动对象。有利地，发信号通知该增益使得源侧能够控制重要对象相对于3D显示器平面的移动，即图片中深度的量。该缩放的类型指示深度图中的值将如何转换成当形变视图时将要使用的实际值（例如双线性缩放、双三次缩放）或如何适配视角锥（viewing cone）。深度信息中的该边缘的类型指示3D视频中对象的属性，比如，例如来自从计算机生成的内容推导的深度的锐利边缘、例如来自自然源的软边缘、例如来自经处理的视频材料的模糊边缘、等等。有利地，当处理目的地深度数据以用于形变视图时可以使用3D视频的属性。
可选地，源深度处理器布置用于根据3D视频信号中的镜头来提供针对一段时间的深度信令数据。有效地，深度信令数据应用于具有相同的3D配置（例如特定摄像机和缩小放大（zoom）配置）的一段时间的3D视频信号。通常该配置在视频节目的一个镜头期间基本上稳定。镜头边界可以是已知的或者可以容易地在源侧检测到，并且有利地，针对对应于该镜头的时间段来装配一组深度信令数据。
可选地，源深度处理器布置用于提供包括感兴趣区域的区域数据的深度信令数据作为处理条件，以使得能够在3D显示器的优选深度范围内显示该感兴趣区域。有效地，该感兴趣区域由被假定成吸引了观众注意力的3D视频材料中的元素或对象构成。感兴趣区域可以是已知的或者可以容易地在源侧检测到，并且有利地，装配一组深度信令数据以用于指示对应于该感兴趣区域的位置、区块或深度范围，这使得视图的形变能够适配于靠近3D显示器的最优深度范围（例如靠近显示器平面）而显示感兴趣区域。
可选地，源深度处理器还可以布置用于根据感兴趣区域的变化超过预定阈值（诸如面部的深度位置的实质性变化）来更新区域数据。此外，源深度处理器还可以布置用于提供指示感兴趣区域的深度范围的区域深度数据，作为区域数据。区域深度数据使得目的地设备能够形变视图同时将这样的深度范围中的对象移动到3D显示器设备的优选深度范围。源深度处理器还可以布置用于提供指示与3D视频信号中的至少一个宏块对齐的感兴趣区域区块的面积的区域面积数据，作为区域数据，该宏块表示压缩视频数据的预定块。这样的区域面积数据将被高效地编码和处理。
可选地，3D视频信号包括深度数据。源深度处理器还可以布置用于提供包括深度数据类型的深度信令数据作为处理条件，该处理条件被应用于目的地深度图以用于调整视图的形变。深度数据类型可以包括以下各项中的至少一个：
-指示基于聚焦数据生成的深度数据的聚焦指示符；
-指示基于透视数据生成的深度数据的透视指示符；
-指示基于运动数据生成的深度数据的运动指示符；
-指示源自特定源的深度数据的源指示符；
-指示由特定算法处理的深度数据的算法指示符；
-指示在深度数据中的对象的边界处使用的扩张的量的扩张指示符。各个指示符使得在目的地侧的深度处理器能够相应地解释和处理3D视频信号中包括的深度数据。
在所附的权利要求中给出了根据本发明的设备和方法的另外的优选实施例，其公开内容通过引用合并于此。
附图说明
根据在下面的描述中作为示例描述的实施例和附图，本发明的这些和其他方面将是显而易见的，并且进一步参考在下面的描述中作为示例描述的实施例以及参考附图，本发明的这些和其他方面被阐明，在附图中：
图1示出用于处理3D视频数据和显示该3D视频数据的***；
图2示出使用深度信令数据的3D解码器；
图3示出提供深度信令数据的3D编码器；
图4示出自动立体显示设备和形变多个视图；
图5示出双视图立体显示设备和形变增强的视图；
图6示出3D视频信号中的深度信令数据；
图7示出3D视频信号中的感兴趣区域深度信令数据；
图8示出用于多个3D显示器的深度信令数据；以及
图9示出用于适配视角锥的缩放。
这些图纯粹是概略的并且未按比例绘制。在这些图中，对应于已经描述的元素的元素可以具有相同的参考数字。
具体实施方式
存在许多不同的方式，其中3D视频信号可以根据所谓的3D视频格式而被格式化和传送。一些格式基于使用2D信道来另外携带立体信息。在3D视频信号中，图像由二维像素阵列中的图像值表示。例如，左右视图可以交错或者可以并排或顶-底（彼此上下）放置在帧中。此外，深度图可以被传送，可能地另外的3D数据，像遮掩（occlusion）或透明数据可以被传送。在本文中，视差图也被认为是一种类型的深度图。深度图具有同样在对应于图像的二维阵列中的深度值，但是深度图可以具有不同的分辨率。3D视频数据可以根据如这样的例如MPEG的已知压缩方法而被压缩。诸如互联网或蓝光盘（BD）之类的任何3D视频***可以受益于所提出的增强。
3D显示器可以是相对小的单元（例如移动电话）、需要快门眼镜的大的立体显示器（STD）、任何有立体感的显示器（STD）、考虑可变基线的高级STD、基于头部跟踪而将L和R视图瞄准观众眼睛的主动STD，或者自动立体感多视图显示器（ASD），等等。
传统上，传输用于驱动各种类型的3D显示器所需的所有组件，这通常需要对多于一个视图（摄像机信号）及其对应的深度进行压缩和传输，例如如 “Call for Proposalson 3D Video Coding Technology”-MPEG文档N12036，2011年3月，日内瓦，瑞士”中所讨论的。在解码器中由其自身进行的自动转换（从立体自动地推导的深度）是已知的，例如从“Description of 3D Video Coding Technology Proposal by Disney Research Zurichand Fraunhofer HHI”，MPEG文档M22668，2011年11月，日内瓦，瑞士”得知。针对所述不同类型的显示器，例如针对ASD和用于可变基线的高级STD，需要基于3D信号中的深度数据来形变视图。然而，基于各种类型的深度数据而形变的视图的质量是受限的。
图1示出用于处理3D视频数据和显示该3D视频数据的***。被称为3D源设备40的第一3D视频设备提供3D视频信号41并将其传送到被称为3D目的地设备50的另外的3D图像处理设备，该3D目的地设备50耦合到3D显示设备60以用于传送3D显示信号56。视频信号可以例如是3D电视广播信号，诸如使用兼容的1/2HD帧的、多视图编码（MVC）的或帧兼容的全分辨率的标准立体传输（例如由杜比实验室有限公司（Dolby Laboratories, inc.）提出的FCFR）。建立于帧兼容的基本层之上，杜比开发了增强层以重建全分辨率3D图像。这一技术已经被提议到MPEG以供标准化并且仅需要增加10%的比特率。传统3D视频信号被如下阐明的深度信令数据增强。
图1还示出了作为3D视频信号的载体的记录载体54。记录载体为盘状并具有轨道和中心孔。轨道由物理可检测标记的图案构成，按照构成一个或多个信息层上的基本上平行的轨道的圈（turn）的螺旋或同心图案排列。记录载体可以是光学可读的，称为光盘，例如DVD或BD（蓝光盘）。信息通过沿着轨道的光学可检测标记（例如凹处和凸面）而具体实现在信息层上。轨道结构还包括用于指示通常称为信息块的信息单元的位置的位置信息，例如头部和地址。记录载体54携带以预定记录格式（如同DVD或BD格式）的表示数字编码的3D图像数据(如同例如根据MPEG 2或MPEG 4编码***来编码的视频）的信息。
3D源设备具有用于处理经由输入单元47接收的3D视频数据的源深度处理器42。输入3D视频数据43可以是可从存储***、记录工作室，从3D摄像机，等等获得的。源***可以处理为3D图像数据提供的深度图，该深度图可以是在***的输入处原始存在的，或者可以是由如下面描述的高质量处理***例如从立体（L+R）视频信号中的左/右帧或从2D视频自动地生成的，并且可能被进一步处理或校正以提供精确地表示对应于附随的2D图像数据或左/右帧的深度值的源深度图。
源深度处理器42生成包括3D视频数据的3D视频信号41。3D视频信号具有表示3D显示器上的左眼视图的第一视频信息和表示3D显示器上的右眼视图的第二视频信息。源设备可以布置用于经由输出单元46传送来自视频处理器的3D视频信号并传送到另外的3D视频设备，或者用于提供3D视频信号以例如经由记录载体进行分发。3D视频信号基于处理输入3D视频数据43（例如通过根据预定格式来编码和格式化3D视频数据）。
3D源设备可以具有用于基于第一和第二视频信息来生成所生成的深度图的源立体到深度转换器48。用于生成深度图的立体到深度转换器在运行时接收立体3D信号（也被称为左-右视频信号），该立体3D信号具有表示将被显示用于观众的相应眼睛以产生3D效果的左视图和右视图的左帧L和右帧R的时间序列。该单元通过对左视图和右视图进行视差估计来产生所生成的深度图，并且还可以基于左视图和/或右视图来提供2D图像。视差估计可以基于用于比较L和R帧的运动估计算法、或者基于从图像数据推导的透视特征、等等。对象的L和R视图之间的大的差异根据该差异的方向被转换成显示器屏幕前方或后方的深度值。该生成器单元的输出为所生成的深度图。
所生成的深度图和/或高质量的源深度图可以用于确定目的地侧需要的深度信令数据。源深度处理器42布置用于提供如下讨论的深度信令数据。
在检测到深度误差的情况下，例如当源深度图与所生成的深度图之间的差异超过预定阈值时，可以生成深度信令数据。举例来说，预定的深度差异可以构成所述阈值。还可以使该阈值依赖于影响深度误差的明显度的另外的图像属性，例如局部图像强度或对比度，或纹理。该阈值还可以如下一样通过检测所生成的深度图的质量水平来确定。所生成的深度图用于形变具有对应于给定的不同视图的取向的视图。举例来说，R’视图基于原始L图像数据和所生成的深度图。随后，例如通过公知的PSNR函数（峰值信噪比）来计算R’视图与原始R视图之间的差异。PSNR是信号的最大可能功率与影响其表示的保真度的破坏噪声的功率之比。因为许多信号具有非常宽的动态范围，所以PSNR通常按照对数分贝标度来表达。现在PSNR可以用作所生成的深度图的质量的量度。在这种情况下，信号是原始数据R，并且噪声是由基于所生成的深度图而形变R’所引入的误差。此外，该阈值还可以基于另外的明显度准则，或者通过基于所生成的深度图来创作或审阅结果并控制3D视频的哪些部分和/或时段需要由深度信令数据增强的编辑者来判断。
深度信令数据表示用于在目的地侧调整视图的形变的深度处理条件。形变可以被调整成使3D视频信号携带的3D视频内容匹配于实际的3D显示器，即最优地使用3D显示器的属性以根据实际的3D视频内容和3D视频显示器的能力来为观众提供3D效果。举例来说，3D显示器在所显示的图像的锐度高，而在屏幕前方或远远超出该屏幕的深度位置处的图像不太锐利的显示器屏幕附近可能具有有限的深度范围。
作为将要应用于目的地深度图以调整视图的形变的处理条件，深度信令数据可以包括各种参数，例如以下各项中的一个或多个：偏移量、增益、缩放的类型、边缘的类型。当该偏移量应用于目的地深度图时，相对于显示器的平面向后或向前有效地移动对象。发信号通知该偏移量使得源侧能够将重要对象移动到靠近3D显示器平面的位置。当该增益应用于目的地深度图时，离开或朝向3D显示器的平面有效地移动对象。举例来说，目的地深度图可以定义成针对在显示器平面处的深度具有零值，并且该增益可以被应用作为对于该值的增加。发信号通知该增益使得源侧能够控制重要对象相对于3D显示器平面的移动。该增益确定当显示3D图像时最近和最远的元素之间的差异。
缩放的类型指示深度图中的值将如何转换成当形变视图时将使用的实际值，例如双线性缩放、双三次缩放，或者预定类型的非线性缩放。另一种类型的缩放是指缩放视角锥的形状，这将参考图9在下面来描述。
深度信息中边缘的类型可以指示3D视频中的对象的属性，比如，例如来自计算机生成的内容的锐利边缘、例如来自自然源的软边缘、例如来自经处理的视频材料的模糊边缘、等等。当处理目的地深度数据以形变视图时可以使用3D视频的属性。
输出单元46布置用于将深度信令数据包括在3D视频信号中。具有深度处理器42、可选的立体到深度转换器48和输出单元46的功能的处理器单元可以称为3D编码器。
3D源可以是服务器、广播方、记录设备，或者用于制造像是蓝光盘的光学记录载体的创作和/或生产***。蓝光盘提供用于为内容创建者分发视频的交互式平台。关于蓝光盘格式的信息可以从蓝光盘联盟的网站关于音视应用格式的论文（例如http://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_030 5-12955-15269.pdf）中获得。光学记录载体的生产过程还包括以下步骤：在轨道中提供标记的物理图案，该图案体现包括深度信令数据的3D视频信号；以及随后根据该图案使该记录载体的材料成形以在至少一个存储层上提供标记的轨道。
3D目的地设备50具有用于接收3D视频信号41的接收机和用于解析到来的视频信号的输入单元51，该接收机具有一个或多个信号接口单元。举例来说，该接收机可以包括耦合到输入单元的用于从像是DVD或蓝光盘的光学记录载体54获取3D视频信息的光盘单元58。可替换地（或附加地），接收机可以包括用于耦合到网络45（例如互联网或广播网络）的网络接口单元59，这样的设备为机顶盒或像是移动电话或平板计算机的移动计算设备。3D视频信号可以从远程网站或媒体服务器（例如3D源设备40）获取。3D图像处理设备可以是将图像输入信号转换成具有所需的深度信息的图像输出信号的转换器。这样的转换器可以用于为特定类型的3D显示器转换不同的输入3D视频信号，例如将标准3D内容转换成适合特定类型或供应商的自动立体感显示器的视频信号。在实践中，设备可以是使能了3D的放大器或接收机、3D光盘播放器，或者卫星接收机或机顶盒，或者任何类型的媒体播放器。
3D目的地设备具有耦合到输入单元51的深度处理器52，其用于处理3D信息，以生成将要经由输出接口单元55被传送到显示设备的3D显示信号56，例如根据HDMI标准的显示信号，参见“High Definition Multimedia Interface; Specification Version 1.4a ofMarch 4, 2010（高清晰度多媒体接口；2010年3月4日的规范版本1.4a）”，其3D部分在供公开下载的http://hdmi.org/manufacturer/specification.aspx处可获得。
3D目的地设备可以具有立体到深度转换器53，该立体到深度转换器53用于基于第一和第二视频信息生成目的地生成的深度图。该立体到深度转换器的操作等同于前面描述的源设备中的立体到深度转换器。具有目的地深度处理器52、立体到深度转换器53和输入单元51的单元可以称为3D解码器。
目的地深度处理器52布置用于生成包括在3D显示信号56中供在显示设备60上显示的图像数据。深度处理器布置用于提供目的地深度图以使得能够为3D显示器形变视图。输入单元51布置用于从3D视频信号获取深度信令数据，该深度信令数据基于与视频信息相关的源深度信息并且表示用于调整视图的形变的深度处理条件。目的地深度处理器布置用于使目的地深度图适配于根据从3D视频信号获取的深度信令数据来形变视图。下面进一步阐明对于深度信令数据的处理。
3D显示设备60用于显示3D图像数据。该设备具有输入接口单元61，该输入接口单元61用于接收包括从3D目的地设备50传送的3D视频数据和目的地深度图的3D显示信号56。该设备具有用于根据该目的地深度图基于第一和第二视频信息生成3D视频数据的多个视图的视图处理器62和用于显示该3D视频数据的所述多个视图的3D显示器63。在处理单元62中处理被传送的3D视频数据以用于形变视图以供在3D显示器63（例如多视图LCD）上显示。显示设备60可以是任何类型的立体感显示器（也称为3D显示器）。
3D显示设备60中的视频处理器62布置用于处理3D视频数据以生成用于呈现一个或多个新视图的显示控制信号。使用已知位置处的2D视图和目的地深度图来从3D图像数据生成这些视图。基于使用已知位置处的视图和深度图来生成针对不同3D显示眼睛位置的视图的过程通常称为视图的形变。可替换地，3D播放器设备中的视频处理器52可以布置成施行所述深度图处理。为指定的3D显示器生成的多个视图可以与3D图像信号一起经由专用接口来朝向3D显示器传送。
在另外的实施例中，目的地设备和显示器设备被组合成单个设备。深度处理器52和处理单元62的功能，以及输出单元55和输入单元61的其余功能可以由单个视频处理器单元来施行。
应当指出，深度信令数据原理可以应用于每个3D视频传送步骤，例如在工作室或创作者与进一步对现已增强的以供传输到消费者的深度图进行编码的广播方之间。另外，可以在连续的传送上执行深度信令数据***，例如可以通过包括基于进一步改进的源深度图的第二深度信令数据来在初始版本上创建进一步改进的版本。这在3D显示器上可达到的质量、传输深度信息所需的比特率或用于创建3D内容的成本方面给出了极大的灵活性。
图2示出使用深度信令数据的3D解码器。3D解码器20被示意性地示出为具有用于标记为BS3的3D视频信号（基本信号3D）的输入。输入解复用器21（DEMUX）将到来的数据解析成用于左右视图（LR-bitstr）和深度信令数据（DS-bitstr）的比特流。第一解码器22（DEC）将左右视图解码成输出L和R，L和R还耦合到消费者类型的立体到深度转换器（CE-S2D），该立体到深度转换器生成第一左深度图LD1和第一右深度图RD1。可替换地，仅生成单个第一深度图，或者在到来的信号中可直接获得深度图。第二解码器23解码DS-bitstr并提供一个或多个深度控制信号26、27。深度控制信号耦合到深度图处理器25，该深度图处理器25例如基于指示深度信令数据的存在性的标志来生成目的地深度图。在该示例中，通过使用深度信令数据来修改初始深度图LD1、RD1，而提供左目的地深度图LD3和右目的地深度图RD3。然后，取决于显示器的类型，3D解码器的最终目的地深度图输出（LD3/RD3）被传送到如利用图4或5所讨论的视图形变块。
3D解码器可以是消费者侧的机顶盒（STB）的一部分，其接收符合深度信令数据***的比特流（BS3），该比特流被解复用成2个流：一个具有L和R视图的视频流，和一个具有深度信令（DS）数据的深度流，这两者随后都被发送到相应的解码器（例如MVC/H.264）。
图3示出提供深度信令数据的3D编码器。3D编码器30被示意性地示出为具有用于接收3D视频信号的输入（L，R）。可以提供立体到深度转换器（例如高质量专业类型的HQ-S2D）以生成称为源生成的深度图的左深度图LD4和右深度图RD4。可替换地，另外的输入可以接收源深度图（被标记为LD-man，RD-man），所述源深度图可以被离线地提供（例如从摄像机输入，被手动地编辑或改进，或者在计算机生成的内容的情况下被计算），或者可以利用输入3D视频信号而可获得。深度处理单元32接收源生成的深度图LD4、RD4与源深度图LD-man和RD-man之一或二者，并且确定是否要生成深度信令数据。在该示例中，两个深度信令数据信号36，37耦合到编码器34。下面给出深度信令数据的各种选项。
在编码之后，深度信令数据通过输出多路复用器35（MUX）被包括在输出信号中。多路复用器还从第一编码器33接收编码的视频数据比特流（BS1）并从第二编码器34接收编码的深度信令数据比特流（BS2），并且生成标记为BS3的3D视频信号。
可选地，源深度处理器布置用于根据3D视频信号中的镜头生成针对一段时间的深度信令数据。有效地，深度信令数据应用于具有相同3D配置（例如特定摄像机和缩小放大配置）的一个时段的3D视频信号。通常该配置在视频节目的镜头期间基本稳定。镜头边界可以是已知的或可以容易地在源侧检测到，并且有利地，在对应于该镜头的时间段内装配一组深度信令数据。
源深度处理器可以布置用于根据3D视频信号中的镜头生成针对一段时间的深度信令数据。如这样的自动检测镜头的边界是已知的。另外，该边界可以已经被标记或可以在源处在视频编辑过程期间被确定。深度信令数据可以被提供用于单个镜头，并且可以针对下一个镜头而被改变。举例来说，给定用于面部的特写镜头的偏移量值可以由用于远处风景的下一个镜头的下一个偏移量值接着。
源深度处理器可以布置用于生成包括感兴趣区域的区域数据的深度信令数据。该感兴趣区域，当在目的地侧已知时，可以用作将应用于目的地深度图的处理条件，并且视图的形变可以调整成使得能够在3D显示器的优选深度范围内显示该感兴趣区域。有效地，感兴趣区域由3D视频材料中的被假定为吸引观众注意力的元素或对象构成。举例来说，感兴趣区域数据可以指示具有将可能被观众注意的许多细节的图像的区块。目的地深度处理器现在能够适配深度图从而使得在所指示的区块中的深度值被显示在3D显示器的高质量范围中，通常靠近显示器屏幕，或者被显示在正好在屏幕后方同时避免元素凸出在屏幕前方的范围中。感兴趣区域可以是已知的或者可以容易地例如由自动面部检测器或者工作室编辑者在源侧检测到，或者取决于图像中的对象的移动或详细结构而检测到。可以自动地生成一组对应的深度信令数据以用于指示对应于感兴趣区域的位置、区块或深度范围。感兴趣区域数据使得视图的形变能够被适配成靠近3D显示器的最优深度范围来显示该感兴趣区域。
源深度处理器还可以布置用于根据感兴趣区域的变化超过预定阈值（例如构成感兴趣区域的面部的深度地点或位置的实质性变化）来更新区域数据。此外，源深度处理器可以布置用于提供指示感兴趣区域的深度范围的区域深度数据作为区域数据。区域深度数据使得目的地设备能够形变视图同时将在这样的深度范围中的对象移动到3D显示设备的优选深度范围。源深度处理器还可以布置用于提供指示与3D视频信号中的至少一个宏块对齐的感兴趣区域区块的面积的区域面积数据作为区域数据，该宏块表示压缩视频数据的预定块。该宏块表示压缩视频数据（例如在MPEG编码视频信号中）的预定块。这样的区域面积数据将被高效地编码和处理。宏块对齐的感兴趣区域区块可以包括针对不是感兴趣区域的一部分的位置的另外的深度数据。这样的感兴趣区域区块还包含其深度值或图像值对于3D体验并不关键的像素。经选择的值（例如0或255）可以指示这样的像素不是感兴趣区域的一部分。
除了图像数据以外，3D视频信号可以包括深度数据，例如深度图。该深度图可以包括对应于左视图的深度数据、对应于右视图的深度数据，和/或对应于中央视图的深度数据中的至少一个。3D视频信号还可以包括指示为其展现深度信息的视图的数目的参数（例如，num_of_views）。另外，深度数据可以具有低于第一视频信息或第二视频信息的分辨率。源深度处理器可以布置用于生成包括深度数据类型的深度信令数据作为将要应用于目的地深度图以用于调整视图的形变的处理条件。深度数据类型指示3D视频信号中包括的深度数据的属性，该属性定义如何生成深度数据和什么样的后处理可以适合于在目的地侧适配深度数据。深度数据类型可以包括以下属性指示符中的一个或多个：指示基于聚焦数据生成的深度数据的聚焦指示符；指示基于透视数据生成的深度数据的透视指示符；指示基于运动数据生成的深度数据的运动指示符；指示源自特定源的深度数据的源指示符；指示由特定算法处理的深度数据的算法指示符；指示在深度数据中的对象的边界处使用的扩张的量的扩张指示符，例如从0到128。各个指示符使得在目的地侧的深度处理器能够相应地解释和处理3D视频信号中包括的深度数据。
在实施例中，3D视频信号被格式化成包括编码视频数据流并布置用于根据预定标准（例如BD标准）来传达解码信息。根据这样的标准的扩展，3D视频信号中的深度信令数据被包括作为解码信息，例如在用户数据消息或信令基本流信息[SEI]中，因为这些消息被携带在视频基本流中。可替换地，单独的表或基于XML的描述可以被包括在3D视频信号中。由于当解释深度图时需要使用深度信令数据，所以该信令可以被包括在形成携带深度数据的视频流的一部分的、附加的所谓NAL单元中。这样的NAL单元在导言部分中提及的文档“Working Draft on MVC extensions (关于MVC扩展的工作草案)”中被描述。举例来说，可以利用其中输入了Depth_Signaling数据的表来扩展depth_range_update NAL单元。
图4示出自动立体显示设备和形变多个视图。自动立体显示器（ASD）403接收由深度处理器400生成的多个视图。深度处理器具有视图形变单元401，该视图形变单元401用于从完整左视图L和目的地深度图LD3生成一组视图405，如该图的下部分中所示。深度信令数据可以单独地传送，或者可以包括在深度图LD3中。显示输入接口406可以根据HDMI标准扩展成传送RGB和深度（RGBD HDMI），并且包括完整左视图L和基于深度信令数据HD的目的地深度图LD3。所生成的视图经由交织单元402被传送到显示器403。深度后处理器Z-PP 404可以基于用于调整视图的形变的深度信令数据来处理目的地深度图，例如通过应用如前面描述的偏移量或增益。
除了用于校正深度数据的解释的信令之外，还提供与显示器相关的信令。在设计显示器时的参数（诸如视图数目、最优观看距离、屏幕尺寸和最优3D体积）可以影响内容在该显示器上看起来如何。为了达到最佳性能，呈现需要使图像和深度信息的呈现适配于该显示器的特性。为了实现这一点，显示器设计可以分类成许多类别（A、B、C等等），具有可以绑定到某个显示器类别的不同参数值的参数的表格被包括在视频传输中。然后，显示器中的呈现可以基于其自身的分类来选择使用哪些参数值。可替换地，显示器中的呈现可以牵涉到用户，由此用户根据其品味选择哪一个组合。
图5示出双视图立体显示设备和形变增强的视图。双视图立体显示器（STD）503接收由深度处理器501生成的两个增强视图（new_L，new_R）。深度处理器具有用于从原始完整左视图L和完整R视图以及目的地深度图生成增强视图的视图形变功能，如该图的下部分中所示。显示输入接口502可以根据HDMI标准扩展成传送视图信息IF（HDMI IF）。在显示期间新的视图根据指示基线（BL）的参数BL而被形变。3D视频材料的基线最初是L和R摄像机位置之间的有效距离（针对光学器件、缩小放大因子，等等而被校正）。当显示材料时，基线将被显示器配置（诸如尺寸、分辨率、观看距离，或观众偏好设置）有效地转换。具体来说，可以基于被传送到深度处理器501的深度信令数据来调整基线。为了在显示期间改变基线，可以通过形变新的视图（称为new_L和new_R）来移动L和R视图的位置，从而形成新的基线距离，其可以大于（>100%）或小于（<100%）原始基线。新的视图被相对于处于BL=100%的原始完整L和R视图向外或向内移动。第三个示例（0%<BL<50%）使得两个新视图基于单个视图（Full_L）而被形变。将新的视图形变为接近完整视图避免了形变伪像。通过所示的三个示例，经形变的新视图与原始视图之间的距离低于25%，同时实现了0%<BL<150%的控制范围。
图6示出3D视频信号中的深度信令数据。在该图中示出了在3D视频信号中（例如在具有指示分组的内容为深度信令数据的分组头部的分组中）传送的深度信令数据的表。该图图示出将各种深度信令数据包括在3D视频信号中。第一表61具有以下元素：偏移量、增益、缩放指示符类型、边缘指示符类型、深度算法指示符类型和扩张指示符。第二表62具有定义缩放类型的编码：指示双线性的第一值、指示双三次的第二值、等等。第三表63具有定义边缘类型的编码：指示锐利边缘的第一值、指示模糊边缘的第二值、指示软边缘的第三值、等等。第四表64具有定义用于生成深度图的深度算法类型的编码：指示手动创建的深度图的第一值、指示来自运动的深度的第二值、指示来自聚焦的深度的第三值、指示来自透视的深度的第四值。可以使用前面的元素的任意组合。
图7示出3D视频信号中的感兴趣区域深度信令数据。在该图中示出在3D视频信号中（例如在具有指示分组的内容为感兴趣区域的深度信令数据的分组头部的分组中）传送的感兴趣区域数据的表71。感兴趣区域由深度范围使用将与深度图进行比较的两个值来定义，lower_luma_value定义下边界，并且upper_luma_value定义上边界。所以所述边界之间的深度值被指示成包含感兴趣区域，并且因此深度图优选地应当被处理从而使得这样的深度值显示在3D显示器的优选深度范围中。
此外，深度数据值的解释可以由差值的符号来指示：lower lower_luma_value <upper_luma_value可以指示深度信息的实际解释，例如在高的亮度值确定处于3D显示器的3D体积的零平面（屏幕深度）的前方位置的意义上。
感兴趣区域数据不同于偏移量和增益值，因为后者改变的频率低得多而且数据的类型也不相同。在优选实施例中，如表71中的感兴趣区域被携带在NAL单元中，该NAL单元携带其他深度数据，诸如“深度范围更新”。
图8示出用于多个3D显示器的深度信令数据。在该图中示出在3D视频信号中（例如在具有指示分组的内容为多个3D显示器深度信令数据的分组头部的分组中）被传送的、用于多个不同3D显示器类型的深度信令数据的表81。首先给出了多个表项，每个表项被分配给特定的显示器类型。还可以将显示器类型添加到该表中作为编码值。随后对于每个表项给出了多个深度信令参数（在该示例中为深度偏移量和深度增益），其针对相应的3D显示器类型而被优化。
在源设备中，源深度处理器42可以布置用于生成针对相应的多个不同3D显示器类型的多个不同深度信令数据。输出单元布置用于将该多个不同深度信令数据包括在3D视频信号中。在目的地设备中，目的地深度处理器布置用于从具有多组深度信令数据的表81中选择适合于要为其形变视图的实际3D显示器的相应组。
图9示出用于适配视角锥的缩放。视角锥涉及用于多视图3D显示器的形变视图的序列。缩放的类型指示，与其中每个连续视图具有与前一视图相同的视差差值的常规锥相比，该视角锥被适配的方式。改变锥形状意味着将相邻视图的相对视差改变一个小于所述相同视差差值的量。
图9左上方示出了常规锥形状。该常规锥形状91通常用于传统的多视图呈现器中。该形状对于该锥的大部分而言具有相等的立体的量并且具有朝向该锥的下一个重复的锐利过渡。置身于该过渡区块中的用户将感觉到大量的串扰和逆向立体。在该图中，锯齿形曲线指示该常规锥形状91具有与其在该锥中的位置线性相关的视差。在视角锥内的视图的位置定义为：零针对锥中心，-1针对完全左并且+1针对完全右。
应当理解，改变锥形状仅仅改变内容在显示器上的呈现（即视图合成、交织）而不要求对显示器进行物理调整。通过适配视角锥，可以减少伪像并且可以创建降低的3D效果的区域以容纳不具有或具有有限的立体观看能力，或者更喜欢观看有限3D或2D视频的人。深度信令数据可以包括缩放的类型，其被判断为适合于源侧的3D视频材料以用于改变锥形状。举例来说，用于适配视角锥的一组可能的缩放锥形状可以被预先定义并且每个形状可以被给予一个索引，而实际的索引值被包括在深度信令数据中。
在该图的另外三个图形中，第二个曲线示出经适配的锥形状。在第二个曲线上的视图与相邻视图具有减小的视差差值。该视角锥形状被适配成通过减小最大呈现位置来减少伪像的可见度。在中心位置处，替换的锥形状可以具有与常规锥相同的斜率。进一步远离该中心，锥形状被改变（相对于常规锥）以限制图像形变。
图9右上方示出环锥（cyclic cone）形状。该环锥形状92被适配成通过创建较大但不太强的逆向立体区域来避免锐利的过渡。
图9左下方示出受限的锥。该受限的锥形状93是将最大呈现位置限制到常规锥的约40%的锥形状的示例。当用户移动经过该锥时，他/她经历立体、降低的立体、逆向立体和再一次的降低的立体的循环。
图9右下方示出2D-3D锥。2D-3D锥形状94也限制最大呈现位置，但重用该锥的外面的部分以提供单视图（2D）观看体验。当用户移动通过该锥时，他/她经历立体、逆向立体、单视图和再一次逆向立体的循环。该锥形状允许其中只有一些成员更喜欢立体甚于单视图的一群人观看3D电影。
总之，深度信令数据使得呈现过程能够针对实际3D显示器从深度数据得到更好的结果，同时调整仍然由源侧控制。深度信令数据可以由与调整3D显示器中的视图形变相关的图像参数或深度特性（例如图6-8中所示的表）构成。举例来说，表中包括的深度信息中的边缘类型指示某种类型的边缘以辅助呈现器从深度数据得到最大的结果。同样，可以包括用于生成深度数据的算法以使得呈现***能够解释该值并且由此推断如何呈现深度数据以及形变视图。
应当指出，本发明可以用于任何类型的3D图像数据，不管是静止图片还是运动视频。3D图像数据被假定为电子的、数字地编码的数据而可获得。本发明涉及这样的图像数据并且在数字域中操纵图像数据。
本发明可以使用可编程组件而以硬件和/或软件实现。用于实现本发明的方法具有对应于为参考图1-5所描述的***定义的功能的步骤。
应当理解，为清楚起见，前面的描述已经参考不同的功能单元和处理器描述了本发明的实施例。然而，显而易见的是，在不同功能单元或处理器之间的功能的任何适当分布可以被使用而不偏离本发明。举例来说，图示为由分离的单元、处理器或控制器施行的功能可以由同一处理器或控制器施行。因此，对于特定功能单元的引用仅仅应视为对于用于提供所描述的功能的合适构件的引用而非指示严格的逻辑或物理结构或组织。本发明可以以任何合适的形式实现，包括硬件、软件、固件或其任意组合。
应当指出，在本文档中，词语“包括”不排除与所列出的那些不同的其他元件或步骤的存在并且在元件之前的词语“一”或“一个”不排除多个这样的元件的存在，任何参考符号不限制权利要求的范围，本发明可以借助于硬件和软件两者来实现，以及若干“构件”或“单元”可以由同一项硬件或软件表示，并且处理器可以可能地与硬件元件协作，来履行一个或多个单元的功能。另外，本发明不限于这些实施例，并且本发明在于每个和每一个新颖特征或前面描述的或记载于相互不同的从属权利要求中的特征的组合。
Claims (12)
1.用于提供三维（3D）视频信号（41）以供传送到3D目的地设备（50）的3D源设备（40），
所述3D视频信号包括：
-表示3D显示器上的左眼视图的第一视频信息；
-表示所述3D显示器上的右眼视图的第二视频信息；
并且被布置用于：
-鉴于所述3D显示器的性能，根据深度信令数据适配所述目的地深度图或视图的形变，
所述3D目的地设备包括：
-用于接收所述3D视频信号的接收机（51，58，59）；
-用于提供目的地深度图以为所述3D显示器实现视图的形变的目的地深度处理器（52）；
所述3D源设备包括：
-用于生成所述3D视频信号并用于将所述3D视频信号传送到所述3D目的地设备的输出单元（46）；
其中所述3D源设备包括：
-用于提供所述视频信息的所述深度信令数据的源深度处理器（42），所述深度信令数据表示用于使所述目的地深度图或视图的形变适配于特定3D显示器的处理参数或指令，
并且所述输出单元布置用于将所述深度信令数据包括在所述3D视频信号中。
2.如权利要求1中所述的3D源设备，其中所述源深度处理器（42）布置用于提供所述深度信令数据作为所述处理参数或指令，所述深度信令数据包括以下各项中的至少一个：
-偏移量；
-增益；
-缩放的类型；
-边缘的类型。
3.如权利要求1或2中所述的3D源设备，其中所述源深度处理器（42）布置用于针对相应的多个不同3D显示器类型而提供多个不同的深度信令数据，以及所述输出单元布置用于将所述多个不同的深度信令数据包括在所述3D视频信号中。
4.如权利要求1或2中所述的3D源设备，其中所述源深度处理器（42）布置用于根据所述3D视频信号中的镜头而提供针对一段时间的所述深度信令数据。
5.如权利要求1中所述的3D源设备，其中所述源深度处理器（42）布置用于提供包括感兴趣区域的区域数据的深度信令数据作为所述处理参数或指令以使得能够在所述3D显示器的优选深度范围内显示所述感兴趣区域。
6.如权利要求5中所述的3D源设备，其中所述源深度处理器（42）布置用于以下各项中的至少一个：
-根据所述感兴趣区域的变化超过预定阈值来更新所述区域数据；
-提供指示所述感兴趣区域的深度范围的区域深度数据作为所述区域数据；
-提供指示与所述3D视频信号中的至少一个宏块对齐的所述感兴趣区域区块的面积的区域面积数据作为所述区域数据，所述宏块表示压缩视频数据的预定块。
7.如权利要求1中所述的3D源设备，其中所述3D视频信号包括深度数据，并且所述源深度处理器（42）布置用于提供包括所述视频信息的深度数据类型的所述深度信令数据作为所述处理参数或指令，其中所述深度数据类型包括以下各项中的至少一个：
-指示基于聚焦数据生成的深度数据的聚焦指示符；
-指示基于透视数据生成的深度数据的透视指示符；
-指示基于运动数据生成的深度数据的运动指示符；
-指示源自特定源的深度数据的源指示符；
-指示由特定算法处理的深度数据的算法指示符；
-指示在深度数据中的对象的边界处使用的扩张的量的扩张指示符。
8.用于从如权利要求1所述的3D源设备接收三维（3D）视频信号的3D目的地设备（50），
所述3D目的地设备包括：
-用于接收所述3D视频信号的接收机（51，58，59）；
-用于提供目的地深度图以为所述3D显示器实现视图的形变的目的地深度处理器（52）；
其中所述接收机布置用于从所述3D视频信号获取所述视频信息的深度信令数据，该深度信令数据表示用于将所述目的地深度图或视图的形变适配于特定3D显示器的处理参数或指令；以及
所述目的地深度处理器（52）布置用于：
-鉴于所述3D显示器的性能，根据所述深度信令数据适配所述目的地深度图或视图的形变。
9.如权利要求8中所述的目的地设备，其中所述目的地深度处理器（52）布置用于处理作为所述处理参数或指令的所述深度信令数据，该深度信令数据包括以下各项中的至少一个：偏移量、增益、缩放的类型、边缘的类型，
或者所述目的地深度处理器布置用于选择针对相应的多个不同3D显示器类型的多个不同深度信令数据中的一个，
或者所述目的地深度处理器布置用于处理作为所述处理参数或指令的、包括感兴趣区域的区域数据的深度信令数据以使得能够在所述3D显示器的优选深度范围内显示所述感兴趣区域，
或者其中所述3D视频信号包括深度数据，并且所述目的地深度处理器布置用于处理作为所述处理参数或指令的、包括所述视频信息的深度数据类型的所述深度信令数据，其中所述深度数据类型包括以下各项中的至少一个：
-指示基于聚焦数据生成的深度数据的聚焦指示符；
-指示基于透视数据生成的深度数据的透视指示符；
-指示基于运动数据生成的深度数据的运动指示符；
-指示源自特定源的深度数据的源指示符；
-指示由特定算法处理的深度数据的算法指示符；
-指示在深度数据中的对象的边界处使用的扩张的量的扩张指示符。
10. 如权利要求8中所述的目的地设备，其中所述接收机包括用于读取记录载体以接收所述3D视频信号的读取单元（58），或者所述设备包括：
-用于根据所述目的地深度图基于所述第一和第二视频信息来生成所述3D视频信号的多个视图的视图处理器（62）；以及
-用于显示所述3D视频信号的所述多个视图的3D显示器（63）。
11.提供三维（3D）视频信号以供传送到如权利要求8所述的3D目的地设备的方法，
所述3D视频信号包括：
-表示3D显示器上的左眼视图的第一视频信息；
-表示所述3D显示器上的右眼视图的第二视频信息；
所述方法包括：
-生成所述3D视频信号；
-提供所述视频信息的深度信令数据，以及将所述深度信令数据包括在所述3D视频信号中，该深度信令数据表示用于将所述目的地深度图或视图的形变适配于特定3D显示器的处理参数或指令。
12.如权利要求11中所述的方法，其中所述方法包括以下步骤：制造记录载体，该记录载体被提供有表示所述3D视频信号的标记的轨道。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261623668P | 2012-04-13 | 2012-04-13 | |
| US61/623668 | 2012-04-13 | ||
| PCT/IB2013/052857 WO2013153523A2 (en) | 2012-04-13 | 2013-04-10 | Depth signaling data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104769940A CN104769940A (zh) | 2015-07-08 |
| CN104769940B true CN104769940B (zh) | 2017-07-11 |
Family
ID=48577162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380019646.8A Expired - Fee Related CN104769940B (zh) | 2012-04-13 | 2013-04-10 | 深度信令数据 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20150062296A1 (zh) |
| EP (1) | EP2837183A2 (zh) |
| JP (1) | JP2015516751A (zh) |
| KR (1) | KR20150008408A (zh) |
| CN (1) | CN104769940B (zh) |
| RU (1) | RU2632404C2 (zh) |
| TW (1) | TWI624803B (zh) |
| WO (1) | WO2013153523A2 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9571812B2 (en) * | 2013-04-12 | 2017-02-14 | Disney Enterprises, Inc. | Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding |
| EP2908519A1 (en) * | 2014-02-14 | 2015-08-19 | Thomson Licensing | Method for displaying a 3D content on a multi-view display device, corresponding multi-view display device and computer program product |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1587329B1 (en) * | 2003-01-20 | 2015-04-15 | Sanyo Electric Co., Ltd. | Three-dimensional video providing method and three-dimensional video display device |
| US8412019B2 (en) * | 2003-03-17 | 2013-04-02 | Koninklijke Philips Electronics N.V. | Apparatus for and a method of storing a real time stream of digital information signals |
| MXPA05008086A (es) * | 2003-07-07 | 2005-09-21 | Samsung Electronics Co Ltd | Medio de almacenamiento de informacion que guarda datos de multiples angulos y metodo de grabacion y aparato de reproduccion del mismo. |
| KR101345303B1 (ko) * | 2007-03-29 | 2013-12-27 | 삼성전자주식회사 | 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치 |
| KR101484487B1 (ko) * | 2007-10-11 | 2015-01-28 | 코닌클리케 필립스 엔.브이. | 깊이-맵을 프로세싱하는 방법 및 디바이스 |
| JP5575659B2 (ja) * | 2007-12-14 | 2014-08-20 | コーニンクレッカ フィリップス エヌ ヴェ | ビデオ再生のための三次元モード選択メカニズム |
| CN102077246A (zh) * | 2008-06-24 | 2011-05-25 | 汤姆森特许公司 | 利用运动补偿进行图像的深度提取的***和方法 |
| KR101602904B1 (ko) * | 2008-10-10 | 2016-03-11 | 코닌클리케 필립스 엔.브이. | 신호에 포함된 시차 정보를 처리하는 방법 |
| CN102257824B (zh) * | 2008-12-18 | 2015-04-22 | Lg电子株式会社 | 3d图像信号处理方法和用于实现该方法的图像显示器 |
| KR101716636B1 (ko) * | 2009-07-27 | 2017-03-15 | 코닌클리케 필립스 엔.브이. | ３ｄ 비디오 및 보조 데이터의 결합 |
| RU2423018C2 (ru) * | 2009-08-04 | 2011-06-27 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ и система для преобразования стереоконтента |
| GB2473282B (en) * | 2009-09-08 | 2011-10-12 | Nds Ltd | Recommended depth value |
| CN102484738B (zh) * | 2009-09-16 | 2015-08-12 | 皇家飞利浦电子股份有限公司 | 3d屏幕尺寸补偿 |
| KR101699920B1 (ko) * | 2009-10-07 | 2017-01-25 | 삼성전자주식회사 | 깊이 조절 방법 및 장치 |
| JP2011228950A (ja) * | 2010-04-20 | 2011-11-10 | Sony Corp | データ構造、画像処理装置、画像処理方法、およびプログラム |
| WO2011133496A2 (en) * | 2010-04-21 | 2011-10-27 | Samir Hulyalkar | System, method and apparatus for generation, transmission and display of 3d content |
| KR101685343B1 (ko) * | 2010-06-01 | 2016-12-12 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
| US8896664B2 (en) * | 2010-09-19 | 2014-11-25 | Lg Electronics Inc. | Method and apparatus for processing a broadcast signal for 3D broadcast service |
| JP4938884B2 (ja) * | 2010-09-30 | 2012-05-23 | シャープ株式会社 | 予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラム |
| EP2697975A1 (en) * | 2011-04-15 | 2014-02-19 | Dolby Laboratories Licensing Corporation | Systems and methods for rendering 3d images independent of display size and viewing distance |
| KR20120119173A (ko) * | 2011-04-20 | 2012-10-30 | 삼성전자주식회사 | 3ｄ 영상처리장치 및 그 입체감 조정방법 |
| TWI586143B (zh) * | 2012-04-05 | 2017-06-01 | 皇家飛利浦電子股份有限公司 | 用於提供用於傳送至三維[3d]目標裝置之3d視訊信號之3d源裝置、方法及記錄載體以及用於自3d源裝置接收3d視訊信號之3d目標裝置 |
-
2013
- 2013-04-10 JP JP2015505055A patent/JP2015516751A/ja active Pending
- 2013-04-10 RU RU2014145540A patent/RU2632404C2/ru not_active IP Right Cessation
- 2013-04-10 CN CN201380019646.8A patent/CN104769940B/zh not_active Expired - Fee Related
- 2013-04-10 WO PCT/IB2013/052857 patent/WO2013153523A2/en active Application Filing
- 2013-04-10 EP EP13727355.3A patent/EP2837183A2/en not_active Withdrawn
- 2013-04-10 KR KR1020147031854A patent/KR20150008408A/ko not_active Application Discontinuation
- 2013-04-10 US US14/391,415 patent/US20150062296A1/en not_active Abandoned
- 2013-04-12 TW TW102113140A patent/TWI624803B/zh not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| EP2837183A2 (en) | 2015-02-18 |
| CN104769940A (zh) | 2015-07-08 |
| WO2013153523A2 (en) | 2013-10-17 |
| JP2015516751A (ja) | 2015-06-11 |
| RU2014145540A (ru) | 2016-06-10 |
| US20150062296A1 (en) | 2015-03-05 |
| RU2632404C2 (ru) | 2017-10-04 |
| KR20150008408A (ko) | 2015-01-22 |
| TW201351345A (zh) | 2013-12-16 |
| WO2013153523A3 (en) | 2015-02-26 |
| TWI624803B (zh) | 2018-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11310486B2 (en) | Method and apparatus for combining 3D image and graphical data | |
| KR101749893B1 (ko) | 다목적 ３―ｄ 화상 포맷 | |
| KR20110129903A (ko) | ３ｄ 시청자 메타데이터의 전송 | |
| CN104641632B (zh) | 用于深度滤波的元数据 | |
| RU2632426C2 (ru) | Вспомогательные данные глубины | |
| CN103024408A (zh) | 立体图像转换装置和方法、立体图像输出装置 | |
| CN104769940B (zh) | 深度信令数据 | |
| KR20110114583A (ko) | 디스플레이 파라미터 설정들의 제어 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170711 Termination date: 20210410 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |