CN105612742A - 重新映射深度图以用于3d观看 - Google Patents

重新映射深度图以用于3d观看 Download PDF

Info

Publication number
CN105612742A
CN105612742A CN201480056592.7A CN201480056592A CN105612742A CN 105612742 A CN105612742 A CN 105612742A CN 201480056592 A CN201480056592 A CN 201480056592A CN 105612742 A CN105612742 A CN 105612742A
Authority
CN
China
Prior art keywords
depth
degree
pixel
function
depth value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480056592.7A
Other languages
English (en)
Inventor
Z.原
W.H.A.布鲁斯
W.德哈安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN105612742A publication Critical patent/CN105612742A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

公开了布置用于重新映射深度图（101）的图像处理设备（100）。3D图像包括深度图和内容图像。深度图具有在2D阵列中的深度像素。每个深度像素具有深度值（203）和位置（201，202）。所述重新映射包括全局重新映射函数（122）。图像处理设备包括处理单元（199），其包括：选择功能（110），其用于使用基于至少位置和深度值的选择准则来选择与三维图像中的至少一个对象相对应的深度像素（112）；确定功能（120），其用于确定用于重新映射对象的局部重新映射函数（121）；以及映射功能（130），其用于通过将局部重新映射函数用于重新映射所选择的深度像素并将全局重新映射函数用于其他深度像素来重新映射深度图。使用经由耦合到3D图像的元数据而提供的选择准则来选择所述对象。

Description

重新映射深度图以用于3D观看
技术领域
本发明涉及与二维（2D）内容图像相对应的深度图的重新映射。2D图像和深度图形成呈现要在3D显示器上观看的三维（3D）图像的基础。重新映射将深度图从输入深度范围映射到3D显示器的输出深度范围。
背景技术
文献论文“Disparityremappingtoamelioratevisualcomfortofstereoscopicvideo”（Sohn等人,Proc.SPIE8648,StereoscopicDisplaysandApplicationsXXIV,86480Y）描述了一种重新映射视差图的方法。视差图是也包括与视差图相对应的二维（2D）图像的三维（3D）图像的一部分。将视差图重新映射到新的视差图上，使得可以在3D显示器上观看（基于新的视差图的）3D图像。如下建立重新映射。首先，该方法建立全局重新映射曲线以用于将视差图从输入视察范围映射到输出视差范围（3D显示器的）。其次，该方法基于在3D显示器上观看3D图像时导致视觉不适的视差转变来识别局部显著特征。因此将全局重新映射曲线适配到局部显著特征以便减小所述视觉不适。然后根据所适配的全局重新映射曲线来重新映射视差图。
US2012/0314933公开了图像处理，其包括：估计立体图像上被估计为受到用户关注的关注区，检测立体图像的视差并生成指示立体图像的每个区的视差的视差图，基于关注区和视差图来设置用于校正立体图像的视差的转换特性，以及基于转换特性来校正视差图。可以针对关注区和背景使用不同的转换函数。
US2013/0141422描述了一种用于更改与三维立体图像的一部分相关联的性质的***。方法包括基于虚拟对象的一部分的左眼图像与虚拟图像的该部分的右眼图像之间的差异来确定三维图像中虚拟对象的该部分沿着相对于显示器的第一轴处于预定的地点。第一轴垂直于显示器的平面。
WO2009/034519描述了接收用于图像数据的深度相关信息，包括接收与在深度相关信息的生成中使用的映射函数有关的元数据。
US2012/0306866描述了用于调节深度信息的3D图像转换。所述转换包括生成关于输入图像的深度信息；检测具有超过预设范围的视差的对象；以及通过将检测到的对象的视差调节到预设范围内来调节对象的深度信息。可以分析例如流派或观看年龄这样的元数据以便将所生成的深度信息调节到预定的范围内。
发明内容
现有技术的缺点是全局视差重新映射（或“重定目标”）对于局部特征的顺应性是有限的，因为向局部特征的所有适配都需要被相同的（经适配的）全局重新映射所适应。本发明的目的是通过提供准确地选择并适配图像中的对象的深度重新映射而不在图像的其他部分中适配所述深度重新映射来克服现有技术的缺点。
公开了一种图像处理设备，其布置用于重新映射三维图像的深度图，三维图像包括深度图和二维内容图像，深度图具有在与内容图像中图像像素的位置相对应的位置处配置在二维阵列中的深度像素，每个深度像素具有深度值，所述重新映射包括用于将深度图的深度值映射到深度图的新深度值的全局重新映射函数，所述图像处理设备包括接收单元，其用于接收包括三维图像和耦合到三维图像的元数据的信号，元数据包括基于至少位置和深度值的选择准则以用于选择与三维图像中的至少一个对象相对应的深度像素，以及处理单元，其包括：选择功能，其配置成从元数据检索选择准则并使用选择准则来选择与三维图像中的至少一个对象相对应的深度像素；确定功能，其配置成确定用于将所选择的深度像素的深度值映射到新深度值的局部重新映射函数；以及映射功能，其配置成通过将局部重新映射函数用于重新映射所选择的深度像素并将全局重新映射函数用于除了所选择的深度像素以外的深度像素来重新映射深度图。
三维（3D）图像包括深度图和相应的内容图像。深度图包括在沿着X和Y轴的相应位置处布置成2D阵列的深度像素，每个深度像素具有深度值。深度图的每个像素对应于内容图像中相应位置处的像素。这样的3D图像格式通常已知为“图像加深度”或“2D+Z”。
重新映射深度图意味着深度图的相应深度像素的深度值向相应新深度值的映射。重新映射至少包括用于重新映射深度图的全局重新映射函数。
选择功能配置成使用至少基于位置和深度值的选择准则来选择与三维图像中的对象相对应的深度像素。例如，选择准则包括在深度和位置方面的边界，其包括与前景对象相对应的深度像素：选择功能通过选择处于边界内的深度像素来选择与前景对象相对应的深度像素。基于位置和深度值选择对象使得能够实现对象的准确选择，从而高百分比的深度像素对应于该对象，而选择选择低百分比的不与该对象相对应的深度像素。
可选地，选择功能包括用于确定3D图像中的（前景）对象的自动化过程。
确定功能配置成确定用于重新映射所选择的深度像素的局部重新映射函数。局部重新映射函数是与全局重新映射函数不同的重新映射函数。
可选地，确定功能配置成从耦合到3D图像的元数据检索局部重新映射函数。可选地，确定功能包括用于确定局部重新映射函数的自动化过程，使得对象与另一对象和/或背景之间的深度对比度改进。
重新映射功能配置成使用局部重新映射函数和全局重新映射函数两者来重新映射深度图。局部重新映射函数用于重新映射所选择的深度像素，而全局重新映射函数用于重新映射其余的（未选择的）深度像素。
公开了一种用于重新映射三维图像的深度图的方法，三维图像包括深度图和二维内容图像，深度图具有在与内容图像中图像像素的位置相对应的位置处配置在二维阵列中的深度像素，每个深度像素具有深度值，所述重新映射包括用于将深度图的深度值映射到新深度值的全局重新映射函数，所述方法包括步骤：接收包括三维图像和耦合到三维图像的元数据的信号，元数据包括基于至少位置和深度值的选择准则以用于选择与三维图像中的至少一个对象相对应的深度像素；从元数据检索选择准则；使用选择准则来选择与三维图像中的对象相对应的深度像素；以及确定用于将所选择的深度像素的深度值映射到新深度值的局部重新映射函数；以及通过将局部重新映射函数用于重新映射所选择的深度像素并将全局重新映射函数用于除了所选择的深度像素以外的深度像素来重新映射深度图。
公开了一种用于在上述图像处理设备中使用以用于重新映射深度图的信号，所述信号包括三维图像和耦合到三维图像的元数据，三维图像包括深度图和二维内容图像，深度图具有配置在二维阵列中的深度像素，每个深度像素具有深度值并且具有与内容图像中的位置相对应的在二维阵列中的位置，元数据包括基于至少位置和深度值的选择准则以用于选择与三维图像中的至少一个对象相对应的深度像素从而将所选择的深度像素的深度值映射到新深度值。
公开了一种用于生成供在以上信号中使用的元数据的图像编码方法，所述方法包括步骤：生成元数据，所述元数据包括基于至少位置和深度值的选择准则以用于选择与三维图像中的至少一个对象相对应的深度像素从而将所选择的深度像素的深度值映射到新深度值；以及将元数据耦合到三维图像。
本发明不具有现有技术的所述缺点，因为通过使用位置和深度值两者，元数据使得能够准确地选择与对象相对应的深度像素。对象的准确选择因而使得能够准确地向对象应用局部重新映射而保持全局重新映射用于图像的其他部分。
注意术语“准确地”在本上下文中是指选择高百分比的与该对象相对应的深度像素而选择低百分比的不与该对象相对应的深度像素。例如，高百分比是指95-100%，并且低百分比是指0-5%。本发明的效果是深度重新映射准确地适配于3D图像中的（局部）对象，而同时保持全局重新映射用于3D图像的其他部分。
附图说明
本发明的这些和其他方面从下文描述的实施例中是显而易见的，并且将参考下文描述的实施例来被阐释。
在图中，
图1图示了用于重新映射深度图的图像处理设备，
图2a图示了包括两个前景对象和背景的深度图，
图2b图示了用于两个前景对象的深度轮廓，
图3a图示了使用多个形状的复杂对象的选择，
图3b图示了包括多个较小断开对象的对象的选择，以及
图4图示了全局重新映射函数和两个局部重新映射函数。
应注意，不同图中具有相同附图标记的项目具有相同的结构特征和相同的功能。在已说明这样的项目的功能和/或结构的情况下，在具体实施方式中没有必要对其进行重复说明。
具体实施方式
图1图示了用于重新映射深度图MAP101的图像处理设备100。深度图MAP包括深度像素的二维（2D）阵列，其中每个深度像素具有深度值和在2D阵列中的位置。图像处理设备100包括布置成执行若干功能110、120和130的处理单元199。选择功能SELFUN110使用选择准则CRT111来选择深度图MAP中的深度像素SELPIX112。确定功能DETFUN120然后确定用于重新映射所选择的深度像素SELPIX的局部重新映射函数FLOC121。映射功能MAPFUN130然后通过（1）使用局部重新映射函数FLOC重新映射所选择的深度像素SELPIX以及通过（2）使用全局重新映射函数FGLOB122重新映射除所选择的深度像素SELPIX以外的其他像素，来重新映射深度图MAP。重新映射功能MAPFUN的输出是新深度图MAPNEW131，其具有与输入深度图MAP相同的格式。
注意，术语“重新映射深度图”意指将深度图的深度值映射到相应的新深度值。
将深度图MAP格式化为所述深度像素的2D阵列。深度图MAP包括深度像素并且耦合至包括表示内容的内容像素的（2D）内容图像。例如，内容图像示出自然场景并且是照片或者是电影的视频帧。内容图像和深度图像101的组合构成了通常已知为“2D+Z”或“2D+深度”的三维（3D）图像格式。
2D阵列中的位置处的深度像素对应于（2D）内容图像中对应位置处的像素。如果深度图具有与内容图像相同的分辨率，则内容图像中特定位置处的内容像素对应于深度图中相同特定位置处的深度像素。如果深度图具有与内容图像不同的分辨率，则内容图像中位置处的内容像素对应于经缩放的深度图中相同位置处的深度像素，所述经缩放的深度图是将深度图缩放到内容图像的分辨率的结果。因此，在本文献的上下文中，对于内容图像中的位置（或区）的引述等同于深度图MAP中的位置。
可选地，图像处理设备100包括接收单元RECVR150，其用于接收包括3D图像和元数据的信号以向处理单元199提供深度图MAP。接收单元RECVR可以例如从光盘接收具有深度图的3D图像和包括选择准则的元数据，并将深度图和选择准则提供给处理单元199。具有接收单元RECVR的情况下，图像处理设备100可以充当光盘单元。
可选地，图像处理设备100包括显示器DISP160，其从处理单元199接收重新映射的深度图MAPNEW并基于重新映射的深度图MAPNEW呈现3D图像以用于在显示器DISP上观看。具有显示器DISP的情况下，图像处理100可以充当3DTV。
选择功能SELFUN从深度图MAP选择满足选择准则CRT的深度像素。选择功能SELFUN例如从耦合到3D图像的元数据获得选择准则CRT，并相应地选择深度像素。选择准则CRT是基于（至少）深度和位置。
所选择的（深度）像素典型地对应于3D图像中的对象。对象自然地局限于3D图像的区。例如，对象对应于在捕获3D图像的摄像机附近的浮球。当在3D显示器上观看3D图像时，球在前景中并且在3D图像中在场景的其余部分前面漂浮。球不仅局限于深度图MAP中的区，而且还局限于有限的深度范围。因此可以使用限定了3D定界框的选择准则来选择球，所述3D定界框具有三条边：分别是（1）沿着2D位置的水平维度的第一边、（2）沿着2D位置的垂直维度的第二边以及（３）沿着深度维度的第三边。有效地，３Ｄ定界框被限定在作为“位置－深度”空间的3D数学空间中。选择球是通过选择处于定界框内部的深度像素来进行的。基于深度和位置两者来选择诸如球这样的对象的优点将在下文中进一步进行说明。
图2a图示了包括两个前景对象A220和B230以及背景C240的深度图210。深度图210是具有水平坐标X201和垂直坐标Y202的2D阵列。深度图201中的每个深度像素因此具有深度值和位置(X,Y)。
前景对象A被圆形边界221xy包围，而前景对象B被定界框231包围。可以通过选择处于圆形边界221xy内部的深度像素来选择与前景对象A相对应的深度像素。然而这样的选择将是不准确的，在于不仅仅与对象A相对应的深度像素将会被选择，因为背景C和前景对象B的一部分也被圆形221xy包括。同样，定界框231也会不适合于准确地选择与前景B相对应的深度像素，因为定界框231也包括背景C和前景对象A的一部分。重叠区域250是其中（对象A的）边界220也包括对象B的一部分并且其中（对象B的）边界230也包括对象A的一部分的区。因此，诸如边界221xy和231xy这样的纯粹基于位置的选择准则不适合于准确地选择内容图像中的对象A和对象B。注意，该上下文中“对象的准确选择”是指选择高比例的与该对象相对应的深度像素，而选择低比例的不与该对象相对应的深度像素。例如，高比例是指95-100%，并且低比例是指0-5%。
图2b图示了用于两个前景对象A和B的深度轮廓。图表260具有轴深度D203和水平坐标X201。图2b中的深度轮廓225表示图2a的深度图210的截面（还参见图2a中的虚线225）。深度轮廓225包括对象A和背景C（参见所指示的范围241）两者的像素。同样，图2b中的深度轮廓235还表示图2a的深度图210的截面（还参见图2a中的虚线235）。深度轮廓235包括对象B和背景C两者的像素。
前景对象A被椭圆形边界221xd包围，而前景对象B被定界框231xd（矩形边界）包围。可以使用椭圆形边界221xd来准确地选择与前景对象A相对应的深度像素，因为仅前景对象A的像素包括在椭圆221xd中。因此，通过选择处于椭圆221xd内部的深度像素，只有与前景对象A相对应的深度像素被选择。同样，可以使用定界框231xd来准确地选择与前景对象B相对应的深度像素，因为仅前景对象B的像素包括在定界框231xd中。因此，通过选择处于定界框231xd内部的深度像素，只有与前景对象A相对应的深度像素被选择。诸如边界221xd和231xd这样的基于位置和深度值两者的选择准则因此适合于准确地选择3D图像中的对象。
图2a和2b每个表示三维X-Y-D（XYD）空间（即，位置-深度空间）的二维视图。将前面段落中的示例一般化到XYD空间，因而使用XYD空间中的3D边界来选择对象。为了准确地选择前景对象A，选择准则包括3D椭球。假定椭球以类似于在D-X平面中的方式在D-Y平面（未被示出）中包括对象A（如图2b所示），则使用3D椭球准确地选择前景对象A。所选择的深度像素排他地包括与对象A相对应的所有深度像素。同样，为了准确地选择前景对象B，选择准则包括3D定界框。假定3D定界框以类似于在D-X平面中（如图2所示）的方式在D-Y平面（未被示出）中包括对象B，则通过3D定界框来准确地选择前景对象B。所选择的深度像素排他地包括与对象B相对应的所有深度像素。因此，基于2D位置和深度值两者的选择准则适合于准确地选择3D图像中的对象。
前面的锻炼描述了一般情况的示例，其中准确选择要求基于2D位置和深度值两者的选择准则。然而，两个特定情况可能发生，其中准确选择不要求2D位置或者要求2D位置的仅一个维度。
在图2a-2b中的前景对象A和B的第一特定情况下，仅基于深度值的选择准则对于准确地分别选择对象A和B的深度像素来说可以实际上是充足的，假定对象A和B以及背景C在深度值方面分离的话。（注意，图2b仅示出了图2a的深度图210的仅两个截面225和235，使得人们不同仅从图2b推断出对象A和B以及背景C在深度值方面完全分离）。该第一潜在情况发生在对象A和B以及背景C确实在深度值方面被定界框231xd的下（深度）界和上（深度）界完全分离时。在这种情况下，背景C仅具有在所述下界以下的深度值，对象A仅具有在所述上界以上的深度值，并且对象B仅具有在所述下届和所述上界之间的深度值。
在第二特定情况下，类似于第一特定情况，对象A和B的准确选择仅要求基于深度值和位置的一个维度（X或Y）的准则。对于该第二特定情况的要求将是对象A和B以及背景C在深度值方面以及在2D位置的一个维度（X或Y）方面分离。
相反，如以上说明的，在其中边界221xy（或231xy）以某个边距包围对象A（或B）（如图2a所图示的）的典型情况下，仅基于位置来准确地选择对象A（或B）的深度像素是不可能的。边距在实践上是必要的，以便能够包括和选择与具有诸如椭圆这样的简单形状的对象（其可以具有任意形状）相对应的所有像素。围绕对象A的边界221xy的边距包括背景C和甚至对象B的部分。典型地，对象A/B和背景C并不仅仅在深度值方面分离，使得准确选择要求基于深度值和位置两者的准则。
总的来说：在一般情况下，准确选择要求基于深度值和2D位置的选择；在第一特定情况下，准确选择要求仅基于深度的选择；在第二特定情况下，准确选择要求基于深度和位置的一个维度的选择。
各种形状可以用于选择对象。图2a和2b图示了椭球和矩形定界框。其他可能的形状包括立方体或球体或圆柱体。其他可能的形状包括旋转使其主轴不与X、Y或D轴对准的椭球或类似地旋转的定界框。这样的形状由几个数字来参数化，这几个数字因此而构成了选择准则。例如，椭球（或定界框）由X、Y和D维度中每个维度中的范围来参数化，因此由总计六个数字来参数化：三个维度乘以两个数字（范围由作为最小值和最大值的两个数字来限定）。参数化旋转的椭球（或定界框）一般要求两个附加数字，即，两个旋转角。
注意，原则上XYD空间中是闭合体积的任何形状都可以用于选择对象。
图3a图示了使用多个形状321-323的复杂对象320的选择。图表310的格式类似于图表210（图2a中）的格式：轴由相应的轴坐标X和Y表示。前景对象320是复杂的，在于其具有不规则形状。在该示例中，三个椭圆包括前景对象320。可替换地，单个大椭圆331用于包括对象320；然而使用三个（小）椭圆321-323产生了更紧密的“拟合”。本文中，选择准则包括描述在本文中由X-Y平面中的二维椭圆321-323示出的三个（3D）椭球的参数。假定对于也包括深度维度D中的前景对象320而言三椭球是充足的，那么实际上选择与前景对象320相对应的深度像素是通过选择处于椭球321-323内部的深度像素来进行的。换言之：椭球321-323一起形成了体积，其外表面包封了与对象320相对应的深度像素，并且通过选择由所述外表面包封的深度像素来选择深度像素。图3a中的示例的变形（未被示出）是使用不同形状的混合来选择前景对象320，例如椭球、定界框和球体。
注意对象与其选择边界之间的边距优选地不过小但是也不过大。小边距对应于围绕对象的选择边界的“紧密拟合”，并且因此具有并不是对象的所有深度像素都包括在边界中的风险并因而不被选择。大边距对应于围绕对象的选择边界（例如，椭球331）的“松散拟合”并且具有其他对象或背景的深度像素被包括的风险，并且因此不被选择。
图3b图示了包括多个较小断开对象371-376的对象370的选择。图表360与图3a的图表310格式相同。玩偶370具有头371、躯干372和四肢373-376，其不直接彼此相连，而是取而代之地以某个空间分离。这样的“断开”对象因此可以使用多个断开形状380来选择，其在这种情况下甚至是不同形状的混合。作为另一示例，副标题表示单个对象，其包括作为个体字符的多个较小断开对象。
再次，注意图表360表示二维视图并且图3b的一般化情况对应于使用多个三维形状380在三维XYD空间中选择多个断开的3D对象371-376。
作为图3b的变形，包封单个体积的选择边界可以不仅包括单个对象而且还包括多个对象。相反，在先前的示例中，单个对象由包括一个或多个形状的单个体积包封。例如，在图2a和2b的情况下，对象A和B可以由单个定界框选择，假定背景不被单个定界框选择的话（例如当背景的深度值全部比对象B的所有深度值高时）。作为另一示例，多个对象对应于踢足球的两个人，其总计是三个断开的对象：第一人、第二人和球。这三个对象相关并且一起表示单个前景场景。根据本发明，单个体积被用来包封三个对象，并且使用单个局部重新映射函数来重新映射三个对象的深度值。（可替换地，类似于图3b的情况，三个对象中的每个由单个体积单独选择（因此总计三个体积），并且使用相同的单个局部重新映射函数来重新映射三个对象的深度值）。作为进一步细化，选择功能SELFUN包括滤除小簇的深度像素的附加选择功能。相比于大簇，小簇具有更高的概率包含噪声。因此，通过仅选择与特别大的簇相对应的深度像素，选择并非噪声的对象的可能性提高。所述附加选择如下进行。在XYD空间中包围深度像素限定预定尺寸的小体积（例如框或球体），并且对处于体积内部的深度像素的量进行计数。如果所计数的量在预定量以下，则不选择深度像素。换言之，如果深度像素处的像素密度过低，则不选择该深度像素。
可选地，选择功能SELFUN使用自动化过程来确定对象A和B而不使用从元数据检索的XYD空间中的边界。自动化过程使用聚类算法来确定形成XYD空间中的大簇的深度像素组。形成簇的深度像素组在定义上在XYD空间中具有类似的位置。从图2a和2b中显而易见的是对象A和对象B形成分离的深度像素簇，其可以由聚类算法来确定。在已确定XYD空间中的大簇的情况下，选择功能SELFUN通过选择属于所确定的簇的深度像素来选择与对象相对应的深度像素。注意，本文中术语“大簇”用来与先前段落中的术语“小簇”区分。大簇是指对象，而小簇是指伪深度像素，例如来自噪声的。
在选择功能中使用的聚类算法可以是教科书聚类算法，诸如所谓的K平均聚类算法（例如，J.A.Hartigan(1975),'Clusteringalgorithms',JohnWiley&Sons.Inc.）。也可以使用用于在多维空间中选择簇的其他公知聚类算法。
除了所述类似的位置以外，聚类技术还可以使用诸如颜色或结构的相似度之类的附加性质来确定簇。与深度图中的位置处的深度像素相关联的颜色或结构从（内容）图像中的对应位置检索。例如，如果对象A对应于光滑的红色球，则对象A的深度像素将不仅局限于深度图中的有限的XYD空间，但是内容图像中的对应像素也将是红色的并且是光滑区的一部分。（注意，通过使用二维位置、深度、颜色和结构，聚类算法有效地搜索五维空间中的簇）。使用附加性质改进了聚类算法的准确度和鲁棒性。
注意，使用用于搜索深度像素的自动化过程的先前实施例与先前实施例是一致的，在于使用基于位置和深度值的选择准则来选择深度像素。深度像素的簇是在XYD空间或“位置-深度空间”中确定的，并且因此是基于位置和深度值。如果深度像素满足属于XYD空间中所确定的簇的准则，则选择所述深度像素。
图4图示了全局重新映射函数440以及两个局部重新映射函数420和430。图表410具有在水平轴上的输入深度值D101和在垂直轴上的输出深度值Dnew401。重新映射函数420-440将输入深度值D从输入深度范围411映射到输出深度范围412，这导致了新的深度值Dnew。输出范围412可以对应于在其上观看3D图像的3D自由立体显示器的深度范围。重新映射函数420、430和440分别对应于以上提到的前景对象A和B以及背景C（还参见图2a/b）。相应的深度范围421和431包括相应的对象A和B的深度值。背景C的深度值被深度范围441包括。
全局重新映射函数440将背景C从输入深度范围441映射到输出深度范围412的下端上。相反，局部重新映射函数420将对象A映射到输出深度范围412的远处上端。局部重新映射函数430将前景对象B映射到输出深度范围412的中间部分。局部重新映射函数420和430分别被应用到与对象A和B相对应的准确地选择的深度像素。全局重新映射函数440被应用到与背景C相对应的准确地选择的深度像素，其是深度图中除了对象A和B的所选择的深度像素以外的所有深度像素。
确定功能DETFUN可以通过从耦合到3D图像的元数据以重新映射参数的形式检索数据来确定局部重新映射函数420和430。重新映射参数限定了局部重新映射函数420和430。例如，限定了局部重新映射函数420的重新映射参数是参数范围421和直线420的斜率。
各种类型的曲线可以表示局部或全局重新映射函数。曲线可以是线性的，如图4所示。其他类型包括分段线性曲线或非线性曲线，每种曲线类型由其自己的适当参数来限定。
重新映射函数420-430可以由设计重新映射函数的视频编辑专家在艺术离线过程中创建，使得当在3D显示器上观看3D图像时深度感知是美学上愉悦的。
可替换地，通过由运行在图像处理设备100（的处理单元199）上的确定功能DETFUN执行的自动化过程来确定重新映射函数。用于确定局部重新映射函数420和430的自动化过程可以根据增大对象A、对象B和背景C之间的深度对比度的算法来工作。在已从之前的选择功能SELFUN接收到所选择的深度像素（与对象A和B以及背景C相对应的所选择的深度像素）的情况下，算法评估包括分别包括对象A和B以及背景C的深度范围。因此，算法确定对象A、对象B和背景C分别包括在深度范围421、431和441中。接下来，算法通过在对象A、对象B和背景C之间创建最大深度对比度的同时使用全输出深度范围412将深度范围421、431和441映射到输出深度范围421上。为此，将对象A重新映射到输出范围412的上端，并且将对象B重新映射到在（a）包括重新映射的背景C的输出范围421的下部与（b）包括重新映射的对象A的输出范围412的上部之间的中间范围。在该示例中，重新映射曲线420、430和440的斜率保持相同。
例如对象A和背景C之间的深度对比度如下来量化。
-在重新映射之前，与对象A相对应的（深度像素的）深度值在深度范围421内。对象A的深度像素具有平均是大约输入深度范围411的0.7（70%）的深度值。同样，深度范围411中与背景C相对应的深度值因此平均是大约深度范围411的0.1（10%）。因此，在重新映射之前对象A与背景C之间的深度对比度是0.7-0.1=0.6。
-在重新映射之后情形如下。通过局部重新映射功能420将对象A的深度值重新映射到输出深度范围412：对象A的新深度值平均是大约输出深度范围412的0.9（90%）。同样，（使用局部重新映射功能440重新映射的）背景C的新深度值平均是大约输出深度范围412的0.1（10%）。因此在重新映射之后对象A与背景C之间的深度对比度是0.9-0.1=0.8。对象A与背景C之间的深度对比度因此由于重新映射而从0.6增大到0.8。
类似的量化适用于对象B与背景C之间的深度对比度以及对象B与对象A之间的深度对比度。人们可以从图4推断出这两个深度对比度也由于重新映射而增大。
作为先前实施例的变形，（由确定功能执行的）自动化过程确定用于重新映射对象A的局部重新映射功能，使得对象A与背景C之间的深度对比度以固定的因数增大，例如，增大0.15倍。重新映射之后的深度对比度则变成1.15x0.6=0.69。如以上提到的，背景C的新深度值是大约输出深度范围412的0.1。局部重新映射功能420则需要在图4中垂直移位使得对象A的新深度值平均是大约输出深度范围412的0.1+0.69=0.79。
可选地，全局重新映射函数也由自动化过程来确定。例如，在与背景相对应的深度像素具有不仅在输入深度范围411中而且还在深度范围431（即，对象B的深度范围）中的深度值的情况下，全局重新映射函数440可以适配成使得它具有比图4中所指示的低的斜率，使得背景C的深度值被重新映射到输出范围412的下端，很好地在对象B的重新映射的深度值以下。如在先前段落中一样，确定全局重新映射函数可以基于增大深度对比度，在这种情况下背景C与对象B之间的深度对比度。
注意，在当前发明的上下文中，“重新映射对象”是指“重新映射与对象相对应的深度像素的深度值”。同样，“重新映射深度像素”是指“重新映射深度像素的深度值”。
图像处理设备100的应用是深度图的重新映射以便准备用于在3D显示器上观看的3D图像。3D显示器是例如多视图自由立体显示器。3D显示器典型地具有有限的视差范围。深度和视差在定性意义上类似。
视差被如下限定：大视差对应于出现在观看者附近的对象，并且小视差对应于远离观看者出现的对象（零视差对应于无限远离）。因此，当在3D显示器上示出时，出现在显示器的平面前面的对象对应于大视差值，并且出现在3D显示器的平面后面的对象对应于小视差值。3D显示器的平面对应于特定的视差值，其在下文中将被称作“显示器视差值”。
为了在3D显示器上呈现3D图像，深度图需要被转换成视差。转换是基于深度与视差之间的一些限定。限定关系到零深度、最大和最小深度、以及观看者相对于3D显示器的平面的位置。通常的选择是将零深度限定为对应于3D显示器的平面，使得正深度值对应于3D显示器的平面前面的位置，并且负深度值对应于3D显示器的平面后面的位置。通过挑选分别与最小和最大视差相对应的最大和最小视差来进一步限定深度与视差之间的关系。对于观看者相对于3D显示器的平面的位置的通常限定是典型观看者位置（例如，观看者在起居室中并且正在他的具有55"对角线的3D显示器前面3到4米处观看该3D显示器。最终，然后基于由该段中的限定来限定的曲线将深度转换成视差。
当要呈现3D图像以用于在3D显示器上观看时，因此需要使用如在先前段落中描述的曲线将深度图转换成视差图。这种深度至视差转换可以根据三个场景与重新映射深度图相结合：（1）重新映射深度图，并然后将重新映射的深度图转换成视差图，或者（2）将用于深度图重新映射和用于深度至视差转换的曲线集成到单个曲线中，或者（3）将深度图转换成视差图，并随后根据视差重新映射曲线来重新映射视差图。可以通过对深度重新映射曲线自身应用深度至视差转换来导出视差重新映射曲线。
当3D显示器具有有限的视差范围时，对象可以在3D显示器上显示时在深度方向上出现“平坦化”。这发生在相对大的深度范围被映射到相对小的深度范围时。例如，在位置-深度空间中被限定为完美圆球的球则会在3D显示器上显现为在深度方向上被挤压的球，从而变成椭球而不是球体。用于重新映射球的深度值的局部重新映射函数可以被限定为补偿平坦化。例如，图2a/2b中的对象A对应于球，并且图4的局部重新映射420曲线用于重新映射球的深度值：通过增大局部重新映射函数420的斜率来完成补偿深度方向上的平坦化。
作为示例，对象B对应于内容图像中的标志。出于易辨识的目的，重新映射对象B使得它在3D显示器的平面中被观看。为此，确定功能确定局部重新映射函数430使得对象B被重新映射到零（在这种情况下对应于3D显示器的平面）附近的深度值。后者实际上是图4中的情况，如果输出深度范围412的中心对应于零深度的话。可替换地，对象B对应于要在3D显示器前面观看的标志，在这种情况下确定局部重新映射函数430使得对象B被重新映射到输出范围412的上部。
可以以不同方式建立全局重新映射函数。可选地，处理单元199应用预定的全局重新映射函数。可选地，全局重新映射函数包括在耦合到3D图像的元数据中。可选地，全局重新映射函数和局部重新映射函数都包括在耦合到3D图像的元数据中。
可选地，图像处理设备100经由网络链接从图像编码设备接收3D图像。图像编码设备向图像处理设备100发送包括3D图像的信号。可选地，信号还包括包含用于选择例如3D图像中的对象的选择准则的元数据。元数据因此耦合到3D图像。例如，元数据包括用于选择对象A的3D定界框（即，在XYD空间中）。可选地，信号还包括用于重新映射与对象A相对应的深度像素的局部重新映射函数420。注意，通过接收和使用来自图像编码设备的信号，图像处理设备100有效地充当图像解码设备。
可选地，由图像编码设备发送的信号包括3D视频序列，即，3D电影。3D视频序列包括（3D）视频帧，其中每个视频帧包括3D图像。可选地，信号以类似于先前段落中描述的方式针对每个3D图像（因此每个视频帧）包括耦合到3D图像的元数据。
可选地，信号每N个视频帧仅包括一次元数据，其中例如N=12。类似于以上，元数据可以包括用于选择对象A的3D定界框。然而对象A一般不是静止的，而是可以遍及3D视频序列而移动的，即，对象A的位置变化。为了针对每个视频帧选择和重新映射对象A，针对每个视频帧需要3D定界框。为了针对每个视频帧获得3D定界框，图像处理设备100（的处理单元199）通过使用运动矢量来跟踪对象A，其中运动矢量描述了对象A的、视频帧的或者每N个视频帧之间的移动。在已知N个视频帧中的第一视频帧处的3D定界框的位置的情况下，通过根据运动矢量移动定界框（的位置）来获得用于接下来的帧的定界框。可选地，运动矢量还被包括在包括3D视频序列的信号中。可选地，通过对视频序列应用运动估计器来获得运动矢量。可选地，运动矢量指示XYD空间中的3D运动，因而指示在位置方面以及在深度维度中的3D运动。
作为使用运动矢量的可替换方案，处理单元199可以在两个后续的定界框之间应用α混合以在每个视频帧处获得定界框。这如下工作。处理单元199首先从信号中检索来自3D视频序列的两个后续3D定界框：一个定界框对应于视频帧1并且第二个定界框对应于视频帧N+1。两个3D定界框对应于相同的对象，然而是在不同的视频帧处。如果3D定界框的特定的角：
-在帧1处具有坐标R1=(X1,Y1,D1)并且
-在帧N+1处具有坐标RN+1=(XN+1,YN+1,DN+1)，则它
-在中间帧k处具有坐标Rk=αR1+(1-α)RN+1，
其中α=(N+1-k)/N并且1＜k＜N+1。注意，坐标是在三维XYD空间中。相同的α混合需要被应用于3D定界框的其他角以便获得帧k处3D定界框的所有角的坐标。注意，3D定界框的坐标因此而被有效地内插在帧之间。
类似地，处理单元199还可以使用α混合来获得中间帧k处的全局重新映射函数。例如，如果全局重新映射函数
-在帧1处是G1(D)，并且
-在帧N+1处是GN+1(D)，则
-在帧k处它是Gk(D)=G1(D)+(1-α)GN+1(D)，
其中α和k如上，并且变量D表示深度。类似的过程显然可以被应用以内插局部重新映射函数。
注意，先前实施例使用定界框来选择对象。其他形状或形状的组合也可以用于选择对象，如在本描述中以上提到的。
可选地，在包括3D视频帧的信号的（以上）情况下，信号针对每个视频帧（或针对每N个视频帧）包括用于选择相应多个对象的多个定界框、相应的多个局部重新映射函数以及全局重新映射函数。
可选地，图像编码设备应用视频压缩技术来编码3D视频序列。例如，压缩技术可以是基于H.264、H.265、MPEG-2或MPEG-4。所编码的3D视频序列可以以所谓的GOP结构（画面组）来配置。每个GOP结构包括用于选择前景对象的边界以及分别用于重新映射前景对象和背景的局部和全局重新映射函数。图像处理设备100（具体地其处理单元199）布置成接收并解码所编码的3D视频序列并检索3D图像、边界和局部/全局重新映射函数。
可选地，图像编码设备通过针对给定的三维图像生成元数据来组成信号。例如，由图像编码设备通过（a）自动地确定前景对象以及（b）拟合围绕所确定的对象的像定界框或椭球这样的形状，来确定在解码器侧（例如，图像处理设备100）用于选择对象的边界。自动确定前景对象（以及选择相应的深度像素）可以使用以上描述的实施例来进行，其中使用聚类算法的自动化过程确定前景对象。拟合例如围绕所选择的深度像素的定界框可以通过确定所选择的深度像素（在X、Y和D维度上）的范围并基于所述范围拟合定界框来进行。
可选地，图像编码设备生成包括局部和/或全局重新映射函数的元数据。局部和/或全局重新映射函数可以是以上描述的自动化过程，其基于增大（多个）前景对象与背景至今的深度对比度。
组合先前两个段落，图像编码设备因此可以自动地确定用于选择前景对象和背景的边界，自动地确定局部/全局重新映射函数，将所确定的边界和所确定的局部/全局重新映射函数包括在元数据中，并将元数据包括在信号中。
可替换地，图像编码设备通过将给定的三维图像和相应的给定的元数据一起包裹在信号中来组成信号。
类比图像处理设备100，公开了一种图像处理方法。图像处理方法按照分别与图像处理设备100的选择功能、确定功能和重新映射功能执行的方式相同的方式来执行选择、确定和重新映射。
另外，类比如以上描述的图像处理设备100，公开了一种图像编码方法：该图像编码方法执行图像编码设备的用于生成信号（具体地，元数据）的步骤。
该图像处理方法和/或图像编码方法可以以计算机程序的形式使用，所述计算机程序指令处理器执行相应的方法的步骤。计算机程序可以存储在诸如DVD、CD或USB棒之类的数据载体上。计算机程序产品可以运行在个人计算机、笔记本电脑、智能电话（作为其上的app）上或编写***上。
应注意，以上提到的实施例例证说明而非限制本发明，并且本领域技术人员在不脱离随附的权利要求的范围的情况下将能够设计出许多可替换的实施例。
在权利要求中，置于圆括号之间的任何附图标记不应被解释为限制权利要求。动词“包括”及其词形变化的使用不排除除权利要求中阐述的那些之外的元件或步骤的存在。元件之前的不定冠词“一”或“一个”不排除多个这样的元件的存在。本发明可以借助于包括若干不同元件的硬件以及借助于适当编程的计算机而实现。在枚举若干装置的设备权利要求中，这些装置中的若干可以由同一个硬件项体现。在相互不同的从属权利要求中阐述某些措施的仅有事实不指示这些措施的组合不能用于获益。

Claims (15)

1.布置用于重新映射三维图像的深度图（101）的图像处理设备（100），
-三维图像包括深度图和二维内容图像，
-深度图具有在与内容图像中图像像素的位置相对应的位置（201，202）处配置在二维阵列中的深度像素，
-每个深度像素具有深度值（203），
-所述重新映射包括用于将深度图的深度值映射到新深度值（131）的全局重新映射函数（122），
所述图像处理设备包括
接收单元（150），其用于接收包括三维图像和耦合到三维图像的元数据的信号，元数据包括基于至少位置和深度值的选择准则以用于选择与三维图像中的至少一个对象相对应的深度像素，以及
处理单元（199），其包括
-选择功能（110），其配置成从元数据检索选择准则并使用选择准则来选择与三维图像中的至少一个对象相对应的深度像素（112）；
-确定功能（120），其配置成确定用于将所选择的深度像素的深度值映射到新深度值的局部重新映射函数（121）；以及
-映射功能（130），其配置成通过将局部重新映射函数用于重新映射所选择的深度像素并将全局重新映射函数用于除了所选择的深度像素以外的深度像素来重新映射深度图。
2.权利要求1的图像处理设备，其中，处理单元布置用于从元数据检索用于确定局部重新映射函数的数据。
3.权利要求1的图像处理设备，其中，选择准则包括在位置（201，202）和深度值（203）方面的边界（221xy，221xd），并且选择功能配置成选择处于所述边界内的深度像素。
4.权利要求3的图像处理设备，其中
边界限定三维闭合体积，所述三维闭合体积具有
-与深度值相对应的第一维度，以及
-与位置相对应的第二维度和第三维度。
5.权利要求4的图像处理设备，其中，三维闭合体积由多个体积（322-323）形成，所述多个体积中的每一个具有多个形状之一，所述多个形状包括框、椭球、球体、立方体和平行六面体。
6.权利要求3的图像处理设备，其中，边界由具有至少两个维度的定界框（231xd）限定，
-两个维度中的第一维度与深度值相对应，并且
-两个维度中的第二维度与位置相对应。
7.权利要求3的图像处理设备，其中
三维图像对应于三维视频的视频帧，并且选择功能配置成通过使用运动矢量从与三维视频的另一视频帧相对应的其他边界的位置进行外推来确定所述边界的位置。
8.权利要求1的图像处理设备，其中
选择功能配置成使用作另外的选择准则来选择深度像素，所述另外的选择准则是包围每个所选择的深度像素的预定尺寸的体积包含超过预定量的深度像素量。
9.权利要求1的图像处理设备，其中
选择功能配置成使用作为另外的选择准则来选择深度像素，所述另外的选择准则是所选择的深度像素在位置和深度值方面形成簇。
10.权利要求1的图像处理设备，其中，确定功能配置成确定局部重新映射函数使得根据局部重新映射函数重映射深度图增大对应于至少一个对象的所选择的深度像素与深度图中的其他深度像素之间的深度对比度，
深度对比度是相对于深度范围而言所选择的深度像素的深度值的均值与其他深度像素的深度值的均值之间的差值，所述深度范围是在映射之前的输入深度范围和在重新映射之后的输出深度范围。
11.权利要求1的图像处理设备，其中，包括重新映射的深度图的三维图像用于在三维显示器上观看，并且
确定功能配置成确定用于将所选择的深度像素的深度值映射到新深度值的局部重新映射函数，所述新深度值与在三维显示器的预定的视察范围中的相应新视差值相对应。
12.用于如在权利要求1至11中任一项权利要求所要求保护的图像处理设备（100）中使用以用于重新映射深度图（101）的信号，所述信号包括三维图像和耦合到三维图像的元数据，
-三维图像包括深度图和二维内容图像，深度图具有在与内容图像中图像像素的位置相对应的位置（201，202）处配置在二维阵列中的深度像素，每个深度像素具有深度值（203），
-元数据包括基于至少位置和深度值的选择准则以用于选择与三维图像中的至少一个对象相对应的深度像素从而将所选择的深度像素的深度值映射到新深度值。
13.用于重新映射三维图像的深度图（101）的图像处理方法，
三维图像包括深度图和二维内容图像，
深度图具有在与内容图像中图像像素的位置相对应的位置（201，202）处配置在二维阵列中的深度像素，
每个深度像素具有深度值（203），
所述重新映射包括用于将深度图的深度值映射到新深度值（131）的全局重新映射函数（122），
所述图像处理方法包括步骤：
-接收包括三维图像和耦合到三维图像的元数据的信号，元数据包括基于至少位置和深度值的选择准则以用于选择与三维图像中的至少一个对象相对应的深度像素，
-从元数据检索选择准则，
-使用选择准则来选择与三维图像中的至少一个对象相对应的深度像素（112）；以及
-确定用于将所选择的深度像素的深度值映射到新深度值的局部重新映射函数（121）；以及
-通过将局部重新映射函数用于重新映射所选择的深度像素并将全局重新映射函数用于除了所选择的深度像素以外的深度像素来重新映射深度图。
14.用于生成供在权利要求12的信号中使用的元数据的图像编码方法，所述方法包括步骤：
-生成元数据，所述元数据包括基于至少位置和深度值的选择准则以用于选择与三维图像中的至少一个对象相对应的深度像素（112）从而将所选择的深度像素的深度值映射到新深度值，以及
-将元数据耦合到三维图像。
15.一种计算机程序产品，其包括用于使处理器根据权利要求13或权利要求14的方法执行选择、确定和重新映射的指令。
CN201480056592.7A 2013-10-14 2014-10-14 重新映射深度图以用于3d观看 Pending CN105612742A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13188429.8 2013-10-14
EP13188429 2013-10-14
PCT/EP2014/071948 WO2015055607A2 (en) 2013-10-14 2014-10-14 Remapping a depth map for 3d viewing

Publications (1)

Publication Number Publication Date
CN105612742A true CN105612742A (zh) 2016-05-25

Family

ID=49378115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480056592.7A Pending CN105612742A (zh) 2013-10-14 2014-10-14 重新映射深度图以用于3d观看

Country Status (8)

Country Link
US (1) US20160225157A1 (zh)
EP (1) EP3058724A2 (zh)
JP (1) JP2016540401A (zh)
KR (1) KR20160072165A (zh)
CN (1) CN105612742A (zh)
CA (1) CA2927076A1 (zh)
RU (1) RU2016118442A (zh)
WO (1) WO2015055607A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383342A (zh) * 2017-01-13 2019-10-25 交互数字Vc控股公司 用于沉浸式视频格式的方法，装置和流
CN110678905A (zh) * 2017-04-26 2020-01-10 皇家飞利浦有限公司 用于处理深度图的装置及方法
CN113170213A (zh) * 2018-09-25 2021-07-23 皇家飞利浦有限公司 图像合成

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102174258B1 (ko) * 2015-11-06 2020-11-04 삼성전자주식회사 무안경 3d 디스플레이 장치 및 그 제어 방법
KR101904128B1 (ko) * 2016-12-30 2018-10-04 동의대학교 산학협력단 구면 모델링을 통한 깊이 영상의 부호화 방법 및 부호화 장치
KR101904170B1 (ko) * 2016-12-30 2018-10-04 동의대학교 산학협력단 구면 모델링을 통한 깊이 정보 보정 및 부호화 방법과 부호화장치
US10297087B2 (en) * 2017-05-31 2019-05-21 Verizon Patent And Licensing Inc. Methods and systems for generating a merged reality scene based on a virtual object and on a real-world object represented from different vantage points in different video data streams
TWI815842B (zh) * 2018-01-16 2023-09-21 日商索尼股份有限公司 影像處理裝置及方法
CN114503044A (zh) * 2019-09-30 2022-05-13 北京航迹科技有限公司 用于在3d点云中自动标记对象的***和方法
US11297116B2 (en) 2019-12-04 2022-04-05 Roblox Corporation Hybrid streaming
US11461953B2 (en) * 2019-12-27 2022-10-04 Wipro Limited Method and device for rendering object detection graphics on image frames

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009034519A1 (en) * 2007-09-13 2009-03-19 Koninklijke Philips Electronics N.V. Generation of a signal
CN101563933A (zh) * 2006-12-22 2009-10-21 高通股份有限公司 复杂性自适应二维到三维视频序列转换
CN102047669A (zh) * 2008-06-02 2011-05-04 皇家飞利浦电子股份有限公司 具有深度信息的视频信号
CN102204262A (zh) * 2008-10-28 2011-09-28 皇家飞利浦电子股份有限公司 图像特性的遮挡数据的生成
WO2012145191A1 (en) * 2011-04-15 2012-10-26 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3d images independent of display size and viewing distance
CN102821291A (zh) * 2011-06-08 2012-12-12 索尼公司 图像处理设备、图像处理方法和程序

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069143A1 (en) * 2010-09-20 2012-03-22 Joseph Yao Hua Chu Object tracking and highlighting in stereoscopic images
KR20120133951A (ko) 2011-06-01 2012-12-11 삼성전자주식회사 3ｄ 영상변환장치 그 깊이정보 조정방법 및 그 저장매체
US9381431B2 (en) 2011-12-06 2016-07-05 Autodesk, Inc. Property alteration of a three dimensional stereoscopic system
JP2013135337A (ja) * 2011-12-26 2013-07-08 Sharp Corp 立体映像表示装置
JP5887966B2 (ja) * 2012-01-31 2016-03-16 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101563933A (zh) * 2006-12-22 2009-10-21 高通股份有限公司 复杂性自适应二维到三维视频序列转换
WO2009034519A1 (en) * 2007-09-13 2009-03-19 Koninklijke Philips Electronics N.V. Generation of a signal
CN102047669A (zh) * 2008-06-02 2011-05-04 皇家飞利浦电子股份有限公司 具有深度信息的视频信号
CN102204262A (zh) * 2008-10-28 2011-09-28 皇家飞利浦电子股份有限公司 图像特性的遮挡数据的生成
WO2012145191A1 (en) * 2011-04-15 2012-10-26 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3d images independent of display size and viewing distance
CN102821291A (zh) * 2011-06-08 2012-12-12 索尼公司 图像处理设备、图像处理方法和程序

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383342A (zh) * 2017-01-13 2019-10-25 交互数字Vc控股公司 用于沉浸式视频格式的方法，装置和流
CN110383342B (zh) * 2017-01-13 2023-06-20 交互数字Vc控股公司 用于沉浸式视频格式的方法，装置和流
CN110678905A (zh) * 2017-04-26 2020-01-10 皇家飞利浦有限公司 用于处理深度图的装置及方法
CN110678905B (zh) * 2017-04-26 2023-09-12 皇家飞利浦有限公司 用于处理深度图的装置及方法
CN113170213A (zh) * 2018-09-25 2021-07-23 皇家飞利浦有限公司 图像合成
CN113170213B (zh) * 2018-09-25 2024-06-04 皇家飞利浦有限公司 图像合成

Also Published As

Publication number Publication date
RU2016118442A3 (zh) 2018-04-28
KR20160072165A (ko) 2016-06-22
EP3058724A2 (en) 2016-08-24
CA2927076A1 (en) 2015-04-23
US20160225157A1 (en) 2016-08-04
WO2015055607A2 (en) 2015-04-23
RU2016118442A (ru) 2017-11-21
WO2015055607A3 (en) 2015-06-11
JP2016540401A (ja) 2016-12-22

Similar Documents

Publication Publication Date Title
CN105612742A (zh) 重新映射深度图以用于3d观看
CN111615715B (zh) 编码/解码体积视频的方法、装置和流
CN110383342B (zh) 用于沉浸式视频格式的方法，装置和流
CN111264058B (zh) 用于对三自由度和体积兼容视频流进行编码和解码的方法、设备
US20220116659A1 (en) A method, an apparatus and a computer program product for volumetric video
US9445072B2 (en) Synthesizing views based on image domain warping
CN104662896B (zh) 用于图像处理的装置和方法
KR20200065076A (ko) 볼류메트릭 비디오 포맷을 위한 방법, 장치 및 스트림
CN111557094A (zh) 用于编码/解码体积式视频的方法、设备和流
US20220094903A1 (en) Method, apparatus and stream for volumetric video format
CN106688231A (zh) 立体图像记录和回放
KR20090007384A (ko) 다중 뷰들의 효율적인 인코딩 방법
CN106131531A (zh) 视频处理方法和装置
Farre et al. Automatic content creation for multiview autostereoscopic displays using image domain warping
Schenkel et al. Natural scenes datasets for exploration in 6DOF navigation
CN103208110A (zh) 视频图像的转换方法及装置
US20230035477A1 (en) Method and device for depth map completion
CN106231397B (zh) 主播类互动平台主播端场景切换方法及其装置、主播端
KR102505130B1 (ko) 명시야 컨텐츠를 표현하는 신호를 인코딩하기 위한 방법 및 디바이스
WO2021122881A1 (en) Volumetric video with auxiliary patches
CN112400316A (zh) 用于编码和解码三自由度和体积式兼容的视频流的方法和设备
CN102595167B (zh) 2d/3d视频转换中的深度归一化方法及装置
US20230224501A1 (en) Different atlas packings for volumetric video
Chellappa et al. Academic Press Library in Signal Processing, Volume 6: Image and Video Processing and Analysis and Computer Vision
EP3709659A1 (en) A method and apparatus for encoding and decoding volumetric video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160525