CN102549507A - 选择视点用于在3d视频中生成附加视图 - Google Patents
选择视点用于在3d视频中生成附加视图 Download PDFInfo
- Publication number
- CN102549507A CN102549507A CN201080044808XA CN201080044808A CN102549507A CN 102549507 A CN102549507 A CN 102549507A CN 201080044808X A CN201080044808X A CN 201080044808XA CN 201080044808 A CN201080044808 A CN 201080044808A CN 102549507 A CN102549507 A CN 102549507A
- Authority
- CN
- China
- Prior art keywords
- viewpoint
- video data
- image
- indicator
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
提供了一种编码视频数据信号(15)的方法,该方法包括:提供如同从第一视点看见的场景(100)的至少第一图像(21),提供用于允许生成如同从再现视点看见的场景(100)的至少一个被再现图像的再现信息(22),提供定义再现视点相对于第一视点的优选取向的优选方向指示器(23),以及生成(24)视频数据信号(15),该视频数据信号(15)包括表示第一图像、再现信息和优选方向指示器的编码数据。
Description
技术领域
本发明涉及一种编码视频数据信号的方法,该方法包括:提供如同从第一视点看见的场景的至少第一图像,提供用于允许生成如同从再现视点看见的场景的至少一个被再现图像的再现信息,以及生成包括表示该第一图像和该再现信息的编码数据的视频数据信号。
本发明进一步涉及解码视频数据信号的方法、编码器、解码器、用于编码或解码的计算机程序产品、视频数据信号以及数字数据载体。
背景技术
在新兴的三维(3D)视频领域中,存在用于将第三维编码进视频数据信号中的各种方法。通常,这通过将正被观看的场景的不同视图提供给观看者的眼睛来完成。用于表示3D视频的流行方法是使用一个或多个二维(2D)图像加上提供第三维信息的深度表示。该方法也允许利用包括在3D视频信号中的与2D图像不同的视点和视角来生成2D图像。这种方法提供了许多优点,包括允许以相对低的复杂性生成另外的视图并提供高效的数据表示从而减少例如用于3D视频信号的存储和通信资源的需求。优选地,使用从可用的视点不可见但从稍有不同的视点变得可见的数据来扩展该视频数据。该数据被称为遮挡或背景数据。实际上,根据通过使用多个相机在不同视点捕获场景所获得的多视图数据来生成该遮挡数据。
上述方法的问题在于,用于在新生成的视图中重建去遮挡对象的数据的可用性可能在帧与帧之间甚至在帧内都是不同的。结果,对于不同视点生成的图像的质量可能变化。
发明目的
本发明的目的是提供一种如起始段落中所述的编码视频数据信号的方法,该方法允许生成具有不同视点的较高质量的图像。
发明内容
根据本发明的第一方面,通过提供编码视频数据信号的方法来实现该目的,该方法包括:提供如同从第一视点看见的场景的至少第一图像,提供用于允许生成如同从再现视点看见的该场景的至少一个被再现图像的再现信息,提供优选的方向指示器,定义再现视点相对于第一视点的优选取向,以及生成视频数据信号,该视频数据信号包括表示第一图像、再现信息以及优选的方向指示器的编码数据。
如同以上解释的,从不同视点生成的图像的质量与重建去遮挡的对象所需的数据的可用性有关。考虑以下情形:其中数据可用于将视点左移而不用于将视点右移。因此,与将视点右移相比,将视点左移可能导致生成的图像具有不同质量。
对于在去遮挡的区域中进行填充,当不充足的去遮挡信息或没有遮挡信息是可用的时,可能发生类似的质量差异。在这种情况下,可以使用所谓的孔洞填充算法填充去遮挡的区域。通常这样的算法从去遮挡区域的紧邻附近内插信息。因此,与将视点右移相比,将视点左移可能导致生成的图像具有不同质量。
这种质量差异不仅受所需数据的可用性的影响,而且受在移动视点时正被去遮挡的表面区域的尺寸和性质的影响。结果,3D视频或图像的质量可能根据新选择的视点而变化。可能例如要紧的是, 新视图是在已经可用的第一图像的左侧还是右侧生成。
根据本发明,一种解决方案是生成优选方向指示器并将它包括在视频信号中。该优选方向指示器针对相对于已经包括在视频信号中的图像的原始视点的附加视图定义再现视点的优选取向。当该视频信号被解码时,该优选方向指示器可以用于选择再现视点并从所选择的视点生成该场景被再现图像。
视频数据信号可能包括针对每个帧、每一组帧、每个场景、乃至对于整个视频序列的优选方向指示器。在每个帧的基础上而不是在粗糙的粒度上编码这种信息允许随机存取;例如用于支持特技播放。由于往往该优选的再现指示器对于各种帧是不变的并且该编码的视频信号的尺寸是典型地相关的,可以通过替代地在帧组的基础上编码信息来减少副本指示器的量。由于优选地再现的优选方向贯穿场景保持相同,因此一种甚至更高效的编码是在每个场景的基础上编码该优选方向,从而在场景内保证了连续性。
可选地,当被编码信号的尺寸较不关键时,可以在帧、帧组和场景水平等上对信息进行编码,只要所有指示器被相互一致地设置。
由于再现视点的选择中的变化可能影响再现处内容的感知的连续性,因此该优选方向指示器对于若干帧被优选地保持不变。它可以例如贯穿一组帧或可替换地贯穿场景而被保持不变。注意到,即使当优选方向指示器对于若干帧被保持不变时,仍然可能有利的是,在比为便于随机访问严格必需的更小的粒度上编码该不变的优选方向指示器。
优选取向可以是左、右、上、下或这些方向的任意组合。除取向之外,可以与优选方向指示一起提供优选的距离或优选的最大距离。如果可获得足够的关于第一图像中被遮挡对象和/或对象的深度值的信息,就可能从视点生成多个高质量附加视图,该视点可以进一步远离原始视点。
例如,再现信息可以包括表示被第一图像中的前景对象遮挡的背景对象的遮挡数据、提供第一图像中对象的深度值或这些对象的透明度数据的深度图。
优选方向指示器指示对于哪种可能的再现视点可以获得最好的再现信息。对于关于分层深度图像的再现的更多信息,参见例如通过引用合并于此的国际申请WO2007/063477。对于关于再现分层深度图像时用于填充去遮挡区域的孔洞填充算法的更多信息,参见例如通过引用合并于此的WO2007/099465。
根据本发明的其他方面,提供了一种解码视频数据信号的方法,该视频数据信号包括:表示如同从第一视点看到的场景的第一图像的编码数据;用于允许生成如同从再现视点看到的场景的至少一个被再现图像的再现信息;以及优选方向指示器,其定义再现视点相对于第一视点的优选取向。解码的方法包括接收视频数据信号,依据优选方向指示器选择再现视点,以及生成如同从被选择的再现视点看见的场景的被再现图像。
本发明的这些和其他方面根据以下描述的实施例是清楚明白的,并且将参照这些实施例进行阐述。
附图说明
在附图中:
图1示出了根据本发明用于编码视频数据的***的框图,
图2示出了根据本发明的编码方法的流程图,
图3示出了根据本发明用于解码视频数据的***的框图,以及
图4示出了根据本发明的解码方法的流程图。
具体实施例
图1示出了根据本发明用于编码视频数据的***的框图。该***包括两个数字摄像机11、12以及编码器10。第一摄像机11和第二摄像机12记录同一场景100,但是从稍有不同的位置并也因此从稍有不同的角度进行记录。来自两个摄像机11、12的记录的数字视频信号被发送至编码器10。该编码器可以例如是专用编码盒、计算机中的显卡或被通用微处理器执行的软件实现的函数的一部分。可替换地,摄像机11、12是模拟摄像机且模拟视频信号在其被提供为编码器10的输入之前被转换成数字视频信号。如果摄像机被耦合至编码器10,可以在场景100的记录期间进行编码。也可能首先记录场景100并且随后将记录的视频数据提供给编码器10。
编码器10从摄像机11、12直接或间接地接收数字视频数据,并将两个数字视频信号合成为一个3D视频信号15。应当注意,两个摄像机11、12可以组合为一个3D摄像机。也可能使用多于两个的摄像机以从多于两个的视点捕获场景100。
图2示出了根据本发明的编码方法的流程图。可以由图1中***的编码器10执行该编码方法。该编码方法使用来自摄像机11、12的记录的数字视频数据并提供根据本发明的视频数据信号15。在基本图像提供步骤21中,提供场景的至少第一图像以包含在视频数据信号15中。该基本图像可以是来自两个摄像机11、12之一的标准2D视频数据。编码器10也可以使用两个基本图像;一个来自第一摄像机11且一个来自第二摄像机12。根据基本图像,可以导出所记录视频的每个帧中的所有像素的色值。基本图像表示如同从特定视点看见的某个时刻的场景。在下面,该特定的视点将被称为基本视点。
在3D启用步骤22中,从摄像机11、12到来的视频数据被用于将信息添加到基本图像。所添加的信息必须使得解码器能够从不同视点生成同一场景的被再现图像。在下面,这个被添加的信息被称为再现信息。再现信息可以例如包括基本图像中的深度信息或对象的透明度值。再现信息也可以描述被基本图像中可见的对象阻挡而无法从基本视点观看的对象。编码器使用已知的(优选地标准化的)的方法从所记录的规则的视频数据导出该再现信息。
在方向指示步骤23中,编码器10进一步将优选方向指示器添加到再现信息。该优选方向指示器定义了用于附加视图的再现视点相对于基本视点的优选取向。当稍后该视频信号被解码时,该优选方向指示器能够用于选择再现视点并从被选择视点生成场景100的被再现图像。如上所述,3D视频或图像的质量可能会根据新选择的视点而变化。例如可能要紧的是,新视图是生成在已经可获得的第一图像的视点的左侧还是右侧。被添加给再现信息的优选方向指示器可以例如是指示左或右方向的单个的位。一种更高级的优选方向指示器也可以指示向上或向下的方向和/或新视点相对于基本视点的优选的或最大的距离。
可替换地,优选方向指示器可以提供多个再现视点相对于第一视点的优选取向和/或距离。例如,可能优选的是,在第一视点的同一侧生成两个再现视点或在每一侧生成一个再现视点。(多个)再现视点相对于第一视点的优选的(多个)位置可以取决于这些两点之间的距离。例如,当两个视点彼此接近时,从在第一视点的左侧的视点再现图像可能是更好的;然而对于两个视点之间的较大距离来说,向第一视点的左侧可能更适于生成再现视点。
可以自动地确定关于哪一特定方向更为有利的决定;例如当编码立体像对作为分层的深度图像时,使用图像、深度和遮挡表示,有可能使用左边或右边的图像作为分层深度图像的图像,以及基于其重建其他图像。随后可以针对可替换和优选的编码计算差异度量,并可以同时基于其确定方向。
优选地,基于人的视觉感知***的模型加权该差异。可替换地,尤其在专业设置之内,可以基于用户交互选择优选方向。
在信号生成步骤24中,在先前步骤21、22、23中提供的信息被用于生成根据本发明的视频数据信号15。该视频数据信号15至少表示第一图像、再现信息和优选方向指示器。可以为每个帧、为一组帧或为整个的场景乃至整个的视频提供优选方向指示器。在场景期间改变再现视点的位置可能对感知的3D图像质量具有负面影响,但另一方面在再现信息对于不同方向的可用性有相当的改变的情况下可能是必需的。
图3示出了根据本发明用于解码视频数据的***的框图。该***包括用于接收视频数据信号15并将该视频数据信号15转换为适于由显示器31来显示的显示信号的解码器30。该视频数据信号15可以例如借助于电缆或卫星传输,作为广播信号的一部分到达解码器30。该视频数据信号15也可以例如借助于因特网或借助于视频点播服务依据请求被提供。可替换地,视频数据信号15被提供在诸如DVD或蓝光光盘的数字数据载体上。
显示器31能够提供被捕获并由图1***的编码器10编码的场景100的3D呈现。显示器31可以包括解码器30或可以耦合至解码器30。例如,解码器30可以是3D视频接收机的一部分,该3D视频接收机要被耦合至一个或多个普通电视或计算机显示器。优选地,显示器是专用3D显示器31,其能够向观察者的不同眼睛提供不同的视图。
图4示出了可以由图3的解码器30执行的解码方法的流程图。在视频数据接收步骤41中,由编码器10编码的视频数据信号15在解码器30的输入端处被接收。接收的视频数据信号15包括表示场景100的至少第一图像、再现信息和优选方向指示器的编码数据。
在附加视点选择步骤42中,优选方向指示器用于为各自的附加视图选择至少一个附加视点。在附加视图再现步骤43中,从所选择的视点或多个视点生成一个或多个附加视图。在显示步骤44中,两个或更多个来自不同视点的视图可以然后被提供至显示器31用于以3D方式显示场景100。
将要理解的是,本发明还延伸到适于实施本发明的计算机程序,特别是在载体上或者中的计算机程序。程序可以以源代码、目标代码、源和目标代码中间的代码(例如,部分编译的形式)的形式,或者以适于在根据本发明的方法的实现方式中使用的任何其它形式。还要理解的是,这种程序可以具有许多不同的结构设计。例如,实现根据本发明的方法或者***的功能的程序代码可以被细分为一个或者多个子程序。在这些子程序之间分配功能的许多不同的方式对于本领域技术人员而言是显而易见的。子程序可以一起存储在一个可执行文件中,以形成独立的程序。这个可执行文件可以包括计算机可执行指令,例如,处理器指令和/或解释器指令(例如,Java解释器指令)。可替代地,一个或者多个或者全部的子程序可以存储在至少一个外部库文件中,并且例如在运行时静态地或者动态地与主程序相关联。主程序含有对至少一个子程序的至少一个调用。同样,子程序可以包括彼此的功能调用。与计算机程序产品相关的实施例包括计算机可执行指令,其对应于所提到的方法中至少一个的处理步骤中的每一步骤。这些指令可以细分为子程序,和/或存储在可以静态或者动态地关联的一个或者多个文件中。与计算机程序产品相关的另一个实施例包括计算机可执行指令,其对应于所提到的***和/或产品中至少一个的装置中的每一个。这些指令可以细分为子程序,和/或存储在可以静态或者动态地关联的一个或者多个文件中。
计算机程序的载体可以是能够承载程序的任何实体或者设备。例如,载体可以包括存储介质,例如,ROM(例如,CD ROM或者半导体ROM)或者磁性记录介质(例如,软盘或者硬盘)。此外,载体可以是可传送的载体,例如,电或者光信号,其可以经由电缆或光缆或者通过无线电或其它方式来传送。当程序体现在这种信号中时,载体可以由这种线缆或者其它设备或装置来构成。可替代地,载体可以是在其中嵌入程序的集成电路,该集成电路适于执行相关方法或者在执行相关方法时使用。
应当注意,上述实施例说明而不是限制本发明,并且本领域技术人员将能够设计许多可替代地实施例,而不脱离所附权利要求的范围。在权利要求中,括号中的任何附图标记不应解释为限制权利要求。使用动词“包括”和其变形不排除存在不同于权利要求中所陈述那些的元件或者步骤。元件之前的冠词“一”不排除存在多个这样的元件。本发明通过可以借助于包括若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的设备权利要求中,这些装置中的几个可以由同一项的硬件来体现。在不同的从属权利要求中叙述某些措施的纯粹事实不表示这些措施的结合不能使用以受益。
Claims (15)
1. 一种编码视频数据信号(15)的方法,该方法包括:
提供如同从第一视点看见的场景(100)的至少第一图像(21),
提供再现信息(22)用于允许生成如同从再现视点看见的场景(100)的至少一个被再现图像,
提供优选方向指示器(23),其定义再现视点相对于第一视点的优选取向,以及
生成(24)视频数据信号(15),该视频数据信号(15)包括表示该第一图像、该再现信息以及该优选方向指示器的编码数据。
2. 如权利要求1所述的编码视频数据信号(15)的方法,其中该优选方向指示器包括单个的位,用于定义该再现视点相对于第一视点的该优选取向是向该第一视点的左边还是右边。
3. 如权利要求1所述的编码视频数据信号(15)的方法,其中使用以下选项的至少一个将该优选方向指示器编码进视频数据信号(15)中:
- 对于每个帧,编码优选方向指示器;
- 对于每一组帧,编码优选方向指示器;以及
- 对于每一场景,编码优选方向指示器。
4. 如权利要求3所述的编码视频数据信号(15)的方法,其中该优选方向指示器的值对于以下之一是不变的:
- 帧组,以及
- 场景。
5. 如权利要求1、2、3或4中任一项所述的编码视频数据信号(15)的方法,其中该优选取向取决于第一视点和再现视点之间的距离。
6. 如权利要求1、2、3或4中任一项所述的编码视频数据信号(15)的方法,其中该再现信息包括第一图像中像素的深度指示值。
7. 如权利要求1、2、3或4中任一项所述的编码视频数据信号(15)的方法,其中该再现信息包括第一图像内像素的α值,该α值指示各自像素的透明度。
8. 如权利要求1、2、3或4中任一项所述的编码视频数据信号(15)的方法,其中该再现信息包括表示从第一视点被遮挡的数据的遮挡数据。
9. 一种解码视频数据信号(15)的方法,该视频数据信号(15)包括编码数据,所述编码数据表示如同从第一视点看见的场景(100)的第一图像、用于允许生成如同从再现视点看见的场景(100)的至少一个被再现图像的再现信息、以及定义再现视点相对于第一视点的优选取向的优选方向指示器,该方法包括:
接收视频数据信号(41),
依据优选方向指示器,选择再现视点(42),以及
生成(43)如同从该选择的再现视点看见的场景(100)的被再现图像。
10. 一种用于编码视频数据信号(15)的编码器(10),该编码器包括:
用于提供如同从第一视点看见的场景(100)的至少第一图像、用于允许生成如同从再现视点看见的场景(100)的被再现图像的再现信息以及定义再现视点相对于第一视点的优选取向的优选方向指示器的装置,
用于生成视频数据信号(15)的装置,该视频数据信号(15)包括表示第一图像、再现信息和优选方向指示器的编码数据,以及
用于提供视频数据信号(15)的输出端。
11. 一种用于解码视频数据信号(15)的解码器(30),该解码器(30)包括:
用于接收视频数据信号(15)的输入端,该视频数据信号(15)包括编码数据,其表示如同从第一视点看见的场景(100)的第一图像、用于允许生成如同从再现视点看见的场景(100)的被再现图像的再现信息以及定义再现视点相对于第一视点的优选取向的优选方向指示器,
用于依据优选方向指示器选择再现视点的装置,
用于生成如同从选择的再现视点看见的场景(100)的被再现图像的装置,以及
用于提供被再现图像的输出端。
12. 一种用于编码视频数据信号的计算机程序产品,其程序可操作以使得处理器执行如权利要求1中所述的方法。
13. 一种用于解码视频数据信号的计算机程序产品,其程序可操作以使得处理器执行如权利要求9中所述的方法。
14. 一种包括编码数据的视频数据信号(15),该编码数据表示:
如同从第一视点看见的场景(100)的至少第一图像,
用于允许生成如同从再现视点看见的场景(100)的被再现图像的再现信息,以及
优选方向指示器,其定义再现视点相对于第一视点的优选取向。
15. 一种数字数据载体,具有编码在其上的如权利要求14中所述的视频数据信号(15)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP09172096.1 | 2009-10-02 | ||
EP09172096 | 2009-10-02 | ||
PCT/IB2010/054251 WO2011039679A1 (en) | 2009-10-02 | 2010-09-21 | Selecting viewpoints for generating additional views in 3d video |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102549507A true CN102549507A (zh) | 2012-07-04 |
CN102549507B CN102549507B (zh) | 2014-08-20 |
Family
ID=43129795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080044808.XA Active CN102549507B (zh) | 2009-10-02 | 2010-09-21 | 选择视点用于在3d视频中生成附加视图 |
Country Status (8)
Country | Link |
---|---|
US (1) | US9167226B2 (zh) |
EP (1) | EP2483750B1 (zh) |
JP (1) | JP5859441B2 (zh) |
KR (1) | KR101727094B1 (zh) |
CN (1) | CN102549507B (zh) |
BR (1) | BR112012007115A2 (zh) |
RU (1) | RU2551789C2 (zh) |
WO (1) | WO2011039679A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104335579A (zh) * | 2013-02-06 | 2015-02-04 | 皇家飞利浦有限公司 | 对供多视图立体显示设备所用的视频数据信号进行编码的方法 |
CN105556952A (zh) * | 2013-04-23 | 2016-05-04 | Maior有限责任公司 | 用于影片的再现的方法 |
Families Citing this family (69)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2438783B8 (en) * | 2005-03-16 | 2011-12-28 | Lucasfilm Entertainment Co Ltd | Three-dimensional motion capture |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
KR101733443B1 (ko) | 2008-05-20 | 2017-05-10 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
US8514491B2 (en) | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
CN103004180A (zh) | 2010-05-12 | 2013-03-27 | 派力肯影像公司 | 成像器阵列和阵列照相机的架构 |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
KR101973822B1 (ko) | 2011-05-11 | 2019-04-29 | 포토네이션 케이맨 리미티드 | 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들 |
US20130070060A1 (en) | 2011-09-19 | 2013-03-21 | Pelican Imaging Corporation | Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
JP6140709B2 (ja) | 2011-09-28 | 2017-05-31 | ペリカン イメージング コーポレイション | 明視野画像ファイルを符号化および復号するためのシステムおよび方法 |
US9412206B2 (en) | 2012-02-21 | 2016-08-09 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
KR20150023907A (ko) | 2012-06-28 | 2015-03-05 | 펠리칸 이매징 코포레이션 | 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들 |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
EP4296963A3 (en) | 2012-08-21 | 2024-03-27 | Adeia Imaging LLC | Method for depth detection in images captured using array cameras |
CN104685513B (zh) | 2012-08-23 | 2018-04-27 | 派力肯影像公司 | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 |
CZ308335B6 (cs) * | 2012-08-29 | 2020-05-27 | Awe Spol. S R.O. | Způsob popisu bodů předmětů předmětového prostoru a zapojení k jeho provádění |
US20140092281A1 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
US9143711B2 (en) | 2012-11-13 | 2015-09-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
US9253380B2 (en) | 2013-02-24 | 2016-02-02 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
WO2014138697A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for high dynamic range imaging using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
US9519972B2 (en) | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
US9100586B2 (en) | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
US9426451B2 (en) * | 2013-03-15 | 2016-08-23 | Digimarc Corporation | Cooperative photography |
EP2973476A4 (en) | 2013-03-15 | 2017-01-18 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
RU2667605C2 (ru) | 2013-05-10 | 2018-09-21 | Конинклейке Филипс Н.В. | Способ кодирования сигнала видеоданных для использования с многовидовым устройством визуализации |
US9898856B2 (en) * | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
WO2015070105A1 (en) | 2013-11-07 | 2015-05-14 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
US9413830B2 (en) | 2013-11-11 | 2016-08-09 | Amazon Technologies, Inc. | Application streaming service |
US9582904B2 (en) | 2013-11-11 | 2017-02-28 | Amazon Technologies, Inc. | Image composition based on remote object data |
US9604139B2 (en) | 2013-11-11 | 2017-03-28 | Amazon Technologies, Inc. | Service for generating graphics object data |
US9578074B2 (en) | 2013-11-11 | 2017-02-21 | Amazon Technologies, Inc. | Adaptive content transmission |
US9805479B2 (en) | 2013-11-11 | 2017-10-31 | Amazon Technologies, Inc. | Session idle optimization for streaming server |
US9634942B2 (en) | 2013-11-11 | 2017-04-25 | Amazon Technologies, Inc. | Adaptive scene complexity based on service quality |
US9641592B2 (en) | 2013-11-11 | 2017-05-02 | Amazon Technologies, Inc. | Location of actor resources |
WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
US9456134B2 (en) | 2013-11-26 | 2016-09-27 | Pelican Imaging Corporation | Array camera configurations incorporating constituent array cameras and constituent cameras |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
EP2960864B1 (en) * | 2014-06-23 | 2018-12-05 | Harman Becker Automotive Systems GmbH | Device and method for processing a stream of video data |
US10250871B2 (en) | 2014-09-29 | 2019-04-02 | Fotonation Limited | Systems and methods for dynamic calibration of array cameras |
US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
US10204449B2 (en) * | 2015-09-01 | 2019-02-12 | Siemens Healthcare Gmbh | Video-based interactive viewing along a path in medical imaging |
EP3273686A1 (en) * | 2016-07-21 | 2018-01-24 | Thomson Licensing | A method for generating layered depth data of a scene |
US10353946B2 (en) * | 2017-01-18 | 2019-07-16 | Fyusion, Inc. | Client-server communication for live search using multi-view digital media representations |
JP7200935B2 (ja) * | 2017-05-30 | 2023-01-10 | ソニーグループ株式会社 | 画像処理装置および方法、ファイル生成装置および方法、並びにプログラム |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
KR102178239B1 (ko) | 2017-12-14 | 2020-11-12 | 캐논 가부시끼가이샤 | 3차원 모델의 생성 장치, 생성 방법, 및 프로그램 |
WO2020027349A1 (ko) * | 2018-07-31 | 2020-02-06 | 엘지전자 주식회사 | 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치 |
US20210281887A1 (en) * | 2018-11-12 | 2021-09-09 | Intel Corporation | Automated field of view estimation from game participant perspectives |
WO2021055585A1 (en) | 2019-09-17 | 2021-03-25 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
US11525906B2 (en) | 2019-10-07 | 2022-12-13 | Intrinsic Innovation Llc | Systems and methods for augmentation of sensor systems and imaging systems with polarization |
IT201900021645A1 (it) * | 2019-11-19 | 2021-05-19 | Sacmi | Apparato per l’ispezione ottica di sanitari |
KR20230116068A (ko) | 2019-11-30 | 2023-08-03 | 보스턴 폴라리메트릭스, 인크. | 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법 |
WO2021154386A1 (en) | 2020-01-29 | 2021-08-05 | Boston Polarimetrics, Inc. | Systems and methods for characterizing object pose detection and measurement systems |
US11797863B2 (en) | 2020-01-30 | 2023-10-24 | Intrinsic Innovation Llc | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1778119A (zh) * | 2003-04-18 | 2006-05-24 | 三洋电机株式会社 | 立体视角用视频提供方法和立体视频显示装置 |
CN101257641A (zh) * | 2008-03-14 | 2008-09-03 | 清华大学 | 基于人机交互的平面视频转立体视频的方法 |
CN101288105A (zh) * | 2005-10-11 | 2008-10-15 | 普莱姆传感有限公司 | 用于物体重现的方法和*** |
CN101305401A (zh) * | 2005-11-14 | 2008-11-12 | 微软公司 | 用于游戏的立体视频 |
CN101393649A (zh) * | 2007-09-20 | 2009-03-25 | 株式会社东芝 | 多视点图像渲染装置及方法 |
WO2009047681A1 (en) * | 2007-10-11 | 2009-04-16 | Koninklijke Philips Electronics N.V. | Method and device for processing a depth-map |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6327381B1 (en) * | 1994-12-29 | 2001-12-04 | Worldscape, Llc | Image transformation and synthesis methods |
US6088006A (en) * | 1995-12-20 | 2000-07-11 | Olympus Optical Co., Ltd. | Stereoscopic image generating system for substantially matching visual range with vergence distance |
US6222551B1 (en) * | 1999-01-13 | 2001-04-24 | International Business Machines Corporation | Methods and apparatus for providing 3D viewpoint selection in a server/client arrangement |
RU2237283C2 (ru) * | 2001-11-27 | 2004-09-27 | Самсунг Электроникс Ко., Лтд. | Устройство и способ представления трехмерного объекта на основе изображений с глубиной |
JP4174001B2 (ja) | 2002-09-27 | 2008-10-29 | シャープ株式会社 | 立体画像表示装置、記録方法、及び伝送方法 |
EP1431919B1 (en) * | 2002-12-05 | 2010-03-03 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding three-dimensional object data by using octrees |
EP1587329B1 (en) | 2003-01-20 | 2015-04-15 | Sanyo Electric Co., Ltd. | Three-dimensional video providing method and three-dimensional video display device |
US20060200744A1 (en) * | 2003-12-08 | 2006-09-07 | Adrian Bourke | Distributing and displaying still photos in a multimedia distribution system |
GB0415223D0 (en) | 2004-07-07 | 2004-08-11 | Sensornet Ltd | Intervention rod |
JP2006041811A (ja) * | 2004-07-26 | 2006-02-09 | Kddi Corp | 自由視点画像ストリーミング方式 |
EP1686554A3 (en) * | 2005-01-31 | 2008-06-18 | Canon Kabushiki Kaisha | Virtual space generating system, image processing apparatus and information processing method |
KR100714672B1 (ko) * | 2005-11-09 | 2007-05-07 | 삼성전자주식회사 | 스플렛을 이용한 깊이 기반의 영상 렌더링 방법 및 그방법을 채용한 시스템 |
JP5011319B2 (ja) | 2006-02-28 | 2012-08-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像における指向性の穴埋め |
US8594180B2 (en) | 2007-02-21 | 2013-11-26 | Qualcomm Incorporated | 3D video encoding |
GB0712690D0 (en) * | 2007-06-29 | 2007-08-08 | Imp Innovations Ltd | Imagee processing |
WO2009009465A1 (en) | 2007-07-06 | 2009-01-15 | Christopher William Heiss | Electrocoagulation reactor and water treatment system and method |
MY162861A (en) | 2007-09-24 | 2017-07-31 | Koninl Philips Electronics Nv | Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal |
JP4703635B2 (ja) * | 2007-12-12 | 2011-06-15 | 株式会社日立製作所 | 立体視画像生成方法、その装置、及び立体視画像表示装置 |
JP4827881B2 (ja) | 2008-04-30 | 2011-11-30 | 三洋電機株式会社 | 映像ファイル処理方法及び映像送受信再生システム |
-
2010
- 2010-09-21 WO PCT/IB2010/054251 patent/WO2011039679A1/en active Application Filing
- 2010-09-21 CN CN201080044808.XA patent/CN102549507B/zh active Active
- 2010-09-21 JP JP2012531526A patent/JP5859441B2/ja active Active
- 2010-09-21 BR BR112012007115-7A patent/BR112012007115A2/pt not_active Application Discontinuation
- 2010-09-21 KR KR1020127011133A patent/KR101727094B1/ko active IP Right Grant
- 2010-09-21 RU RU2012117572/08A patent/RU2551789C2/ru not_active IP Right Cessation
- 2010-09-21 EP EP10765509.4A patent/EP2483750B1/en active Active
- 2010-09-21 US US13/499,319 patent/US9167226B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1778119A (zh) * | 2003-04-18 | 2006-05-24 | 三洋电机株式会社 | 立体视角用视频提供方法和立体视频显示装置 |
CN101288105A (zh) * | 2005-10-11 | 2008-10-15 | 普莱姆传感有限公司 | 用于物体重现的方法和*** |
CN101305401A (zh) * | 2005-11-14 | 2008-11-12 | 微软公司 | 用于游戏的立体视频 |
CN101393649A (zh) * | 2007-09-20 | 2009-03-25 | 株式会社东芝 | 多视点图像渲染装置及方法 |
WO2009047681A1 (en) * | 2007-10-11 | 2009-04-16 | Koninklijke Philips Electronics N.V. | Method and device for processing a depth-map |
CN101257641A (zh) * | 2008-03-14 | 2008-09-03 | 清华大学 | 基于人机交互的平面视频转立体视频的方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104335579A (zh) * | 2013-02-06 | 2015-02-04 | 皇家飞利浦有限公司 | 对供多视图立体显示设备所用的视频数据信号进行编码的方法 |
CN105556952A (zh) * | 2013-04-23 | 2016-05-04 | Maior有限责任公司 | 用于影片的再现的方法 |
CN105556952B (zh) * | 2013-04-23 | 2019-04-09 | Maior有限责任公司 | 用于影片的再现的方法 |
Also Published As
Publication number | Publication date |
---|---|
BR112012007115A2 (pt) | 2020-02-27 |
CN102549507B (zh) | 2014-08-20 |
US9167226B2 (en) | 2015-10-20 |
KR101727094B1 (ko) | 2017-04-17 |
RU2551789C2 (ru) | 2015-05-27 |
EP2483750A1 (en) | 2012-08-08 |
JP5859441B2 (ja) | 2016-02-10 |
EP2483750B1 (en) | 2018-09-12 |
RU2012117572A (ru) | 2013-11-10 |
JP2013507026A (ja) | 2013-02-28 |
KR20120093243A (ko) | 2012-08-22 |
US20120188341A1 (en) | 2012-07-26 |
WO2011039679A1 (en) | 2011-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102549507B (zh) | 选择视点用于在3d视频中生成附加视图 | |
CN111279705B (zh) | 用于编码和解码体积视频的方法、设备和流 | |
CN111264058B (zh) | 用于对三自由度和体积兼容视频流进行编码和解码的方法、设备 | |
CN105165008B (zh) | 对与多视图再现设备一起使用的视频数据信号进行编码的方法 | |
JP5567562B2 (ja) | 多用途三次元画像フォーマット | |
KR101512988B1 (ko) | 그래픽 오브젝트를 중첩하기 위한 이미지 프로세서 | |
CN104333746B (zh) | 广播接收机及其3d字幕数据处理方法 | |
US9035942B2 (en) | Graphic image processing method and apparatus | |
KR100955578B1 (ko) | 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치 | |
KR20100002032A (ko) | 영상 생성 방법, 영상 처리 방법, 및 그 장치 | |
JP2012516505A (ja) | 三次元画像にクローズドキャプショニングを提供するシステム及び方法 | |
KR20110113186A (ko) | 비디오 인터페이스를 통해 송신하고 3d 비디오 및 3d 오버레이들을 합성하기 위한 방법 및 시스템 | |
CA2767511A1 (en) | Signal processing method and apparatus therefor using screen size of display device | |
US20210329214A1 (en) | An apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video | |
JP7344988B2 (ja) | ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品 | |
US9723290B2 (en) | Method for generating, transmitting and receiving stereoscopic images and relating devices | |
WO2014015460A1 (en) | 3d video representation using information embedding | |
WO2021053261A1 (en) | A method, an apparatus and a computer program product for video encoding and video decoding | |
CN104769940B (zh) | 深度信令数据 | |
WO2011094164A1 (en) | Image enhancement system using area information | |
KR20100036683A (ko) | 영상 출력 방법 및 장치 | |
KR20200095408A (ko) | 이머시브 비디오 포맷팅 방법 및 장치 | |
JP4860763B2 (ja) | 画像符号化装置、画像符号化装置の制御方法、制御プログラムおよび記録媒体 | |
KR102209192B1 (ko) | 다시점 360도 영상 처리 및 전송 | |
CN117170206A (zh) | 一种全息成像方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |