CN102761758A - 深度图产生装置与立体图像产生方法 - Google Patents
深度图产生装置与立体图像产生方法 Download PDFInfo
- Publication number
- CN102761758A CN102761758A CN2011103022827A CN201110302282A CN102761758A CN 102761758 A CN102761758 A CN 102761758A CN 2011103022827 A CN2011103022827 A CN 2011103022827A CN 201110302282 A CN201110302282 A CN 201110302282A CN 102761758 A CN102761758 A CN 102761758A
- Authority
- CN
- China
- Prior art keywords
- depth map
- dimensional image
- depth
- depth information
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title description 7
- 238000004519 manufacturing process Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 abstract 2
- 230000000007 visual effect Effects 0.000 description 10
- 238000009877 rendering Methods 0.000 description 6
- 101000979001 Homo sapiens Methionine aminopeptidase 2 Proteins 0.000 description 5
- 101000969087 Homo sapiens Microtubule-associated protein 2 Proteins 0.000 description 5
- 101000969594 Homo sapiens Modulator of apoptosis 1 Proteins 0.000 description 5
- 102100021118 Microtubule-associated protein 2 Human genes 0.000 description 5
- 102100021440 Modulator of apoptosis 1 Human genes 0.000 description 5
- 101100131116 Oryza sativa subsp. japonica MPK3 gene Proteins 0.000 description 5
- 101100456045 Schizosaccharomyces pombe (strain 972 / ATCC 24843) map3 gene Proteins 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 208000034699 Vitreous floaters Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一种深度图产生装置，包括第一深度信息撷取器、第二深度信息撷取器以及混合器。第一深度信息撷取器用以根据第一算法自主要二维图像撷取出第一深度信息，并且产生主要二维图像所对应的第一深度图。第二深度信息撷取器用以根据第二算法自次要二维图像撷取出第二深度信息，并且产生次要二维图像所对应的第二深度图。混合器用以根据多个可调整的加权系数混合第一深度图与第二深度图，以产生混合的深度图。混合的深度图被利用于将主要二维图像转换成一组三维图像。
Description
技术领域
本发明是关于一种立体图像产生装置，特别关于一种可产生更精确的深度信息的立体图像产生装置。
背景技术
与传统的二维(two dimensional，简称为2D)显示技术相比，现今的三维(three dimensional，简称为3D)显示技术可更强化使用者的视觉体验，并且使许多相关行业受惠，例如传播、电影、游戏以及摄影工业等。因此，3D视频信号处理已在视觉处理领域中成为一种趋势。
然而，在产生3D图像的过程中，一个重大的挑战为如何产生深度图(depth map)。由于2D图像是经由图像感测器(image sensor)所撷取出来，但图像感测器并没有事先预录的深度信息，因此，缺乏有效的3D图像产生方法为在3D工业中根据2D图像产生3D图像的一个问题。为了能有效地产生3D图像，使得使用者可以充分地体验3D图像，需要一种有效地将2D转换成3D的方法与***。
发明内容
根据本发明的一实施例，一种深度图产生装置，包括第一深度信息撷取器、第二深度信息撷取器以及混合器。第一深度信息撷取器用以根据第一算法自主要二维图像撷取出第一深度信息，并且产生主要二维图像所对应的第一深度图。第二深度信息撷取器用以根据第二算法自次要二维图像撷取出第二深度信息，并且产生次要二维图像所对应的第二深度图。混合器用以根据多个可调整的加权系数混合第一深度图与第二深度图，以产生混合的深度图。混合的深度图被利用于将主要二维图像转换成一组三维图像。
根据本发明的另一实施例，一种立体图像产生装置，包括深度图产生装置以及基于深度图像绘制装置。深度图产生装置用以自主要二维图像与次要二维图像撷取出多个深度信息，并且根据撷取出的深度信息产生混合的深度图。基于深度图像绘制装置用以根据主要二维图像与混合的深度图产生一组三维图像。
根据本发明的又另一实施例，一种立体图像产生方法，包括：自主要二维图像撷取出第一深度信息，以产生主要二维图像所对应的第一深度图；自次要二维图像撷取出第二深度信息，以产生次要二维图像所对应的第二深度图；根据多个可调整的加权系数混合第一深度图与第二深度图，以产生混合的深度图；以及根据主要二维图像与混合的深度图产生一组三维图像。
附图说明
图1是显示根据本发明的一实施例所述的一立体图像产生装置的方块图。
图2是显示根据本发明的一实施例所述的深度图产生装置的方块图。
图3是显示根据本发明的一实施例所述的二维图像范例。
图4是显示根据本发明的一实施例所述的深度图范例。
图5是显示根据本发明的另一实施例所述的深度图范例。
图6是显示根据本发明的又另一实施例所述的深度图范例。
图7是显示根据本发明的一实施例所述的混合的深度图范例。
图8是显示根据本发明的另一实施例所述的混合的深度图范例。
图9是显示根据本发明的又另一实施例所述的混合的深度图范例。
图10是显示根据本发明的一实施例所述的立体图像产生方法流程图。
图11是显示根据本发明的另一实施例所述的立体图像产生方法流程图。
[主要元件标号说明]
100～立体图像产生装置；
101、102～感测器；
103～深度图产生装置；
104～基于深度图像绘制装置；
201～图像处理器；
202、203、204～深度信息撷取器；
205～混合器；
D_MAP、MAP1、MAP2、MAP3～深度图；
IM、IM’、IM”、L1、L2、R1、R2、S_IM、S_IM’～图像；
Mode_Sel～信号。
具体实施方式
为使本发明的制造、操作方法、目标和优点能更明显易懂，下文特举几个较佳实施例，并配合所附图式，作详细说明如下：
实施例：
图1是显示根据本发明的一实施例所述的一立体图像产生装置的方块图。于本发明的实施例中，立体图像产生装置100可包括多于一个感测器(即，图像撷取装置)，例如，感测器101与102、深度图产生装置103以及基于深度图像绘制(depth image based rendering，简称DIBR)装置104。根据本发明的一实施例，感测器101可被视为用以撷取主要二维图像IM的一主要感测器，而感测器102可被视为用以撷取次要二维图像S_IM的一次要感测器。由于感测器101与102相隔一距离被摆放，因此可利用感测器101与102从不同的角度撷取相同画面场景的图像。
根据本发明的一实施例，深度图产生装置103可分别自感测器101与102接收主要二维图像IM与次要二维图像S_IM，并且处理主要二维图像IM(以及/或次要二维图像S_IM)，以产生处理过的图像IM’(以及/或产生如图2所示的处理过的图像S_IM’)。深度图产生装置103可过滤掉所撷取的主要二维图像IM(以及/或次要二维图像S_IM)内的噪声，以产生处理过的图像IM’(以及/或产生如图2所示的处理过的图像S_IM’)。值得注意的是，于本发明的其它实施例中，深度图产生装置103也可对主要二维图像IM(以及/或次要二维图像S_IM)执行其它的图像处理程序，以产生处理过的图像IM’(以及/或产生如图2所示的处理过的图像S_IM’)，或不先处理主要二维图像IM，而是直接将主要二维图像IM传送至基于深度图像绘制装置104，而本发明并不限于任一种实施方式。根据本发明的一实施例，深度图产生装置103可更自主要二维图像IM与次要二维图像S_IM(或是从处理过的图像IM’以及处理过的图像S_IM’)中撷取出多个深度信息，并且根据撷取出的深度信息产生混合的深度图D_MAP。
图2是显示根据本发明的一实施例所述的深度图产生装置的方块图。于本发明的一实施例中，深度图产生装置可包含图像处理器201、第一深度信息撷取器202、第二深度信息撷取器203、第三深度信息撷取器204与混合器205。图像处理器201可处理主要二维图像IM以及/或次要二维图像S_IM，以产生处理过的图像IM’以及/或S_IM’。值得注意的是，如上述，图像处理器201也可不先处理主要二维图像IM以及/或次要二维图像S_IM，因此于本发明的一些实施例中，处理过的图像IM’以及/或S_IM’可分别与主要二维图像IM以及/或次要二维图像S_IM相同。
根据本发明的一实施例，第一深度信息撷取器202可根据第一算法自未处理或处理过的主要二维图像IM或IM’撷取出第一深度信息，并且产生主要二维图像所对应的第一深度图MAP1。第二深度信息撷取器203可根据第二算法自未处理或处理过的次要二维图像S_IM或S_IM’撷取出第二深度信息，并且产生次要二维图像所对应的第二深度图MAP2。第三深度信息撷取器204可根据第三算法自未处理或处理过的次要二维图像S_IM或S_IM’撷取出第三深度信息，并且产生次要二维图像所对应的第三深度图MAP3。混合器205可根据多个可调整的加权系数混合所接收到的深度图MAP1、MAP2与MAP3的至少两者，以产生混合的深度图D_MAP。
根据本发明的一实施例，用以撷取第一深度信息的第一算法可为以位置为基础的一深度信息撷取算法。根据以位置为基础的深度信息撷取算法，二维图像内所包含的一或多个对象的距离会先被估计出来。接着，根据估计的距离撷取出第一深度信息，并且最后根据第一深度信息产生深度图。图3是显示根据本发明的一实施例所述的二维图像范例，图中有一个女孩戴着橘色帽子。根据以位置为基础的深度信息撷取算法的概念，位于画面下方的对象被假设与观赏者的距离较近。因此，可先取得二维图像的边缘特征值，接着从二维图像的顶端至底部水平地累积边缘特征值，以取得初始的画面深度图。此外，可以更假设在视觉感知中，观赏者会感受到颜色为暖色系的对象比冷色系的对象距离较近。因此，可先取得二维图像的纹理(texture)值，例如，从色彩空间(例如，Y/U/V、Y/Cr/Cb、R/G/B、或其它色彩空间)分析二维图像的对象的颜色。初始的画面深度图可与纹理值混合，以得到如图4所示的以位置为基础的深度图。更多以位置为基础的深度信息撷取算法的相关内容，可参考至该领域相关文件，例如，公开于2010年信息显示协会(Society forInformation Display，简称SID)的文件「一种额外低成本的二维/三维视频转换***(“An Ultra-Low-Cost 2-D/3-D Video-Conversion System”)」。
根据本发明的一实施例，撷取出来的深度信息可以深度值呈现。如图4所示的以位置为基础的深度图，二维图像的各像素可具有对应的深度值，使得这些深度值可组合成一深度图。深度值可分布于0到255之间，其中较大的深度值代表对象距离观赏者较近，因此在深度图中，该深度值所对应的位置的亮度较亮。如图4所示的以位置为基础的深度图中，画面下方的视觉区域的亮度比画面上方的之视觉区域来得亮，并且如图3所示的女孩的帽子、衣服、脸以及手等区域的在深度图中所对应的区域的亮度也比背景对象的亮度来得亮。因此，相较于其它对象，画面下方的视觉区域以及女孩的帽子、衣服、脸以及手等区域的对象可被视为距离观赏者较近。
根据本发明的另一实施例，用以撷取第二深度信息的第二算法可为以颜色为基础的一深度信息撷取算法。根据以颜色为基础的深度信息撷取算法，二维图像内所包含的一或多个对象的颜色可先从色彩空间(例如，Y/U/V、Y/Cr/Cb、R/G/B、或其它色彩空间)被分析出来。接着，根据分析的颜色撷取出第二深度信息，并且最后根据第二深度信息产生深度图。如上述，假设在观赏者会感受到颜色为暖色系的对象比冷色系的对象距离较近。因此，较大的深度值会指派给具有暖色系(例如，红色、橘色、黄色等)的颜色的像素，而较小的深度值会指派给具有冷色系(例如，蓝色、紫色、青绿色等)的颜色的像素。图5是显示根据本发明的一实施例所述的根据如图3所示的二维图像所取得的以颜色为基础的深度图。如图5所示，由于在如图3所示的女孩的帽子、衣服、脸以及手等区域内的对象以暖色系的颜色被呈现，因此深度图中这些区域的亮度比其它区域的亮度来得亮(即，具有较大的深度值)。
根据本发明的另一实施例，用以撷取第三深度信息的第三算法可为以边缘为基础的一深度信息撷取算法。根据以边缘为基础的深度信息撷取算法，二维图像内所包含的一或多个对象的边缘特征会先被检测出来。接着，根据检测到的边缘特征撷取出第三深度信息，以及最后，根据第三深度信息产生深度图。根据本发明的一实施例，边缘特征可通过于二维图像上应用一高通滤波器(high pass filter，简称HPF)以取得一滤波过的二维图像，进而被检测出来。高通滤波器可以是至少一维的阵列，而滤波过的二维图像的像素值可被视为检测到的边缘特征值。检测到的各边缘特征值可被分配一个对应的深度值，以取得以边缘为基础的深度图。于本发明的另一实施例中，在将检测到的各边缘特征值分配一个对应的深度值之前，也可更将一低通滤波器(low pass filter，简称LPF)应用于所有取得的边缘特征值，其中低通滤波器可以是至少一维的阵列。
根据以边缘为基础的深度信息撷取算法的概念，观赏者被假设会感受到一对象的边缘比中央区域具有更近的距离。因此，可分配较大的深度值给位于对象的边缘区域的像素(即，具有较大的边缘特征值的像素或者与相邻的像素点具有较大差异的像素)，而位于对象中央的区域的像素可被分配较小的深度值，用以强化二维图像的对象的外形。图6是显示根据本发明的一实施例所述的根据如图3所示的二维图像所取得的以边缘为基础的深度图。如图6所示，图3中对象的边缘区域的亮度比其它区域的亮度来得亮(即，具有较大的深度值)。
值得注意的是，深度信息也可根据以其它特征值为基础的深度信息撷取算法取得，而本发明并不受限于上述的以位置为基础、以颜色为基础以及以边缘为基础的深度信息撷取算法实施例。参考回图2，在取得深度图MAP1、MAP2与MAP3之后，混合器205可根据多个可调整的加权系数混合所接收到的深度图MAP1、MAP2与MAP3的至少两者，以产生混合的深度图D_MAP。例如，混合器205可混合如图4所示的以位置为基础的深度图以及如图5所示的以颜色为基础的深度图，而得到如图7所示的混合的深度图。又例如，混合器205可混合如图4所示的以位置为基础的深度图以及如图6所示的以边缘为基础的深度图，而得到如图8所示的混合的深度图。又例如，混合器205可混合如图4所示的以位置为基础的深度图、如图5所示的以颜色为基础的深度图以及如图6所示的以边缘为基础的深度图，而得到如图9所示的混合的深度图。
根据本发明的一实施例，混合器205可接收一模式选择信号Mode_Sel，其用以指示出使用者所选择的用以撷取主要与次要二维图像的模式，并且根据模式选择信号Mode_Sel决定加权系数值。使用者所选择用以撷取主要与次要二维图像的模式可包括夜景模式、人像模式、运动模式、近物模式、夜间人像模式或其它。由于当选择不同的模式撷取主要与次要二维图像时，可能应用不同的参数，例如，曝光时间、焦距等。因此，可根据模式改变加权系数值，以产生混合的深度图。例如，在人像模式中，用以混合第一深度图与第二深度图的加权系数值可分别设定为0.7与0.3。即，将第一深度图内的深度值乘上0.7并且将第二深度图内的深度值乘上0.3之后，再把两深度图内加权过的深度值相加起来，得到混合的深度图D_MAP。
参考回图1，在取得混合的深度图D_MAP后，基于深度图像绘制装置104可根据主要二维图像IM与混合的深度图D_MAP产生一组三维图像(例如图中所示的图像IM”、R1、R2、L1与L2)。根据本发明的一实施例，图像IM”可为主要二维图像IM或处理过的图像IM’再经过更进一步处理过的结果。例如，经过滤除噪声、锐化、或其它处理后得到图像IM”。图像IM”、R1、R2、L1与L2为同一场景下不同视觉角度的三维图像，其中图像IM”代表于中央的视角的图像，而图像R2与L2分别代表于最右边与最左边的视角的图像。或者，图像L2(或R2)也可以代表于图像L1(或R1)以及IM”之间的视角的图像。该组三维图像可更被传送至一格式转换装置(图未示)，用以在播放于显示面板(图未示)之前执行格式转换。格式转换算法可根据不同显示面板的需求有弹性地设计。值得注意的是，基于深度图像绘制装置104也可为左眼和右眼产生两个以上不同视角的三维图像，因此最终的三维图像上的三维效果是根据两个以上视角的信息而产生，而本发明并不限于任一种实施方式。
图10是显示根据本发明的一实施例所述的立体图像产生方法流程图。首先，自主要二维图像撷取出第一深度信息，并且产生主要二维图像所对应的第一深度图(步骤S1002)。接着，自次要二维图像撷取出第二深度信息，并且产生次要二维图像所对应的第二深度图(步骤S1004)。接着，根据多个可调整的加权系数混合第一深度图与第二深度图，以产生混合的深度图(步骤S1006)。最后，根据主要二维图像与混合的深度图产生一组三维图像(步骤S1008)。
图11是显示根据本发明的另一实施例所述的立体图像产生方法流程图。在此实施例中，第一深度信息与第二深度信息平行地被撷取出来，并且第一与第二深度图可同时被对应产生。首先，同时自主要二维图像与次要二维图像分别撷取出第一深度信息与第二深度信息，并且产生主要二维图像所对应的第一深度图以及次要二维图像所对应的第二深度图(步骤S1102)。接着，根据多个可调整的加权系数混合第一深度图与第二深度图，以产生混合的深度图(步骤S1104)。最后，根据主要二维图像与混合的深度图产生一组三维图像(步骤S1106)。值得注意的是，于本发明的另一实施例中，第一、第二与第三深度信息也可平行地根据相同的概念被撷取出来，并且产生对应的第一、第二与第三深度图。接着，第一、第二与第三深度图可被混合，以产生混合的深度图，并且根据主要二维图像与混合的深度图产生一组三维图像。
本发明虽以较佳实施例揭露如上，然其并非用以限定本发明的范围，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视所附的权利要求范围所界定者为准。
Claims (12)
1.一种深度图产生装置，包括：
一第一深度信息撷取器，用以根据一第一算法自一主要二维图像撷取出一第一深度信息，并且产生该主要二维图像所对应的一第一深度图；
一第二深度信息撷取器，用以根据一第二算法自一次要二维图像撷取出一第二深度信息，并且产生该次要二维图像所对应的一第二深度图；以及
一混合器，用以根据多个可调整的加权系数混合该第一深度图与该第二深度图，以产生一混合的深度图，
其中该混合的深度图被利用于将该主要二维图像转换成一组三维图像。
2.根据权利要求1所述的深度图产生装置，其中该第一算法为以位置为基础的一深度信息撷取算法，通过该第一算法，该第一深度信息是根据该主要二维图像内所包含的一或多个对象所估计的距离被撷取出来。
3.根据权利要求1所述的深度图产生装置，其中该第二算法为以颜色为基础的一深度信息撷取算法，通过该第二算法，该第二深度信息是根据该次要二维图像内所包含的一或多个对象的颜色被撷取出来。
4.根据权利要求1所述的深度图产生装置，其中该第二算法为以边缘为基础的一深度信息撷取算法，通过该第二算法，该第二深度信息是根据该次要二维图像内所包含的一或多个对象所检测到的边缘特征被撷取出来。
5.根据权利要求1所述的深度图产生装置，还包括：
一第三深度信息撷取器，用以根据一第三算法自该次要二维图像撷取一第三深度信息，并且产生该次要二维图像所对应的一第三深度图；
其中该混合器还根据该多个可调整的加权系数混合该第一深度图、该第二深度图与该第三深度图，以产生该混合的深度图。
6.根据权利要求5所述的深度图产生装置，其中该第三算法为以边缘为基础的一深度信息撷取算法，通过该第三算法，该第三深度信息图是根据该次要二维图像内所包含的一或多个对象所检测到的边缘特征被撷取出来。
7.一种立体图像产生方法，包括：
自一主要二维图像撷取出一第一深度信息，以产生该主要二维图像所对应的一第一深度图；
自一次要二维图像撷取出一第二深度信息，以产生该次要二维图像所对应的一第二深度图；
根据多个可调整的加权系数混合该第一深度图与该第二深度图，以产生一混合的深度图；以及
根据该主要二维图像与该混合的深度图产生一组三维图像。
8.根据权利要求7所述的立体图像产生方法，还包括：
由一主要感测器撷取该主要二维图像；以及
由一次要感测器撷取该次要二维图像。
9.根据权利要求7所述的立体图像产生方法，还包括：
估计该主要二维图像内所包含的一或多个对象的距离；
根据估计的该一或多个对象的距离撷取出该第一深度信息；以及
根据该第一深度信息产生该第一深度图。
10.根据权利要求7所述的立体图像产生方法，还包括：
分析该次要二维图像内所包含的一或多个对象的颜色；
根据分析的该一或多个对象的颜色撷取出该第二深度信息；以及
根据该第二深度信息产生该第二深度图。
11.根据权利要求7所述的立体图像产生方法，还包括：
自该次要二维图像撷取出一第三深度信息，以产生该次要二维图像所对应的一第三深度图；以及
根据该多个可调整的加权系数混合该第一深度图、该第二深度图与该第三深度图，以产生该混合的深度图。
12.根据权利要求11所述的立体图像产生方法，还包括：
检测该次要二维图像内所包含的一或多个对象的边缘特征；
根据检测到的该一或多个对象的边缘特征撷取出该第三深度信息；以及
根据该第三深度信息产生该第三深度图。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/097,528 | 2011-04-29 | ||
| US13/097,528 US20120274626A1 (en) | 2011-04-29 | 2011-04-29 | Stereoscopic Image Generating Apparatus and Method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102761758A true CN102761758A (zh) | 2012-10-31 |
Family
ID=47056061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011103022827A Pending CN102761758A (zh) | 2011-04-29 | 2011-10-08 | 深度图产生装置与立体图像产生方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20120274626A1 (zh) |
| CN (1) | CN102761758A (zh) |
| TW (1) | TW201243770A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104052990A (zh) * | 2014-06-30 | 2014-09-17 | 山东大学 | 一种基于融合深度线索的全自动二维转三维方法和装置 |
| CN104937927A (zh) * | 2013-02-20 | 2015-09-23 | 英特尔公司 | 2维图像或视频到3维立体图像或视频的实时自动转换 |
| CN108961194A (zh) * | 2017-03-31 | 2018-12-07 | 钰立微电子股份有限公司 | 用以融合多深度图的深度图产生装置 |
Families Citing this family (70)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8897596B1 (en) | 2001-05-04 | 2014-11-25 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with translucent elements |
| US8401336B2 (en) | 2001-05-04 | 2013-03-19 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with augmented computer-generated elements |
| US9286941B2 (en) | 2001-05-04 | 2016-03-15 | Legend3D, Inc. | Image sequence enhancement and motion picture project management system |
| US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| EP2289235A4 (en) | 2008-05-20 | 2011-12-28 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER |
| US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| WO2011063347A2 (en) | 2009-11-20 | 2011-05-26 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| US8928793B2 (en) | 2010-05-12 | 2015-01-06 | Pelican Imaging Corporation | Imager array interfaces |
| KR20120023431A (ko) * | 2010-09-03 | 2012-03-13 | 삼성전자주식회사 | 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치 |
| US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
| US8730232B2 (en) | 2011-02-01 | 2014-05-20 | Legend3D, Inc. | Director-style based 2D to 3D movie conversion system and method |
| US9407904B2 (en) | 2013-05-01 | 2016-08-02 | Legend3D, Inc. | Method for creating 3D virtual reality from 2D images |
| US9241147B2 (en) | 2013-05-01 | 2016-01-19 | Legend3D, Inc. | External depth map transformation method for conversion of two-dimensional images to stereoscopic images |
| US9282321B2 (en) | 2011-02-17 | 2016-03-08 | Legend3D, Inc. | 3D model multi-reviewer system |
| US9288476B2 (en) | 2011-02-17 | 2016-03-15 | Legend3D, Inc. | System and method for real-time depth modification of stereo images of a virtual reality environment |
| WO2012155119A1 (en) | 2011-05-11 | 2012-11-15 | Pelican Imaging Corporation | Systems and methods for transmitting and receiving array camera image data |
| TWI493505B (zh) * | 2011-06-20 | 2015-07-21 | Mstar Semiconductor Inc | 影像處理方法以及影像處理裝置 |
| WO2013043761A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
| KR101855939B1 (ko) * | 2011-09-23 | 2018-05-09 | 엘지전자 주식회사 | 영상표시장치의 동작 방법 |
| KR102002165B1 (ko) | 2011-09-28 | 2019-07-25 | 포토내이션 리미티드 | 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법 |
| US9661310B2 (en) * | 2011-11-28 | 2017-05-23 | ArcSoft Hanzhou Co., Ltd. | Image depth recovering method and stereo image fetching device thereof |
| US9412206B2 (en) | 2012-02-21 | 2016-08-09 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
| US20130329985A1 (en) * | 2012-06-07 | 2013-12-12 | Microsoft Corporation | Generating a three-dimensional image |
| CN104508681B (zh) | 2012-06-28 | 2018-10-30 | Fotonation开曼有限公司 | 用于检测有缺陷的相机阵列、光学器件阵列和传感器的***及方法 |
| US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
| CN104662589B (zh) | 2012-08-21 | 2017-08-04 | 派力肯影像公司 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的***和方法 |
| EP2888698A4 (en) | 2012-08-23 | 2016-06-29 | Pelican Imaging Corp | PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE |
| WO2014052974A2 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating images from light fields utilizing virtual viewpoints |
| US9007365B2 (en) | 2012-11-27 | 2015-04-14 | Legend3D, Inc. | Line depth augmentation system and method for conversion of 2D images to 3D images |
| US9547937B2 (en) | 2012-11-30 | 2017-01-17 | Legend3D, Inc. | Three-dimensional annotation system and method |
| WO2014130849A1 (en) | 2013-02-21 | 2014-08-28 | Pelican Imaging Corporation | Generating compressed light field representation data |
| WO2014138695A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for measuring scene information while capturing images using array cameras |
| US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
| WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
| US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
| US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
| US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
| US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
| US9007404B2 (en) | 2013-03-15 | 2015-04-14 | Legend3D, Inc. | Tilt-based look around effect image enhancement method |
| US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
| EP2973476A4 (en) | 2013-03-15 | 2017-01-18 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
| US9438878B2 (en) | 2013-05-01 | 2016-09-06 | Legend3D, Inc. | Method of converting 2D video to 3D video using 3D object models |
| WO2015048694A2 (en) | 2013-09-27 | 2015-04-02 | Pelican Imaging Corporation | Systems and methods for depth-assisted perspective distortion correction |
| US9967546B2 (en) * | 2013-10-29 | 2018-05-08 | Vefxi Corporation | Method and apparatus for converting 2D-images and videos to 3D for consumer, commercial and professional applications |
| US20150116458A1 (en) | 2013-10-30 | 2015-04-30 | Barkatech Consulting, LLC | Method and apparatus for generating enhanced 3d-effects for real-time and offline appplications |
| EP3066690A4 (en) | 2013-11-07 | 2017-04-05 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
| US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
| WO2015081279A1 (en) | 2013-11-26 | 2015-06-04 | Pelican Imaging Corporation | Array camera configurations incorporating multiple constituent array cameras |
| TWI497444B (zh) * | 2013-11-27 | 2015-08-21 | Au Optronics Corp | 二維影像至三維影像的影像轉換方法及影像轉換裝置 |
| WO2015134996A1 (en) | 2014-03-07 | 2015-09-11 | Pelican Imaging Corporation | System and methods for depth regularization and semiautomatic interactive matting using rgb-d images |
| TWI511079B (zh) * | 2014-04-30 | 2015-12-01 | Au Optronics Corp | 三維影像校正裝置及三維影像校正方法 |
| US10158847B2 (en) | 2014-06-19 | 2018-12-18 | Vefxi Corporation | Real—time stereo 3D and autostereoscopic 3D video and image editing |
| KR102172992B1 (ko) * | 2014-07-31 | 2020-11-02 | 삼성전자주식회사 | 이미지 촬영 장치 및 이미지 촬영 방법 |
| EP3201877B1 (en) | 2014-09-29 | 2018-12-19 | Fotonation Cayman Limited | Systems and methods for dynamic calibration of array cameras |
| CN107111598B (zh) * | 2014-12-19 | 2020-09-15 | 深圳市大疆创新科技有限公司 | 使用超声深度感测的光流成像***以及方法 |
| US9609307B1 (en) | 2015-09-17 | 2017-03-28 | Legend3D, Inc. | Method of converting 2D video to 3D video using machine learning |
| CN106791770B (zh) * | 2016-12-20 | 2018-08-10 | 南阳师范学院 | 一种适用于dibr预处理过程的深度图融合方法 |
| EP3435670A1 (en) * | 2017-07-25 | 2019-01-30 | Koninklijke Philips N.V. | Apparatus and method for generating a tiled three-dimensional image representation of a scene |
| EP3486606A1 (de) * | 2017-11-20 | 2019-05-22 | Leica Geosystems AG | Stereokamera und stereophotogrammetrisches verfahren |
| EP3706070A1 (en) * | 2019-03-05 | 2020-09-09 | Koninklijke Philips N.V. | Processing of depth maps for images |
| WO2021055585A1 (en) | 2019-09-17 | 2021-03-25 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
| MX2022004163A (es) | 2019-10-07 | 2022-07-19 | Boston Polarimetrics Inc | Sistemas y metodos para la deteccion de estandares de superficie con polarizacion. |
| MX2022005289A (es) | 2019-11-30 | 2022-08-08 | Boston Polarimetrics Inc | Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion. |
| WO2021154386A1 (en) | 2020-01-29 | 2021-08-05 | Boston Polarimetrics, Inc. | Systems and methods for characterizing object pose detection and measurement systems |
| US11797863B2 (en) | 2020-01-30 | 2023-10-24 | Intrinsic Innovation Llc | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
| WO2021243088A1 (en) | 2020-05-27 | 2021-12-02 | Boston Polarimetrics, Inc. | Multi-aperture polarization optical systems using beam splitters |
| AT524138A1 (de) * | 2020-09-02 | 2022-03-15 | Stops & Mops Gmbh | Verfahren zur Emulation eines mit einer Maske teilabgedeckten Scheinwerfers |
| US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
| US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
| US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070018977A1 (en) * | 2005-07-25 | 2007-01-25 | Wolfgang Niem | Method and apparatus for generating a depth map |
| WO2010010521A2 (en) * | 2008-07-24 | 2010-01-28 | Koninklijke Philips Electronics N.V. | Versatile 3-d picture format |
| CN101754040A (zh) * | 2008-12-04 | 2010-06-23 | 三星电子株式会社 | 用于估计深度和将2d视频转换为3d视频的方法和设备 |
| CN101785025A (zh) * | 2007-07-12 | 2010-07-21 | 汤姆森特许公司 | 用于从二维图像进行三维对象重构的***和方法 |
| CN101945295A (zh) * | 2009-07-06 | 2011-01-12 | 三星电子株式会社 | 生成深度图的方法和设备 |
| WO2011046607A2 (en) * | 2009-10-14 | 2011-04-21 | Thomson Licensing | Filtering and edge encoding |
| WO2011050304A2 (en) * | 2009-10-23 | 2011-04-28 | Qualcomm Incorporated | Depth map generation techniques for conversion of 2d video data to 3d video data |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080002033A (ko) * | 2006-06-30 | 2008-01-04 | 주식회사 하이닉스반도체 | 반도체 소자의 배선 형성방법 |
| KR20100099896A (ko) * | 2009-03-04 | 2010-09-15 | 삼성전자주식회사 | 메타데이터 생성 방법 및 장치, 그 메타데이터를 이용하여 영상을 처리하는 방법 및 장치 |
-
2011
- 2011-04-29 US US13/097,528 patent/US20120274626A1/en not_active Abandoned
- 2011-09-09 TW TW100132536A patent/TW201243770A/zh unknown
- 2011-10-08 CN CN2011103022827A patent/CN102761758A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070018977A1 (en) * | 2005-07-25 | 2007-01-25 | Wolfgang Niem | Method and apparatus for generating a depth map |
| CN101785025A (zh) * | 2007-07-12 | 2010-07-21 | 汤姆森特许公司 | 用于从二维图像进行三维对象重构的***和方法 |
| WO2010010521A2 (en) * | 2008-07-24 | 2010-01-28 | Koninklijke Philips Electronics N.V. | Versatile 3-d picture format |
| CN101754040A (zh) * | 2008-12-04 | 2010-06-23 | 三星电子株式会社 | 用于估计深度和将2d视频转换为3d视频的方法和设备 |
| CN101945295A (zh) * | 2009-07-06 | 2011-01-12 | 三星电子株式会社 | 生成深度图的方法和设备 |
| WO2011046607A2 (en) * | 2009-10-14 | 2011-04-21 | Thomson Licensing | Filtering and edge encoding |
| WO2011050304A2 (en) * | 2009-10-23 | 2011-04-28 | Qualcomm Incorporated | Depth map generation techniques for conversion of 2d video data to 3d video data |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104937927A (zh) * | 2013-02-20 | 2015-09-23 | 英特尔公司 | 2维图像或视频到3维立体图像或视频的实时自动转换 |
| CN104937927B (zh) * | 2013-02-20 | 2017-08-25 | 英特尔公司 | 2维图像或视频到3维立体图像或视频的实时自动转换 |
| US10051259B2 (en) | 2013-02-20 | 2018-08-14 | Intel Corporation | Real-time automatic conversion of 2-dimensional images or video to 3-dimensional stereo images or video |
| CN104052990A (zh) * | 2014-06-30 | 2014-09-17 | 山东大学 | 一种基于融合深度线索的全自动二维转三维方法和装置 |
| CN108961194A (zh) * | 2017-03-31 | 2018-12-07 | 钰立微电子股份有限公司 | 用以融合多深度图的深度图产生装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201243770A (en) | 2012-11-01 |
| US20120274626A1 (en) | 2012-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102761758A (zh) | 深度图产生装置与立体图像产生方法 | |
| TWI524734B (zh) | 產生深度圖的方法及裝置 | |
| CN104160690B (zh) | 区域提取结果的显示方法和图像处理装置 | |
| US9773302B2 (en) | Three-dimensional object model tagging | |
| CN101635859B (zh) | 一种实现平面视频转立体视频的方法和装置 | |
| CN105279372B (zh) | 一种确定建筑物高度的方法和装置 | |
| US9214013B2 (en) | Systems and methods for correcting user identified artifacts in light field images | |
| Tam et al. | 3D-TV content generation: 2D-to-3D conversion | |
| CN109360235A (zh) | 一种基于光场数据的混合深度估计方法 | |
| Choi et al. | Estimation of color modification in digital images by CFA pattern change | |
| US20080247670A1 (en) | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images | |
| CN100571335C (zh) | 基于像素空间相关性的图像融合效果实时评价方法及装置 | |
| KR20110113924A (ko) | 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치 | |
| US9591281B2 (en) | Apparatus and method for determining a disparity estimate | |
| EP2757789A1 (en) | Image processing system, image processing method, and image processing program | |
| CN102215423A (zh) | 用于测量视听参数的方法和设备 | |
| CN104915943B (zh) | 用于在视差图中确定主要视差值的方法和装置 | |
| JP5370606B2 (ja) | 撮像装置、画像表示方法、及びプログラム | |
| CN103198486A (zh) | 一种基于各向异性扩散的深度图像增强方法 | |
| Kuo et al. | Depth estimation from a monocular view of the outdoors | |
| Tsai et al. | Quality assessment of 3D synthesized views with depth map distortion | |
| CN101674418B (zh) | 一种虚拟演播室***中主持人深度的检测方法 | |
| US20130271572A1 (en) | Electronic device and method for creating three-dimentional image | |
| CN102761764A (zh) | 一种用于三维立体视频的深度图片的上采样方法 | |
| CN103955886A (zh) | 一种基于图论和灭点检测的2d-3d图像转换方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121031 |