CN102867288B - 深度图像转换设备和方法 - Google Patents

深度图像转换设备和方法 Download PDF

Info

Publication number
CN102867288B
CN102867288B CN201210193354.3A CN201210193354A CN102867288B CN 102867288 B CN102867288 B CN 102867288B CN 201210193354 A CN201210193354 A CN 201210193354A CN 102867288 B CN102867288 B CN 102867288B
Authority
CN
China
Prior art keywords
depth
image
value
resolution
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210193354.3A
Other languages
English (en)
Other versions
CN102867288A (zh
Inventor
崔旭
林和燮
李基彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020110084918A external-priority patent/KR101828814B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102867288A publication Critical patent/CN102867288A/zh
Application granted granted Critical
Publication of CN102867288B publication Critical patent/CN102867288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种深度图像转换设备和方法。提供一种用于将低分辨率深度图像转换为具有与高分辨率彩色图像的分辨率相同的分辨率的深度图像的设备和方法。深度图像转换设备可通过量化上采样的深度图像的深度值来产生离散深度图像，通过基于高分辨率彩色图像和上采样的深度边界优化离散深度图像的目标函数来估计高分辨率离散深度图像，当高分辨率离散深度图像中邻近像素的离散深度值之差小于预定阈值时，通过对上采样的深度图像滤波来将上采样的深度图像转换为高分辨率深度图像。

Description

深度图像转换设备和方法
本申请要求于2011年7月7日提交到美国专利商标局的第61/505,218号美国临时申请以及于2011年8月25日提交到韩国知识产权局的第10-2011-0084918号韩国专利申请的利益，所述申请的公开通过引用全部包含于此。
技术领域
示例实施例涉及一种这样的设备和方法：可将低分辨率深度图像转换为具有与高分辨率彩色图像的分辨率相同的分辨率的深度图像。
背景技术
飞行时间(ToF)深度相机实时提供场景的深度信息。然而，用作ToF深度相机的像素的光电二极管的低灵敏度使得像素的尺寸增加从而分辨率降低。
此外，由于当前商业化的深度相机不能获得颜色信息，因此需要单独的彩色相机来获得用于产生场景的三维(3D)模型的颜色信息。此外，需要几何校准彩色相机和深度相机。此外，还需要装置(例如，分束器)来匹配彩色相机和深度相机的视点。因此，相机的尺寸将增加。
近来，使用被称为彩色-深度相机的单个相机来从相同的视点感测场景的颜色和深度变得可行。
然而，由于光电二极管的低灵敏度，通过连接四个或十六个彩色像素，彩色-深度相机使用四个或十六个彩色像素作为单个深度像素。因此，为了从彩色-深度图像产生新视点的图像同时保持彩色图像的分辨率，需要将深度图像的分辨率增加到彩色图像的分辨率的水平。
发明内容
通过提供一种用于转换深度图像的设备来实现前述和/或其他方面，所述设备包括：离散深度图像产生单元，通过量化上采样的深度图像的深度值来产生离散深度图像；高分辨率离散深度图像估计单元，通过基于高分辨率彩色图像和上采样的深度边界优化离散深度图像的目标函数来估计高分辨率离散深度图像；图像转换单元，当高分辨率离散深度图像中邻近像素的离散深度值之差小于预定阈值时，通过对上采样的深度图像滤波来将上采样的深度图像转换为高分辨率深度图像。
深度图像转换设备还可包括：上采样深度图像产生单元，通过低分辨率深度图像的插值，将上采样的深度图像产生为尺度与高分辨率深度图像的尺寸相同；深度边界提取单元，当低分辨率深度图像中邻近像素的深度值之差大于预定阈值时，提取邻近像素作为深度边界；上采样深度边界产生单元，通过深度边界的插值产生上采样的深度边界。
离散深度图像产生单元可包括估计整数视差值的视差估计单元，该整数视差值与上采样的深度图像的深度值成反比，并与低分辨率深度图像的视点和虚拟视点之间的基线长度和焦距成比例，离散深度图像产生单元可使用整数视差值作为离散深度图像的离散深度值。
上采样的深度边界可包括边界区域和边界边缘，其中，基于邻近像素的深度值之差划分边界区域和边界边缘。高分辨率离散深度图像估计单元可包括：目标函数计算单元，计算反映数据成本和不连续性成本的目标函数，其中，根据离散深度图像的边界区域和离散深度图像的边界边缘使用不同的方案确定数据成本，基于邻近像素的颜色值之差确定不连续性成本；最小值估计单元，估计目标函数的最小值。
可基于邻近像素之间的颜色-深度相似性权重来确定数据成本，从而边界区域中像素的离散深度值与高分辨率离散深度图像中的像素之中对应于所述像素的像素的离散深度值之差可小于预定阈值；并且可基于边界边缘中邻近像素的离散深度值来确定数据成本。
可基于邻近像素的颜色值之差、邻近像素的深度值之差、以及邻近像素之间的距离来确定颜色-深度相似性权重。
可基于邻近像素的颜色值之差和邻近像素的位置之差来确定不连续性成本，从而当邻近像素的颜色值之差合适时邻近像素的离散深度值之差也可是合适的。
当邻近像素的离散深度值不连续时，最小值估计单元可使用用于估计目标函数的最小值的算法来估计高分辨率离散深度图像的离散深度值。
图像转换单元可包括：滤波单元，通过将不同的权重分别应用到与上采样的深度边界的边界区域相应的像素以及与边界边缘和平坦区域相应的像素，来在上采样的深度图像中执行滤波。
滤波单元可将基于邻近像素的离散深度值之差、邻近像素的颜色值之差、邻近像素的深度值之差、以及邻近像素的位置之差确定的权重应用到与边界区域相应的像素；并可将基于邻近像素的深度值之差和邻近像素的位置之差确定的权重应用到与边界边缘和平坦区域相应的像素。
图像转换单元还可包括：调整单元，基于低-高分辨率深度连续性调整滤波的像素的深度值。
低-高分辨率深度连续性可对应于滤波的像素的深度值和低分辨率深度图像中与滤波的像素对应的像素的深度值之间的连续性。
图像转换单元还可包括：反馈处理单元，将深度值被调整的像素反馈为滤波单元的输入值。
图像转换单元可通过将不同的权重应用到与上采样的深度边界的边界区域相应的像素以及与边界边缘和平坦区域相应的像素来在上采样的深度图像中同时执行滤波，并可基于低-高分辨率深度连续性调整滤波的像素的深度值。
还通过提供一种转换深度图像的方法来实现前述和/或其他方面，所述方法包括：通过量化上采样的深度图像的深度值来产生离散深度图像；通过输入离散深度值并基于高分辨率彩色图像和上采样的深度边界优化离散深度图像的目标函数来估计高分辨率离散深度图像；当高分辨率离散深度图像中的邻近像素的离散深度值之差小于预定阈值时，通过对上采样的深度图像滤波来将上采样的深度图像转换为高分辨率深度图像。
深度图像转换方法还可包括：通过低分辨率深度图像的插值，将上采样的深度图像产生为尺度与高分辨率深度图像的尺寸相同；当低分辨率深度图像中邻近像素的深度值之差大于预定阈值时，提取邻近像素作为深度边界；通过深度边界的插值产生上采样的深度边界。
产生离散深度图像的步骤可包括：估计整数视差值，该整数视差值与上采样的深度图像的深度值成反比，并与低分辨率深度图像的视点和虚拟视点之间的基线长度和焦距成比例，可使用整数视差值作为离散深度图像的离散深度值。
上采样的深度边界可包括边界区域和边界边缘，其中，基于邻近像素的深度值之差划分边界区域和边界边缘。估计高分辨率离散深度图像的步骤可包括：计算反映数据成本和不连续性成本的目标函数，其中，根据离散深度图像的边界区域和离散深度图像的边界边缘使用不同的方案确定数据成本，基于邻近像素的颜色值之差确定不连续性成本；估计目标函数的最小值。
可基于邻近像素之间的颜色-深度相似性权重来确定数据成本，从而边界区域中像素的离散深度值与高分辨率离散深度图像中的像素之中对应于所述像素的像素的离散深度值之差可小于预定阈值；可基于边界边缘中邻近像素的离散深度值来确定数据成本。
可基于邻近像素的颜色值之差、邻近像素的深度值之差、以及邻近像素之间的距离来确定颜色-深度相似性权重。
可基于邻近像素的颜色值之差和邻近像素的位置之差来确定不连续性成本，从而当邻近像素的颜色值之差合适时邻近像素的离散深度值之差也可是合适的。
转换步骤可包括：通过将不同的权重分别应用到与上采样的深度边界的边界区域相应的像素以及与边界边缘和平坦区域相应的像素，来在上采样的深度图像中执行滤波。
执行滤波的步骤可包括：将基于邻近像素的离散深度值之差、邻近像素的颜色值之差、邻近像素的深度值之差、以及邻近像素的位置之差确定的权重应用到与边界区域相应的像素；将基于邻近像素的深度值之差和邻近像素的位置之差确定的权重应用到与边界边缘和平坦区域相应的像素。
转换步骤还可包括：基于低-高分辨率深度连续性调整滤波的像素的深度值。
产生离散深度图像的步骤可包括：通过对高分辨率深度图像的深度值进行量化来产生离散深度图像。
根据示例实施例，通过使用高分辨率离散深度图像、上采样的深度边界和高分辨率彩色图像来对上采样的深度图像滤波，可产生具有精确的边缘以及与彩色图像的分辨率相同的分辨率的深度图像。
根据示例实施例，通过基于低分辨率深度图像和高分辨率深度图像之间的深度连续性调整滤波的深度图像，可产生具有精确的目标信息以及与彩色图像的分辨率相同的分辨率的深度图像。
根据示例实施例，可使用转换的高分辨率深度图像来产生具有彩色信息和深度信息这两者的三维(3D)场景模型。
根据示例实施例，可使用转换的高分辨深度图像作为用于通过基于颜色-深度的图像变形(warping)产生多视图图像的输入图像。
将在下面的描述中部分地阐述实施例的另外的方面，部分根据描述将是清楚的或者可通过本公开的实践而得知。
附图说明
结合附图，通过下面的实施例的描述，这些和/或其他方面将变得清楚并更易于理解，其中：
图1示出根据示例实施例的与低分辨率深度图像没有连续性的高分辨率图像；
图2示出根据示例实施例的深度图像转换设备；
图3示出根据示例实施例的另一深度图像转换设备；
图4示出根据示例实施例产生的上采样的深度图像；
图5示出根据示例实施例产生的上采样的深度边缘；
图6示出根据示例实施例产生的离散深度图像；
图7示出根据示例实施例产生的高分辨率离散深度图像；
图8示出根据示例实施例的用于滤波的元素；
图9示出根据示例实施例的低-高分辨率深度连续性；
图10示出根据示例实施例的深度图像转换方法；
图11示出根据示例实施例的深度图像转换方法；
图12示出根据示例实施例的从低分辨率深度图像转换的高分辨率深度图像。
具体实施方式
现在将对实施例进行详细参照，实施例的示例在附图中示出，其中，相同的标号始终表示相同的元件。下面，通过参照附图描述实施例以解释本公开。
图1示出根据示例实施例的与低分辨率深度图像没有连续性的高分辨率图像。
图1示出这样的示例：可基于邻近像素的深度值或颜色值之间的相似性以及分配给每个像素的深度值的权重来从低分辨率深度图像110产生高分辨率深度图像120。然而，当分配给像素的深度值的权重被不正确地设置时，可产生与低分辨率深度图像110没有连续性(continuity)的高分辨率深度图像120，如在图1中所示。在高分辨率深度图像120中，可在对象的部分边界中在前景和背景之间出现深度模糊。这是因为由于邻近像素之间的颜色相似性，可从高彩色图像130产生在前景和背景之间具有模糊边界的深度图像。因此，可基于其他因素以及邻近像素的颜色值或深度值之间的相似性产生高分辨率深度图像。
根据示例实施例，深度图像转换设备可通过优化离散深度图像的目标函数来产生前景和背景为离散的高分辨率离散深度图像，并且可使用产生的高分辨率离散深度图像来产生在前景和背景之间没有深度模糊的高分辨率深度图像。
图2示出根据示例实施例的深度图像转换设备。
参照图2，深度图像转换设备可包括离散深度图像产生单元210、高分辨率离散深度图像估计单元220、图像转换单元230。
离散深度图像产生单元210可通过量化上采样的深度图像的深度值来产生离散深度图像。可通过低分辨率深度图像的插值来产生上采样的深度图像。在该情况下，上采样的深度图像的尺寸可与高分辨率深度图像的尺寸相同。离散深度图像产生单元210可通过使用取整单元量化像素的深度值来产生离散深度值。例如，离散深度图像产生单元210可通过对像素的深度值进行取整来产生具有整数单位的深度值的离散深度图像。
高分辨率离散深度图像估计单元220可通过基于高分辨率彩色图像和上采样的深度边界优化离散深度图像的目标函数来估计高分辨率离散深度图像。高分辨率彩色图像可与低分辨率深度图像一起被输入到深度图像转换设备。可通过将从低分辨率深度图像提取的深度边界上采样为高分辨率彩色图像的尺寸来产生上采样的深度边界。可基于邻近像素的深度值之差将上采样的深度边界划分为边界区域和边界边缘。在边界边缘中邻近像素的深度值之差可大于边缘区域中的邻近像素的深度值之差。
高分辨率离散深度图像估计单元220可包括目标函数计算单元221和最小值估计单元223。目标函数计算单元221可计算反映数据成本和不连续性成本的目标函数。在该情况下，可基于离散深度图像的边界区域和离散深度图像的边界边缘使用不同的方案来确定数据成本。可基于邻近像素的颜色值之间的差来确定不连续性成本。
可基于邻近像素之间的颜色-深度相似性权重来确定数据成本，从而在边界区域中像素的离散深度值与高分辨率离散深度图像中的像素之中的对应于该像素的像素的离散深度值之差可小于预定阈值。可基于邻近像素的颜色值之差、邻近像素的深度值之差以及邻近像素之间的距离来确定颜色-深度相似性权重。
可基于边界边缘中的邻近像素的离散深度值来确定数据成本。
可基于邻近像素的颜色值之差和邻近像素的位置之差来确定不连续性成本，从而当邻近像素的颜色值之差是合适的时候邻近像素的离散深度值之差也可是合适的。
目标函数可由等式1表示。
[等式1]
其中，F(d)表示目标函数，Di(di)表示在高分辨率离散深度图像中像素i具有离散深度值di时的数据成本，V(di，dj)表示在高分辨率离散深度图像中邻近像素i和j分别具有离散深度值di和dj时的不连续性成本。像素i可对应于构成高分辨率离散深度图像的预定像素。像素j可对应于与像素i邻近的像素。邻近的程度可以指邻近像素或预定像素距离。邻近程度的标准可由用户确定。λ表示应用到不连续性成本的权重，这可由用户确定。
数据成本可由等式2表示。
[等式2]
其中，Wi表示包括像素i的***区域。例如，Wi可以指预定尺寸的窗口，该窗口具有作为中心像素的像素i。j表示包括在Wi中的预定像素。wi，j表示颜色-深度相似性权重，可由等式3表示。
[等式3]
其中，ci表示在高分辨率彩色图像中像素i的颜色值，cj表示在高分辨率彩色图像中像素j的颜色值。表示在上采样的深度图像中像素i的深度值，表示在上采样的深度图像中像素j的深度值。pi表示像素i的图像坐标，pj表示像素j的图像坐标。σe表示用于将颜色值的差转换为权重的常数，σz表示用于将深度值的差转换为权重的常数，σp表示用于将像素的位置的差转换为权重的常数。在该情况下，可通过应用高斯权重来确定wi，j。即，可基于像素i与像素j的颜色值之差、像素i与像素j的深度值之差、以及像素i与像素j之间的距离来确定wi，j。
Gj(dj)可对应于当在高分辨率离散深度图像中像素j的离散深度值dj与离散深度图像中的像素j的离散深度值dj U之差减小时也减小的成本。Gj(dj)的值可被不同地应用到边界区域和边界边缘。Gj(dj)可被应用到边界区域，如等式4所示。
[等式4]
在边界区域中，可基于dj与dj U之差小于阈值Δdth的情况以及dj与dj U之差大于阈值Δdth的情况应用不同的成本。阈值Δdth可由用户确定，并可与λ成比例。
Gj(dj)可被应用到边界边缘，如等式5所示。
[等式5]
在边界边缘，所述成本和数据成本可具有相同的值。当dj和dj U具有相同的值时，所述成本和数据成本可对应于0。否则，即，当dj和dj U具有不同的值时，可基于λ来确定所述成本和数据成本。
不连续性成本可由等式6表示。
[等式6]
其中，di和dj表示在高分辨率离散深度图像中彼此邻近的像素i和像素j的离散深度值。当di与dj之差小于阈值Δdth2时，不连续性成本可对应于0，这是因为邻近像素的离散深度值之差可以是合适的。阈值Δdth2可由用户确定。在di与dj之差大于阈值Δdth2的情况下，当邻近像素的颜色值之差减小时，不连续性成本可增加。当颜色值之差合适时，可应用具有大的值的不连续性成本，从而离散深度值之差也可是合适的。
目标函数计算单元221可基于数据成本和不连续性成本计算包括在离散深度图像中的每个像素的目标函数。
最小值估计单元223可估计目标函数的最小值。当离散深度图像中彼此邻近的像素的离散深度值不连续时，最小值估计单元223可使用用于估计目标函数的最小值的算法来估计高分辨率离散深度图像的离散深度值。例如，最小值估计单元223可使用图切割(graph cuts)算法或信任传播(belief propagation)算法来估计目标函数的最小值。使用目标函数的最小值产生的离散深度图像可被估计为高分辨率离散深度图像。
最小值估计单元223可通过估计目标函数的最小值来获得前景和背景被清楚地分开的高分辨率离散深度图像。
当在产生高分辨离散深度图像的处理中使用离散深度值时，尽管在高分辨率离散深度图像中深度值应该是连续的，但是可产生具有不连续的深度值的部分。图像转换单元230可基于高分辨率离散深度图像对上采样的深度图像滤波，并可基于低高分辨率深度连续性来调整滤波的像素的深度值，从而调整在高分辨率离散深度图像中具有不连续的深度值的部分。
当高分辨率离散深度图像中的邻近像素的离散深度值之差小于预定阈值时，图像转换单元230可通过对上采样的深度图像滤波来将上采样的深度图像转换为高分辨率深度图像。
图像转换单元230可包括滤波单元231、调整单元233、反馈处理单元235。滤波单元231可通过分别将不同的权重应用到与上采样的深度边界的边界区域相应的像素和与边界边缘以及平坦区域相应的像素来在上采样的深度图像中执行滤波。这里，平坦区域可表示这样的区域，在该区域，在低分辨率深度图像中的邻近像素的深度值之差可小于预定阈值。
滤波单元231可将基于邻近像素的离散深度值之差、邻近像素的颜色值之差、邻近像素的深度值之差、以及邻近像素的位置之差确定的权重应用到与边界区域相应的像素。
滤波单元231可将基于邻近像素的深度值之差和邻近像素的位置之差确定的权重应用到与边界边缘相应的像素。
滤波处理可由等式7表示。
[等式7]
当假设可表示可在时间t被输入到滤波单元231的上采样的深度图像的深度值时，滤波单元231可通过执行加权平均运算来产生在时间t+1的深度值加权平均运算可表示将每个深度值与权重相乘并将相乘的结果值归一化为整个权重的值的运算。Wi表示包括像素i的***区域。例如，Wi可以指预定尺寸的窗口，该窗口具有作为中心像素的像素i。j表示包括在Wi中的预定像素。权重wi，j可基于区域被不同地确定。
边界区域中的权重wi，j可如等式8表示的那样被确定。
[等式8]
其中，ci表示高分辨率彩色图像中的像素i的颜色值，cj表示高分辨率彩色图像中的像素j的颜色值。表示上采样的深度图像中像素i的深度值，表示上采样的深度图像中像素j的深度值。pi表示像素i的图像坐标，pj表示像素j的图像坐标。di和dj表示高分辨率离散深度图像中彼此邻近的像素i和像素j的离散深度值。在克罗内克德耳塔(kroneckerDelta)函数δ中，当di与dj之差大于或等于阈值Δdth3时，所述权重可对应于0。即，滤波单元231可不对具有大于或等于阈值Δdth3的不同离散深度值的邻近像素执行滤波。阈值Δdth3可由用户确定。σc表示用于将颜色值的差转换为权重的常数，σz表示用于将深度值的差转换为权重的常数，σp表示用于将像素的位置的差转换为权重的常数。当包括在上采样的深度图像中的像素i和像素j的高分辨率离散深度值之差小于预定阈值时，滤波单元231可基于像素i和像素j的颜色值之差、像素i和像素j的深度值之差、像素i和像素j之间的距离产生高分辨率深度图像的深度值。
边界边缘和平坦区域中的权重wi，j可如等式9表示的那样被确定。
[等式9]
滤波单元231可基于像素i和像素j的深度值之差以及像素i和像素j之间的距离来产生高分辨率深度图像的深度值。
可通过滤波单元231产生在前景和背景的边界没有深度模糊的高分辨率深度图像。通过滤波单元231产生的高分辨率深度图像可对应于不可用于低分辨率深度图像的图像重构的图像。当保证图像重构时，可在高分辨率深度图像和低分辨率深度图像之间执行精确的深度图像转换。调整单元233可调整高分辨率深度图像从而保证重构。
调整单元233可基于低-高分辨率深度连续性调整滤波的像素的深度值，从而调整高分辨率离散深度图像中具有不连续的深度值的部分。
调整单元233可基于低-高分辨率深度连续性调整滤波的像素的深度值。低-高分辨率深度连续性可以指高分辨率深度图像中预定像素的深度值和低分辨率深度图像中与所述预定像素对应的像素的深度值之间的连续性。
可基于低分辨率深度图像的分布来确定低-高分辨率深度连续性。在该情况下，可基于拍摄装置的镜头来确定低分辨率深度图像的分布。可基于可包括均匀分布和高斯分布的点扩散函数(PSF)来确定低分辨率深度图像的分布。可基于包括在拍摄装置中的传感器的结构来确定PSF。
低-高分辨率深度连续性可以指低分辨率像素与对应的高分辨率像素之间的关系。例如，当通过因数16上采样低分辨率像素k时，上采样的低分辨率像素k可对应于16个高分辨率像素。当假设16个高分辨率像素的平均深度值可等于上采样的低分辨率像素k的深度值时，低-高分辨率深度连续性可由等式10表示。
[等式10]
其中，Dk表示与低分辨率像素k对应的高分辨率像素的集合。
调整单元233可通过应用低-高分辨率深度连续性来调整从滤波单元231输出的像素的深度值。调整单元233可如等式11所表示的那样来确定将被调整单元233使用的重构参数，并可基于重构参数调整滤波的像素的深度值。
[等式11]
输入到调整单元233的值可对应于在时间t+1的滤波的像素的深度值和重构参数可通过将低-高分辨率深度连续性应用到从滤波单元21输出的深度值来确定
调整单元233可如等式12表示的那样来调整滤波的像素的深度值
[等式12]
调整单元233可通过使用重构参数调整在时间t+1的滤波的像素的深度值来产生在时间t+2的新的高分辨率深度图像的深度值
反馈处理单元235可通过滤波单元231的输入值执行调整了深度值的像素的反馈。反馈处理单元235可调整可在产生高分辨率离散深度图像的处理中出现的不连续部分，同时通过所述滤波和所述调整的迭代来保持前景和背景的边界是清晰的。反馈处理单元235可重复所述反馈达预定次数。反馈处理单元235可重复所述反馈直到高分辨率深度图像具有预定值。
图像转换单元230可通过将不同的权重应用到与上采样的深度边界的边界区域对应的像素以及与边界边缘和平坦区域相应的像素，来在上采样的深度图像中同时地执行滤波，并且可基于低-高分辨率深度连续性来调整滤波的像素的深度值。图像转换单元230可在同一循环而非在不同的循环执行滤波和调整。
图3示出根据示例实施例的另一深度图像转换设备。
参照图3，深度图像转换设备可包括上采样深度图像产生单元310、深度边界提取单元320、上采样深度边界产生单元330、离散深度图像产生单元340、高分辨率离散深度图像估计单元350、以及图像转换单元360。
高分辨率彩色图像和低分辨率深度图像可被输入到深度图像转换设备。
上采样深度图像产生单元310可通过低分辨率深度图像的插值来产生上采样的深度图像。例如，上采样深度图像产生单元310可通过双线性插值或双三次插值将低分辨率深度图像上采样为具有与高分辨率彩色图像的尺寸相同的尺寸的深度图像。
当低分辨率深度图像中的邻近像素的深度值之差大于预定阈值时，深度边界提取单元320可提取邻近像素作为深度边界。
上采样深度边界产生单元330可通过提取的深度边界的插值来产生上采样的深度边界。例如，上采样深度边界产生单元330可通过对低分辨率深度边界执行最邻近插值(nearest neighbor interpolation)来产生上采样的深度边界。
上采样的深度边界可包括边界区域和边界边缘，可基于邻近像素的深度值之差划分出边界区域和边界边缘。在边界边缘邻近像素的深度值之差可大于在边界区域邻近像素的深度值之差。
离散深度图像产生单元340可通过量化上采样的深度图像的深度值来产生离散深度图像。
离散深度图像产生单元340可通过视差(disparity)估计单元341来量化深度值。视差估计单元341可估计与上采样的深度图像的深度值成反比并且与低分辨率深度图像的视点和虚拟视点之间的基线长度和焦距成比例的整数视差值。离散深度图像产生单元340可使用整数视差值作为离散深度值来产生离散深度图像。
高分辨率离散深度图像估计单元350可通过基于高分辨率彩色图像和上采样的深度边界对离散深度图像的目标函数进行优化来估计高分辨率离散深度图像。
高分辨率离散深度图像估计单元350可包括目标函数计算单元351和最小值估计单元353。目标函数计算单元351可计算反映数据成本和不连续性成本的目标函数。在此情况下，可基于离散深度图像的边界区域和离散深度图像的边界边缘使用不同的方案来确定数据成本。可基于邻近像素的颜色值之差来确定不连续性成本。
最小值估计单元353可估计目标函数的最小值。当离散深度图像中的邻近像素的离散深度值不连续时，最小值估计单元353可使用用于估计目标函数的最小值的算法来估计高分辨率离散深度图像的离散深度值。例如，最小值估计单元353可使用图切割算法或信任传播算法来估计目标函数的最小值。
当高分辨率离散深度图像中的邻近像素的离散深度值之差小于预定阈值时，图像转换单元360可通过对上采样的深度图像滤波来将上采样的深度图像转换为高分辨率深度图像。
图像转换单元360可包括滤波单元361、调整单元363和反馈处理单元365。滤波单元361可通过将不同的权重分别应用到与上采样的深度边界的边界区域相应的像素以及与边界边缘和平坦区域相应的像素来在上采样的深度图像中执行滤波。
滤波单元361可将基于邻近像素的离散深度值之差、邻近像素的颜色值之差、邻近像素的深度值之差、以及邻近像素的位置之差确定的权重应用到与边界区域相应的像素。调整单元363可基于低-高分辨率深度连续性调整滤波的像素的深度值。低-高分辨率深度连续性可以指高分辨率深度图像中预定像素的深度值和低分辨率深度图像中与所述预定像素对应的像素的深度值之间的连续性。低-高分辨率深度连续性可显示这样的处理：低分辨率深度图像中预定像素的深度值基于高分辨率深度图像中的相应像素的深度值被确定。反馈处理单元365可将深度值被调整的像素作为滤波单元361的输入值执行反馈。反馈处理单元365可调整可在产生高分辨率离散深度图像的处理中出现的不连续部分，同时通过所述滤波和所述调整的迭代来保持前景和背景的边界是清晰的。
图4示出根据示例实施例产生的上采样的深度图像。
深度图像转换设备可通过低分辨率深度图像的插值来产生上采样的深度图像。上采样的深度图像的分辨率可与高分辨率彩色图像的分辨率相同。深度图像转换设备可使用插值(例如，双线性插值、双三次插值、最邻近插值等)来从低分辨率深度图像产生上采样的深度图像。
图5示出根据示例实施例产生的上采样的深度边缘。
参照图5，由于深度边界周围的像素的深度值之差会较大，因此当低分辨率深度图像中的邻近像素的深度值之差大于预定阈值时，深度图像转换设备可提取邻近像素作为深度边界。深度图像转换设备可通过深度边界提取处理计算低分辨率深度边界，并且可通过低分辨率深度边界的插值来产生上采样的深度边界。在此情况下，插值可对应于图像处理中用于转换深度图像的插值方案，并且可包括，例如，双线性插值、双三次插值、最邻近插值等。上采样的深度边界可基于深度值之差被划分为边界区域和边界边缘。在边界边缘中邻近像素的深度值之差可大于边界区域中邻近像素的深度值之差。在图5中，边界区域可对应于区域510。边界边缘可对应于边界区域的边缘：部分520。
图6示出根据示例实施例产生的离散深度图像。
参照图6，深度图像转换设备可计算整数视差值di U，整数视差值di U与上采样的深度图像的深度值zi U成反比，并且与低分辨率深度图像的视点和虚拟视点之间的基线长度b和焦距f成比例。深度图像转换设备可通过计算整数视差值来从低分辨率深度图像产生离散深度图像。
图7示出根据示例实施例产生的高分辨率离散深度图像。
深度图像转换设备可计算反映离散深度图像的离散深度值的目标函数，并且当估计目标函数的最小值时可产生高分辨率离散深度图像。作为反映离散深度值的结果，高分辨率离散深度图像中的前景和背景的边界可变得清晰。然而，可出现具有不连续的深度值的伪像(artifact)。深度图像转换设备可基于重构参数调整伪像，以从高分辨率深度图像重构低分辨率深度图像。
图8示出根据示例实施例的用于滤波的元素。
图8的元素可被应用于在滤波处理中确定滤波的权重。
Wi 810可指示包括像素i的***区域。例如，Wi 810可以指预定尺寸的窗口，该窗口具有作为中心像素的像素i。j可指示包括在Wi中的邻近像素。c可指示高分辨率彩色图像820的颜色值。zU可指示上采样的深度图像830的深度值。低深度值可指示距离拍摄装置的短距离，并且可使用亮的颜色被示出。d可指示高分辨率离散深度图像840的离散深度。可通过量化深度值来获得离散深度，并且当与深度图像相比时离散深度可具有更单一的颜色。因此，当与上采样的深度图像相830相比时，在高分辨率离散深度图像840中，前景和背景之间的边界可变得更清晰。w 850可指示权重。可基于像素i与像素j的深度值之差、像素i与像素j的颜色值之差、像素i与像素j的位置之差、以及像素i与像素j的离散深度值之差来确定w 850。可使用暗的颜色示出低的值的w 850。
图9示出根据示例实施例的低高分辨率深度连续性。
低-高分辨率深度连续性可以指在高分辨率深度图像中的预定像素的深度值与低分辨率深度图像中的与所述预定像素相应的像素的深度值之间的连续性。低-高分辨率深度连续性可显示这样的处理：低分辨率深度图像中的预定像素的深度值基于高分辨率深度图像中的相应像素的深度值被确定。
参照图9，作为示例，当包括在低分辨率深度图像中的像素k 910被转换为十六倍的高分辨率深度图像时，像素k 910可对应于包括在高分辨率深度图像中的十六个像素的集合Dk 920。
可基于可包括均匀分布和高斯分布的PSF来确定低分辨率深度图像的分布。当PSF在像素坐标平面上具有均匀分布时，重构权重可具有常数值1/16。重构权重可以指当从包括在高分辨率深度图像中的像素重构低分辨率深度图像时被应用到包括在高分辨率深度图像中的每个像素的权重。重构权重1/16可指示包括在高分辨率深度图像的集合Dk 920中的像素的深度值的均值与包括在低分辨率深度图像中的像素k 910的深度值相等。
重构权重可根据PSF的类型而改变，包括在高分辨率深度图像的集合Dk920中的像素也可根据PSF的类型而改变。可基于包括在拍摄装置中的传感器的结构来确定PSF。
图10示出根据示例实施例的深度图像转换方法的示例。
在操作1010，深度图像转换设备可通过量化上采样的深度图像的深度值来产生离散深度图像。在该情况下，所述量化可指示小数点单位的深度值可被处理为整数单位。可通过低分辨率深度图像的插值来产生上采样的深度图像。上采样的深度图像的分辨率可与高分辨率深度图像的分辨率相同。深度图像转换设备可通过计算整数视差来从上采样的深度图像产生离散深度图像。
在操作1020，深度图像转换设备可输入离散深度图像，并且可通过基于高分辨率彩色图像1021和上采样的深度边界1033优化目标函数来估计高分辨率离散深度图像。目标函数可反映数据成本和不连续性成本。数据成本可基于构成上采样的深度边界1033的深度区域和深度边缘而具有不同的值。在深度区域，可基于邻近像素的颜色值之差、邻近像素的深度值之差、以及邻近像素之间的距离来确定数据成本。在深度边缘，可基于邻近像素的离散深度值之差来确定数据成本。可通过基于深度边缘中的离散深度值之差确定数据成本来更清晰地显示深度图像的前景和背景之间的边界。可基于邻近像素的颜色值之差以及邻近像素的位置之差来确定不连续性成本。不连续性成本可对应于这样的因数，当邻近像素的颜色值相似时，该因数可影响离散深度值彼此相似。
在操作1030，当高分辨率离散深度图像中的邻近像素的离散深度值之差小于预定阈值时，深度图像转换设备可通过对上采样的深度图像1031中的相应像素滤波来将上采样的深度图像1031转换为高分辨率深度图像1040。深度图像转换设备可基于上采样的深度边界1033和高分辨率彩色图像1021执行滤波。此外，深度图像转换设备可通过基于低-高分辨率深度连续性调整滤波的像素的深度值，来基于离散深度值调整不连续部分。
图11示出根据示例实施例的另一深度图像转换方法。
在操作1110，当低分辨率深度图像1101中的邻近像素的深度值之差大于预定阈值时，深度图像转换设备可提取邻近像素作为深度边界。
在操作1120，深度图像转换设备可通过低分辨率深度图像1101的插值产生被上采样为尺寸与高分辨率深度图像1181的尺寸相同的深度图像1121。
在操作1130，深度图像转换设备可通过深度边界的插值产生上采样的深度边界1131。上采样的深度边界1131可包括基于邻近像素的深度值之差被划分的边界区域和边界边缘。
在操作1140，深度图像转换设备可通过量化上采样的深度图像1121的深度值来产生离散深度图像。深度图像转换设备可估计整数视差值，并且可使用整数视差值从上采样的深度图像1121产生离散深度图像。
在操作1150，深度图像转换设备可输入离散深度图像，并可通过基于高分辨率彩色图像1103和上采样的深度边界1131计算和优化目标函数，来估计高分辨率离散深度图像1151。数据成本和不连续性成本可被应用到目标函数。可基于离散深度图像中的边界区域或边界边缘使用不同的方案来确定数据成本。可基于边界区域中邻近像素之间的颜色深度相似性权重来确定数据成本，并可基于边界边缘中邻近像素之间的离散深度值来确定数据成本。可基于邻近像素的颜色值之差来确定不连续性成本。
在操作1160，深度图像转换设备可通过将不同的权重分别应用到与上采样的深度边界1131的边界区域相应的像素以及与边界边缘和平坦区域相应的像素在上采样的深度图像1121中执行滤波。深度图像转换设备可将基于高分辨率离散深度图像1151中邻近像素的离散深度值之差、高分辨率彩色图像1103中邻近像素的颜色值之差、上采样的深度图像1121中邻近像素的深度值之差、以及上采样的深度图像1121中邻近像素的位置之差确定的权重应用到与边界区域相应的像素。深度图像转换设备可将基于上采样的深度图像1121中邻近像素的深度值之差以及上采样的深度图像1121中邻近像素的位置之差确定的权重应用到与边界边缘和平坦区域相应的像素。
在操作1170，深度图像转换设备可基于低-高分辨率深度连续性调整滤波的像素的深度值。低-高分辨率深度连续性可以指高分辨率深度图像1181中预定像素的深度值与低分辨率深度图像1101中与所述预定像素相应的像素的深度值之间的连续性。低-高分辨率深度连续性可显示这样的处理：低分辨率深度图像1101中预定像素的深度值基于高分辨率深度图像1181中相应像素的深度值被确定。深度图像转换设备可通过所述调整在高分辨率深度图像1181中反映在低分辨率深度图像1101中反映的对象的深度值，而没有失真。
在操作1180，当执行反馈的次数小于N时，深度图像转换设备可执行反馈，从而在操作1160深度值被调整的像素可被再次滤波。当执行反馈的次数大于N时，深度图像转换设备可将深度值被调整的像素确定为最终的高分辨率深度图像1181。通过所述调整的迭代，深度图像转换设备可减少高分辨率深度图像1181中前景和背景之间出现的深度模糊，并可减少高分辨率深度图像1181中的不连续部分。此外，深度图像转换设备可通过量化高分辨率深度图像1181的深度值来产生离散深度图像。即，在操作1140，深度图像转换设备可通过使得高分辨率深度图像1181被再次量化来产生更新的离散深度图像。深度图像转换设备可通过重复在操作1140之后的处理来产生新的高分辨率深度图像。
图12示出根据示例实施例的从低分辨率深度图像转换的高分辨率深度图像。
参照图12，深度图像转换设备可通过低分辨率深度图像1210的插值来产生上采样的深度图像1220。在该情况下，上采样的深度图像1220的分辨率可与高分辨率深度图像1250的分辨率相同。深度图像转换设备可量化上采样的深度图像1220，并且可基于高分辨率彩色图像1240和上采样的深度边界来产生高分辨率离散深度图像1230。深度图像转换设备可基于高分辨率离散深度图像1230和高分辨率彩色图像1240对上采样的深度图像1220滤波来产生高分辨率深度图像1250。深度图像转换设备可基于低分辨率深度图像1210和高分辨率深度图像1220之间的关系来调整滤波的像素。通过该调整，当与上采样的深度图像1220相比时，高分辨率深度图像1250可具有锐利的前景和背景的边界，并且高分辨率深度图像1250还可没有失真地显示以上采样的深度120拍摄的对象。
根据上述实施例的方法可被记录在非暂时计算机可读介质中，非暂时计算机可读介质包括程序指令，以实现通过计算机实施的各种操作。所述介质还可单独包括程序指令、数据文件、数据结构等，或还可包括程序指令、数据文件、数据结构等的组合。介质和程序指令可以是为了本公开的目的而被专门设计和构造的那些，或者它们可以是对于计算机软件领域的技术人员来说公知和可用的类型。
尽管已经显示和描述了实施例，但是本领域的技术人员应该理解，在不脱离本公开的原理和精神的情况下，可以对这些实施例进行改变，本公开的范围由权利要求及其等同物确定。

Claims (26)

1.一种用于转换深度图像的设备，所述设备包括：
离散深度图像产生单元，通过量化上采样的深度图像的深度值来产生离散深度图像；
高分辨率离散深度图像估计单元，通过基于高分辨率彩色图像和上采样的深度边界优化离散深度图像的目标函数来估计高分辨率离散深度图像；
图像转换单元，当高分辨率离散深度图像中邻近像素的离散深度值之差小于预定阈值时，通过对上采样的深度图像滤波来将上采样的深度图像转换为高分辨率深度图像,
其中，目标函数为反映数据成本和不连续性成本的目标函数。
2.如权利要求1所述的设备，还包括：
上采样深度图像产生单元，通过低分辨率深度图像的插值，将上采样的深度图像产生为尺寸与高分辨率深度图像的尺寸相同；
深度边界提取单元，当低分辨率深度图像中邻近像素的深度值之差大于预定阈值时，提取邻近像素作为深度边界；
上采样深度边界产生单元，通过深度边界的插值产生上采样的深度边界。
3.如权利要求1所述的设备，其中，
离散深度图像产生单元包括：
视差估计单元，估计整数视差值，该整数视差值与上采样的深度图像的深度值成反比，并与低分辨率深度图像的视点和虚拟视点之间的基线长度和焦距成比例，
离散深度图像产生单元使用整数视差值作为离散深度图像的离散深度值。
4.如权利要求1所述的设备，其中，
高分辨率离散深度图像估计单元包括：
目标函数计算单元，计算反映数据成本和不连续性成本的目标函数，其中，根据离散深度图像的边界区域和离散深度图像的边界边缘使用不同的方案确定数据成本，基于邻近像素的颜色值之差确定不连续性成本；
最小值估计单元，估计目标函数的最小值。
5.如权利要求1所述的设备，其中，上采样的深度边界包括边界区域和边界边缘，其中，基于邻近像素的深度值之差划分边界区域和边界边缘。
6.如权利要求4所述的设备，其中，
基于邻近像素之间的颜色-深度相似性权重来确定数据成本，从而边界区域中像素的离散深度值与高分辨率离散深度图像中的像素之中对应于边界区域中所述像素的像素的离散深度值之差小于预定阈值；
基于边界边缘中邻近像素的离散深度值来确定数据成本。
7.如权利要求6所述的设备，其中，基于邻近像素的颜色值之差、邻近像素的深度值之差、以及邻近像素之间的距离来确定颜色-深度相似性权重。
8.如权利要求4所述的设备，其中，基于邻近像素的颜色值之差和邻近像素的位置之差来确定不连续性成本，从而当邻近像素的颜色值之差合适时邻近像素的离散深度值之差也是合适的。
9.如权利要求4所述的设备，其中，当邻近像素的离散深度值不连续时，最小值估计单元使用用于估计目标函数的最小值的算法来估计高分辨率离散深度图像的离散深度值。
10.如权利要求1所述的设备，其中，图像转换单元包括：
滤波单元，通过将不同的权重分别应用到与上采样的深度边界的边界区域相应的像素以及与边界边缘和平坦区域相应的像素，来在上采样的深度图像中执行滤波。
11.如权利要求10所述的设备，其中，
滤波单元将基于邻近像素的离散深度值之差、邻近像素的颜色值之差、邻近像素的深度值之差、以及邻近像素的位置之差确定的权重应用到与边界区域相应的像素；
滤波单元将基于邻近像素的深度值之差和邻近像素的位置之差确定的权重应用到与边界边缘和平坦区域相应的像素。
12.如权利要求10所述的设备，其中，图像转换单元还包括：
调整单元，基于低-高分辨率深度连续性调整滤波的像素的深度值。
13.如权利要求12所述的设备，其中，低-高分辨率深度连续性对应于滤波的像素的深度值和低分辨率深度图像中与滤波的像素对应的像素的深度值之间的连续性。
14.如权利要求12所述的设备，其中，图像转换单元还包括：
反馈处理单元，将深度值被调整的像素反馈为滤波单元的输入值。
15.如权利要求1所述的设备，其中，图像转换单元通过将不同的权重应用到与上采样的深度边界的边界区域相应的像素以及与边界边缘和平坦区域相应的像素来在上采样的深度图像中同时执行滤波，并基于低-高分辨率深度连续性调整滤波的像素的深度值。
16.一种转换深度图像的方法，所述方法包括：
通过量化上采样的深度图像的深度值来产生离散深度图像；
通过输入离散深度图像并基于高分辨率彩色图像和上采样的深度边界优化离散深度图像的目标函数来估计高分辨率离散深度图像；
当高分辨率离散深度图像中的邻近像素的离散深度值之差小于预定阈值时，通过对上采样的深度图像滤波来将上采样的深度图像转换为高分辨率深度图像,
其中,目标函数为反映数据成本和不连续性成本的目标函数。
17.如权利要求16所述的方法，还包括：
通过低分辨率深度图像的插值，将上采样的深度图像产生为尺寸与高分辨率深度图像的尺寸相同；
当低分辨率深度图像中邻近像素的深度值之差大于预定阈值时，提取邻近像素作为深度边界；
通过深度边界的插值产生上采样的深度边界。
18.如权利要求16所述的方法，其中，
产生离散深度图像的步骤包括：估计整数视差值，该整数视差值与上采样的深度图像的深度值成反比，并与低分辨率深度图像的视点和虚拟视点之间的基线长度和焦距成比例，
使用整数视差值作为离散深度图像的离散深度值。
19.如权利要求16所述的方法，其中，
上采样的深度边界包括边界区域和边界边缘，其中，基于邻近像素的深度值之差划分边界区域和边界边缘，
估计高分辨率离散深度图像的步骤包括：
计算反映数据成本和不连续性成本的目标函数，其中，根据离散深度图像的边界区域和离散深度图像的边界边缘使用不同的方案确定数据成本，基于邻近像素的颜色值之差确定不连续性成本；
估计目标函数的最小值。
20.如权利要求19所述的方法，其中，
基于邻近像素之间的颜色-深度相似性权重来确定数据成本，从而边界区域中像素的离散深度值与高分辨率离散深度图像中的像素之中对应于边界区域中所述像素的像素的离散深度值之差小于预定阈值；
基于边界边缘中邻近像素的离散深度值来确定数据成本。
21.如权利要求20所述的方法，其中，基于邻近像素的颜色值之差、邻近像素的深度值之差、以及邻近像素之间的距离来确定颜色-深度相似性权重。
22.如权利要求19所述的方法，其中，基于邻近像素的颜色值之差和邻近像素的位置之差来确定不连续性成本，从而当邻近像素的颜色值之差合适时邻近像素的离散深度值之差也可是合适的。
23.如权利要求16所述的方法，其中，转换步骤包括：
通过将不同的权重分别应用到与上采样的深度边界的边界区域相应的像素以及与边界边缘和平坦区域相应的像素，来在上采样的深度图像中执行滤波。
24.如权利要求16所述的方法，其中，执行滤波的步骤包括：
将基于邻近像素的离散深度值之差、邻近像素的颜色值之差、邻近像素的深度值之差、以及邻近像素的位置之差确定的权重应用到与边界区域相应的像素；
将基于邻近像素的深度值之差和邻近像素的位置之差确定的权重应用到与边界边缘和平坦区域相应的像素。
25.如权利要求23所述的方法，其中，转换步骤还包括：基于低-高分辨率深度连续性调整滤波的像素的深度值。
26.如权利要求16所述的方法，其中，产生离散深度图像的步骤包括：通过对高分辨率深度图像的深度值进行量化来产生离散深度图像。
CN201210193354.3A 2011-07-07 2012-06-12 深度图像转换设备和方法 Active CN102867288B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161505218P 2011-07-07 2011-07-07
US61/505,218 2011-07-07
KR1020110084918A KR101828814B1 (ko) 2011-07-07 2011-08-25 깊이 영상 변환 장치 및 방법
KR10-2011-0084918 2011-08-25

Publications (2)

Publication Number Publication Date
CN102867288A CN102867288A (zh) 2013-01-09
CN102867288B true CN102867288B (zh) 2017-04-12

Family

ID=47438692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210193354.3A Active CN102867288B (zh) 2011-07-07 2012-06-12 深度图像转换设备和方法

Country Status (2)

Country Link
US (1) US9047681B2 (zh)
CN (1) CN102867288B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120269458A1 (en) * 2007-12-11 2012-10-25 Graziosi Danillo B Method for Generating High Resolution Depth Images from Low Resolution Depth Images Using Edge Layers
US9094660B2 (en) * 2010-11-11 2015-07-28 Georgia Tech Research Corporation Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video
US9177381B2 (en) * 2010-12-22 2015-11-03 Nani Holdings IP, LLC Depth estimate determination, systems and methods
US20130202194A1 (en) * 2012-02-05 2013-08-08 Danillo Bracco Graziosi Method for generating high resolution depth images from low resolution depth images using edge information
EP2706503A3 (en) * 2012-09-11 2017-08-30 Thomson Licensing Method and apparatus for bilayer image segmentation
KR101941907B1 (ko) * 2013-01-03 2019-01-24 삼성전자주식회사 깊이 정보를 이용하는 내시경 및 깊이 정보를 이용하는 내시경에 의한 용종 검출 방법
RU2013106513A (ru) * 2013-02-14 2014-08-20 ЭлЭсАй Корпорейшн Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
US9639748B2 (en) * 2013-05-20 2017-05-02 Mitsubishi Electric Research Laboratories, Inc. Method for detecting persons using 1D depths and 2D texture
CN105637874B (zh) * 2013-10-18 2018-12-07 Lg电子株式会社 解码多视图视频的视频解码装置和方法
US10210618B1 (en) * 2013-12-27 2019-02-19 Google Llc Object image masking using depth cameras or three-dimensional (3D) models
CN103955954B (zh) * 2014-04-21 2017-02-08 杭州电子科技大学 一种结合同场景立体图对的高分辨率深度图像重建方法
CN105491277B (zh) * 2014-09-15 2018-08-31 联想(北京)有限公司 图像处理方法和电子设备
CN104378617B (zh) * 2014-10-30 2016-04-20 宁波大学 一种虚拟视点中像素点的获取方法
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
JP6543062B2 (ja) * 2015-03-23 2019-07-10 キヤノン株式会社 画像処理装置、画像処理方法
EP3391647B1 (en) * 2015-12-18 2023-11-01 BOE Technology Group Co., Ltd. Method, apparatus, and non-transitory computer readable medium for generating depth maps
EP3404927A1 (en) * 2016-01-13 2018-11-21 Sony Corporation Information processing device and information processing method
CN107407560B (zh) * 2016-02-29 2019-09-24 松下电器产业株式会社 图像处理装置以及图像处理方法
KR102320198B1 (ko) * 2017-04-05 2021-11-02 삼성전자주식회사 깊이 영상 보정 방법 및 장치
CN107507239B (zh) * 2017-08-23 2019-08-20 维沃移动通信有限公司 一种图像分割方法及移动终端
CN108596102B (zh) * 2018-04-26 2022-04-05 北京航空航天大学青岛研究院 基于rgb-d的室内场景物体分割分类器构造方法
US10713756B2 (en) 2018-05-01 2020-07-14 Nvidia Corporation HW-assisted upscaling and multi-sampling using a high resolution depth buffer
US11012694B2 (en) 2018-05-01 2021-05-18 Nvidia Corporation Dynamically shifting video rendering tasks between a server and a client
CN109345482B (zh) * 2018-09-29 2020-11-17 深圳市牧月科技有限公司 一种深度超分辨率图像滤波处理方法
CN109345580B (zh) * 2018-10-23 2020-03-24 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN111091592B (zh) 2018-10-24 2023-08-15 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及可读存储介质
CN109521434B (zh) * 2018-12-27 2020-09-08 合肥泰禾光电科技股份有限公司 一种激光测量方法及控制处理器
CN109947886B (zh) * 2019-03-19 2023-01-10 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN110378946B (zh) 2019-07-11 2021-10-01 Oppo广东移动通信有限公司 深度图处理方法、装置以及电子设备
CN110378945B (zh) * 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备
CN112489103B (zh) * 2020-11-19 2022-03-08 北京的卢深视科技有限公司 一种高分辨率深度图获取方法及***
CN112819878B (zh) * 2021-01-28 2023-01-31 北京市商汤科技开发有限公司 一种深度检测方法、装置、计算机设备和存储介质
CN113658037B (zh) * 2021-08-24 2024-05-14 凌云光技术股份有限公司 一种深度图像到灰度图像的转换方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101053249A (zh) * 2005-09-09 2007-10-10 松下电器产业株式会社 图像处理方法、图像存储方法、图像处理装置及文件格式
CN201243348Y (zh) * 2008-06-06 2009-05-20 比亚迪股份有限公司 摄像头及图像转换装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271594A (ja) * 2001-03-07 2002-09-20 Canon Inc 画像入出力装置および画像入出力装置の制御方法および記憶媒体
KR100891549B1 (ko) 2007-05-22 2009-04-03 광주과학기술원 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체
KR20100008677A (ko) 2008-07-16 2010-01-26 광주과학기술원 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
JP2010039135A (ja) * 2008-08-04 2010-02-18 Toshiba Corp 画像処理装置および画像処理方法
US8248410B2 (en) * 2008-12-09 2012-08-21 Seiko Epson Corporation Synthesizing detailed depth maps from images
US8189943B2 (en) 2009-03-17 2012-05-29 Mitsubishi Electric Research Laboratories, Inc. Method for up-sampling depth images
KR101590767B1 (ko) 2009-06-09 2016-02-03 삼성전자주식회사 영상 처리 장치 및 방법
US9525858B2 (en) * 2011-07-06 2016-12-20 Telefonaktiebolaget Lm Ericsson (Publ) Depth or disparity map upscaling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101053249A (zh) * 2005-09-09 2007-10-10 松下电器产业株式会社 图像处理方法、图像存储方法、图像处理装置及文件格式
CN201243348Y (zh) * 2008-06-06 2009-05-20 比亚迪股份有限公司 摄像头及图像转换装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Automatic 2D-to-3D Video Conversion Technique based on Depth-from-Motion and Color Segmentation》;Lai-Man Po et al.;《ICSP2010 Proceedings》;20101028;第1000-1002页 *

Also Published As

Publication number Publication date
US9047681B2 (en) 2015-06-02
US20130011046A1 (en) 2013-01-10
CN102867288A (zh) 2013-01-09

Similar Documents

Publication Publication Date Title
CN102867288B (zh) 深度图像转换设备和方法
EP3510561B1 (en) Predicting depth from image data using a statistical model
EP3673461B1 (en) Systems and methods for hybrid depth regularization
Lee et al. From big to small: Multi-scale local planar guidance for monocular depth estimation
Wang et al. End-to-end view synthesis for light field imaging with pseudo 4DCNN
CN109360235B (zh) 一种基于光场数据的混合深度估计方法
CN112634341B (zh) 多视觉任务协同的深度估计模型的构建方法
Kiechle et al. A joint intensity and depth co-sparse analysis model for depth map super-resolution
KR101978172B1 (ko) 깊이 영상을 고해상도로 변환하는 방법 및 장치
TWI524734B (zh) 產生深度圖的方法及裝置
EP3385903B1 (en) Method and apparatus for refining depth image
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
US8705867B2 (en) Devices and methods for processing images using scale space
CN103440653A (zh) 双目视觉立体匹配方法
EP2757789A1 (en) Image processing system, image processing method, and image processing program
CN110910437B (zh) 一种复杂室内场景的深度预测方法
CN107750370A (zh) 用于确定图像的深度图的方法和装置
Huang et al. Toward naturalistic 2D-to-3D conversion
Liu et al. High quality depth map estimation of object surface from light-field images
CN106023189B (zh) 一种基于匹配优化的光场数据深度重建方法
KR101828814B1 (ko) 깊이 영상 변환 장치 및 방법
CN108830804B (zh) 基于线扩展函数标准差的虚实融合模糊一致性处理方法
Akimov et al. Single-image depth map estimation using blur information
JP2018081378A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
Lee et al. Depth error compensation for camera fusion system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant