CN103473794A - 深度图像产生方法及设备和深度图像处理方法及设备 - Google Patents

Abstract

提供一种深度图像产生方法及设备和深度图像处理方法及设备。所述深度图像产生方法可包括：将不同调制频率的光发射到对象；检测从所述对象反射的所述不同调制频率的光；使用所述不同调制频率的光来产生与到所述对象的距离相关的深度图像。

Description

深度图像产生方法及设备和深度图像处理方法及设备

本申请要求于2012年6月5日提交到韩国知识产权局的第10-2012-0060616号韩国专利申请的优先权利益，其公开通过引用合并于此。

技术领域

以下描述的一个或多个示例实施例涉及一种深度图像产生方法及设备和深度图像处理方法及设备，更具体地讲，涉及一种用于使用不同调制频率的光来产生深度图像的方法以及一种处理产生的深度图像的方法。

背景技术

根据一种技术，可通过使用光从对象反射并返回所需的时间计算到对象的距离来产生深度图像。当前，使用前述技术产生深度图像的飞行时间（ToF）相机被广泛使用。ToF相机使用在频率调制的光被反射时发生的相位延迟来计算到对象的距离。

对象与ToF相机之间的最大可测量距离(“r_max”)由用于计算的调制频率确定。例如，在计算上述相位延迟时，发射的光与反射的光之间在飞行时间中的相位差被计算为处于0到2π弧度的周期之内。r_max指示可确切测量的最大距离，其被称为非模糊距离范围。因此，距离ToF相机达到r_max的对象相应于2π弧度的相位差。当相位差大于2π时（诸如，对于位于距离ToF相机远过r_max的对象），相位差将仍旧被测量为落入0到2π弧度。这种现象可被称为“相位包裹”（phase wrapping）。因此，测量的相位差将小于实际的相位差，从而对应于小于r_max的某个距离。因此，传统ToF相机会错误地将位于比最大可测量距离更远的对象的深度图像确定为在可测量距离范围之内。

为了从深度图像恢复位于远过r_max的距离的对象的深度值，可使用单个深度图像或多个深度图像。当使用单个深度图像时，在深度图像的不连续部分，具有小的深度值的像素的模数的数值（number of mods）被设置为比具有大的深度值的像素的模数的数值多一个。当使用多个深度图像时，可通过移动相机来获得所述多个深度图像。

发明内容

通过提供一种深度图像产生方法来实现前述和/或其它方面，所述方法包括：将不同调制频率的光发射到对象；检测从对象反射的所述不同调制频率的光；使用所述不同调制频率的光来产生与到对象的距离相关的深度图像。

通过提供一种深度图像产生设备也来实现前述和/或其它方面，所述设备包括：发射单元，用于将不同调制频率的光发射到对象；检测单元，用于检测从对象反射的所述不同调制频率的光；产生单元，用于使用所述不同调制频率的光来产生与到对象的距离相关的深度图像。

还通过提供一种深度图像处理方法来实现前述和/或其它方面，所述方法包括：基于不同调制频率分离深度图像；通过插值来恢复分离的深度图像的深度值；使用深度值被恢复的深度图像来调整长距离的深度值。

还通过提供一种深度图像处理设备来实现前述和/或其它方面，所述设备包括：分离单元，用于基于不同调制频率分离深度图像；恢复单元，用于通过插值来恢复分离的深度图像的深度值；调整单元，用于使用深度值被恢复的深度图像来调整长距离的深度值。

深度图像处理设备可还包括：合成单元，用于合成深度值被调整的深度图像。

还通过提供一种飞行时间深度相机来实现前述和/或其它方面，所述飞行时间深度相机包括：处理器，用于控制一个或多个处理器可执行单元；发射单元，包括多个第一发射器和多个第二发射器，其中，所述第一发射器以第一调制频率发射射线，第二发射器以第二调制频率发射射线；像素阵列，包括多个第一像素和多个第二像素，其中，所述第一像素被配置为感测以第一调制频率发射的射线，所述第二像素被配置为感测以第二调制频率发射的射线。

在飞行时间深度相机的实施例中，第一像素和第二像素按照格状图案交替排列。

还通过提供一种恢复深度图像的设备来实现前述和/或其它方面，所述设备包括：处理器，用于控制一个或多个处理器可执行单元；分离单元，用于从单个深度图像提取在第一调制频率获得的第一深度图像和在第二调制频率获得的第二深度图像，其中，所述单个深度图像具有在第一调制频率和第二调制频率中的每一个调制频率获得的图像部分；恢复单元，用于使用插值恢复第一深度图像和第二深度图像中的每一个中的深度值；调整单元，用于基于具有恢复的深度值的第一深度图像和具有恢复的深度值的第二深度图像来调整长距离深度。

还通过提供一种深度图像产生和处理***实现前述和/或其它方面，所述***包括：处理器，用于控制一个或多个处理器可执行单元；发射单元，用于以不同调制频率向对象发射光；检测单元，用于检测从所述对象反射的不同调制频率的光；分离单元，用于基于检测的不同调制频率的光来分离深度图像；恢复单元，用于通过插值来恢复分离的深度图像的空缺深度值；调整单元，用于使用具有恢复的深度值的深度图像来调整长距离的深度值。

示例实施例的附加的方面、特征和/或优点将部分地在随后的描述中被阐述，部分地从描述中将是清楚的或可通过本公开的实践而被获知。

附图说明

从以下结合附图对示例实施例的描述，这些和/或其它方面和优点将变得清楚且更容易被理解，其中：

图1示出根据示例实施例的用于处理深度图像的***的整体结构；

图2示出根据示例实施例的深度图像产生设备的详细结构；

图3示出根据示例实施例的深度图像处理设备的详细结构；

图4A至图4C示出根据示例实施例的在各个不同调制频率下操作的光源的示例布置；

图5A至图5C示出根据示例实施例的与各个不同调制频率相应的像素的示例布置；

图6示出根据示例实施例的由深度图像产生设备产生的示例深度图像；

图7示出根据示例实施例的深度图像被分离成与不同调制频率相应的像素区域的示例；

图8示出根据示例实施例的通过对深度图像插值而恢复深度值的示例；

图9示出根据示例实施例的深度值被恢复的像素区域的示例；

图10示出根据示例实施例的通过恢复像素的深度值来表示深度图像的示例；

图11示出根据示例实施例的通过调整长距离的深度值来表示深度图像的示例；

图12示出根据示例实施例的结合在深度图像的像素中的非插值像素的深度值的示例；

图13示出根据示例实施例的合成长距离的深度值被调整的深度图像的示例；

图14示出根据示例实施例的产生深度图像的操作；和

图15示出根据示例实施例的处理深度图像的操作。

具体实施方式

现在将详细参照示例实施例，其中，在附图中示出所述示例实施例的示例，同样的附图标号始终指示同样的元件。可由根据所述示例实施例的深度图像产生设备执行根据所述示例实施例的深度图像产生方法。另外，可由根据所述示例实施例的深度图像处理设备执行根据示例实施例的深度图像处理方法。

图1示出根据示例实施例的用于处理深度图像的***的整体结构。

参照图1，用于处理深度图像的***可包括例如深度图像产生设备110和深度图像处理设备120。

深度图像产生设备110可使用不同调制频率的光来产生与到对象的距离相关的深度图像。也就是说，深度图像产生设备110可通过产生所述深度图像来确定从深度图像产生设备110到对象的距离。

所述光的调制频率可确定深度图像产生设备110的最大可测量距离(r_max)。例如，当深度图像产生设备110使用具有大约30MHz的调制频率的光来拍摄对象时，深度图像产生设备110可测量大约5m的距离（作为r_max）。相反，当深度图像产生设备110使用具有不同于30MHz的调制频率的光来拍摄对象时，深度图像产生设备110可测量不同于5m的距离（作为r_max）。

深度图像处理设备120可处理由深度图像产生设备110基于不同调制频率产生的深度图像。深度图像处理设备120可使用由深度图像产生设备110产生的一个深度图像来调整在所述深度图像中表示的长距离的深度值。因此，深度图像处理设备120甚至能够针对在深度图像产生设备100或对象正在移动的状态下获得的深度图像来调整长距离深度值。在这里，术语“长距离”将指示超过深度图像产生设备110的传统可确切测量的最大距离的距离，术语“长距离深度值”将指示超过传统可确切测量的最大距离的距离的深度值。

深度图像处理设备120可通过调整在深度图像中表示的长距离深度值来将到对象的实际距离与在深度图像中表示的深度值匹配。此外，深度图像处理设备120可合成基于不同调制频率产生的深度图像，由此表示高清晰度深度图像。

图2示出根据示例实施例的深度图像产生设备210的详细结构。

参照图2，深度图像产生设备210可包括例如发射单元220、检测单元230和产生单元240。

发射单元220可将各个不同调制频率的光发射到对象。也就是说，发射单元220可发射以任意频率调制的光。根据另一示例，发射单元220可将从均在不同调制频率操作的多个光源输出的光发射到对象。在不同调制频率操作的多个光源可具有水平结构、垂直结构和晶格结构中的任何结构。也就是说，在不同调制频率操作的多个光源可具有空间上混合的结构。

图4A至图4C示出根据示例实施例的均在不同调制频率操作的光源的示例布置。

参照图4A至图4C，深度图像产生设备410可包括在任意调制频率f1操作的光源420和在任意调制频率f2操作的光源430。在调制频率f1操作的光源420能够以调制频率f1向对象发射光。光源430能够以调制频率f2向对象发射光。

可按照图4A中示出的水平结构、图4B中示出的垂直结构和图4C中示出的晶格结构中的任何结构来布置光源420和光源430。然而，光源420和光源430的布置应不限于所示实施例。

再次参照图2，检测单元230可检测从对象反射的各个不同调制频率的光。可选择地，检测单元230可使用与各个不同调制频率相应的至少一个像素来检测光。与不同调制频率相应的多个像素可具有水平结构、垂直结构和晶格结构中的任何结构。也就是说，与不同调制频率相应的多个像素可具有空间上混合的结构。

可在与预定调制频率相应的每个像素可对相应的调制频率的光采样。

图5A至图5C示出根据示例实施例的与各个不同调制频率相应的像素的示例布置。

图5A至图5C中所示的示例布置可包括与任意调制频率f1相应的像素510和与任意调制频率f2相应的像素520。可从对象反射并在像素510和像素520中检测从光源发射的光。可在与调制频率f1相应的像素510检测在调制频率f1的光。可在与调制频率f2相应的像素520检测在调制频率f2的光。

可按照图5A中示出的水平结构、图5B中示出的垂直结构和图5C中示出的晶格结构中的任何结构来布置像素510和像素520。然而，像素510和像素520的布置应不限于所示实施例。

再次参照图2，产生单元240可使用在不同调制频率的光来产生与到对象的距离相关的深度图像。详细地讲，产生单元240可使用被发射到对象的光的强度和从所述对象反射的光的强度来计算到所述对象的距离。可选择地，产生单元240可使用被发射到对象的光与从所述对象反射的光之间的相位差来计算到所述对象的距离。产生单元240可通过基于距离值调整图像的亮度来产生深度图像。例如，产生单元240可产生与从发光单元220到对象的距离相关的深度图像。

图3示出根据示例实施例的深度图像处理设备310的详细结构。

参照图3，深度图像处理设备310可包括例如分离单元320、恢复单元330、调整单元340和合成单元350。

分离单元320可基于调制频率来分离深度图像。例如，分离单元可将深度图像分离成与不同调制频率相应的像素区域。作为另一示例，分离单元320可从像素区域（其中，所述像素区域从具有不同调制频率的像素产生一个深度图像）分离与相同调制频率相应的像素，从而产生新的像素区域。所述新的像素区域可包括不具有深度值的像素。

图7示出根据示例实施例的深度图像已被分离成与不同调制频率相应的像素区域的示例。

参照图7，深度图像处理设备可将使用不同调制频率产生的深度图像的像素区域710分离成均与不同调制频率相应的像素区域720和像素区域730。

由深度图像产生设备产生的深度图像的像素区域710可包括与调制频率f1相应的像素740和与调制频率f2相应的像素760。深度图像处理设备可基于调制频率f1和调制频率f2来分离像素区域710。根据调制频率分离出的像素区域720和像素区域730可包括不具有深度值的像素750。

也就是说，在分离后的像素区域720和像素区域730中的与不同调制频率相应的像素会包括不具有深度值的像素750。

再次参照图3，恢复单元330可通过插值来恢复基于不同调制频率分离的深度图像中的任一深度图像的深度值。也就是说，恢复单元330可恢复基于不同调制频率分离的深度图像中的任一深度图像中的不具有深度值的当前像素的深度值。详细地讲，恢复单元330可使用***像素的深度值来恢复不具有深度值的当前像素的深度值。可选择地，恢复单元330可通过考虑基于当前像素与***像素之间的距离的权重来恢复当前像素的深度值。

恢复单元330可通过从由分离单元320产生的新的像素区域产生不具有深度值的像素的深度值来独立地产生根据调制频率的像素区域。将参照图8更加详细地描述恢复单元330。

调整单元340可使用深度值已被恢复的深度图像来调整长距离深度值。详细地讲，调整单元340可使用像素的三维（3D）坐标值的差来调整长距离深度值，其中，所述像素与分离的深度图像中的每个深度图像中的相同位置相应。

出现在长距离的对象的深度值会由于相位包裹而不同于实际的深度值。例如，当深度图像产生设备正在拍摄位于比深度图像产生设备的最大可测量距离(“r_max”)更远的对象时，会发生相位包裹。在这种情况下，因为深度图像产生设备将实际位于比r_max更远的对象视为在可测量距离范围之内，所以在深度图像中表示的对象的深度值会小于实际的深度值。然而，使用相位包裹的发生的次数，反映相位包裹的深度值可以是实际的深度值。例如，下面的等式1使用在3D空间中的相似三角形公式来计算在相位包裹发生之前的深度值。

[等式1]

$\begin{array}{cc}{X}_i^f\left(n_i\right)=\frac{\left(\right|\left|X_i^f\right||+n_i{r}_{\max }^f)}{\left|\right|X_i^f\left|\right|}{X}_i^f& r_{\max }^f=\frac{c}{2f}\end{array}$

在等式1中，

可表示在任意像素i利用调制频率f测量的3D坐标值，可表示在相位包裹发生之前的3D坐标值。表示正数（包括0）的n_i可表示在任意像素i发生相位包裹的次数。此外，c可表示光速，可表示使用调制频率f的光的深度图像产生设备的最大可测量距离，

可表示在3D空间中从原点到的距离。

由于在分离的深度图像中的每个深度图像中的相同位置处的像素测量到所述相同位置的距离，所以

和

可具有相同值。在这里，n_i和m_i可以是正数（包括0）。精确的n_i值和m_i值可使被定义为与

之间的距离差的 $\left|\right|X_i^{f1}\left(n_i\right)-X_i^{f2}\left(m_i\right)\left|\right|$ 最小化。

[等式2]

$D_i\left(n_i\right)={\min }_{m_i\∈\{0,...,M\}}\left|\right|X_i^{f_1}\left(n_i\right)-X_i^{f_2}\left(m_i\right)\left|\right|$

等式2可计算

的最小值。在这里，D_i(n_i)可表示

的最小值。设m_i可具有从0到任意正数M中的任何值，使

最小化的n_i可使D_i(n_i)最小化。

[等式3]

$n_i={\arg \min }_{n_i\∈\{0,...,N\}}{D}_i\left(n_i\right)$

设n_i可具有从0到任意正数N中的任何值，等式3可计算使D_i(n_i)最小化的n_i。也就是说，等式3可被定义为用于使用D_i(n_i)计算n_i的等式。

此外，调整单元340可通过考虑基于与在各个分离的深度图像中的每个深度图像中的相同位置相应的像素的深度值和基于***像素的深度值的权重来调整长距离深度值。等式3的n_i会由于在深度图像中存在的噪音而被不正确地计算。为了克服这点，调整单元340可使用以下的等式4。

[等式4]

$n_i={\arg \min }_{n_i\∈\{0,...,N\}}\underset{j\∈N_i}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{D}_j\left(n_i\right)$

等式4可通过考虑基于***像素的深度值的权重来计算n_i，以便防止由于在深度图像中包括的噪音而引起的n_i的不正确计算。也就是说，等式4可被定义为用于计算使考虑基于***像素的深度值的权重而计算的

最小化的n_i的等式。

设任意像素i的***像素具有与n_i相应的值n并且n_i和n是相等的，可使用等式4计算n_i。在这里，Ni可指示一组***像素（包括像素i）。w_ij可指示根据在任意像素i中测量的深度值与在像素i的***像素j中测量的深度值之间的相似度而确定的权重。

调整单元340可通过基于在分离的深度图像中的每个深度图像中的所有像素的3D坐标值的差使代价函数值最小化来调整长距离深度值。例如，调整单元340可通过使用等式5和等式6计算将代价函数值最小化的n_i来调整长距离深度值。

[等式5]

$E=\underset{i}{\mathrm{\Σ}}\underset{j\∈N_i}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{D}_j\left(n_i\right)+\underset{(i,j)\∈N}{\mathrm{\Σ}}V(n_i,n_j)$

[等式6]

$E=\underset{i}{\mathrm{\Σ}}{D}_i\left(n_i\right)+\underset{(i,j)\∈N}{\mathrm{\Σ}}V(n_i,n_j)$

在等式5和等式6中，V可表示基于n_i和与n_i相应的像素j的n_j之间的相似度确定的函数。函数V可以是使两个相邻像素的深度值相似的目标函数。函数V可被用于以整个图像为单位的最优化。

前述计算n_i的处理可被应用于m_i的计算。

调整单元340可使用等式4、等式5和等式6计算n_i。另外，可通过将在像素中测量的深度值与n_i和

的乘积相加来计算到实际的对象的距离。

合成单元350可合成长距离深度值已被调整的深度图像。详细地讲，合成单元350可通过结合在分离的深度图像的像素中的非插值像素的深度值来合成深度图像。也就是说，在调整单元340使用深度值被恢复的深度图像来调整长距离深度值之后，合成单元350可结合自始具有深度值的像素。通过前述处理，合成单元350可增加在对象的边界的深度值的精确度或使深度图像的噪音最小化。

图6示出根据示例实施例的由深度图像产生设备产生的示例深度图像。

参照图6，由深度图像产生设备产生的深度图像可使用所述图像的亮度来表示到对象的距离。也就是说，随着到对象的距离变短，在图6的深度图像中，亮度会降低。

由深度图像产生设备产生的深度图像可被表示为基于在像素中测量的光的强度而计算的深度值的混合。深度图像可包括具有由于相位包裹而不同于实际深度值的深度值的区域。因此，用于将不正确的深度值补偿到实际深度值的处理成为必要。

图8示出根据示例实施例的诸如由恢复单元330通过对深度图像插值来恢复深度值的示例。

参照图8，深度图像处理设备可使用***像素810和***像素830来计算不具有深度值的像素820的深度值。例如，深度图像处理设备可通过考虑基于不具有深度值的像素820与***像素810、***像素830之间的距离的权重来计算像素820的深度值。然而，***像素不限于***像素810、***像素830，而可包括与像素820相邻的任何像素。

可使用等式7和等式8计算像素820的深度值。

[等式7]

$Z_i^{f_1}=\underset{j\∈N_i}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{Z}_j^{f_1}$

[等式8]

$Z_i^{f_2}=\underset{j\∈N_i}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{Z}_j^{f_2}$

等式7可计算与调制频率f1相应的任意像素i中测量的z轴方向的深度值

。等式8可计算在与调制频率f2相应的任意像素j中测量的z轴方向的深度值

。z轴方向可指示指向深度图像产生设备的正面的方向。w_ij可指示被应用于像素j的深度值以产生像素i的深度值的权重。

当计算在z轴方向的深度值时，可使用相机矩阵（cameral matrix）的固有参数（intrinsic parameter）来计算3D点在其余方向（即，x轴方向和y轴方向）的坐标。

图9示出根据示例实施例的深度值被恢复的像素区域的示例。

参照图9，深度图像处理设备可通过恢复不具有深度值的像素950的深度值来产生在整个区域中具有深度值的像素区域930和像素区域940。

像素区域910可包括与调制频率f1相应的像素960和不具有深度值的像素950两者。像素区域920可包括与调制频率f2相应的像素970和不具有深度值的像素950两者。深度图像处理设备可使用***像素的深度值或者通过考虑基于像素950与***像素之间的距离的权重来恢复像素950的深度值。

图10示出通过图9的像素区域910、像素区域920、像素区域930和像素区域940表示深度图像的示例。图9的像素区域910和像素区域920包括不具有深度值的像素950。因此，表示像素区域910和像素区域920的深度值的深度图像1010和深度图像1020可包括深度值未被表示的区域1050。

深度图像处理设备可恢复不具有深度值的像素的深度值，从而在整个区域表示具有深度值的深度图像。由图10中的深度图像1030和深度图像1040示出通过不具有深度值的像素的深度值的恢复而在整个区域具有深度值的深度图像。通过深度值的恢复而产生的深度图像1030和深度图像1040甚至可在深度值未被表示的区域1050中具有深度值。

图11示出根据示例实施例的通过调整长距离的深度值来表示深度图像的示例。

深度图像处理设备可在基于不同频率分离的深度图像中恢复不具有深度值的像素的深度值。图11中示出深度值被恢复的深度图像1110。在图11的深度图像1110和深度图像1120中，随着到对象的距离变短，亮度降低。设到对象的距离在深度图像1110的区域1130中被测量为不同于实际距离，深度值需要被调整到实际深度值。

也就是说，在深度图像1110的区域1130中，虽然对象实际位于比测量的距离更远，但是所述对象会被表示为较靠近。为了补偿不正确的测量，深度图像处理设备可使用像素的3D坐标值的差来调整长距离深度值，其中，所述像素与在各个分离的深度图像中的每个深度图像中的相同位置相应。可选择地，深度图像处理设备可通过考虑基于像素（其中，所述像素与在各个分离的深度图像中的每个深度图像中的相同位置相应）的深度值和基于***像素的深度值的权重来调整长距离深度值。

在深度图像1120中示出如前所述的调整深度值的结果。在深度图像1120中，区域1130的深度值被调整。也就是说，由于根据实际深度值来校正亮度，因此在深度图像1120中区域1130被明亮地示出。

图12示出根据示例实施例的结合在深度图像的像素中的非插值像素的深度值的示例。

参照图12，深度图像处理设备可通过结合分离的深度图像的像素区域1210和像素区域1220中的非插值像素的深度值来合成新的像素区域1230。也就是说，深度图像处理设备可使用深度值被恢复的深度图像来调整长距离的深度值，然后结合自始具有深度值的像素。通过结合非插值像素的深度值而新产生的像素区域1230可包括长距离深度值基于***像素的深度值被恢复的像素。

图13示出根据示例实施例的通过深度图像表示图12的像素区域的示例。图13的深度图像1310、深度图像1320和深度图像1330可分别与图12的像素区域1210、像素区域1220和像素区域1230相应。

深度图像处理设备可通过结合非插值像素的深度值来提高在边界的深度值的精确度。例如，在边界的深度值会具有在不具有深度值的像素的深度值的插值期间引起的明显误差。然而，深度图像处理设备可通过结合深度值未被恢复的像素的深度值来更精确地表示在边界的深度值。此外，通过前述方法，深度图像处理设备可使深度值的噪音最小化。

深度图像1310和深度图像1320会由于深度值被恢复的像素而在边界具有误差。详细地讲，深度值在边界的改变会大于在其它区域的改变。因此，当使用***像素的深度值恢复不具有深度值的像素的深度值时，会在深度图像中产生在与边界邻近的像素的深度值中的误差。

为了减小所述误差，深度图像处理设备可通过结合深度值未被恢复的像素的深度值来表示在边界具有减小的误差的深度图像1330。此外，深度图像处理设备可表示具有高清晰深度值的深度图像。

图14是示出根据示例实施例的产生深度图像的操作的流程图。

在操作1410，深度图像产生设备能够以不同调制频率向对象发射光，或者将从在不同调制频率操作的至少一个光源输出的光发射到对象。在不同调制频率操作的所述至少一个光源可具有水平结构、垂直结构和晶格结构中的任何结构。

在操作1420，深度图像产生设备可检测从对象反射的在不同调制频率的光，或者使用与不同调制频率相应的至少一个像素来检测光。与不同调制频率相应的所述至少一个像素可具有水平结构、垂直结构和晶格结构中的任何结构。

在操作1430，深度图像产生设备可使用不同调制频率的光来产生与到对象的距离相关的深度图像。深度图像产生设备可使用被发射到对象的光的强度和从所述对象反射的光的强度来计算到所述对象的距离。

图15是示出根据示例实施例的处理深度图像的操作的流程图。

在操作1510，深度图像处理设备可基于不同调制频率来分离深度图像。例如，深度图像处理设备可使用从空间混合的像素获得的一个双频深度图像来产生在不同调制频率获得的两个深度图像，其中，所述空间混合的像素感测在不同调制频率中的每一调制频率的信号。可选择地，深度图像处理设备可将深度图像分离成与不同调制频率相应的像素区域。

在操作1520，深度图像处理设备可通过插值来恢复基于不同调制频率分离的深度图像的深度值。详细地讲，深度图像处理设备可恢复在基于不同调制频率分离的深度图像中不具有深度值的当前像素的深度值。可选择地，深度图像处理设备可使用当前像素的***像素，或者通过考虑基于在当前像素与***像素之间的距离的权重来恢复当前像素的深度值。

在操作1530，深度图像处理设备可使用深度值被恢复的深度图像来调整长距离深度值。详细地讲，深度图像处理设备可使用像素的3D坐标值的差来调整长距离深度值，其中，所述像素与在分离的深度图像中的每个深度图像中的相同位置相应。此外，深度图像处理设备可考虑基于与所述相同位置相应的像素的深度值和***像素的深度值的权重来调整长距离深度值。另外，深度图像处理设备可通过使基于在分离的深度图像中的每个深度图像中的所有像素的3D坐标值的差的代价函数值最小化来调整长距离深度值。

在操作1540，深度图像处理设备可合成长距离深度值已被调整的深度图像。也就是说，深度图像处理设备可通过结合分离的深度图像的像素中的非插值像素的深度值来合成深度图像。因此，深度图像处理设备可提高在边界的深度值的精确度。

根据上述示例实施例的方法可被记录在非暂时性计算机可读介质中，其中，所述非暂时性计算机可读介质包括用于执行由计算机实施的各种操作的程序指令。所述介质还可包括单独的或与所述程序指令结合的数据文件、数据结构等。在所述介质上记录的程序指令可以是针对示例实施例的目的而专门被设计并构建的那些程序指令，或者它们可以是计算机软件领域的技术人员众所周知和可用的种类的程序指令。非暂时性计算机可读介质的示例包括磁介质（诸如硬盘、软盘和磁带）、光学介质（诸如CD ROM盘和DVD）、磁光介质（诸如光盘）和专门被配置为存储并执行程序指令的硬件装置（诸如只读存储器（ROM）、随机存取存储器（RAM）、闪存等）。

程序指令的示例包括机器代码（诸如由编译器产生的机器代码）和包含可由计算机使用解释器来执行的更高级代码的文件两者。所述硬件装置可被配置为充当一个或多个软件模块，以便执行上述示例实施例的操作，或者反之亦然。本文中描述的软件模块中的任何一个或多个软件模块可通过单元独有的专门处理器或所述模块中的一个或多个模块共有的处理器来执行。所述方法可在通用计算机或处理器上执行，或可在诸如本文中描述的设备的特定机器上执行。

虽然已经示出并描述了示例实施例，但是本领域技术人员将理解：在不脱离本公开的原理和精神的情况下，可在这些示例实施例中做出改变，其中，在权利要求及其等同物中限定本公开的范围。

Claims (20)

1.一种深度图像产生方法，包括：

将不同调制频率的光发射到对象；

检测从所述对象反射的所述不同调制频率的光；和

使用所述不同调制频率的光来产生与到所述对象的距离相关的深度图像。

2.如权利要求1所述的深度图像产生方法，其中，所述发射的步骤包括：发射从在所述不同调制频率操作的至少一个光源输出的光。

3.如权利要求2所述的深度图像产生方法，其中，所述至少一个光源具有水平结构、垂直结构和晶格结构中的任何一个或多个结构。

4.如权利要求1所述的深度图像产生方法，其中，所述检测的步骤包括：使用与不同调制频率相应的至少一个像素来检测光。

5.如权利要求4所述的深度图像产生方法，其中，所述至少一个像素具有水平结构、垂直结构和晶格结构中的任何一个或多个结构。

6.如权利要求1所述的深度图像产生方法，其中，所述产生深度图像的步骤包括：

使用被发射到所述对象的光的强度和从所述对象反射的光的强度来计算到所述对象的距离。

7.一种深度图像处理方法，包括：

基于不同调制频率来分离深度图像；

使用插值来恢复分离的深度图像的深度值；和

使用深度值已被恢复的深度图像来调整长距离深度值。

8.如权利要求7所述的深度图像处理方法，其中，所述分离的步骤包括：将所述深度图像分离成均与所述不同调制频率之一相应的像素区域。

9.如权利要求7所述的深度图像处理方法，其中，所述分离的步骤包括：从单个深度图像提取在第一调制频率获得的第一深度图像和在第二调制频率获得的第二深度图像，其中，所述单个深度图像具有在第一调制频率和第二调制频率中的每一个调制频率获得的图像部分。

10.如权利要求7所述的深度图像处理方法，其中，所述恢复的步骤包括：使用在基于所述不同调制频率分离的所述深度图像中不具有深度值的当前像素的***像素来恢复所述当前像素的深度值。

11.如权利要求10所述的深度图像处理方法，其中，所述恢复的步骤包括：通过考虑基于不具有深度值的所述当前像素与所述***像素之间的距离的权重来恢复所述当前像素的深度值。

12.如权利要求8所述的深度图像处理方法，其中，所述调整的步骤包括：使用与在各个分离的深度图像中的每个深度图像中的相同位置相应的像素的三维（3D）坐标值的差来调整所述长距离深度值。

13.如权利要求8所述的深度图像处理方法，其中，所述调整的步骤包括：通过考虑基于与在各个分离的深度图像中的每个深度图像中的相同位置相应的像素的深度值和***像素的深度值的权重来调整所述长距离深度值。

14.如权利要求8所述的深度图像处理方法，其中，所述调整的步骤包括：通过基于在各个分离的深度图像中的每个深度图像中的所有像素的3D坐标值的差使代价函数值最小化来调整所述长距离深度值。

15.如权利要求7所述的深度图像处理方法，还包括：

合成深度值已被恢复的深度图像。

16.如权利要求15所述的深度图像处理方法，其中，所述合成的步骤包括：结合分离的深度图像的像素中的非插值像素的深度值。

17.一种深度图像产生设备，包括：

发射单元，用于将不同调制频率的光发射到对象；

检测单元，用于检测从所述对象反射的所述不同调制频率的光；和

产生单元，用于使用所述不同调制频率的光来产生与从发射单元到所述对象的距离相关的深度图像。

18.如权利要求17所述的深度图像产生设备，其中，发射单元发射从在所述不同调制频率操作的至少一个光源输出的光。

19.如权利要求17所述的深度图像产生设备，其中，检测单元使用像素阵列检测从对象反射的所述不同调制频率的光，

其中，像素阵列包括多个第一像素和多个第二像素，其中，所述第一像素被配置为感测以第一调制频率发射的射线，所述第二像素被配置为感测以第二调制频率发射的射线。

20.如权利要求19所述的深度图像产生设备，其中，第一像素和第二像素按照格状图案交替排列。

Images