CN103220542A - 用于产生视差值的图像处理方法和设备 - Google Patents

Abstract

提供一种用于产生视差值的图像处理方法和设备。所述图像处理设备可通过向两个彼此相邻并具有相似色彩的像素分配相似视差来调整或产生像素的视差。图像处理设备可在预定约束下基于图像和初始视差图来产生可使能量最小化的最终视差图。可将软约束或硬约束用作所述约束。

Description

用于产生视差值的图像处理方法和设备

本申请要求于2012年1月18日提交到韩国知识产权局的第10-2012-0005746号韩国专利申请的优先权利益，该申请的公开通过引用合并于此。

技术领域

一个或多个示例实施例涉及一种用于处理图像的方法和设备，更具体地，涉及一种可基于图像和初始视差图来产生最终视差图的设备和方法。

背景技术

当基于立体图像或多视图图像执行场景重建或深度估计时，可在特定视图中观察到一部分预定对象或整个预定对象，然而，在其他视图中无法观察到所述一部分预定对象或整个预定对象。例如，当捕捉对象的相机被移动时或当观看对象的视点被改变时，现在可从改变的视点看到在改变视点之前未显示出的区域。这种事件可被称为遮挡(occlusion)。

被遮挡的部分在多个视图中可能不具有对应性。因此，理论上无法估计被遮挡的部分的三维(3D)位置。

为了解决由遮挡所引起的问题，可使用各种处理遮挡的方法。

发明内容

上述和/或其他方面通过提供一种图像处理设备来实现，所述图像处理设备包括：接收单元，用于接收包括像素的色彩信息的图像和包括像素的视差信息的初始视差图；约束确定单元，用于确定约束；产生单元，用于通过在确定的约束下向所述像素之中的两个彼此相邻并具有相似色彩的像素分配相似视差来产生最终视差图。这里，一部分像素可对应于通过初始差值图未确定视差值的像素，并且最终视差图可包括所有像素的视差值。

所述约束可对应于硬约束，即，所述像素之中具有通过初始视差图确定的视差值的像素可在最终视差图中具有相同视差值。

产生单元可通过确定每个像素的视差值来产生最终视差图，以降低能量。

能量可根据第一像素的视差值与第一像素的相邻像素的色彩相似性加权视差值之间的差异的增加而增加。

第一像素可对应于所述像素之中的预定像素。

第一像素的相邻像素可对应于所述像素之中位于基于第一像素的坐标预定的范围内的像素。

所述约束可对应于软约束，即，所述能量可根据第二像素在初始视差图中的视差值与第二像素在最终视差图中的视差值之间的差异的增加而增加。

产生单元可将先前帧中的第四像素添加到当前帧中的第三像素的相邻像素。

第三像素在当前帧中的坐标可与第四像素在先前帧中的坐标相同。

当前帧可包括图像和初始视差图。

先前帧和当前帧可对应于时间上连续的帧。

产生单元可向视差值未确定的像素中的至少一个像素分配初始视差值。

产生单元可以按坡道的形式向视差值未确定的像素中的至少一个像素分配初始视差值。

图像处理设备可还包括解压缩单元，用于当图像和初始视差图已被压缩时，对图像和初始视差图进行解压缩。

由于作为压缩初始视差图的结果而丢失的初始视差图的数据，可产生视差值未确定的像素。

图像处理设备可还包括用于向上扩展图像和初始视差图的向上扩展单元。

上述和/或其他方面还通过提供一种图像处理方法来实现，所述方法包括：接收包括像素的色彩信息的图像和包括像素的视差信息的初始视差图；确定约束；通过在确定的约束下向所述像素之中的两个彼此相邻并具有相似色彩的像素分配相似视差来产生最终视差图。这里，一部分像素可对应于通过初始差值图未确定视差值的像素，并且最终视差图可包括所有像素的视差值。

上述和/或其他方面还通过提供一种图像处理设备来实现。所述设备包括：接收单元，用于接收包括像素的色彩信息的图像和包括像素的视差信息的初始视差图，其中，所述初始视差图中的像素中的至少一部分像素是具有未确定的视差值的视差未确定的像素；约束确定单元，用于确定约束；产生单元，用于通过在确定的约束下向所述像素之中的两个彼此相邻的像素分配相似视差来产生最终视差图，最终视差图包括每个像素的视差值。

当两个相邻像素中的一个像素是视差未确定的像素，并且所述两个相邻像素中的另一个像素具有确定的视差值并具有与视差值未确定的像素相似的色彩时，图像处理设备的产生单元可向所述两个相邻像素分配相似视差。

实施例的另外的方面将在以下的描述中部分地进行阐述，并将部分地通过所述描述而清楚，或可通过本公开的实践而被了解。

附图说明

从以下结合附图对实施例的描述，这些和/或其他方面将变得清楚和更易于理解，其中：

图1示出根据示例实施例的图像处理设备；

图2示出根据示例实施例的图像处理方法；

图3示出根据示例实施例的二次规划(QP，Quadratic Programming)视差拟合的结果；

图4示出根据示例实施例的分配时间一致性的图像处理方法；

图5示出根据示例实施例的QP时间视差拟合(QP temporal disparityfitting)的结果；

图6示出根据示例实施例的分配初始视差值的图像处理方法；

图7示出根据示例实施例的通过以半自动方式分配初始视差值来产生最终视差图的结果；

图8示出根据示例实施例的通过以坡道的形式分配初始视差值来产生最终视差图的结果；

图9示出根据示例实施例的处理压缩图像和压缩初始视差图的方法；

图10示出根据示例实施例的通过向上扩展初始视差图来处理图像的方法；

图11示出根据示例实施例的零值填充。

具体实施方式

现在将详细参考实施例，其示例在附图中示出，其中，相同的参考标号始终指示相同的元件。下面通过参照附图描述实施例以解释本公开。

像素的视差与像素的深度彼此成反比。因此，在这里视差和深度可被交替地使用。视差可被替换为深度的倒数，并且视差值可被替换为深度值的倒数。例如，视差图可被替换为深度图。

图1示出根据一个或多个示例实施例的图像处理设备100。

例如，图像处理设备100可包括：接收单元110、约束确定单元120、产生单元130、输出单元140、解压缩单元150和向上扩展单元160。

将参照图2至图11来详细描述上述元件110至160的功能。

图2示出根据示例实施例的图像处理方法。

在操作210，接收单元110可接收图像和初始视差图。

接收单元110可经由网络等从外部环境接收图像和初始视差图。接收单元110可从图像处理单元100的存储单元读取图像和初始视差图。

图像可包括像素的色彩信息。初始视差图可包括像素的视差信息。即，图像可包括像素的色彩值。初始视差图可包括像素的视差值。以下，构成图像和初始视差图的像素将被称为构成像素。

一部分构成像素可对应于视差值未确定的像素。通过初始视差图未确定视差值的像素可被称为视差未确定的像素。即，初始视差图可不包括视差值未确定的像素的视差值。

图像可被分类为置信度相对高的区域(以下称为高置信度区域)和置信度相对低的区域(以下称为低置信度区域)。高置信度区域和低置信度区域中的每个可包括一个或多个像素。在图像中的区域之中，初始视差图仅可提供关于位于高置信度区域中的像素的视差值。即，位于低置信度区域中的像素可对应于视差未确定的像素并且不会被包括在初始视差图中。因此，由于视差值不会通过初始视差图来提供，所以低置信度区域可被称为空区域。另外，由于视差值可通过初始视差图来提供，所以高置信度区域可被称为填充有视差值的区域。

在操作220，约束确定单元120可确定当产生单元130产生最终视差图时将施加的约束。所述约束可对应于硬约束或软约束。硬约束和软约束将在随后进行描述。

在操作230，产生单元130可在由约束确定单元120确定的约束下产生最终视差图。当仅在高置信度区域中填充有视差值的初始视差图被提供时，产生单元130可通过在排除高置信度区域以外的剩余空区域中填充视差值来产生最终视差图。

产生单元130可采用可被称为视差拟合的预定遮挡处理方案。所述视差拟合可指的是当两个彼此相邻的像素具有相似色彩值时向这两个彼此相邻的像素分配相似视差的原理。视差拟合可基于二次规划(QP)。以下，基于QP的视差拟合将被称为QP视差拟合。

即，产生单元130可通过向构成像素之中可彼此相邻并可具有相似色彩的两个像素分配相似视差来产成最终视差图。

最终视差图可提供视差值未确定的像素的视差值。即，产生单元130可向一个或多个视差值未确定的像素分配视差值。产生单元130可基于以下像素的视差值来确定视差未确定的像素的视差值，其中，所述像素可与所述视差未确定的像素相邻并可具有确定的视差值以及与所述视差未确定的像素的色彩相似的色彩。最终视差图可包括所有构成像素的视差值。

如等式1和等式2所示，产生单元130可基于色彩相似性向空区域或视差值未确定的像素分配视差值。等式1可对应于拟合能量方程。

[等式1] $E\left(\tilde{d}\right)=\underset{d_i\∈\tilde{d}}{\mathrm{\Σ}}{\{d_i-\underset{d_j\∈N\left(d_i\right)}{\mathrm{\Σ}}{\mathrm{\α}}_{\mathrm{ij}}{d}_j\}}^2$

$=\frac{1}{2}{\tilde{d}}^{T}Q\tilde{d}$

[等式2]

$\frac{\mathrm{dE}}{d\tilde{d}}=Q\tilde{d}$

在等式1，能量E被表示为稀疏线性***。等式1和等式2可表示基于色彩相似性的视差能量建模。

d表示包括像素在初始视差图中的视差值的矢量。即，d表示输入视差矢量。

表示包括像素在最终视差图中的视差值的矢量。即，

表示最终视差矢量。

这里，d_i表示在最终视差图中的构成像素之中的预定像素的视差值。当最终视差图中包括n个像素时，d＝{d₁，d₂，d₃...，d_n}。N表示相邻者。例如，N可表示3×3的窗口。因此，d_j可对应于由d_i表示的预定像素的相邻像素之中的一个相邻像素的视差值。例如，当N对应于3×3的窗口时，d_j可对应于包括以d_i为中心的三列和三行像素之中的一个相邻像素的视差值。即，预定像素的相邻像素可对应于在图像、初始视差图或最终视差图中的构成像素之中位于基于所述预定像素的坐标而预定的范围内的像素。

α_ij表示第i个像素与第j个像素之间的色彩相似性。即，第i个像素的色彩与第j个像素的色彩之间的相似性越大，α_ij的值越高。可假设等式1可经过α标准化。

Q可对应于拉普拉斯矩阵。Q可对应于稀疏矩阵。

E表示能量。E可对应于在最终视差图中的构成像素的差值的和。第一像素的差值可对应于第一像素的视差值与第一像素的相邻像素的色彩相似性加权视差值之间的差值的平方。因此，当第一像素的视差值与第一像素的相邻像素的色彩相似性加权视差值之间的差异增加时，能量E可增加。这里，第一像素可对应于构成像素之一。

产生单元130可通过确定构成像素的视差值来产生最终视差图以降低能量E。

如等式2所示，可通过包括以Q为中心的二次型来表示差值的和。用于降低能量E的视差的组合(即，最终视差图或最终视差矢量)可在等式2的微分值变为0的点被最优化。等式2的微分值可对应于能量关于最终视差矢量的微分值。然而，当在产生最终视差图时没有提供与初始视差图相关的约束时，可产生预定结果。

所述约束或者可对应于硬约束。硬约束可指的是在构成像素之中的具有可通过初始视差图确定的视差值的像素在最终视差图中可具有相同视差值的约束。即，硬约束可指的是在初始视差图中填充有视差值的区域在最终视差图中可具有相同视差值的约束。

可通过等式3来表示所述硬约束。

[等式3]

$A\tilde{d}=d$

其中，A表示用于从矢量

提取在预定位置的元素的矩阵。A可对应于约束矩阵。

即，产生单元130可产生可满足由等式3表示的硬约束并可降低能量E的最终视差图。产生单元130可基于拉格朗日乘子产生可满足由等式3表示的硬约束并可降低能量E的最终视差图。产生单元130可通过从按照“Ax＝b”形式的等式的稀疏线性***获取数值来求解拉格朗日乘子。

所述约束可对应于软约束。

软约束可指的是能量E可根据构成像素之中的预定像素在初始视差图中的视差值与所述预定像素在最终视差图中的视差值之间的差异的增加而增加的约束。

当初始视差图被用作软约束并且具有视差值的像素的所述视差值经历改变时，降低能量E的问题可被修改为如等式4所示。

[等式4]

$J\left(\tilde{d}\right)=E\left(\tilde{d}\right)+\mathrm{\λ}{(\tilde{d}-d)}^{T}D(\tilde{d}-d)$

其中，λ表示指示由视差的改变所造成的惩罚(penalty)的参数。J表示在应用软约束的情况下的能量。E表示当像素的视差值不改变时能量J的最小值。

为了使能量J最小化，产生单元130可鉴于在初始视差图中提供的每个像素的视差来校正或调整具有与相邻像素的色彩和视差相抵触的视差值的像素的视差。在等式4中，λ右侧的项可表示当根据最终视差图的预定像素的第一视差值变得远离根据初始视差图的所述预定像素的第二视差值时，将被应用的惩罚。

在操作240，输出单元140可基于图像和最终视差图产生多视图，并可输出产生的多视图。输出单元140可通过将图像和最终视差图变形到预定视点来产生在所述预定视点的输出视图。

图3示出根据示例实施例的QP视差拟合的结果。

在图3中，示出了图像310、初始视差图320和通过QP视差拟合产生的最终视差图330。

在初始视差图320中，以黑色标记的部分可表示视差值会缺失的区域，即，视差值未确定的像素。在最终视差图330中，以黑色标记的部分可被去除。此外，由于硬约束被应用，所以初始视差图320中排除以黑色标记的部分以外的部分(即，具有视差值的部分)可在最终视差图330中保持不变。

图4示出根据示例实施例的分配时间一致性的图像处理方法。

时间问题可在产生最终视差图时被考虑。

当基于立体视频或多视图视频而执行场景重构或深度/视差估计时，可对时间上相邻的帧中彼此对应的像素应用不同的拟合。例如，所述彼此对应的像素是具有相同坐标或位置的像素。即，包括在连续帧中的表示预定对象的相同的点的像素会具有不同的视差值。

为了解决在连续帧中的对应像素之间的视差值中的不一致性，除了上述视差能量模型之外，可考虑时间一致性。以下，将描述基于时间一致性的方法。

操作410可补充到参照图2描述的操作210至操作240。

在操作410，图1的产生单元130可添加先前帧的与第i个像素对应的像素，作为将用于计算能量E的相邻像素。例如，在等式1中，d_j可对应于除N(d_i)以外的先前帧的与第i个像素对应的像素。N(d_i)可包括除位于基于d_i所预定的范围内的像素以外的先前帧的与第i个像素对应的像素。当前帧可包括可由产生单元130处理的图像和初始视差图。先前帧和当前帧可对应于时间上连续的帧。

产生单元130可将来自先前帧的第四像素添加到当前帧中的第三像素的相邻像素。第三像素和第四像素可彼此对应。即，第三像素和第四像素可表示预定对象的相同的点。例如，第三像素在当前帧中的坐标可与第四像素在先前帧中的坐标相同。

将先前帧中的第四像素添加为第三像素的相邻像素可表示：1)第四像素的视差值和2)第三像素与第四像素之间的色彩相似性可被用来确定当前帧中的第三像素的视差值。因此，产生单元130可通过将第三像素的视差值设置为接近于第四像素的视差值来确定使能量E最小化的

值。因此，产生单元130可一致地确定连续帧中对应像素的视差值。

鉴于帧之间的时间一致性而执行的上述QP视差拟合可被称为QP时间视差拟合。

图5示出根据示例实施例的QP时间视差拟合的结果。

在图5中，示出第一帧的原始图像510、应用QP视差拟合的第一最终视差图520和应用QP时间视差拟合的第二最终视差图530。此外，示出第二帧的原始图像540、应用QP视差拟合的第一最终视差图550和应用QP时间视差拟合的第二最终视差图560。第一帧可对应于第二帧的先前帧。

如图5所示，在第二帧的第一最终视差图550和第二最终视差图560中产生异常部分552和异常部分562。第一最终视差图550(其无法考虑时间一致性)中的异常部分552可大于第二最终视差图560中的异常部分562。即，可使用所述的QP时间视差拟合来减小异常部分。

图6示出根据示例实施例的分配初始视差值的图像处理方法。

上述QP视差拟合可被应用于二维(2D)至三维(3D)的转换方案，其用于使用单幅图像来产生3D内容。

当不提供初始视差图时或当初始视差图为空时，构成像素的视差值可不包括在初始视差图中。当构成像素的视差值不包括在初始视差图时或当初始视差图不足够时，即，当难以使用包括在初始图中的视差信息来产生最终视差图时，可向初始视差图中视差值未确定的像素中的全部或一部分像素分配初始视差值。

操作610可补充参照图2描述的操作210至操作240。

在操作610，产生单元130可向视差值未确定的像素中的至少一个像素分配初始视差值。

为了分配初始视差值，可采用半自动方案和自动方案。

半自动方案可指的是可由用户执行分配初始视差的处理的一部分的方案。在半自动方案中，用户可通过操作图形用户界面(GUI)等来确定图像的重要位置，并可为确定的重要位置输入初始视差值。用户可使用例如笔触(brush stroke)、点、圆、矩形等各种GUI输入装置来输入所述初始视差值。

产生单元130可向与图像的重要位置(例如，由用户确定的图像的重要位置)对应的每个构成像素分配初始视差值。产生单元130可基于分配的初始视差值通过QP视差拟合将分配给构成像素的初始视差值扩展(propagate)到整个图像或整个视差图。在理想情况下，由图像表示的对象的每一段(segment)的至少一个像素可具有视差值。

自动方案可指的是在没有来自用户的干预下可在图1的图像处理设备100中执行分配初始视差值的处理的方案。

为采用自动方案所做的假设可包括坡道假设。坡道假设是：在图像中的对象的下端会相对地接近观察者，并且对象的上端会相对地远离观察者。根据坡道假设，产生单元130可按照坡道的形式向目标像素中的至少一个或视差值未确定的像素中的至少一个分配初始视差值。

通过半自动方案或自动方案分配的初始视差值可能是不准确的。因此，当在操作S610中初始视差值被分配给视差值未确定的像素中的至少一个像素时，图1的约束确定单元120可在操作220确定将应用于最终视差图的产生的软约束。

产生单元130可通过在操作610按照坡道的形式向视差值未确定的所有像素分配初始视差值并通过在操作230在软约束下执行QP视差拟合来获取对象的每一段的初始视差值的平均值。例如，当产生单元130分别向图像的预定段中的像素分配初始视差值并执行QP视差拟合时，预定段中的像素的视差可对应于分配给所述像素的初始视差值的平均值。

产生单元130可基于产生除坡道形状的图以外的各种视差或深度图(例如，视觉注意力图或显著性图、基于对象/文本识别的图、基于地形学习的图等)的方案向视差值未确定的像素中的至少一个像素分配初始视差值。

图7示出根据示例实施例的通过以半自动方式分配初始视差值来产生最终视差图的结果。

在图7中，示出图像710、带批注(annotated)的初始视差图720和最终视差图730。

带批注的初始视差图720可对应于可由用户向视差值未确定的像素中的至少一个像素分配初始视差值的初始视差图。

可基于图像710和带批注的初始视差图720产生最终视差图730。通常，由用户分配给预定像素的初始视差值可在包括所述像素的段中扩展。

图8示出根据示例实施例的通过以坡道的形式分配初始视差值来产生最终视差图的结果。

图8中示出了三个示例。针对每个示例示出图像、坡道形状初始视差图和最终视差图。

对于每个示例，产生单元130可通过以坡道的形式向视差值未确定的初始视差图的像素分配初始视差值来产生坡道形状的初始视差图。产生单元130可在软约束下产生最终视差图。因此，最终视差图中的像素可具有与初始视差值相反的已调整的视差值。在最终视差图中，段中的所有像素可具有统一的视差值。所述统一的视差值可对应于向所述段中的像素分配的初始视差值的平均值。

图9示出根据示例实施例的处理压缩图像和压缩初始视差图的方法。

图像和初始视差图可被压缩，例如，图像和初始视差图可被压缩以使用最小带宽来有效地传输。例如，图1的图像处理设备100可接收包括连续帧的视频，并且可顺序地处理包括在各个帧中的图像以及初始视差图。在此情况下，所述帧中的图像和初始视差图可通过图像压缩方案或视频压缩方案在压缩状态下被传输到图像处理设备100。

操作910可补充参照图2描述的操作210至操作240。

在操作210，产生的图像和初始视差图可对应于压缩的图像和初始视差图。

在操作910，图1的解压缩单元150可解压缩图像和初始视差图。当初始视差图被压缩时，作为压缩的结果，目标像素之中的预定像素的视差值会丢失。视差值丢失的像素在解压缩后会变为视差值未确定的像素。即，由于作为压缩初始视差图的结果而丢失的初始视差图的数据，会产生视差值未确定的像素。

图10示出根据示例实施例的通过向上扩展初始视差图来处理图像的方法。

当图像和视差图被向上扩展时，图像和视差图之间的未对准(misalignment)会以高概率出现在图像的高频率分量区域中。这里，高频率分量区域可指的是具有色彩上的差异的像素会彼此相邻的区域，例如，与对象之间的边界对应的区域。因此，期望一种在向上扩展图像和视差图时维持像素的色彩与像素的视差之间的对准或一致性的方法。

操作1010可补充参照图2描述的操作210至操作240。

在操作1010，产生单元130可向上扩展图像和初始视差图。

向上扩展单元160可使用超分辨率技术等向上扩展包括色彩信息的图像。

向上扩展单元160可使用像素重复、零值填充等向上扩展初始视差图。

像素重复可对应于通过沿水平方向或垂直方向重复像素来向上扩展初始视差图的方法。例如，当初始视差图被沿水平方向向上扩展两倍因子，并被沿垂直方向向上扩展两倍因子时，单个像素可被扩展至四个像素。通过像素重复，通过扩展产生的四个像素可具有相同视差值。

零值填充可对应于不向通过向上扩展所添加的像素分配视差值的方法。即，零值填充可对应于将通过向上扩展所添加的像素设置为视差值未确定的像素的方法。

当初始视差图通过像素重复被向上扩展时，约束确定单元120可确定在操作220使用软约束。在操作230，产生单元130可在软约束下产生最终视差图。因此，通过像素重复而具有相同视差值的像素在最终视差图中可具有被调整为不同的视差值。

当初始视差图通过零值填充被向上扩展时，产生单元130可在操作230中向视差值未确定的像素(即，通过向上扩展所添加的像素)分配视差值。

图11示出根据示例实施例的零值填充。

初始视差图1100可包括四个像素，并且所述像素可分别具有视差值“1”、“10”、“5”和“2”。初始视差图1100可被水平地扩展两倍因子并被垂直地扩展两倍因子。

通过向上扩展所扩展的初始视差图1150可具有十六个像素。这里，四个像素可对应于在向上扩展之前的初始视差图1100中的像素，并且其他十二个像素可对应于通过向上扩展所添加的像素。

向上扩展之前存在的初始视差图1100中的像素可具有与所述像素在初始视差图1100中可具有的视差值相同的视差值。

通过向上扩展所添加的像素可不具有视差值。即，通过向上扩展而添加的像素可变为视差值未确定的像素。

根据上述实施例的一个或多个方法可被记录在包括用于实施由计算机具体化的各种操作的程序指令的非瞬时性计算机可读介质中。所述介质可还单独包括数据文件、数据结构等，或可与所述程序指令相结合地包括数据文件、数据结构等。非瞬时性计算机可读介质的示例包括：诸如硬盘、软盘和磁带的磁介质；诸如CD ROM盘和DVD的光介质；诸如光盘的磁光介质；诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等的专门被配置为用于存储和执行程序指令的硬件装置。

程序指令的示例包括机器代码(诸如由编译器产生)以及包含可由计算机使用解释器执行的更高级代码的文件两者。为了执行上述实施例的操作，所描述的硬件装置可被配置为充当一个或多个软件模块，反之亦然。这里描述的软件模块中的任何一个或多个软件模块可由该单元独有的专用处理器来执行或由所述模块中的一个或多个模块共有的处理器来执行。所描述的方法可在通用计算机或处理器上执行，或可在诸如这里描述的图像处理设备的特定机器上执行。

虽然实施例已经被示出并被描述，但本领域的技术人员将理解：可在不脱离本公开的原理和精神的情况下在所述实施例中进行改变，其中，本公开的范围由权利要求及其等同物限定。

Claims (20)

1.一种图像处理设备，包括：

接收单元，用于接收包括像素的色彩信息的图像和包括像素的视差信息的初始视差图，其中，所述像素中的至少一些像素在初始视差图中的视差信息是未确定的；

约束确定单元，用于确定约束；

产生单元，用于通过在确定的约束下向所述像素之中的两个彼此相邻并具有相似色彩的像素分配相似视差来产生最终视差图，最终视差图包括每个像素的视差值。

2.如权利要求1所述的设备，其中，所述约束对应于硬约束，其中，所述像素之中具有通过初始视差图确定的视差值的像素在最终视差图中具有相同视差值。

3.如权利要求1所述的设备，其中，

产生单元通过确定每个像素的视差值来产生最终视差图以使能量最小化；

能量根据第一像素的视差值与第一像素的相邻像素的色彩相似性加权视差值之间的差异的增加而增加；

第一像素对应于所述像素之中的预定像素；

第一像素的相邻像素对应于所述像素之中位于基于第一像素的坐标预定的范围内的像素。

4.如权利要求3所述的设备，其中，所述约束对应于软约束，其中，能量根据第二像素在初始视差图中的视差值与第二像素在最终视差图中的视差值之间的差异的增加而增加。

5.如权利要求3所述的设备，其中，

产生单元将来自先前帧的第四像素添加到当前帧中的第三像素的相邻像素；

第三像素在当前帧中的坐标与第四像素在先前帧中的坐标相同；

当前帧包括图像和初始视差图；

先前帧和当前帧对应于时间上连续的帧。

6.如权利要求1所述的设备，其中，产生单元向视差值未确定的像素中的至少一个像素分配初始视差值。

7.如权利要求6所述的设备，其中，产生单元以坡道的形式向视差值未确定的像素中的至少一个像素分配初始视差值。

8.如权利要求1所述的设备，还包括：

解压缩单元，用于当图像和初始视差图被压缩时对图像和初始视差图进行解压缩，

其中，由于作为压缩初始视差图的结果而丢失的初始视差图的数据，产生视差值未确定的像素。

9.如权利要求1所述的设备，还包括：

向上扩展单元，用于向上扩展图像和初始视差图。

10.一种图像处理方法，包括：

接收包括像素的色彩信息的图像和包括像素的视差信息的初始视差图，其中，所述像素中的至少一些像素在初始视差图中的视差信息是未确定的；

确定约束；

通过在确定的约束下向所述像素之中的两个彼此相邻并具有相似色彩的像素分配相似视差来产生最终视差图，最终视差图包括每个像素的视差值。

11.如权利要求10所述的方法，其中，所述约束对应于硬约束，其中，所述像素之中具有通过初始视差图确定的视差值的像素在最终视差图中具有相同视差值。

12.如权利要求10所述的方法，其中，

通过确定每个像素的视差值来产生最终视差图以使能量最小化；

能量根据第一像素的视差值与第一像素的相邻像素的色彩相似性加权视差值之间的差异的增加而增加；

第一像素对应于所述像素之中的预定像素；

第一像素的相邻像素对应于所述像素之中位于基于第一像素的坐标预定的范围内的像素。

13.如权利要求12所述的方法，其中，所述约束对应于软约束，其中，能量根据第二像素在初始视差图中的视差值与第二像素在最终视差图中的视差值之间的差异的增加而增加。

14.如权利要求12所述的方法，还包括：

将来自先前帧的第四像素添加到当前帧中的第三像素的相邻像素；

其中，

第三像素在当前帧中的坐标与第四像素在先前帧中的坐标相同；

当前帧包括图像和初始视差图；

先前帧和当前帧对应于时间上连续的帧。

15.如权利要求10所述的方法，还包括：

向视差值未确定的像素中的至少一个像素分配初始视差值。

16.如权利要求15所述的方法，其中，以坡道的形式向视差值未确定的像素中的至少一个像素分配初始视差值。

17.如权利要求10所述的方法，还包括：

当图像和初始视差图被压缩时，对图像和初始视差图进行解压缩；

其中，由于作为压缩初始视差图的结果而丢失的初始视差图的数据，产生视差值未确定的像素。

18.如权利要求10所述的方法，还包括：

向上扩展图像和初始视差图。

19.一种图像处理设备，包括：

接收单元，用于接收包括像素的色彩信息的图像和包括像素的视差信息的初始视差图，其中，初始视差图中的像素中的至少一部分像素是具有未确定的视差值的视差未确定的像素；

约束确定单元，用于确定约束；

产生单元，用于通过在确定的约束下向所述像素之中的两个彼此相邻的像素分配相似视差来产生最终视差图，最终视差图包括每个像素的视差值。

20.如权利要求19所述的设备，其中，当两个相邻像素中的一个像素是视差未确定的像素，并且所述两个相邻像素中的另一个像素具有确定的视差值并具有与视差值未确定的像素的色彩相似的色彩时，产生单元向所述两个相邻像素分配相似视差。

Images