CN102547343B - 立体图像处理方法、立体图像处理装置和显示装置 - Google Patents

Abstract

提供了一种立体图像处理方法、立体图像处理装置和显示装置。本发明构思的立体图像装置包括：图像输入单元，接收立体对图像；代表点选择单元，在立体对图像的第一图像中选择多个代表点；对应点控制单元，在立体对图像的第二图像中检测与所述多个代表点对应的多个对应点，并排除被判断为偏离点的对应点；偏离值计算单元，判断对应点是否是偏离点；近似曲线计算单元，对除了被排除的对应点之外的所有对应点执行曲线近似；高度校正值计算单元，从通过曲线近似而绘制的多条近似曲线，计算高度校正值；平行化执行单元，基于高度校正值执行第二图像的平行化；图像输出单元，输出第一图像以及执行了平行化的第二图像。

Description

立体图像处理方法、立体图像处理装置和显示装置

本专利申请要求于2010年12月20日提交的第2010-0283014号日本专利申请以及于2011年11月2日提交的第10-2011-0113460号韩国专利申请的优先权，该申请的全部内容通过引用合并于此。

技术领域

这里，本发明构思涉及一种立体图像处理方法、立体图像处理装置和显示装置。

背景技术

最近，显示立体图像(诸如3D TV等)的设备已成为流行的消费者电子装置。在显示从用于双眼的立体图像(即，立体对(stereo-pair)图像)产生的3D图像之前，使用从立体对图像提供深度信息并使用提取的深度信息的方法。立体对图像包含场景的并排的两个视图。所述两个视图中的一个用于左眼，所述两个视图中的另一个用于右眼。

图1是为了说明通过立体匹配从立体对图像提取深度信息的方法而注解的模拟立体对图像的示图。

为了提取深度信息，在由(I)所示的立体对图像中，在左图像(L)和右图像(R)之间搜索对应点(立体匹配)。使用立体匹配来从左图像(L)提取深度信息以表示其深度。如(II)所示，左图像(L)和深度信息D被保存为信息，并且使用该信息来执行3D显示。

在执行立体匹配的事件中，当左图像和右图像的对象的高度(垂直方向的位置)互相调整时，对应点可被有效地搜索。然而，在使用立体相机拍照的事件中，存在左相机和右相机的水平状态不一致的许多情况。如图2中所示，在右相机朝左相机倾斜并且左相机和右相机的水平状态彼此不一致的事件中，由于左图像和右图像的对象的高度没被互相调整，因此对应点不被精确地搜索。

使用平行方法和交叉方法来完成使用立体相机拍照。当使用交叉方法拍照时，由于拍摄本身的特征，如图3中所示，在拍摄的图像中发生梯形失真(梯形失真效应)。在这种情况下，对象的高度不被调整。

在输入的立体对图像中存在左相机和右相机的高度的差的事件中，如果这样执行立体匹配并且准备关于二维图像的深度信息，则对应点不能被精确地搜索。

因此，当在由立体相机拍摄的图像上搜索对应点时，在左图像和右图像中的对象的高度需要通过任何预处理被调整。

传统地，各种方法已被用于调整左图像和右图像中的对象的高度。通常使用的方法是通过对极几何(Epipolar geometry)的平行化。在各种方法中，在拍照之前预先使用公开的已知模式来执行校准(即，用于实现第一图像和第二图像的平行的平行化)的方法是通用的。然而，由于必须使用公开的已知模式对立体图像和摄影师执行平行化，因此当在显示装置中表示3D显示时，其不能应用于已经拍摄的立体图像。

用于实现平行的另一方法是通过对极几何，存在一种执行自校准的方法(参考第2007-200364号日本公开)。所述方法不预先使用公开的已知模式执行平行化，而是使用具有直线的图像(建筑物、路线等)中的差异模式(distinguishing pattern)来执行平行化。然而，在该方法中，存在这样的问题：在图像的场景中需要直线边缘，还存在这样的问题：拍摄所述直线的误差会很大，并且平行化不被精确地执行。

存在用于执行平行化的另一方法，所述方法基于图像的扫描线的方向与对极线一致的前提，基于左图像和右图像的相关性，在右图像中搜索与左图像的行对应的行，从而调整左图像和右图像的高度。

发明内容

本发明构思的一方面提供了一种立体图像装置。所述立体图像装置可包括：图像输入单元，接收立体对图像；代表点选择单元，在立体对图像的第一图像中选择多个代表点；对应点控制单元，在立体对图像的第二图像中检测与所述多个代表点对应并排除被判断为偏离点的对应点的多个对应点；偏离值计算单元，判断对应点是否是偏离点；近似曲线计算单元，对除了被排除的偏离点之外的所有对应点执行曲线近似；高度校正值计算单元，从通过曲线近似而绘制的多条近似曲线，对第二图像中的每个像素***高度校正值；平行化执行单元，基于高度校正值执行第二图像的平行化；图像输出单元，输出第一图像以及执行了平行化的第二图像。

本发明构思的实施例还提供了一种处理立体图像的方法。所述方法可包括：输入立体对图像；在立体对图像的第一图像中选择多个代表点；在立体对图像的第二图像中检测与所述多个代表点对应的多个对应点；判断所述多个对应点中的每个是否是偏离点，并排除被判断为偏离点的对应点；对除了偏离点之外的对应点执行曲线近似；从通过曲线近似而绘制的多条近似曲线，***第二图像的像素的高度校正值；基于高度校正值执行第二图像的平行化；输出第一图像以及执行了平行化的第二图像。

本发明构思的实施例还提供了一种显示装置。所述显示装置可包括：显示面板；图像信号输入单元，接收包括由第一图像和第二图像构成的立体对图像的图像信号；立体图像处理装置，执行对立体对图像的第二图像的高度校正，并产生立体对图像的高度校正(平行化)的第二图像；立体匹配单元，执行对高度校正的立体对图像的立体匹配，并产生第一图像的深度信息；时间差图像构成单元，使用第一图像和深度信息绘制时间差图像；时序控制单元，产生时钟信号以将时间差图像分配给显示面板的像素。立体图像处理装置包括：图像输入单元，从图像信号输入单元接收立体对图像；代表点选择单元，在立体对图像的第一图像中选择多个代表点；对应点控制单元，在立体对图像的第二图像中检测与所述多个代表点对应的多个对应点，并排除被判断为偏离点的每个对应点；偏离值计算单元，判断每个对应点是否是偏离点；近似曲线计算单元，对除了被排除的偏离点之外的所有对应点执行曲线近似；高度校正值计算单元，从通过曲线近似而绘制的所述多条近似曲线，***高度校正值；平行化执行单元，基于高度校正值执行第二图像的平行化；图像输出单元，将包括第一图像和执行了平行化的第二图像的校正的立体对图像输出到立体匹配单元。

当图像特征小时(诸如在高噪声的低光照条件下，或具有诸如蓝天的平坦场景)，由于使用最小SAD的块匹配方法不能总是保证正确的匹配点，因此一些选择的对应点将是偏离点。如果在低光照条件下捕捉到场景，则将具有相对更多的噪声，从而在图像的一些区域中，代表点的检测可能不精确。即使不是在低光照条件下捕捉到场景，如果场景太平坦，则代表点的检测可能也不精确。如果瓷砖场景像多云天或蓝天一样非常平坦，则在第一图像中可能存在一些代表点，所述第一图像将在具有匹配的相同(SAD)级别的第二图像中的许多地方具有许多对应点候补。因此，存在对应点的检测可能不可靠的诸如高噪声或平坦场景的情况的视频。

以下将参照示出了本发明的实施例的附图，来更充分地描述本发明构思的实施例。

以下将参照附图更详细地描述本发明构思的优选实施例，然而，可以以许多不同形式实现本发明构思，并且本发明构思不应该被解释为受限于这里阐述的实施例。相反，提供这些实施例，从而对于本领域的技术人员来说，本公开将彻底并完整，并将覆盖本发明构思的范围。在附图中，为了清楚，可放大区域的大小和相对大小。

附图说明

从参照附图的以下描述中，以上和其它特征将变得明显，其中，除非另外指定，否则在各附图中，相同的标号表示相同的部分，其中：

图1是为了说明通过立体匹配从立体对图像提取深度信息的方法而注解的模拟立体对图像的示图；

图2是为了说明当左相机的水平状态与右相机的水平状态不一致时的示例而注解的模拟立体对图像的示图；

图3是相机位置并说明当使用交叉方法时的梯形失真形状的示图；

图4是根据本发明构思的一些实施例的立体图像处理装置的框图；

图5是为了描述图4的装置的块匹配方法而注解的模拟立体对图像的示图；

图6是为了说明将块匹配方法应用到对应点搜索的示例而注解的模拟立体对图像的示图；

图7是示出图4的装置中的偏离点的判断的示例的示图；

图8是示出对对应点执行曲线近似的示例的示图；

图9是示出在图4的图像处理装置中从近似曲线绘制表示高度方向的校正值的偏移映射的示例的示图；

图10是示出根据本发明构思的一些实施例的处理立体图像的方法的流程图；

图11是为了说明图10的处理的方法中的各步骤的处理顺序而注解的模拟立体对图像的示意性示图；

图12是根据本发明构思的一些实施例的显示装置的框图。

具体实施方式

图4是根据本发明构思的一些实施例的立体图像处理装置100的框图。

参照图4，立体图像处理装置100包括：图像输入单元110、代表点选择单元120、对应点控制单元130、计算单元140、平行化执行单元150和图像输出单元160。可通过逻辑电路(诸如FPGA或ASIC)或者通过处理器(诸如CPU或GPU)、ROM、RAM或***LSI或者通过它们的组合来实现组成元件中的每个。

立体对图像数据被接收到图像输入单元110中。立体对图像包括两个图像，即由两个成像装置分别捕捉的第一图像(例如，左图像)和第二图像(例如，右图像)。例如，在由立体相机捕捉的左图像和右图像之间，左图像被称为第一图像，右图像被称为第二图像。第一图像是二维图像，第二图像也是二维图像，该二维图像可与第一图像一起使用以通过使用立体匹配方法提取深度信息。

代表点选择单元120将第一图像中的多个点选为第一图像中的代表点。代表点可以是图像上设置的选择的水平线和垂直线上的像素以及位于多个格子点上的交叉点上的像素。期望根据选择期望的数量并执行图像处理的装置的性能以及期望的精确度来预定选择的代表点的数量。例如，在20列和20行的阵列中的规则间隔上排列的400个像素可被选择为代表点。

对应点控制单元130在第二图像中搜索与第一图像中的代表点中的每个代表点对应的对应点。块匹配方法可被用于搜索对应点中的每个对应点。

图5是为了描述图4中的装置的用于搜索对应点中的每个对应点的块匹配方法而注解的模拟立体对图像的示图。

左参考图像被称为L图像，右参考图像被称为R图像。如图5中所示，块匹配方法是使用L图像的关注像素(α)的***像素的值，在R图像中的预定搜索范围内，搜索与L图像的关注像素(α)具有高相关性的对应像素(α’)。在所述块匹配方法中，计算关注像素(α)周围的***像素值以及在搜索范围内的可比较的像素中的每个的像素值，并且从计算的***像素值获得关注像素(α)和可比较的像素中的每个之间的相关性。使用SAD(绝对差的和)或SSD(平方强度差的和)来判断相关性。与关注像素(α)具有最高相关性的像素被视为关于关注像素(α)的对应像素(α’)。

图6是为了说明将块匹配方法应用于对应点搜索的示例而注解的模拟立体对图像的示图。

在根据本发明构思的一些实施例的处理立体图像的方法中，在第一图像中的代表点中的像素被视为关注像素(α)，在第二图像中的可比较的像素中的与关注像素(α)具有最高相关性的像素变为对应点(α’)。

例如，在图6中，右图像R中的对应点(α’)对应于左图像L中的代表点(α)。因此，在由第二图像中的正方形限定的搜索范围内，搜索第一(L)图像中的代表点(α)。在搜索之后，与代表点(α)具有最高相关性的点被检测为对应点(α’)。

搜索范围是在第二图像中的与第一图像中的代表点(α)的坐标对应的坐标周围。即使在将第一图像和第二图像分别指定为左图像和右图像这样的指定颠倒的情况下，也可通过针对第一图像中的代表点(α)的坐标而在第二图像中设置搜索范围来搜索对应点。此外，可根据时间差将搜索范围设置为期望大小的范围。

根据这样方式，针对每个代表点(α)检测对应点(α’)。

对应点控制单元130排除由偏离值计算单元141计算为偏离点的对应点，这将在稍后描述。

计算单元140包括偏离值计算单元141、近似曲线计算单元142和高度校正值计算单元143。

偏离值计算单元141针对由对应点控制单元130检测的对应点，将图像特征小的部分的与代表点(α)对应的对应点(α’)或者表示与周围对应点不同的趋势的对应点判断为偏离点。其中，图像特征是指从图像提取的特征值。

通过执行两个步骤来执行偏离点的判断。在第一步骤中，图像特征小的部分的与代表点(α)对应的对应点(α’)被视为偏离点。由于针对图像特征小的部分的与代表点对应的对应点，错误的对应点更有可能被选择，因此，与相关部分对应的对应点作为偏离点被排除，并且不被使用到后续处理中。

更具体地，在使用SAD检测与代表点(α)对应的对应点(α’)的处理中：在被判断为代表点并具有最小SAD值的点的SAD值被称为SAD_1st并且具有第二最小SAD值的点的SAD值被称为SAD_2nd的情况下，如果SAD_1st和SAD_2nd之间的差小于预定阈值Th₁，则对应点(α’)被判断为偏离点。

如果SAD_2nd-SAD_1st＜Th₁，则点属于图像特征小的部分，并且该点被判断为偏离点。如果SAD_2nd-SAD_1st＞Th₁，则点属于图像特征大的部分，并且该点被留作对应点。

在第二步骤中，如果检测的对应点具有与周围对应点表现的趋势不同的趋势，则检测的对应点被判断为偏离点。因此，通过将作为判断的目标的目标对应点与目标对应点周围的对应点进行比较，并且通过判断目标对应点是否具有与目标对应点周围的对应点相同的趋势(目标对应点与目标对应点周围的对应点是否在相同的方向上移动)，来判断目标对应点是否是偏离点。

图7是示出在图4的装置中判断偏离点的示例的示图。基于检测的对应点的矢量是否具有与检测的对应点周围的对应点的矢量不同的趋势，来确定对应点的偏离。在图7中，将目标对应点与这样的对应点进行比较：所述对应点对应于与目标对应点对应的代表点周围的8个代表点。与代表点周围的8个代表点对应的每个对应点(距作为格子点的对应代表点)具有的偏差大小由矢量表示。基于这8个矢量计算平均矢量(u_a，v_a)。将平均矢量值与距目标对应点的代表点的偏差矢量(u，v)进行比较，如果比较的值高于预定阈值(Th₂)，则比较的值被判断为偏离点。矢量比较的其它方法是可行的，并在本发明的范围内。

在(u-u_a)²+(v-v_a)²＞Th₂的情况下，作为判断的目标的对应点表示与作为判断的目标的对应点周围的对应点的不同的趋势，并且作为判断的目标的对应点被判断为偏离点；而在(u-u_a)²+(v-v_a)²＜＝Th₂的情况下，作为判断的目标的对应点表示与作为判断的目标的对应点周围的对应点的相同的趋势，并且作为判断的目标的对应点被留作对应点。

虽然足以进行上述的偏离点判断的两个步骤中的任何一个，但是优选地，进行两个步骤的偏离点判断以在后续处理中计算具有高精确度的近似曲线。此外，使用上述的基于值判断来排除偏离的方法对于判断偏离点是有利的。

近似曲线计算单元142对除了被判断为偏离点的对应点之外的所有对应点执行曲线近似，并计算近似曲线。作为曲线近似的方法，可使用最小二乘法。通过线性多项式来应用曲线近似，并且因此曲线近似可包括直线近似。因此，近似曲线包括近似直线。

图8是示出针对对应点执行曲线近似并获得近似曲线的示例的示图，其中，从该近似曲线计算X。其中，X是通过对除了被判断为偏离点的相应点以外的所有相应点计算曲线近似而获得的近似曲线。这里，当执行曲线近似时，执行用于排除被判断为偏离点的所有对应点的计算。在图8中，执行直线近似。

在显示装置的情况下，通过执行水平方向上的曲线近似来提高计算精确度，并可期望执行垂直方向上的曲线近似。

以该方式计算的多个近似曲线通过平行化在第二图像中是平行的。在执行水平方向上的曲线近似的情况下，可通过平行化变为水平状态，并可被调整为扫描方向。

高度校正值计算单元143基于由近似曲线计算单元142计算的近似曲线，绘制出表示校正值高度方向的偏移映射。

图9是示出根据本发明构思的一些实施例的在图像处理装置中从近似曲线绘制出表示高度方向的校正值的偏移映射的示例的示图。

如(I)所示，检测近似曲线和直线之间的高度差，其中，所述近似曲线由近似曲线计算单元142计算，所述直线通过连接与用于形成近似曲线的对应点对应的代表点而形成。

如(II)所示，由高度方向校正值(H)来保存检测的高度差，并绘制偏移映射。由于在多个近似曲线之间执行高度插值，即，间隙行(gap line)，因此，即使在近似曲线(Y’2和Y’1)之间绘制出高度方向的校正值(H)的偏移映射。通过在Y’2的高度方向的校正值和Y’1的高度方向的校正值之间插值来进行分配近似曲线(Y’2和Y’1)之间的高度方向的校正值(H)。

例如，如(II)所示，在Y’1的特定偏移的高度方向的校正值为-1，位于其垂直方向的Y’2的特定偏移的高度方向的校正值为-1.2的情况下，在它们之间插值的高度方向的校正值被设置为-1.05、-1.1和-1.15。

根据在平行化执行单元150中以该方式计算的高度方向的校正值，对整个第二图像执行高度校正(即，平行化)。此外，当执行平行化时，在原始图像中可丢失顶部和底部的图像。此时，可在丢失的地方使用原始图像。通过这样做，可解决第一图像和第二图像之间的高度偏离。

通过图像输出单元160将校正的立体对图像输出到执行立体匹配的装置。通过使用校正的立体对图像匹配立体，可获得好的立体匹配的结果，并可获得高质量的三维图像。

图10是示出根据本发明构思的一些实施例的处理立体图像的方法的流程图。

图11是为了说明图10的处理的方法中的处理顺序步骤而注解的模拟立体对图像的示意性示图。

首先，输入立体对图像数据(步骤S110)。在图11中，左参考图像被称为L图像，右参考图像被称为R图像。在图10中，(I)的立体对图像是输入立体对图像。

针对L图像设置代表点的矩阵(步骤S120)。在图11(I)中，由灰点指示代表点中的每个代表点。可在图像中的格子线以及格子线的交叉点设置上面已描述的代表点，从而代表像素点位于多个格子点。代表点可被设置为期望的数量。例如，在图11中，在4条垂直线和4条水平线的交叉处设置了16个代表点。

如图11(II)所示，在R图像中检测与L图像的代表点对应的对应点(步骤S130)。由于选择了16个代表点，因此检测到16个对应点。上述的块匹配方法可被用于检测每个对应点。

根据判断的方法判断检测的对应点中的每个是否是偏离点(步骤S140)。执行判断的方法可包括：如果与代表点对应的对应点所在的区域具有小图像特征，则将所述对应点判断为偏离点。判断的方法还可包括：将具有与周围的对应点不同的趋势的点判断为偏离点。图11(III)示出已判断出偏离点并且由三角形指示被判断为偏离点的每个对应点的状态。

排除被判断为偏离点的对应点(步骤S150)。可针对每个对应点，重复步骤S140和步骤S150，直到完成判断所有偏离点。在步骤S140对每个对应点执行偏离点的判断之后，在步骤S150可排除被判断为偏离点的对应点。图11(IV)示出排除了被判断为偏离点的所有对应点的状态。

对除了被判断为偏离点的对应点之外的所有对应点执行曲线近似(步骤S160)。在图11(V)，表示曲线近似。如上所述，最小二乘法可被用作曲线近似方法，而曲线近似方法不限于此。如图11(V)中所示，近似曲线中的至少两条关于基本水平线是对称的(例如，通过(V)中的“R”近似地延长)。在可能存在两个相机的不同的水平倾斜的一些情况下，诸如右相机朝左相机倾斜并且左相机和右相机的水平状态彼此不一致的情况，如图2所示。可以在这样的情况下实现图11(V)中示出的结果：基于除了被排除的偏离点之外的对应点的矢量，预先旋转第二图像，从而近似曲线中的至少两条关于基本水平线是对称的；随后执行如这里所述的平行化步骤。可采用(例如，从数字图像稳定的领域借用的)传统图像旋转检测方法和传统图像旋转方法。

通过线性多项式来应用曲线近似的绘制，因此，曲线近似包括直线近似，近似曲线的绘制包括近似直线。如(V)所示，进行直线近似，并计算曲线近似。

使用由曲线近似计算的近似曲线，绘制表示高度方向的校正值的偏移映射(步骤S170)。如上所述，检测近似曲线和通过连接代表点而形成的直线之间的高度差，其中，所述代表点与用于形成近似曲线的对应点对应。基于每条近似曲线的高度校正值，将连续的高度校正值分配给近似曲线。

针对对应图像，使用偏移映射，进行平行化，并完成高度校正(步骤S180)。在图11中，在(V)中表示该步骤。在图10中，(II)是在执行高度校正之后的立体对图像。

输出在执行校正之后的立体对图像(步骤S190)，并且处理结束。当执行后续处理时，在执行校正之后的输出的立体对图像可被用于立体匹配。由于进行了高度校正，因此当在立体匹配中提取深度信息时，不会产生大的噪声，并且可呈现具有高质量而无失真的3D图像。

可在显示装置中使用根据本发明构思的一些实施例的图像处理装置。

图12是根据本发明构思的一些实施例的显示装置的框图。

显示装置1000包括：平行化转换单元100、图像信号输入单元200、立体匹配单元300、时间差图像构成单元400、时序控制单元500和显示面板600。3D TV或3D显示器可以是显示装置1000的典型示例。

图像信号从外部输入到图像信号输入单元200。当从外部输入图像信号时，图像信号输入单元200将图像信号作为图像数据输入到平行化转换单元100。

平行化转换单元100是上述的立体图像处理装置100，接收图像数据，对立体对图像进行高度校正，并将校正的立体对图像输出到立体匹配单元300。

立体匹配单元300对校正的立体对图像执行立体匹配。也就是说，从对相同点拍照的每个图像中获得对应点，使用其时间差提取深度信息。也就是说，由立体匹配单元300对校正的立体对图像的第一图像以及深度信息的数据进行转换。第一图像和深度信息从立体匹配单元300被传输到时间差图像构成单元400。

时间差图像构成单元400使用第一图像和深度信息绘制时间差图像。如时间差图像所绘制的物体可以是取决于显示装置300的类型根据期望的三维显示方法的形态，例如可以是与使用视差屏障的视差屏障类型对应的时间差图像或者与柱状透镜类型对应的时间差图像。在绘制时间差图像的情况下，可进行多视点的渲染。

时序控制单元500产生驱动在时间差图像构成单元400中绘制的时间差图像的显示面板600的上部的像素的信号。显示面板600可以是例如LCD、PDP等，并显示3D图像。

由于在显示装置中，在拍照之后，使用由许多成像***在许多摄影位置拍摄的立体图像，因此不能进行使用公开模式的立体图像的平行化。这里，必须在进行立体匹配之前的步骤中进行平行化处理。根据本发明构思的一些实施例的显示装置，在传统的拍照之后，平行化处理可以不同。显示装置可对以下图像执行平行化处理：没有差异模式(诸如线性边缘)的图像、扫描线与对极线不一致的图像以及各类立体对图像。

Claims (10)

1.一种立体图像处理装置，包括：

图像输入单元，接收立体对图像；

代表点选择单元，在立体对图像的第一图像中选择多个代表点；

对应点控制单元，在立体对图像的第二图像中检测与所述多个代表点对应的多个对应点；

偏离值计算单元，判断每个对应点是否是偏离点；

对应点控制单元的排除电路，排除被判断为偏离点的每个对应点；

近似曲线计算单元，对除了被排除的偏离点之外的所有对应点执行曲线近似，以产生多条近似曲线；

高度校正值计算单元，从多条计算的近似曲线，对第二图像中的每个像素***高度校正值；

平行化执行单元，基于高度校正值执行第二图像的平行化；

图像输出单元，输出与第一图像对应的平行化的第二图像，

其中，高度校正值计算单元对近似曲线和通过连接与近似曲线对应的代表点而形成的直线之间的每个像素计算高度差，并将高度差作为高度校正值。

2.如权利要求1所述的立体图像处理装置，其中，高度校正值计算单元基于高度校正值，通过将高度校正值分配给第二图像的所述多条近似曲线之间的间隙中的每个像素，来定义偏移映射，

其中，平行化执行单元基于偏移映射来执行第二图像的平行化。

3.如权利要求1或2所述的立体图像处理装置，其中，对应点控制单元使用块匹配方法检测所述多个对应点。

4.如权利要求1所述的立体图像处理装置，其中，如果属于第二图像的图像特征小的区域的检测的对应点对应于代表点，和/或如果检测的对应点的矢量具有与周围对应点的矢量不同的趋势，则偏离值计算单元将检测的对应点判断为偏离点。

5.一种处理立体图像的方法，包括：

输入立体对图像；

在立体对图像的第一图像中选择多个代表点；

在立体对图像的第二图像中检测与所述多个代表点对应的多个对应点；

判断所述多个对应点中的每个是否是偏离点，并排除被判断为偏离点的每个对应点；

对除了被排除的偏离点之外的对应点执行曲线近似，以产生多条近似曲线；

从多条近似曲线，对第二图像中的每个像素***高度校正值；

基于高度校正值执行第二图像的平行化；

输出平行化的第二图像，

其中，***高度校正值的步骤包括：对近似曲线和通过连接与近似曲线对应的代表点而形成的直线之间的每个像素计算高度差，并将高度差作为高度校正值。

6.如权利要求5所述的方法，其中，***高度校正值的步骤还包括：通过基于高度校正值将高度校正值分配给所述多条近似曲线之间的间隙行，来定义偏移映射，

其中，基于偏移映射执行平行化。

7.如权利要求5或6所述的方法，其中，通过块匹配方法来执行检测对应点的步骤。

8.如权利要求5所述的方法，其中，如果第二图像的图像特征小的区域中的检测的对应点对应于代表点，和/或如果检测的对应点的运动矢量具有与周围对应点的矢量不同的趋势，则将检测的对应点判断为偏离点。

9.如权利要求5所述的方法，其中，在第二图像中检测所述多个对应点的步骤包括计算所述多个对应点中每个的矢量；所述方法还包括：

基于除了被排除的偏离点之外的对应点的矢量，旋转第二图像，从而所述多条近似曲线中的至少两条关于基本水平线是对称的；随后

从所述多条近似曲线对第二图像中的每个像素***高度校正值；随后

基于高度校正值执行第二图像的平行化；随后

输出平行化的第二图像。

10.一种显示装置，包括：

显示面板；

图像信号输入单元，接收表示由第一图像和第二图像构成的立体对图像的图像信号；

立体图像处理装置，执行对立体对图像的第二图像的每个像素的高度校正，并产生立体对图像的平行化的第二图像；

立体匹配单元，执行对平行化的立体对图像的立体匹配，并产生第一图像的像素的深度信息；

时间差图像构成单元，使用第一图像和深度信息绘制时间差图像；

时序控制单元，产生时钟信号以将时间差图像分配给显示面板的像素，

其中，立体图像处理装置包括：

图像输入单元，接收立体对图像；

代表点选择单元，在第一图像中选择多个代表点；

对应点控制单元，在第二图像中检测与所述多个代表点对应的多个对应点；

偏离值计算单元，判断每个对应点是否是偏离点；

对应点控制单元的排除电路，排除被判断为偏离点的每个对应点；

近似曲线计算单元，对除了被排除的偏离点之外的所有对应点执行曲线近似，以产生多条近似曲线；

高度校正值计算单元，从所述多条近似曲线，对第二图像中的每个像素***高度校正值；

平行化执行单元，基于高度校正值执行第二图像的平行化；

图像输出单元，输出平行化的第二图像，

其中，高度校正值计算单元对近似曲线和通过连接与近似曲线对应的代表点而形成的直线之间的每个像素计算高度差，并将高度差作为高度校正值。