本专利申请要求于2010年12月20日提交的第2010-0283014号日本专利申请以及于2011年11月2日提交的第10-2011-0113460号韩国专利申请的优先权,该申请的全部内容通过引用合并于此。
具体实施方式
图4是根据本发明构思的一些实施例的立体图像处理装置100的框图。
参照图4,立体图像处理装置100包括:图像输入单元110、代表点选择单元120、对应点控制单元130、计算单元140、平行化执行单元150和图像输出单元160。可通过逻辑电路(诸如FPGA或ASIC)或者通过处理器(诸如CPU或GPU)、ROM、RAM或***LSI或者通过它们的组合来实现组成元件中的每个。
立体对图像数据被接收到图像输入单元110中。立体对图像包括两个图像,即由两个成像装置分别捕捉的第一图像(例如,左图像)和第二图像(例如,右图像)。例如,在由立体相机捕捉的左图像和右图像之间,左图像被称为第一图像,右图像被称为第二图像。第一图像是二维图像,第二图像也是二维图像,该二维图像可与第一图像一起使用以通过使用立体匹配方法提取深度信息。
代表点选择单元120将第一图像中的多个点选为第一图像中的代表点。代表点可以是图像上设置的选择的水平线和垂直线上的像素以及位于多个格子点上的交叉点上的像素。期望根据选择期望的数量并执行图像处理的装置的性能以及期望的精确度来预定选择的代表点的数量。例如,在20列和20行的阵列中的规则间隔上排列的400个像素可被选择为代表点。
对应点控制单元130在第二图像中搜索与第一图像中的代表点中的每个代表点对应的对应点。块匹配方法可被用于搜索对应点中的每个对应点。
图5是为了描述图4中的装置的用于搜索对应点中的每个对应点的块匹配方法而注解的模拟立体对图像的示图。
左参考图像被称为L图像,右参考图像被称为R图像。如图5中所示,块匹配方法是使用L图像的关注像素(α)的***像素的值,在R图像中的预定搜索范围内,搜索与L图像的关注像素(α)具有高相关性的对应像素(α’)。在所述块匹配方法中,计算关注像素(α)周围的***像素值以及在搜索范围内的可比较的像素中的每个的像素值,并且从计算的***像素值获得关注像素(α)和可比较的像素中的每个之间的相关性。使用SAD(绝对差的和)或SSD(平方强度差的和)来判断相关性。与关注像素(α)具有最高相关性的像素被视为关于关注像素(α)的对应像素(α’)。
图6是为了说明将块匹配方法应用于对应点搜索的示例而注解的模拟立体对图像的示图。
在根据本发明构思的一些实施例的处理立体图像的方法中,在第一图像中的代表点中的像素被视为关注像素(α),在第二图像中的可比较的像素中的与关注像素(α)具有最高相关性的像素变为对应点(α’)。
例如,在图6中,右图像R中的对应点(α’)对应于左图像L中的代表点(α)。因此,在由第二图像中的正方形限定的搜索范围内,搜索第一(L)图像中的代表点(α)。在搜索之后,与代表点(α)具有最高相关性的点被检测为对应点(α’)。
搜索范围是在第二图像中的与第一图像中的代表点(α)的坐标对应的坐标周围。即使在将第一图像和第二图像分别指定为左图像和右图像这样的指定颠倒的情况下,也可通过针对第一图像中的代表点(α)的坐标而在第二图像中设置搜索范围来搜索对应点。此外,可根据时间差将搜索范围设置为期望大小的范围。
根据这样方式,针对每个代表点(α)检测对应点(α’)。
对应点控制单元130排除由偏离值计算单元141计算为偏离点的对应点,这将在稍后描述。
计算单元140包括偏离值计算单元141、近似曲线计算单元142和高度校正值计算单元143。
偏离值计算单元141针对由对应点控制单元130检测的对应点,将图像特征小的部分的与代表点(α)对应的对应点(α’)或者表示与周围对应点不同的趋势的对应点判断为偏离点。其中,图像特征是指从图像提取的特征值。
通过执行两个步骤来执行偏离点的判断。在第一步骤中,图像特征小的部分的与代表点(α)对应的对应点(α’)被视为偏离点。由于针对图像特征小的部分的与代表点对应的对应点,错误的对应点更有可能被选择,因此,与相关部分对应的对应点作为偏离点被排除,并且不被使用到后续处理中。
更具体地,在使用SAD检测与代表点(α)对应的对应点(α’)的处理中:在被判断为代表点并具有最小SAD值的点的SAD值被称为SAD1st并且具有第二最小SAD值的点的SAD值被称为SAD2nd的情况下,如果SAD1st和SAD2nd之间的差小于预定阈值Th1,则对应点(α’)被判断为偏离点。
如果SAD2nd-SAD1st<Th1,则点属于图像特征小的部分,并且该点被判断为偏离点。如果SAD2nd-SAD1st>Th1,则点属于图像特征大的部分,并且该点被留作对应点。
在第二步骤中,如果检测的对应点具有与周围对应点表现的趋势不同的趋势,则检测的对应点被判断为偏离点。因此,通过将作为判断的目标的目标对应点与目标对应点周围的对应点进行比较,并且通过判断目标对应点是否具有与目标对应点周围的对应点相同的趋势(目标对应点与目标对应点周围的对应点是否在相同的方向上移动),来判断目标对应点是否是偏离点。
图7是示出在图4的装置中判断偏离点的示例的示图。基于检测的对应点的矢量是否具有与检测的对应点周围的对应点的矢量不同的趋势,来确定对应点的偏离。在图7中,将目标对应点与这样的对应点进行比较:所述对应点对应于与目标对应点对应的代表点周围的8个代表点。与代表点周围的8个代表点对应的每个对应点(距作为格子点的对应代表点)具有的偏差大小由矢量表示。基于这8个矢量计算平均矢量(ua,va)。将平均矢量值与距目标对应点的代表点的偏差矢量(u,v)进行比较,如果比较的值高于预定阈值(Th2),则比较的值被判断为偏离点。矢量比较的其它方法是可行的,并在本发明的范围内。
在(u-ua)2+(v-va)2>Th2的情况下,作为判断的目标的对应点表示与作为判断的目标的对应点周围的对应点的不同的趋势,并且作为判断的目标的对应点被判断为偏离点;而在(u-ua)2+(v-va)2<=Th2的情况下,作为判断的目标的对应点表示与作为判断的目标的对应点周围的对应点的相同的趋势,并且作为判断的目标的对应点被留作对应点。
虽然足以进行上述的偏离点判断的两个步骤中的任何一个,但是优选地,进行两个步骤的偏离点判断以在后续处理中计算具有高精确度的近似曲线。此外,使用上述的基于值判断来排除偏离的方法对于判断偏离点是有利的。
近似曲线计算单元142对除了被判断为偏离点的对应点之外的所有对应点执行曲线近似,并计算近似曲线。作为曲线近似的方法,可使用最小二乘法。通过线性多项式来应用曲线近似,并且因此曲线近似可包括直线近似。因此,近似曲线包括近似直线。
图8是示出针对对应点执行曲线近似并获得近似曲线的示例的示图,其中,从该近似曲线计算X。其中,X是通过对除了被判断为偏离点的相应点以外的所有相应点计算曲线近似而获得的近似曲线。这里,当执行曲线近似时,执行用于排除被判断为偏离点的所有对应点的计算。在图8中,执行直线近似。
在显示装置的情况下,通过执行水平方向上的曲线近似来提高计算精确度,并可期望执行垂直方向上的曲线近似。
以该方式计算的多个近似曲线通过平行化在第二图像中是平行的。在执行水平方向上的曲线近似的情况下,可通过平行化变为水平状态,并可被调整为扫描方向。
高度校正值计算单元143基于由近似曲线计算单元142计算的近似曲线,绘制出表示校正值高度方向的偏移映射。
图9是示出根据本发明构思的一些实施例的在图像处理装置中从近似曲线绘制出表示高度方向的校正值的偏移映射的示例的示图。
如(I)所示,检测近似曲线和直线之间的高度差,其中,所述近似曲线由近似曲线计算单元142计算,所述直线通过连接与用于形成近似曲线的对应点对应的代表点而形成。
如(II)所示,由高度方向校正值(H)来保存检测的高度差,并绘制偏移映射。由于在多个近似曲线之间执行高度插值,即,间隙行(gap line),因此,即使在近似曲线(Y’2和Y’1)之间绘制出高度方向的校正值(H)的偏移映射。通过在Y’2的高度方向的校正值和Y’1的高度方向的校正值之间插值来进行分配近似曲线(Y’2和Y’1)之间的高度方向的校正值(H)。
例如,如(II)所示,在Y’1的特定偏移的高度方向的校正值为-1,位于其垂直方向的Y’2的特定偏移的高度方向的校正值为-1.2的情况下,在它们之间插值的高度方向的校正值被设置为-1.05、-1.1和-1.15。
根据在平行化执行单元150中以该方式计算的高度方向的校正值,对整个第二图像执行高度校正(即,平行化)。此外,当执行平行化时,在原始图像中可丢失顶部和底部的图像。此时,可在丢失的地方使用原始图像。通过这样做,可解决第一图像和第二图像之间的高度偏离。
通过图像输出单元160将校正的立体对图像输出到执行立体匹配的装置。通过使用校正的立体对图像匹配立体,可获得好的立体匹配的结果,并可获得高质量的三维图像。
图10是示出根据本发明构思的一些实施例的处理立体图像的方法的流程图。
图11是为了说明图10的处理的方法中的处理顺序步骤而注解的模拟立体对图像的示意性示图。
首先,输入立体对图像数据(步骤S110)。在图11中,左参考图像被称为L图像,右参考图像被称为R图像。在图10中,(I)的立体对图像是输入立体对图像。
针对L图像设置代表点的矩阵(步骤S120)。在图11(I)中,由灰点指示代表点中的每个代表点。可在图像中的格子线以及格子线的交叉点设置上面已描述的代表点,从而代表像素点位于多个格子点。代表点可被设置为期望的数量。例如,在图11中,在4条垂直线和4条水平线的交叉处设置了16个代表点。
如图11(II)所示,在R图像中检测与L图像的代表点对应的对应点(步骤S130)。由于选择了16个代表点,因此检测到16个对应点。上述的块匹配方法可被用于检测每个对应点。
根据判断的方法判断检测的对应点中的每个是否是偏离点(步骤S140)。执行判断的方法可包括:如果与代表点对应的对应点所在的区域具有小图像特征,则将所述对应点判断为偏离点。判断的方法还可包括:将具有与周围的对应点不同的趋势的点判断为偏离点。图11(III)示出已判断出偏离点并且由三角形指示被判断为偏离点的每个对应点的状态。
排除被判断为偏离点的对应点(步骤S150)。可针对每个对应点,重复步骤S140和步骤S150,直到完成判断所有偏离点。在步骤S140对每个对应点执行偏离点的判断之后,在步骤S150可排除被判断为偏离点的对应点。图11(IV)示出排除了被判断为偏离点的所有对应点的状态。
对除了被判断为偏离点的对应点之外的所有对应点执行曲线近似(步骤S160)。在图11(V),表示曲线近似。如上所述,最小二乘法可被用作曲线近似方法,而曲线近似方法不限于此。如图11(V)中所示,近似曲线中的至少两条关于基本水平线是对称的(例如,通过(V)中的“R”近似地延长)。在可能存在两个相机的不同的水平倾斜的一些情况下,诸如右相机朝左相机倾斜并且左相机和右相机的水平状态彼此不一致的情况,如图2所示。可以在这样的情况下实现图11(V)中示出的结果:基于除了被排除的偏离点之外的对应点的矢量,预先旋转第二图像,从而近似曲线中的至少两条关于基本水平线是对称的;随后执行如这里所述的平行化步骤。可采用(例如,从数字图像稳定的领域借用的)传统图像旋转检测方法和传统图像旋转方法。
通过线性多项式来应用曲线近似的绘制,因此,曲线近似包括直线近似,近似曲线的绘制包括近似直线。如(V)所示,进行直线近似,并计算曲线近似。
使用由曲线近似计算的近似曲线,绘制表示高度方向的校正值的偏移映射(步骤S170)。如上所述,检测近似曲线和通过连接代表点而形成的直线之间的高度差,其中,所述代表点与用于形成近似曲线的对应点对应。基于每条近似曲线的高度校正值,将连续的高度校正值分配给近似曲线。
针对对应图像,使用偏移映射,进行平行化,并完成高度校正(步骤S180)。在图11中,在(V)中表示该步骤。在图10中,(II)是在执行高度校正之后的立体对图像。
输出在执行校正之后的立体对图像(步骤S190),并且处理结束。当执行后续处理时,在执行校正之后的输出的立体对图像可被用于立体匹配。由于进行了高度校正,因此当在立体匹配中提取深度信息时,不会产生大的噪声,并且可呈现具有高质量而无失真的3D图像。
可在显示装置中使用根据本发明构思的一些实施例的图像处理装置。
图12是根据本发明构思的一些实施例的显示装置的框图。
显示装置1000包括:平行化转换单元100、图像信号输入单元200、立体匹配单元300、时间差图像构成单元400、时序控制单元500和显示面板600。3D TV或3D显示器可以是显示装置1000的典型示例。
图像信号从外部输入到图像信号输入单元200。当从外部输入图像信号时,图像信号输入单元200将图像信号作为图像数据输入到平行化转换单元100。
平行化转换单元100是上述的立体图像处理装置100,接收图像数据,对立体对图像进行高度校正,并将校正的立体对图像输出到立体匹配单元300。
立体匹配单元300对校正的立体对图像执行立体匹配。也就是说,从对相同点拍照的每个图像中获得对应点,使用其时间差提取深度信息。也就是说,由立体匹配单元300对校正的立体对图像的第一图像以及深度信息的数据进行转换。第一图像和深度信息从立体匹配单元300被传输到时间差图像构成单元400。
时间差图像构成单元400使用第一图像和深度信息绘制时间差图像。如时间差图像所绘制的物体可以是取决于显示装置300的类型根据期望的三维显示方法的形态,例如可以是与使用视差屏障的视差屏障类型对应的时间差图像或者与柱状透镜类型对应的时间差图像。在绘制时间差图像的情况下,可进行多视点的渲染。
时序控制单元500产生驱动在时间差图像构成单元400中绘制的时间差图像的显示面板600的上部的像素的信号。显示面板600可以是例如LCD、PDP等,并显示3D图像。
由于在显示装置中,在拍照之后,使用由许多成像***在许多摄影位置拍摄的立体图像,因此不能进行使用公开模式的立体图像的平行化。这里,必须在进行立体匹配之前的步骤中进行平行化处理。根据本发明构思的一些实施例的显示装置,在传统的拍照之后,平行化处理可以不同。显示装置可对以下图像执行平行化处理:没有差异模式(诸如线性边缘)的图像、扫描线与对极线不一致的图像以及各类立体对图像。