CN104662586A - 多视点图像产生方法和多视点图像显示设备 - Google Patents

Abstract

提供一种多视点图像产生方法。所述多视点图像产生方法包括：使用原始图像的深度信息来产生孔洞图像；将产生的孔洞图像的孔洞区域与背景接触的边界区域划分为至少一个图像块；在原始图像的预设区域中选择与包括在划分的所述至少一个图像块中的背景具有最相似的像素值的区域；使用选择的区域的像素值对划分的所述至少一个图像块上的孔洞区域进行填充以产生第一视点图像。

Description

多视点图像产生方法和多视点图像显示设备

技术领域

与示例性实施例一致的设备和方法涉及一种多视点图像产生方法，更具体地，涉及一种能够通过产生孔洞图像和填充孔洞区域来产生多视点图像的多视点图像产生方法和多视点图像显示设备。

背景技术

随着电子技术的发展，各种类型的电器已被开发并推广。实际上，近年来，作为在家庭中最常使用的家电之一的显示设备(诸如，电视机(TV))已快速发展。

在高性能的显示设备中，显示在显示设备中的内容的种类也已在各种方面上增加。具体来说，近年来，也可观看三维(3D)内容的立体显示***已被开发并推广。

立体显示设备可使用各种类型的显示设备(诸如，在家庭中使用的3D TV)以及各种类型的监视器、便携式电话、个人数字助理(PDA)、个人计算机(PC)、机顶PC、平板PC、数字相框、自主服务终端(kiosk)来实现。此外，3D显示技术可被用在家庭以及各种需要3D成像的领域(诸如，自然科学、医学、设计、教育、广告或电脑游戏)中。

立体显示***大致上被划分为可不戴眼镜观看3D图像的裸眼型***和可佩戴眼镜观看3D图像的眼镜型***。

存在作为眼镜型***的示例的快门眼镜型显示设备。快门眼镜型交替性地输出左眼图像和右眼图像，并交替性地打开/关闭由用户佩戴的3D眼镜的与左图像和右图像互锁的左快门镜片和右快门镜片，使得用户可感受到3D效果。

裸眼型***被称作自动立体***。裸眼型3D显示设备在显示空间移位多视点图像时使用视差屏障(parallax barrier)技术或柱状透镜(lenticularLens)技术，使与不同视点的图像相应的光被投影到用户的左眼和右眼，使得用户可感受到3D效果。

眼镜型***可提供令人满意的3D效果，但是不便之处在于用户必须佩戴眼镜。另一方面，裸眼型***可允许用户不戴眼镜观看3D图像，因此，在不断地讨论对裸眼型***的开发。

图1是示出在现有技术中裸眼型3D显示设备的配置的示图。参照图1,现有技术中的3D显示设备包括背光单元10、成像面板20和视差单元30。

视差单元30可包括已知为视差屏障或柱状透镜阵列的不透明屏蔽的窄缝阵列。图1示出使用柱状透镜阵列实现视差单元30的情况。

如图1中所示，成像面板20包括被划分为多个列的多个像素。具有针对所述多个列的不同视点的图像被布置。在图1中，示出了以下示例：顺序交替地布置具有不同视点的多个图像1、2、3和4。也就是说，像素列被布置为使用编号1、2、3和4指示的组。将应用到面板的图形信号进行布置，使得像素列1显示第一图像，像素列2显示第二图像。

背光单元10将光提供给成像面板20。通过从背光单元10提供的光，形成在成像面板20上的图像1、2、3和4被投影到视差单元30，并且视差单元30将投影的图像1、2、3和4的光进行分散，并将分散后的光传送到观看者。也就是说，视差单元30在观看者的位置(即，在观看距离)产生出射光瞳。可对使用柱状透镜实现视差单元30时的柱状透镜的厚度和直径以及在使用视差屏障实现视差单元30时的窄缝之间的空间等进行设计，使得由每列产生的出射光瞳被分离为65毫米以下的平均双目中心距离。分离好的图像光分别形成视点区域。也就是说，如图1中所示，形成视点区域1、2、3和4。

在这些情况下，当用户的左眼51位于视点区域3，用户的右眼52位于视点区域2时，用户可不戴特殊眼镜感受到3D效果。

裸眼***(下文中，称作多视点图像产生设备)从原始图像产生多个多视点图像。例如，多视点图像产生设备可从一个或更多个原始图像产生具有彼此不同的9个视点的图像。

作为一个示例，可存在一种从原始图像产生具有固定视点的孔洞图像并对孔洞区域进行插值的方法。多视点图像产生方法被公开在第20100040593和20110085469号韩国专利公开出版物中。

然而，现有技术中的孔洞区域插值方法仅是以水平线为单位使用与孔洞区域相邻的背景的像素值来对孔洞区域进行简单填充或减小孔洞的大小的方法。在这种情况下，与实际产生的多视点图像的孔洞区域相应的部分的图像经常失真。具体而言，当深度相对高时，例如，在孔洞区域周围的背景是在图像中结构上突出的区域的情况下，图像的失真严重。因此，需要一种通过有效地处理构成原始图像中的结构的部分来产生平滑的多视点图像的方法。

发明内容

技术问题

一个或更多个示例性实施例可克服以上缺点和以上未描述的其它缺点。然而，将理解：一个或更多个示例性实施例不需要克服以上描述的缺点，并且可能没有克服以上描述的任何问题。

一个或更多个示例性实施例在于提供一种多视点图像产生方法和多视点图像显示设备，其中，所述方法和设备能够通过对构成原始图像中的结构的部分进行有效处理来产生平滑的多视点图像。

技术方案

根据示例性实施例的一方面，提供了一种多视点图像产生方法。所述多视点图像产生方法可包括：使用原始图像的深度信息来产生孔洞图像；将产生的孔洞图像的孔洞区域与背景接触的边界区域划分为至少一个图像块；在原始图像的预设区域中选择与包括在划分的所述至少一个图像块中的背景具有最相似的像素值的区域；使用选择的区域的像素值对划分的所述至少一个图像块上的孔洞区域进行填充以产生第一视点图像。

选择步骤可包括：将原始图像的所述预设区域中作为比较目标的区域缩放到至少两个比例，并将缩放后的区域与划分的所述至少一个图像块进行比较；基于比较结果选择与包括在划分的所述至少一个图像块中的背景具有最相似的像素值的区域。

所述多视点图像产生方法还可包括：使用原始图像的深度信息来产生第一孔洞图像；使用产生的第一视点图像的深度信息来产生第二孔洞图像；通过使用第二孔洞图像的与第一孔洞图像的孔洞区域相应的区域的像素值对第一孔洞图像的孔洞区域进行填充或使用第一孔洞图像的与第二孔洞图像的孔洞区域相应的区域的像素值对第二孔洞图像的孔洞区域进行填充来产生第二视点图像。

产生孔洞图像的步骤可包括：通过根据原始图像的像素的深度等级将像素移位预设距离来产生孔洞图像。

可对划分的所述至少一个图像块中的在孔洞区域和背景之间像素值差别大的图像块优先执行选择步骤。

选择步骤可包括：通过将原始图像的所述预设区域中的每个部分的颜色、深度和梯度与包括在划分的所述至少一个图像块中的背景的颜色、深度和梯度进行比较来确定相似度。

所述多视点图像产生方法可通过重复执行从产生孔洞图像的步骤至填充孔洞区域的步骤的处理直到孔洞图像的孔洞区域被完全填充为止，来产生第一视点图像。

所述多视点图像产生方法还可包括：通过将第一视点图像和第二视点图像的彼此相应的区域的像素进行组合来产生多视点图像。

根据示例性实施例的另一方面，提供一种多视点图像显示设备。所述多视点图像显示设备可包括：接收单元，被配置为接收原始图像；控制器，包括：孔洞图像产生模块、相似区域选择模块和图像产生模块，其中，孔洞图像产生模块被配置为使用原始图像的深度信息来产生孔洞图像，相似区域选择模块被配置为将产生的孔洞图像的孔洞区域与背景接触的边界区域划分为至少一个图像块，并在原始图像的预设区域中选择与包括在划分的所述至少一个图像块中的背景具有最相似的像素值的区域，图像产生模块被配置为使用选择的区域的像素值对划分的所述至少一个图像块上的孔洞区域进行填充以产生第一视点图像；显示面板，被配置为输出产生的第一视点图像。

相似区域选择模块可将原始图像的所述预设区域中作为比较目标的区域缩放到至少两个比例，将缩放后的区域与划分的所述至少一个图像块进行比较，并基于比较结果选择与包括在划分的所述至少一个图像块中的背景具有最相似的像素值的区域。

孔洞图像产生模块可使用原始图像的深度信息来产生第一孔洞图像，并还可使用产生的第一视点图像的深度信息来产生第二孔洞图像，图像产生模块可通过使用第二孔洞图像的与第一孔洞图像的孔洞区域相应的区域的像素值对第一孔洞图像的孔洞区域进行填充或使用第一孔洞图像的与第二孔洞图像的孔洞区域相应的区域的像素值对第二孔洞图像的孔洞区域进行填充来产生第二视点图像。

孔洞图像产生模块可通过根据原始图像的像素的深度等级将像素移位预设距离来产生孔洞图像。

相似区域选择模块可对划分的所述至少一个图像块中的在孔洞区域和背景之间像素值差别大的图像块优先执行选择操作。

相似区域选择模块可通过将原始图像的所述预设区域中的每个部分的颜色、深度和梯度与包括在划分的所述至少一个图像块中的背景的颜色、深度和梯度进行比较来确定相似度。

相似区域选择模块和图像产生模块可通过重复执行选择操作和填充操作直到孔洞图像的孔洞区域被完全填充为止，来产生第一视点图像。

控制器还可包括：多视点图像产生模块，被配置为通过将第一视点图像和第二视点图像中的彼此相应的区域的像素进行组合来产生多视点图像。

有益效果

根据以上描述的各种示例性实施例，对构成原始图像中的结构的部分进行有效处理以产生平滑的多视点图像。

示例性实施例的其它方面和优点将被阐述在详细描述中，所述方面和优点通过详细描述将是显而易见的，或可通过对示例性实施例进行实践而被获知。

附图说明

通过参照附图详细地对示例性实施例进行描述，以上和/或其它方面将更清楚，其中：

图1是示出在现有技术中裸眼型3D显示设备的配置的框图；

图2是示出根据示例性实施例的多视点图像产生方法的流程图；

图3是解释产生孔洞图像的原始图像的示图；

图4是示出产生的孔洞图像的示图；

图5(A)、(B)和(C)是解释使用与图像块(patch)相似的原始图像的区域来填充孔洞图像的方法的示图；

图6是示出根据另一示例性实施例的多视点图像产生方法的流程图；

图7是解释通过图6的方法确定具有高相似度的部分的方法的示图；

图8是示出根据另一示例性实施例的多视点图像产生方法的流程图；

图9是示出根据图8的方法的产生多视点图像的方法的示图；

图10是示出根据另一示例性实施例的多视点图像产生方法的流程图；

图11是示出根据另一示例性实施例的产生完整的第一视点图像的方法的流程图；

图12是示出根据另一示例性实施例的产生完整的多视点图像的方法的示图；

图13和图14是示出根据各种示例性实施例的多视点显示设备的框图。

具体实施方式

在下文中，将参照附图更详细地描述示例性实施例。

在以下描述中，当相同的标号在不同的附图中描绘时，相同的标号被用于相同的元件。提供在描述中限定的事宜(诸如，详细的结构和元件)以帮助全面理解示例性实施例。因此，将清楚：可在没有这些特别限定的事宜的情况下执行示例性实施例。此外，由于在现有技术中已知的功能或元件会用不必要的细节来模糊示例性实施例，所以将不详细地描述它们。

图2是示出根据示例性实施例的多视点图像产生方法的流程图，图3是解释产生孔洞图像的原始图像的示图，图4是示出产生的孔洞图像的示图，图5(A)、(B)和(C)是示出使用与图像块相似的原始图像的区域来填充孔洞区域的方法的示图。

参照图2，根据示例性实施例的多视点图像产生方法包括：产生孔洞图像(S210)，将边界区域划分为至少一个图像块图像块(S220)，在原始图像中选择与包括在图像块图像块中的背景最相似的区域(S230)，对孔洞区域进行填充以产生第一视点图像(S240)。

首先，产生孔洞图像(S210)是使用原始图像的深度信息来产生孔洞图像的处理。

在此，原始图像可具有各种类型。例如，原始图像可包括像素之间具有视差的左眼图像和右眼图像。在这种情况下，原始图像有两个。另一方面，元件图像可以是一个，并且表示深度信息的深度图被用于产生孔洞图像。

指示3D图像的深度的信息的深度信息是与左眼图像帧和右眼图像帧之间的双目视差的程度相应的信息。用户感受到的3D效果的程度根据深度信息而改变。也就是说，当深度大时，由于双目视差高，所以用户感受到相对高的3D效果。当深度小时，由于双目视差低，所以用户感受到相对低的3D效果。可使用稍后进行描述的深度图来表示深度信息。

深度图表示包括针对显示屏幕的各区域的深度信息的表。区域可以以像素为单元进行划分，并可被定义为比像素单元更大的预设区域。此时，深度信息可以是针对3D图像帧的每个区域或每个像素的深度。在一个示例性实施例中，深度图可与指示针对图像帧的每个像素的深度的灰度2D图像相应。

图3示出原始图像和与原始图像相应的深度图的示例。可以看出：原始图像包括作为位于最前面的对象的凉亭以及位于凉亭后面的树和建筑物。凉亭是位于最前面的对象，并且具有较大的深度，而树和建筑物具有较小的深度并因此构成图像的背景。因此，在图像的深度图中，凉亭具有大的深度值，而在凉亭后面的背景具有小的深度。

下文中，将对使用原始图像和深度图像产生孔洞图像的方法进行描述。

根据示例性实施例，可通过根据针对原始图像的像素的深度等级将像素移位预设距离来产生孔洞图像。

假设基于原始图像产生具有左视点的图像。具有左视点的图像与通过基于原始图像的中心将原始图像按照固定角度向左旋转而获得的图像相同。当图像被投影到2D平面上时，对象必须向右移动与固定角度相应的距离。在这种情况下，位于近处的对象(close objects)移动长距离，而位于远处的对象(distance objects)或背景移动相对短的距离。因此，多视点图像被产生。

此时，使用以上描述的深度图。也就是说，由于具有大的深度的像素被视为参照深度图位于近处的对象，具有大的深度的像素被移位相对长的距离。另一方面，由于具有小的深度的像素被视为位于远处的对象或背景，所以具有小的深度的像素被移位相对短的距离。

由于构成对象的像素的移位距离根据深度等级而改变，所以原始图像中的像素最终没有移动，使得产生没有进行任何填充的部分。该部分被称作孔洞区域(hole area)，具有孔洞区域的图像被称作孔洞图像。

图4示出根据以上描述产生的孔洞图像。也就是说，当参照深度图针对像素将上面示出的原始图像向右移位时，产生下面示出的孔洞图像。

当产生孔洞图像时，边界区域被划分为至少一个图像块(S220)。也就是说，产生的孔洞图像的孔洞区域42与背景41接触的边界区域被划分为至少一个图像块。

参照图5(A)，在作为原始图像中的位于近处的对象的凉亭的顶部上存在孔洞区域。孔洞区域与背景接触的边界区域被划分为多个图像块。每个图像块被划分为背景区域和孔洞区域。

在原始图像的预设区域中，选择与包括在划分的至少一个图像块中的背景具有最相似的像素值的区域(S230)。也就是说，确定在原始图像中与背景区域具有最相似像素值的区域。

在图5(B)中，图像块与原始图像中的区域A、B和C进行比较。然后，可选择具有最相似像素值的区域A(参见图5(C))。

在示例性实施例中，可通过将原始图像的预设区域中的每个部分的颜色、深度和梯度与包括在划分的至少一个图像块中的背景的颜色、深度和梯度进行比较并确定相似度来执行选择处理。

例如，可使用RGB来表示背景的颜色，在这种情况下，可将针对至少一个图像块的像素的所有RGB值相加，可将与其相应的原始图像的预设区域中的任意部分的像素的所有RGB值相加，并可将两个相加后的值进行比较。可在原始图像的预设区域中选择在两个相加后的值之间的差别最小的部分。

相似地，可将针对至少一个图像块的像素的所有深度值相加，可将与其相应的原始图像的预设区域中的任意部分的像素的所有深度值相加，并可将两个相加后的值进行比较。可在原始图像的预设区域中选择在两个相加后的值之间的差别最小的部分。

此外，可将针对至少一个图像块的像素的所有梯度值相加，可将与其相应的原始图像的预设区域中的任意部分的像素的所有梯度值相加，并可将两个相加后的值进行比较。可在原始图像的预设区域中选择在两个相加后的值之间的差别最小的部分。

可使用颜色值、深度值和梯度值中的任意一个来将原始图像的预设区域中的部分与包括在划分的至少一个图像块中的背景进行比较，但是也可将所有颜色值、深度值和梯度值进行比较。在这种情况下，通过考虑仅通过任意一个元素无法确认信息的情况来提高准确度。例如，也可考虑仅通过所有像素值的相加后的值之间的差别无法确认颜色的样式的情况。

当确定了原始图像的预设区域中与图像块最相似的部分时，使用该部分对孔洞区域进行填充以产生第一视点图像(S240)。也就是说，使用已选择的区域的像素值来对划分的至少一个图像块上的孔洞区域进行填充以产生第一视点图像。

参照图5(C)，选择作为与图像块最相似的区域的区域A，并且使用与孔洞区域相应的区域A中的区域的像素值来对图像块的孔洞区域进行填充。

现有技术中的孔洞区域插值方法仅是以水平线为单位使用与孔洞区域相邻的背景的像素值来对孔洞区域进行简单填充或减小孔洞的大小的方法。在这种情况下，与实际产生的多视点图像的孔洞区域相应的部分的图像经常失真。具体而言，当邻近背景区域的深度相对高时，例如，在孔洞区域周围的背景是在图像中结构上突出的区域的情况下，图像的失真严重。

然而，如上所示，示例性实施例通过以下操作解决了该问题：将孔洞区域和背景之间的边界区域划分为至少一个图像块，使用原始图像中与每个图像块最相似的部分的相应像素来对孔洞区域进行填充。在这种情况下，并非使用与构成原始图像中的结构的部分相邻的背景的像素来对该部分进行简单填充，而是使用最相似的图像对该部分进行填充以产生平滑的多视点图像。

然而，通常来说，由于在整个图像中以上描述的图像块是小部分，所以可存在以下的很多情况：在图像块中不包括可区分的多条信息并且在原始图像中可存在多个相似部分。因此，需要一种在多个相似部分之中确定与图像块的背景区域具有更高相似度的部分的方法。

在下文中，将对该方法进行描述。

图6是示出根据另一示例性实施例的多视点图像产生方法的流程图，图7是解释通过图6的方法确定具有高相似度的部分的方法的示图。

参照图6，根据另一示例性实施例的多视点图像产生方法包括：产生孔洞图像(S610)，将边界区域划分为至少一个图像块(S620)，对作为比较目标的区域进行缩放并将缩放后的区域与图像块进行比较(S630)，基于比较结果，选择原始图像中与包括在图像块中的背景最相似的区域(S640)，填充孔洞图像以产生第一视点图像(S650)。

步骤S610、步骤S620和步骤S650与以上描述的示例性实施例中的步骤S210、步骤S220和步骤S240相同，因此将省略对其的重复描述。

在示例性实施例中，当将边界区域划分为至少一个图像块(S620)时，将在原始图像的预设区域中作为比较目标的区域缩放到至少两个比例，并且将缩放后的区域与划分的至少一个图像块进行比较(S630)。

在此，缩放表示将整数与像素值的分布范围相乘，使得分布范围变成预设范围内。在预设范围比原始图像数据的像素值的分布范围大的情况被称作放大，作为放大结果，图像数据的屏幕被放大到预设比例。另一方面，在预设范围比输入图像数据的像素值的分布范围小的情况被称作缩小，作为缩小结果，图像数据的屏幕被缩小到预设比例。在放大处理中，作为缩放结果，输入图像数据上的一个像素值可与图像数据屏幕的多个像素值匹配，因此，会降低分辨率。

如图7中所示，可对作为比较目标的原始图像的区域缩放到将被放大或将被缩小的三个比例。将缩放到三个比例的图像分别与划分的至少一个图像块进行比较。

如上所述，由于图像块在整个图像中是非常小的部分，所以在原始图像中可存在与该图像块相似的多个部分。示例性实施例将缩放到各种比例的图像的部分与图像块进行比较以在多个相似部分之中确定与图像块的背景区域具有更高相似度的部分。

基于比较结果，选择与包括在划分的至少一个图像块中的背景具有最相似的像素值的区域(S650)。以上已经描述了确定相似度的方法，因此，将省略对其的重复描述。

根据以上描述的示例性实施例，通过原始图像产生孔洞图像，将孔洞图像的孔洞区域划分为图像块，并且使用在原始图像中具有高相似度的图像来对孔洞区域进行填充，使得产生无失真的自然的多视点图像。

最终的多视点图像可由针对多个视点的图像进行配置。可通过以上描述的方法来产生图像。只不过当各个图像的数量增加时，操作量会增加。在这种情况下，可考虑以下有效的多视点图像产生方法。

图8是示出根据另一示例性实施例的多视点图像产生方法的流程图，图9是解释根据图8的方法的产生多视点图像的方法的示图。

参照图8，根据另一示例性实施例的多视点图像产生方法可包括：产生孔洞图像(S810)，将边界区域划分为至少一个图像块(S820)，选择原始图像中与包括在图像块中的背景最相似的区域(S830)，对孔洞区域进行填充以产生第一视点图像(S840)，产生第一孔洞图像(S850)，产生第二孔洞图像(S850)，产生第二视点图像(S860)。

步骤S810、步骤S820、步骤S830和步骤S840与以上描述的示例性实施例中的步骤S210、步骤S220、步骤S230和步骤S240相同，因此将省略对其的重复描述。

在示例性实施例中，当产生第一视点图像时，可产生具有第一视点图像和原始图像之间的视点的图像。也就是说，使用原始图像的深度信息来产生具有第一视点图像和原始图像之间的视点的第一孔洞图像(S850)。通过与以上描述的产生孔洞图像的方法相同的方法来产生第一孔洞图像。

使用产生的第一视点图像的深度信息来产生与第一孔洞图像具有相同的视点的第二孔洞图像(S860)。

此时，第一孔洞图像是在原始图像的基础上其视点向第一方向移位的图像，而第二孔洞图像是在第一视点图像的基础上其视点向与第一方向不同的第二方向移位的图像。因此，第一孔洞图像和第二孔洞图像的孔洞区域是沿彼此不同的方向产生的。

参照示例性实施例的图9，当从左图像产生孔洞图像以产生编号2的视点图像时，可产生在对象的右侧产生孔洞区域的孔洞图像。另一方面，当从右图像(原始图像)产生孔洞图像以产生编号2的视点图像时，可产生在对象的左侧产生孔洞区域的孔洞图像。

在产生两个孔洞图像之后，通过使用第二孔洞图像的与第一孔洞图像的孔洞区域相应的区域的像素值对第一孔洞图像的孔洞区域进行填充或通过使用第一孔洞图像的与第二孔洞图像的孔洞区域相应的区域的像素值对第二孔洞图像的孔洞区域进行填充来产生第二视点图像(S870)。

由于第一孔洞图像和第二孔洞图像是针对同一视点具有彼此不同的孔洞区域的图像，所以存在具有与第一孔洞图像的孔洞区域相应的像素值的第二孔洞图像的区域，相似地，存在具有与第二孔洞图像的孔洞区域相应的像素值的第一孔洞图像的区域。因此，可使用彼此相应的不同孔洞图像的区域的像素值来对孔洞区域进行填充。

在图9中，在对象的左边具有孔洞区域的孔洞图像可使用与其相应的另一孔洞图像的区域的像素值来填充。相似地，在对象的右边具有孔洞区域的孔洞图像可使用与其相应的另一孔洞图像的区域的像素值来填充。图9的叠加图像的上边和下边表示具有彼此不同的孔洞区域的图像。

当从具有两个不同视点的图像产生具有在两个不同的视点之间存在的视点的图像时，简单来说，产生两个孔洞图像，并且一个孔洞图像的孔洞区域可使用与该孔洞图像的孔洞区域相应的另一孔洞图像的像素值来填充。因此，当各个图像的数量增加时，可快速且有效地产生多视点图像。

另一方面，在以上描述的示例性实施例中，会产生这样的问题：是否优先执行选择多个图像块之中的哪个图像块的步骤。图10示出用于解决该问题的多视点图像产生方法的流程图。

参照图10，根据另一示例性实施例的多视点图像产生方法可包括：产生孔洞图像(S1010)，将边界区域划分为至少一个图像块(S1020)，选择原始图像中与包括在图像块中的背景最相似的区域(S1030)，对孔洞区域进行填充以产生第一视点图像(S1040)。

步骤S1010、步骤S1020、步骤S1030和步骤S1040与以上描述的示例性实施例中的步骤S210、步骤S220、步骤S230和步骤S240相同，因此将省略对其的重复描述。

只不过在步骤S1030，可对在划分的至少一个图像块中的在孔洞区域和背景之间的像素值差别大的图像块优先执行选择的步骤。

当在至少一个图像块中与孔洞区域和与孔洞区域邻近的背景之间的像素值差别大时，在大多数情况下，邻近的背景形成了图像中的结构，或者图像块具有大深度的像素。因此，通过向图像块分配优先级来选择原始图像中与图像块相似的区域以产生更自然且有效的多视点图像。

图11是示出根据另一示例性实施例的产生完整的第一视点图像的方法的流程图。

在孔洞图像的所有孔洞区域被填充之前重复根据以上描述的示例性实施例的步骤。也就是说，针对任意一个图像块使用原始图像的相似部分来对孔洞区域进行填充的处理被完成，对剩余孔洞区域的边界区域重复执行以上描述的处理。直到孔洞区域被消除之前，连续执行以上描述的处理。

将参照图11对产生完整的第一视点图像的处理进行描述。首先，产生孔洞图像(S1110)，将边界区域划分为至少一个图像块(S1120)，选择与包括在划分的至少一个图像块中的背景具有最相似的像素值的区域(S1130)。然后，通过使用已选择的区域的像素值对孔洞区域进行填充来产生第一视点图像(S1140)。直到通过填充并消除所有的孔洞区域来产生完整的第一视点图像之前，连续执行这些步骤。

图12是示出根据另一示例性实施例的产生完整的多视点图像的方法的示图。

根据另一示例性实施例的多视点图像产生方法可包括以上描述的步骤S810至步骤S860，并还包括：通过将彼此相应的第一视点图像和第二视点图像的区域的像素进行组合来产生多视点图像。

根据各种示例性实施例，首先，通过步骤S810至步骤S840从原始图像产生具有最外面的视点的图像(图12的左图像和右图像中的任意一个图像)，并且通过步骤S850至步骤S870产生具有在原始图像和具有最外面视点的图像之间的视点的图像。

用于执行根据以上描述的各种示例性实施例的方法的程序可被存储在各种类型的记录介质中，并在各种类型的记录介质中使用所述程序。

特别地，用于执行以上描述的方法的代码可被存储在各种类型的非暂时性终端可读介质，诸如，随机访问存储器(RAM)、闪存、只读存储器(ROM)、可擦可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)、寄存器、硬盘(HD)、可移除盘、内存卡、通用串行总线(USB)存储器或压缩盘ROM(CD-ROM)。

在下文中，将对执行以上描述的方法的多视点图像显示设备100和100’进行描述。

图13和图14是示出根据各种示例性实施例的多视点图像显示设备100和100’的配置的框图。

参照图13，根据各种示例性实施例的多视点图像显示设备100包括：接收单元110、控制器120和输出单元130，其中，接收单元110被配置为接收原始图像，控制器120包括孔洞图像产生模块121、相似区域选择模块122和图像产生模块123，输出单元130被配置为输出产生的第一视点图像。孔洞图像产生模块121使用原始图像的深度信息来产生孔洞图像。相似区域选择模块122将边界区域划分为至少一个图像块，并在原始图像的预设区域中选择与包括在划分的至少一个图像块中的背景具有最相似的像素值的区域，其中，在边界区域中，产生的孔洞图像的孔洞区域与背景接触。图像产生模块123使用已选择的区域的像素值来对划分的至少一个图像块上的孔洞区域进行填充以产生第一视点图像。

接收单元110接收包括图像的内容。特别地，接收单元110从使用广播网络发送广播程序内容的广播站或从使用互联网发送内容文件的web服务器接收内容。可选地，接收单元110可从设置在多视点图像显示设备100中或被连接到多视点图像显示设备100的各种类型的记录介质再现设备接收内容。在此，记录介质再现设备表示被配置为再现存储在各种类型的记录介质(诸如，CD、数字通用盘(DVD)、HD、蓝光盘、内存卡或USB存储器)中的内容。

当在示例性实施例中从广播站接收内容时，接收单元110可被实现为包括诸如调谐器(未示出)、解调器(未示出)或均衡器(未示出)的配置。当在另一示例性实施例中从诸如web服务器的源接收内容时，接收单元110可利用网络接口卡(未示出)植入。可选地，在另一示例性实施例中从以上描述的各种类型的记录介质再现设备接收内容，接收单元110可使用连接到记录介质再现设备的接口单元(未示出)来实现。例如，接收单元110可使用音频/视频(AV)终端、合成(COMP)终端、高清晰度多媒体接口(HDMI)终端等来实现。此外，根据各种示例性实施例，接收单元110可以以各种类型来实现。

控制器120控制多视点图像显示设备100的全部操作，具体而言，控制多视点图像的产生。如上所述，控制器120包括孔洞图像产生模块121、相似区域选择模块122和图像产生模块123。

在示例性实施例中，相似区域选择模块122可将在原始图像的预设区域中作为比较目标的区域缩放到至少两个比例，将缩放后的区域与划分的至少一个图像块进行比较，并基于比较结果，选择与包括在划分的至少一个图像块中的背景具有最相似的像素值的区域。

在另一示例性实施例中，除了以上描述的孔洞图像之外，孔洞图像产生模块121还可使用原始图像的深度信息来产生第一孔洞图像，并且还可使用产生的第一视点图像的深度信息来产生第二孔洞图像。此时，除了第一视点图像之外，图像产生模块123还可通过使用与第一孔洞图像的区域相应的第二孔洞图像的区域的像素值对第一孔洞图像的孔洞区域进行填充或通过使用与第二孔洞图像的区域相应的第一孔洞图像的区域的像素值对第二孔洞图像的孔洞区域进行填充来产生第二视点图像。

在另一示例性实施例中，孔洞图像产生模块121可通过根据针对原始图像的像素的深度等级将像素移位预设距离来产生孔洞图像。

在另一示例性实施例中，相似区域选择模块122可对在划分的至少一个图像块中的在孔洞区域和背景之间像素值差别大的图像块优先执行选择操作。

在另一示例性实施例中，相似区域选择模块122可通过将原始图像的预设区域中的每个部分的颜色、深度和梯度与包括在划分的至少一个图像块中的背景的颜色、深度和梯度进行比较来确定相似度。

在另一示例性实施例中，直到孔洞图像的孔洞区域被填充之前，相似区域选择模块122和图像产生模块123可通过重复处理来产生第一视点图像。

在另一示例性实施例中，控制器120还可包括多视点图像产生模块，其中，多视点图像产生模块被配置以通过将彼此相应的第一视点图像和第二视点图像的区域的像素进行组合来产生多视点图像。

输出单元被配置为输出产生的第一视点图像。输出单元130可使用从群组中选择的至少一项来实现，其中，该群组包括液晶显示(LCD)面板、等离子显示面板(PDP)、有机发光二极管(OLED)、真空荧光显示器(VFD)、场发射显示器(FED)和电致发光显示器(ELD)。

参照图14，根据另一示例性实施例的多视点图像显示设备100’包括接收单元110、控制器120、视差单元150、显示面板130和背光单元140。

以上已经描述了接收单元110、控制器120和显示面板(输出单元)130，因此将省略对其的描述。也就是说，从控制器120执行以上描述的操作开始，多视点图像显示设备100’根据以上描述的多视点图像产生方法来产生多视点图像并将产生的多视点图像显示在显示面板130中。

背光单元140可以是惯例地应用到LCD面板的通用背光单元，或者是应用到场顺序彩色(FSC)LCD显示器的彩色顺序背光单元。也就是说，背光单元140的种类可根据显示面板130的种类而改变。

视差单元150被布置在显示面板130的前面，并且根据观看区域将从显示面板130发射的光进行分散。因此，与根据观看区域具有不同视点的图像相应的光被发射。视差单元150可使用视差屏障或柱状透镜阵列来实现。视差屏障使用包括多个屏障区域的透明窄缝阵列来实现。透明窄缝阵列通过屏障区域之间的窄缝来阻断光以根据观看区域来发射具有不同视点的图像光。窄缝的宽度和斜度(pitch)可根据包括在多视点图像中的视点图像的数量和观看距离而被不同地设计。柱状透镜阵列包括多个透镜区域。透镜区域被形成为具有与至少一个像素列相应的大小并根据观看区域对发送每个像素列的像素的光进行不同地分散。每个透镜区域可包括圆透镜。透镜的斜度和曲率半径可根据视点图像的数量和观看距离而被不同地设计。视差单元150被布置为与设置在显示面板130中的像素的列方向匹配。

现有技术中的用于通过孔洞区域插值显示多视点图像的设备通过以水平线为单位使用相邻的背景的像素值来对孔洞区域进行简单填充的方法或减小孔洞大小的方法来执行操作。在这种情况下，在实际产生的多视点图像中与孔洞区域相应的部分的图像经常失真。具体而言，当邻近背景区域的深度相对高时，例如，在孔洞区域周围的背景是在图像中结构上突出的区域的情况下，图像的失真严重。

然而，根据示例性实施例的多视点图像显示设备100和100’将孔洞区域和背景之间的边界区域划分为至少一个图像块，并使用原始图像中与图像块最相似的部分的相应像素对孔洞区域进行填充以解决以上问题。在这种情况下，构成原始图像中的结构的部分并非使用邻近背景的像素进行简单填充，而是使用最相似图像进行填充，使得可产生平滑的多视点图像。

此外，根据示例性实施例的多视点图像显示设备100和100’产生多视点图像，多视点图像显示设备100和100’将图像中缩放到各种比例的部分与图像块进行比较以在多个相似部分之中确定与图像块的背景部分具有更高相似度的部分。也就是说，通过一个原始图像来产生孔洞图像，将孔洞图像的孔洞区域划分为图像块，使用原始图像中具有高相似度的图像对孔洞区域进行填充，使得可产生无失真的自然的多视点图像。

当根据示例性实施例的多视点图像显示设备100和100’产生多视点图像时，如果多视点图像显示设备100和100’从具有两个不同的视点的图像产生具有存在于两个不同的视点之间的视点的图像，则简单而言，多视点图像显示设备100和100’产生两个孔洞图像，并使用与一个孔洞图像的孔洞区域相应的另一孔洞图像的像素值来对该孔洞图像的孔洞区域进行填充。因此，当各个图像的数量增加时，多视点图像显示设备100和100’可快速且有效地产生多视点图像。

前述示例性实施例和优点仅是示例性的，并不应被解释为受限于本发明构思。示例性实施例可容易地应用到其它类型的装置。此外，对示例性实施例的描述意图是示意性的，而非为了限制权利要求的范围，很多替代方案、修改和变化对于本领域技术人员而言是清楚的。

Claims (15)

1.一种多视点图像产生方法，包括：

使用原始图像的深度信息来产生孔洞图像；

将产生的孔洞图像的孔洞区域与背景接触的边界区域划分为至少一个图像块；

在原始图像的预设区域中选择与包括在划分的所述至少一个图像块中的背景具有最相似的像素值的区域；

使用选择的区域的像素值对划分的所述至少一个图像块上的孔洞区域进行填充以产生第一视点图像。

2.如权利要求1所述的多视点图像产生方法，其中，选择步骤包括：

将原始图像的所述预设区域中作为比较目标的区域缩放到至少两个比例，并将缩放后的区域与划分的所述至少一个图像块进行比较；

基于比较结果选择与包括在划分的所述至少一个图像块中的背景具有最相似的像素值的区域。

3.如权利要求1所述的多视点图像产生方法，还包括：

使用原始图像的深度信息来产生第一孔洞图像；

使用产生的第一视点图像的深度信息来产生第二孔洞图像；

通过使用第二孔洞图像的与第一孔洞图像的孔洞区域相应的区域的像素值对第一孔洞图像的孔洞区域进行填充或使用第一孔洞图像的与第二孔洞图像的孔洞区域相应的区域的像素值对第二孔洞图像的孔洞区域进行填充来产生第二视点图像。

4.如权利要求1所述的多视点图像产生方法，其中，产生孔洞图像的步骤包括：通过根据原始图像的像素的深度等级将像素移位预设距离来产生孔洞图像。

5.如权利要求1所述的多视点图像产生方法，其中，对划分的所述至少一个图像块中的在孔洞区域和背景之间像素值差别大的图像块优先执行选择步骤。

6.如权利要求1所述的多视点图像产生方法，其中，选择步骤包括：通过将原始图像的所述预设区域中的每个部分的颜色、深度和梯度与包括在划分的所述至少一个图像块中的背景的颜色、深度和梯度进行比较来确定相似度。

7.如权利要求1所述的多视点图像产生方法，其中，通过重复执行从产生孔洞图像的步骤至填充孔洞区域的步骤的处理直到孔洞图像的孔洞区域被完全填充为止，来产生第一视点图像。

8.如权利要求3所述的多视点图像产生方法，还包括：通过将第一视点图像和第二视点图像的彼此相应的区域的像素进行组合来产生多视点图像。

9.一种多视点图像显示设备，包括：

接收单元，被配置为接收原始图像；

控制器，包括：孔洞图像产生模块、相似区域选择模块和图像产生模块，其中，孔洞图像产生模块被配置为使用原始图像的深度信息来产生孔洞图像，相似区域选择模块被配置为将产生的孔洞图像的孔洞区域与背景接触的边界区域划分为至少一个图像块，并在原始图像的预设区域中选择与包括在划分的所述至少一个图像块中的背景具有最相似的像素值的区域，图像产生模块被配置为使用选择的区域的像素值对划分的所述至少一个图像块上的孔洞区域进行填充以产生第一视点图像；

显示面板，被配置为输出产生的第一视点图像。

10.如权利要求9所述的多视点图像显示设备，其中，相似区域选择模块将原始图像的所述预设区域中作为比较目标的区域缩放到至少两个比例，将缩放后的区域与划分的所述至少一个图像块进行比较，并基于比较结果选择与包括在划分的所述至少一个图像块中的背景具有最相似的像素值的区域。

11.如权利要求9所述的多视点图像显示设备，其中，孔洞图像产生模块使用原始图像的深度信息来产生第一孔洞图像，并还使用产生的第一视点图像的深度信息来产生第二孔洞图像，图像产生模块通过使用第二孔洞图像的与第一孔洞图像的孔洞区域相应的区域的像素值对第一孔洞图像的孔洞区域进行填充或使用第一孔洞图像的与第二孔洞图像的孔洞区域相应的区域的像素值对第二孔洞图像的孔洞区域进行填充来产生第二视点图像。

12.如权利要求9所述的多视点图像显示设备，其中，孔洞图像产生模块通过根据原始图像的像素的深度等级将像素移位预设距离来产生孔洞图像。

13.如权利要求9所述的多视点图像显示设备，其中，相似区域选择模块对划分的所述至少一个图像块中的在孔洞区域和背景之间像素值差别大的图像块优先执行选择操作。

14.如权利要求9所述的多视点图像显示设备，其中，相似区域选择模块通过将原始图像的所述预设区域中的每个部分的颜色、深度和梯度与包括在划分的所述至少一个图像块中的背景的颜色、深度和梯度进行比较来确定相似度。

15.如权利要求9所述的多视点图像显示设备，其中，相似区域选择模块和图像产生模块通过重复执行选择操作和填充操作直到孔洞图像的孔洞区域被完全填充为止，来产生第一视点图像。