CN106559662B - 多视图图像显示设备及其控制方法 - Google Patents

Abstract

提供一种多视图图像显示设备及其控制方法。所述显示设备包括：图像输入器，被配置为接收图像；显示器，被配置为显示基于接收的图像而产生的多视图图像；处理器，被配置为：基于接收的图像的深度，对具有不同视点的多个视图进行渲染，基于循环映射来扩大正常观看区域，调整所述多个视图的像素值以使由于正常观看区域的扩大而在反向观看区域出现的视图跳跃区域的视图跳跃量等于预设阈值，并基于调整后的像素值来产生多视图图像。

Description

多视图图像显示设备及其控制方法

本申请要求于2015年9月24日提交到韩国知识产权局的第10-2015-0135685号韩国专利申请的优先权，其中，所述申请的公开内容通过引用其全部合并于此。

技术领域

与示例性实施例一致的设备和方法涉及一种多视图图像显示设备及其控制方法，更具体地，涉及一种裸眼多视图图像显示设备及其控制方法。

背景技术

受电子技术的发展所支持，已经开发并提供了各种类型的电子装置。已全速开发出可在家使用的诸如电视(TV)的显示设备。

随着显示设备已被增强为提供高品质性能，显示在显示设备上的内容的类型已变得多样化并被扩展。最近已开发并提供了可观看三维(3D)内容的3D显示***。

3D显示设备可被实现为各种类型的显示设备，诸如，不仅被实现为用于大多数家庭的3D电视，还被实现为各种类型的监视器、便携式电话、个人数据助理(PDA)、个人计算机(PC)、机顶盒PC、平板PC、电子相框、一体机(kiosk)等。此外，3D显示技术可被应用并且不仅可用于家庭使用，还可用于需要3D成像的各种领域(诸如，科学、药学、设计、教育、广告、计算机游戏等)。3D显示***可主要分为允许在不需要眼镜的情况下进行观看的裸眼***和佩戴一副眼镜的眼镜***。

所述眼镜***可提供令人满意的3D感，然而，当用户佩戴眼镜时，他或她可能会有所不便。裸眼***的优点在于可在没有眼镜的情况下观看3D图像。因此，关于开发裸眼***的讨论仍在继续。

发明内容

示例性实施例可至少解决以上问题和/或缺点以及以上没有描述的其它缺点。此外，示例性实施例不需要克服以上描述的缺点，并可以不克服以上描述的任何问题。

一个或更多个示例性实施例提供一种通过根据循环映射方法扩大正常观看区域来提供清楚的3D图像的多视图图像显示设备及其控制方法。

根据示例性实施例的一方面，提供一种多视图图像显示设备，包括：图像输入器，被配置为接收图像；显示器，被配置为显示基于接收的图像而产生的多视图图像；处理器，被配置为：基于接收的图像的深度，对具有不同视点的视图进行渲染，基于循环映射来扩大正常观看区域，调整视图的像素值以使由于正常观看区域的扩大而在反向观看区域上出现的视图跳跃区域的视图跳跃量等于预设阈值，并基于调整后的像素值来产生多视图图像。

显示器可包括：显示面板，被配置为显示多视图图像；视场划分器，被布置在显示面板的正面，其中，视场划分器被配置为在用户的观看区域上提供具有不同视点的光学视图，并且在产生多视图图像时使用的视图的数量可大于所述光学视图的数量。

处理器还可被配置为：扩大基于核线图像而产生的核线域上的正常观看区域，其中，核线图像包括视图中的每个视图的统一像素线。

处理器还可被配置为：基于接收的图像的深度来计算将被用于扩大正常观看区域的视图的数量和视图之间的深度差；基于所述计算来对视图进行渲染。

处理器还可被配置为：对在视图跳跃区域上发生的视图之间的深度差进行平滑，并还基于平滑后的深度差来产生多视图图像。

处理器还可被配置为：基于在正常观看区域上提供的视图之间的深度差，计算使视图跳跃区域的视图跳跃量等于所述预设阈值的阈值斜率；基于接收的图像的深度斜率与所述阈值斜率之间的差，使用接收的图像的深度斜率与所述阈值斜率中的至少一个对接收的图像进行处理；基于处理后的图像来产生多视图图像。

所述多视图图像显示设备还可包括：存储器，被配置为存储阈值斜率，其中，所述阈值斜率基于在正常观看区域上提供的视图之间的深度差而被确定以使视图跳跃区域的视图跳跃量等于所述预设阈值，处理器还可被配置为：基于接收的图像的深度斜率与所述阈值斜率之间的差，使用接收的图像的深度斜率与所述阈值斜率之中的至少一个对接收的图像进行处理；基于处理后的图像来产生多视图图像。

处理器还可被配置为：确定所述深度斜率是否大于所述阈值斜率；响应于处理器确定所述深度斜率大于所述阈值斜率，使用所述阈值斜率对接收的图像进行处理。

处理器还可被配置为：确定所述深度斜率是否大于所述阈值斜率以及多视图图像显示设备是否在维持所述深度斜率的显示模式下进行操作；响应于处理器确定所述深度斜率大于所述阈值斜率并且多视图图像显示设备在所述显示模式下进行操作，使用所述阈值斜率对反向观看区域的深度斜率进行补偿。

处理器还可被配置为：确定所述深度斜率是否小于所述阈值斜率；响应于处理器确定所述深度斜率小于所述阈值斜率，基于接收的图像的深度斜率来扩大正常观看区域。

所述多视图图像显示设备还可包括：用户接口，被配置为接收用户命令；处理器还可被配置为基于循环映射和基于用户命令而确定的3D感来扩大正常观看区域。

根据另一示例性实施例的一方面，提供一种多视图图像显示设备的控制方法，所述方法包括：基于接收的图像的深度，对具有不同视点的视图进行渲染；基于循环映射来扩大正常观看区域；调整视图的像素值，以使由于正常观看区域的扩大而在反向观看区域上出现的视图跳跃区域的视图跳跃量等于预设阈值；基于调整后的像素值来产生多视图图像；显示多视图图像。

所述控制方法还可包括：在用户的观看区域上提供具有不同视点的光学视图，并且在产生多视图图像时使用的视图的数量可大于所述光学视图的数量。

扩大正常观看区域的步骤可包括：扩大基于核线图像而产生的核线域上的正常观看区域，其中，核线图像包括视图中的每个视图的统一像素线。

所述控制方法还可包括：基于接收的图像的深度来计算将被用于扩大正常观看区域的视图的数量和视图之间的深度差，渲染步骤可包括：基于所述计算来对视图进行渲染。

所述控制方法还可包括：对在视图跳跃区域上发生的视图之间的深度差进行平滑；产生步骤可包括：还基于平滑后的深度差来产生多视图图像。

所述控制方法还可包括：基于在正常观看区域上提供的视图之间的深度差，计算使视图跳跃区域的视图跳跃量等于所述预设阈值的阈值斜率；基于接收的图像的深度斜率与所述阈值斜率之间的差，使用接收的图像的深度斜率与所述阈值斜率中的至少一个对接收的图像进行处理。产生步骤可包括：基于处理后的图像来产生多视图图像。

所述控制方法还可包括：存储阈值斜率，其中，所述阈值斜率基于在正常观看区域上提供的视图之间的深度差而被确定以使视图跳跃区域的视图跳跃量等于所述预设阈值；基于接收的图像的深度斜率与所述阈值斜率之间的差，使用接收的图像的深度斜率与所述阈值斜率之中的至少一个对接收的图像进行处理。产生步骤可包括：基于处理后的图像来产生多视图图像。

所述控制方法还可包括：确定所述深度斜率是否大于所述阈值斜率以及多视图图像显示设备是否在维持所述深度斜率的显示模式下进行操作，所述处理步骤可包括：响应于确定所述深度斜率大于所述阈值斜率，使用所述阈值斜率对接收的图像进行处理；响应于确定所述深度斜率大于所述阈值斜率并且多视图图像显示设备在所述显示模式下进行操作，使用所述阈值斜率对反向观看区域的深度斜率进行补偿。

所述控制方法还可包括：确定所述深度斜率是否小于所述阈值斜率；响应于确定所述深度斜率小于所述阈值斜率，基于所述深度斜率来扩大正常观看区域。

根据另一示例性实施例的一方面，提供一种多视图图像显示设备，所述多视图图像显示设备包括：处理器，被配置为：基于图像的深度来对图像的不同视图进行渲染；基于循环映射来扩大视图的正常观看区域；调整视图的像素值以使由于正常观看区域的扩大而在视图的反向观看区域上发生的视图跳跃量等于预设阈值；基于调整后的像素值来产生多视图图像。所述多视图图像显示设备还包括：显示器，被配置为显示多视图图像。

处理器还可被配置为：确定正常观看区域的深度斜率是否大于阈值斜率以及多视图图像显示设备是否在维持所述深度斜率的显示模式下进行操作；响应于处理器确定所述深度斜率大于或等于所述阈值斜率并且多视图图像显示设备在所述显示模式下进行操作，使用所述阈值斜率对反向观看区域的深度斜率进行补偿；响应于处理器确定正常观看区域的深度斜率小于所述阈值斜率，基于正常观看区域的深度斜率来扩大正常观看区域。

附图说明

通过参照附图对示例性实施例进行描述，以上和/或其它方面将更清楚，其中：

图1A、图1B和图1C是示出根据示例性实施例的多视图图像显示设备根据线性映射方法的操作的示图；

图2A和图2B是示出根据示例性实施例的3D显示设备根据循环映射方法的操作的示图；

图3A、图3B、图3C和图3D是示出根据示例性实施例的多视图图像显示设备的构成的示图；

图4是示出根据示例性实施例的用于产生核线图像(epipolar image)的方法的示图；

图5A和图5B是示出根据示例性实施例的用于产生核线域的方法的示图；

图6是示出根据示例性实施例的用循环映射方法构成的核线域的示图；

图7、图8、图9A、图9B、图9C、图10A和图10B是示出根据示例性实施例的用于扩大正常观看区域的方法的示图；

图11A、图11B、图12A和图12B是示出根据另一示例性实施例的用于扩大正常观看区域的方法的示图；

图13A和图13B是示出根据另一示例性实施例的用于扩大正常观看区域的方法的示图；

图14A和图14B是示出根据另一示例性实施例的用于调整正常观看区域的方法的示图；

图15是示出根据示例性实施例的用于控制多视图图像显示设备的方法的流程图。

具体实施方式

以下将参照附图更详细地描述示例性实施例。

在以下描述中，即使在不同附图中，相同附图标号也用于相同元件。提供在描述中限定的事物(诸如，详细结构和元件)以帮助全面理解示例性实施例。然而，清楚的是，可在没有那些具体限定的事物的情况下实施示例性实施例。此外，因为公知功能或结构会用不必要的细节模糊所述描述，所以可不对它们进行详细描述。

将理解：在此使用的术语“包括”和/或“包括......的”指明存在所陈述的功能或组件，但不排除存在或添加一个或更多个其它特征或组件。此外，在说明书中描述的诸如“单元”、“..器”和“模块”的术语是指用于执行至少一个功能或操作的元件，并且可在硬件、软件或硬件与软件的组合中被实现。

图1A、图1B和图1C是示出根据示例性实施例的多视图图像显示设备根据线性映射方法的操作的示图。

当裸眼***需要多个光学视图时，该***可通过对输入图像进行渲染来产生多个视图，并通过使用多个视图来产生多视图图像。在此，多个视图可分别是每个视点图像，或若干个视点图像可构成一个视图。例如，当提供具有七个视点图像的七个光学视图时，一个视图可与一个视点图像相应。当提供具有N个视点图像的七个光学视图时，一个视图可包括M(M≥1)个视点图像。

多视图图像是为了显示目的而通过视图映射技术产生的图像。用于产生多视图图像的视图映射方法包括线性映射方法和循环映射方法。

如图1A和图1B中所示，线性映射方法涉及将彼此具有不同视点的多个视图(例如，从视点1至视点7的视图)根据1、2、3、4、5、6、7、1、2、3…的顺序与光学视图匹配。

图1C示出用于提供3D图像的多视图图像显示设备根据线性映射方法的操作。

如所示，从彼此不同的视点拍摄的多个图像可按照彼此不同的角度被折射，并且聚焦图像可在按照被称作“视距”的距离(例如，约3米)布置的位置上被提供。形成图像的位置被称作“观看区域”(或“光学视图”)。由此，当用户(或观看者)的一只眼睛处于第一观看区域并且另一只眼睛处于第二观看区域时，获得3D感。

例如，参照图1C，裸眼3D显示设备可将7个视点之中的与视点图像1相应的光投射到左眼，并将与视点图像2相应的光投射到右眼。因此，由于用户可用他或她的左眼和右眼观看彼此具有不同视点的图像，所以他或她可体验到3D感。

然而，线性映射方法的问题在于根据观看位置而会出现死区(dead zone)。在此，“死区”是指用户的观看位置从视点7改变为视点1的位置。在死区上，由于视差的快速改变(即，跳跃现象)而会发生严重串扰，并且无法观看3D图像。此外，用户会感受到视觉疲劳。因此，同时观看到视点7和视点1的位置是死区。

循环映射方法是用于根据1、2、3、4、3、2、1的顺序排列视图的方法，该方法可产生以下效果：缓解在线性映射方法中发生的视差的快速改变。

图2A和图2B是示出根据示例性实施例的使用循环映射方法的3D显示设备的操作的示图。

参照图2A和图2B，可根据循环映射方法来产生多视图图像以解决根据图1A和图1B中示出的线性映射方法的问题。

为了通过使用N个视图来产生多视图图像，可通过从视点1至视点N/2顺序排列，随后从视点N/2-1至视点1逆序排列并重复这样的模式来产生多视图图像以用于显示目的。在这种情况下，当N是奇数时，与大于N/2的整数(或小于N/2的整数)相应的视点可以是改变顺序排列和逆序排列的时间点。

例如，如图2B中所示，当通过使用具有彼此不同的总共7个视点的视图来产生多视图图像时，与大于7/2的整数4相应的视点4可以是改变的时间点。因此，可按照重复以下模式的这种排列模式对多个视图进行排列：从视点1至视点4顺序排列视图并从视点3至视点1反向排列视图。然而，示例性实施例不限于此。相应地，可通过使用下述排列模式来产生多视图图像，其中，根据所述排列模式，将来自视点1至视点N的奇数视点或偶数视点顺序排列并将来自视点N至视点1的奇数视点或偶数视点反向排列的模式重复。例如，当多个视图总共是7个视点时，可通过重复视点1、3、5、7、6、4、2的模式来产生多视图图像。

当如图2A中所示根据循环映射方法来排列多视图图像时，可产生反向排列视点的反向观看区段。例如，顺序排列有视图1至视图4的光学视图1区段至光学视图4区段可与正常观看区段相应，反向排列有视图1至视图4的光学视图4区段至光学视图7区段可与反向观看区段相应。在视点被反向排列的反向观看区段中，由人的双眼观察到的图像可从左向右切换。因此，会感受到观看疲劳(例如，呕吐恶心)。以下将解释可通过尽可能多地减小反向观看区段并减少呕吐恶心来尽可能多地降低观看疲劳的示例性实施例。

图3A、图3B、图3C和图3D是示出根据示例性实施例的多视图图像显示设备的构成的示图。

图3A是示出根据示例性实施例的多视图图像显示设备100的构成的框图。

参照图3A，多视图图像显示设备100包括图像输入器110、显示器120和处理器130。

多视图图像显示设备100可被实现为各种类型的显示设备(诸如，TV、监视器、PC、一体机、平板PC、电子相框和便携式手机)。

图像输入器110接收图像。图像输入器110可从各种外部装置(诸如，外部存储介质、广播站、web服务器等)接收图像。在此，“输入图像”可以是单视图图像、立体图像和多视图图像之中的任何一个图像。单视图图像可以是由拍摄装置拍摄的，立体图像可以是仅用左眼图像和右眼图像表示的并由立体拍摄装置拍摄的3D视频图像。立体拍摄装置可以是包括两个镜头并用于拍摄3D图像的拍摄装置。此外，“多视图图像”指示通过对经由一个以上的拍摄装置拍摄的拍摄图像进行几何校正，随后进行空间合成等来向用户提供沿各种方向的各种视点的三维视频图像。

此外，图像输入器110可接收图像的深度信息。图像的深度是指分配给图像的每个像素的深度值。例如，8比特深度可具有从0至255的灰度值。例如，当基于黑/白参考来表示时，黑色(低值)可指示距用户更远的位置，白色(高值)可指示离用户更近的位置。

深度信息可以是指示3D图像的深度的信息，它与构成3D图像的左眼图像与右眼图像之间的双目视差相应。人感知到的3D感的程度会根据深度信息而不同。因此，当深度较大时，左眼与右眼之间的双目视差会增加。因此，会感知到相对更强烈的3D感。当深度较小时，左眼与右眼之间的双目视差会变更小。因此，会感知到相对更轻微的3D感。深度信息可用仅使用图像的二维特征的被动方法(诸如，立体匹配)以及使用装置(诸如，深度相机)的主动方法来获得。深度信息可以是深度图形式。“深度图”指示包括图像的每个区域的深度信息的表。可基于像素单元划分所述区域，或者将所述区域定义为大于像素单元的预设区域。根据示例性实施例，深度图可以是如下形式：基于灰度值0至255之中作为标准值的127或128(即，基于零标准(或焦平面)，将小于127或128的值表示为负(-)，并且将大于127或128的值表示为正(+)。可从0至255任意地选择焦平面的标准值。在此，负值指示凹陷，正值表示突出。

显示器120可执行提供多个光学视图(或观看区域)的功能。为此，显示器120包括显示面板121和视场划分器122，其中，显示面板121用于提供多个光学视图。

显示面板121包括多个像素，其中，所述多个像素包括多个子像素。在此，子像素可包括R(红色)、G(绿色)和B(蓝色)。因此，显示面板121可通过向着多行和多列排列包括子像素R、G、B的像素而被配置。在这种情况下，显示面板121可被实现为各种显示单元(诸如，液晶显示器(LCD)面板、等离子显示器面板(PDP)、有机发光二极管(OLED)、真空荧光显示器(VFD)、场发射显示器(FED)和电致发光显示器(ELD))。

显示面板121可显示图像帧。显示面板121可显示彼此具有不同视点的多个视图被重复地顺序排列的多视图图像帧。

当显示面板121被实现为LCD面板时，显示设备100还可包括背光和面板驱动器，其中，背光用于在显示面板121上提供背光，面板驱动器用于根据构成图像帧的像素的像素值来驱动显示面板121的像素。

视场划分器122可被排列在显示面板121的正面上，以每个观看区域提供不同视点，即，可提供光学视图。在这种情况下，视场划分器122可被实现为柱状透镜或视差屏障(parallax barrier)

例如，视场划分器122可被实现为包括多个透镜区域的柱状透镜。由此，柱状透镜可通过多个透镜区域来折射显示在显示面板121上的图像。每个透镜区域可按照与至少一个像素相应的尺寸被形成。因此，透过每个像素的光在每个观看区域可被不同地分布。

作为另一示例，视场划分器122可被实现为视差屏障。视差屏障可被实现为包括多个屏障区域的透明狭缝阵列。由此，通过使用屏障区域之间的狭缝阻断光，可发出在每个观看区域彼此具有不同视点的图像。

图3B解释根据示例性实施例的视场划分器122被实现为柱状透镜阵列。

参照图3B，显示器120包括显示面板121、柱状透镜阵列122’和背光123。

在图3B中，显示面板121包括被划分为多列的多个像素。彼此具有不同视点的图像可按列排列。参照图2A、图2B和图3B，彼此具有不同视点的多个图像1、2、3、4、5被顺序重复并按循环形式被排列。因此，与正常观看区域(或正常观看区段)相应的每个像素列可被排列为编号组1、2、3、4、5。施加在面板上的图形信号可被排列为使像素列1显示第一图像，像素列2显示第二图像。

背光123可向显示面板121提供光。在从背光123提供光的情况下，可通过柱状透镜阵列122’使形成在显示面板121上的图像1、2、3、4、5被分别发出，并且通过柱状透镜阵列122’发出的图像1、2、3、4、5的光可被分布并传送给用户。因此，柱状透镜阵列122’可在用户位置(即，在观看距离)产生出射光瞳。如所示，当被实现为柱状透镜阵列时的透镜的深度和直径或当被实现为视差屏障时的狭缝的间隔可被设计为使由每列产生的出射光瞳可按照小于65毫米的平均双目中心距离而被分离。分离的图像光可分别形成观看区域。因此，如图3B中所示，当多个光学视图形成在观看区域上时并且当用户的左眼和右眼位于彼此不同的光学视图上时，可观看到3D图像。

视场划分器122可在按一角度倾斜时进行操作以增强图像质量。处理器130可基于视场划分器122的倾斜角度，分别对多个渲染后的视图进行划分，并且将多个划分后的视图进行组合并产生将被输出的多视图图像帧。由此，用户可能无法观看到沿显示面板121的子像素的垂直方向或水平方向的显示的图像，但是可观看到沿一方向倾斜的区域。因此，用户可观看到每个子像素的部分，而非观看到整个子像素。例如，如图3D中所示，当假设提供5个视点时，可对输出的图像进行渲染从而输出像素值，其中，多个子像素中的至少部分子像素与多个视图相应。在这种情况下，当用户的右眼观看到视点1图像，左眼观看到视点2图像时，用户的右眼可观看到与视点1相应的倾斜区域10，左眼可观看到与视点2相应的倾斜区域20。然而，图3D示出渲染后的图像的示例。相应地，视图的数量、渲染间距等可根据示例性实施例而不同地被实现。

再次参照图3A，处理器130可控制显示设备100的总体操作。

首先，处理器130可对彼此具有不同视点的多个视图进行渲染。

当输入图像是2D图像时，处理器130可基于从2D/3D转换提取的深度信息对彼此具有不同视点的多个视图进行渲染。此外，当彼此具有不同视点的N个视图和N个相应的深度信息被输入时，处理器130可基于N个输入的视图和深度信息之中的至少一个图像和深度信息来对多视图图像进行渲染。当仅输入了彼此具有不同视点的N个视图时，处理器130可从N个视图提取深度信息，并基于提取的深度信息对多视图图像进行渲染。

例如，处理器130可通过在3D图像之中(即，左眼图像和右眼图像之中)选择一个作为标准视图(或中心视图)，产生最左侧视图和最右侧视图作为针对多视图图像的基础。在这种情况下，处理器130可基于与左眼图像和右眼图像中的被选为标准视图的一个图像相应的补偿后的深度信息来产生最左侧视图和最右侧视图。当产生了最左侧视图和最右侧视图时，处理器130可通过在中心视图与最左侧视图之间产生多个内插视图并在中心视图与最右侧视图之间产生多个内插视图来对多视图图像进行渲染。然而，示例性实施例不限于此。相应地，处理器可根据外插法来产生外插视图。当基于2D图像和深度信息来对多视图图像进行渲染时，可将2D图像选为中心视图。

以上描述的渲染操作是示例性实施例中的一个。除了以上描述的渲染操作之外，其它各种方法也可对多个视图进行渲染。根据不同情况，处理器130可根据各种标准来基于深度信息对输入图像的深度进行调整。在这种情况下，处理器130可基于深度已被调整的图像来对多个视图进行渲染。

处理器130可基于构成多个彼此具有不同视点的渲染后的视图的子像素值，产生将被显示在显示器120上的多视图图像。

处理器130可根据视场划分器122的倾斜角度，对多个渲染后的视图中的每个渲染后的视图进行划分，并且按照循环映射形式来组合这些视图并产生将被输出的多视图图像。

处理器130可通过以下操作来产生多视图图像：根据上述循环映射方法扩大正常观看区域(或正常观看区段)并调整构成多个视图的像素值，以使根据正常观看区域的扩大而在反向观看区域(或反向观看区段)出现的视图跳跃区域的视图跳跃量满足预设阈值。在此，“预设阈值”可被确定为使用户无法察觉到视图跳跃的值，并且“预设阈值”可凭实验获得。“视图跳跃区域”是在反向观看区域与正常观看区域之间发生的视图的视点差根据正常观看区域的扩大而变得更大的区域。

根据示例性实施例，处理器130可通过以下操作来产生多视图图像：扩大基于核线图像而产生的核线域上的正常观看区域，并调整构成多个视图的像素值，以使根据正常观看区域的扩大而在反向观看区域上出现的视图跳跃区域的视图跳跃量满足预设阈值，其中，核线图像包括多个渲染后的视图中的每个渲染后的视图的统一像素线。

根据另一示例性实施例，处理器130可基于视图的数量和视图之间的深度差来对多个视图进行渲染，以使正常观看区域可在对多个视图进行渲染时被扩大，并且处理器130可基于构成多个渲染后的视图的像素值来产生多视图图像。处理器130可计算视图的数量和视图之间的深度差，以使正常观看区域可根据循环映射方法基于输入图像的深度而被扩大，并且处理器130可基于计算出的深度差对多个视图进行渲染。在这种情况下，多视图图像可在不需要单独图像处理的情况下在核线域上被产生。

如上所述，处理器130可基于使视图跳跃区域的视图跳跃量对用户而言不显著而设立的预设阈值来计算与在正常观看区域上提供的彼此具有不同视点的多个视图之间的深度差相应的阈值斜率值。

在这种情况下，处理器130可基于输入图像的深度斜率和计算出的阈值斜率之间的差，通过使用输入图像的深度斜率和计算出的阈值斜率之中的至少一个来处理输入图像，以产生多视图图像。

此外，当输入图像的深度斜率大于计算出的阈值斜率值时，处理器130可使用计算出的阈值斜率值来处理输入图像，以产生多视图图像。

此外，当输入图像的深度斜率大于计算出的阈值斜率值时，但是当操作在维持输入图像的深度斜率的显示模式(例如，电影播放模式)下进行时，处理器130可使用计算出的阈值斜率值仅补偿反向观看区域的深度斜率。

此外，当输入图像的深度斜率小于计算出的阈值斜率值时，处理器130可根据输入图像的深度斜率来额外地扩大反向观看区域。

此外，处理器130可基于通过用户命令建立的3D感，根据循环映射方法来扩大正常观看区域，基于根据所述扩大而出现的视图跳跃区域的预设阈值来计算正常观看区域的阈值斜率，并基于所述计算来产生多视图图像。

此外，处理器130可通过对在核线图像的视图跳跃区域上发生的视图之间的深度差进行平滑来产生多视图图像。在这种情况下，处理器130可基于包括在视图跳跃区域中的视图之间的深度差和包括在视图跳跃区域中的边缘信息来调整平滑强度。例如，当视图之间的深度差较大时或当存在很多包括在视图跳跃区域中的边缘时，可增大平滑强度。

处理器130可根据循环映射方法将与反向观看区域和下一正常观看区域之间出现的视图跳跃区域相应的两个视点视图的像素值进行组合，并通过将组合像素值与相应的视点视图进行映射来对视图跳跃区域进行平滑。在这种情况下，处理器130可计算R、G、B之中的子像素单元上的组合像素值，并通过将计算出的组合像素值与相应子像素区域进行映射来对相应区域进行平滑。

例如，当在视图3与视图1之间发生视图跳跃时，处理器130可将与视图3相应的R子像素值和与视图1相应的R子像素值进行组合，并计算组合像素值。因此，处理器130可通过将计算的值与相应于视图3的R子像素和相应于视图1的R子像素进行映射来处理所述平滑。

在这种情况下，处理器130可通过将预设权重应用到将被平滑的像素区域上来计算组合像素值。在此，所述预设权重可基于包括在视图跳跃区域中的视图之间的深度差和包括在视图跳跃区域中的边缘信息而被不同地设立。

此外，在计算组合像素值中涉及的视点视图可包括邻近视点视图以及与视图跳跃区域相应的视点视图。例如，当在视图3与视图1之间发生视图跳跃时，处理器130可通过将预设权重不仅应用到视图3还应用到和作为与视图3邻近的视图的视图2和视图4相应的子像素区域来计算组合像素值。在此，所述预设权重可以以诸如拉普拉斯滤波器、高斯滤波器、平滑滤波器等的形式被应用。

在这种情况下，处理器130可在核线域中可被平滑的视图跳跃区域附近设立二维区域或三维区域，并通过将所述预设权重应用到设立的区域来计算组合像素值。因此，考虑到核线域的特征，当三维区域基于核线域中的选择的视点视图的子像素区域被设立时，处理器130可设立包括分别与视点视图和邻近视点视图相应的源像素区域的区域。

此外，处理器130可通过将预设滤波器应用到在核线域中设立的三维区域来计算应用了所述预设权重的组合像素值。在此，虽然示例性实施例不限于此，但是所述预设滤波器可以是双线性插值形式。

图3C是示出根据另一示例性实施例的多视图图像显示设备200的构成的框图。

参照图3C，多视图图像显示设备200包括图像输入器110、显示器120、处理器130和存储器140。在图3C中示出的图像输入器110、显示器120和处理器130与图3A中示出的那些相同，为了简洁起见，以下将不对这些元件进行进一步地解释。

存储器140可存储关于在视图跳跃区域上用户无法察觉到视图跳跃的深度量的信息以及可凭实验获得的相应阈值。

此外，存储器140可存储与在正常观看区域上提供的彼此具有不同视点的多个视图之间的深度差相应的阈值斜率值，以使视图跳跃区域的视图跳跃量满足预设阈值。存储器140可按照输入图像的深度(或按照对象的深度)存储与在正常观看区域上提供的彼此具有不同视点的多个视图之间的深度差相应的阈值斜率值。

在这种情况下，处理器130可通过基于在输入图像的深度斜率与存储在存储器140上的阈值斜率之间的差来用输入图像的深度斜率和所述阈值斜率之中的至少一个对输入图像进行处理，以产生多视图图像。

此外，当输入图像的深度斜率大于所述阈值斜率值时，处理器130可通过用所述阈值斜率值对输入图像进行处理来产生多视图图像。

此外，当输入图像的深度斜率大于所述阈值斜率时，但是当操作在维持输入图像的深度斜率的显示模式(例如，电影播放模式)下进行时，处理器130可使用所述阈值斜率值仅补偿反向观看区域的深度斜率。

此外，当输入图像的深度斜率小于所述阈值斜率值时，处理器130可根据输入图像的深度斜率来额外地扩大正常观看区域。

此外，处理器130可按照以下方式产生多视图图像：基于根据经由用户接口输入的用户命令建立的3D感，根据循环映射方法来扩大正常观看区域。例如，当用户建立了期望的3D感时，处理器130可根据由用户建立的3D感来扩大或减小正常观看区域。

此外，根据示例性实施例，用户接口可提供用于选择是否应用功能的菜单。用户接口也可提供用于根据内容类型、观看时间和用户中的至少一个选择是否应用功能的菜单。

此外，存储器140可存储关于每个深度区段的信息以向用户提供统一的3D感(JNDD：最小可觉深度差)。例如，当8比特深度具有0至255的灰度值时，范围内的值会被察觉为一致深度，而非0至255内的每个值被用户察觉为具有不同的3D感。在0至8区段中的深度值可向用户提供一致3D感，在9至16区段中的深度值可向用户提供另一一致3D感受。在此，可凭实验获得关于向用户提供一致3D感受的每个深度区段的信息。

在这种情况下，当确定用户无法察觉到视图跳跃的预设阈值时，处理器130可利用上述JNDD。例如，当确定凭实验获得的关于视图跳跃的非可察觉的值时，可使用与提供一致3D感的深度区段上的焦平面相距的深度值来设立所述预设深度值。

图4是示出根据示例性实施例的用于产生核线图像430的方法的示图。

参照图4，假设对具有高度h和宽度w的5个多视图图像进行渲染。

在这种情况下，可通过将5个多视图图像411至414中的每个多视图图像中的每个像素线进行组合而产生与每个像素线相应的核线图像。如所示，可通过将5个多视图图像411至414中的每个多视图图像中的第一像素线进行组合而产生第一图像421，可通过将5个多视图图像411至414中的每个多视图图像中的第a个像素线进行组合而产生第a个图像422。可通过将与像素线的数量相应的h个产生的图像顺序地组合来产生核线图像430。

在这种情况下，预设形式的线可根据对象的深度大小(即，像素区域的深度大小)而呈现在与每个像素线相应的图像中。例如，关于对象A(●)，由于深度为零，所以在5个多视图图像中位置彼此统一。然而，关于对象B(△)，由于深度具有预设大小，所以位置在N个多视图图像中被逐渐修改，这种位置修改可按照预设线形式432呈现。参照附图，与具有零深度值的对象A(●)相应的线可呈现为垂直形式431。与具有预设大小的深度值的对象B(△)和对象C(×)相应的线可呈现为偏斜对角形式433。

图5A和图5B是示出根据示例性实施例的用于产生核线域520的方法的示图。

参照图5A，关于每个像素线，可产生包括图像510(宽度w＝1920且高度h＝1080)的统一像素线的核线图像，并且可将与像素线分别相应的1080个产生的核线图像进行组合。因此，可产生图5B中示出的核线域520。

图6是示出根据示例性实施例的用循环映射方法构成的核线域600的示图。

参照图6，核线域600可以是下述形式：在Z轴(视图轴)上分别排列彼此具有不同视点的多个渲染后的视图。此外，每个视图的宽度和高度可分别构成X轴和Y轴(宽度轴和高度轴)。因此，组合了多个视图中的每个视图的统一像素线的图像可构成X-Z轴(即，宽度-视图轴)。例如，多个视图中的每个视图的统一像素线可构成Z轴(即，视图轴)。

由此，当从Z轴(视图轴)观看用循环映射方法构成的核线域时，图像可被获得，其中，在正常观看区域的视图1区(VZ1)中深度增加，在反向观看区域的视图2区(VZ2)中深度减小，在正常观看区域的视图3区(VZ3)中深度增加，在反向观看区域的视图4区(VZ4)中深度减小。因此，可获得图7中所示的图像。

图7、图8、图9A、图9B、图9C、图10A和图10B是示出根据示例性实施例的用于扩大正常观看区域的方法的示图。

图7是示出根据示例性实施例的从核线域的一侧观看到的图像的示图。

参照图7，可在正常观看区域的VZ1上按照视图差增加的形式分别排列渲染后的视图。根据示例性实施例，可通过与循环映射方法不同地扩大正常观看区域来减小相对而言发生疲劳的反向观看区域。

然而，如所示，当扩大正常观看区域的VZ1时，在相邻的反向观看区域的VZ2以及正常观看区域的VZ3之间会发生视图跳跃。

如图8中所示，视图跳跃区域在3D感强烈的像素区域1310上会大，在3D感轻微的像素区域1320上会小。

然而，3D感强烈的像素区域上的视图跳跃区域可能与无法正常观看到3D的死区相应。因此，相应区域可被平滑。

图9A至图9C是示出根据示例性实施例的用于扩大正常观看区域的方法的示图。

图9A是示出根据循环映射方法的视图映射方法的示图。如所示，视图1至视图5可按视点增加的方向被顺序映射，沿视点减小的方向被顺序映射，并再次沿视点增加的方向被顺序映射。可通过重复以上处理来产生多视图图像。

图9B是示出根据改进的循环映射方法的视图映射方法的示图。如所示，通过扩大正常观看区域，视图1至视图6可按照视点增加的方向被顺序映射，按照视点减小的方向被顺序映射，并按照视点增加的方向被顺序映射。可通过重复以上顺序映射来产生多视图图像。在这种情况下，由于反向观看区域的减小，在反向观看区域中可仅顺序地映射视图6至视图3(图9B)或视图7至视图5(图9C)。因此，在图9B的映射方法中，在视图3与下一正常观看区域开始的视图1之间可能出现视图跳跃区域。同样地，在图9C的映射方法中，在视图5与下一正常观看区域开始的视图1之间可能出现视图跳跃区域。

由此，在发生视图跳跃的区域上可处理视图之间的平滑。可通过将与根据循环映射方法在反向观看区域与下一正常观看区域之间出现的视图跳跃区域相应的两个视点视图的像素值进行组合并将组合像素值与相应视点视图相映射来执行所述平滑。例如，参照图9B，可通过将与视图3相应的像素值和与视图1相应的像素值进行组合，计算组合像素值并再次将计算后的值与视图3和视图1映射来对相应跳跃区域执行所述平滑。在这种情况下，处理器130可通过将预设权重应用到所述平滑将被处理的像素区域上来计算组合像素值。因为以上已经描述了对视图跳跃区域执行的平滑方法，所以为了简洁起见，以下将不对这进行进一步地解释。

图10A示出在视图平滑处理之前的核线图像，图10B示出在视图平滑处理之后的核线图像。如所示，在平滑处理之后，视图之间的间隔在视图跳跃区域上不是极其显著的。因此，当观看3D时可减少疲劳。

图11A、图11B、图12A和图12B是示出根据另一示例性实施例的用于扩大正常观看区域的方法的示图。

参照图11A，a_in是与输入图像的3D感相应的斜率，a_th是先前针对正常观看区域的扩大而设立的预设阈值斜率。

如图11A中所示，当与输入图像的3D感相应的斜率a_in大于等于预设阈值斜率a_th时，a_in可被改变为a_th，b_in可被改变为b_th，以使根据正常观看区域的扩大的负面影响最小化。

例如，如图12A中所示，与输入图像的3D感相应的正常观看区域的斜率a_in可被调整为阈值斜率a_th。此外，反向观看区域的斜率可被相应地设立。在这种情况下，可通过维持作为预设阈值的c_th来减小视图跳跃区域上的观看疲劳，使得对于用户而言在视图跳跃区域上视图跳跃不显著。

然而，当根据内容的特征(例如，在电影内容的情况下)期望维持输入图像的3D感时，可如图11B所示原样使用a_th。在这种情况下，当b_in也被使用时，反向观看区域的深度差可能很大，并且可强烈地感受到观看疲劳。因此，b_in可被修改为b_th，并可执行视图跳跃区域上的视图之间的平滑。在此，平滑值可被确定为|b_in-b_th|或|b_in(M+N)-Vmax|。在这种情况下，M是包括在正常观看区域中的视图的数量，N是包括在反向观看区域中视图的数量，V_max是视图的最大数量。

例如，当与输入图像的3D感相应的正常观看区域的斜率a_in等于或大于预设阈值a_th时，如图12B中所示，如果维持a_in，则视图跳跃区域的视图跳跃量可超出预设阈值c_th。因此，用户会在相应区域上感受到过度疲劳。在这种情况下，可通过对相应视图跳跃区执行平滑来平滑地连接视图跳跃区段，并且观看疲劳感能够被降低。

当b(M+N)小于V_max时，可将斜率b和斜率a设置为彼此相等。

图13A和图13B是示出根据另一示例性实施例的用于扩大正常观看区域的方法的示图。

参照图13A和图13B，当维持反向观看区域的阈值斜率b_th时，可有所变化地调整正常观看区域的斜率a_th和正常观看区域的大小。

例如，当与输入图像的3D感相应的反向观看区域的斜率b_in等于或大于预设阈值斜率b_th时，如图13B所示，可减小正常观看区域。此外，当b_in小于b_th时，可扩大正常观看区域。在此，可基于线L1与线L2之间的交点来确定减小的正常观看区域的值。

此外，为了防止光学视图V_p沿时间方向抖动，可应用根据以下数学表达式的时间平滑滤波器的值“a”。

【数学表达式1】

平滑滤波器：

图14A和图14B是示出根据另一示例性实施例的用于调整正常观看区域的方法的示图。

参照图14A，当与输入图像的3D感相应的正常观看区域的斜率a_in小于预设阈值a_th时，可额外地扩大正常观看区域。可朝着斜率a_in满足反向观看区域的预设阈值斜率b_th的点来扩大正常观看区域。

此外，参照图14B，当与输入图像的3D感相应的正常观看区域的斜率a_in等于或大于预设阈值a_th时，并且当a_in被维持(例如，电影模式)时，可减小正常观看区域。可朝着斜率a_in满足反向观看区域的阈值斜率b_th的点来减小正常观看区域。

图15是示出根据示例性实施例的多视图图像显示设备的控制方法的流程图。

根据图15中的多视图图像显示设备的控制方法，在操作S1510，多视图图像显示设备基于输入图像的深度对彼此具有不同视点的多个视图进行渲染。

在操作S1520，多视图图像显示设备基于构成所述多个视图的像素值来产生多视图图像。在这种情况下，根据循环映射方法的正常观看区域可被扩大，并且可通过调整构成多个视图的像素值以使根据正常观看区域的扩大而在反向观看区域上出现的视图跳跃区域的视图跳跃量满足预设阈值，以产生多视图图像。

在操作S1530，多视图图像显示设备显示产生的多视图图像。

在此，多视图图像显示设备可包括：显示面板，显示多视图；视场划分器，排列在显示面板的正面以在用户的观看区域上提供彼此具有不同视点的光学视图。在产生多视图图像时使用的多个视图的数量可大于光学视图的数量。

此外，在产生多视图图像的操作S1520中，可在基于包括多个视图中的每个视图的统一像素线的核线图像而产生的核线域上扩大正常观看区域，并可通过调整构成多个视图的像素值以使根据正常观看区域的扩大而在反向观看区域上出现的视图跳跃区域的视图跳跃量满足预设阈值，以产生多视图图像。

此外，在产生多视图图像的操作S1520中，使得正常观看区域可被扩大的关于多个视图的数量和视图之间的深度差可基于输入图像的深度而被计算，可基于以上计算来对多个视图进行渲染，并且基于构成多个视图的像素值来产生多视图图像。

此外，在产生多视图图像的操作S1520中，可通过对在视图跳跃区域上发生的视图之间的深度差自适应地执行平滑来产生多视图图像。

此外，在产生多视图图像的操作S1520中，可计算出与在正常观看区域上提供的彼此具有不同视点的多个视图之间的深度差相应的、被设立以使视图跳跃区域的视图跳跃量满足预设阈值的阈值斜率值。此外，可基于输入图像的深度斜率与计算出的阈值斜率之间的差，通过使用输入图像的深度斜率和所述阈值斜率之中的至少一个对输入图像进行处理，以产生多视图图像。

此外，多视图图像显示设备可存储阈值斜率值，其中，该阈值斜率值被设立以使视图跳跃区域的视图跳跃量满足预设阈值并且该阈值斜率值与在正常观看区域上提供的彼此具有不同视点的多个视图之间的深度差相应。在这种情况下，在产生多视图图像的操作S1520中，可基于输入图像的深度斜率与预存储的阈值斜率之间的差，通过使用输入图像的深度斜率和预存储的阈值斜率之中的至少一个对输入图像进行处理，以产生多视图图像。

此外，在产生多视图图像的操作S1520中，当输入图像的深度斜率大于所述阈值斜率时，可使用所述阈值斜率对输入图像进行处理。然而，当输入图像的深度斜率大于所述阈值斜率时，但是当操作在维持输入图像的深度斜率的显示模式下进行时，可使用以上阈值斜率值仅对反向观看区域的深度斜率进行补偿。

此外，在产生多视图图像的操作S1520中，当输入图像的深度斜率小于所述阈值斜率时，可根据输入图像的深度斜率额外地扩大正常观看区域。

根据以上示例性实施例，可为用户服务更清楚的3D图像，这是因为当利用循环映射方法时，扩大了正常观看区段并且在由于正常观看区的扩大而可能出现的视图跳跃区段上提供了平滑的视图转换。

此外，也可通过用于控制至少一个处理元件来实现任何上述示例性实施例的介质(例如，计算机可读介质)上的计算机可读代码和/或指令来实现所述示例性实施例。所述介质可与可用作存储器和/或执行计算机可读代码的传输的任何介质或媒介相应。

计算机可读代码可以以各种方式记录在所述介质上和/或在所述介质上传输，所述介质的示例包括：记录介质，诸如，磁存储介质(诸如，ROM、软盘、硬盘等)和光学记录介质(诸如，致密盘只读存储器(CD-ROM)或数字通用盘(DVD))；传输介质，诸如，互联网传输介质。因此，所述介质可具有适合存储或携带信号或信息的结构，诸如，携带根据一个或更多个示例性实施例的比特流的装置。所述介质也可在分布式网络上，使得计算机可读代码以分布式被存储在所述介质上和/或在所述介质上传输并被运行。此外，处理元件可包括处理器或计算机处理器，并且处理元件可被分布和/或包括在单个装置中。

前述示例性实施例是示例，并且不应被解释为限制。本教导可被容易地应用到其它类型的设备。此外，示例性实施例的描述意图是示意性地，而非限制权利要求的范围，很多替换形式、修改和变化对于本领域技术人员而言将是清楚的。

Claims (15)

1.一种多视图图像显示设备，包括：

图像输入器，被配置为接收图像；

显示器，被配置为显示基于接收的图像而产生的多视图图像；

处理器，被配置为：

基于接收的图像的深度，对具有不同视点的视图进行渲染；

基于循环映射来扩大正常观看区域；

调整视图的像素值，以使由于正常观看区域的扩大而在反向观看区域上出现的视图跳跃区域的视图跳跃量等于预设阈值；

基于调整后的像素值来产生多视图图像。

2.如权利要求1所述的多视图图像显示设备，其中，显示器包括：显示面板，被配置为显示多视图图像；视场划分器，被布置在显示面板的正面，其中，视场划分器被配置为在用户的观看区域上提供具有不同视点的光学视图，

在产生多视图图像时使用的视图的数量大于所述光学视图的数量。

3.如权利要求1所述的多视图图像显示设备，其中，处理器还被配置为：扩大基于核线图像而产生的核线域上的正常观看区域，其中，核线图像包括视图中的每个视图的统一像素线。

4.如权利要求1所述的多视图图像显示设备，其中，处理器还被配置为：

基于接收的图像的深度来计算将被用于扩大正常观看区域的视图的数量和视图之间的深度差；

基于所述计算来对视图进行渲染。

5.如权利要求1所述的多视图图像显示设备，其中，处理器还被配置为：

对在视图跳跃区域上发生的视图之间的深度差进行平滑；

还基于平滑后的深度差来产生多视图图像。

6.如权利要求1所述的多视图图像显示设备，其中，处理器还被配置为：

基于所述预设阈值来计算与在正常观看区域上提供的视图之间的深度差相应的阈值斜率；

基于接收的图像的深度斜率与所述阈值斜率之间的差，使用接收的图像的深度斜率与所述阈值斜率中的至少一个对接收的图像进行处理；

基于处理后的图像来产生多视图图像。

7.如权利要求1所述的多视图图像显示设备，还包括：

存储器，被配置为存储基于所述预设阈值确定的与在正常观看区域上提供的视图之间的深度差相应的阈值斜率，

其中，处理器还被配置为：

基于接收的图像的深度斜率与所述阈值斜率之间的差，使用所述深度斜率与所述阈值斜率之中的至少一个对接收的图像进行处理；

基于处理后的图像来产生多视图图像。

8.如权利要求7所述的多视图图像显示设备，其中，处理器还被配置为：

确定所述深度斜率是否大于所述阈值斜率；

响应于处理器确定所述深度斜率大于所述阈值斜率，使用所述阈值斜率对接收的图像进行处理。

9.如权利要求7所述的多视图图像显示设备，其中，处理器还被配置为：

确定所述深度斜率是否大于所述阈值斜率以及多视图图像显示设备是否在维持所述深度斜率的显示模式下进行操作；

响应于处理器确定所述深度斜率大于所述阈值斜率并且多视图图像显示设备在所述显示模式下进行操作，使用所述阈值斜率对反向观看区域的深度斜率进行补偿。

10.如权利要求7所述的多视图图像显示设备，其中，处理器还被配置为：

确定所述深度斜率是否小于所述阈值斜率；

响应于处理器确定所述深度斜率小于所述阈值斜率，基于接收的图像的所述深度斜率来扩大正常观看区域。

11.如权利要求1所述的多视图图像显示设备，还包括：

用户接口，被配置为接收用户命令；

其中，处理器还被配置为基于循环映射和基于用户命令而确定的3D感来扩大正常观看区域。

12.一种多视图图像显示设备的控制方法，所述方法包括：

基于接收的图像的深度，对具有不同视点的视图进行渲染；

基于循环映射，扩大正常观看区域；

调整视图的像素值，以使由于正常观看区域的扩大而在反向观看区域上出现的视图跳跃区域的视图跳跃量等于预设阈值；

基于调整后的像素值来产生多视图图像；

显示多视图图像。

13.如权利要求12所述的控制方法，还包括：

在用户的观看区域上提供具有不同视点的光学视图，

其中，在产生多视图图像时使用的视图的数量大于所述光学视图的数量。

14.如权利要求12所述的控制方法，其中，扩大正常观看区域的步骤包括：扩大基于核线图像而产生的核线域上的正常观看区域，其中，核线图像包括视图中的每个视图的统一像素线。

15.如权利要求12所述的控制方法，还包括：基于接收的图像的深度来计算将被用于扩大正常观看区域的视图的数量和视图之间的深度差，

其中，渲染步骤包括：基于所述计算来对视图进行渲染。

Images