CN102469326A - 三维图像显示装置和方法 - Google Patents

Abstract

公开了三维图像显示装置和方法。一般地，根据一个实施例，三维图像显示装置包括显示单元和生成单元。显示单元包含二维图像显示设备和多个光线控制元件，二维图像显示设备包含具有以矩阵排列的多个像素的显示表面，光线控制元件与像素相对应地设置在二维图像显示设备的显示表面上。生成单元通过根据生成的图像或输入的图像的至少两个像素的值的加权和以及基于表示来自光线控制元件的光线的方向和散射程度的光线分布计算的权重来确定至少一个像素的值，来生成最佳元素图像。显示单元显示最佳元素图像。

Description

三维图像显示装置和方法

技术领域

这里描述的实施例一般涉及三维图像显示装置和方法。

背景技术

最近开发了用于显示可通过裸眼观察的三维图像的装置。一种这种装置利用了积分成像(II)方案，该方案允许观察图像，使得其示像根据观察者的视点的变化而改变。在II显示装置中，在常规的二维图像显示器的前面设置用于控制光线的方向和分布的诸如透镜和挡板的多个光线控制元件，以对于右眼和左眼产生不同图像并因此产生立体效果。

但是，II方案具有当从一定的视点观看图像时可出现多重图像和模糊的缺点。该效果将被称为“多重模糊”。

发明内容

实施例提供了用于减少多重模糊图像的三维图像显示装置和方法。

根据一个实施例，一种三维图像显示装置包括显示单元和最佳元素图像生成单元。显示单元包含二维图像显示设备和多个光线控制元件，所述二维图像显示设备包含具有以矩阵排列的多个像素的显示表面，所述光线控制元件依据作为显示数据项的元素图像的位置，与像素相对应地设置在二维图像显示设备的显示表面上。光线控制元件控制来自像素的光线。最佳元素图像生成单元通过根据生成的图像或输入的图像的至少两个像素的值的加权和以及基于表示来自光线控制元件的光线的方向和散射程度的光线分布计算的权重来确定至少一个像素的值，来生成最佳元素图像，其中，生成的图像或输入的图像是作为试验性元素图像的初始元素图像。显示单元显示最佳元素图像。

根据实施例，能够提供用于减少多重模糊图像的三维图像显示装置和方法。

附图说明

图1是示出三维图像显示装置的示例性示意图；

图2是示出三维图像显示装置的一部分的示意性放大图；

图3是可用于解释如何观察II方案的三维图像的示例性概念图；

图4是示出元素图像和平铺图像之间的关系的示例性概念图；

图5是可用于解释多重模糊图像的原因的示例性示图；

图6是示出出现多重模糊的状态的示例性概念图；

图7是示出根据第一实施例的三维图像显示装置的示例性框图；

图8是示出根据第一实施例的三维图像显示装置的操作例子的示例性流程图；

图9是示出根据第一实施例的三维图像显示装置的硬件配置的示例性示图；

图10是示出根据第二实施例的三维图像显示装置的示例性框图；

图11是示出根据第二实施例的三维图像显示装置的操作例子的示例性流程图；

图12是示出在第二实施例中使用的问题解决方法的示例性概念图；

图13是可用于解释第二实施例中的处理的内容的示例性示图；

图14是示出根据第三实施例的三维图像显示装置的示例性框图；

图15是示出根据第三实施例的三维图像显示装置的操作例子的示例性流程图；

图16是示出根据第四实施例的三维图像显示装置的示例性框图；

图17是示出根据第四实施例的三维图像显示装置的操作例子的示例性流程图；以及

图18是示出根据第四实施例的三维图像显示装置的外观的示例性示图。

具体实施方式

现在参照附图详细描述实施例的三维图像显示装置和方法。在实施例中，类似的附图标记表示类似的元素，并且，避免重复的解释。

首先参照图1～6，描述多重模糊图像的出现的原理。

如上面提到的那样，在并入II方案的三维图像显示装置100中的二维图像显示装置101的前面，设置作为用于向右眼和左眼发送不同图像的光线控制元件102的阵列的透镜阵列。特别地，使用用于仅水平地控制光线的透镜片材的方案被称为一维II(以下，1D-II)方案。图2是图1所示的区域103的放大图。如图2所示，从二维图像显示装置(诸如液晶显示器或CRT显示器)的像素发射的光线进入透镜201，在这里，在它们的行进方向和分布受到控制的情况下，它们被输出到显示器的前表面。如图3所示，到达观察者的眼睛的光线导致观察者通过双目视差感觉如同沿显示装置的深度存在物体。即，观察者观察到立体模型。图2中的视差号是被分配给相对于透镜位于同一位置的像素的号码。例如，在透镜上设定预设的基准点，并且，用作视差号的序列号被分配给依次定位的像素。并且以下，视差号的最大号将被称为视差计数，要在显示表面上照射的显示数据被称为元素图像，并且，包含相应视差号的像素的图像被称为平铺图像(参见图4)。由图4中的“A”～“F”表示的例子中的每一个包括包含具有视差号(1)、(2)和(3)的三个像素202的单个元素图像。并且，在图4中，每个平铺图像具有宽度3和高度2。

将描述在一定视点到达观察者的一只眼睛的光。为了有利于描述，作为例子描述1D-II方案。图5示出了存在一个透镜201和三个平铺图像的情况下的光线分布，并且，每个平铺图像的宽度和高度均为1(在这种情况下为1个像素)。从一个像素发射的光线进入透镜并在受控方向上被输出。由于光线被散射，如图5所示，在距离透镜的一定距离处测量的其强度在一定范围内分布。在图5中，横轴表示位置，并且，纵轴表示强度。具体而言，附图标记506表示像素501的光线分布，附图标记505表示像素502的光线分布，并且，附图标记504表示像素503的光线分布。当观察者从一定视点观察该透镜时，到达他们的眼睛的光是根据光线分布的像素的值的混合(表示例如混合色)。例如，当从位置507观察透镜时到达眼睛的光是像素501、502和503的值的加权和，所述加权和是使用在位置507假定的光线分布的值508、509和510作为各个权重获得的。

并且，在多个透镜的情况下，当从一定视点由一只眼睛观察II三维图像显示装置时获得的观察图像是当平铺图像的像素在该视点处与它们的光线强度分布重叠时获得的重叠图像。如上所述，每个平铺图像在位置上与物体对应地偏移以提供双目视差效果。因此，通过重叠平铺图像而获得的图像不可避免地具有多重模糊。例如，如图6所示，如果每个平铺图像被设为通过从不同位置捕获同一物体的图像而获得的图像的组合，那么从一定视点看到的观察图像是从不同位置捕获的图像的组合，并因此具有多重模糊。由于光线分布由此根据视点而改变，从不同视点获得不同观察图像。

虽然在本实施例中描述了视差计数为3的示例性情况，但是，视差计数可被设为任意值。例如，它可被设为9。并且，在这种情况下，可以给出与以上类似的描述。

(第一实施例)

然后参照图7，描述根据第一实施例的三维图像显示装置700。图7是示出三维图像显示装置700的框图。

第一实施例的三维图像显示装置700包含最佳元素图像生成单元701和显示单元702。最佳元素图像生成单元701生成最佳元素图像。显示单元702包含二维显示装置101和光线控制元件102。

最佳元素图像生成单元701接收初始元素图像751，并且基于初始元素图像751来生成最佳元素图像752。初始元素图像751是通过在例如JP-A 2004-212666(KOKAI)中公开的方法生成的元素图像。作为替代方案，最佳元素图像生成单元701可基于例如在生成初始元素图像之前准备的原始图像来生成最佳元素图像752。最佳元素图像生成单元701基于作为生成或接收的试验性元素图像的初始元素图像751的两个或更多个像素值的加权和以及根据光线分布计算的权重，来确定至少一个像素值，由此变换初始元素图像751，使得不在观察的图像中出现多重模糊，以生成最佳元素图像752。

显示单元702包含二维显示装置101和光线控制元件102。二维显示装置101具有上面的多个像素以矩阵排列的显示表面，并且在二维表面上显示图像。光线控制元件102在与作为像素的显示数据的元素图像相对应的位置被设置在二维图像显示装置的显示表面上，并且被设计成控制从像素发射的光线。

参照图7和图8，描述第一实施例的三维图像显示装置700的操作例子。图8是可用于解释第一实施例的三维图像显示装置700的操作例子的流程图。

在步骤S801中，最佳元素图像生成单元701接收初始元素图像751并且基于初始元素图像来生成最佳元素图像752。

在步骤S802中，显示单元702接收最佳元素图像752，由此向观察者显示三维图像。

然后参照图9，描述三维图像显示装置700的硬件配置。在第一实施例的三维图像显示装置700和根据后面描述的其它实施例的三维图像显示装置之间，该硬件配置是共同的。

三维图像显示装置700包含通过总线903相互连接的中央处理单元(CPU)901、显示单元702和存储器单元902。

CPU 901使用例如包含在存储器单元902中的随机存取存储器(RAM)中的预设区域作为工作区，并且根据预存储在也包含在存储器单元902中的只读存储器(ROM)中的各种控制程序来执行各种处理，由此总体控制三维图像显示装置700的部件的操作。并且，CPU 901根据预存储在存储器单元902中的预设程序来实现上述最佳元素图像生成单元701的功能。

存储器单元902包含磁性或光学可记录记录介质。存储器单元902在记录介质上记录获取的图像数据和/或经由通信单元或接口(未示出)输入的诸如图像数据的外部数据。例如，存储器单元在例如ROM中存储与三维图像显示装置700的控制相关联的程序和各种设置数据，使得它们不能被重写。并且，RAM为例如SDRAM，并且用作CPU 901的工作区并且还用作例如缓冲器。

在上述第一实施例中，通过加权和来生成不在观察的图像中提供多重模糊的最佳元素图像752，由此抑制图像中的多重模糊。

(第二实施例)

现在参照图10，描述根据第二实施例的三维图像显示装置1000。图10是示出第二实施例的三维图像显示装置1000的框图。第二实施例与第一实施例的不同在于最佳元素图像生成单元。

并入第二实施例中的最佳元素图像生成单元1001不仅接收初始元素图像751而且还接收目标图像1052，并且基于这些图像来生成最佳元素图像752。目标图像1052是在显示单元上显示的希望在观察者至少从一个视点通过一只眼睛来观看三维图像显示装置1000时被观看到的图像。

参照图10和图11，描述第二实施例的三维图像显示装置1000的操作例子。图11是可用于解释第二实施例的三维图像显示装置1000的操作例子的流程图。

在步骤S1101中，最佳元素图像生成单元1001接收初始元素图像751和目标图像1052，并且基于这些图像来生成最佳元素图像752。具体而言，最佳元素图像生成单元1001获取包含在目标图像1052中的两个或更多个像素值的加权和以及根据光线分布计算的权重，以确定至少一个像素值，由此变换初始元素图像751，使得观察到的图像接近目标图像，如图12所示，并且生成最佳元素图像752。

期望观察者从任意设定视点观看到的图像被设为目标图像。例如，如果通过从与设定视点相对应的位置捕获要在三维图像显示装置1000上显示的物体的图像而获得的视差图像选自通过从不同位置捕获物体的图像而获得的多个视差图像并且被用作目标图像，那么它不对观察者展现多重模糊。由于用于设定目标图像的视点将从该视点看到的观察图像限于目标图像，它在以下被称为限制视点。并且，目标图像不总是必须选自通过从不同位置捕获物体的图像而获得的多个视差图像。作为替代方案，目标图像可包含与物体的图像完全不同的图像。在这种情况下，最佳元素图像生成单元必须接收目标图像。换句话说，在第一实施例的三维图像显示装置700上，不能看到如果目标图像包含与初始元素图像完全不同的图像则能够在第二实施例的三维图像显示装置1000上看到的图像。相反，如果在初始元素图像中包含第二实施例的三维图像显示装置1000上的目标图像，那么也能在第一实施例的三维图像显示装置700上看到它。

描述用于计算权重并用于变换初始元素图像的方法例子。

为了有利于理解，描述图13所示的例子，其中，使用一个透镜201、一个限制视点(u₁)和三个平铺图像，并且，每个平铺图像具有宽度1和高度1。这里假定在二维图像显示装置上显示的三个平铺图像(在这种情况下，分别仅由一个像素形成)的亮度分别被设为x₁、x₂和x₃，以及表示与每个视点位置u相关联的从像素i(i＝1、2、3)发射的光线的强度分布的函数，即表示在位置u处与像素i(i＝1、2、3)相关联的光线分布的函数分别被设为a₁(u)、a₂(u)和a₃(u)。从视点u₁观看的观察图像由单个像素形成，并且该单个像素的亮度y(u₁)由下式(1)给出。

$y\left(u_1\right)=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{a}_i\left(u_1\right)x_i---\left(1\right)$

根据该式可以理解，为了允许从视点u₁观看图像y(u₁)或接近它的图像，最小化下式(2)给出的能量函数的亮度x₁、x₂、x₃应当被设为平铺图像的亮度。即，假定y(u₁)、a₁(u)、a₂(u)和a₃(u)是已知值，计算最小化能量函数的x₁、x₂、x₃。

$E={(y\left(u_1\right)-\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{a}_i\left(u_1\right)x_i)}^2---\left(2\right)$

通过将以上的例子一般化而获得的能量函数由下式(3)给出：

E＝||AX-Y||²    (3)

这里，X是与获取的元素图像的像素计数相对应的矢量，Y是包含从一个或更多个限制视点获得的目标图像的像素值作为分量的矢量，并且A是由从限制视点检测的光线分布的值形成的矩阵。

最小化上述能量函数的最佳元素图像752由下式(4)给出：

$\hat{X}=\underset{x}{\arg \min }E---\left(4\right)$

该式是使用例如由下式(5)限定的Moore和Penrose广义逆矩阵而获得的：

这里是Moore和Penrose广义逆矩阵，I是单位矩阵，Z是具有与X相同大小的任意矢量。如果限制视点的数量小于视差计数，那么将包含不确定问题。为了唯一地确定解决方案，需要设定Z的值。在下面的描述中，确定为Z的值由Z₀表示。例如，为了防止当从限制视点以外的任何视点观看时获得的图像质量的劣化，可以把初始元素图像751用作Z₀。

并且，如果限制视点的数量大于视差计数(包含超定问题)，那么由式(4)给出的用于最小化由式(3)给出的能量函数的最佳元素图像由下式(6)表达。在这种情况下，最佳元素图像生成单元1001不接收初始元素图像751并且仅接收目标图像1052。逆矩阵

可事先被计算并存储为最佳元素图像生成单元1001中的表。在这种情况下不给出框图，但是，不在图10中存在初始元素图像751的情况与其对应。

由于矩阵A对于三维图像显示装置1000的光线控制元件并且对于用于设定目标图像的限制视点是唯一的，因此，如果限制视点被预定，那么，广义逆矩阵

可事先被计算。即，如果限制视点被预定，那么广义逆矩阵可事先被存储为三维图像显示装置1000中的表。三维图像显示装置1000在例如ROM 904中存储广义逆矩阵

的表。并且，当可通过Z₀的线性变换来表达目标图像Y时，Y由下式(7)给出：

Y＝TZ₀            (7)

这里，T是用于将Z₀变换为Y的矩阵。如果将式(7)代入式(5)中并且如果用Z₀替代Z，那么可获得下式(8)：

$\hat{X}={\mathrm{HZ}}_0---\left(8\right)$

这里，H由下式给出：

矩阵H是上述一组权重的例子。可以在最佳元素图像生成单元1001中以表的形式存储权重。例如，可在装置的制造期间确定包含在表中的值。在II方案中，可对于与相应于一个透镜的视差计数相对应的每组像素提供上述过滤器。在例如图13所示的1D-II方案的情况下，Z₀是包含沿直线配置的像素值x₁、x₂和x₃作为分量的矢量，X是三维矢量，以及H是(3，3)矩阵。因此，可使用用于Z₀的三抽头过滤器来计算的每个元素，即最佳元素图像生成单元1001中的每个像素。如果视差计数是上述3以外的值(例如，9)，那么可以以与以上相同的方式来计算权重。

并且，可使用诸如最陡下降方法或共轭梯度方法的迭代计算来计算由式(4)给出的最佳元素图像752。并且，当使用迭代计算时，可通过与式(8)类似的算术表达式来表达该计算。例如，当使用最大减小方法作为迭代计算方法时，第(t+1)个迭代过程由下式(9)给出：

X_t+1＝X_t-εA^T(AX_t-Y)      (9)

这里，ε是常数。此时，如果Y可由X_t的线性变换来表达，那么它可由下式给出：

Y＝T′_tX_t                 (10)

这里T_t′是用于将X_t变换为Y的矩阵。如果将式(10)代入式(9)，那么获得下式(11)：

X_t+1＝H′_tX_t              (11)

这里H_t′由下式给出：

H′_t＝(εA^TT′_t+I-εA^TA)

在将迭代处理迭代n次的情况下，式(4)的左侧由下式给出：

$\hat{X}=X_n=H_{n-1}^{\′}\·\·\·H_0^{\′}{X}_0---\left(12\right)$

这里，为了避免从限制视点以外的视点的图像质量的劣化，可以把初始元素图像751用作X₀。

(变型)能量函数的变型

作为上述能量函数，可以使用由下式(13)给出的添加了规则化项的能量函数：

E＝||AX-Y||²+α||RX||²+β||X-Z||²    (13)

这里，R是表示微分的矩阵，α和β是常数，Z是与X相同的尺寸的矢量。例如，为了避免从限制视点以外的视点的图像质量的劣化，可以把初始元素图像751用作Z。可使用由下式(14)限定的Moore和Penrose广义逆矩阵，来获得用于最小化式(13)给出的能量函数的式(4)的左侧：

并且，也可通过使用以下的能量函数(15)并且将诸如最陡下降方法或共轭梯度方法的迭代计算应用于该能量函数来获得式(4)的左侧：

E＝||AX-Y||²+α||RX||²                (15)

例如，当使用最陡下降方法作为迭代计算方法时，第(t+1)个迭代过程由下式16)给出：

X_t+1＝X_t-ε{A^T(AX_t-Y)+αR^TRX_t}        (16)

这里，ε是常数。此时，如果Y可由X_t的线性变换来表达，那么它可由下式给出：

Y＝T′_tX_t                             (17)

这里，T_t′是用于将X_t变换为Y的矩阵。如果将式(17)代入式(16)，那么获得下式(18)：

X_t+1＝H″_tX_t                          (18)

这里，H_t″由下式给出：

H″_t＝(εA^TT′_t+I-εA^TA-εαR^TR)

在将迭代处理迭代n次的情况下，式(4)的左侧由下式给出：

$\hat{X}=X_n=H_{n-1}^{\′\′}\·\·\·H_0^{\′\′}{X}_0---\left(19\right)$

这里，为了避免从限制视点以外的视点的图像质量的劣化，可以把初始元素图像751用作X₀。

注意，可以使用单个限制视点或多个限制视点，并且，由于用于计算的矩阵的规模不变，因此，即使限制视点的数量改变，处理量也不改变。

因此，由于使用没有多重模糊的图像作为目标图像，因此，即使当使用由式(13)表达的变型能量函数时，也可减少多重模糊，并且，通过加权和来生成最佳元素图像752，使得观察的图像将与目标图像相符。并且，由于不在元素图像中***黑色像素，观察的图像的亮度不被降低。并且，通过规则化项的效果，防止了在最佳元素图像中出现不连续性作为式(4)的左侧，由此使得能够生成自然的最佳元素图像。

在上述第二实施例中，使用没有多重模糊的图像作为目标图像，并且，通过加权和来生成最佳元素图像752，使得观察的图像将与目标图像相符，由此减少了多重模糊。并且，由于可以任意地设定目标图像，因此可以任意地设计从限制视点观察的图像。

(第三实施例)

然后参照图14，描述根据第三实施例的三维图像显示装置1400。通过向第二实施例的三维图像显示装置1000添加视差图像生成单元1401来获得第三实施例的三维图像显示装置1400。

视差图像生成单元1401接收模型数据1451，并且生成从一个或更多个预设视点观看的视差图像，并且输出视差图像作为目标图像1502。模型数据1451表示在三维图像显示装置1400上显示的物体的三维坐标和亮度值。视差图像生成单元1401接收模型数据1451，并且通过执行例如计算机图形(CG)呈现来生成视差图像。

参照图14和图15，描述根据与第二实施例不同的第三实施例的三维图像显示装置1400的操作的一部分。图15是可用于解释根据第三实施例的三维图像显示装置1400的操作例子的流程图。

在步骤S1501中，视差图像生成单元1401接收模型数据1451，并且生成从一个或更多个预设视点观看的视差图像，并且输出视差图像作为目标图像1052。

如上所述，在第三实施例中，由于通过加权和来生成最佳元素图像752，使得观察的图像将与目标图像相符，因此能够减少多重模糊。并且，由于可任意地从模型数据生成用作目标图像的视差图像，因此不必通过从限制视点的图像捕获而事先获取视差图像。

(第四实施例)

现在参照图16，描述根据第四实施例的三维图像显示装置1600。通过向第二实施例的三维图像显示装置1000添加检测单元1603和获取单元1602来获得第四实施例的三维图像显示装置1600。

如图18所示，第四实施例的三维图像显示装置1600并入有用于检测正在观看显示装置1600的观察者的头部的位置的照相机1801。

获取单元1602从照相机1801获取图像并且输出照相机图像1651。

检测单元1603接收照相机图像1651，并且通过面部检测来检测来自照相机图像1651的至少一个观察者的面部区，然后设定右眼或左眼的位置或者两只眼睛的位置，并且确定从三维图像显示装置1600观看的观察者的空间X坐标和Y坐标。作为眼睛的位置，可以设定面部区中在统计上最可能存在眼睛的位置。作为替代方案，可通过基于照相机图像1651的眼睛检测来直接设定右眼或左眼的位置或者两个眼睛的位置。作为替代方案，基于照相机图像1651的面部的尺寸，观察者和三维图像显示装置1600之间的距离能够被估计，由此检测从三维图像显示装置1600观看的观察者的空间Z坐标。作为观察者位置数据1652，输出X坐标、Y坐标和Z坐标中的至少一个。

除了使用观察者位置数据1652作为限制视点数据以外，最佳元素图像生成单元1601接收初始元素图像751、目标图像1052和观察者位置数据1652，并且以与第二实施例的最佳元素图像生成单元1001相同的方式来生成最佳元素图像752。

参照图16和图17，描述第四实施例的三维图像显示装置1600的操作。图17是可用于解释第四实施例的三维图像显示装置1600的操作例子的流程图。

在步骤S1701中，获取单元1602从照相机1801获取图像，并且输出照相机图像1651。

在步骤S1702中，检测单元1603接收照相机图像1651，并且通过基于照相机图像1651的面部检测来检测至少一个观察者的面部区，由此设定右眼或左眼的位置或者两只眼睛的位置，以确定从三维图像显示装置1600观看的观察者的空间X坐标和Y坐标。

在步骤S1703中，除了使用观察者位置数据1652作为限制视点数据以外，最佳元素图像生成单元1601接收初始元素图像751、目标图像1052和观察者位置数据1652，并且以与第二实施例的最佳元素图像生成单元1001相同的方式来生成最佳元素图像752。

如上所述，在第四实施例的三维图像显示装置1600中，通过加权和来生成最佳元素图像752，使得观察的图像将与目标图像相符，由此减少了多重模糊。并且，在第四实施例中，由于能够根据由照相机1801检测的至少一个观察者的位置来生成最佳元素图像，因此能够在至少一个观察者的右眼或左眼的位置或两只眼睛的位置上识别目标图像。它与第二实施例的不同在于，能够仅在预设的限制视点(或在预设的多个限制视点)识别目标图像。

在上述第四实施例中，能够在不降低显示图像的亮度的情况下减少多重模糊。

例如，如果使相邻的两个像素之一显示黑色以便减少多重模糊，那么能够减少这些像素和其它像素的光线分布的重叠。然而，元素图像中的黑色像素的***将降低观察的图像的亮度。在第四实施例中，能够在不降低显示图像的亮度的情况下减少多重模糊。

在上述三维图像显示装置中，可通过使得安装在通用计算机中的处理器执行程序来实现视差图像生成单元1401、获取单元1602、检测单元1603和最佳元素图像生成单元701、1001和1601。在这种情况下，可直接事先在计算机中安装程序。作为替代方案，程序可存储在诸如CD-ROM的记录介质中并且从中被读取到计算机中。作为替代方案，程序可通过网络被下载到计算机。

实施例的流程图示出根据实施例的方法和***。可以理解，可通过计算机程序指令来实现流程图的各块和流程图中的块的组合。这些计算机程序指令可被加载到计算机或其它的可编程装置中以制造机器，使得在计算机或其它可编程装置上执行的指令创建用于实现在流程图块中规定的功能的部件。这些计算机程序指令也可被存储在可指示计算机或其它可编程装置以特定方式起作用的计算机可读存储器中，使得存储在计算机可读存储器中的指令产生包含实现在流程图块中规定的功能的指令部件的制造物品。计算机程序指令也可被加载到计算机或其它可编程装置中以使得在计算机或其它可编程装置上执行一系列的操作步骤，以产生提供用于实现在流程图块中规定的功能的步骤的计算机可编程装置。

虽然已描述了某些实施例，但是，这些实施例仅作为例子被给出，并且不是要限制本发明的范围。相反，可以各种其它的形式体现这里描述的新颖的实施例；并且，在不背离本发明的精神的情况下，可以提出这里描述的实施例的形式的各种省略、替代和变化。附图和它们的等同物要覆盖落入本发明的范围和精神内的这些形式和变更方式。

相关申请的交叉引用

本申请基于在2010年11月10日提交的日本专利申请No.2010-252337并要求其作为优先权，在此引入其全部内容作为参考。

Claims (16)

1.一种三维图像显示装置，包括：

包含二维图像显示设备和多个光线控制元件的显示单元，所述二维图像显示设备包含具有以矩阵排列的多个像素的显示表面，所述光线控制元件与像素相对应地设置在二维图像显示设备的显示表面上，所述光线控制元件被配置成控制来自像素的光线；和

最佳元素图像生成单元，被配置成通过根据生成的图像或输入的图像的至少两个像素的值的加权和以及基于表示来自光线控制元件的光线的方向和散射程度的光线分布计算的权重来确定至少一个像素的值，来生成最佳元素图像，

所述显示单元显示所述最佳元素图像。

2.根据权利要求1的装置，其中，所述最佳元素图像生成单元接收从至少一个预定视点在显示单元上显示的目标图像，并且获得用于减小表示所述目标图像和从所述预定视点观看并根据光线分布计算的重叠图像之间的差的能量函数的权重。

3.根据权利要求2的装置，其中，所述最佳元素图像生成单元基于所述能量函数的梯度来计算所述权重。

4.根据权利要求2的装置，其中，所述权重减小所述能量函数，并且所述最佳元素图像生成单元基于根据光线分布确定的矩阵的广义逆矩阵来计算所述权重。

5.根据权利要求2的装置，其中，所述目标图像是选自要在三维图像显示装置上显示的多个视差图像并从与所述预定视点相对应的位置捕获的视差图像。

6.根据权利要求2的装置，进一步包括视差图像生成单元，被配置成基于要在三维图像显示装置上显示的物体的三维坐标和亮度，来生成要从任意视点观看的视差图像，

其中，所述最佳元素图像生成单元接收所述视差图像作为所述目标图像。

7.根据权利要求2的装置，进一步包括：

被配置成检测正在观看三维图像显示装置的观察者的面部区的照相机；

被配置成获取由照相机捕获的照相机图像的获取单元；和

被配置成在照相机图像中检测表示观察者的面部区的观察者位置的检测单元，

其中，所述最佳元素图像生成单元使用所述观察者位置作为所述预定视点来生成所述最佳元素图像。

8.一种三维图像显示装置，包括：

包含二维图像显示设备和多个光线控制元件的显示单元，所述二维图像显示设备包含具有以矩阵排列的多个像素的显示表面，所述光线控制元件与像素相对应地设置在二维图像显示设备的显示表面上，所述光线控制元件被配置成控制来自像素的光线；和

最佳元素图像生成单元，被配置成通过根据从至少一个预定视点在显示单元上显示的目标图像的至少两个像素的值的加权和以及基于表示来自光线控制元件的光线的方向和散射程度的光线分布计算的权重来确定至少一个像素的值，来生成最佳元素图像，

所述显示单元显示所述最佳元素图像。

9.根据权利要求8的装置，其中，所述最佳元素图像生成单元获得用于减小表示所述目标图像和从所述预定视点观看并根据光线分布计算的重叠图像之间的差的能量函数的权重。

10.根据权利要求9的装置，其中，所述最佳元素图像生成单元基于所述能量函数的梯度来计算所述权重。

11.根据权利要求9的装置，其中，所述权重减小所述能量函数，并且所述最佳元素图像生成单元基于根据光线分布确定的矩阵的广义逆矩阵来计算所述权重。

12.根据权利要求8的装置，其中，所述目标图像是选自要在三维图像显示装置上显示的多个视差图像并从与所述预定视点相对应的位置捕获的视差图像。

13.根据权利要求8的装置，进一步包括视差图像生成单元，被配置成基于要在三维图像显示装置上显示的物体的三维坐标和亮度，来生成要从任意视点观看的视差图像，

其中，所述最佳元素图像生成单元接收所述视差图像作为所述目标图像。

14.根据权利要求8的装置，进一步包括：

被配置成检测正在观看三维图像显示装置的观察者的面部区的照相机；

被配置成获取由照相机捕获的照相机图像的获取单元；和

被配置成在照相机图像中检测表示观察者的面部区的观察者位置的检测单元，

其中，所述最佳元素图像生成单元使用所述观察者位置作为所述预定视点来生成所述最佳元素图像。

15.一种三维图像显示方法，包括：

制备包含二维图像显示设备和多个光线控制元件的显示单元，所述二维图像显示设备包含具有以矩阵排列的多个像素的显示表面，所述光线控制元件与像素相对应地设置在二维图像显示设备的显示表面上，所述光线控制元件控制来自像素的光线；和

通过根据生成的图像或输入的图像的至少两个像素的值的加权和以及基于表示来自光线控制元件的光线的方向和散射程度的光线分布计算的权重来确定至少一个像素的值，来生成最佳元素图像，

所述显示单元显示所述最佳元素图像。

16.一种三维图像显示方法，包括：

制备包含二维图像显示设备和多个光线控制元件的显示单元，所述二维图像显示设备包含具有以矩阵排列的多个像素的显示表面，所述光线控制元件依据作为显示数据项的元素图像的位置，与像素相对应地设置在二维图像显示设备的显示表面上，所述光线控制元件控制来自像素的光线；和

通过根据从至少一个预定视点在显示单元上显示的目标图像的至少两个像素的值的加权和以及基于表示来自光线控制元件的光线的方向和散射程度的光线分布计算的权重来确定至少一个像素的值，来生成最佳元素图像，

所述显示单元显示所述最佳元素图像。

Images