CN101180891A - 立体图像显示装置、立体图像显示方法及计算机程序 - Google Patents

Abstract

提供一种无需采用可变焦透镜而能够正确观看立体图像的所有区域并能够减轻计算机处理负荷、以及能够在多个观看者从任何位置观看图像时也在视网膜上形成自然三维图像的立体图像显示装置、立体图像显示方法及计算机程序。在生成显示在观看者视网膜上形成三维图像的立体图像的立体图像显示装置中，算出可在观看者视网膜上形成三维图像的视差的边界即界限视差；算出与以算出的界限视差为直径的球内接的长方体的尺寸；由算出的长方体将包含被摄体的空间分割成多个空间；在每个分割空间中生成被摄体相对于单一注视点的立体图像；合成所生成的多个立体图像，生成单一立体图像；显示所生成的单一立体图像。

Description

立体图像显示装置、立体图像显示方法及计算机程序

技术领域

本发明涉及生成显示利用观看者两眼视差而能够使观看者无论从哪个位置观看均能于视网膜上形成三维图像、并且能够自然地掌控被摄体的空间位置关系的立体图像的立体图像显示装置、立体图像显示方法及计算机程序。

背景技术

随着近年来的图像处理技术的急速进展，不仅大量开发出了能够通过使用组装了偏振透镜等光学透镜的特殊眼镜而欣赏到立体图像的立体图像显示装置，而且还大量开发出了用裸眼也能够欣赏到立体图像的立体图像显示装置。对于现有的立体图像显示装置而言，具有下述的问题：生成显示的为注视点单一时的立体图像，就空间中的部分区域而言，能够清晰地观看到，从而能够正确观看到空间的位置关系，相对于该情况，就其他区域而言，看到所谓的模糊图像，所以，难以在空间整个区域正确观看到位置关系。

图16为表示现有技术的立体图像显示的概念的示意图。在通过投影立体图像的屏幕1而观看所投影的被摄体(图16中为车辆)的注视点2时，因为在注视点2未产生视差，故而能够清晰地观看到立体图像。另一方面，对于离开注视点2的位置处的立体图像，视差越大，形成于左眼视网膜上的立体图像3和形成于右眼视网膜上的立体图像4的背离就越大，结果只能在模糊不清的状态下观看。图17为表示现有技术的立体图像显示的模糊区域的图。如图17所示，在现有技术的立体图像显示装置中，采用单焦透镜5、5、...，能够清晰观看注视点2附近的被摄体，但是，在离开注视点2的区域例如影线区域6中，则因左右图像的视差大于规定值而只能看到模糊图像。

为了解决该技术问题，例如专利文献1及2中，采用可变焦透镜，在观看者和屏幕1之间的多个不同位置设置注视点，扩大能够清晰观看的区域，从而使由于观看者位置、注视点等的不同而所见三维图像不同的情况均匀化。图18为表示采用可变焦透镜时的立体图像显示的模糊区域的图。如图18所示，通过采用可变焦透镜7、7、...，能够设置多个注视点2、2、...，通过采用多个可变焦透镜7、7、...，以进行注视点2、2、...的配置设计，从而能够缩小或消除图17的影线区域6、即左右图像的视差大于规定值而作为模糊图像被识别的区域。

专利文献1：JP特许第3064992号公报

专利文献2：JP特开2001-238229号公报

然而，为了完全消除采用了所述可变焦透镜7、7、...的立体图像显示***中的模糊区域，需要配备多个可变焦透镜7，从而有成本增大的问题。

另外，即使在包括多个可变焦透镜7的情况下，例如对于位于从某个注视点沿纵深方向离开的位置的被摄体的图像，在某个注视点左右图像的视差仍然大于规定值，只能看到模糊的图像。因此，即使在观看者打算掌控被摄体的空间位置关系而多次改变视点的情况下，仍存在仅能够看到模糊图像，而且不能完全消除看到模糊图像的区域这样的问题。

这是因为，现有技术的立体显示图像***没有考虑到能使观看者没有模糊地看到立体图像的视差的界限值(下称界限视差)。界限视差可以根据观看者和屏幕之间的位置关系而求得。

另外，对于现有技术的立体显示图像***，为了从多个拍摄成的图像中提取焦点最对准的图像，需要对图像所含有的所有像素均进行比较判断处理。换言之，就所有像素而言，算出相关度，算出视差。所以，需要在多个图像间对算出的视差进行比较，故而还存在计算机的处理负荷庞大这样的问题。

发明内容

本发明鉴于所述技术问题而提出，本发明的目的在于提供一种无需采用可变焦透镜而能够正确观看立体图像的所有区域、以及能够减轻计算机处理负荷的立体图像显示装置、立体图像显示方法及计算机程序。

另外，本发明的目的还在于提供一种能够尽可能正确地算出界限视差、且多个观看者从任何位置观看图像时均能够在视网膜上形成自然三维图像的立体图像显示装置、立体图像显示方法及计算机程序。

为了实现所述目的，本发明第1方面提供一种立体图像显示装置，其生成显示在观看者视网膜上形成三维图像的立体图像，其特征在于，包括：界限视差算出机构，其算出可在观看者视网膜上形成三维图像的视差的边界即界限视差；长方体尺寸算出机构，其算出与以算出的界限视差为直径的球内接的长方体的尺寸；空间分割机构，其由算出的长方体将包含被摄体的空间分割成多个空间；注视点图像生成机构，其在每个分割空间中生成被摄体相对于单一注视点的立体图像；注视点图像合成机构，其合成所生成的多个立体图像，生成单一立体图像；图像显示机构，其显示所生成的单一立体图像。

本发明第2方面涉及本发明第1方面的立体图像显示装置，其特征在于，包括检测显示立体图像的面和观看者的相对位置的相对位置检测机构，所述界限视差作为左右视线交叉的点和两眼之间的距离的倒数与显示立体图像的面和两眼之间的距离的倒数之差为规定值的视差而算出。

本发明第3方面涉及本发明第1或第2方面的立体图像显示装置，其特征在于，所述界限视差算出机构包括基于观看者的个人特征而修正所述界限视差的修正机构。

本发明第4方面涉及本发明第1至第3方面中任意一个立体图像显示装置，其特征在于，所述注视点图像合成机构包括：亮度差算出机构，其将分割空间中的一个空间作为基准而算出在一个空间生成的立体图像的亮度值和在邻接的其他空间生成的立体图像的亮度值的差；亮度差再算出机构，其相对于一个空间平行移动其他空间而再次算出亮度差；相对位置求取机构，其求取所算出的亮度差最小的其他空间相对于一个空间的相对位置。

本发明第5方面提供一种立体图像显示方法，其生成显示在观看者视网膜上形成三维图像的立体图像，其特征在于，算出可在观看者视网膜上形成三维图像的视差的边界即界限视差；算出与以算出的界限视差为直径的球内接的长方体的尺寸；由算出的长方体将包含被摄体的空间分割成多个空间；在每个分割空间中生成被摄体相对于单一注视点的立体图像；合成所生成的多个立体图像，生成单一立体图像；显示所生成的单一立体图像。

本发明第6方面涉及本发明第5方面的立体图像显示方法，其特征在于，检测显示立体图像的面和观看者的相对位置，所述界限视差作为左右视线交叉的点和两眼之间的距离的倒数与显示立体图像的面和两眼之间的距离的倒数之差为规定值的视差而算出。

本发明第7方面涉及本发明第5或第6方面的立体图像显示方法，其特征在于，基于观看者的个人特征而修正所述界限视差。

本发明第8方面涉及本发明第5至第7方面中任意一个立体图像显示方法，其特征在于，将分割空间中的一个空间作为基准而算出在一个空间生成的立体图像的亮度值和在邻接的其他空间生成的立体图像的亮度值的差即亮度差，相对于一个空间平行移动其他空间而再次算出亮度差，求取所算出的亮度差最小的其他空间相对于一个空间的相对位置。

本发明第9方面提供一种计算机程序，其生成显示在观看者视网膜上形成三维图像的立体图像，其特征在于，所述计算机作为如下机构而发挥功能，即，界限视差算出机构，其算出可在观看者视网膜上形成三维图像的视差的边界即界限视差；长方体尺寸算出机构，其算出与以算出的界限视差为直径的球内接的长方体的尺寸；空间分割机构，其由算出的长方体将包含被摄体的空间分割成多个空间；注视点图像生成机构，其在每个分割空间中生成被摄体相对于单一注视点的立体图像；注视点图像合成机构，其合成所生成的多个立体图像，生成单一立体图像。

本发明第10方面涉及本发明第9方面的计算机程序，其特征在于，所述计算机作为检测显示立体图像的面和观看者的相对位置的相对位置检测机构而发挥功能，且以所述界限视差作为左右视线交叉的点和两眼之间的距离的倒数与显示立体图像的面和两眼之间的距离的倒数之差为规定值的视差而算出的方式发挥功能。

本发明第11方面涉及本发明第9或第10方面的计算机程序，其特征在于，所述计算机作为基于观看者的个人特征而修正所述界限视差的修正机构而发挥功能。

本发明第12方面涉及本发明第9至第11方面中任意一个计算机程序，其特征在于，所述计算机作为如下机构而发挥功能，即，亮度差算出机构，其将分割空间中的一个空间作为基准而算出在一个空间生成的立体图像的亮度值和在邻接的其他空间生成的立体图像的亮度值的差；亮度差再算出机构，其相对于一个空间平行移动其他空间而再次算出亮度差；相对位置求取机构，其求取所算出的亮度差最小的其他空间相对于一个空间的相对位置。

在本发明第1、第5、及第9方面，算出可在观看者视网膜上形成三维图像的视差的边界即界限视差；算出所算出的界限视差内的长方体的尺寸；由算出的长方体将包含被摄体的空间分割成多个空间；在每个包含被摄体的空间中生成被摄体相对于单一注视点的立体图像；合成所生成的多个立体图像，由此生成单一立体图像并进行显示输出。由此，在观看者没有看到模糊图像的视差范围内以某长方体分割空间，在每个分割空间均和现有技术相同地生成立体图像，然后将它们进行合成以生成立体图像，所以，在所生成的立体图像的任何一个区域中均为界限视差内的立体图像，即使观看者从任何位置任何角度观看立体图像，也都不会在视网膜上形成模糊的三维图像。

因此，即使不采用可变焦透镜也可以正确观看立体图像的所有区域，也能够正确掌控被摄体的空间位置关系。另外，因为仅合成存在被摄体的长方体空间中生成的立体图像即可，故而可大幅削减计算机处理负荷，能够实现计算成本的降低。

在本发明第2、第6、及第10方面，包括检测显示立体图像的面和观看者的相对位置的相对位置检测机构，所述界限视差作为左右视线交叉的点和两眼之间的距离的倒数与显示立体图像的面和两眼之间的距离的倒数之差为规定值的视差而算出。由此，根据观看者观看的位置能够正确算出界限视差，能够显示适合于观看者的立体图像。

在本发明第3、第7、及第11方面，具有基于观看者的个人特征而修正界限视差的修正机构。由此，通过对应于由于观看者的个人特征例如近视或远视而形成的视网膜位置的前后、晶状体有无污物等而对算出的界限视差进行修正，能够更加正确地算出界限视差，能够显示更加适合于观看者的立体图像。

在本发明第4、第8、及第12方面，将分割空间中的一个空间作为基准而算出在一个空间生成的立体图像的亮度值和在邻接的其他空间生成的立体图像的亮度值的差即亮度差，相对于一个空间平行移动其他空间而再次算出亮度差，求取所算出的亮度差最小的其他空间相对于一个空间的相对位置。由此，在简单地于最初空间位置合成立体图像时，能够除去在邻接立体图像的边界处产生的透明部分等间隙部分，在边界部分也能够生成可在观看者的视网膜上形成自然的三维图像的立体图像。

根据本发明第1、第5、及第9方面，在观看者没有看到模糊图像的视差范围内以某长方体中分割空间，在每个分割空间均和现有技术相同地生成立体图像，然后将它们进行合成以生成立体图像，所以，所生成的立体图像在任何一个区域中均为界限视差内的立体图像，即使观看者从任何位置任何角度观看立体图像，也都不会在视网膜上形成模糊的三维图像。

因此，即使不采用可变焦透镜也可以正确观看立体图像的所有区域，也能够正确掌控被摄体的空间位置关系。另外，因为仅合成存在被摄体的长方体空间中生成的立体图像即可，故而可大幅削减计算机处理负荷，能够实现计算成本的降低。

根据本发明第2、第6、及第10方面，根据观看者观看的位置能够正确算出界限视差，能够显示适合于观看者的立体图像。

根据本发明第3、第7、及第11方面，通过对应于由于观看者的个人特征例如近视或远视而形成的视网膜位置的前后、晶状体有无污物等而对算出的界限视差进行修正，能够更加正确地算出界限视差，能够显示更加适合于观看者的立体图像。

根据本发明第4、第8、及第12方面，在简单地于最初空间位置合成立体图像时，能够除去在邻接立体图像的边界处产生的透明部分等间隙部分，在边界部分也能够生成可在观看者的视网膜上形成自然的三维图像的立体图像。

附图说明

图1为表示本发明实施方式1的立体图像显示装置的结构的方块图；

图2为表示本发明实施方式1的立体图像显示装置的CPU的处理顺序的流程图；

图3为界限视差的说明图；

图4为表示本发明实施方式1的立体图像显示装置的CPU算出界限视差的顺序的流程图；

图5为表示为了确定存储于图像数据存储部的图像数据的立体图像的构图而在空间内任意位置设定的注视点及视点的图；

图6为所分割的空间的注视点求取方法的说明图；

图7为表示确定最初分割空间的方法的示意图；

图8为表示最初分割空间的长方体的高度和宽度的求取方法的示意图；

图9为表示配置了最初分割空间的状态的图；

图10为表示作为被摄体的分割空间而配置了长方体的状态的图；

图11为表示第1列所生成的立体图像的例子的图；

图12为表示本发明实施方式1的立体图像显示装置的CPU进行立体图像合成处理的流程图；

图13为表示以点单位移动成为调整对象的立体图像的状态的示意图；

图14为表示本发明实施方式2的立体图像显示装置的结构的方块图；

图15为表示本发明实施方式2的立体图像显示装置的CPU算出界限视差的顺序的流程图；

图16为表示现有技术的立体图像显示的概念的示意图；

图17为表示现有技术的立体图像显示中的模糊区域的图；

图18为表示采用可变焦透镜时立体图像显示中的模糊区域的图。

符号说明

10：立体图像显示装置

11：CPU

12：存储机构

13：RAM

14：通信机构

15：输入机构

16：显示接口

17：辅助存储机构

18：移动型记录介质

20：大画面显示装置

30：显示装置

40：观看者传感器

41：传感器接口

121：图像数据存储部

D：界限视差

g、g1、g2、...、gn：注视点

具体实施方式

(实施方式1)

下面参照附图对本发明实施方式1的立体图像显示装置进行具体地说明。图1为表示本发明实施方式1的立体图像显示装置10的结构的方块图。如图1所示，立体图像显示装置10至少由CPU(中央运算装置)11、存储机构12、RAM13、与互联网等外部网络连接的通信机构14、输入机构15、向能够供多个观看者观看的位于外部的大画面显示装置20输出显示图像数据的显示接口16、及使用DVD、CD等移动型存储介质18的辅助存储机构17构成。

CPU11通过内部总线19与立体图像显示装置10的所述硬件各部分连接，控制所述硬件各部分，并且根据存储机构12中所存储的处理程序、例如算出界限视差的程序、以界限视差内的长方体分割空间的程序、生成被摄体相对于单一注视点的立体图像的程序、合成多个立体图像的程序等，执行各种硬件功能。

存储机构12采用内置固定型存储装置(硬盘)、ROM等构成，存储经由通信机构14而从外部计算机、或DVD、CD-RAM等移动式记录介质18获得的、作为立体图像显示装置10发挥功能所需的处理程序。存储机构12不仅存储处理程序，而且还将例如从外部计算机接收的对被摄体进行摄像而得到的图像数据存储在图像数据存储部121中。

RAM13由DRAM等构成，用于存储执行软件时产生的临时数据。通信机构14与内部总线19连接，以与互联网、LAN等网络能够通信的方式连接，从而接收发送处理所需的数据。

输入机构15为用于指示画面上任意位置的鼠标等指示器、或为通过在画面上键入显示画面的横向宽度等数值数据而进行输入的键盘等。

显示接口16为向输出显示图像的液晶显示器(LCD)、显示显示器(CRT)等外部的大画面显示装置20输送显示数据的LSI板。

辅助存储机构17采用CD、DVD等移动式记录介质18，用于向存储机构12下载CPU11处理的程序、数据等。另外，还可为了备份CPU11处理的数据而写入。

图2为表示本发明实施方式1的立体图像显示装置10的CPU11的处理顺序的流程图。首先，立体图像显示装置10的CPU11算出可于观看者视网膜上形成三维图像的视差的边界即界限视差(步骤S201)。

CPU11算出与以算出的界限视差为直径的球内接的长方体的尺寸(步骤S202)，从图像数据存储部121中读出对被摄体进行摄像而得到的图像数据，由算出的长方体将含有被摄体的空间分割成多个空间(步骤S203)。然后，CPU11在每个分割空间中生成被摄体相对于单一注视点的立体图像(步骤S204)。

CPU11从多个立体图像中依次选择一个立体图像(步骤S205)，判断所选择的立体图像中是否含有被摄体(步骤S206)。如果CPU11判断为所选择的立体图像中含有被摄体(步骤S206：是)，则CPU11将选择的立体图像作为整体的立体图像生成用数据而存储在RAM13中(步骤S207)，判断是否已对所有的立体图像进行了选择(步骤S208)。如果CPU11判断为所选择的立体图像中不含有被摄体(步骤S206：否)，则CPU11不将该立体图像存储在RAM13中，而是跳至步骤S208。

在CPU11判断为未选择所有立体图像时(步骤S208：否)，CPU11返回步骤S205，重复执行所述的处理。如果CPU11判断为选择了所有立体图像(步骤S208：是)，则CPU11对存储的多个立体图像进行合成(步骤S209)，通过显示接口16将生成的单一立体图像输出至外部的大画面显示装置20(步骤S210)。

图3为界限视差的说明图。在观看者观看被摄体时，按照左右两眼31、32的光轴在被摄体上交叉的方式进行眼球的旋转、晶状体厚度的调节等。由此，左右两眼31、32的光轴交叉的点与两眼31、32之间的距离L1发生变动，投影有被摄体的显示装置20的画面、屏幕等和两眼31、32之间的距离L2的相对关系发生变动。

即，对存在于沿纵深方向离开注视点的值的部分的图像进行观看时，距离L1和距离L2不一致而产生相当的距离差。在该距离差逐渐变大的情况下，当到达了规定的距离差时，观看者观看到模糊图像。该距离差时的视差定义为界限视差。

通常，在左右两眼31、32的光轴交叉的点与两眼31、32之间的距离L1的倒数、和投影有被摄体的画面、屏幕等与两眼31、32之间的距离L2的倒数的差在±2以内时，知道所看到的三维图像没有模糊。因此，界限视差可按照以下顺序算出。

图4为表示本发明实施方式1的立体图像显示装置10的CPU11在步骤S201中的详细处理、即算出界限视差的顺序的流程图。首先，立体图像显示装置10的CPU11按照下述顺序算出实空间的界限视差(步骤S401)。

由于距离L1的倒数和距离L2的倒数之差在±2以内，故距离L1和距离L2之间满足数学式1的关系。

(1/L2-2)＜1/L1＜(1/L2+2)(数学式1)

另外，由于以图3的视差d为底边的三角形和以两限距离E为底边的三角形相似，故数学式2成立。

L1＝L2×E/(d+E)(数学式2)

根据数学式1和数学式2，关于视差d而进行整理，则可导出数学式3，是否具有数学式3的边界上的视差d的绝对值为界限视差D。

-2×L2×E＜d＜2×L2×E(数学式3)

CPU11根据算出的界限视差D、大画面显示装置20的画面的横向宽度W及画面的水平方向的析像度R算出界限视差D的像素数(步骤S402)。即根据数学式4将界限视差D换算成显示的画面的像素数Q。

Q＝D×R/W(数学式4)

这样，通过以显示装置的显示画面的像素单位求得界限视差D，从而在以注视点为中心、以界限视差D为直径的球的内部，观看者不会看到模糊图像的被摄体。该范围称为立体界限。因此，在本实施方式1中，为了将含有被摄体的空间无间隙地分割，而算出内接于立体界限的长方体，根据求得的长方体将含有被摄体的空间进行分割。

图5为表示为了确定存储于存储机构12的图像数据存储部121中的图像数据的立体图像的构图而在空间内任意位置设定的注视点及视点的图。在图5的例子中，在被摄体即车辆的重心附近设置注视点g，设置面向注视点g的视点v。

接着，CPU11根据提供的注视点g和视点v而确定分割空间的最初长方体。图6为求得所分割的空间的注视点g1的方法的说明图。求得连接注视点g和视点v的线段和作为三维模型的被摄体的表面的交点P1。求得所述线段上从交点P1向注视点g侧移动了规定距离M的点，将该点作为最初的分割空间的注视点g1。还有，移动距离M为由式M＝L×p(0≤p≤1)求得的距离。在此，系数p为用于调整交点P1附近的图像的参数。

另外，L为以最初的分割空间的注视点g1为中心的长方体的纵深长度，基于界限视差D而算出。长方体的形状通过将界限视差D乘以形状参数q(0≤q≤1)来调整。即，q越大，纵深长度越长，高度及宽度越短。

CPU11以连接视点v和最初的分割空间的注视点g1而成的线段上的任意的点a的视差不超过界限视差D乘以形状参数q而得到的值的方式确定点a的坐标。图7为表示确定最初的分割空间的方法的示意图。CPU11求得在从视点v向最初的分割空间的注视点g1的纵深方向上不超过界限视差D的点a的坐标。然后，以对角线的交点与注视点g1一致，对角线的长度的二分之一和注视点g1与点a的距离一致的方式确定长方形D1。

图8(a)和(b)为表示求取最初的分割空间的长方体的高度的方法的示意图。如图8(a)所示，CPU11确定在与含有长方形D1的平面正交的直线上不超过界限视差D的点b的坐标。然后，如图8(b)所示，CPU11按照下述方式确定最初的分割空间即长方体，该方式为：以注视点g1为中心，底面为长方形D1，高度为点a和点b的距离h的2倍。

CPU11在确定了分割空间的长方体的纵深长度、高度及宽度时，将以注视点g1为中心的长方体配置为最初的分割空间。图9为表示配置了最初的分割空间的状态的图。如图9所示，1个长方体形成1个分割空间，长方体的中心为分割空间的注视点g1。而且，CPU11以在最初的分割空间即长方体的上下左右前后邻接的方式依次配置长方体。

图10为表示作为被摄体的分割空间配置了长方体的状态的图。如图10所示，CPU11依次重复进行长方体的配置，直到长方体内不再含有表示被摄体的3维模型。通过如此配置，任何一个长方体所含有的3维模型的图像的视差均不超过图8(a)顶点b的视差。这是因为在此配置的长方体越远离最初的长方体，其在立体图像上越小。

CPU11在如上分割成的每一个空间中生成立体图像时，固定视点v，和现有技术同样地在每一个分割空间的长方体中生成相对于注视点g1、g2、...、gn(n为自然数)的立体图像。

立体图像的生成从接近视点v的分割空间依次进行。例如，如图10所示，在纵深方向配置m列(m为自然数)长方体时，CPU11从第1列开始依次生成立体图像。在生成第2列、第3列、...、第k(k为1≤k≤m的自然数)列的立体图像时，在其之前生成的立体图像即第1列到第(k-1)列的立体图像的作用下，分割空间从视点v完全隐去时，对于该分割空间，跳过立体图像的生成。图11为表示在第1列生成的立体图像的例子的图。于是，通过依次从视点v开始生成观看者能够观看到的立体图像，来合成这些图像，由此，即使在观看者观看了显示于大画面的图像的任何一个部分的情况下，也均能够看到三维图像。

然而，对于仅简单地合成立体图像而言，分割空间的边界处产生透明间隙部分，形成不自然的三维图像。因此，为了不在边界形成透明间隙部分，CPU11相对于一个分割空间一个点一个点地移动邻接的其他分割空间。图12为表示本发明实施方式1的立体图像显示装置10的CPU11进行立体图像合成处理的流程图。

立体图像显示装置10的CPU11从生成的多个立体图像中特定成为进行合成处理的基准的立体图像和成为调整对象的立体图像(步骤S1201)。通常，成为基准的立体图像从与最初的分割空间的长方体对应的立体图像向依次进行了合成处理的立体图像移动。

CPU11将成为调整对象的立体图像向成为基准的立体图像的注视点(基准注视点)移动1个点(步骤S1202)，判断是否存在事先作为背景色登记的亮度值的点、即是否存在可透过背景的透明部分(步骤S1203)。图13为表示以点单位移动成为调整对象的立体图像的状态的示意图。在图13中，通过以点单位将成为调整对象的立体图像62向成为基准的立体图像61的注视点(基准注视点)g移动，从而使存在于成为基准的立体图像61和成为调整对象的立体图像62之间的背景色部分即透明部分63消失。

在CPU11判断为存在透明部分时(步骤S1203：是)，CPU11返回步骤S1202，重复一个点一个点地使成为调整对象的立体图像接近移动。在CPU11判断为无透明部分时(步骤S1203：否)，CPU11算出边界的亮度值的差值(步骤S1204)，判断亮度值的差是否在规定值以下(步骤S1205)。

在CPU11判断为亮度值差不在规定值以下时(步骤S1205：否)，CPU11返回步骤S1202，重复执行所述的处理。在CPU11判断为亮度值差在规定值以下时(步骤S1205：是)，CPU11判断是否所有立体图像进行完合成处理(步骤S1206)。

在CPU11判断为所有立体图像进行完合成处理时(步骤S1206：是)，CPU11通过显示接口16向大画面显示装置20送出生成的立体图像(步骤S1207)。在CPU11判断为所有立体图像未进行完合成处理时(步骤S1206：否)，CPU11返回步骤S1201，重复执行所述的处理。

在所述处理中，尽管根据边界的亮度值差是否在规定值以下来确定合成处理中的成为调整对象的立体图像相对于成为基准的立体图像的相对位置，但是，也可以算出一定范围内的所有亮度值差，将亮度值差最小的位置作为成为调整对象的立体图像相对于成为基准的立体图像的相对位置。这样，在简单地于最初的空间位置合成立体图像时能够更有效地消除在邻接的立体图像的边界处产生的透明部分等间隙部分，能够生成即使在边界部分也仍可在观看者视网膜上形成自然三维图像的立体图像。

根据所述本实施方式1，由观看者没有看到模糊图像的视差范围内的长方体将空间进行分割，在每个分割空间均和现有技术相同地生成立体图像，然后将它们进行合成以生成立体图像，所以，在已生成的立体图像的任何一个区域均是界限视差内的立体图像，即使观看者从任何位置任何角度观看立体图像，也都不会在视网膜上形成模糊的三维图像。

因此，即使不采用可变焦透镜也可以正确观看立体图像的所有区域，能够正确掌控被摄体的空间位置关系。另外，因为仅合成存在被摄体的长方体空间中生成的立体图像即可，故而可大幅削减计算机处理负荷，能够实现计算成本的降低。

(实施方式2)

下面参照附图对本发明实施方式2的立体图像显示装置进行具体地说明。图14为表示本发明实施方式2的立体图像显示装置10的结构的方块图。如图14所示，本发明实施方式2的立体图像显示装置10的结构由于和实施方式1的相同，故标注相同符号而省略其详细的说明。本实施方式2的特征在于，不仅向能够供多个观看者观看的大画面显示装置20、而且还向能够供单个观看者观看的外部显示装置30送出立体图像，并且，基于由观看者传感器40检测出的观看者到画面的距离、两眼距离等，对生成立体图像的作为基准的界限视差进行修正。

输入机构15为用于指示画面上任意位置的鼠标等指示器、或为通过在画面上键入显示画面的横向宽度等数值数据而进行输入的键盘等。

显示接口16为向输出显示图像的液晶显示器(LCD)、显示显示器(CRT)等外部显示装置30输送显示数据的LSI板。

传感器接口41将位于外部的观看者传感器40所检测出的信号传送至CPU11。观看者传感器40例如可以是设于显示装置30画面上方的光传感器、超声波传感器等，CPU11基于所取得的检测信号，算出至观看者的距离、观看者两眼的间隔等。

通常，在左右两眼31、32的光轴交叉的点与两眼31、32之间的距离L1的倒数、和投影有被摄体的画面、屏幕等与两眼31、32之间的距离L2的倒数的差在±2以内时，知道所看到的三维图像没有模糊。然而，还需考虑由于个人特质例如观看者至显示画面的距离、观看者两眼距离的不同而可能不一样的情况。

因此，在本实施方式2中，为了抵消这种容许界限的变动，根据基于观看者传感器40所检测出的信号而算出的到观看者的距离、观看者两眼间隔等，CPU11算出距离L1的倒数和距离L2的倒数的容许差Z。

图15为表示本发明实施方式2的立体图像显示装置10的CPU11算出界限视差的顺序的流程图。立体图像显示装置10的CPU11获取由观看者传感器40检测出的检测信号(步骤S1501)，算出投影有被摄体的显示装置20的画面、屏幕等与两眼31、32的距离L2、及观看者两眼的间隔E等(步骤S1502)。

CPU11算出距离L1的倒数与距离L2的倒数的容许差Z(步骤S1503)，按照下面的顺序算出实空间中的界限视差(步骤S1504)。因为距离L1的倒数与距离L2的倒数之差在±Z以内，故距离L1和L2之间满足数学式5。

(1/L2-Z)＜1/L1＜(1/L2+Z)(数学式5)

另外，由于以图3的视差d为底边的三角形和以两眼距离E为底边的三角形相似，故数学式6成立。

L1＝L2×E/(d+E)(数学式6)

根据数学式5和数学式6，关于视差d而进行整理，则可导出数学式7，是否具有数学式7的边界的视差d的绝对值为界限视差D。

-Z×L2×E＜d＜Z×L2×E(数学式7)

然而，根据由于观看者的个人特征例如近视或远视等导致的视网膜位置的前后、晶状体有无污物等，对于所见模糊范围存在个人差异。为了更适合于观看者的个体特征，通过输入机构15设定用于修正界限视差D的系数。因此，能够生成更适合于观看者的立体图像。

CPU11根据算出的界限视差D、显示装置30的画面的横向宽度W及画面的水平方向的析像度R，算出界限视差D的像素数(步骤S1505)。即根据数学式8而将界限视差D换算成显示的画面的像素数Q。

Q＝D×R/W(数学式8)

这样，通过以显示装置的显示画面的像素单位求得界限视差D，从而在以注视点为中心、以界限视差D为直径的球的内部，观看者不会看到模糊图像的被摄体。该范围称为立体界限。因此，在本实施方式1中，为了将含有被摄体的空间无间隙地分割，而算出内接于立体界限的长方体，根据求得的长方体将含有被摄体的空间进行分割。

然后，和实施方式1同样，在每个分割空间生成立体图像，将生成的多个立体图像合成以生成单一的立体图像，由此，无论观看者的观看姿势、方向等如何，均能够观看到正确的三维图像。

如上所述，根据本实施方式2，能够根据观看者的观看位置而正确算出界限视差，能够显示适合于观看者的立体图像。另外，通过根据由于观看者的个人特征例如近视或远视等导致的视网膜位置的前后、晶状体有无污物等，对算出的界限视差进行修正，由此，能够更准确地算出界限视差，能够显示更适合于观看者的立体图像。

Claims (12)

1.一种立体图像显示装置，其生成显示在观看者视网膜上形成三维图像的立体图像，其特征在于，包括：

界限视差算出机构，其算出可在观看者视网膜上形成三维图像的视差的边界即界限视差；

长方体尺寸算出机构，其算出与以算出的界限视差为直径的球内接的长方体的尺寸；

空间分割机构，其由算出的长方体将包含被摄体的空间分割成多个空间；

注视点图像生成机构，其在每个分割空间中生成被摄体相对于单一注视点的立体图像；

注视点图像合成机构，其合成所生成的多个立体图像，生成单一立体图像；

图像显示机构，其显示所生成的单一立体图像。

2.如权利要求1所述的立体图像显示装置，其特征在于，

包括检测显示立体图像的面和观看者的相对位置的相对位置检测机构，

所述界限视差作为左右视线交叉的点和两眼之间的距离的倒数与显示立体图像的面和两眼之间的距离的倒数之差为规定值的视差而算出。

3.如权利要求1或2所述的立体图像显示装置，其特征在于，

所述界限视差算出机构包括基于观看者的个人特征而修正所述界限视差的修正机构。

4.如权利要求1至3中任意一项所述的立体图像显示装置，其特征在于，

所述注视点图像合成机构包括：

亮度差算出机构，其将分割空间中的一个空间作为基准而算出在一个空间生成的立体图像的亮度值和在邻接的其他空间生成的立体图像的亮度值的差；

亮度差再算出机构，其相对于一个空间平行移动其他空间而再次算出亮度差；

相对位置求取机构，其求取所算出的亮度差最小的其他空间相对于一个空间的相对位置。

5.一种立体图像显示方法，其生成显示在观看者视网膜上形成三维图像的立体图像，其特征在于，

算出可在观看者视网膜上形成三维图像的视差的边界即界限视差；

算出与以算出的界限视差为直径的球内接的长方体的尺寸；

由算出的长方体将包含被摄体的空间分割成多个空间；

在每个分割空间中生成被摄体相对于单一注视点的立体图像；

合成所生成的多个立体图像，生成单一立体图像；

显示所生成的单一立体图像。

6.如权利要求5所述的立体图像显示方法，其特征在于，

检测显示立体图像的面和观看者的相对位置，

所述界限视差作为左右视线交叉的点和两眼之间的距离的倒数与显示立体图像的面和两眼之间的距离的倒数之差为规定值的视差而算出。

7.如权利要求5或6所述的立体图像显示方法，其特征在于，

基于观看者的个人特征而修正所述界限视差。

8.如权利要求5至7中任意一项所述的立体图像显示方法，其特征在于，

将分割空间中的一个空间作为基准而算出在一个空间生成的立体图像的亮度值和在邻接的其他空间生成的立体图像的亮度值的差即亮度差，

相对于一个空间平行移动其他空间而再次算出亮度差，

求取所算出的亮度差最小的其他空间相对于一个空间的相对位置。

9.一种计算机程序，其生成显示在观看者视网膜上形成三维图像的立体图像，其特征在于，

所述计算机作为如下机构而发挥功能，即，

界限视差算出机构，其算出可在观看者视网膜上形成三维图像的视差的边界即界限视差；

长方体尺寸算出机构，其算出与以算出的界限视差为直径的球内接的长方体的尺寸；

空间分割机构，其由算出的长方体将包含被摄体的空间分割成多个空间；

注视点图像生成机构，其在每个分割空间中生成被摄体相对于单一注视点的立体图像；

注视点图像合成机构，其合成所生成的多个立体图像，生成单一立体图像。

10.如权利要求9所述的计算机程序，其特征在于，

所述计算机作为检测显示立体图像的面和观看者的相对位置的相对位置检测机构而发挥功能，

且以所述界限视差作为左右视线交叉的点和两眼之间的距离的倒数与显示立体图像的面和两眼之间的距离的倒数之差为规定值的视差而算出的方式发挥功能。

11.如权利要求9或10所述的计算机程序，其特征在于，

所述计算机作为基于观看者的个人特征而修正所述界限视差的修正机构而发挥功能。

12.如权利要求9至11中任意一项所述的计算机程序，其特征在于，

所述计算机作为如下机构而发挥功能，即，

亮度差算出机构，其将分割空间中的一个空间作为基准而算出在一个空间生成的立体图像的亮度值和在邻接的其他空间生成的立体图像的亮度值的差；

亮度差再算出机构，其相对于一个空间平行移动其他空间而再次算出亮度差；

相对位置求取机构，其求取所算出的亮度差最小的其他空间相对于一个空间的相对位置。

Images