CN104160699A - 立体图像显示装置以及程序 - Google Patents
立体图像显示装置以及程序 Download PDFInfo
- Publication number
- CN104160699A CN104160699A CN201280071219.XA CN201280071219A CN104160699A CN 104160699 A CN104160699 A CN 104160699A CN 201280071219 A CN201280071219 A CN 201280071219A CN 104160699 A CN104160699 A CN 104160699A
- Authority
- CN
- China
- Prior art keywords
- image
- hearer
- display
- distance
- anaglyph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
本发明具备测距部(31、12),其测定到视听者的距离;选择部(32),其根据测定出的到视听者的距离,从基于显示对象的视差图像(N1~N4)中选择具有与上述距离相应的双眼视差量的视差图像,作为立体显示用图像对;以及显示控制部(33),其使显示部(10)显示所选择的上述立体显示用图像对,由此视听者能够更高效地看到立体图像。
Description
技术领域
本发明涉及立体图像显示装置以及程序。
背景技术
存在以下的立体图像生成装置:利用由相邻的两个照相机拍摄的图像之间的视差来生成可以实现立体视觉的图像。立体图像生成装置例如将由相邻的两个照相机拍摄的图像中的由一个照相机拍摄的图像作为左眼用图像、由另一个照相机拍摄的图像作为右眼用图像来进行生成并显示。
视差或双眼视差是指对于同一对象物在左眼用图像中的位置与在右眼用图像中的位置之间的差。在图像内存在的两个对象物中,由于视差量不同,一个对象物看起来好像在另一个对象物的前方或后方。视差量是双眼视差的大小。
另外,立体图像生成装置在液晶显示器等显示装置上设置有双凸透镜,由此无需使用专用眼镜,就能够使左眼以及右眼识别各不相同的影像。具体地说,在显示装置与视听者之间配置使半圆柱体状的凸透镜连续排列而构成的片状的双凸透镜。
即,在显示装置上交替地显示左眼用的影像和右眼用的影像,并通过双凸透镜进行观看,由此左眼仅能看到左眼用的图像,右眼仅能看到右眼的图像,可识别为立体影像。
专利文献1:日本特开平04-035192号公报
发明内容
发明所要解决的课题
在现有的立体图像生成装置中,期望视听者能够更高效地看到立体图像。
本发明是鉴于这样的课题而作出的,其目的是使视听者能够更高效地看到立体图像。
此外,不限于上述目的,作为本发明的其它目的之一,还可以起到利用现有技术无法取得的作用效果,即经由用于实施后述发明的最优方式所示的各个结构导出的作用效果。
解决问题的手段
为了达成上述目的,该立体图像显示装置具备:测距部,其测定到视听者的距离;选择部,其根据测定出的到视听者的距离,从与显示对象相关的视差图像中选择具有与上述距离相应的双眼视差量的视差图像,作为立体显示用图像对;以及显示控制部,其使显示部显示所选择的上述立体显示用图像对。
另外,该程序是用于使计算机执行在显示装置的显示画面上显示图像的图像显示控制功能的程序,该程序使上述计算机执行以下的处理:测定到视听者的距离,根据测定出的到视听者的距离,从与显示对象相关的视差图像中选择具有与上述距离相应的双眼视差量的视差图像作为立体显示用图像对,使显示部显示所选择的上述立体显示用图像对。
发明效果
能够给予视听者更逼真的立体视觉效果。
附图说明
图1是示意性示出作为第1实施方式的一例的立体图像显示装置的结构的图。
图2是示出作为第1实施方式的一例的立体图像显示装置的显示装置中的显示元件排列的例子的图。
图3是示出作为第1实施方式的一例的立体图像显示装置的透镜片的结构例的图。
图4是示出作为第1实施方式的一例的立体图像显示装置中的透镜片的截面的图。
图5是用于说明透镜片的成像距离的图。
图6是例示作为第1实施方式的一例的立体图像显示装置中的透镜片的第1透镜以及第2透镜与显示装置的显示面的像素的配置的图。
图7是示出视点移动时的例子的图。
图8是示出第1光学部以及第2光学部的变形例的图。
图9是示出光学部以及显示装置的变形例的图。
图10是示出将透镜片安装到作为第1实施方式的一例的立体图像显示装置中的显示装置上的安装例的图。
图11是示意性示出作为第1实施方式的一例的立体图像显示装置的显示控制装置的硬件结构的图。
图12是说明作为第1实施方式的一例的立体图像显示装置中的照相机对与拍摄对象物之间的位置关系的图。
图13的(a)、(b)、(c)是例示对象物的位置与由照相机对拍摄的对象物的图像之间的关系的图。
图14的(a)、(b)、(c)是例示出对象物的位置与由照相机对拍摄的对象物的图像之间的关系的图。
图15的(a)、(b)、(c)是例示出对象物的位置与由照相机对拍摄的对象物的图像之间的关系的图。
图16是例示出作为第1实施方式的一例的立体图像显示装置的测距表的图。
图17是例示出作为第1实施方式的一例的立体图像显示装置中的对话框的图。
图18的(a)、(b)、(c)是用于说明在作为第1实施方式的一例的立体图像显示装置中使用的立体显示用图像的图。
图19的(a)、(b)是分别示出作为实施方式的一例的立体图像显示装置的显示面的显示状态例的图。
图20的(a)、(b)是分别示出作为实施方式的一例的立体图像显示装置的显示面的显示状态例的图。
图21的(a)、(b)是说明作为第1实施方式的一例的立体图像显示装置中的2D显示的图。
图22是示意性示出作为第1实施方式的一例的立体图像显示装置中的功能结构的框图。
图23是概括地说明作为第1实施方式的一例的立体图像显示装置中的立体图像显示方法的图。
图24是说明第1实施方式的立体图像显示装置中的立体显示用图像的显示方法的流程图。
图25是例示出作为第1实施方式的一例的立体图像显示装置中的对话框的图。
图26是示出作为第1实施方式的一例的立体图像显示装置中的视听者距离不同时的立体图像的显示例的图。
图27是示意性示出并排方式的立体显示用图像格式的图。
图28是说明作为第2实施方式的一例的立体图像显示装置中的立体显示用图像的显示方法的流程图。
图29是用于说明在作为第3实施方式的一例的立体图像显示装置中使用的立体图像的图。
具体实施方式
以下,参照附图来说明本发明的实施方式。但是,以下所示的实施方式不过是例示,没有排除应用在实施方式中未明示的各种变形例或技术中的意思。即,在不脱离其主旨的范围内可进行各种变形(组合实施方式以及各变形例等)来实施本实施方式。另外,各个图不是仅具备图中所示的构成要素这样的意思,可包含其它功能等。
(A)第1实施方式
图1是示意性示出作为第1实施方式的一例的立体图像显示装置1的结构的图,图2是示出其显示装置10的显示元件的排列的例子的图。
在本第1实施方式的立体图像显示装置1中,视听者处于与在显示面10a(参照图10)上安装有透镜片11的显示装置10相对的位置(参照图23),在该显示面10a上显示立体显示用图像。由此,立体显示用图像经由透镜片11在视听者的左右眼上成像,显示对象物的立体图像被看到。
即,作为本第1实施方式的一例的立体图像显示装置1是利用透镜片11来实现视听者的立体视觉的透镜式的立体图像显示装置。
立体显示用图像(3D图像)例如是利用相邻的两个照相机拍摄的图像,将这两个照相机中的一个照相机所拍摄的图像用作左眼用图像,将另一个照相机所拍摄的图像用作右眼用图像。在立体显示用图像中包含左眼用图像以及右眼用图像。利用具有双眼视差的这两个图像,就可产生立体视觉。此外,可采用已知的各种方法来制作成立体显示用图像,省略其详细的说明。另外,由本立体图像显示装置1显示的立体显示用图像可以是动态图像也可以是静态图像。
作为实施方式的一例的立体图像显示装置1如图1所示具备显示装置10、透镜片11、照相机对12以及显示控制装置13。
显示装置10例如是液晶显示器,根据来自显示控制部12的控制,在其显示面10a上显示图像。即,在本立体图像显示装置1中,在该显示装置10上显示立体显示用图像。以下,关于液晶显示器的例子,示出显示装置10。
显示装置10的显示面10a形成为平面,在该显示面10a上沿显示面10a的横方向(图2的横方向;排列方向)以及与横方向垂直的纵方向(图2的纵方向)排列多个色像素的元件(显示元件)。即,在显示装置10的显示面10a上,通过沿排列方向以及与该排列方向正交的方向排列显示元件,来将显示元件配置成矩阵状。
然后,分别利用显示元件(显示单元)来表现构成在显示面10a上显示的图像(立体图像)的多个像素。
具体地说,各像素包含多个色像素。色像素的例子例如是构成红(R;Red)、绿(G;Green)以及蓝(B;Blue)光的三原色的色像素。在显示面10a中,如图2所例示,沿排列方向以规定的顺序重复配置这些色像素的显示元件。另外,在与排列方向垂直的方向上连续配置同类的显示元件。在各显示元件的边界部分可配置黑色矩阵。并且,在显示面10a中,利用连续的R、G、B这3个色像素的显示元件来表现一个像素。
另外,在本第1实施方式中,各色像素的显示元件是发光部分具备矩形形状的矩形显示单元。
在本立体图像显示装置1中,利用在相对于图2例示的显示面10a的显示元件的排列的纵方向倾斜的方向(非平行的方向)上排列(连续)的R、G、B这3个色像素的显示元件,来表现一个像素。即,在倾斜方向上配置1个像素。
例如,在图2所示的例子中,作为色像素的显示元件的R1、G1、B1形成1个像素(像素L1)。另外,关于其它色像素的显示元件,也是同样的。
此外,在图2所示的例子中,相对于像素的排列方向(在本实施方式中为水平方向)非平行地配置1个像素的色像素,但不限于此,可进行各种变形后实施。可相对于像素的排列方向平行地配置1个像素的色像素。
图3是示出作为第1实施方式的一例的立体图像显示装置1的透镜片11的结构例的图。
透镜片11具备多个(在图3所示的例子中为2个)光学部104、106,面向显示装置10的显示面10a进行配置。以下,具有将光学部104称为第1光学部104、将光学部106称为第2光学部106的情况。如图3所示,显示面10a、光学部104、106被配置成大致平行,并按照显示部10a、第1光学部104、第2光学部106的顺序进行配置。
第1光学部104是在与显示装置10相对的一侧的面上包含半圆柱体状的多个第1透镜(透镜阵列)和平面部的双凸状的透镜(双凸透镜)。第1光学部104的外侧的面(与显示装置10相对的一侧的面的相反侧的面)是平面。第1光学部104的外侧的面可以与第2光学部106相接。以相对于显示装置10的显示面10a的像素排列(显示元件的排列)倾斜的方式配置第1透镜以及平面部。
具体地说,配置第1透镜,使其母线与上述显示装置10中的位于形成一个像素的倾斜方向的3个显示元件(斜列显示元件组)平行,并且与这些斜列显示元件组重叠。
第2光学部106是在与显示装置10相对的一侧的相反侧的面上包含半圆柱体状的多个第2透镜(透镜阵列)和平面部的双凸透镜。第2光学部106的外侧的面(与显示装置10相对的一侧的面)是平面。还以相对于显示装置10的显示面10a的像素排列倾斜的方式配置第2透镜以及平面部。即,配置第2透镜,使其母线与上述显示装置10中的斜列显示元件组平行,并且与这些斜列显示元件组重叠。
第1光学部104以及第2光学部106可利用透明的平面板来保护整个面。在第1光学部104以及第2光学部106中使用的透镜是半圆柱体状的曲面透镜。在第1光学部104以及第2光学部106中使用的透镜是第1光学部104以及第2光学部106中的凸部。半圆柱体状的曲面透镜的形状例如是在沿该平面的法线方向扫描由该平面状的直线切断平面上的闭合曲线(例如椭圆)时被该闭合曲线和该直线包围的一部分时,可构成的立体形状。半圆柱体状的曲面透镜的形状可以是例如由与该圆柱(椭圆柱)的高度方向的直线平行的平面切断圆柱(或椭圆柱)而成的一个立体形状。另外,第1光学部104以及第2光学部106既可以一体化也可以分离。
在透镜片11中,第1光学部104的第1透镜和第2光学部106的第2透镜具备互不相同的焦点距离。由此,透镜片11可使在显示装置10的显示面10a上映出的图像在与显示面10a相距的距离不同的多个位置处成像。
图4是示出作为第1实施方式的一例的立体图像显示装置1中的透镜片11的截面的图。如图4所示,将显示装置10与第1光学部104的第1透镜的主点之间的距离设为G1,将显示装置10与第2光学部106的第2透镜的主点之间的距离设为G2。另外,将第1透镜的主点与显示装置10的图像通过第1透镜而成像的位置之间的距离设为D1,将第2透镜的主点与显示装置10的图像通过第2透镜而成像的位置之间的距离设为距离D2。将第1透镜的焦点距离设为距离f1,将第2透镜的焦点距离设为距离f2。根据透镜的原料和曲率半径来获得透镜的焦点距离。
如图4所示,以大致重叠的方式配置第1光学部104的第1透镜和第2光学部106的平面部。从显示装置10发出的光通过第1光学部104的第1透镜并通过第2光学部106的平面部而到达视听者的眼睛。同样,以大致重叠的方式配置第1光学部104的平面部和第2光学部106的第2透镜。从显示装置10发出的光通过第1光学部104的平面部,并通过第2光学部106的第2透镜而到达视听者的眼睛。通过第1光学部104的第1透镜的光由于通过第2光学部106中的平面部,从而不受第2光学部106的第2透镜的影响。另外,通过第2光学部106的第2透镜的光由于通过第1光学部104中的平面部,从而不受第1光学部104的第1透镜的影响。
如图4所示,向处于显示装置10的图像通过第1透镜而成像的位置上的视听者的左眼入射显示装置10的1L、3L的图像(像素)。另外,向处于显示装置10的图像通过第1透镜而成像的位置上的视听者的右眼入射显示装置10的1R、3R的图像。同样,向处于显示装置10的图像通过第2透镜而成像的位置上的使用者的左眼入射显示装置10的2L、4L的图像。另外,向处于显示装置10的图像通过第2透镜而成像的位置上的视听者的右眼入射显示装置10的2R、4R的图像。关于图4的纵深方向以及左右方向也是同样的。
1L以及2L、1R以及2R、3L以及3L、3R以及4R的像素可分别是共用的。即,例如1L和2L的像素可以是共用的。
根据透镜的公式,在距离D1、距离G1以及距离f1之间,下式成立。
1/D1+1/G1=1/f1
在距离D2、距离G2以及距离f2之间,同样的式子成立。因此,可通过调整距离G1、G2、f1、f2,来决定视听者的位置即D1以及距离D2。
将距离D1以及距离G1之和设定成与距离D2以及距离G2之和不同。通过这样进行设定,视听者可从多个位置看到在显示装置10上显示的立体图像。距离D1以及距离G1之和是显示装置10的显示面10a与通过第1透镜看到立体图像的视听者之间的距离。距离D2以及距离G2之和是显示装置10的显示面10a与通过第2透镜而看到立体图像的视听者之间的距离。
利用下式来决定第1光学部中的各第1透镜的间隔。这里,如图4所示,将入射来自1L的像素的光的第1透镜与入射来自3L的像素的光的第1透镜之间的距离设为距离Q1。将入射来自1L的像素的光的第1透镜与入射来自1R的像素的光的第1透镜之间的距离设为距离Q1的一半。
将入射来自2L的像素的光的第1透镜与入射来自4L的像素的光的第2透镜之间的距离设为距离Q2。将入射来自2L的像素的光的第2透镜与入射来自2R的像素的光的第2透镜之间的距离设为距离Q2的一半。另外,将显示装置10中的1L的像素与1R的像素之间的距离设为距离P。将显示装置10中的1L的像素与2L的像素之间的距离设为距离P的一半。
2P×D1=Q1(D1+G1)
2P×D2=Q2(D2+G2)
这里,参照图5来说明透镜的成像(焦点)距离。首先,在一般凸透镜的焦点距离中,以下的式子作为公式成立。
1/f=(n-1)(1/r1-1/r2)
+(n-1)×(n-1)/n×t/r1r2
其中,
f:焦点距离
n:透镜的折射率
r1:从像素侧观察到的曲率半径
r2:从视听者侧观察到的曲率半径
t:透镜的厚度
这里,透镜是鱼糕状的平凸透镜,因此r2成为无限大的数值,所以“1/r2”成为零。
另外,同样,关于“t/r1r2”,也因为r2是无限大,所以成为零。因此,上述式成为:
1/f=(n-1)(1/r1)。
另外这里,n成为构成透镜的原料的固定值。因此,取决于r1来决定f。
并且,所谓焦点距离即RGB各像素成像的位置是指从透镜到视听者的距离a,所以f=a。
因此,视听者可使3D图像成像的位置是f,该f的数值由r1来决定,另外,该R1取决于从像素到透镜的距离b。
图6是例示出第1透镜以及第2透镜与显示装置10的显示面10a的像素的配置的图。图6所示的像素是显示装置10的显示面10a的像素的一部分像素。各像素(1L、2L等)分别具有R、G、B的色像素。例如,由图6的R1、G1、B1形成1个像素(1L)。利用1L、2L等像素来显示左眼用像素。1L、2L等是左眼用的像素。同样,利用1R、2R等像素来显示右眼用像素。1R、2R等是右眼用的像素。
在显示面10a中,在用于左眼用的图像显示的显示元件中显示左眼用图像的像素。另外,在用于右眼用的图像显示的显示元件中显示右眼用图像的像素。
在相对于显示装置10的显示元件的排列的纵方向倾斜的方向(非平行的方向)上配置第1透镜以及第2透镜。相对于另一个透镜的方向平行地配置第1透镜以及第2透镜。与此相伴,在显示装置10中显示的各像素沿倾斜方向配置色像素。即,在倾斜方向上配置1个像素。例如,作为色像素的R1、G1、B1形成1个像素。同样,关于其它色像素,也是同样的。
第1透镜以及第2透镜的方向与形成一个像素的位于倾斜方向的3个显示元件(斜列显示元件组)平行,由此,各像素中的色像素的方向与各透镜的方向是平行的。
例如,从1L、1R的像素发出的光入射到第1透镜。从2L、2R的像素发出的光入射到第2透镜。由显示装置10的显示面10a的显示元件形成各像素。后述的显示控制装置13进行该显示装置10的显示面10a所具备的各显示元件的发光控制。
图7是示出视点移动时的例子的图。在图7的左侧,视听者位于使来自2L以及2R的图像分别在左右眼中成像的位置,利用左眼观看2L的图像,利用右眼观看2R的图像。由此,该视听者利用左眼观看左眼用图像,利用右眼观看右眼用图像,由此能够看到立体图像。
这里,如图7的右侧那样,视听者稍微向右侧移动。此时,视听者的左眼的位置处于使右眼用图像即来自2R的图像成像的位置。这样,利用视听者的左眼看到右用图像。另一方面,视听者的右眼的位置不在使来自显示装置10的任意图像成像的位置。例如,来自3L的图像在视听者的前方成像,所以视听者的右眼无法看到。利用视听者的右眼仅看到模糊的图像。因此,视听者可通过向左右某一边进行移动,来利用双眼观看立体图像。由此,视听者在逆视状态下,不能看到立体图像。所谓逆视状态是指利用左眼观看右眼用图像、利用右眼观看左眼用图像的状态。
在本立体图像显示装置1中,如上所述具有多个(在图2所示的例中为两个)光学部104、106。通过层叠多个光学部104、106,可使由显示装置10显示的图像在与显示装置10的显示面10a相距的多个(在图2所示的例子中为两个)距离处成像。由此,本立体图像显示装置1的视听者可从多个(在图2所示的例子中为两个)位置看到由显示装置10显示的立体图像。
本立体图像显示装置1相对于显示装置10具有前方的成像点以及后方的成像点,由此即使在某一方的成像点中看到立体图像的使用者左右进行移动,也不会成为逆视状态。
立体图像显示装置1具有在内侧(显示装置10侧)具备第1透镜的第1光学部104和在外侧(面向显示装置10的一侧的相反侧)具备第2透镜的第2光学部106,由此能够使各透镜与显示装置10之间的距离(距离G1、G2)存在较大差异。即,可增大距离G1与距离G2之差。由此,立体图像显示装置1能够使图像通过各透镜而成像的位置(成像点;距离G1与距离D1之和、距离G2与距离D2之和)存在较大差异。
另外,透镜片11的结构不限于上述的例子,可进行各种变形后再实施。在以下所示的变形例中,具有与上述实施方式的共同点。因此,主要对不同点进行说明,省略关于共同点的说明。
图8是示出第1光学部以及第2光学部的变形例的图。在上述的实施方式中,虽然第1光学部104以及第2光学部106是分离的,但在图8的例子中,第1光学部104以及第2光学部106相结合而形成1个光学部。通过这样地形成光学部,可减少部件个数。
图9是示出光学部以及显示装置的变形例的图。在此图9的例子中,透镜片11具备第1光学部204、第2光学部206以及第3光学部208。即,透镜片11包含3个光学部。
第1光学部204、第2光学部206以及第3光学部208具有与第1光学部104,第2光学部106同样的结构。
另外,在图9所示的例子中,虽然举出透镜片11具有3个光学部的例子,但不限于此,透镜片11可构成为具有4个以上的光学部的结构。该结构的装置通过成为包含多个(n个)光学部的结构,可使来自显示面10a的图像在与显示装置的显示面10a相距的多个(n种)距离(成像位置)处成像。此外,有时将光学部的数量称为成像数。
本变形例中的各光学部具有平面部,以使通过其它光学部的透镜的光不通过自身的透镜。优选在各光学部中,透镜的间隔即平面部的宽度与使透镜宽度乘以(n-1)所得的值大致相等。因此,本变形例中的各光学部具有比上述实施方式的光学部中的平面部大的平面部。
各光学部中的透镜所在的面可以是显示装置10侧,另外也可以是面向显示装置10的一侧的相反侧。透镜阵列根据经由该光学构造发光的像素与透镜阵列的曲面之间的距离来改变其焦点距离。因此,透镜曲面处于显示装置10侧和处于视听者侧都没有给图像的成像带来影响。
这样,在本立体图像显示装置1中,在与显示装置10的显示面10a相距的距离不同的多个位置上,可分别使立体图像成像于视听者的眼睛中。
从显示面10a中的各显示像素输出的光在与面向该显示像素而配置的透镜片11的光学部的结构相应的焦点距离处分别成像。即,在右眼用图像或左眼用图像中的任意一个像素的显示中确定显示面10a的各显示像素,而且在透镜片11具有的多个焦点距离中的任意一个焦点距离处的成像中确定显示面10a的各显示像素。
即,显示面10a的各显示像素预先与右眼用图像或左眼用图像中的任意一个对应起来,并且与透镜片11所具有的多个焦点距离中的任意一个的焦点距离对应起来。以下,将在右眼用图像的显示中采用的显示元件称为右眼用显示元件,将在左眼用图像的显示中采用的显示元件称为左眼用显示元件。
图10是示出将透镜片安装到作为第1实施方式的一例的立体图像显示装置中的显示装置上的安装例的图。
如图10所示,在显示装置10的显示面10a的前方(视听者侧)的规定位置上固定透镜片11而进行安装。例如,通过固定在未图示的挂钩等上来将透镜片11安装到显示装置10。另外,例如在显示装置10中具备检测透镜片11的安装的传感器(省略图示),向显示控制装置13通知是否已安装有透镜片11的信息。
而且,在透镜片11中具备用于识别该透镜片11的种类等的3D面板ID(识别信息)。此外,有时将透镜片11称为3D面板。
例如,在透镜片11中具备存储有3D面板ID的非接触ID标签,并且在显示装置10中具备ID标签的读出器,由此,显示装置10可取得3D面板ID。另外,显示装置10向显示控制装置13发送已取得的3D面板ID。
在本立体图像显示装置1中,使1个透镜阵列(1个透镜)与显示面10a的1个像素相对应,所以1个像素的光线不会降低光的强度(光量),而且能够保持正确的焦点距离a来进行成像。
照相机对12是拍摄视听者的面部的摄像装置(摄像部),例如,安装到显示装置10的上部等,使得与视听者的正面位置相对,对视听者的面部(特别是双眼)进行摄影。
作为该照相机对12,例如可采用在PC(Personal Computer:个人计算机)中具备的网页照相机。此外,例如可以在显示装置10的框架(省略图示)等中填装照相机对12,也可对其配置进行适当变更后再实施。
照相机对12具备第1照相机12a和第2照相机12b这两个摄像装置。在同一高度且与视听者相距的距离相等的位置上,沿着水平方向并排地配置第1照相机12a和第2照相机12b。例如期望如图1所示,在显示装置10的框架等中以内置或外装的方式配置第1照相机12a和第2照相机12b。以下,有时将第1照相机12a称为左照相机,将第2照相机12b称为右照相机。
将由该照相机对12拍摄的图像发送至显示控制装置13。然后期望照相机对12在立体图像显示中对显示控制装置13始终继续发送所拍摄的图像。
在本立体图像显示装置1中,采用该照相机对12来拍摄视听者,后述的测距处理部31测定显示装置10的显示面10a与视听者之间的距离。
图11是示意性示出作为第1实施方式的一例的立体图像显示装置1的显示控制装置13的硬件结构的图。
显示控制装置13如图11所示,例如构成为具备CPU(Central Processing Unit:中央处理器)131、LAN(Local Area Network:局域网)卡132、调谐器133、图形加速器134、芯片组135、存储器136、音频控制器137、HDD(Hard Disk Drive:硬盘驱动器)138、蓝光盘(Blu-ray Disc)驱动器139以及键盘控制器140的信息处理装置(计算机)。
图形加速器134是连接显示装置10的用于对该显示装置10进行图像显示的图像显示控制接口。此外,可使芯片组135具备作为该图形加速器134的功能。LAN卡132是用于与互联网等网络连接的接口卡,调谐器133连接外部天线142,接收TV节目,并作为不进行解码等处理的图像数据显示到显示装置10上。
存储器136是例如RAM(Random Access Memory:随机存取存储器)或ROM(ReadOnly Memory:只读存储器)等存储装置,存储CPU131执行或者使用的各种程序或数据。
音频控制器137与扬声器143连接,并对该扬声器143控制声音数据的输出。
HDD138是存储装置,存储CPU131执行或者使用的OS(Operating System:操作***)、各种程序或数据等。另外,在该HDD138或存储器136中还存储有由显示装置10显示的各种图像(2维图像、立体(3维)图像)数据。
然后,在该HDD138中存储有如后所述针对立体显示对象(显示对象)预先生成的立体图像数据。即,HDD138作为存储关于显示对象的具有不同视差量的视差图像的存储部来发挥功能。另外,在HDD138中存储后述的测距表(测距对应信息;参照图16)41。
蓝光盘驱动器139对蓝光盘进行再现。此外,在该蓝光盘中可存储由显示装置10显示的各种图像数据。另外,也可具备能对蓝光盘以外的记录介质(例如,DVD等)进行再现的再现装置,再现在该记录介质中存储的各种图像数据。
键盘控制器140与键盘144或鼠标145等输入装置连接,控制键盘144或鼠标145与CPU131之间的数据交换。芯片组135经由总线等连接这些部件中的各个部件,控制CPU131与这些部件中的各个部件之间的通信。另外,显示控制装置13还与照相机对12连接,接收由该照相机对12拍摄的视听者的面部图像。
CPU131是通过执行在HDD138或存储器136中存储的程序来实现各种功能的处理装置。
CPU131例如通过执行图像再现应用程序,来使显示装置10的显示面10a显示动态图像或静态图像等的内容。
另外,在本立体图像显示装置1中,CPU131如图1所示,作为测距处理部31、选择部32以及显示控制部33发挥功能。另外,在上述的图像再现应用程序中还包含作为测距处理部31、选择部32以及显示控制部33的功能。
以记录在例如软盘、CD(CD-ROM、CD-R、CD-RW等)、DVD(DVD-ROM、DVD-RAM、DVD-R、DVD+R、DVD-RW、DVD+RW等)、蓝光盘、磁盘、光盘、光磁盘等计算机可读取的记录介质中的方式,来提供用于实现作为测距处理部31、选择部32以及显示控制部33的功能的程序(图像再现应用程序)。然后,计算机从该记录介质中读取程序,传送并存储到内部存储装置或外部存储装置中来进行使用。另外,例如可在磁盘、光盘、光磁盘等存储装置(记录介质)中预先记录该程序,并从该存储装置经由通信路径提供给计算机。
在实现作为测距处理部31、选择部32以及显示控制部33的功能时,利用计算机的微型处理器(在本实施方式中为CPU131)执行在内部存储装置(在本实施方式中为存储器136)中存储的程序。此时,计算机可读取并执行在记录介质中记录的程序。
此外,在本实施方式中,所谓计算机是指在操作***的控制下进行动作的硬件,其中包含了硬件和操作***的概念。另外,在不需要操作***而是单独利用应用程序使硬件进行动作时,该硬件本身相当于计算机。硬件至少具备CPU等微型处理器和用于读取在记录介质中记录的计算机程序的单元,在本实施方式中,立体图像显示装置1具有作为计算机的功能。
测距处理部31根据由照相机对12拍摄的图像,来测定从显示装置10的显示面10a到视听者的距离。测距处理部31取得第1照相机12a以及第2照相机12b这两个摄像部分别拍摄的视听者的图像,根据这些图像的偏差量(点、视差量)来计算到视听者的距离。
图12是说明作为第1实施方式的一例的立体图像显示装置1中的照相机对12与拍摄对象物之间的位置关系的图。
第1照相机12a以及第2照相机12b是显示装置10的框架,在显示装置10的大致中央位置处内置于与视听者正对的位置。第1照相机12a以及第2照相机12b与视听者相距的距离是相同的。即,在与对象物相距的距离相等的位置中,在水平方向上不同的位置处配置第1照相机12a和第2照相机12b。
第1照相机12a以及第2照相机12b这两个照相机针对处于与显示装置10的显示面10a相距规定距离的基准位置处的对象物(基准对象物)分别对焦后进行拍摄。将由第1照相机12a以及第2照相机12b拍摄的基准对象物的图像(影像帧)作为基准图像。拍摄对象物例如是视听者。
测距处理部31使分别从第1照相机12a以及第2照相机12b导入的基准图像重合,使这些基准图像中的基准对象物一致。测距处理部31将从显示装置10的显示面10a到该基准位置的距离作为基准视点位置信息存储到HDD138内。
在利用第1照相机12a以及第2照相机12b分别拍摄的对象物的影像帧中,水平方向上的视差量根据显示装置10的显示面10a与对象物之间的距离即第1照相机12a以及第2照相机12b与对象物之间的距离而不同。
测距处理部31根据由第1照相机12a以及第2照相机12b分别拍摄到的视听者的影像帧,来测定这些影像帧间的对象物在水平方向上的视差量。测距处理部31根据所测定的视差量,通过参照预先登记的测距表41(参照图16)来决定从显示面10a到视听者的距离。
图13的(a)、(b)、(c)是例示出对象物的位置与由照相机对12拍摄到的对象物的图像之间的关系的图。图13的(a)例示了由第1照相机12a(左照相机)对3个对象物进行拍摄而获得的图像帧L00,用单点划线表示所拍摄的对象物的图像并且标注符号L1~L3来示出。图13的(b)例示了由第2照相机12b(右照相机)对3个对象物进行拍摄而获得的图像帧R00,用虚线表示所拍摄的对象物的图像并且标注符号R1~R3来示出。图13的(c)示出使图13的(a)的图像与图13的(b)的图像合成后的图像帧P00。
在这些图13的(a)、(b)、(c)中,符号A表示处于基准视点位置的视听者。符号B表示相对于显示装置10处于比基准视点位置远的位置的对象物。另外,符号C表示相对于显示装置10处于比基准视点位置近的位置的对象物。此外,在这些图13的(a)、(b)、(c)中,为了方便而利用矩形或圆来表示对象物。
如图13的(b)所示,在基准视点位置处,利用右照相机拍摄的对象物A的图像R1与利用左照相机拍摄的对象物A的图像L1一致,水平视差量为零(以下,称为零视差量)。另外,关于处于比基准视点位置近的位置的对象物C,由于逆视差,利用左照相机拍摄的图像L3相对于利用右照相机拍摄的图像R3处于向水平方向的右侧偏移的状态。另一方面,关于处于比基准视点位置远的位置的对象物B,利用左照相机拍摄的图像L2相对于利用右照相机拍摄的图像R2处于向水平方向的左侧偏移的状态。
图14的(a)、(b)、(c)是例示出对象物的位置与由照相机对12拍摄的对象物的图像之间的关系的图,例示出图13的(a)、(b)、(c)的状态下的对象物A接近于显示装置10侧的状态的图像帧L01、R01、P01。另外,图15的(a)、(b)、(c)也是例示出对象物的位置与由照相机对12拍摄的对象物的图像之间的关系的图,例示出图13的(a)、(b)、(c)的状态下的对象物A从显示装置10侧远离的状态的图像帧L02、R02、P02。
如图14的(c)所示,当对象物A(视听者)接近于显示装置10侧时,产生逆视差,由于逆视差,利用左照相机拍摄的对象物A的图像L1相对于利用右照相机拍摄的对象物A的图像R1向水平方向的右侧移动,产生偏差。另一方面,如图15的(c)所示,当对象物A(视听者)从显示装置10远离时,利用左照相机拍摄的对象物A的图像L1相对于利用右照相机拍摄的对象物A的图像R1向水平方向的左侧移动,产生偏差。
该对象物A的图像R1、L1的水平方向的偏差量取决于显示装置10的显示面10a与对象物A之间的距离。因此,可通过测定该偏差量,来检测显示装置10的显示面10a与对象物A之间的距离。
通过对图像帧L01、L02的对象物A的图像L1和图像帧R01、R02的对象物A的图像R1进行比较来测定该偏差量。即,测距处理部31对由第2照相机12b测定的对象物A的图像R1与由第1照相机12a测定的对象物A的图像L1进行比较,来检测这些图像R1、L1之间的水平方向的点差(偏差量)。
具体地说,测距处理部31例如将视听者的双眼或者单眼的图像用作对象物A的图像来检测点差。例如,在采用视听者的双眼图像的情况下,可采用联结两面的线段。
此外,在存储器136等的规定的存储区域内存储由该测距处理部31测定的偏差量。
另外,测距处理部31根据检测到的偏差量,参照测距表41来决定到对象物的距离。
图16是例示出作为第1实施方式的一例的立体图像显示装置1的测距表41的图。
测距表41是使由右照相机拍摄对象物而获得的图像与由左照相机拍摄对象物而获得的图像之间的点差和到对象物(视听者)的距离对应起来的测距信息。在该图16所示的例子中,作为测距表41,示出使视听者距离与视差量范围对应起来的表。
视听者距离是显示装置10的显示面10a与视听者相距的距离,在图16所示的例子中具备1.00m、1.40m、1.80m以及2.20m这4种距离。
视差量范围利用上限值和下限值之间的范围示出与视听者距离对应的点差。例如,在点差是17以上23以下的范围的值时,视听者距离是1.8m。即,测距表41是用于根据检测到的点差来决定从显示装置10到视听者的距离的基准数据。
此外,在该图16所示的例子中示出由第1照相机12a以及第2照相机12b拍摄的图像的水平方向的分辨率是1920点的情况。
测距处理部31求出针对视听者利用右照相机拍摄到的图像与利用左照相机拍摄到的图像之间的点差,判断该点差是否与测距表41中的任意的视差量范围相应,并决定与相应的视差量范围对应的视听者距离。
另外,测距处理部31在开始识别视听者的位置时,使显示装置10显示如图17所示的对话框。
图17是例示出作为第1实施方式的一例的立体图像显示装置1中的对话框的图。
视听者根据该对话框的消息,在预先规定了与显示装置10之间的距离的位置上,正对于显示装置10(照相机对12),操作键盘144或鼠标145来选择“确定”。由此,开始利用照相机对12来拍摄视听者的面部。即,测距处理部31检测由第1照相机12a以及第2照相机12b拍摄的视听者的双眼图像的点差,并根据该点差参照测距表41来决定到视听者的距离。
另外,测距处理部31可将根据该图17所示的对话框选择“确定”时的视听者的位置作为基准位置。即,测距处理部31使在该基准位置处利用第1照相机12a以及第2照相机12b分别拍摄的视听者的图像相吻合,作为基准图像。
这样,分别与视听者保持一定距离且内置于显示装置10的第1照相机12a以及第2照相机12将视听者作为对象物进行拍摄。然后,测距处理部31在由第1照相机12a以及第2照相机12b同时输入的影像帧中,将视听者识别为对象物,并根据这些左右图像的对象物的视差量来检测从显示面10a到视听者的距离。由此能够容易且低成本地检测视听者的视点位置。这样,在本立体图像显示装置1中,检测显示装置10的显示面10a与视听者之间的距离作为照相机对12的传感器信息。
另外,当在从照相机对12接收到的影像帧中无法检测到视听者时或者检测到点差为测距表41的范围之外时,测距处理部31判断为视听者已离开正常的观看范围,并将此情况通知给选择部32(视听者正常观看范围外通知)。这是因为在测距表41的视听者距离的范围之外,利用透镜片11无法使视听者的眼睛对焦,不能实现立体视觉。
当测距处理部31测定从显示装置10的显示面10a到视听者的距离时,选择部32根据由该测距处理部31测定到的距离,从HDD138中选择与其等级值相应的立体显示用图像(左眼用立体显示用图像以及右眼用立体显示用图像)。选择部32从HDD138所存储的对显示对象施加的3D效果不同的多个图像中,选择与从显示面10a到视听者的距离相应的图像,显示于显示装置10上。
图18的(a)、(b)、(c)是用于说明在作为第1实施方式的一例的立体图像显示装置1中使用的图像(立体图像)的图。图18的(a)是例示出进行立体显示的显示对象的图像数据的图,是在长方形的显示对象Ob2的近前侧具备三角形的显示对象Ob1的图像数据。
图18的(b)是例示出在图18的(a)所示的图像数据中附加的立体图像数据的图,图18的(c)是例示出图18的(a)所示的图像数据的二维图像数据的图。
在本立体图像显示装置1中,针对一个显示对象(参照图18的(a))具备3D效果不同的多个图像。具体地说,在HDD138中,作为立体图像数据,针对一个显示对象具备双眼视差量不同的多个视差图像的组合,作为右眼用立体显示用图像(右眼用图像)与左眼用立体显示用图像(左眼用图像)的组合(立体显示用图像对)。
左眼用立体显示用图像和右眼用立体显示用图像设置有规定的双眼视差。由此,在视听者处,在使左眼用立体显示用图像成像于左眼、使右眼用立体显示用图像成像于右眼的状态下,可立体地看到该立体显示用图像。
以下,将具有视差的多个视点分别称为视差点。在本立体图像显示装置1中,实现基于双眼视差的双眼视差立体视觉,视听者的右眼以及左眼分别成为视差点。即,HDD138以与作为视差点的左眼以及右眼分别对应的方式存储相互具有视差地生成的左眼用视差图像以及右眼用视差图像。然后,通过组合这些左眼用视差图像与右眼用视差图像,来生成立体显示用图像对(3D图像)。另外,以下将通过在右眼和左眼中使具有双眼视差的视差图像成像来让视听者看到立体图像的情况称为立体图像显示(3D显示)。
例如,在图18的(b)所示的例子中示出4个视差图像N1~N4,将视差图像N1设为在左眼或右眼中的一方成像的视差图像,将视差图像N2~N4设为在另一方的眼中成像的视差图像。以下,说明视差图像N1是左眼用视差图像、视差图像N2~N4是右眼用视差图像的例子。其中,可将视差图像N1用作右眼用视差图像,可将视差图像N2~N4作为左眼用视差图像。
视差图像N2、N3、N4是具有相对于视差图像N1互不相同的双眼视差量的多眼立体图像数据。例如,关于相对于视差图像N1的双眼视差量,视差图像N4最大,视差图像N3、视差图像N2依次变小。
然后,当针对视差图像N1分别选择视差图像N2、N3、N4作为立体显示用图像对进行组合来形成立体视觉时,立体视觉的效果(立体效果)在这些视差图像的组合中不同。
在图18的(b)所示的例子中,生成针对视差图像N1选择性地组合视差图像N2、N3、N4的立体显示用图像对(3D图像)1、2、3。
然后例如,当将相对于视差图像N1组合双眼视差量最多的视差图像N4的3D图像3显示到显示装置10上作为立体显示用图像对时,对于视听者来说,看起来对象物突出得最明显。相反,当将相对于视差图像N1组合双眼视差量最小的视差图像N2的3D图像1显示到显示装置10上时,对于视听者来说,感觉对象物的突出量最小。
此外,可适当地变更来自多个视差图像N1~N4中的左眼用视差图像和右眼用视差图像的选择方法来进行实施。
选择部32选择由测距处理部31检测到的视听者距离越近双眼视差量就越大的立体显示用图像对,选择视听者距离越远双眼视差量越小的立体显示用图像对。由此,视听者可看到视听者距离越近突出量就越大的立体显示图像,另外可看到视听者距离越远突出量就越小的立体显示图像。
在图18的(a)、(b)、(c)所示的例子中,3D图像格式数据是三角形Ob1位于最前面的数据。因此,在立体显示用图像对中,三角形Ob1的双眼视差大于四边形Ob2的双眼视差。
在此例中,当显示视差图像N1作为向左眼成像的像素组、显示视差图像N4作为向右眼成像的像素组时,视听者看到三角形Ob1突出得最明显。
此外,视差图像不限于图18的(b)所示的N1~N4这4个,也可以具备5个以上的视差图像。
例如,在对3D图像格式数据进行多路分解(Demultiplexing)之后,对2D图像附加Z方向(纵深方向)的信息而成为3D图像信息,再进行渲染(Rendering),由此制作成视差图像。此时,可通过任意地改变对2D图像附加的Z方向信息,来生成各种视差图像。
选择部32针对显示对象从多个(在图18的(b)所示的例子中为3个)视差图像N2~N4中选择与视差图像N1组合为立体显示用图像对的视差图像,生成多种3D图像1、2、3。
例如,对于与视差图像N1组合的视差图像N2~N4,分别与视听者距离(参照图16)对应起来。选择部32通过选择与已决定的视听者距离对应的视差图像,来生成与视听者距离对应的3D图像。
即,选择部32选择根据显示装置10的显示面10a与视听者相距的距离而不同的3D图像来进行显示,由此,能够在视听者远离显示面10a时减小视差量,在接近显示面10a时增大视差量。
选择部32适当地选择与视差图像N1组合的视差图像,使左眼以及右眼显示这些选择的视差图像,由此可通过背景与对象物的比较来控制其3D感以及3D效果。即,从由与显示对象同步的图像构成的多眼立体图像数据中选择用于保持与视听者的视点位置(距离)相应的最优视差的3D成像的像素排列(图像)。
此外,可以取代将视差图像N2~N4与视听者距离对应起来的做法,而将视差图像N1与视差图像N2~N4的组合与视听者距离对应起来,能够适当变更后进行实施。
另外,可采用各种方法来制作视差图像N1~N4。例如,从在水平方向上不同的位置分别拍摄显示对象物,由此可制作具有双眼视差的多个视差图像N1~N4。
在3D图像格式的元信息(标题信息)中,记录与该图像数据同步的具有不同3D效果的视差图像数作为同步图像数。在图18的(b)所示的例子中,同步图像数是4。
选择部32从这4个视差图像中选择与视听者距离对应的两个视差图像作为左眼用图像以及右眼用图像。
另外,选择部32在从测距处理部31接收到视听者正常观看范围外通知时,选择在左眼用图像和右眼用图像中相同的视差图像(例如,视差图像N1)。通过使显示装置10显示在左眼用图像和右眼用图像中相同的视差图像,视听者可识别出已显示了没有视差的2维图像。
以下,具有如下这样的情况:当进行2D显示时表现出使显示装置10显示在左眼用图像和右眼用图像中相同的视差图像。
此外,即使在上述传感器没有检测出对显示装置10安装透镜片11等情况下,即已检测到该立体图像显示装置1没有满足再现3D图像的环境的情况下,选择部32也进行2D显示。
此外,选择部32例如可根据在显示控制装置13中预先登记的机型ID等,来检测该立体图像显示装置1没有满足再现3D图像的环境的情况,能够进行各种变形后再实施。
显示控制部33进行使显示装置10显示由选择部32选择的立体显示用图像的控制。显示控制部33使显示装置10的显示面10a同时显示被选择部32选择为左眼用图像以及右眼用图像的两个视差图像。此时,显示控制部33在显示面10a中针对用于左眼用图像的显示的左眼用显示元件显示左眼用图像,针对用于右眼用图像的显示的右眼用显示元件显示右眼用图像。另外,显示控制部33采用显示装置10的显示面10a的显示像素中的与对应于视听者距离的焦点距离相应的显示元件,显示左眼用图像或右眼用图像。
即,使构成立体显示用图像的像素与显示面10a的显示元件对应着进行像素的显示。此外,可采用已知的各种方法来实现使显示装置10显示图像的方法,并省略其详细的说明。
接着,说明本立体图像显示装置1中的显示装置10的显示部10a的像素组排列。
显示控制部33在本立体图像显示装置1中利用3D显示和2D显示进行显示元件的使用区分。
图19的(a)、(b)以及图20的(a)、(b)分别是表示作为实施方式的一例的立体图像显示装置1的显示面10a的显示状态例的图,图19的(a)是例示出2D显示状态中的左眼用显示元件的图,图19的(b)是例示出2D显示状态中的右眼用显示元件的图。另外,图20的(a)是例示出3D显示状态中的左眼用显示元件的图,图20的(b)是例示出3D显示状态中的右眼用显示元件的图。
在图19的(a)、(b)以及图20的(a)、(b)所示的例子中,为了便于说明,分别提取显示面10a的显示元件中的左眼用显示元件以及右眼用显示元件内的4×4共16个显示元件的排列进行显示。
另外,在图20的(a)、(b)中示出透镜片11是具备视听者距离为1.0m、1.4m、1.8m以及2.2m这4种透镜阵列(4个光学部)的4视图(view)的透镜片的例子。即,左右分别具有保持4视图不同的水平方向范围的成像的透镜阵列。
本立体图像显示装置1的显示装置10在进行2D显示时,如图19的(a)、(b)所示,采用横方向连续的3个显示元件(R、G、B)来显示1个像素。在图19的(a)所示的例子中,利用显示元件(L4RN1、L3GN1、L2BN1)表现左眼用图像的1个像素。即,(R、G、B)=(L4RN1、L3GN1、L2BN1)。同样,在图19的(b)所示的例子中,利用显示元件(R4RN1、R3GN1、R2BN1)表现右眼用图像的1个像素。
另外,在进行3D显示的情况下,如图20的(a)、(b)所示,采用在倾斜方向上连续的3个显示元件(R、G、B)来显示1个像素。此外,在图20的(a)、(b)所示的例子中,构成1个像素的显示元件具有向右下的倾斜,但不限于此,可适当变更后进行实施。
示出将图18的(b)所示的视差图像N1在左眼中成像、将视差图像N2在右眼中成像的例子。在图20的(a)、(b)所示的例子中,像素L1~L4是左眼用图像的像素,像素R1~R4是右眼用图像的像素。另外,从像素L4、R4照射的光通过在与显示面10a相距1.00m的距离处成像的透镜阵列(1.0m透镜阵列)。同样,从像素L3、R3照射的光通过在与显示面10a相距1.40m的距离处成像的透镜阵列(1.4m透镜阵列),从像素L2、R2照射的光通过在与显示面10a相距1.8m的距离处成像的透镜阵列(1.8m透镜阵列)。另外,从像素L1、R1照射的光通过在与显示面10a相距2.2m的距离处成像的透镜阵列(2.2m透镜阵列)。
然后,对4视图的各透镜阵列分别分配不同的视差图像。此外,作为与图18的(b)所示的视差图像N1对应的双眼视差量不同的多个视差图像,期望具备至少与该透镜阵列的视图数相同的数量。
显示控制部33通过进行仅使与测距处理部31所检测到的视听者距离对应的透镜阵列的显示元件发光的控制,来显示视差图像的像素组。
例如,示出测距处理部31检测到显示装置10的显示面10a与视听者之间的距离是1.00m的情况。显示控制部33仅使图20的(a)、(b)中的与1.0m透镜阵列对应的显示元件发光,来显示视差图像的像素组。
例如,显示控制部33利用图20的(a)所示的显示元件中的与1.0m透镜对应的显示元件来显示左眼用视差图像(例如,视差图像N1)的像素。即,(R、G、B)=(L4RN1、L4GN1、L4BN1)。
另外,显示控制部33利用图20的(b)所示的显示元件中的与1.0m透镜对应的显示元件来显示右眼用视差图像(例如,视差图像N2)的像素。即,(R、G、B)=(R4RN2,R4GN2,L4BN2)。另外此时,显示控制部33抑制与由测距处理部31检测到的视听者距离不对应的透镜阵列(例如,1.4m透镜阵列、1.8m透镜阵列、2.2m透镜阵列)所对应的显示元件的发光。由此,不需要的光不会进入视听者眼中,视听者可看到高画质的图像。
这样,显示控制部33利用2D显示和3D显示以像素单位来改变该图像数据的配置。另外,通过使显示装置10显示在左眼用图像和右眼用图像中相同的视差图像来实现2维图像显示(2D显示)。此外,用于2D显示的在左右眼中共用的视差图像不限于视差图像N1,可适当变更后进行实施。
图21的(a)、(b)是说明作为第1实施方式的一例的立体图像显示装置1中的2D显示的图。图21的(a)是示意性地例示出本立体图像显示装置1中的2D显示状态的图,图21的(b)是示意性地例示出现有显示控制方法的显示状态的图。
在具备本立体图像显示装置1的透镜片11的显示装置10中,当使显示装置10显示在左眼用图像和右眼用图像中相同的视差图像时,考虑采用现有的显示控制方法的情况。在现有的立体显示控制方法中,采用显示装置中的全部显示像素进行图像显示。由此,如图21的(b)所示,当采用现有的显示控制方法时,可将构成立体图像的对象物识别为与成像数重叠相同数量的多重图像(在图21的(b)所示的例子中为4重图像)。另外此时,重叠的各个图像无法在视听者的眼睛中成像,在模糊的状态下被视听者看到。
另一方面,在本立体图像显示装置1中,显示控制部33仅采用与视听者距离相应的显示元件来显示视差图像,所以如图21的(a)所示,抑制了串扰的产生,没有识别为多重显示。由此,不需要的光不会进入到视听者眼中,视听者可看到高画质的图像。
图22是示意性示出作为第1实施方式的一例的立体图像显示装置1中的功能结构的框图。
在本第1实施方式的立体图像显示装置1中,利用照相机对12拍摄并输出视听者的面部图像(参照符号A10),接着,测距处理部31从视听者的各图像中检测点差(视差量)(参照符号A20)。另外,测距处理部31根据所检测到的点差参照测距表41来决定视听者距离。将所决定的视听者距离作为等级通知通知给选择部32,选择部32从HDD138中选择与该视听者距离相应的立体显示用图像对。显示控制部33转移至已选择的立体显示用图像对的再现处理(参照符号A30)。另外,可根据选择部32的数据请求进行等级通知。
在再现处理中,显示控制部33使显示装置10中的右眼用的显示像素显示构成立体显示用图像对的一个视差图像的像素组,另外,使显示装置10中的左眼用的显示像素显示构成立体显示用图像对的另一个视差图像的像素组(参照符号A40)。
采用图23来概括说明如上所述构成的作为第1实施方式的一例的立体图像显示装置1中的立体图像显示方法。
在本立体图像显示装置1中,首先,利用照相机对12对视听者(尤其是眼睛)进行拍摄。输出由照相机对12的第1照相机12a以及第2照相机12b拍摄的图像,并输入至测距处理部31(参照符号B10)。测距处理部31从所拍摄的图像中检测视听者的双眼(参照符号B20),测定这双眼的图像的偏差量。测距处理部31根据该偏差量参照测距表41来决定视听者与显示装置10的显示面10a之间的距离,并向选择部32通知(参照符号B30)。
选择部32根据与所通知的视听者相距的距离,选择在显示装置10上显示的图像(立体显示用图像对、像素组)。显示控制部33采用显示装置10的显示面10a中的成像于检测到的视听者位置处的显示像素来显示由选择部32选择出的立体显示用图像对(参照符号B40)。
接着,根据图24所示的流程图(步骤S10~S120)来说明第1实施方式的立体图像显示装置1中的立体显示用图像的显示方法。另外,图25是例示出作为第1实施方式的一例的立体图像显示装置1中的对话框的图。
在本立体图像显示装置1中,当启动图像再现应用程序时(步骤S10),图像再现应用程序首先确认该立体图像显示装置1是否是透镜式的立体图像显示装置1(步骤S20)。例如,通过确认在本立体图像显示装置1的显示控制装置13的存储器136或HDD138等中存储的机型ID等来进行该确认。
然后,确认在显示装置10上是否安装有透镜片11(3D面板)(步骤S30)。例如,图像再现应用程序根据检测透镜片11安装在显示装置10上的情况的传感器的检测结果,进行是否已安装透镜片11的判断。
当该判断的结果是在显示装置10上没有安装透镜片11时(参照步骤S30的“否”路线),使显示装置10显示如图25所示的示出无法进行立体图像显示的对话框,并进行2D显示(步骤S120)。
另外,当在显示装置10上安装有透镜片11时(参照步骤S30的“是”路线),确认所安装的透镜片11的3D面板ID,确认透镜片11的种类(步骤S40)。
在透镜式的立体图像显示装置1中,像素组的排列根据透镜片11的构造(例如,成像数或透镜阵列的倾斜方向)而不同。在显示控制装置13中,显示控制部33根据所确认的透镜片11的种类进行显示部10的显示元件的控制。
在本实施方式中,为了方便,以成像数(视点位置数)是3的3个成像的透镜片11为例进行说明,但不限于此,透镜片11的结构可适当变更后进行实施。
测距处理部31根据由照相机对12的第1照相机12a以及第2照相机12b拍摄的视听者的面部图像,来检测两瞳孔位置的视差量(步骤S50)。测距处理部31通过将在步骤S50中检测到的视听者的视差量与存储器136等所记录的先前的视差量进行比较,来确认有无视差量的变化(步骤S60)。在没有产生视差量的变化的情况下(参照步骤S60的“否”路线),返回至步骤S50。此外,在本立体图像显示装置1启动时的初次处理中,使作为先前的视差量存储的值初始化,所以判断为视差量已进行了变化。此外,适当地采用规定的设计值来作为该初始化时的值。
在产生视差量的变化的情况下(参照步骤S60的“是”路线),测距处理部31参照测距表41(基准数据)来决定从显示装置10的显示面10a到视听者的距离(视听者距离)(步骤S70)。
测距处理部31确认与所决定的视听者相距的距离是否进入在图像再现应用程序中预先作为基准数据保持的3D观看距离范围内(步骤S80)。当在基准数据中没有包含视听者距离时(参照步骤S80的“否”路线),选择部32选择在左眼用图像和右眼用图像中相同的视差图像。显示控制部33通过使显示装置10显示已选择的相同视差图像来实现2维图像显示(2D显示)(步骤S110)。然后,返回至步骤S50。
另一方面,当在基准数据中包含视听者距离时(参照步骤S80的“是”路线),选择部32选择具有与视听者距离相应的双眼视差的立体显示用图像对。显示控制部33将所选择的立体显示用图像对切换为仅采用显示装置中的与视听者距离相应的显示元件(像素组排列)的设定(步骤S90)。即,显示控制部33仅采用显示装置10中的与视听者距离相应的显示元件来显示所选择的右眼用视差图像以及左眼用视差图像(3D图像内容),由此进行3D显示(步骤S100)。然后,返回至步骤S50。
这样,根据作为第1实施方式的一例的立体图像显示装置1,测距处理部31根据由照相机对12拍摄的各影像帧来测定视听者的图像的偏差量,根据该偏差量,参照测距表41来决定视听者与显示装置10的显示面10a之间的距离。然后,选择部32选择具有适合于与视听者相距的距离的双眼视差的立体显示用图像对。显示控制部33采用显示装置10的显示面10a中的在检测到的视听者距离处成像的显示像素来显示该立体显示用图像对。
具体地说,选择部32选择由测距处理部31检测到的视听者距离越近双眼视差量越大的立体显示用图像对,选择视听者距离越远双眼视差量越小的立体显示用图像对。由此,视听者可看到视听者距离越近,突出量就越大的立体显示图像,另外还可以看到视听者距离越远,突出量就越小的立体显示图像,能够给予视听者更逼真的图像效果。即,能够使由具有适合于视听者距离的双眼视差的立体显示用图像对构成的立体显示用图像成像于视听者的眼睛中,能够使与视听者的视点位置相应的立体图像成像。
作为人类的视觉特性,原来就认为当人们看到较远的对象物时双眼视差量与到该对象物的距离成比例地减小。在本立体图像显示装置1中,为了根据从视听者到显示装置10的距离变更立体感,而改变图像显示,由此能够对视听者进行更逼真的图像表现。
另外,照相机对12始终拍摄视听者的图像,利用测距处理部31随时进行视听者距离的测定或基于选择部32的立体显示用图像对的选择。由此,可根据在显示装置10前面的视听者的移动,使由具有与视听者的位置相应的双眼视差的立体显示用图像对构成的立体显示用图像成像。
根据由照相机对12拍摄的视听者的图像来测定视听者距离。由此,不需要具备用于测定视听者距离的专用设备,就能够以低成本测定视听者距离,能够降低制造成本。另外此时,也没有对CPU131等给予多大的负荷。但是,不限于根据由照相机对12拍摄的图像进行视听者距离的测定。即,例如可采用已知的各种传感器等进行视听者距离的测定。
另外,在显示控制部33使显示装置10显示立体显示用图像对时,仅采用与视听者距离相应的显示元件进行显示,并抑制与视听者距离相应的显示元件以外的发光。由此,能够减轻显示控制装置13中的CPU131等的图像处理负荷。另外,能让视听者看到高画质的立体图像。
透镜片11具备多个具有多个双凸状的透镜的光学部,通过层叠这些光学部,使显示装置10所显示的图像在与显示装置10的显示面10a相距的多个距离处成像。由此,视听者可在与显示装置10间隔开的多个位置处看到显示装置10所显示的立体图像。
即,可保持正确的焦点距离来实现根据视听者实时且低成本地观看3D图像的位置而不同的图像。
图26是示出作为第1实施方式的一例的立体图像显示装置1中的视听者距离不同时的立体图像的显示例的图。在该图26中,在从上段所示的图像41a、41b、41c的状态起经过规定时间之后,分别成为下段所示的图像41a’、41b’、41c’的状态。
在各图像41a、41b、41c中,具备具有逆视差信息的对象物A和没有视差信息的对象物B。对象物A在规定时间之后向图中左侧进行移动。
在本立体图像显示装置1中,关于针对同一图像的在不同的观看位置上的显示,以显示图18的(b)所示的视差图像N1~N4的情况为例进行说明。
针对焦点距离(视听者距离)1.8m显示双眼视差量最小的视差图像N1与视差图像N2的组合(N1+N2)。
同样,针对视听者距离1.4m显示视差图像N1与视差图像N3的组合(N1+N3),另外,针对视听者距离1.0m显示视差图像N1与视差图像N4的组合(N1+N4)。
一般情况下,当视听者以接近显示具有逆视差信息的对象物的显示装置的方式进行移动时,随着到显示装置的距离接近,逆视差量增大,所以对于视听者来说,突出感减小。
在本立体图像显示装置1中,当处于视听者距离1.8m的位置的视听者以按照视听者距离1.4m、1.0m的顺序接近显示装置10侧的方式进行移动时,测距处理部31检测视听者的位置,选择部32按照图像41b、41c的顺序切换图像41a。由此,随着视听者接近于显示装置10,显示装置10所显示的对象物A的双眼视差变大。因此,关于显示装置10所显示的虚拟空间即对象物A的3D图像,随着视听者的移动,突出感增强,并能够获得更逼真的视觉效果。
另外,在通常空间中,对象物越远,视差量越小,远处的对象物的远近感消失。但是,在现有的3D图像显示设备中,处于远处位置而被拍摄的对象物的顺视差增大,对于视听者来说,感觉纵深感增强,与现实不同。
与此相对,在本立体图像显示装置1中,当视听者接近显示装置10时,如上所述,显示装置10所显示的对象物A的双眼视差变大,突出感或者纵深感增强。由此,对于视听者来说,能够获得更接近于现实的3D效果。
(B)第2实施方式
上述第1实施方式的立体图像显示装置1是采用透镜片11实现裸眼的立体视觉的所谓透镜式裸眼***,但不限于此。即,即使在利用需要立体视觉眼镜的偏光过滤方式或帧快门(主动式快门)方式来实现立体视觉的***中,也能够应用本方法,该立体视觉眼镜用于使视听者的左右眼强制性地观看个别图像。以下,将采用这些偏光过滤方式或帧快门方式等的眼镜实现立体视觉的方式称为眼镜方式。此外,在偏光过滤方式的情况下,在显示装置10的显示面10a上形成偏光过滤层。
在眼镜方式中,作为立体图像格式,例如采用并排方式。
图27是示意性示出并排方式的立体显示用图像格式的图。在并排的立体显示用图像格式中,左眼中的成像图像(以下,记载为L侧图像)和右眼中的成像图像(以下,记载为R侧图像)存在于1帧内。并且,视听者将这些L侧图像和R侧图像作为互不相同的影像帧进行观看。
此外,并排方式、偏光过滤方式或帧快门方式是已知的方法,省略对它们的详细说明。
作为本第2实施方式的一例的立体图像显示装置1,取代第1实施方式的透镜片11而具备立体视觉眼镜(省略图示)。与第1实施方式的立体图像显示装置1同样地构成其它部分。
但是,在本第2实施方式中,因为视听者佩戴立体视觉眼镜,所以测距处理部31不是根据由照相机对12拍摄的视听者的双眼(瞳孔),而是根据其它部位(例如视听者面部等的轮廓)的图像来检测点差。另外,测距处理部31也可根据由照相机对12拍摄的视听者佩戴的立体视觉眼镜的图像来检测点差,能够适当变形后进行实施。
立体视觉眼镜是使视听者的眼睛观看立体图像的显示装置,经由眼镜将具有双眼视差的左眼用图像和右眼用图像输入到视听者的眼中。即,在本第2实施方式的立体图像显示装置1中,该立体视觉眼镜作为显示所选择的立体显示用图像对的显示部发挥功能。此外,立体视觉眼镜的结构等是已知的,从而也省略其详细的说明。
在作为本第2实施方式的一例的立体图像显示装置1中,因为不具备显示装置10,所以显示控制部33不进行采用如图20所示的在倾斜方向上连续的3个显示元件(R、G、B)显示1个像素的控制。由此,也不需要进行防止裸眼***上的串扰的处理。
根据图28所示的流程图(步骤S10、S21~S41、S50~S70、S91、s100、S120)来说明作为这样的第2实施方式的一例的立体图像显示装置1中的立体显示用图像的显示方法。此外,在图中标注有与图24所示的流程图中的已有符号相同的符号的步骤表示同样的处理,所以省略其详细的说明。
在本立体图像显示装置1中,当启动图像再现应用程序时(步骤S10),图像再现应用程序首先确认该立体图像显示装置1是眼镜式的立体图像显示装置1的情况(步骤S21)。例如,通过确认在本立体图像显示装置1的显示控制装置13的存储器136或HDD138等中存储的机型ID等来进行该确认。
根据确认的结果来判断该装置是否具有3D显示功能(步骤S31),在不具有3D显示功能的情况下(参照步骤S31的“否”路线),使显示装置10显示如图24所示的示出不能进行立体图像显示的对话框,进行2D显示(步骤S120)。
另外,在具有3D显示功能的情况下(参照步骤S31的“是”路线),例如根据装置ID等进行3D显示方式的种类确认(步骤S41)。
例如,确认该装置中的3D显示方式是偏光方式还是帧序列方式等。这是因为,在显示装置10上按照每1线显示左右图像的偏光方式和按照固定时间切换左右图像的帧序列方式中,图像的显示方法不同。
在显示控制装置13中,显示控制部33根据已确认的3D显示方式的种类进行显示部10的显示元件的控制。
测距处理部31根据由照相机对12的第1照相机12a以及第2照相机12b拍摄的视听者的面部图像,来检测两瞳孔位置的视差量(步骤S50)。测距处理部31通过将在步骤S50中检测到的视听者的视差量与存储器136等所记录的先前视差量进行比较,来确认有无视差量的变化(步骤S60)。在不产生视差量的变化的情况下(参照步骤S60的“否”路线),返回至步骤S50。此外,在本立体图像显示装置1启动时的初次处理中,使作为先前视差量存储的值初始化,所以可判断为视差量已发生变化。
在产生视差量的变化的情况下(参照步骤S60的“是”路线),测距处理部31参照测距表41(基准数据),决定从显示装置10的显示面10a到视听者的距离(视听者距离)(步骤S70)。
此外,在本第2实施方式的立体图像显示装置1中具备立体视觉眼镜,从而没有采用透镜片11,所以与视听者的位置无关,都不需要检查焦点距离范围。
选择部32选择具有与视听者距离相应的双眼视差的立体显示用图像对(步骤S91)。显示控制部33通过使显示装置显示所选择的立体显示用图像对来进行3D显示(步骤S100)。然后,返回至步骤S50。
这样,即使利用作为第2实施方式的一例的立体图像显示装置1,也能够起到与第1实施方式同样的作用效果。
即,测距处理部31根据由照相机对12拍摄的各影像帧来测定视听者的图像的偏差量,基于该偏差量,参照测距表41来决定视听者与显示装置10的显示面10a之间的距离。然后,选择部32选择具有适合于到视听者的距离的双眼视差的立体显示用图像对。显示控制部33采用显示装置10的显示面10a中的在检测到的视听者距离处成像的显示像素来显示该立体显示用图像对。
具体地说,选择部32选择由测距处理部31检测到的视听者距离越近双眼视差量越大的立体显示用图像对,选择视听者距离越远双眼视差量越小的立体显示用图像对。由此,视听者可看到视听者距离越近突出量越大的立体显示图像,另外,可看到视听者距离越远突出量越小的立体显示图像,能够给予视听者更逼真的视觉效果(立体视觉效果)。即,能够使由具有适合视听者距离的双眼视差的立体显示用图像对构成的立体显示用图像成像于视听者的眼中。
另外,照相机对12始终拍摄视听者的图像,由测距处理部31随时进行视听者距离的测定或基于选择部32的立体显示用图像对的选择。由此,可根据在显示装置10面前的视听者的移动,使由具有与视听者的位置相应的双眼视差的立体显示用图像对构成的立体显示用图像成像。
根据由照相机对12拍摄的视听者的图像来测定视听者距离,由此不需要具有专用的设备,从而能够以低成本进行测定,能够降低制造成本。另外此时,也没有给CPU131等带来多大的负荷。但是,不限于根据由照相机对12拍摄的图像来进行视听者距离的测定。即,例如也可采用已知的各种传感器等来进行视听者距离的测定。
(C)第3实施方式
图29是用于说明在作为第3实施方式的一例的立体图像显示装置1中采用的图像(立体显示用图像)的图,是例示出在图18的(a)所示的图像数据中附加的立体图像数据的图。
在上述的第1实施方式中,关于一个显示对象(参照图18的(a)),在HDD138中具有如图18的(b)所示的双眼视差量不同的多个视差图像。即,选择部32选择在HDD138中存储的具有双眼视差的右眼用图像与左眼用图像的组合作为立体显示用图像对。
在视听者直接以肉眼观看作为对象物的物体的情况下,当视听者接近对象物时,对象物看起来变大,相反,当视听者从对象物远离时,对象物看起来变小。即,根据远近感,近的东西看起来大,远的东西看起来小。
在作为本第3实施方式的一例的立体图像显示装置1中,在3D图像中,可再现这样的远近感。
在本第3实施方式中,取代如图18的(b)所示的仅与一个显示对象(参照图18的(a))相关的双眼视差量不同的多个视差图像,而具备如图29所示的除了双眼视差量不同之外显示对象Ob2的显示尺寸也不同的立体显示用图像对。
例如,在图29所示的例子中示出4个视差图像N1~N4,将视差图像N1作为在左眼或者右眼的一方成像的视差图像,将视差图像N2作为在另一方的眼中成像的视差图像。同样,将视差图像N3作为在左眼或者右眼中的一方成像的视差图像,将视差图像N4作为在另一方的眼中成像的视差图像。
以下,说明视差图像N1、N3是左眼用视差图像、视差图像N2、N4是右眼用视差图像的例子。其中,可将视差图像N1、N3用作右眼用视差图像,将视差图像N2、N4用作左眼用视差图像。
视差图像N2是具有相对于视差图像N1不同的双眼视差量的多眼立体图像数据,视差图像N4是具有相对于视差图像N3不同的双眼视差量的多眼立体图像数据。另外,视差图像N3与视差图像N4之间的双眼视差量大于视差图像N1与视差图像N2之间的双眼视差量。
此外,视差图像N3、N4与视差图像N1、N2相比,显示对象Ob1的尺寸大。
然后,使相对于视差图像N3组合视差图像N4的立体显示用图像对(3D图像1)呈立体视觉的情况与使相对于视差图像N1组合视差图像N2的立体显示用图像对(3D图像2)呈立体视觉的情况相比,立体视觉的效果(立体效果)不同。具体地说,在使显示装置10显示相对于视差图像N3组合视差图像N4的3D图像2时,与相对于视差图像N1组合视差图像N2的3D图像1相比,可在接近视听者的位置看到显示对象Ob1,并且看起来该显示对象Ob1突出。
选择部32优先选择由测距处理部31检测到的视听者距离越近双眼视差量越大的立体显示用图像对,并且优先选择显示对象的尺寸大的立体显示用图像对。
由此,视听者可看到视听者距离越近突出量越大的立体显示图像,并且能够看到较大地显示的显示对象物。另一方面,可看到视听者距离越远突出量越小的立体显示图像,并且能够看到较小地显示的显示对象物。由此,视听者可获得与直接用肉眼观看作为对象物的物体时同样的视觉效果。
此外,在上述的第3实施方式中,关于显示对象物,示出双眼视差量以及对象物的尺寸不同的3D图像1和3D图像2这2种立体显示用图像对,但不限于此,还可以具备双眼视差量不同的3个以上的立体显示用图像对或对象物的尺寸不同的3种以上的立体显示用图像对,并且能够适当变形后进行实施。
(D)其它
并且,本发明不被上述实施方式所限定,在不脱离本发明主旨的范围内可进行各种变形来实施。
例如,在上述的各实施方式中示出了显示装置10是液晶显示器的例子,但不限于此。例如,可以是等离子显示器或CRT(Cathode Ray Tube:阴极射线管)显示器等其它显示装置。
另外,在上述的第1实施方式中示出了采用已使用双凸透镜(透镜片11)的双凸透镜方式的例子,但不限于此。例如,取代透镜片11,可采用在显示装置10的显示面10a侧具备遮光屏障的视差屏障方式。
在上述的第2实施方式中,例示了并排方式的图像作为立体图像格式,但不限于此。例如,可通过相对于通常的2D图像数据附加纵深信息(z方向信息)来构成立体图像格式,能够进行各种变形后来实施。
此外,当公开本发明的各实施方式时,本领域技术人员能够实施/制造公开的技术。
符号说明
1 立体图像显示装置
10 显示装置
10a 显示面
11 透镜片
12 照相机对(测距部、摄像部)
12a 第1照相机(摄像部)
12b 第2照相机(摄像部)
13 显示控制装置
31 测距处理部(测距部)
32 选择部
33 显示控制部
40L 左眼用立体显示用图像
40R 右眼用立体显示用图像
41 测距表(测距对应信息)
41a、41b、41c 立体图像数据
111 平凸面透镜
111a 凸透镜
111b 背面
132 LAN
133 调谐器
134 图形加速器
135 芯片组
136 存储器
137 音频控制器
138 HDD(记录部)
139 蓝光盘驱动器
140 键盘控制器
142 外部天线
143 扬声器
144 键盘
145 鼠标
Claims (12)
1.一种立体图像显示装置,其特征在于,具备:
测距部,其测定到视听者的距离;
选择部,其根据测定出的到视听者的距离,从与显示对象相关的视差图像中选择具有与所述距离相应的双眼视差量的视差图像,作为立体显示用图像对;以及
显示控制部,其使显示部显示所选择的所述立体显示用图像对。
2.根据权利要求1所述的立体图像显示装置,其特征在于,
所述选择部选择到所述视听者的距离越小视差量越大的视差图像,作为所述立体显示用图像对。
3.根据权利要求1或2所述的立体图像显示装置,其特征在于,
所述测距部具备能拍摄所述视听者的多个摄像部,
根据所述多个摄像部分别拍摄的视听者的图像的偏差量,来测定到所述视听者的距离。
4.根据权利要求3所述的立体图像显示装置,其特征在于,
所述测距部参照在记录部中存储的使偏差量与到视听者的距离预先对应起来而成的测距对应信息,求出到所述视听者的距离。
5.根据权利要求3或4所述的立体图像显示装置,其特征在于,
所述测距部利用所述摄像部来拍摄视听者的双眼。
6.根据权利要求1~5中任意一项所述的立体图像显示装置,其特征在于,
所述选择部选择同一视差图像作为所述立体显示用图像对,由此,所述显示控制部使所述显示部显示非立体图像。
7.一种程序,该程序用于使计算机执行在显示装置的显示画面上显示图像的图像显示控制功能,该程序使所述计算机执行以下的处理:
测定到视听者的距离,
根据测定出的到视听者的距离,从与显示对象相关的视差图像中选择具有与所述距离相应的双眼视差量的视差图像,作为立体显示用图像对,
使显示部显示所选择的所述立体显示用图像对。
8.根据权利要求7所述的程序,其特征在于,
在作为所述立体显示用图像对进行选择的处理中,选择到所述视听者的距离越小视差量越大的视差图像,作为所述立体显示用图像对。
9.根据权利要求7或8所述的程序,其特征在于,
在测定到所述视听者的距离的处理中,根据能拍摄所述视听者的多个摄像部分别拍摄的视听者的图像的偏差量,测定到所述视听者的距离。
10.根据权利要求9所述的程序,其特征在于,
在测定到所述视听者的距离的处理中,参照在记录部中存储的使偏差量与到视听者的距离预先对应起来而成的测距对应信息,求出到所述视听者的距离。
11.根据权利要求9或10所述的程序,其特征在于,
根据由所述摄像部拍摄的所述视听者的双眼图像进行测定到所述视听者的距离的处理。
12.根据权利要求7~11中的任意一项所述的程序,其特征在于,
在作为所述立体显示用图像对进行选择的处理中,选择同一视差图像作为所述立体显示用图像对,由此使所述显示装置显示非立体图像。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2012/055750 WO2013132601A1 (ja) | 2012-03-07 | 2012-03-07 | 立体画像表示装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104160699A true CN104160699A (zh) | 2014-11-19 |
CN104160699B CN104160699B (zh) | 2016-12-21 |
Family
ID=49116117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280071219.XA Expired - Fee Related CN104160699B (zh) | 2012-03-07 | 2012-03-07 | 立体图像显示装置以及立体图像显示方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9477305B2 (zh) |
JP (1) | JP6115561B2 (zh) |
CN (1) | CN104160699B (zh) |
WO (1) | WO2013132601A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9966043B2 (en) * | 2012-10-26 | 2018-05-08 | Nec Display Solutions, Ltd. | Identifier control device, identifier control system, multi-screen display system, identifier controlmethod, and program |
TWI536206B (zh) * | 2013-11-05 | 2016-06-01 | 緯創資通股份有限公司 | 操作體的定位方法及裝置以及深度判定方法及裝置 |
CN104539924A (zh) * | 2014-12-03 | 2015-04-22 | 深圳市亿思达科技集团有限公司 | 基于人眼追踪的全息显示方法及全息显示装置 |
KR102269137B1 (ko) * | 2015-01-13 | 2021-06-25 | 삼성디스플레이 주식회사 | 표시 제어 방법 및 장치 |
JP2017211694A (ja) * | 2016-05-23 | 2017-11-30 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR101963392B1 (ko) * | 2017-08-16 | 2019-03-28 | 한국과학기술연구원 | 무안경식 3차원 영상표시장치의 동적 최대 시역 형성 방법 |
US11514655B1 (en) * | 2019-10-17 | 2022-11-29 | Robert Edwin Douglas | Method and apparatus of presenting 2D images on a double curved, non-planar display |
CN111552093B (zh) * | 2020-06-05 | 2022-07-12 | 京东方科技集团股份有限公司 | 一种显示面板及其显示方法和显示装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004289527A (ja) * | 2003-03-24 | 2004-10-14 | Sanyo Electric Co Ltd | 立体画像表示装置 |
JP2008185629A (ja) * | 2007-01-26 | 2008-08-14 | Seiko Epson Corp | 画像表示装置 |
WO2010146384A1 (en) * | 2009-06-19 | 2010-12-23 | Sony Computer Entertainment Europe Limited | Stereoscopic image processing method and apparatus |
CN102006491A (zh) * | 2009-08-31 | 2011-04-06 | 卡西欧计算机株式会社 | 三维显示设备以及控制视差屏障的方法 |
JP2012010136A (ja) * | 2010-06-25 | 2012-01-12 | Kddi Corp | 映像調整装置、テレビ受信装置及びプログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2955327B2 (ja) | 1990-05-25 | 1999-10-04 | 日本放送協会 | 三次元画像表示装置 |
JPH08314034A (ja) | 1995-05-18 | 1996-11-29 | Canon Inc | 立体画像表示方法及び装置 |
JP2004282217A (ja) | 2003-03-13 | 2004-10-07 | Sanyo Electric Co Ltd | 多眼式立体映像表示装置 |
JP2006229725A (ja) | 2005-02-18 | 2006-08-31 | Konica Minolta Photo Imaging Inc | 画像生成システム及び画像生成方法 |
JP2006349921A (ja) | 2005-06-15 | 2006-12-28 | Mitsubishi Electric Corp | 画像表示装置 |
JP4979136B2 (ja) | 2008-06-03 | 2012-07-18 | Necカシオモバイルコミュニケーションズ株式会社 | 放送受信端末装置及びプログラム |
JP2010054559A (ja) * | 2008-08-26 | 2010-03-11 | Kyocera Mita Corp | 表示制御装置及び画像形成装置 |
JP2010200253A (ja) * | 2009-02-27 | 2010-09-09 | Nikon Corp | 撮像装置 |
JP5276536B2 (ja) * | 2009-07-16 | 2013-08-28 | 富士フイルム株式会社 | 3次元画像表示装置及び3次元画像表示方法 |
JP5299214B2 (ja) | 2009-10-20 | 2013-09-25 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2011141381A (ja) | 2010-01-06 | 2011-07-21 | Ricoh Co Ltd | 立体画像表示装置及び立体画像表示方法 |
JP2011223482A (ja) * | 2010-04-14 | 2011-11-04 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP5817091B2 (ja) * | 2010-07-14 | 2015-11-18 | 株式会社ニコン | 表示装置、画像処理装置およびプログラム |
JP5625979B2 (ja) * | 2011-02-10 | 2014-11-19 | ソニー株式会社 | 表示装置および表示方法ならびに表示制御装置 |
JP5664466B2 (ja) * | 2011-06-10 | 2015-02-04 | 富士通株式会社 | 立体画像表示装置 |
-
2012
- 2012-03-07 JP JP2014503329A patent/JP6115561B2/ja active Active
- 2012-03-07 WO PCT/JP2012/055750 patent/WO2013132601A1/ja active Application Filing
- 2012-03-07 CN CN201280071219.XA patent/CN104160699B/zh not_active Expired - Fee Related
-
2014
- 2014-07-25 US US14/341,258 patent/US9477305B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004289527A (ja) * | 2003-03-24 | 2004-10-14 | Sanyo Electric Co Ltd | 立体画像表示装置 |
JP2008185629A (ja) * | 2007-01-26 | 2008-08-14 | Seiko Epson Corp | 画像表示装置 |
WO2010146384A1 (en) * | 2009-06-19 | 2010-12-23 | Sony Computer Entertainment Europe Limited | Stereoscopic image processing method and apparatus |
CN102006491A (zh) * | 2009-08-31 | 2011-04-06 | 卡西欧计算机株式会社 | 三维显示设备以及控制视差屏障的方法 |
JP2012010136A (ja) * | 2010-06-25 | 2012-01-12 | Kddi Corp | 映像調整装置、テレビ受信装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2013132601A1 (ja) | 2015-07-30 |
JP6115561B2 (ja) | 2017-04-19 |
US20140333532A1 (en) | 2014-11-13 |
US9477305B2 (en) | 2016-10-25 |
CN104160699B (zh) | 2016-12-21 |
WO2013132601A1 (ja) | 2013-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104160699A (zh) | 立体图像显示装置以及程序 | |
KR102415502B1 (ko) | 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치 | |
EP3046325B1 (en) | High density multi-view image display system and method with active sub-pixel rendering | |
CN103733118B (zh) | 立体图像显示装置 | |
US20140111627A1 (en) | Multi-viewpoint image generation device and multi-viewpoint image generation method | |
KR102121389B1 (ko) | 무안경 3d 디스플레이 장치 및 그 제어 방법 | |
TW201333533A (zh) | 用於模擬自動立體顯示裝置的顯示設備及方法 | |
CN104836998A (zh) | 显示设备及其控制方法 | |
JP2009528587A (ja) | 出力画像のレンダリング | |
US10074343B2 (en) | Three-dimensional image output apparatus and three-dimensional image output method | |
JP2016140056A (ja) | 立体表示装置及び視差画像補正方法 | |
US20170070728A1 (en) | Multiview image display apparatus and control method thereof | |
JP5050120B1 (ja) | 立体画像表示装置 | |
TW201301863A (zh) | 用於三維顯示器之位置指示器 | |
CN105263011A (zh) | 多视点图像显示设备及其多视点图像显示方法 | |
US9398291B2 (en) | Autostereoscopic screen and method for reproducing a 3D image | |
US20140362197A1 (en) | Image processing device, image processing method, and stereoscopic image display device | |
US20150234196A1 (en) | Image display apparatus, lenticular lens, and image display method | |
KR20050076946A (ko) | 입체영상 표시장치 및 방법 | |
KR101363244B1 (ko) | 입체 화상 표시 장치 | |
KR20120072892A (ko) | 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치 | |
JP2011221905A (ja) | 情報処理装置 | |
US20240121373A1 (en) | Image display method and 3d display system | |
JP2012133179A (ja) | 立体視装置、及び立体視装置の制御方法 | |
JP6179282B2 (ja) | 3次元画像表示装置及び3次元画像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20190214 Address after: Kanagawa Patentee after: Fujitsu Personal Computer Co., Ltd. Address before: Kawasaki, Kanagawa, Japan Patentee before: Fujitsu Ltd. |
|
TR01 | Transfer of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161221 Termination date: 20190307 |
|
CF01 | Termination of patent right due to non-payment of annual fee |