CN104603717A - 显示装置、显示方法以及程序 - Google Patents

显示装置、显示方法以及程序 Download PDF

Info

Publication number
CN104603717A
CN104603717A CN201280075537.3A CN201280075537A CN104603717A CN 104603717 A CN104603717 A CN 104603717A CN 201280075537 A CN201280075537 A CN 201280075537A CN 104603717 A CN104603717 A CN 104603717A
Authority
CN
China
Prior art keywords
image
visual lines
visual
person
visual recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280075537.3A
Other languages
English (en)
Inventor
三浦成晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Casio Mobile Communications Ltd filed Critical NEC Casio Mobile Communications Ltd
Publication of CN104603717A publication Critical patent/CN104603717A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

能显示与观看画面的视觉辨识者的视线方向相应的图像。中央控制部(1)基于对与显示部(6)面对面的视觉辨识者进行拍摄的前置摄像头(8)所拍摄的图像来决定视觉辨识者的视线方向。生成从该与显示部(6)面对面来观看其画面的视觉辨识者的视线方向看到的状态的图像并显示于显示部(6)。在针对由此显示的图像的视线方向发生改变的情况下，能变更为从该改变的视线方向看到的状态的图像。

Description

显示装置、显示方法以及程序
技术领域
本发明涉及对图像进行显示的显示装置、显示方法以及程序。
背景技术
以往，作为通过在平面状的显示部中3D(三维)显示图像(静止图像、动态图像)等图像来使用户(视觉辨识者)产生立体视觉的技术，有各种技术，例如有施予使二维(2D)图像中的物体立体呈现的视觉效果的技术。另外，利用多边形的技术是该技术的一例。另外，还有利用视觉辨识者的右眼与左眼的视差的技术。即，是如下技术：准备彼此稍微偏离的右眼用的图像和左眼用的图像，在使这2个图像同时显示时，为了右眼用的图像让右眼能看见而左眼看不见，左眼用的图像让左眼能看见而右眼看不见，而将阻断光的路径的电子式的视差屏障(开关液晶面板)配置在合适的位置，由此来使图像立体呈现，但该技术存在如下问题：不仅需要3D用的高价的液晶显示装置，而且视野角受到限制而非常狭窄。
另外，作为不使用上述那样的3D专用的显示装置而能使图像出现立体视觉的技术，例如已知检测框体绕着X轴、Y轴、Z轴的各轴的转动角度、使与各转动角度相应的图像三维显示的技术(游戏装置)(参考专利文献1)。
先行技术文献
专利文献
专利文献：JP特开2002-298160号公报
发明要解决的课题
但是，在上述关联的技术(专利文献1的技术)中，由于操作者进行使框体倾斜的操作来使显示部内的图像发生变化，因此是以框体运动为前提的技术，并且，关于框体向哪个方向倾斜何种程度会使图像发生怎样的变化，若不尝试操作多次则不能掌握，故到用惯为止需要相当的时间。进而，即使如同改变视线方向来窥视实际的物体这一行为那样，改变视线方向以从上下左右等的任意的方向进行窥视地观看显示的图像，只要框体不运动，就不能使该图像变化。
发明内容
本发明的课题在于，能显示与观看画面的视觉辨识者的视线方向相应的图像。
用于解决课题的手段
为了解决上述的课题，本发明的一形态是一种显示装置，其特征在于，具备：显示单元，其显示图像；视线方向决定单元，其决定与所述显示单元面对面来观看其画面的视觉辨识者的视线方向；图像生成单元，其生成从由所述视线方向决定单元决定的视线方向看到的状态的图像；以及显示控制单元，其使由所述图像生成单元生成的图像显示于所述显示单元。
为了解决上述的课题，本发明的另一形态是一种程序，用于使计算机实现如下功能：决定与显示图像的显示单元面对面来观看其画面的视觉辨识者的视线方向的功能；生成从所述决定的视线方向看到的状态的图像的功能；以及使所述生成的图像显示于所述显示单元的功能。
发明效果
根据本发明，能显示与观看画面的视觉辨识者的视线方向相应的图像，即使不使用3D用的特别的显示装置，也能实现富真实感的图像显示。
附图说明
图1是表示作为显示装置运用的便携电话机的基本的构成要素的框图。
图2是便携电话机的外观立体图。
图3(1)是表示三维模型的图像数据(三维模型图像)的图，(2)是表示从水平方向观看显示在显示部6中的三维模型图像的情况的图。
图4(1)是表示从斜上方向(图中斜上30°方向)观看显示在显示部6中的三维模型图像的情况的图，(2)是表示从斜下方向(图中斜下30°方向)观看的情况的图。
图5是表示对应于视觉辨识者的视线方向使显示图像发生变化的视线显示控制处理的流程图。
图6是表示紧接图5的动作的流程图。
图7是表示视觉辨识者的眼的位置相对于前置摄像头8的光轴(水平)方向在上下方向(垂直方向)上“偏离”的情况的图。
图8是表示前置摄像头8的光轴与显示部6的画面中心位置“偏离”的情况的图。
图9(1)是表示对应于视觉辨识者与前置摄像头8的位置关系而发生变化的坐标值和角度的图，(2)是表示在对视觉辨识者进行拍摄的拍摄图像内的坐标值的图。
图10是用于说明第2实施方式的图。
图11是用于说明本发明的功能的功能框图。
具体实施方式
以下参考附图对本发明的实施方式进行详细说明。
(第1实施方式)
首先参考图1～图9来说明本发明的第1实施方式。
本实施方式例示作为显示装置而运用于便携电话机的情况，图1是表示该便携电话机的基本的构成要素的框图。
在该便携电话机中除了具备收发声音数据来进行通话的声音通话功能以外，还具备在声音以外收发实时图像(对方图像、自身图像)来进行通话的TV(电视)电话功能，能在与对方侧之间进行基于TV电话的通话。进而，在便携电话机中具备摄像机功能、电子邮件功能、因特网连接功能等。
中央控制部1通过来自具备二次电池的电源部2的电力提供而动作，具有对应于存储在存储部3内的各种程序来控制该便携电话机的整体动作的中央运算处理装置、存储器等。在该存储部3设有程序存储部M1、图像存储部M2等。另外，存储部3并不限于内置型的存储部，例如也可以是包含SD卡、IC卡等装卸自由的可移动型存储器(记录介质)的构成，也可以包含未图示的给定的外部服务器上的存储区域。程序存储部M1除了容纳用于对应于图5以及图6所示的动作次序实现本实施方式的程序和各种应用等以外，还存储在这过程中需要的信息等。在图像存储部M2中存储通过摄像机功能拍摄到的图像和从因特网下载的图像等。
无线通信部4在通话功能、电子邮件功能、因特网连接功能等的动作时，在与最靠近的基站间进行数据的收发，在通话功能的动作时，在从基带部的接收侧取入信号并解调为接收基带信号后，经由声音信号处理部15使声音从通话用扬声器SP输出，另外，从声音信号处理部5取入来自通话用麦克风MC的输入声音数据，在编码成发送基带信号后，给到基带部的发送侧并从天线发信输出。显示部6例如用高清液晶或有机EL(ElectroLuminescence，电致发光)显示器显示字符信息、待机图像、图像等。
操作部7输入拨盘输入、字符输入、命令输入等，中央控制部1执行与来自该操作部7的输入操作信号相应的处理。前置摄像头(in camera)8配设在构成便携电话机的框体的正面侧，是对用户(视觉辨识者)自己的脸等进行拍摄的TV电话用的摄像头摄像部，另外，后置摄像头(outcamera)9配设在框体的背面侧，是对外界进行拍摄的摄像头摄像部。前置摄像头8、后置摄像头9除了具备拍摄透镜、反射镜等的透镜/反射镜组件、摄像元件、其驱动***以外，还具备测距传感器、光量传感器、模拟处理电路、信号处理电路、压缩解压电路等，对光学变焦进行调整控制，或对自动对焦功能的驱动进行控制。
图2是便携电话机的外观立体图。
便携电话机安装成2个框体(操作部框体11、显示部框体12)能开闭(能折叠)，在打开该2个框体11、12的状态(展开型式)下，在操作部框体11的表面侧配设操作部7，在显示部框体12的表面侧配设显示部6并在其附近配设前置摄像头8。这种情况下，前置摄像头8如图示那样，在设为显示部6成为纵长的纵画面的朝向的状态下，配设在显示部6的长边方向一端侧(图中上侧)的附近，对与显示部6面对面观看其画面的视觉辨识者(用户)的脸进行拍摄。
图3(1)是例示三维模型的图像数据(三维模型图像)的图，在图示的示例中，示出长方体的图形，但也可以是人物等。图3(2)表示从水平方向观看显示在显示部6中的画面的三维模型图像的情况，三维模型图像以仅能看到其前表面部的状态被显示。
与此相对，图4(1)表示从斜上方向(图中斜上30°方向)观看显示在显示部6中的画面的三维模型图像的情况，三维模型图像以能看到其前表面部以及上表面部的状态被显示。图4(2)表示从斜下方向(图中斜下30°方向)观看的情况，三维模型图像以能看到其前表面部以及下表面部的状态被显示。如此，在本实施方式中，对应于与显示部6面对面来观看其画面的视觉辨识者的视线方向来使三维模型图像的呈现方式进行变化。
中央控制部1在打开2个框体11、12的状态(展开型式)下进行给定的用户操作的情况下，即在通过用户操作指示了对应于视觉辨识者的视线方向使显示图像变化的处理(视线显示控制处理)的情况下，在用前置摄像头8对观看显示部6的视觉辨识者进行拍摄后，解析该拍摄图像来确定视觉辨识者的眼的位置。然后，对应于该眼的位置来决定视线方向，生成从该视线方向看得到的状态的图像，并显示于显示部6。即，与在现实空间上改变视线方向来窥视实际的物体的行为同样，在从上下左右等的任意的方向窥视显示的图像地改变视线方向的情况下，生成从该改变的视线方向看得到的状态的图像并进行显示。
接下来，参考图5以及图6所示的流程图来说明第1实施方式中的便携电话机的动作概念。在此，这些流程图中所记述的各功能以能读取的程序代码的形态存放，逐次执行遵循该程序代码的动作。图5以及图6是表示便携电话机的整体动作当中的第1实施方式的特征性的动作的流程图，在从该图5以及图6的流程脱离时，返回至整体动作的主流程(图示省略)。
图5以及图6是表示对应于视觉辨识者的视线方向使显示图像发生变化的视线显示控制处理的流程图。
首先，中央控制部1从图像存储部M2等读出显示对象的图像(三维模型图像)(步骤S1)，并驱动前置摄像头8来进行前方拍摄(步骤S2)。这种情况下，用前置摄像头8对与显示部6面对面来观看其画面的视觉辨识者进行拍摄。然后，中央控制部1解析该拍摄图像来进行确定视觉辨识者的眼的位置的图像识别(步骤S3)。另外，一边解析拍摄图像一边综合地判断脸的轮廓、形成脸的部分(眼、口、鼻、额等)的形状或位置关系等，由此来认识脸以及眼的位置，但由于该图像识别的功能是在摄像头中一般使用的技术，在本实施方式中利用该周知技术，因此省略其具体的说明。
接下来，决定视觉辨识者的视线方向并分别对Y轴以及X轴执行将该眼的位置变换成与三维模型图像相同的空间的坐标值的处理。首先，在图5以及图6的流程中，在进行了对Y轴的处理(步骤S4～S9)后进行对X轴的处理(图6的步骤S10～S14)，但该对Y轴的处理(步骤S4～S9)和对X轴的处理(图6的步骤S10～S14)是基本同样的处理。
图7是用于说明对Y轴的处理的图，图示了视觉辨识者的眼的位置相对于前置摄像头8的光轴(水平)方向向上下方向(垂直方向)“偏离”的情况，在将与显示部6的画面垂直的方向(前置摄像头8的光轴方向)设为三维坐标系的Z轴(第3轴)的情况下，表示Y轴(第2轴)上的眼的位置相对于Z轴的角度θ成为视觉辨识者的视线方向。另外，虽然将三维坐标系的X轴设为第1轴，将Y轴设为第2轴，将Z轴设为第3轴，但并不限于这些关系(以下同样)。图7(1)是表示对应于视觉辨识者与前置摄像头8的位置关系而变化的坐标值y、z以及角度θ、θmax的图，图7(2)是表示在对视觉辨识者进行拍摄的拍摄图像内的坐标值y、ymax的图。另外，虽然在图7中省略图示，但前置摄像头8的拍摄面(摄像元件)与显示部6的显示面一致，并位于同一垂直面内。
首先，中央控制部11在开始对Y轴的处理时，进行y/ymax的计算(步骤S4)。在此，y是相当于眼的位置的Y轴上的坐标值，ymax是相当于前置摄像头8的视角(θmax)的Y轴上的坐标值。这种情况下，虽然y、ymax的具体的数值不明，但由于y、ymax之比(y/ymax)能作为已知的值处理，因此使用该已知的值和前置摄像头8的固定值θmax，遵循下式计算视觉辨识者的视线方向(眼的位置的角度)θ、tanθ(步骤S5)。
tanθ＝(y/ymax)tan(θmax)
另外，θ自身用反正切等求取。
接下来，获取从前置摄像头8到视觉辨识者的脸的Z轴上的距离z(步骤S6)。这种情况下，在本实施方式中，使用前置摄像头8的自动对焦功能来获取距离z，但由于该功能是在摄像头中一般使用的周知技术，因此省略其说明。另外，也可以根据在拍摄图像内的左眼与右眼间的距离来概算地计算从前置摄像头8到视觉辨识者的脸的距离z。另外，也可以根据在拍摄图像内的脸的大小来概算地计算从前置摄像头8到视觉辨识者的脸的距离z。进而，也可以将距离z决定为通过用户操作而任意设定的值，例如一律决定为30cm等。在如此决定了从前置摄像头8到视觉辨识者的脸的在现实空间内的距离z后，使用该距离z，遵循下式来计算在现实空间内的视觉辨识者的眼的位置y(步骤S7)。
y＝z*tanθ
图8是表示前置摄像头8的光轴与显示部6的画面中心位置“偏离”的情况的图。在如此前置摄像头8的光轴相对于显示部6的画面中心位置“偏离”的情况下，在将其偏离量的值设为“y偏离”时，将视觉辨识者的眼的位置y校正(加上)该“y偏离”份(步骤S8)。在如此求得现实空间内的眼的位置坐标y、z后，将该位置坐标y、z变换成与三维模型图像相同的空间上的坐标值(步骤S9)。例如，也可以在三维模型图像的创建时(设计时)，将其开发者所决定的比率与坐标值y、z相乘。另外，在将显示部6的画面中心位置设为三维坐标系的原点的情况下，例如若将三维模型图像能从画面看到1cm深而配置时的z坐标值决定为负1，则也可以考虑该图像的纵深(1cm)来求取y、z(单位是cm)的值。
在如此通过对Y轴的处理(步骤S4～S9)求得与三维模型图像相同的空间上的坐标值y、z后，执行对X轴的处理(步骤S10～S18)。图9图示视觉辨识者的眼的位置相对于前置摄像头8的光轴(水平)方向在左右方向(水平方向)上“偏离”的情况，在将与显示部6的画面垂直的方向(前置摄像头8的光轴方向)设为三维坐标系的Z轴的情况下，表示X轴上的眼的位置相对于Z轴的角度θ成为视觉辨识者的视线方向。图9(1)是表示对应于视觉辨识者与前置摄像头8的位置关系而发生变化的坐标值x、z和角度θ、θmax的图，图9(2)是表示在对视觉辨识者进行拍摄的拍摄图像内的坐标值x、xmax的图。另外，在这种情况下，前置摄像头8的拍摄面(摄像元件)也与显示部6的显示面一致，并成为同一垂直面内。
首先，中央控制部11计算x/xmax(步骤S10)。在此，x是相当于眼的位置的X轴上的坐标值，xmax是相当于前置摄像头8的视角(θmax)的X轴上的坐标值。并且，遵循下式计算视觉辨识者的视线方向(眼的位置的角度)θ、tanθ(步骤S11)。
tanθ＝(x/xmax)tan(θmax)
另外，θ自身用反正切等求取。
接下来，基于在上述的步骤S6获取的从前置摄像头8到视觉辨识者的脸的Z轴上的距离z，遵循下式来计算在现实空间内的视觉辨识者的眼的位置x(步骤S12)。
x＝z*tanθ
然后，在前置摄像头8的光轴相对于显示部6的画面中心位置“偏离”的情况下，若将其偏离量设为“x偏离”，则将视觉辨识者的眼的位置x校正(加上)“x偏离”份(步骤S13)。在如此求得现实空间内的眼的位置坐标x、z后，将该位置坐标x、z变换为与三维模型图像相同的空间上的坐标值(步骤S14)。
在如此求得与三维模型图像相同的空间上的坐标值(眼的位置)x、y、z后，成为能从该眼的位置看到三维模型图像的状态地使三维模型图像在三维坐标系上转动，并使显示部6显示该转动后的图像(步骤S15)。之后，调查是否指示了图像的切换(步骤S16)，调查是否指示了视线显示控制的结束(步骤S18)。现在，例如在通过用户(视觉辨识者)操作进行切换操作时，或在幻灯显示时检测到经过了一定时间时(步骤S16“是”)，选择显示对象的图像(三维模型图像)(步骤S17)，之后返回至图5的步骤S1，以下反复上述的动作。另外，在通过用户(视觉辨识者)操作进行结束操作时，或在幻灯显示时检测到经过了幻灯结束时间时(步骤S18“是”)，从图5以及图6的流程脱离。
如以上那样，在第1实施方式中，由于生成并显示从与显示部6面对面来观看其画面的视觉辨识者的视线方向看得到的状态的图像，因此能显示与视线方向相应的图像，即使不使用3D用的特别的显示装置，对视觉辨识者而言也能看到3D显示那样的图像，能实现富真实性的图像显示。
另外，与在现实空间上改变视线方向窥视实际的物体的行为同样，在从上下左右等任意的方向窥视显示的图像地改变相对于画面的视线方向的情况下，变更为从该窥视的视线方向看得到的状态的图像，因此例如在显示部6的整体显示某人物的状态下，若希望从下方窥视该人物，则在出现视觉辨识者接近画面、从下方观看人物的行动时，能变更为从其下方窥视的状态的图像。
由于基于对与显示部6面对面的视觉辨识者拍摄的由前置摄像头8拍摄的图像来决定视觉辨识者的视线方向，因此能通过图像识别来可靠且容易地决定视觉辨识者的视线方向。
由于通过解析由前置摄像头8拍摄的图像来确定视觉辨识者的眼的位置，并且在将与显示部6的画面垂直的方向设为三维坐标系的Z轴的情况下，将Y轴上的眼的位置相对于Z轴的角度、和X轴上的眼的位置相对于Z轴的角度决定为视觉辨识者的视线方向，基于该视线方向来转动三维模型的图像数据来生成从该视线方向看得到的状态的图像，因此仅使三维模型的图像数据转动就能得到从视线方向看得到的状态的图像。
另外，由于基于视觉辨识者的视线方向和从显示部6到视觉辨识者的距离来确定视觉辨识者的眼的位置，生成从该眼的位置看得到的物体的状态的图像，因此对视觉辨识者而言不需要将观看图像的距离保持为恒定，不管从远处还是从近处观看，都会显示从该位置看得到的物体的状态的图像，因此不再需要在意距显示部6的距离。
(实施方式2)
以下参考图10来说明本发明的第2实施方式。
另外，在上述的第1实施方式中，求取从显示部6的画面到视觉辨识者的眼的位置的角度θ、tanθ，但在本第2实施方式中，按每个图像考虑从显示部6的画面到显示图像的位置的纵深，求取从具有纵深的各图像到视觉辨识者的眼的位置为止的角度在此，对在两实施方式中基本相同或名称相同的构成标注同一标号来表示，省略其说明，并且以下以第2实施方式的特征部分为中心来进行说明。
图10是用于说明从显示部6的画面到视觉辨识者的眼的位置的角度θ、和从具有纵深的图像到视觉辨识者的眼的位置的角度的图。在此，在视觉辨识者的眼的位置相对于前置摄像头8的光轴(水平)方向在上下方向(垂直方向)上“偏离”的情况下，将与显示部6的画面垂直的方向(前置摄像头8的光轴方向)设为三维坐标系的Z轴，并将Y轴上的眼的位置相对于Z轴的角度设为视觉辨识者的视线方向。并且，在求得从显示部6的画面到视觉辨识者的眼的位置的角度θ后，求取从具有纵深的图像到视觉辨识者的眼的位置为止的角度在此，图中A表示从显示部6的画面起的至图像为止的纵深(已知的值)。
即，
tanθ＝y/z...(1)
由于在该两式(1)、(2)中y共通，因此
因此
在此，由于z、θ与上述的第1实施方式同样求得，因此能得到从具有纵深的图像到视觉辨识者的眼的位置的角度这时，在显示多个具有从显示部6的画面起具有纵深的图像的情况下，按每个图像考虑到各图像为止的纵深来求取从具有纵深的各图像到视觉辨识者的眼的位置的角度另外，图10表示求取Y轴上的眼的位置相对于Z轴的角度的情况，但关于X轴上的眼的位置相对于Z轴的角度也基本同样求取。
如以上那样，在第2实施方式中，由于考虑从显示部6的画面到图像的纵深，将从具有纵深的图像到视觉辨识者的眼的位置的角度设为视线方向，因此，即使是具有纵深的图像也能求取角度(视线方向)，与在现实空间上改变视线方向来窥视实际的物体的行为同样，能变更为成为从视觉辨识者的视线方向看到的状态的图像。
另外，由于在显示多个从显示部6的画面起具有纵深的图像的情况下，按每个图像考虑到各图像为止的纵深来求取从具有纵深的各图像到视觉辨识者的眼的位置的角度，因此能按每个图像来改变呈现方式，能进一步实现富真实性的图像显示。
另外，在上述的各实施方式中，求取Y轴上的眼的位置相对于Z轴的角度，并求取X轴上的眼的位置相对于Z轴的角度，但也可以求取其中任意一者。即，也可以仅在上下方向上窥视，或者仅在左右方向上窥视。
另外，在眼的位置的角度θ、达到给定角以上(例如70°以上)的情况下，生成长方体的背侧的图像来显示，若是长方体图形的内部内容，例如若长方体是家的外观模型，则也可以生成家中的图像来显示。
另外，在上述的各实施方式中，以前置摄像头8为基准来确定视觉辨识者的视线方向，成为从该眼的位置看到的三维模型图像的状态地使三维模型图像转动，来进行显示，但例如也可以在视觉辨识者的眼的位置y、z设定虚拟摄像机，并且在虚拟摄像机的视野朝向显示部6的画面的状态下使用3D技术的渲染显示(例如OpenGL/Direct3D等)，来一边计算物体的呈现方式一边创建该图像。
在上述的各实施方式中示出了运用到折叠型的便携电话机中的情况，但也可以运用在2轴类型的便携电话机等中，不问其类型。另外，并不限于前置摄像头8，也可以使用与便携电话机分开的摄像机(例如外置设备)来对视觉辨识者进行拍摄。
另外，在上述的各实施方式中，例示了用前置摄像头8对视觉辨识者进行拍摄来确定视线方向的情况，但例如也可以使用角速度传感器、加速度传感器等来求取框体的转动角度，生成从该方向看到的状态的图像。
在上述的各实施方式中，作为显示装置示出了运用在便携电话机中等情况，但也可以是数字摄像机(紧凑型摄像机)、PDA、音乐播放器、游戏机等的便携终端装置，进而并不限于便携终端装置，同样也能运用在电视接收机、个人计算机(例如笔记本PC、平板PC、台式PC)等中。
此外，上述的第1以及第2实施方式示出的“装置”或“部”可以按功能区分而分离成多个框体，并不限于单一的框体。另外，上述的流程图中记述的各步骤并不限于时间序列上的处理，也可以对多个步骤并行进行处理，或者个别独立进行处理。
上述的各实施方式的一部分或全部能如以下的附记那样记载，但并不限定于此。
以下将本发明的诸方式汇总为附记来记载。
(附记1)
图11是附记1的构成图(本发明的功能框图)。
如该图所示那样，附记1中记载的发明是一种显示装置，特征在于，具备：显示图像的单元100(图1中为显示部6)；决定与所述显示单元100面对面来观看其画面的视觉辨识者的视线方向的视线方向决定单元101(图1中为中央控制部1、前置摄像头8、程序存储部M2)；生成从由所述视线方向决定单元101决定的视线方向看到的状态的图像的图像生成单元102(图1中为中央控制部1、程序存储部M2、图像存储部M2)；和使由所述图像生成单元102生成的图像显示于所述显示单元100的显示控制单元103(图1中为中央控制部1、程序存储部M2、显示部6)。
根据附记1，由于生成从与显示单元100面对面观看其画面的视觉辨识者的视线方向看到的状态的图像来进行显示，因此能显示与视线方向相应的图像，就算不使用3D用的高价的液晶显示装置，对视觉辨识者而言也能看到3D显示那样的图像，能实现富真实性的图像显示。
(附记2)
在附记1记载的显示装置的基础上，特征在于，在针对显示的图像的视线方向发生改变的情况下，所述图像生成单元生成从该改变后的视线方向看到的状态的图像。
(附记3)
在附记1或附记2记载的显示装置的基础上，特征在于，所述显示装置还具备对与所述显示单元面对面的视觉辨识者进行拍摄的摄像单元，所述视线方向决定单元基于由所述摄像单元拍摄到的图像来决定视觉辨识者的视线方向。
(附记4)
在附记3记载的显示装置的基础上，特征在于，所述视线方向决定单元通过解析由所述摄像单元拍摄到的图像来确定视觉辨识者的眼的位置，并且在将与所述显示单元的画面垂直的方向设为三维坐标系的第3轴的情况下，将第2轴上的眼的位置相对于第3轴的角度决定为视觉辨识者的视线方向。
(附记5)
在附记3或附记3记载的显示装置的基础上，特征在于，所述视线方向决定单元通过解析由所述摄像单元拍摄到的图像来确定视觉辨识者的眼的位置，并且在将与所述显示单元的画面垂直的方向设为三维坐标系的第3轴的情况下，将第1轴上的眼的位置相对于第3轴的角度决定为视觉辨识者的视线方向。
(附记6)
在附记1～5中任一项记载的显示装置的基础上，特征在于，所述图像生成单元通过基于由所述视线方向决定单元决定的视线方向来转动三维模型的图像数据，由此生成从该视线方向看到的状态的图像。
(附记7)
在附记1～6中任一项记载的显示装置的基础上，特征在于，所述显示装置还具备：基于由所述视线方向决定单元决定的视觉辨识者的视线方向和从所述显示单元到视觉辨识者的距离来确定视觉辨识者的眼的位置的确定单元，所述图像生成单元生成从由所述确定单元确定的视觉辨识者的眼的位置看到的状态的图像。
(附记8)
在附记1～7中任一项记载的显示装置的基础上，特征在于，所述视线方向决定单元从所述显示单元的画面起考虑图像的纵深来决定视觉辨识者的视线方向，所述图像生成单元生成从由所述视线方向决定单元决定的视线方向看到的状态的图像。
(附记9)
在附记8记载的显示装置的基础上，特征在于，在所述显示单元中显示有多个图像的情况下，所述视线方向决定单元按每个图像考虑从画面起的纵深来按每个图像分别决定视觉辨识者的视线方向，所述图像生成单元按每个图像分别生成从由所述视线方向决定单元对每个图像决定的视线方向看到的状态的图像。
(附记10)
一种显示方法，特征在于，决定与显示图像的显示单元面对面了来观看其画面的视觉辨识者的视线方向，生成从所述决定的视线方向看到的状态的图像，并在所述显示单元中显示所述生成的图像。
(附记11)
一种程序，用于使计算机实现如下功能：决定与显示图像的显示单元面对面来观看其画面的视觉辨识者的视线方向的功能；生成从所述决定的视线方向看到的状态的图像的功能；和使所述生成的图像显示于所述显示单元的功能。
根据附记10，具有与附记1同样的效果，进而能以软件(程序)的形式提供附记1的功能。
标号说明
1   中央控制部
3   存储部
6   显示部
7   操作部
8   前置摄像头
11  操作部框体
12  显示部框体
M1  程序存储部
M2  图像存储部

Claims (11)

1.一种显示装置，其特征在于，具备：
显示单元，其显示图像；
视线方向决定单元，其决定与所述显示单元面对面来观看其画面的视觉辨识者的视线方向；
图像生成单元，其生成从由所述视线方向决定单元决定的视线方向看到的状态的图像；和
显示控制单元，其使由所述图像生成单元生成的图像显示于所述显示部。
2.根据权利要求1所述的显示装置，其特征在于，
在针对显示的图像的视线方向发生改变的情况下，所述图像生成单元生成从该改变后的视线方向看到的状态的图像。
3.根据权利要求1或2所述的显示装置，其特征在于，
所述显示装置还具备：摄像单元，其对与所述显示单元面对面的视觉辨识者进行拍摄，
所述视线方向决定单元基于由所述摄像单元拍摄到的图像来决定视觉辨识者的视线方向。
4.根据权利要求3所述的显示装置，其特征在于，
所述视线方向决定单元通过解析由所述摄像单元拍摄到的图像来确定视觉辨识者的眼的位置，并且在将与所述显示单元的画面垂直的方向设为三维坐标系的第3轴的情况下，将第2轴上的眼的位置相对于第3轴的角度决定为视觉辨识者的视线方向。
5.根据权利要求3或4所述的显示装置，其特征在于，
所述视线方向决定单元通过解析由所述摄像单元拍摄到的图像来确定视觉辨识者的眼的位置，并且在将与所述显示单元的画面垂直的方向设为三维坐标系的第3轴的情况下，将第1轴上的眼的位置相对于第3轴的角度决定为视觉辨识者的视线方向。
6.根据权利要求1～5中任一项所述的显示装置，其特征在于，
所述图像生成单元基于由所述视线方向决定单元决定的视线方向来转动三维模型的图像数据，从而生成从该视线方向看到的状态的图像。
7.根据权利要求1～6中任一项所述的显示装置，其特征在于，
所述显示装置还具备：确定单元，其基于由所述视线方向决定单元决定的视觉辨识者的视线方向和从所述显示单元到视觉辨识者的距离来确定视觉辨识者的眼的位置，
所述图像生成单元生成从由所述确定单元确定的视觉辨识者的眼的位置看到的状态的图像。
8.根据权利要求1～7中任一项所述的显示装置，其特征在于，
所述视线方向决定单元从所述显示单元的画面起考虑图像的纵深来决定视觉辨识者的视线方向，
所述图像生成单元生成从由所述视线方向决定单元决定的视线方向看到的状态的图像。
9.根据权利要求8所述的显示装置，其特征在于，
在所述显示单元中显示有多个图像的情况下，所述视线方向决定单元按每个图像考虑从画面起的纵深，来按每个图像分别决定视觉辨识者的视线方向，
所述图像生成单元对每个图像分别生成从由所述视线方向决定单元对每个图像决定的视线方向看到的状态的图像。
10.一种显示方法，其特征在于，
决定与显示图像的显示单元面对面来观看其画面的视觉辨识者的视线方向，
生成从所述决定的所述视线方向看到的状态的图像，
并将所述生成的图像显示于所述显示单元。
11.一种程序，用于使计算机实现如下功能：
决定与显示图像的显示单元面对面来观看其画面的视觉辨识者的视线方向的功能；
生成从所述决定的视线方向看到的状态的图像的功能；和
使所述生成的图像显示于所述显示单元的功能。
CN201280075537.3A 2012-09-05 2012-09-05 显示装置、显示方法以及程序 Pending CN104603717A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/005613 WO2014037972A1 (ja) 2012-09-05 2012-09-05 表示装置、表示方法及びプログラム

Publications (1)

Publication Number Publication Date
CN104603717A true CN104603717A (zh) 2015-05-06

Family

ID=50236626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280075537.3A Pending CN104603717A (zh) 2012-09-05 2012-09-05 显示装置、显示方法以及程序

Country Status (4)

Country Link
US (1) US20150206338A1 (zh)
EP (1) EP2894608A4 (zh)
CN (1) CN104603717A (zh)
WO (1) WO2014037972A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017121361A1 (zh) * 2016-01-14 2017-07-20 深圳前海达闼云端智能科技有限公司 一种曲面二维屏幕的三维立体显示处理方法和装置
CN110035270A (zh) * 2019-02-28 2019-07-19 努比亚技术有限公司 一种3d图像显示方法、终端及计算机可读存储介质
WO2022199260A1 (zh) * 2021-03-24 2022-09-29 纵深视觉科技(南京)有限责任公司 静态对象的立体显示方法、装置、介质及电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015012442A (ja) * 2013-06-28 2015-01-19 ソニー株式会社 撮像装置、撮像方法、画像生成装置、画像生成方法、及び、プログラム
JP6492531B2 (ja) * 2014-10-27 2019-04-03 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
EP3205084B1 (en) * 2014-12-09 2018-05-23 FotoNation Limited Image processing method
CA2980384C (en) 2015-03-31 2022-04-05 Cae Inc. Multifactor eye position identification in a display system
CN105592306A (zh) * 2015-12-18 2016-05-18 深圳前海达闼云端智能科技有限公司 一种三维立体显示处理方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276613A (ja) * 1999-03-29 2000-10-06 Sony Corp 情報処理装置および情報処理方法
CN1705962A (zh) * 2002-10-17 2005-12-07 皇家飞利浦电子股份有限公司 利用二维显示装置产生伪三维显示的方法和***
CN1914587A (zh) * 2004-02-07 2007-02-14 株式会社萨纳伊*** 考虑观察者视角来执行液晶板图像模拟的全景演示的方法
JP2008129775A (ja) * 2006-11-20 2008-06-05 Ntt Docomo Inc 表示制御装置、表示装置、表示制御方法
CN102246202A (zh) * 2009-10-20 2011-11-16 索尼公司 图像显示装置、图像显示方法和程序

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002298160A (ja) 2001-03-29 2002-10-11 Namco Ltd 携帯型画像生成装置、プログラム及び情報記憶媒体
CN101336089A (zh) * 2006-01-26 2008-12-31 诺基亚公司 眼睛***设备
JP4492597B2 (ja) * 2006-09-20 2010-06-30 太郎 諌山 立体表示処理装置および立体表示処理方法
JPWO2012147363A1 (ja) * 2011-04-28 2014-07-28 パナソニック株式会社 画像生成装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276613A (ja) * 1999-03-29 2000-10-06 Sony Corp 情報処理装置および情報処理方法
CN1705962A (zh) * 2002-10-17 2005-12-07 皇家飞利浦电子股份有限公司 利用二维显示装置产生伪三维显示的方法和***
CN1914587A (zh) * 2004-02-07 2007-02-14 株式会社萨纳伊*** 考虑观察者视角来执行液晶板图像模拟的全景演示的方法
JP2008129775A (ja) * 2006-11-20 2008-06-05 Ntt Docomo Inc 表示制御装置、表示装置、表示制御方法
CN102246202A (zh) * 2009-10-20 2011-11-16 索尼公司 图像显示装置、图像显示方法和程序

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017121361A1 (zh) * 2016-01-14 2017-07-20 深圳前海达闼云端智能科技有限公司 一种曲面二维屏幕的三维立体显示处理方法和装置
CN110035270A (zh) * 2019-02-28 2019-07-19 努比亚技术有限公司 一种3d图像显示方法、终端及计算机可读存储介质
WO2022199260A1 (zh) * 2021-03-24 2022-09-29 纵深视觉科技(南京)有限责任公司 静态对象的立体显示方法、装置、介质及电子设备

Also Published As

Publication number Publication date
EP2894608A4 (en) 2016-01-20
US20150206338A1 (en) 2015-07-23
WO2014037972A1 (ja) 2014-03-13
EP2894608A1 (en) 2015-07-15

Similar Documents

Publication Publication Date Title
CN104603717A (zh) 显示装置、显示方法以及程序
US8300043B2 (en) Proximity assisted 3D rendering
EP2802958B1 (en) Mobile display device
JP5357238B2 (ja) 携帯端末機及びその動作制御方法
CN100461212C (zh) 显示控制方法及装置以及便携设备
CN100592808C (zh) 立体图像显示装置及立体图像显示方法
US9693039B2 (en) Hand-held electronic device
JP6242039B2 (ja) 自動センタリング機能付きのジャイロ制御されるゲーム視点のための装置および方法
US9494813B2 (en) Multi-purpose display system
US20120293549A1 (en) Computer-readable storage medium having information processing program stored therein, information processing apparatus, information processing system, and information processing method
US20120133641A1 (en) Hand-held electronic device
JP5876983B2 (ja) 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
US9818331B2 (en) Image flipping processing method and system
US20150268748A1 (en) Interactive control and display method and system
JP5896445B2 (ja) 表示装置、表示方法及びプログラム
CN109714585B (zh) 图像传输方法及装置、显示方法及装置、存储介质
KR20070030849A (ko) 3차원 이미지를 렌더링하거나 변형하는 모바일 장치 및방법
KR101573267B1 (ko) 포장 박스와 전자 표시 기기의 인터랙션 제어 방법 및 장치
JP5620748B2 (ja) 携帯型電子機器
CN117872515A (zh) 透镜参数的确定方法、装置、***、设备及存储介质
JP2021092672A (ja) 撮像装置
KR20150110253A (ko) 전자표시기기를 위한 표시 장치의 표시 방법 및 장치
KR20150110251A (ko) 포장 박스를 이용한 전자표시기기 제어 방법 및 장치
JP2012185273A (ja) 情報表示装置、表示制御方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NEC CORP.

Free format text: FORMER OWNER: NEC MOBILE COMMUNICATION, LTD.

Effective date: 20150625

C41 Transfer of patent application or patent right or utility model
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Kanagawa, Japan

Applicant after: NEC Mobile Communications Ltd.

Address before: Kanagawa, Japan

Applicant before: NEC CASIO Mobile Communications, Ltd.

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

Free format text: CORRECT: APPLICANT; FROM: NEC CASIO MOBILE COMMUNICATIONS, LTD. TO: NEC MOBILE COMMUNICATION, LTD.

TA01 Transfer of patent application right

Effective date of registration: 20150625

Address after: Tokyo, Japan

Applicant after: NEC Corp.

Address before: Kanagawa, Japan

Applicant before: NEC Mobile Communications Ltd.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150506