CN108205197B - 显示装置和显示装置的控制方法 - Google Patents
显示装置和显示装置的控制方法 Download PDFInfo
- Publication number
- CN108205197B CN108205197B CN201711344983.0A CN201711344983A CN108205197B CN 108205197 B CN108205197 B CN 108205197B CN 201711344983 A CN201711344983 A CN 201711344983A CN 108205197 B CN108205197 B CN 108205197B
- Authority
- CN
- China
- Prior art keywords
- display
- content
- unit
- user
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
提供显示装置和显示装置的控制方法,容易选择要显示的内容且通过简单的操作使内容的显示发生变化。HMD(100)具有:6轴传感器(235)、磁传感器(237)和头部运动检测部(151),它们检测头部的位置和运动中的至少任意一个;基准设定部(153),其根据由头部运动检测部(151)检测的头部的位置和运动中的至少任意一个,设定基准状态;以及显示控制部(155),其根据头部的位置和运动相对于基准状态的变化,使由图像显示部(20)显示的内容的显示发生变化,显示控制部(155)以维持内容的相对显示位置的方式,使由图像显示部(20)显示的内容的显示发生变化。
Description
技术领域
本发明涉及显示装置和显示装置的控制方法。
背景技术
以往,已知有能够将显示部佩戴于使用者的头部而使使用者观察图像的显示装置(例如,参照专利文献1)。
专利文献1公开了如下的装置:在3维虚拟空间内配置多个虚拟显示器,根据由检测器检测的头部的运动而选择1个虚拟显示器,再现与所选择的虚拟显示器对应的内容。
专利文献1:日本特开2016-149002号公报
此外,专利文献1的装置在3维虚拟空间内配置有多个虚拟显示器。当配置的虚拟显示器的数量增加时,有时难以选择显示使用者想要视听的内容的虚拟显示器。此外,存在如下的问题:在将多个虚拟显示器配置在使用者的眼前的情况下,使用者的眼前显示的内容可能遮挡使用者的视野而妨碍操作。此外,佩戴于使用者的头部的显示装置的外景观察性有时由于显示的图像而下降,因此,有时难以操作显示装置的操作部。
发明内容
本发明的目的在于容易选择要显示的内容且通过简单的操作使内容的显示发生变化。
为了解决上述课题,本发明具有:显示部,其被佩戴于使用者的头部;检测部,其检测包含所述头部在内的检测对象部的位置和运动中的至少任意一个;基准设定部,其根据由所述检测部检测的所述检测对象部的位置和运动中的至少任意一个,设定基准状态;以及显示控制部,其根据所述检测对象部的位置和运动相对于所述基准状态的变化,使由所述显示部显示的内容的显示发生变化,所述显示控制部以维持多个所述内容的相对显示位置的方式,使由所述显示部显示的所述内容的显示发生变化。
根据该结构,能够根据检测对象部的位置和运动中的至少任意一个来设定基准状态,根据检测对象部的位置和运动相对于所设定的基准状态的变化来使多个内容的显示发生变化。此外,能够在使内容的显示发生变化时,以维持多个内容的相对显示位置的方式使内容的显示发生变化。因此,能够容易选择要显示的内容且通过简单的操作使内容的显示发生变化。
此外,在本发明中,具有存储部,该存储部存储表示多个所述内容的相对显示位置的显示位置信息,所述显示控制部以维持所述显示位置信息表示的多个所述内容的相对显示位置的方式,使所述内容的显示发生变化。
根据本发明,能够以维持多个内容的相对显示位置的方式使由显示部显示的内容的显示发生变化。
此外,在本发明中,所述显示控制部根据所述检测对象部的位置和运动相对于所述基准状态的变化来选择所述内容,使所述显示部显示选择出的所述内容。
根据本发明,能够根据检测对象部的位置和运动的变化量来选择内容,显示所选择的内容。因此,能够根据头部的位置或者运动选择内容,从而能够容易选择内容。
此外,在本发明中,所述基准设定部根据所述检测对象部的旋转轴和以所述旋转轴为中心旋转的所述检测对象部的位置,设定所述基准状态,所述显示控制部能够将所述内容的显示位置设定于以所述旋转轴为中心的旋转方向以及与所述旋转方向垂直的方向。
根据本发明,能够以维持多个内容的相对显示位置的方式设定多个内容。
此外,在本发明中,所述显示控制部能够将所述内容的显示位置设定于所述基准状态下的所述检测对象部的背面侧。
根据本发明,能够使内容的显示位置具有变形。
此外,在本发明中,所述显示控制部能够将所述内容的显示位置设定于如下位置:在该位置处,能够观察到多个所述内容被配置于以所述旋转轴上的点为中心的球面或者被配置于与所述旋转轴相距规定距离的平面。
根据本发明,设定于如下位置:在该位置处,能够观察到多个内容被配置于以旋转轴上的点为中心的球面或者被配置于与旋转轴相距规定距离的平面。因此,能够以维持多个内容的相对显示位置的方式使内容的显示发生变化。
此外,在本发明中,所述显示控制部能够将所述内容的显示位置设定于如下位置:在该位置处,能够观察到所述内容被配置于所述使用者的脚底的面。
根据本发明,能够观察到内容被配置于使用者的脚底的面。
此外,在本发明中,所述显示部具有:右显示部,其使所述使用者的右眼观察图像;以及左显示部,其使所述使用者的左眼观察图像,所述显示控制部在所述右显示部和所述左显示部具有视差的状态下显示所述内容。
根据本发明,能够在右显示部和左显示部具有视差的状态下显示内容。因此,能够3维地显示内容。
此外,在本发明中,所述基准设定部依照指示体的位置或者运动,设定所述基准状态。
根据本发明,能够根据指示体的位置或者运动,设定基准状态。因此,能够简单设定基准状态。
此外,在本发明中,所述显示控制部依照所述指示体的位置或者运动,设定所述显示部中的所述内容的显示倍率。
根据本发明,能够根据指示体的位置或者运动,设定内容的显示倍率。因此,能够通过简单的操作设定内容的显示倍率。
此外,在本发明中,所述显示控制部使所述显示部显示针对任意的所述内容的输入操作中使用的输入用内容。
根据本发明,将输入用内容显示于显示部。因此,能够利用输入用内容进行针对内容的输入操作。
此外,在本发明中,在判定为所述检测对象部停止了所设定的规定时间以上的情况下,所述基准设定部设定停止的所述检测对象部的位置作为所述基准状态。
根据本发明,在判定为检测对象部停止了所设定的规定时间以上的情况下,设定停止的检测对象部的位置作为基准状态。因此,能够使得不会在使用者的意料之外的位置处设定基准状态。
此外,在本发明中,具有视线检测部,该视线检测部检测所述使用者的视线的朝向,所述基准设定部设定所述基准状态,所述基准状态包含所述检测对象部的位置或者运动、以及所述视线检测部检测的视线的朝向。
根据本发明,能够根据检测对象部的位置或者运动、以及视线检测部检测的视线的朝向,设定基准状态。因此,能够对应于使用者的状态更加详细地设定基准状态。
此外,在本发明中,所述检测部配置于所述显示部的壳体,包含根据GPS信号进行位置检测的GPS检测部、检测加速度的加速度传感器、检测角加速度的角加速度传感器、单反照相机、立体照相机、磁传感器中的至少任意一个。
根据本发明,能够利用检测部,高精度地检测检测对象部的位置或者运动。
此外,在本发明中,所述磁传感器配置于所述显示部的壳体的外表面侧。
根据本发明,能够减少壳体对磁传感器的磁检测的影响。
此外,在本发明中,具有处理部,该处理部执行多个功能,各个所述内容对应于所述处理部执行的功能。
根据本发明,能够利用显示部显示与处理部执行的功能对应的内容。
此外,在本发明中,具有编辑处理部,该编辑处理部变更所述显示部显示的所述内容的细节。
根据本发明,能够利用编辑处理部,变更内容的细节。
此外,在本发明中,所述显示控制部根据所述检测对象部的位置和运动相对于所述基准状态的变化,缩略显示由所述显示部显示的多个所述内容。
根据本发明,能够缩略显示由显示部显示的多个内容。因此,能够使使用者容易掌握显示部显示的内容。
此外,在本发明中,所述显示控制部预测所述检测对象部的位置和运动相对于所述基准状态的变化,依照预测结果使所述内容的显示发生变化。
根据本发明,能够依照检测对象部的位置和运动的变化的预测结果使内容的显示发生变化。因此,能够将显示部显示的内容显示在多个位置。能够将使内容的显示发生变化的时刻提前。
此外,在本发明中,所述显示控制部使所述显示部将多个所述内容显示成:相对于所述检测对象部,多个所述内容被配置在远近方向上不同的位置处。
根据本发明,相对于检测对象部,多个内容配置在远近方向上不同的位置处。因此,能够将显示部显示的内容显示在多个位置。
为了解决上述课题,本发明是一种显示装置的控制方法,一种显示装置的控制方法,该显示装置具有被佩戴于使用者的头部的显示部,该显示装置的控制方法具有以下步骤:检测包含所述头部在内的检测对象部的位置和运动中的至少任意一个;根据通过所述检测的步骤检测的所述检测对象部的位置和运动中的至少任意一个,设定基准状态;以及根据所述检测对象部的位置和运动相对于所述基准状态的变化,使由所述显示部显示的内容的显示发生变化,在该显示装置的控制方法中,以维持多个所述内容的相对显示位置的方式,使由所述显示部显示的所述内容的显示发生变化。
根据该结构,能够根据检测对象部的位置和运动中的至少任意一个来设定基准状态,基于检测对象部的位置和运动相对于所设定的基准状态的变化来使内容的显示发生变化。此外,在使内容的显示发生变化时,能够以维持内容的相对显示位置的方式使内容的显示发生变化。因此,能够容易选择要显示的内容且通过简单的操作使内容的显示发生变化。
附图说明
图1是HMD的外观图。
图2是示出HMD的光学***的结构的主要部分俯视图。
图3是示出图像显示部的结构的立体图。
图4是HMD的框图。
图5是控制装置的功能框图。
图6是示出操作设备的结构的框图。
图7是示出使用者隔着图像显示部观察的视野的图。
图8是示出与球面坐标系的坐标对应的内容的图。
图9是示出从上方观察使用者和设定于球面坐标系的坐标的内容时的状态的图。
图10是示出从上方观察使用者和设定于球面坐标系的坐标的内容时的状态的图。
图11是示出使用者和设定于球面坐标系的坐标的内容的图。
图12是示出使用者和设定于球面坐标系的坐标的内容的图。
图13是示出根据视线传感器检测的视线来进行输入操作的情形的图。
图14是示出显示在使用者的脚底的图像的一例的图。
图15是示出选择应用或者应用画面的图像的图。
图16是示出HMD的动作的流程图。
图17是示出HMD的动作的流程图。
标号说明
1:***;10:控制装置;10A:壳体;11:按钮;12;67:LED指示器;14:触控板;15:上下键;16:切换开关;17:LED显示部;18:电源开关;19:振动器;20:图像显示部(显示部);21:右保持部;22:右显示单元(右显示部);23:左保持部;24:左显示单元(左显示部);26:右导光板;27:前部框架;28:左导光板;30:耳机;32:右耳机;34:左耳机;40:连接线;46:连接器;61:照相机;63:麦克风;65:照度传感器;68:视线传感器(视线检测部);100:HMD(显示装置);110:操作部;111:6轴传感器;113:磁传感器;115:GPS接收部;117:通信部;120:控制器基板;121:非易失性存储部;123:存储器;125:存储部;127:设定数据;128:内容数据;130:电源部;132:电池;134:电源控制电路;140:主处理器;141:操作***;143:图像处理部;145:拍摄控制部;147:操作控制部;149:指示体检测部;150:控制部(处理部;编辑处理部);151:头部运动检测部;153:基准设定部;155:显示控制部;157:坐标设定部;180:语音编解码器;182:语音接口;184:外部连接器;186:外部存储器接口;188:USB连接器;192:传感器集线器;194:FPGA;196:接口;211:接口;213:接收部;215:EEPROM;217:温度传感器;221:OLED单元;223:OLED面板;225:OLED驱动电路;231:接口;233:接收部;235:6轴传感器(检测部);237:磁传感器(检测部);239:温度传感器;241:OLED单元;243:OLED面板;245:OLED驱动电路;251:右光学***;252:左光学***;261;281:半反射镜;VR:视野;V:显示区域。
具体实施方式
图1是示出应用了本发明的显示装置和显示装置的控制方法的HMD(Head MountedDisplay:头部佩戴型显示装置)100的外观结构的外观图。
HMD 100是如下显示装置,具有:图像显示部20(显示部),其佩戴于使用者的头部,使使用者观察虚像;以及控制装置10,其控制图像显示部20。将在头部佩戴了图像显示部20的人称作使用者。
如图1所示,控制装置10具有扁平的箱形的壳体10A(也称作框体或者主体)。壳体10A具有按钮11、LED指示器12、触控板14、上下键15、切换开关16和电源开关18的各部件。按钮11、触控板14、上下键15、切换开关16和电源开关18是使用者操作的***作部。此外,LED指示器12例如作为表示HMD 100的动作状态的副显示部发挥作用。使用者通过操作***作部,能够操作HMD 100。控制装置10作为HMD 100的控制器发挥作用。
图像显示部20是佩戴于使用者头部的佩戴体,在本实施例中具有眼镜形状。图像显示部20在具有右保持部21、左保持部23和前部框架27的主体上具有右显示单元22、左显示单元24、右导光板26和左导光板28。
右保持部21和左保持部23分别从前部框架27的两端部朝后方延伸,如眼镜的镜腿(腿)那样将图像显示部20保持于使用者的头部。这里,设前部框架27的两端部中的、在图像显示部20的佩戴状态下位于使用者的右侧的端部为端部ER、位于使用者的左侧的端部为端部EL。右保持部21设置成从前部框架27的端部ER延伸至在图像显示部20的佩戴状态下与使用者的右侧头部对应的位置。左保持部23设置成从端部EL延伸至在图像显示部20的佩戴状态下与使用者的左侧头部对应的位置。
右导光板26和左导光板28设置于前部框架27。右导光板26在图像显示部20的佩戴状态下位于使用者的右眼的眼前,使右眼观察图像。左导光板28在图像显示部20的佩戴状态下位于使用者的左眼的眼前,使左眼观察图像。
前部框架27具有将右导光板26的一端和左导光板28的一端相互连结起来的形状,在使用者佩戴图像显示部20的佩戴状态下,该连结位置对应于使用者的眉间。前部框架27可以设置于右导光板26与左导光板28的连结位置处的、在图像显示部20的佩戴状态下与使用者的鼻抵接的鼻接触部。在该情况下,能够通过鼻接触部、以及右保持部21和左保持部23将图像显示部20保持于使用者的头部。此外,可以将在图像显示部20的佩戴状态下与使用者的后头部接触的带(省略图示)与右保持部21以及左保持部23连结,在该情况下,能够利用带将图像显示部20保持于使用者的头部。
右显示单元22实现基于右导光板26的图像的显示。右显示单元22设置于右保持部21,在佩戴状态下位于使用者的右侧头部的附近。左显示单元24实现基于左导光板28的图像的显示。左显示单元24设置于左保持部23,在佩戴状态下位于使用者的左侧头部的附近。
本实施方式的右导光板26和左导光板28是由透光性的树脂等形成的光学部,例如是棱镜,将右显示单元22和左显示单元24输出的图像光引导至使用者的眼睛。
可以在右导光板26和左导光板28的表面设置调光板(省略图示)。调光板是透射率根据光的波段而不同的薄板状的光学元件,作为所谓波长滤光器发挥作用。调光板例如配置成覆盖作为与使用者的眼睛侧相反的侧的前部框架27的正侧。通过适当选择该调光板的光学特性,能够任意调整可见光、红外光和紫外光等任意波段的光的透射率,能够调整从外部入射到右导光板26和左导光板28并透过右导光板26和左导光板28的外部光的光量。
图像显示部20将由右显示单元22和左显示单元24分别生成的图像光引导至右导光板26和左导光板28。被引导至右导光板26和左导光板28的图像光入射到使用者的右眼和左眼,使使用者观察虚像。由此,图像显示部20显示图像。
在外部光从使用者的前方透过右导光板26和左导光板28而入射到使用者的眼睛的情况下,构成虚像的图像光和外部光入射到使用者的眼睛,虚像的观察性受外部光的强度影响。因此,例如将调光板安装于前部框架27,适当选择或者调整调光板的光学特性,由此能够调整虚像的观察的便利性。在典型的例子中,能够使用如下的调光板,该调光板具有佩戴了HMD 100的使用者至少能够观察外部景色的程度的透光性。此外,在使用调光板时,可期待如下的效果:保护右导光板26和左导光板28,抑制右导光板26和左导光板28的损伤和污垢附着等。调光板可以分别相对于前部框架27、或者右导光板26和左导光板28进行装卸,也可以以更换多种调光板的方式安装,也可以省略调光板。
照相机61配设于图像显示部20的前部框架27。照相机61的结构和配置确定成拍摄使用者在佩戴了图像显示部20的状态下观察的外景方向。例如,照相机61设置于前部框架27的前表面上的、不遮挡透过右导光板26和左导光板28的外部光的位置。在图1的例子中,照相机61配置于前部框架27的端部ER侧,但也可以将照相机61配置于端部EL侧,此外,也可以配置于右导光板26与左导光板28的连结部。
照相机61是具有CCD或CMOS等摄像元件和摄像镜头等的数字照相机。本实施方式的照相机61是单反照相机,但也可以由立体照相机构成。照相机61拍摄HMD 100的正侧方向、换言之、佩戴HMD 100的状态下的使用者的视野方向的至少一部分的外景(实际空间)。在另外的表达方式中,照相机61拍摄与使用者的视野重叠的范围或者方向,拍摄使用者注视的方向。照相机61的视场角的方向和宽度能够适当设定。在本实施方式中,如后所述,照相机61的视场角包含使用者通过右导光板26和左导光板28观察的外界。更优选的是,照相机61的视场角设定成能够拍摄可透过右导光板26和左导光板28观察的使用者的视野的整体。
照相机61依照控制部150(图5)具备的拍摄控制部145的控制,执行拍摄。照相机61经由后述的接口211将拍摄图像数据输出到控制部150。
在图像显示部20的使用者侧配置有视线传感器(视线检测部)68。视线传感器68以分别与使用者的右眼RE以及左眼LE对应的方式,在右导光板26与左导光板28的中央位置设置有一对。视线传感器68例如由分别拍摄使用者的右眼RE和左眼LE的一对照相机构成。视线传感器68依照控制部150(图5)的控制进行拍摄,控制部150根据拍摄图像数据,检测右眼RE和左眼LE的眼球表面的反射光和瞳孔的图像,确定视线方向。
图2是示出图像显示部20具备的光学***的结构的主要部分俯视图。为了说明,图2示出使用者的左眼LE和右眼RE。
如图2所示,右显示单元22和左显示单元24构成为左右对称。右显示单元22具有发出图像光的OLED(Organic Light Emitting Diode)单元221、以及具有引导OLED单元221发出的图像光L的透镜组等的右光学***251,作为使使用者的右眼RE观察图像的结构。图像光L被右光学***251引导至右导光板26。
OLED单元221具有OLED面板223、以及驱动OLED面板223的OLED驱动电路225。OLED面板223是矩阵状地配置通过有机电致发光而进行发光并分别发出R(红)、G(绿)、B(蓝)的色光的发光元件而构成的自发光型的显示面板。OLED面板223将各包含1个R、G、B的元件的单位作为1个像素而具有多个像素,由配置成矩阵状的像素形成图像。OLED驱动电路225依照控制部150(图5)的控制,执行OLED面板223具备的发光元件的选择和向发光元件的通电,使OLED面板223的发光元件发光。OLED驱动电路225利用接合线等固定于OLED面板223的背面即发光面的里侧。OLED驱动电路225例如可以由驱动OLED面板223的半导体器件构成,安装在固定于OLED面板223的背面的基板上(省略图示)。在该基板上安装有温度传感器217。
另外,OLED面板223可以是矩阵状地配置发出白色光的发光元件、重叠地配置与R、G、B的各色对应的滤色器的结构。此外,除了分别发射R、G、B的色光的发光元件以外,也可以使用具有发出W(白色)的光的发光元件的WRGB结构的OLED面板223。
右光学***251具有使从OLED面板223射出的图像光L成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光L入射到右导光板26。在右导光板26的内部,在引导光的光路中形成有反射图像光L的多个反射面。图像光L在右导光板26的内部经过多次反射而被引导至右眼RE侧。在右导光板26上形成有位于右眼RE的眼前的半反射镜261(反射面)。图像光L在半反射镜261上反射,从右导光板26朝向右眼RE射出,该图像光L在右眼RE的视网膜上成像,使使用者观察图像。
此外,左显示单元24具有发出图像光的OLED单元241、以及具有引导OLED单元241发出的图像光L的透镜组等的左光学***252,作为使使用者的左眼LE观察图像的结构。图像光L被左光学***252引导至左导光板28。
OLED单元241具有OLED面板243、以及驱动OLED面板243的OLED驱动电路245。OLED面板243是与OLED面板223同样构成的自发光型的显示面板。OLED驱动电路245依照控制部150(图5)的控制,执行OLED面板243具备的发光元件的选择和向发光元件的通电,使OLED面板243的发光元件发光。OLED驱动电路245利用接合线等固定于OLED面板243的背面即发光面的里侧。OLED驱动电路245例如可以由驱动OLED面板243的半导体器件构成,安装在固定于OLED面板243的背面的基板上(省略图示)。在该基板上安装有温度传感器239。
左光学***252具有使从OLED面板243射出的图像光L成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光L入射到左导光板28。左导光板28是形成有反射图像光L的多个反射面的光学元件,例如是棱镜。图像光L在左导光板28的内部经过多次反射而被引导至左眼LE侧。在左导光板28上形成有位于左眼LE的眼前的半反射镜281(反射面)。图像光L在半反射镜281上反射,从左导光板28朝向左眼LE射出,该图像光L在左眼LE的视网膜上成像,使使用者观察图像。
根据该结构,HMD 100作为透视型的显示装置发挥作用。即,半反射镜261反射的图像光L和透过了右导光板26的外部光OL入射到使用者的右眼RE。此外,半反射镜281反射的图像光L和透过了半反射镜281的外部光OL入射到左眼LE。这样,HMD 100使在内部处理后的图像的图像光L与外部光OL重叠地入射到使用者的眼睛,对使用者而言,透过右导光板26和左导光板28观察到外景,与该外景重叠地观察由图像光L形成的图像。
半反射镜261、281是反射右显示单元22和左显示单元24分别输出的图像光而取出图像的图像取出部,能够称作显示部。
另外,也将左光学***252和左导光板28统称作“左导光部”,将右光学***251和右导光板26统称地称作“右导光部”。右导光部和左导光部的结构不限于上述的例子,只要使用图像光而在使用者的眼前形成虚像,则能够使用任意的方式,例如可以使用衍射光栅,也可以使用半透过反射膜。
返回到图1,控制装置10和图像显示部20利用连接线40连接起来。连接线40以能够拆装的方式与设置于壳体10A的下部的连接器(省略图示)连接,从左保持部23的前端与设置于图像显示部20的内部的各种电路连接。连接线40可以具有传输数字数据的金属缆线或者光纤缆线,具有传输模拟信号的金属缆线。在连接线40的中途设置有连接器46。连接器46是连接立体声迷你插头的插座,连接器46和控制装置10例如用传输模拟语音信号的线连接。在图1所示的结构例中,具有构成立体声耳机的右耳机32和左耳机34以及麦克风63的耳机30与连接器46连接。
可以将控制装置10和图像显示部20无线连接。例如,可以构成为通过依照Bluetooth(注册商标)、无线LAN(包含Wi-Fi(注册商标)的)等标准的无线通信,由图像显示部20和控制装置10相互收发控制信号或数据。
例如,如图1所示,麦克风63配置成使麦克风63的集音部朝向使用者的视线方向而采集语音,将语音信号输出到语音接口182(图4)。麦克风63例如可以是单声道麦克风,也可以是立体声麦克风,也可以是具有配向性的麦克风,也可以是无配向性的麦克风。
控制装置10具有按钮11、LED指示器12、触控板14、上下键15、切换开关16和电源开关18,作为使用者操作的***作部。这些***作部配置于壳体10A的表面。
按钮11具有用于操作控制装置10的键或开关,这些键或开关根据按压操作而移位。例如,按钮11包含用于进行与控制装置10执行的操作***141(参照图5)等相关的操作的菜单键、起始键、“返回”键。
LED指示器12与HMD 100的动作状态对应地点亮或者闪烁。上下键15用于从右耳机32和左耳机34输出的音量的增减的指示输入、以及图像显示部20的显示的明亮度的增减的指示输入。切换开关16是切换与上下键15的操作对应的输入的开关。电源开关18是切换HMD100的电源的接通/断开的开关,例如是滑动开关。
触控板14具有检测接触操作的操作面,根据针对操作面的操作而输出操作信号。操作面中的检测方式未限定,能够采用静电式、压力检测式、光学式或者其他方式。利用触摸传感器(省略图示)来检测对触控板14的接触(触摸操作)。在触控板14上设置有LED显示部17。LED显示部17具有多个LED,各个LED的光透过触控板14,显示操作用的图标等。该图标等作为软按钮(software button)发挥作用。
图3是示出图像显示部20的结构的立体图,示出从使用者的头部侧观察图像显示部20时的主要部分结构。该图3是图像显示部20与使用者的头部接触的一侧、换言之使用者的右眼RE和左眼LE可观察到的一侧。如果换另一说法,则能够观察到右导光板26和左导光板28的背侧。
在图3中,能够将对使用者的右眼RE照射图像光的半反射镜261和对左眼LE照射图像光的半反射镜281看作大致四边形的区域。此外,包含半反射镜261、281的右导光板26和左导光板28的整体如上所述使外部光透过。因此,使用者可透过右导光板26和左导光板28的整体而观察外景,在半反射镜261、281的位置处观察矩形的显示图像。
照相机61配置于图像显示部20的右侧的端部,拍摄使用者的双眼朝向的方向,即,对使用者来说拍摄前方。照相机61的光轴设为包含右眼RE和左眼LE的视线方向的方向。使用者在佩戴了HMD 100的状态下可观察的外景不限于无限远。例如,在使用者用双眼注视位于使用者的前方的对象物的情况下,从使用者到对象物的距离多数为30cm~10m左右,更多数为1m~4m左右。因此,可以针对HMD 100确定通常使用时的从使用者到对象物的距离的上限和下限的标准。该标准可以通过调査或实验求出,也可以由使用者设定。在通常使用时的到对象物的距离相当于所设定的上限的标准的情况和相当于下限的标准的情况下,照相机61的光轴和视场角优选设定为该对象物包含在视场角中。
一般而言,人的视野角设为水平方向大概200度、垂直方向大概125度,其中的信息接受能力优异的有效视野为水平方向30度、垂直方向20度左右。并且,可迅速且稳定地观察到人注视的注视点的稳定注视视野被设为水平方向60~90度、垂直方向45度~70度左右。在注视点是位于使用者的前方的对象物时,在使用者的视野中,以右眼RE和左眼LE各自的视线为中心,水平方向30度、垂直方向20度左右是有效视野。此外,水平方向60~90度、垂直方向45度~70度左右为稳定注视视野,水平方向大约200度、垂直方向大约125度为视野角。并且,能够将使用者透过右导光板26和左导光板28而观察的实际的视野称作实际视野(FOV:Field Of View)。在图1和图2所示的本实施方式的结构中,实际视野相当于使用者透过右导光板26和左导光板28而观察的实际的视野。实际视野比视野角和稳定注视视野窄,比有效视野宽。
照相机61的视场角优选能够拍摄比使用者的视野大的范围,具体而言,更优选视场角至少比使用者的有效视野大。此外,更优选视场角比使用者的实际视野大。进一步优选视场角比使用者的稳定注视视野大,最优选视场角比使用者的双眼的视野角大。
照相机61具有所谓广角镜头作为摄像镜头,也可以构成为能够拍摄较大的视场角。广角镜头中可以包含称作超广角镜头、准广角镜头的镜头,可以是单焦点镜头,也可以是变焦镜头,也可以是照相机61具备由多个镜头构成的镜头组的结构。
图4是示出构成HMD 100的各部件的结构的框图。
控制装置10具有主处理器140,该主处理器140执行程序而控制HMD 100。存储器118以及非易失性存储部121与主处理器140连接。此外,作为输入装置,触控板14以及操作部110与主处理器140连接。此外,作为传感器类,6轴传感器111、磁传感器113与主处理器140连接。此外,GPS(Global Positioning System)接收部115、通信部117、语音编解码器180、外部连接器184、外部存储器接口186、USB连接器188、传感器集线器192以及FPGA 194与主处理器140连接。这些作为与外部的接口发挥作用。
主处理器140安装于控制装置10内置的控制器基板120上。除了主处理器140以外,在控制器基板120上还可以安装有存储器118、非易失性存储部121等。在本实施方式中,6轴传感器111、磁传感器113、GPS接收部115、通信部117、存储器118、非易失性存储部121、语音编解码器180等安装于控制器基板120上。此外,也可以是在控制器基板120上安装有外部连接器184、外部存储器接口186、USB连接器188、传感器集线器192、FPGA 194和接口196的结构。
在主处理器140执行程序的情况下,存储器118构成临时存储执行的程序和被处理的数据的工作区。非易失性存储部121由闪存存储器和eMMC(embedded Multi Media Card)构成。非易失性存储部121存储主处理器140执行的程序、以及主处理器140通过执行程序而处理的各种数据。
主处理器140根据从触控板14输入的操作信号,检测针对触控板14的操作面的接触操作,取得操作位置。
操作部110包含按钮11和LED显示部17。在操作了按钮11具有的按钮或开关等操作件的情况下,操作部110将与***作的操作件对应的操作信号输出到主处理器140。
LED显示部17依照主处理器140的控制,控制LED指示器12的点亮和熄灭。此外,LED显示部17可以是包含配置于触控板14的正下方的LED(省略图示)、以及使该LED点亮的驱动电路的结构。在该情况下,LED显示部17依照主处理器140的控制,使LED点亮、闪烁、熄灭。
6轴传感器111是具有3轴加速度传感器和3轴陀螺仪(角速度)传感器的运动传感器(惯性传感器)。6轴传感器111可以采用对上述的传感器进行了模块化的IMU(InertialMeasurement Unit)。
磁传感器113例如是3轴的地磁传感器。
6轴传感器111和磁传感器113依照预先指定的采样周期,将检测值输出到主处理器140。此外,6轴传感器111和磁传感器113根据主处理器140的请求,在由主处理器140指定的时刻,将检测值输出到主处理器140。
GPS接收部115具有未图示的GPS天线,接收从GPS卫星发送的GPS信号。GPS接收部115将接收到的GPS信号输出到主处理器140。此外,GPS接收部115计测接收导的GPS信号的信号强度,输出到主处理器140。信号强度中例如能够使用接收信号强度(RSSI:ReceivedSignal Strength Indication)、电场强度、磁场强度、信噪比(SNR:Signal to Noiseratio)等信息。
通信部117与外部设备之间执行无线通信。通信部117具备天线、RF电路、基带电路、通信控制电路等而构成,或者由将这些合并而成的器件构成。通信部117例如进行依据Bluetooth、无线LAN(包含Wi-Fi的)等标准的无线通信。
语音接口182是输入输出语音信号的接口。在本实施方式中,语音接口182包含设置于连接线40的连接器46(图1)。连接器46与耳机30连接。语音接口182输出的语音信号被输入到右耳机32和左耳机34,由此,右耳机32和左耳机34输出语音。此外,耳机30具备的麦克风63对语音进行收集,将语音信号输出到语音接口182。从麦克风63输入到语音接口182的语音信号被输入到外部连接器184。
语音编解码器180与语音接口182连接,进行经由语音接口182而输入输出的语音信号的编码和解码。语音编解码器180可以具有进行从模拟语音信号向数字语音数据的转换的A/D转换器、以及进行其相反的转换的D/A转换器。例如,本实施方式的HMD 100利用右耳机32和左耳机34输出语音,用麦克风63进行集音。语音编解码器180将主处理器140输出的数字语音数据转换为模拟语音信号,经由语音接口182输出。此外,语音编解码器180将输入到语音接口182的模拟语音信号转换为数字语音数据,输出到主处理器140。
外部连接器184是连接与主处理器140通信的外部装置的连接器。例如,在将外部装置与主处理器140连接而进行主处理器140执行的程序的调试或HMD 100的动作的日志的收集的情况下,外部连接器184是连接该外部装置的接口。
外部存储器接口186是能够连接可移动型的存储器设备的接口,例如包含存储卡插槽和接口电路,该存储卡插槽安装卡型记录介质而能够进行数据的读取。该情况下的卡型记录介质的尺寸、形状、标准没有限制,能够适当进行变更。
USB(Universal Serial Bus)连接器188具有依据USB标准的连接器和接口电路。USB连接器188能够将USB存储器设备、智能手机、计算机等连接起来。USB连接器188的尺寸或形状、适合的USB标准的版本能够适当选择和变更。
传感器集线器192以及FPGA 194经由接口(I/F)196,连接图像显示部20。传感器集线器192取得图像显示部20具备的各种传感器的检测值,输出到主处理器140。此外,FPGA194执行在主处理器140与图像显示部20的各部件之间收发的数据的处理、以及经由接口196的传输。
HMD 100具有振动器19。振动器19具有电机、以及偏心的转子(均省略图示),也可以具有其他所需结构。振动器19通过依照主处理器140的控制使上述电机旋转,产生振动。例如在检测到针对操作部110的操作的情况、HMD 100的电源接通/断开的情况或者其他情况下,HMD 100按照规定的振动模式,利用振动器19产生振动。
图像显示部20的右显示单元22以及左显示单元24分别与控制装置10连接。如图1所示,在HMD 100中,连接线40与左保持部23连接,与该连接线40相连的布线铺设于图像显示部20的内部,右显示单元22以及左显示单元24分别与控制装置10连接。
右显示单元22具有显示单元基板210。在显示单元基板210上安装有与接口196连接的接口(I/F)211、接收经由接口211而从控制装置10输入的数据的接收部(Rx)213、以及EEPROM 215。
接口211将接收部213、EEPROM 215、温度传感器217、照相机61、照度传感器65、LED指示器67与控制装置10连接。
EEPROM(Electrically Erasable Programmable Read-Only Memory)215以能够供主处理器140读取的方式存储各种数据。EEPROM 215例如存储与图像显示部20具备的OLED单元221、241的发光特性或显示特性相关的数据、与右显示单元22或者左显示单元24具备的传感器的特性相关的数据等。具体而言,存储对OLED单元221、241的伽马校正涉及的参数以及温度传感器217、239的检测值进行补偿的数据等。这些数据通过HMD 100的工厂出货时的检查而生成,写入EEPROM 215中,在出货后,主处理器140可利用EEPROM 215的数据进行处理。
照相机61依照经由接口211而输入的信号执行拍摄,将拍摄图像数据或者表示拍摄结果的信号输出到控制装置10。
如图1所示,照度传感器65设置于前部框架27的端部ER,配置成接收来自佩戴图像显示部20的使用者的前方的外部光。照度传感器65输出与受光量(受光强度)对应的检测值。
如图1所示,在前部框架27的端部ER处,LED指示器67配置于照相机61的附近。LED指示器67在照相机61正在拍摄时点亮,通知处于拍摄中。照相机61可以是单反照相机,也可以是立体照相机。
温度传感器217检测温度,输出与检测温度对应的电压值或者电阻值,作为检测值。温度传感器217安装于OLED面板223(图2)的背面侧。温度传感器217例如可以与OLED驱动电路225安装于同一基板上。根据该结构,温度传感器217主要检测OLED面板223的温度。
接收部213经由接口211接收由主处理器140发送的数据。在接收到OLED单元221显示的图像的图像数据的情况下,接收部213将接收到的图像数据输出到OLED驱动电路225(图2)。
左显示单元24具有显示单元基板210。在显示单元基板210上安装有与接口196连接的接口(I/F)231、以及接收经由接口231而从控制装置10输入的数据的接收部(Rx)233。此外,在显示单元基板210上安装有6轴传感器235和磁传感器237。此外,磁传感器237可以配置于图像显示部20的壳体的外表面侧。在使用金属作为构成图像显示部20的壳体的材料的情况下,磁传感器237的检测值叠加噪声,磁传感器237的检测精度有时下降。因此,磁传感器237配置于图像显示部20的壳体的外表面侧,能够防止磁传感器237的检测精度的下降。
接口231将接收部233、6轴传感器235、磁传感器237以及温度传感器239与控制装置10连接。
6轴传感器235是具有3轴加速度传感器和3轴陀螺仪(角速度)传感器的运动传感器(惯性传感器)。6轴传感器235可以采用对上述的传感器进行了模块化的IMU。
磁传感器237例如是3轴的地磁传感器。
温度传感器239检测温度,输出与检测温度对应的电压值或者电阻值,作为检测值。温度传感器239安装于OLED面板243(图2)的背面侧。温度传感器239例如可以与OLED驱动电路245安装于同一基板。根据该结构,温度传感器239主要检测OLED面板243的温度。
此外,温度传感器239可以内置于OLED面板243或者OLED驱动电路245。此外,上述基板可以是半导体基板。具体而言,在将OLED面板243作为Si-OLED与OLED驱动电路245等一起安装为集成半导体芯片上的集成电路的情况下,可以在该半导体芯片上安装温度传感器239。
右显示单元22具备的照相机61、照度传感器65、温度传感器217和左显示单元24具备的6轴传感器235、磁传感器237、温度传感器239与传感器集线器192连接。传感器集线器192依照主处理器140的控制,进行各传感器的采样周期的设定和初始化。传感器集线器192对应于各传感器的采样周期,执行向各传感器的通电、控制数据的发送、检测值的取得等。此外,传感器集线器192在预先设定的时刻,将右显示单元22和左显示单元24具备的各传感器的检测值输出到主处理器140。传感器集线器192可以具有如下功能:对应于针对主处理器140的输出的时刻,临时保持各传感器的检测值。此外,传感器集线器192可以具有如下功能:对应于各传感器的输出值的信号形式或者数据形式的差异,转换为统一后的数据形式的数据,输出到主处理器140。
此外,传感器集线器192依照主处理器140的控制,使LED指示器67的通电开始和停止,对应于照相机61开始和结束拍摄的时刻,使LED指示器67点亮或者闪烁。
控制装置10具有电源部130,利用从电源部130供给的电力进行动作。电源部130具有可充电的电池132、以及电源控制电路134,该电源控制电路134进行电池132的剩余容量的检测和向电池132的充电的控制。电源控制电路134与主处理器140连接,将电池132的剩余容量的检测值或者电压的检测值输出到主处理器140。此外,可以根据电源部130供给的电力,从控制装置10向图像显示部20供给电力。此外,也可以构成为主处理器140可控制从电源部130向控制装置10的各部件和图像显示部20的电力的供给状态。
图5是构成控制装置10的控制***的存储部122和控制部150的功能框图。图5所示的存储部122是由非易失性存储部121(图4)构成的逻辑性的存储部,可以包含EEPROM 215。此外,主处理器140执行程序,利用程序与硬件的协作,形成控制部150、以及控制部150具有的各种功能部。控制部150、以及构成控制部150的各功能部例如由主处理器140、存储器118和非易失性存储部121构成。控制部150相当于本发明的“处理部”。
控制部150利用存储部122存储的数据来执行各种处理,控制HMD 100。存储部122存储由控制部150处理的各种数据。具体而言,存储部122存储设定数据123、内容数据124和显示位置信息125。
设定数据123包含设定HMD 100的动作的各种设定值。此外,在控制部150控制HMD100时使用参数、矩阵式、运算式、LUT(LookUp Table)等的情况下,可以将它们包含在设定数据123中。
内容数据124是通过控制部150的控制而由图像显示部20显示的数据,例如包含Word和Excel等文档文件、静态图像数据和动态图像数据。此外,内容数据124可以包含语音数据。此外,内容数据124可以是如下3D图像数据:具有视差,在右显示单元22和左显示单元24具有视差的状态下显示图像。此外,内容数据124可以是用于显示AR(AugmentedReality)中显示的操作按钮、GUI(Graphical User Interface)、软键盘等的图像的图像数据。
此外,内容数据124可以是如下的双向型的内容:在利用图像显示部20显示内容时,利用控制装置10受理使用者的操作,控制部150执行与受理的操作对应的处理。在该情况下,内容数据124可以具有在受理操作的情况下显示的菜单画面的图像数据、用于确定与菜单画面中包含的项目对应的处理等的数据等。
显示位置信息125是表示多个内容的相对显示位置的信息。之后叙述详细情况,但显示位置信息125是表示显示内容的应用程序(以下,称作应用)的识别信息、该应用显示的内容的显示尺寸、以及与应用对应的球面坐标系的坐标的信息。之后叙述球面坐标的详细情况。此外,显示位置信息125中包含表示设定为后述的基准状态的基准方位或示出头部的倾斜度的仰角或俯角的信息。
控制部150具有操作***(OS)141、图像处理部143、拍摄控制部145、操作控制部147、指示体检测部149、头部运动检测部151、基准设定部153、显示控制部155和坐标设定部157,作为功能块。这些功能块由CPU将程序展开到RAM中,以执行所展开的程序而实现的功能为块而方便地表现。控制部150除了这些功能块以外,还能够作为执行多个功能的处理部发挥作用。例如,可以使控制部150作为编辑处理部进行动作,该编辑处理部变更图像显示部20显示的内容的细节。
操作***141的功能是存储部122存储的控制程序的功能,其他各部分是在操作***141上执行的应用程序的功能。
图像处理部143根据由图像显示部20显示的图像或者影像的图像数据,生成向右显示单元22和左显示单元24发送的信号。图像处理部143生成的信号可以是垂直同步信号、水平同步信号、时钟信号、模拟图像信号等。
此外,图像处理部143可以根据需要,进行将图像数据的分辨率转换为适于右显示单元22和左显示单元24的分辨率的分辨率转换处理。此外,图像处理部143可以执行调整图像数据的亮度或彩度的图像调整处理、根据3D图像数据生成2D图像数据或者根据2D图像数据生成3D图像数据的2D/3D转换处理等。在执行了这些图像处理的情况下,图像处理部143根据处理后的图像数据,生成用于显示图像的信号,经由连接线40发送到图像显示部20。
图像处理部143除了由主处理器140执行程序而实现的结构以外,还可以由与主处理器140不同的硬件(例如,DSP(Digital Signal Processor))构成。
拍摄控制部145控制照相机61使其执行拍摄,生成拍摄图像数据。拍摄控制部145使存储部122临时存储所生成的拍摄图像数据。此外,在照相机61构成为包含生成拍摄图像数据的电路的照相机单元的情况下,拍摄控制部145从照相机61取得拍摄图像数据,临时存储在存储部122中。
操作控制部147检测触控板14和操作部110中的操作,输出与所检测的操作对应的数据。例如,在操作了操作部110的按钮等的情况下,操作控制部147生成表示操作内容的操作数据,输出到显示控制部155。显示控制部155依照从操作控制部147输入的操作数据,变更图像显示部20的显示状态。
此外,在检测出触控板14中的操作的情况下,操作控制部147取得触控板14中的操作位置的坐标。操作控制部147生成操作位置的轨迹。操作位置的轨迹是未解除触控板14的触摸操作的期间、即操作体与触控板14接触的状态持续的期间的操作位置的轨迹。
指示体检测部149从存储部122取得拍摄图像数据,检测在所取得的拍摄图像数据中拍摄到的使用者的手或手指(以下,称作手/指)的区域(以下,称作手/指区域)。此外,指示体检测部149确定在检测出的手/指区域中拍摄到的手/指的形状和位置。例如,指示体检测部149通过肌肤颜色提取处理,从拍摄图像数据的区域中提取肌肤颜色区域,通过阈值处理,将提取出的肌肤颜色区域的像素值与阈值进行比较来检测手/指区域。在本实施方式中,对指示体检测部149检测使用者的手/指作为包含使用者的身体的一部分在内的指示体的情况进行说明,但指示体检测部149检测的指示体也可以是使用者的整个手臂。此外,在使用者手持指示棒等的情况下,指示体检测部149可以检测该指示棒作为指示体,也可以检测包含指示棒的使用者的手/指,。
头部运动检测部151根据6轴传感器235或磁传感器237的检测值,检测使用者的头部的位置或运动。使用者的头部相当于本发明的“检测对象部”。此外,可以将包含使用者的头部的上半身作为检测对象部。6轴传感器235和磁传感器237按照每个规定周期(例如,50msec)执行采样,输出表示检测结果的模拟电压值。所输出的电压值被A/D转换器(省略图示)转换为数字信号,输出到控制部150。6轴传感器235和磁传感器237相当于本发明的“检测部”。
6轴传感器235具备的角速度传感器在内置的检测机构的测量基准点检测图1所示的绕X轴的旋转(俯仰角)、绕Y轴的旋转(偏摆角)和绕Z轴的旋转(滚转角)。X轴、Y轴和Z轴为如图1所示那样相互正交的3个轴方向,Z轴方向对应于铅直方向,X轴方向对应于使用者的头部的左右方向,Y轴方向对应于使用者的头部的前后方向。
头部运动检测部151利用6轴传感器235的检测值检测绕X轴的旋转(俯仰角),检测使用者仰起或者低下脸的运动。此外,头部运动检测部151利用6轴传感器235的检测值检测绕Y轴的旋转(偏摆角),检测使用者使头朝左肩或者右肩的方向倾斜的运动。此外,头部运动检测部151利用6轴传感器235的检测值检测绕Z轴的旋转(滚转角),检测使用者朝左或者右转脸的运动。下面,将仰起或者低下脸的运动、使头朝左肩或者右肩的方向倾斜的运动、朝左或者右转脸的运动统称为头部的运动。此外,X轴、Y轴和Z轴相当于本发明的“检测对象部的旋转轴”。
此外,磁传感器237是检测上述的X轴方向、Y轴方向和Z轴方向上的磁场的3轴磁传感器。头部运动检测部151根据磁传感器237的检测值,检测使用者朝向的方向、即相当于使用者的正面的方位。
基准设定部153根据由6轴传感器235或磁传感器237检测的使用者的头部的位置和运动中的至少任意一方,设定基准状态。基准设定部153设定作为头部的位置或者运动的基准的方位(以下,称作基准方位)作为基准状态。在检测到使用者的头部的旋转等时,控制部150以所设定的基准方位为基准,使图像显示部20显示的内容的显示发生变化。
使用者进行第1操作和第2操作,以在HMD 100中设定基准方位。第1操作是用于使HMD 100执行基准状态的设定的操作。例如,使用者通过对触控板14的操作面进行规定的操作,进行第1操作。该第1操作不限定于针对触控板14的操作面的操作,例如也可以是按钮11或上下键15的操作,也可以是敲击触控板14的操作面的操作。此外,也可以是使用者说出“基准方位的设定”的操作。
在进行第1操作时,使用者使头部和身体朝向想要设定为基准方位的方向。这时,使用者的头部可以朝向斜上方或者下方。在朝向想要设定为基准方位的方向时,使用者进行第2操作。为了不使基准方位的设定中产生偏差,第2操作优选是使用者的头部的运动尽可能少的操作。第2操作例如可以是针对触控板14或操作部110的预先设定的操作。
此外,在根据6轴传感器235的检测值而判定为使用者的头部停止了规定时间以上的情况下,基准设定部153可以设定已停止的头部朝向的方位,作为基准方位。即,可以不进行第2操作而设定基准方位。
此外,可以设针对使用者佩戴的操作设备3的操作为第2操作。
这里,对操作设备3进行说明。图6是示出操作设备3的结构的框图。
这里,对操作设备3进行说明。
操作设备3具有控制部310,该控制部310控制操作设备3的各部件。控制部310具有未图示的CPU、ROM、RAM等,通过执行存储在ROM中的程序,实现操作设备3的功能。
操作设备3具有无线通信部321和NFC(Near Field Communication)部322,作为通信用的功能部。
无线通信部321执行依照无线LAN(WiFi(注册商标))、Miracast(注册商标)、Bluetooth等标准的无线数据通信。NFC部322执行依照NFC标准的近距离无线通信。
此外,LCD(liquid crystal display)323、触摸面板324、照相机325、LED(lightemitting diode)326与控制部310连接。
控制部310控制LCD 323使其显示图像或文字。此外,触摸面板324与LCD 323的表面重叠配置,检测LCD 323的表面中的接触操作。触摸面板324例如能够使用静电电容式或者感压式的传感器。控制部310利用触摸面板324检测接触操作,确定操作位置。
此外,控制部310控制照相机325,使其执行拍摄,生成拍摄图像数据。此外,控制部310使在LED 326中流过的电流导通/截止,使LED 326在任意时刻点亮或闪烁。
麦克风327、按钮操作部328以及扬声器329与控制部310连接。麦克风327例如可以是单声道麦克风,也可以是立体声麦克风,也可以是具有配向性的麦克风,也可以是无配向性的麦克风。控制部310取得麦克风327收集到的语音的模拟语音信号,生成数字语音数据。
按钮操作部328检测设置在操作设备3中的按钮的操作,将与***作的按钮对应的操作信号输出到控制部310。
扬声器329根据控制部310输出的语音信号,输出语音。
继续对上述的第1操作和第2操作进行说明。在朝向想要设定为基准方位的方向时,使用者操作操作设备3。操作设备3的操作例如可以是设置于操作设备3的开关或按钮的操作,也可以是敲打操作设备3的表面的操作。在利用麦克风327检测到敲打声时,操作设备3向HMD 100发送表示受理了第2操作的信号。
在受理了第2操作时,基准设定部153取得6轴传感器235或磁传感器237的检测值。基准设定部153根据所取得的检测值,检测头部的旋转轴和以旋转轴为中心旋转的头部的位置,设定基准方位。例如,基准设定部153根据磁传感器237的检测值,检测使用者的头部朝向的方位(方位角)。在该情况下,头部的旋转轴成为Z轴(铅直方向),以旋转轴为中心旋转的头部的位置是利用磁传感器237的检测值检测的方位角。
此外,基准设定部153可以检测作为头部的倾斜度的仰角或者俯角,作为基准状态。基准设定部153根据6轴传感器235中包含的角速度传感器的检测值,检测头部绕X轴的旋转角(俯仰角)。被检测的绕X轴的旋转角为相对于包含沿头部的左右方向设定的X轴和沿头部的前后方向设定的Y轴的面(以下,称作水平面)的倾斜度(仰角或者俯角)。在该情况下,头部的旋转轴为X轴,头部的位置为被检测的仰角或者俯角。
基准设定部153将检测到的方位角设定为基准方位,将表示头部的旋转轴或基准方位的信息、表示仰俯角的信息作为显示位置信息125存储在存储部122中。
此外,基准设定部153除了6轴传感器235或磁传感器237的检测值以外,还可以根据视线传感器68检测的使用者的视线方向来设定基准状态。通过根据使用者的视线方向来设定基准状态,能够设定使用者的视线方向作为基准状态,能够在使用者的视线方向上显示内容。
此外,作为检测头部的位置或者运动的检测部,除了6轴传感器235或磁传感器237以外,还可以使用GPS接收部115或照相机61。通过使用这些功能部作为检测部,能够提高头部的位置或运动的检测精度。
此外,基准设定部153可以将从发送器(省略图示)发送的Bluetooth或BLE(Bluetooth Low Energy)等近距离无线通信的电波的接收强度最大的方向设定为基准的方向。此外,可以替代使用者的头部,而利用操作设备3的操作来设定基准状态。例如,使用者朝向将操作设备3的表面设定为基准方位的方向。在操作设备3上搭载有6轴传感器或磁传感器,将这些传感器的检测值发送到HMD 100。基准设定部153利用通信部117接收从操作设备3发送的传感器的检测值,根据接收到的检测值来设定基准状态。
显示控制部155生成控制右显示单元22和左显示单元24的控制信号,利用该控制信号控制右显示单元22和左显示单元24各自的图像光的生成和射出。具体而言,显示控制部155控制OLED驱动电路225、245,执行OLED面板223、243的图像显示。显示控制部155根据图像处理部143输出的信号,进行由OLED驱动电路225、245在OLED面板223、243上描绘的时刻的控制、以及OLED面板223、243的亮度控制等。
此外,显示控制部155执行校准,生成将显示区域V的坐标与照相机61的拍摄图像对应起来的参数。图7是示出使用者隔着图像显示部20观察的视野VR的图。
使用者隔着图像显示部20观察现实世界(以下,称作外景)中存在的人、建筑物、道路、其他物体(以下,将它们统称为对象物体)、以及图像显示部20显示的内容。图像显示部20依照控制部150的控制,再现内容数据124,由此将内容再现在显示区域V中。显示区域V表示图像显示部20可显示内容的区域。
显示控制部155一边使图像显示部20显示校准用图像,一边根据照相机61的拍摄图像数据来识别并追踪与校准用图像对应的参照实物。在该状态下,使用者经由触控板14等用户接口使校准用图像的位置在图像显示部20上移动。而且,使用者在察觉到校准用图像与参照实物重叠(位置、大小、朝向中的至少1个大致一致)的时刻,经由用户接口通知给显示控制部155。显示控制部155根据取得的通知,生成将该时刻的参照实物的检测结果(拍摄图像数据上的位置)与显示区域V中的校准用图像的显示位置对应起来的参数。显示控制部155将所生成的参数存储在存储部122中。
该参数例如在确定使用者利用手/指指示的区域的内容或对象物体时使用。
此外,显示控制部155根据由6轴传感器235或磁传感器237检测的头部的运动(位置的变化),使由图像显示部20显示在显示区域V上的内容的显示状态发生变化。显示在显示区域V上的内容例如可以为Word和Excel等文档文件,也可以为动态图像或静态图像的文件。此外,动态图像或静态图像的文件可以是存储部122预先存储的文件,也可以是控制通信部117而从网络下载的文件。
坐标设定部157根据基准设定部153设定的基准方位,设定虚拟的3维空间坐标。本实施方式的坐标设定部157设定球面坐标,该球面坐标是使用者的头部位于中心的球面状的坐标。该球面坐标以使用者的头部为原点,利用由到原点的距离和2个偏角规定的3维极坐标来表现。2个偏角利用从基准设定部153设定为基准方位的方位起的角度、以及从作为铅直方向的Z轴方向起的角度来规定。
利用显示控制部155将使用者使用的内容与坐标设定部157设定的球面坐标对应起来。在使用者启动了应用的情况下,显示控制部155将由该应用显示的内容与球面坐标系的任意坐标对应起来。此外,在将多个内容与球面坐标的坐标对应起来的情况下,显示控制部155以维持多个内容的相对显示位置的方式,将内容与球面坐标系的坐标对应起来。而且,坐标设定部157生成表示显示内容的应用的识别信息、该应用显示的内容的显示区域的尺寸、以及对应有内容的球面坐标系的坐标的信息作为显示位置信息125,存储在存储部122中。
使用者能够启动多个应用,使显示区域V显示多个内容。但是,在HMD 100的情况下,在显示在显示区域V上的内容的数量增加时,有时由于该内容而妨碍外界的观察性。此外,即使在显示多个内容的情况下,也并非同时操作多个内容,有时产生未临时使用的内容。使这样的未临时使用的内容的应用暂时结束,在想要使用时再次启动的情况下,存在直到应用启动为止花费时间的问题。因此,存在想要不使显示区域V显示未临时使用的内容的需求。
图8是示出与球面坐标系的坐标对应的内容的图。
在启动了应用时,坐标设定部157将由该应用显示的内容与球面坐标系的坐标对应起来。图8示出将内容与球面坐标系的坐标对应起来的情形,该坐标上的坐标与从基准方位起的偏角、从铅直方向起的偏角θ、到原点的距离R对应。此外,在以矩形的方式显示内容的情况下,与内容对应的坐标可以使偏角θ、以及距离R分别与矩形的四个角对应。
在由头部运动检测部151检测出头部的运动时,显示控制部155与检测出的头部的运动对应地使表示图像显示部20的显示范围的显示区域V在球面坐标系上移动。在移动后的显示区域V内包含设定为内容的坐标的情况下,显示控制部155利用图像显示部20显示该内容。
图9和图10是示出从上方观察使用者和球面坐标系上设定的内容时的状态的图。
图9和图10示出在作为基准方位的方向的0度的方向上设定了内容A、在从基准方位起朝右旋转45度的方向上设定了内容B的状态。同样,在从基准方位朝右旋转90度的方向上设定了内容B、在135度的方向上设定了内容D、在180度的方向上设定了内容E。此外,示出在从基准方位起朝右旋转225度的方向上设定了内容F、在270度的方向上设定了内容G、在315度的方向上设定了内容H的状态。135度、180度、225度这样的角度相当于使用者的背面侧,还能够将内容设定于朝向基准方位的方向的使用者的背面侧。
在想要观察设定在球面坐标系的其他内容的情况下,使用者使头部朝设定有想要观察的内容的方向旋转。头部运动检测部151根据6轴传感器235的检测值,检测头部的旋转方向和旋转的角度。显示控制部155依照头部运动检测部151检测出的头部的旋转方向和旋转角度,使显示区域V在球面坐标系上移动。在移动后的显示区域V内存在所设定的内容的坐标的情况下,显示控制部155将该内容显示在显示区域V中。图9示出使用者朝向作为基准方位的方向的0度的方向的情况。在该情况下,由于在显示区域V内存在内容A的坐标,因此,显示控制部155将内容A显示在显示区域V中。此外,图10示出使用者从基准方位的方向朝右旋转了45度的情况。在该情况下,在显示区域V内存在内容C的坐标,因此,显示控制部155将内容C显示在显示区域V中。
图11是示出使用者和球面坐标系上设定的内容的图。特别是,图11是示出从横向观察使用者时的状态的图。
此外,还能够使多个内容与球面坐标的相同的方位角的方向对应。即,还能够将内容与相对于旋转方向垂直的方向对应。具体而言,变更从铅直方向起的偏角θ的值,将内容与球面坐标对应。
图11中示出将偏角θ与“α”的坐标对应起来的内容J、将偏角θ与“β”的坐标对应起来的内容I、以及将偏角θ与“γ”的坐标对应起来的内容K。α、β和γ处于α<β<γ的关系。
使用者能够通过使头朝向水平方向(偏角θ为90度的方向)而在显示区域V内观察内容I,能够通过使头部朝斜上方向而在显示区域V内观察内容J。此外,使用者能够通过将头部朝斜下方向而在显示区域V内观察内容K。
图12是示出使用者和球面坐标系的坐标处设定的内容的图。
此外,与球面坐标对应的内容可以变更并设定到使用者的距离R。即,可以将内容配置在相对于使用者的头部在远近方向上不同的位置。
图12示出与到原点的距离为R1、从铅直方向起的偏角θ为“β”的坐标对应的内容S、以及与距离为R2、从铅直方向起的偏角θ为“β”的坐标对应的内容T。
在使用者朝向设定有这些内容S和T的球面坐标的坐标方向时,将内容S和T一起显示在显示区域V中。使用者例如操作触控板14、操作部110、操作设备3来选择操作对象或者显示对象的内容。而且,在由使用者选择了任意一方的内容时,显示控制部155变更所选择的内容和未选择的内容的易观察性。例如,显示控制部155使未选择的内容的透射率高于已选择的内容的透射率,或者使已选择的内容的亮度高于未选择的内容的亮度。
此外,在内容S和T的端部分别显示标签,使已选择的内容的标签部分闪烁或者变更显示颜色,由此可以明确显示已选择的内容。
此外,在使用者朝向未对应有内容的坐标的方向的情况下,可以显示多个与该坐标最接近的内容。
例如,假设处于内容与从基准方位起的偏角为0度的坐标以及为90度的坐标对应的状态。在该状态下,在使用者朝向偏角为45度的方向的情况下,可以显示与0度的坐标对应的内容和与90度的坐标对应的内容双方。即,在使用者的朝向为将内容对应起来的坐标与坐标之间的中间坐标的朝向的情况下,显示双方的内容。
使用者有时想在显示区域V中同时显示多个内容而进行作业。在这样的情况下,通过在与内容对应的坐标之间的中间坐标处显示双方的内容,能够提高使用者的作业效率。
此外,使用者能够变更内容、以及与该内容对应的球面坐标系的坐标。例如,显示控制部155可以将45度、90度、135度、180度等的偏角、以及与该偏角对应的内容的缩略图像显示在显示区域V的端部上。使用者可以一边参照显示区域V的显示一边操作触控板14、操作部110、操作设备3,变更与各内容对应的球面坐标的坐标(偏角、θ、距离R)。
图13是示出根据视线传感器68检测的视线来进行输入操作的情形的图。
在使应用启动而使显示区域V显示内容时,使用者进行针对所显示的内容的操作。
例如,在所启动的应用为浏览器软件的情况下,显示控制部155可以在该浏览器软件显示的浏览器画面的检索栏中输入关键字,因此显示软键盘170作为输入用内容。软键盘170的操作可以利用视线传感器68检测使用者的视线方向,判定与视线方向对应的软键盘170的键。
此外,可以根据照相机61的拍摄图像,选择软键盘170的键。
控制部150利用图像显示部20的照相机61拍摄使用者的手/指,根据拍摄图像检测拍摄了手/指的手/指区域。根据检测到的手/指区域确定手/指的形状,从而确定与手/指的前端重叠的软键盘170上的键。使用通过校准而生成的参数确定与手/指的前端重叠的软键盘170上的键。控制部150使用参数,将拍摄图像上的手/指区域的坐标转换为显示区域V的坐标,确定与手/指的前端重叠的软键盘170上的键。
此外,可以操作显示在显示区域V上的光标,来选择软键盘170上的键。
依照使用者对触控板14或操作部110、操作设备3的操作,使光标在软键盘170上移动。而且,在受理了触控板14、操作部110或操作设备3的确定操作时,控制部150确定与受理了该确定操作时的光标的位置对应的软键盘170的键,判定所选择的键。
此外,可以通过使用者的手/指或者头部的运动使光标在软键盘上移动。
在利用使用者的手/指使光标移动的情况下,控制部150根据照相机61的拍摄图像,检测拍摄了使用者的手/指的手/指区域。控制部150例如使用识别词典,根据检测到的手/指区域确定手/指的形状,使光标在手/指指示的方向上移动。识别词典是用于确定手/指的形状或位置的信息,存储在存储部122中。
此外,在检测使用者的头部的运动而使光标移动的情况下,控制部150根据6轴传感器235的检测值,使光标移动。例如,在使用者将头部朝右方向旋转的情况、即检测出头部绕Z轴的旋转的情况下,控制部150使光标朝右方向移动规定距离。使用者使头部朝左方向旋转的情况也同样如此。此外,在使用者使头部朝上方向的情况下,控制部150检测头部绕X轴的旋转角度,与检测出的旋转角度对应地使光标朝上方移动。使用者使头部朝向下方的情况也同样如此。
此外,在将光标重叠在软键盘170的想选择的键上时,使用者进行选择该键的确定操作。该确定操作例如可以是触控板14、操作部110、操作设备3的操作。此外,可以在根据使用者的手/指的朝向使光标移动的情况下,通过使用者的头部的运动进行确定操作,在通过使用者的头部的运动使光标移动的情况下,利用使用者的手/指进行确定操作。
图14是示出显示在使用者的脚底的输入用内容的一例的图。
例如,可以以包围使用者的周围的方式(即,使得使用者位于球面坐标的中心的方式)设定球面坐标,在使用者的脚底显示输入用内容等的内容。如图14所示,控制部150在使用者的脚底显示输入用内容,在该输入用内容中显示有表示与左右的各自方向对应的光标的移动方向的图像、以及表示确定操作的图像。控制部150以使得使用者位于输入用内容的中心的方式显示输入用内容。
使用者用脚踩下表示移动方向的图像,由此对HMD 100指示光标的移动方向。此外,在光标的移动完成后,使用者用脚踩下表示确定操作的图像。HMD 100通过该操作,判定为选择了与光标重叠的位置的键。
在用脚踩下图像时,使用者将头部朝下使脚底进入照相机61的拍摄范围。控制部150根据照相机61的拍摄图像,判定所选择的图像。例如,在脚朝右方向迈出的情况下,控制部150判定为选择了使光标朝右方向移动的图像。此外,在脚朝左方向迈出的情况下,控制部150判定为选择了使光标朝左方向移动的图像。此外,在脚朝身体的正面的前方迈出的情况下,控制部150判定为输入了确定操作。
此外,在受理了触控板14、操作部110、操作设备3的操作的情况下,控制部150变更显示在使用者的脚底的图像。例如,可以显示输入用内容,在该输入用内容中显示有表示与上下的各自方向对应的光标的移动方向的图像、以及表示确定操作的图像。此外,可以使用搭载在操作设备3上的照相机325拍摄的拍摄图像,来判定所选择的图像。
图15是示出选择应用或者应用画面的图像的图。应用画面是由应用显示的画面。
在从安装于HMD 100的应用中选择了要启动的应用的情况下,控制部150可以利用图像显示部20显示将表示应用的图标配置成圆形而成的图像。此外,在多个应用已启动的状态下选择显示在显示区域V上的应用画面的情况下,可以利用图像显示部20显示将应用画面配置成圆形而成的图像。控制部150按照对应于与球面坐标对应的坐标的排列生成表示应用画面的图像,显示在显示区域V中。
在从排列有表示应用的图标或应用画面的图像中选择应用或应用画面的情况下,使用者可以操作并选择触控板14、操作部110、操作设备3,但也可以通过使用者的脚的操作来选择应用或应用画面。
在选择应用或应用画面的情况下,使用者将头部朝下,使右脚或者左脚向前一步。即,利用搭载于图像显示部20的照相机61拍摄使用者的右脚或者左脚。
控制部150根据照相机61的拍摄图像判定迈出的脚。例如,在拍摄图像中拍摄了右脚的情况下,控制部150使显示了应用或应用画面的图像朝右旋转。此外,在拍摄图像中拍摄了左脚的情况下,控制部150使显示了应用或应用画面的图像朝左旋转。当存在在图15所示的选择位置停止预先设定的时间以上的应用或应用画面时,控制部150判定为选择了该应用或应用画面,使所选择的应用启动,或者将所选择的应用画面显示在显示区域V中。
图16和图17是示出HMD 100的动作的流程图。
控制部150进行基准状态的设定。控制部150首先判定是否受理了第1操作(步骤S1)。在否定判定的情况下(步骤S1/否),控制部150等待至受理了第1操作。此外,在肯定判定的情况下(步骤S1/是),控制部150判定是否受理了第2操作(步骤S2)。在否定判定的情况下(步骤S2/否),控制部150等待至受理了第2操作。此外,在肯定判定的情况下(步骤S2/是),控制部150取得6轴传感器或磁传感器237的检测值(步骤S3)。
接着,控制部150根据所取得的6轴传感器或磁传感器237的检测值,基于头部的旋转轴和以旋转轴为中心旋转的头部的位置,设定基准方位(步骤S4)。
接着,控制部150判定是否受理了使应用启动的操作(步骤S5)。在否定判定的情况下(步骤S5/否),控制部150转移到步骤S10的判定。之后叙述步骤S10的判定。此外,在肯定判定的情况下(步骤S5/是),控制部150判定是否具有已经启动中的其他应用(步骤S6)。
在步骤S6的判定为否定判定的情况下(步骤S6/否),控制部150将已启动的应用的画面(以下,称作应用画面)与球面坐标系的坐标对应起来,该球面坐标系的坐标与在步骤S4中设定出的基准方位的方向对应(步骤S8)。此外,在步骤S6的判定为肯定判定的情况下(步骤S6/是),控制部150将已启动的应用画面与球面坐标系的其他坐标对应起来(步骤S7)。然后,控制部150将已启动的应用画面与和在步骤S4中设定出的基准方位的方向对应的球面坐标系的坐标对应起来(步骤S8)。然后,控制部150利用图像显示部20将已启动的应用画面显示在显示区域V中(步骤S9)。
对步骤S5~S9的处理详细地进行说明。
假设使用者的头部朝向在基准状态的设定动作中设定出的基准方位的方向进行说明。
例如,在使用者使应用启动后,显示控制部155利用图像显示部20显示该应用显示的画面(以下,称作应用画面A)。此外,显示控制部155将该应用画面A与球面坐标系的坐标对应。显示控制部155将应用画面A与球面坐标系的偏角为0度的坐标对应。另外,下面,与应用画面对应的距离R以及从铅直方向起的偏角θ设定为相同的值,省略其说明。
在显示区域V中显示有应用画面A的状态下使用者使下一应用(以下,称作应用B)启动时,显示控制部155变更应用画面A的球面坐标系的坐标。
显示控制部155判定为选择已启动的应用B的画面(以下,称作应用画面B)作为使用对象或者显示对象的概率比应用画面A高。因此,显示控制部155例如将应用画面A与偏角为90度的坐标对应,将应用画面B与偏角为0度的位置对应。使用者的头部朝向偏角为0度的方向,因此,在显示区域V中显示应用画面B。
接着,在显示区域V中显示有应用画面B的状态下在使用者使下一应用(以下,称作应用C)启动时,显示控制部155变更应用画面A和应用画面B的球面坐标系的坐标。
在该情况下,显示控制部155也判定为选择已启动的应用C的画面(以下,称作应用画面C)作为使用对象或者显示对象的概率比应用画面A和应用画面B高。因此,显示控制部155例如将应用画面A与偏角为180度的坐标对应,将应用画面B与偏角为90度的坐标对应。而且,显示控制部155将应用画面C与偏角为0度的位置对应。使用者的头部朝向偏角为0度的方向,因此,在显示区域V中显示应用画面C。
使用者在操作应用画面C的过程中,在想要显示应用A的应用画面A的情况下,使头部旋转180度。头部运动检测部151根据6轴传感器235的检测值来检测头部的旋转方向和旋转的角度,显示控制部155依照头部运动检测部151检测出的头部的旋转方向和旋转角度,使显示区域V的位置在球面坐标系上移动。在移动后的显示区域V内存在所设定的内容的坐标的情况下,显示控制部155将该内容显示在显示区域V中。由此,朝向偏角为180度的方向的使用者能够将应用画面A显示在显示区域V中。
参照图17所示的流程图继续对HMD 100的动作进行说明。
在步骤S9中将应用画面显示在显示区域V中的情况、以及步骤S5的判定为否定判定的情况下,控制部150根据6轴传感器235或磁传感器237的检测值,判定是否检测出头部的运动(步骤S10)。在否定判定的情况下(步骤S10/否),控制部150返回步骤S5的判定,判定是否启动了应用(步骤S5)。
此外,在步骤S10的判定为肯定判定的情况下(步骤S10/是),控制部150判定是否具有已启动的其他应用(步骤S11)。在否定判定的情况下(步骤S11/否),控制部150转移到步骤S13的判定。在步骤S13中,控制部150根据6轴传感器235或磁传感器237的检测值,判定是否需要基准方位的重新设定。即,有时使用者会无意识地移动头部,设定出的基准方位的方向会偏离。在判定为使用者的头部从设定为基准方位的方向的方向移动了规定值以上的情况下,控制部150判定为进行基准方位的重新设定。此外,在使用者的头部未从设定为基准方位的方向的方向移动规定值以上的情况下,控制部150判定为无需进行基准方位的重新设定。
在步骤S13的判定为否定判定的情况下(步骤S13/否),控制部150返回步骤S5的判定,判定是否新启动了应用。此外,在步骤S13的判定为肯定判定的情况下(步骤S13/是),控制部150利用图像显示部20显示如“进行基准方位的重新设定。”的消息,转移到步骤S2的判定。
此外,在步骤S11的判定为肯定判定的情况(步骤S11/是)、即具有已启动的应用的情况下,控制部150根据6轴传感器235或磁传感器237的检测值,检测头部旋转的旋转方向和旋转角度。而且,控制部150根据检测出的头部的旋转方向和旋转角度,使显示区域V的位置在球面坐标系上移动。然后,在移动后的显示区域V内存在所设定的应用画面的坐标的情况下,控制部150将该应用画面显示在显示区域V中(步骤S12)。
接着,控制部150判定是否受理了应用的结束操作(步骤S14)。在否定判定的情况下(步骤S14/否),控制部150返回步骤S5的判定,判定是否新启动了应用。此外,在步骤S14的判定为肯定判定的情况下(步骤S14/是),控制部150使受理了结束操作的应用结束,解除该应用显示的应用画面与球面坐标系的坐标的对应。然后,控制部150判定是否使已启动的全部应用结束(步骤S15)。在否定判定的情况下(步骤S15/否),控制部150返回步骤S5的判定,判定是否新启动了应用。此外,在步骤S15的判定为肯定判定的情况下(步骤S15/是),控制部150结束该处理流程。
在上述的实施方式中,虽然根据头部的位置或运动设定了基准状态,但也可以根据作为指示体的使用者的手/指或臂部的位置或运动来设定基准状态。例如,可以使使用者佩戴搭载有6轴传感器或磁传感器的操作设备3,利用操作设备3的传感器的检测值来设定基准状态。使用者使佩戴了操作设备3的臂部朝想要设定为基准方位的方向延伸。操作设备3将6轴传感器或磁传感器的检测值发送到HMD 100。HMD100根据从操作设备3发送的检测值,设定基准方位。
此外,在上述的说明中,使显示区域V在球面坐标系上移动而判定要显示的内容,但也可以使显示区域V的位置固定,根据头部的运动使球面坐标旋转,在使球面坐标旋转以后,确定位于显示区域V内的内容。
此外,可以在使球面坐标旋转的情况下,使球面坐标随着设定于头部的旋转轴而旋转。该旋转轴可以设定为与地面垂直,也可以根据使用者佩戴的操作设备3的显示面和头部的旋转轴设定。此外,可以根据使用场景而变更旋转轴。
此外,可以通过使用者的手/指的位置或运动来变更显示在显示区域V中的内容的显示倍率。
例如,使存储部122预先存储用于确定基于使用者的手/指的运动或位置的手势的手势词典。HMD 100根据照相机61的拍摄图像检测拍摄了使用者的手/指的手/指区域,检测手/指的运动、形状和位置。此外,HMD 100将检测出的手/指的运动、形状和位置与用于确定手势词典所登记的手势的信息进行比较,来确定手势。HMD100执行与确定出的手势对应的处理。例如,在特定出的手势是与提高显示倍率的操作对应的手势的情况下,HMD 100变更显示在显示区域V中的内容的显示倍率,对内容进行放大显示。
此外,在上述的实施方式中,列举球面坐标作为坐标设定部157设定的坐标进行了说明,但坐标设定部157可以是从原点或者旋转轴起远离规定距离的圆柱形状的坐标系。此外,坐标设定部157设定的坐标可以是设定在位于从原点或者旋转轴远离规定距离的位置的平面上的坐标。此外,在上述的实施方式中,举例说明了以使用者所处的原点为旋转轴旋转的球面坐标,但原点的位置和旋转轴的位置也可以不一致。
此外,在上述的实施方式中,根据6轴传感器235或磁传感器237的检测值来检测头部的位置和运动,与检测出的头部的运动相对应地使表示图像显示部20的显示范围的显示区域V在球面坐标系上移动。作为除此以外的方法,使用者可以将过去头部所朝的方向的历史信息存储到存储部122中,根据该历史信息来预测头部的运动。显示控制部155可以依照预测结果来选择内容,将所选择的内容显示在显示区域V中。
如以上详细地所说明那样,本实施方式的HMD 100具有图像显示部20、作为检测部的6轴传感器235、磁传感器237、头部运动检测部151、基准设定部153以及显示控制部155。
作为检测部的6轴传感器235、磁传感器237和头部运动检测部151检测头部的位置和运动中的至少任意一个。
基准设定部153根据由检测部检测的头部的位置和运动中的至少任意一个,设定基准状态。显示控制部155根据头部的位置和运动相对于基准状态的变化,使由图像显示部20显示的内容的显示发生变化。
此外,显示控制部155以维持多个内容的相对显示位置的方式,使显示部显示的内容的显示发生变化。
因此,能够容易进行要显示的内容的选择且通过简单的操作使内容的显示发生变化。
此外,HMD 100具有存储部122,该存储部122存储表示多个内容的相对显示位置的显示位置信息。
显示控制部155以维持显示位置信息表示的多个内容的相对显示位置的方式,使内容的显示发生变化。因此,能够以维持多个内容的相对显示位置的方式使由图像显示部20显示的内容的显示发生变化。
此外,显示控制部155根据头部的位置和运动相对于基准状态的变化来选择内容,利用图像显示部20显示所选择的内容。
因此,能够根据头部的位置或者运动来选择内容,利用图像显示部20显示所选择的内容。
此外,基准设定部153设定头部的旋转轴和以旋转轴为中心旋转的头部的位置,作为基准状态。
此外,HMD 100具有坐标设定部157。该坐标设定部157能够将内容的显示位置设定于以旋转轴为中心的旋转方向和与旋转方向垂直的方向。
因此,能够以维持多个内容的相对显示位置的方式设定多个内容。
此外,坐标设定部157能够将内容的显示位置设定于基准状态下的头部的背面侧。因此,能够使内容的显示位置变化。
此外,在本发明中,所述显示控制部能够将所述内容的显示位置设定于所述基准状态下的所述检测对象部的背面侧。
根据本发明,能够使内容的显示位置变化。
此外,坐标设定部157能够将内容的显示位置设定于能够以配置于以旋转轴上的点为中心的球面或者距旋转轴规定距离的平面的方式观察多个内容的位置。
因此,能够以维持多个内容的相对显示位置的方式使内容的显示发生变化。
此外,显示控制部155能够将内容的显示位置设定于能够以配置于使用者的脚底的面的方式观察内容的位置。
因此,能够以配置于使用者的脚底的面的方式观察内容。
此外,图像显示部20具有:右显示单元22,其使使用者的右眼观察图像;以及左显示单元24,其使使用者的左眼观察图像。
显示控制部155在右显示单元22和左显示单元24具有视差的状态下显示内容。
因此,能够3维地显示内容。
此外,基准设定部153依照指示体的位置或者运动,设定基准状态。因此,能够容易地设定基准状态。
此外,显示控制部155依照指示体的位置或者运动,设定图像显示部20中的内容的显示倍率。
因此,能够通过简单的操作设定内容的显示倍率。
此外,显示控制部155利用图像显示部20显示针对任意一个内容的输入操作中使用的输入用内容。
因此,能够利用输入用内容进行针对内容的输入操作。
此外,在判定为头部停止了所设定的规定时间以上的情况下,基准设定部153将已停止的头部的位置设定为基准状态。
因此,能够使得不会在使用者的意料之外的位置设定基准状态。
此外,HMD 100具有视线传感器68,该视线传感器68检测使用者的视线的朝向。基准设定部153设定基准状态,该基准状态包含头部的位置或者运动、以及视线传感器68检测的视线的朝向。
因此,能够对应于使用者的状态更加详细地设定基准状态。
此外,检测部配置于图像显示部20的壳体,包含根据GPS信号来进行位置检测的GPS检测部、检测加速度的加速度传感器、检测角加速度的角加速度传感器、单反照相机、立体照相机、磁传感器中的至少任意一个。
因此,能够利用检测部,高精度地检测头部的位置或者运动。
此外,磁传感器237配置于图像显示部20的壳体的外表面侧。
因此,能够减少壳体对磁传感器237的磁检测的影响。
此外,HMD 100具有执行多个功能的控制部150,各个内容与控制部150执行的功能对应。
因此,能够利用图像显示部20显示与控制部150执行的功能对应的内容。
此外,控制部150作为编辑处理部发挥作用,该编辑处理部变更图像显示部20显示的内容的细节。因此,能够利用控制部150变更内容的细节。
此外,显示控制部155根据头部的位置和运动相对于基准状态的变化,缩略显示由图像显示部20显示的多个内容。
因此,能够使使用者容易掌握由图像显示部20显示的内容。
此外,显示控制部155预测头部的位置和运动相对于基准状态的变化,依照预测结果使内容的显示发生变化。
因此,能够提前使内容的显示发生变化的时刻。
此外,显示控制部155以配置于与头部在远近方向上不同的位置的方式,利用图像显示部20显示多个内容。
因此,能够将图像显示部20显示的内容显示在多个位置。
另外,本发明不限于上述实施方式的结构,能够在不脱离其主旨的范围内以各种方式来实施。
例如,在上述的实施方式中,例示了控制装置10与图像显示部20进行有线连接的结构,但本发明不限于此,也可以是图像显示部20与控制装置10进行无线连接的结构。该情况下的无线通信方式可以采用作为通信部117支持的通信方式而例示出的方式,也可以是其他通信方式。
此外,在上述的实施方式中,使用6轴传感器235和磁传感器237检测出头部的位置和运动,但除了这些传感器以外,还可以根据以下的信息来检测头部的位置和运动。
可以根据GPS接收部115接收的GPS信号的电波强度、从信标信号的发送装置(省略图示)发送的信标信号的电波强度、照相机61的拍摄图像、振动检测传感器的检测值等,来检测头部的位置或运动。此外,可以组合6轴传感器235和磁传感器237、振动检测传感器的检测值、GPS信号和信标信号的电波强度、拍摄图像等来检测头部的位置或运动。
此外,HMD 100可以具有连接作为内容供给源的各种外部设备的接口(省略图示)。例如,可以是USB接口、微型USB接口、存储卡用接口等与有线连接对应的接口,也可以由无线通信接口构成。该情况下的外部设备是向HMD 100供给图像的图像供给装置,使用了个人计算机(PC)、移动电话终端、便携型游戏机等。在该情况下,HMD 100输出基于从这些外部设备输入的内容数据的图像或语音。
此外,可以将控制装置10具备的一部分的功能设置于图像显示部20,也可以通过多个装置来实现控制装置10。即,控制装置10不限定于具有箱形的壳体10A的结构。例如,可以替代控制装置10,使用能够安装于使用者的身体、服装或者使用者随身佩戴的饰品的可佩戴设备。该情况下的可佩戴设备例如可以是钟表型的装置、戒指型的装置、激光指示器、鼠标、虚拟飞行鼠标、游戏控制器、笔型的设备等。
并且,在上述实施方式中,以图像显示部20和控制装置10分离并经由连接线40而连接的结构为例进行了说明。本发明不限于此,还能够构成为控制装置10和图像显示部20构成为一体而佩戴于使用者的头部。
此外,作为控制装置10,可以使用笔记本型计算机、平板型计算机或者桌面型计算机。此外,作为控制装置10,可以使用包含游戏机、移动型电话机、智能手机或便携型媒体播放器的便携型电子设备、以及其他的专用设备等。
此外,在上述实施方式中,使用者透过显示部观察外景的结构不限于右导光板26和左导光板28使外部光透过的结构。例如还能够应用于在无法观察外景的状态下显示图像的显示装置。具体而言,还能够将本发明应用于显示照相机61的拍摄图像、根据该拍摄图像而生成的图像或CG、基于预先存储的影像数据或从外部输入的影像数据的影像等的显示装置。作为这种显示装置,能够包含无法观察外景的所谓封闭型的显示装置。此外,如在上述实施方式中所说明那样,还能够将本发明应用于不进行与实际空间重叠地显示图像的AR显示、以及结合拍摄到的实际空间的图像和虚拟图像的MR(Mixed Reality)显示这样的处理的显示装置。此外,还能够将本发明应用于不进行显示虚拟图像的VR(Virtual Reality)显示这样的处理的显示装置。例如,当然也可以包含显示从外部输入的影像数据或者模拟影像信号的显示装置作为本发明的应用对象。
此外,例如,可以替代图像显示部20,采用例如帽子那样佩戴的图像显示部等其他方式的图像显示部,也可以具有与使用者的左眼LE对应地显示图像的显示部和与使用者的右眼RE对应地显示图像的显示部。此外,本发明的显示装置例如可以构成为搭载于汽车或飞机等车辆的头戴式显示器。此外,例如也可以构成为内置于头盔等身体防护器具的头戴式显示器。在该情况下,能够设对相对于使用者的身体的位置进行定位的部分和相对于该部分进行定位的部分为佩戴部。
此外,作为将图像光引导至使用者的眼睛的光学***,例示了在右导光板26和左导光板28的一部分中利用半反射镜261、281形成虚像的结构。本发明不限于此,也可以构成为将图像显示在具有占据右导光板26和左导光板28的整个面或者大部分的面积的显示区域中。在该情况下,在使图像的显示位置发生变化的动作中,可以包含将图像缩小的处理。
并且,本发明的光学元件不限于具有半反射镜261、281的右导光板26、左导光板28,只要是使图像光入射到使用者的眼睛的光学部件即可,具体而言,可以使用衍射光栅、棱镜、全息显示部。
此外,图4、图5等所示的各功能块中的至少一部分可通过硬件实现,也可以是通过硬件与软件的协作实现的结构,不限定于如图中所示地配置独立的硬件资源的结构。此外,控制部150执行的程序可以存储在非易失性存储部121或者控制装置10内的其他存储装置(省略图示)中。此外,也可以为经由通信部117或外部连接器184取得并执行存储在外部装置中的程序的结构。此外,形成于控制装置10的结构中的操作部110可以形成为使用者接口(UI)。
此外,图16和图17所示的流程图的处理单位是为了容易理解HMD 100的控制部150的处理而根据主要的处理内容分割的,本发明不受处理单位的分割方法或名称的限制。此外,控制部150的处理还能够根据处理内容而分割为更多的处理单位,还能够将1个处理单位分割成包含更多的处理。此外,上述的流程图的处理顺序不限于图示的例子。
Claims (19)
1.一种显示装置,其具有:
显示部,其被佩戴于使用者的头部;
检测部,其检测包含所述头部在内的检测对象部的位置和运动中的至少任意一个;
基准设定部,其根据由所述检测部检测的所述检测对象部的位置和运动中的至少任意一个,设定基准状态;
坐标设定部,其根据所述基准设定部设定的所述基准状态,设定球面坐标;
显示控制部,其根据所述检测对象部的位置和运动相对于所述基准状态的变化,使由所述显示部显示的第1内容、第2内容以及第3内容的显示发生变化;以及
操作部,其由所述使用者操作,
所述显示控制部以维持所述第1内容、所述第2内容以及所述第3内容的相对显示位置的方式,将所述第1内容、所述第2内容以及所述第3内容与球面坐标系的坐标对应起来,使所述显示部显示的所述第1内容、所述第2内容以及所述第3内容的显示发生变化,
所述显示控制部在所述基准状态时使所述显示部显示所述第1内容,并且
与检测出的所述检测对象部的运动对应地使表示所述显示部的显示范围的显示区域在所述球面坐标系上移动,使所述显示部显示所述第2内容以及所述第3内容,
所述第2内容在所述球面坐标系中沿着与所述第3内容相同的方向被设定,
所述第2内容被显示的位置比所述第3内容被显示的位置靠近所述使用者,
在通过所述操作部进行了选择所述第2内容的操作的情况下,所述显示控制部使所述第2内容的亮度高于所述第3内容的亮度,或者使所述第3内容的透射率高于所述第2内容的透射率。
2.根据权利要求1所述的显示装置,其中,
该显示装置具有存储部,该存储部存储表示所述第1内容、所述第2内容以及所述第3内容的相对显示位置的显示位置信息。
3.根据权利要求1或2所述的显示装置,其中,
所述显示控制部根据所述检测对象部的位置和运动相对于所述基准状态的变化来选择所述第1内容、所述第2内容以及所述第3内容,使所述显示部显示选择出的内容。
4.根据权利要求1所述的显示装置,其中,
所述基准设定部根据所述检测对象部的旋转轴和以所述旋转轴为中心旋转的所述检测对象部的位置,设定所述基准状态,
所述显示控制部能够将所述第1内容以及所述第2内容的显示位置设定于以所述旋转轴为中心的旋转方向以及与所述旋转方向垂直的方向。
5.根据权利要求4所述的显示装置,其中,
所述显示控制部能够将所述第2内容的显示位置设定于所述基准状态下的所述检测对象部的背面侧。
6.根据权利要求4或5所述的显示装置,其中,
所述显示控制部能够将所述第2内容的显示位置设定于如下位置:在该位置处,能够观察到所述第2内容被配置于所述使用者的脚底的面。
7.根据权利要求1所述的显示装置,其中,
所述显示部具有:右显示部,其使所述使用者的右眼观察图像;以及左显示部,其使所述使用者的左眼观察图像,
所述显示控制部在所述右显示部和所述左显示部具有视差的状态下显示所述第1内容。
8.根据权利要求1所述的显示装置,其中,
所述基准设定部依照指示体的位置或者运动,设定所述基准状态。
9.根据权利要求8所述的显示装置,其中,
所述显示控制部依照所述指示体的位置或者运动,设定所述显示部中的所述第1内容的显示倍率。
10.根据权利要求1所述的显示装置,其中,
所述显示控制部使所述显示部显示针对所述第1内容、所述第2内容以及所述第3内容中的任意内容的输入操作中使用的输入用内容。
11.根据权利要求1所述的显示装置,其中,
在判定为所述检测对象部停止了所设定的规定时间以上的情况下,所述基准设定部设定停止的所述检测对象部的位置作为所述基准状态。
12.根据权利要求1所述的显示装置,其中,
该显示装置具有视线检测部,该视线检测部检测所述使用者的视线的朝向,
所述基准设定部设定所述基准状态,所述基准状态包含所述检测对象部的位置或者运动、以及所述视线检测部检测的视线的朝向。
13.根据权利要求1所述的显示装置,其中,
所述检测部配置于所述显示部的壳体,包含根据GPS信号进行位置检测的GPS检测部、检测加速度的加速度传感器、检测角加速度的角加速度传感器、单反照相机、立体照相机、磁传感器中的至少任意一个。
14.根据权利要求13所述的显示装置,其中,
所述磁传感器配置于所述显示部的壳体的外表面侧。
15.根据权利要求1所述的显示装置,其中,
该显示装置具有处理部,该处理部执行多个功能,各个所述内容与所述处理部执行的功能对应。
16.根据权利要求1所述的显示装置,其中,
该显示装置具有编辑处理部,该编辑处理部变更所述显示部显示的所述内容的细节。
17.根据权利要求1所述的显示装置,其中,
所述显示控制部根据所述检测对象部的位置和运动相对于所述基准状态的变化,缩略显示由所述显示部显示的所述第1内容、所述第2内容以及所述第3内容。
18.根据权利要求1所述的显示装置,其中,
所述显示控制部预测所述检测对象部的位置和运动相对于所述基准状态的变化,依照预测结果使所述第1内容、所述第2内容以及所述第3内容的显示发生变化。
19.一种显示装置的控制方法,该显示装置具有被佩戴于使用者的头部的显示部,该控制方法具有以下步骤:
检测包含所述头部在内的检测对象部的位置和运动中的至少任意一个;
根据通过所述检测的步骤检测的所述检测对象部的位置和运动中的至少任意一个,设定基准状态;
根据设定的所述基准状态,设定球面坐标;
根据所述检测对象部的位置和运动相对于所述基准状态的变化,使由所述显示部显示的第1内容、第2内容以及第3内容的显示发生变化;以及
由所述使用者对操作部进行操作,
在该控制方法中,以维持所述第1内容、所述第2内容以及所述第3内容的相对显示位置的方式,将所述第1内容、所述第2内容以及所述第3内容与球面坐标系的坐标对应起来,使所述显示部的显示发生变化,
显示控制部在所述基准状态时使所述显示部显示所述第1内容,并且
与检测出的所述检测对象部的运动对应地使表示所述显示部的显示范围的显示区域在所述球面坐标系上移动,使所述显示部显示所述第2内容以及所述第3内容,
所述第2内容在所述球面坐标系中沿着与所述第3内容相同的方向被设定,
所述第2内容被显示的位置比所述第3内容被显示的位置靠近所述使用者,
在通过所述操作部进行了选择所述第2内容的操作的情况下,所述显示控制部使所述第2内容的亮度高于所述第3内容的亮度,或者使所述第3内容的透射率高于所述第2内容的透射率。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-245704 | 2016-12-19 | ||
JP2016245704A JP2018101019A (ja) | 2016-12-19 | 2016-12-19 | 表示装置及び表示装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108205197A CN108205197A (zh) | 2018-06-26 |
CN108205197B true CN108205197B (zh) | 2022-03-22 |
Family
ID=62562812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711344983.0A Active CN108205197B (zh) | 2016-12-19 | 2017-12-15 | 显示装置和显示装置的控制方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10785472B2 (zh) |
JP (1) | JP2018101019A (zh) |
CN (1) | CN108205197B (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR112018073848A2 (pt) * | 2016-05-26 | 2019-02-26 | Aferzon Medical, LLC | sistema para visualização estereoscópica permitindo percepção de profundidade de um campo cirúrgico |
IL248721A0 (en) * | 2016-11-03 | 2017-02-28 | Khoury Elias | An accessory for providing hands-free computer input |
KR20180074180A (ko) * | 2016-12-23 | 2018-07-03 | 삼성전자주식회사 | 가상현실 영상에 대한 정보를 제공하는 장치 및 방법 |
US10523912B2 (en) * | 2018-02-01 | 2019-12-31 | Microsoft Technology Licensing, Llc | Displaying modified stereo visual content |
CN108227210A (zh) * | 2018-02-26 | 2018-06-29 | 上海小蚁科技有限公司 | 虚拟现实显示方法以及虚拟现实眼镜 |
US11285368B2 (en) * | 2018-03-13 | 2022-03-29 | Vc Inc. | Address direction guiding apparatus and method |
JP7252398B2 (ja) * | 2018-07-04 | 2023-04-04 | マクセル株式会社 | 仮想オブジェクト操作方法およびヘッドマウントディスプレイ |
CN109634409A (zh) * | 2018-11-26 | 2019-04-16 | 深圳增强现实技术有限公司 | Ar控制方法及分离式ar设备 |
CN109696962B (zh) * | 2019-01-15 | 2021-01-26 | 京东方科技集团股份有限公司 | 头戴式虚拟现实设备 |
JP6611143B1 (ja) * | 2019-03-08 | 2019-11-27 | アビームコンサルティング株式会社 | 画像表示方法、画像表示システム、プログラム |
US20220129069A1 (en) * | 2019-03-28 | 2022-04-28 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
JP7410657B2 (ja) * | 2019-06-25 | 2024-01-10 | シスメックス株式会社 | 表示装置、検体測定システム、表示方法及びプログラム |
US20220099981A1 (en) * | 2019-08-06 | 2022-03-31 | Panasonic Intellectual Property Management Co., Ltd. | Display device |
EP3790249A1 (en) * | 2019-09-09 | 2021-03-10 | Nokia Technologies Oy | A user interface, method, computer program for enabling user-selection of audio content |
JP2021047227A (ja) * | 2019-09-17 | 2021-03-25 | セイコーエプソン株式会社 | 表示装置、表示装置の制御プログラム、表示装置の制御方法、及び表示システム |
JP2021121049A (ja) * | 2020-01-30 | 2021-08-19 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置用の省電力制御プログラム |
JP2021119431A (ja) * | 2020-01-30 | 2021-08-12 | セイコーエプソン株式会社 | 表示システム、コントローラー、表示システムの制御方法およびプログラム |
JP2021119364A (ja) | 2020-01-30 | 2021-08-12 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法およびプログラム |
CN111882608A (zh) * | 2020-07-14 | 2020-11-03 | 中国人民解放军军事科学院国防科技创新研究院 | 一种增强现实眼镜跟踪相机和人眼之间的位姿估计方法 |
JP2022039127A (ja) * | 2020-08-28 | 2022-03-10 | 株式会社日立エルジーデータストレージ | ヘッドマウントディスプレイ |
CN112162631B (zh) * | 2020-09-18 | 2023-05-16 | 聚好看科技股份有限公司 | 一种交互设备、数据处理方法及介质 |
JP7465830B2 (ja) | 2021-02-18 | 2024-04-11 | 株式会社日立エルジーデータストレージ | ヘッドマウントディスプレイ |
WO2024079841A1 (ja) * | 2022-10-13 | 2024-04-18 | 日本電気株式会社 | 状態認識装置、状態認識方法、コンピュータ可読媒体、タスク実行システム、及びタスク実行方法 |
WO2024090844A1 (ko) * | 2022-10-28 | 2024-05-02 | 삼성전자주식회사 | 화면의 상태를 변경하기 위한 웨어러블 장치 및 그 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103926694A (zh) * | 2013-01-15 | 2014-07-16 | 精工爱普生株式会社 | 头戴式显示装置及其控制方法、以及图像显示*** |
CN104076921A (zh) * | 2013-03-29 | 2014-10-01 | 索尼公司 | 显示控制设备、显示控制方法和程序 |
CN105247881A (zh) * | 2013-05-30 | 2016-01-13 | 索尼公司 | 信息处理设备、显示控制方法以及程序 |
CN105320279A (zh) * | 2014-07-31 | 2016-02-10 | 三星电子株式会社 | 可穿戴眼镜和利用其提供内容的方法 |
CN105739095A (zh) * | 2014-12-25 | 2016-07-06 | 精工爱普生株式会社 | 显示装置以及显示装置的控制方法 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4272711B2 (ja) * | 1995-05-15 | 2009-06-03 | キヤノン株式会社 | 画像生成方法及び装置 |
US6681151B1 (en) * | 2000-12-15 | 2004-01-20 | Cognex Technology And Investment Corporation | System and method for servoing robots based upon workpieces with fiducial marks using machine vision |
US7667700B1 (en) * | 2004-03-05 | 2010-02-23 | Hrl Laboratories, Llc | System and method for navigating operating in a virtual environment |
US20070182812A1 (en) * | 2004-05-19 | 2007-08-09 | Ritchey Kurtis J | Panoramic image-based virtual reality/telepresence audio-visual system and method |
US9101279B2 (en) * | 2006-02-15 | 2015-08-11 | Virtual Video Reality By Ritchey, Llc | Mobile user borne brain activity data and surrounding environment data correlation system |
EP2012170B1 (en) * | 2007-07-06 | 2017-02-15 | Harman Becker Automotive Systems GmbH | Head-tracking system and operating method thereof |
US20130278631A1 (en) * | 2010-02-28 | 2013-10-24 | Osterhout Group, Inc. | 3d positioning of augmented reality information |
JP5148660B2 (ja) * | 2010-06-11 | 2013-02-20 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体及び画像生成システム |
US20120066640A1 (en) * | 2010-09-13 | 2012-03-15 | Ati Technologies Ulc | Apparatus for providing multi-mode warping of graphical user interface objects |
US8721427B2 (en) * | 2010-12-14 | 2014-05-13 | Bally Gaming, Inc. | Gaming system, method and device for generating images having a parallax effect using face tracking |
US20120188148A1 (en) * | 2011-01-24 | 2012-07-26 | Microvision, Inc. | Head Mounted Meta-Display System |
EP4099136A1 (en) | 2013-02-22 | 2022-12-07 | Sony Group Corporation | Head- mounted display and image display device |
EP2998849A4 (en) * | 2013-05-15 | 2017-01-25 | Sony Corporation | Display control device, display control method, and recording medium |
KR101716421B1 (ko) * | 2013-06-21 | 2017-03-14 | 삼성전자주식회사 | 정보 제공 방법 및 정보 제공을 위한 의료 진단 장치 |
US9857876B2 (en) * | 2013-07-22 | 2018-01-02 | Leap Motion, Inc. | Non-linear motion capture using Frenet-Serret frames |
JP6353214B2 (ja) * | 2013-11-11 | 2018-07-04 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
US20150153826A1 (en) * | 2013-12-01 | 2015-06-04 | Apx Labs, Llc | Systems and methods for providing a virtual menu |
US10453371B2 (en) * | 2014-02-07 | 2019-10-22 | Samsung Electronics Co., Ltd. | Multi-layer display with color and contrast enhancement |
JP2016004340A (ja) * | 2014-06-16 | 2016-01-12 | セイコーエプソン株式会社 | 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
KR102217561B1 (ko) * | 2014-06-23 | 2021-02-19 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 및 그것의 제어방법 |
JP6525010B2 (ja) * | 2014-08-05 | 2019-06-05 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びに画像表示システム |
JP6390277B2 (ja) * | 2014-09-02 | 2018-09-19 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
IL235073A (en) * | 2014-10-07 | 2016-02-29 | Elbit Systems Ltd | Head-mounted view of enlarged images that are locked on an object of interest |
KR102183212B1 (ko) * | 2014-11-18 | 2020-11-25 | 삼성전자주식회사 | 화면 제어 방법 및 그 방법을 처리하는 전자 장치 |
US20160170482A1 (en) * | 2014-12-15 | 2016-06-16 | Seiko Epson Corporation | Display apparatus, and control method for display apparatus |
WO2016129549A1 (ja) | 2015-02-12 | 2016-08-18 | 株式会社コロプラ | ヘッドマウント・ディスプレイを用いたコンテンツ視聴のための装置およびシステム |
JP5961291B1 (ja) | 2015-02-12 | 2016-08-02 | 株式会社コロプラ | コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラム |
US20170103562A1 (en) * | 2015-10-08 | 2017-04-13 | Disney Enterprises, Inc. | Systems and methods for arranging scenes of animated content to stimulate three-dimensionality |
US9832451B2 (en) * | 2015-11-17 | 2017-11-28 | Survios, Inc. | Methods for reduced-bandwidth wireless 3D video transmission |
KR20170062876A (ko) * | 2015-11-30 | 2017-06-08 | 삼성전자주식회사 | 헤드 마운트 장치 및 이에 탈부착 가능한 장치 |
US10977764B2 (en) * | 2015-12-29 | 2021-04-13 | Dolby Laboratories Licensing Corporation | Viewport independent image coding and rendering |
US10126553B2 (en) * | 2016-06-16 | 2018-11-13 | Microsoft Technology Licensing, Llc | Control device with holographic element |
WO2019069575A1 (ja) * | 2017-10-05 | 2019-04-11 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2016
- 2016-12-19 JP JP2016245704A patent/JP2018101019A/ja active Pending
-
2017
- 2017-12-04 US US15/830,507 patent/US10785472B2/en active Active
- 2017-12-15 CN CN201711344983.0A patent/CN108205197B/zh active Active
-
2020
- 2020-08-12 US US16/991,160 patent/US11310483B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103926694A (zh) * | 2013-01-15 | 2014-07-16 | 精工爱普生株式会社 | 头戴式显示装置及其控制方法、以及图像显示*** |
CN104076921A (zh) * | 2013-03-29 | 2014-10-01 | 索尼公司 | 显示控制设备、显示控制方法和程序 |
CN105247881A (zh) * | 2013-05-30 | 2016-01-13 | 索尼公司 | 信息处理设备、显示控制方法以及程序 |
CN105320279A (zh) * | 2014-07-31 | 2016-02-10 | 三星电子株式会社 | 可穿戴眼镜和利用其提供内容的方法 |
CN105739095A (zh) * | 2014-12-25 | 2016-07-06 | 精工爱普生株式会社 | 显示装置以及显示装置的控制方法 |
Also Published As
Publication number | Publication date |
---|---|
US11310483B2 (en) | 2022-04-19 |
US20180176547A1 (en) | 2018-06-21 |
US10785472B2 (en) | 2020-09-22 |
US20200374508A1 (en) | 2020-11-26 |
CN108205197A (zh) | 2018-06-26 |
JP2018101019A (ja) | 2018-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108205197B (zh) | 显示装置和显示装置的控制方法 | |
US10643390B2 (en) | Head mounted display, method for controlling head mounted display, and computer program | |
US11226689B2 (en) | Display system that selects a character string according to movement detected | |
US10976836B2 (en) | Head-mounted display apparatus and method of controlling head-mounted display apparatus | |
US10948974B2 (en) | Head-mounted display device, program, and method for controlling head-mounted display device | |
US10474226B2 (en) | Head-mounted display device, computer program, and control method for head-mounted display device | |
US11668936B2 (en) | Head-mounted type display device and method of controlling head-mounted type display device | |
US20170289533A1 (en) | Head mounted display, control method thereof, and computer program | |
CN110060614B (zh) | 头部佩戴型显示装置及其控制方法、显示*** | |
US10261327B2 (en) | Head mounted display and control method for head mounted display | |
US10884498B2 (en) | Display device and method for controlling display device | |
JP6932917B2 (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP6996115B2 (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP2017134630A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2017182413A (ja) | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム | |
JP2017182460A (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム | |
JP2018056791A (ja) | 表示装置、受信装置、プログラム、及び受信装置の制御方法。 | |
JP2018067160A (ja) | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム | |
JP2018092206A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP6693160B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2019053714A (ja) | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 | |
JP2017146715A (ja) | 表示装置、表示装置の制御方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |