CN105045375B - 头部佩戴型显示装置、其控制方法、控制***及计算机程序 - Google Patents

头部佩戴型显示装置、其控制方法、控制***及计算机程序 Download PDF

Info

Publication number
CN105045375B
CN105045375B CN201510180796.8A CN201510180796A CN105045375B CN 105045375 B CN105045375 B CN 105045375B CN 201510180796 A CN201510180796 A CN 201510180796A CN 105045375 B CN105045375 B CN 105045375B
Authority
CN
China
Prior art keywords
image
unit
control
head
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510180796.8A
Other languages
English (en)
Other versions
CN105045375A (zh
Inventor
藤卷由贵
高野正秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014094613A external-priority patent/JP6427942B2/ja
Priority claimed from JP2015024971A external-priority patent/JP6500477B2/ja
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN105045375A publication Critical patent/CN105045375A/zh
Application granted granted Critical
Publication of CN105045375B publication Critical patent/CN105045375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23148—Helmet display, mounted on head of operator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供可直观地操作控制设备的头部佩戴型显示装置、其控制方法、控制***和计算机程序。具备：显示虚像并能透射外景的图像显示部；对象取得部，取得处于离上述图像显示部预定的距离的范围的能选择的对象物和上述外景所包括的特定的物体的位置；控制部，用图像显示部将与所取得的上述对象物对应的对象物对应虚像显示为上述虚像，基于所取得的上述特定的物体的位置特定上述特定的物体的位置的变化，基于所特定的上述特定的物体的位置的变化与所取得的上述对象物的位置的关系选择上述对象物，用上述图像显示部将与所选择的上述对象物对应的特定确认图像显示为上述虚像。

Description

头部佩戴型显示装置、其控制方法、控制***及计算机程序
技术领域
本发明涉及头部佩戴型显示装置的技术。
背景技术
已知有在头部佩戴的显示装置即头部佩戴型显示装置(头戴显示器(HeadMounted Display)，HMD)。头部佩戴型显示装置例如利用液晶显示器及光源来生成表示图像的图像光，用投影光学***和/或导光板将生成的图像光导入使用者的眼，从而使使用者观看虚像。头部佩戴型显示装置有使用者不仅可观看虚像还可观看外景的透射型和使用者无法观看外景的非透射型这2个类型。透射型的头部佩戴型显示装置有光学透射型和视频透射型。
专利文献1公开了：接收从控制器发送的控制指令的被控制设备将与所接收的控制指令有关的显示控制数据向控制器发送，由此进行控制器和被控制设备的双向数据的发送接收的设备控制***。专利文献2公开了：在与拍摄的使用者的视野同等以上的范围包括作为预定标记的使用者的指尖时，通过输出指尖的座标值，进行与指尖的位置相应的控制处理的输入图像处理方法。专利文献3公开了：基于由2眼相机拍摄的外景和拍摄的使用者的手的位置及姿势来操作被控制设备的信息输入方法。
【专利文献1】特开平5-268678号公报
【专利文献2】特开2000-148381号公报
【专利文献3】特开2013-205983号公报
【专利文献4】特开2006-48628号公报
【专利文献5】特开2005-69734号公报
【专利文献6】特开2000-163196号公报
发明内容
但是，专利文献1所述的技术中，存在多个被控制设备时，存在下述问题：使用者为了控制某一个被控制设备，无法进行基于直观操作的控制，期望提高方便性。另外，专利文献2所述的技术中，使用者必须持续固定指尖的位置直到选择成为对象的被控制设备为止，会导致使用者疲劳，因此，存在期望进一步提高方便性的问题。另外，专利文献3中，基于手的位置和姿势来操作被控制设备，但是，存在期望通过还考虑除此以外的信息来操作被控制设备从而更直观地操作被控制设备的问题。
本发明为了解决上述问题的至少一部分而提出，可以作为以下的方式实现。
(1)根据本发明的一方式，提供透射型的头部佩戴型显示装置。该头部佩戴型显示装置具备：显示虚像并能透射外景的图像显示部；对象取得部，取得处于离上述图像显示部预定的距离的范围的能选择的对象物和上述外景所包括的特定的物体(object)的位置；和控制部，用上述图像显示部将与所取得的上述对象物对应的对象物对应虚像显示为上述虚像，基于所取得的上述特定的物体的位置，特定上述特定的物体的位置的变化，基于所特定的上述特定的物体的位置的变化和所取得的上述对象物的位置的关系，选择上述对象物，用上述图像显示部将与所选择的上述对象物对应的特定确认图像显示为上述虚像。根据该方式的头部佩戴型显示装置，使用者可以在不改变视线方向的情况下同时观看操作的对象的对象物和与所检测的特定的物体的位置的变化对应的控制，可以直观地进行对象物的控制，提高使用者的便利性。
(2)上述方式的头部佩戴型显示装置中，也可以为，上述对象取得部具有：拍摄上述外景的拍摄部；检测并取得所拍摄的上述外景中所包括的上述特定的物体的位置和上述对象物的图像检测部，上述控制部确定所选择的上述对象物的控制，执行所确定的上述对象物的控制。根据该方式的头部佩戴型显示装置，通过拍摄可以取得特定的物体及对象物，同时，使用者可以观看所拍摄的特定的物体及对象物，因此容易识别对象物。
(3)上述方式的头部佩戴型显示装置中，也可以为，上述控制部用上述图像显示部，将预先与所取得的上述特定的物体的位置和所取得的上述对象物的组合相对应的上述对象物对应虚像，显示为上述虚像。根据该方式的头部佩戴型显示装置，使用者可将执行对象物的控制所需的特定的物体的位置的变化识别为视觉信息，提高对于使用者的头部佩戴型显示装置的方便性。
(4)上述方式的头部佩戴型显示装置中，也可以为，上述控制部用上述图像显示部显示表示执行上述对象物的控制所需的上述特定的物体的位置的变化的上述虚像，作为预先与所取得的上述特定的物体的位置和所取得的上述对象物的组合相对应的上述对象物对应虚像。根据该方式的头部佩戴型显示装置，使用者可以将与自身的特定的物体的位置的变化对应地接着执行的对象物的控制的内容识别为视觉信息，因此，提高对于使用者的方便性。
(5)上述方式的头部佩戴型显示装置中，也可以为，上述控制部用上述图像显示部显示表示要执行的上述对象物的控制的内容的上述虚像，作为预先与所取得的上述对象物相对应的上述对象物对应虚像。根据该方式的头部佩戴型显示装置，使用者可以将与特定的物体的位置的变化对应地接着执行的对象物的控制的内容识别为视觉信息，因此提高对于使用者的方便性。
(6)上述方式的头部佩戴型显示装置中，也可以为，上述控制部在所拍摄的上述外景中上述特定的物体的变化后的位置与上述对象物重叠时，确定预先对应于与上述特定的物体的变化后的位置重叠的上述对象物的上述对象物的控制。根据该方式的头部佩戴型显示装置，执行特定的物体的位置的变化后与特定的物体重叠的对象物所对应的对象物的控制，所以使用者容易进行与期望的对象物的控制对应的特定的物体的变化。
(7)上述方式的头部佩戴型显示装置中，也可以为，还具备特定所取得的上述对象物与上述图像显示部的距离的距离特定部，上述控制部将所取得且所特定的上述距离为阈值以下的上述对象物设定为能选择的上述对象物。根据该方式的头部佩戴型显示装置，在所拍摄的图像检测到多个临时对象时，将离使用者近的物体设定为能选择的对象物，因此，可令使用者观看使用者选择可能性高的对象物，因此使用者的便利性提高。
(8)上述方式的头部佩戴型显示装置中，也可以为，还具备取得外部的声音的声音取得部，上述控制部基于所特定的上述特定的物体的位置的变化和所取得的上述声音的组合，确定上述对象物的控制。根据该方式的头部佩戴型显示装置，根据特定的物体的位置的变化和声音的组合来执行对象物的控制，因此，与仅仅根据特定的物体的位置的变化来执行的对象物的控制相比，使用者可以直观地进行更多的对象物的控制。
(9)上述方式的头部佩戴型显示装置中，也可以为，上述对象取得部从其他装置取得至少一个上述对象物的位置信息。根据该方式的头部佩戴型显示装置，使用者对于无法观看的范围的能选择的对象物的位置也可以识别，使用者的方便性提高。
(10)上述方式的头部佩戴型显示装置中，也可以为，上述控制部在所取得的上述对象物不包括于上述外景时，用上述图像显示部显示上述图像显示部与所取得的上述对象物的位置关系，作为上述虚像。根据该方式的头部佩戴型显示装置，使用者可将无法观看的范围的能选择的对象物的位置与使用者的位置关系观看为虚像，使用者的方便性进一步提高。
(11)上述方式的头部佩戴型显示装置中，也可以为，上述控制部检测上述特定的物体的加速度，基于检测到的上述特定的物体的加速度，特定上述特定的物体的位置的变化。根据该方式的头部佩戴型显示装置，执行对使用者选择的对象物的控制指示时，不必在特定的场所操作、在拍摄范围进行相对应的工作来作为操作，使用者的便利性提高。
(12)上述方式的头部佩戴型显示装置中，也可以为，还具备取得外部的声音的声音取得部，上述控制部基于所取得的上述外部的声音和所特定的上述特定的物体的位置的变化的组合，确定所选择的上述对象物的控制。根据该方式的头部佩戴型显示装置，基于声音和特定的物体的位置的变化的多个要素来确定对所选择的对象物的控制，因此，使用者可以输入更多的操作，使用者的方便性提高。
(13)上述方式的头部佩戴型显示装置中，也可以为，上述控制部执行与所选择的上述对象物相对应的控制装置的控制，在取得在上述外景所选择的上述对象物和上述控制装置时，用上述图像显示部，显示所选择的上述对象物和上述控制装置处于对应关系的情况，作为上述虚像。根据该方式的头部佩戴型显示装置，可以观看所检测的能选择的对象物与所检测的特定的物体的对应关系，使用者的方便性提高。
(14)上述方式的头部佩戴型显示装置中，也可以为，上述控制部用上述图像显示部，显示相同形状相同颜色的虚像，作为表示所选择的上述对象物与上述控制装置处于对应关系的情况的上述虚像。根据该方式的头部佩戴型显示装置，可以更明确观看所检测的能选择的对象物和所检测的特定的物体的对应关系，使用者的方便性提高。
(15)上述方式的头部佩戴型显示装置中，也可以为，还具备识别上述图像显示部的使用者的属性的识别部，上述控制部将与上述对象物相对应的虚像和上述特定确认图像的至少一方，与所识别的上述属性对应，用上述图像显示部显示为上述虚像。根据该方式的头部佩戴型显示装置，在图像显示部生成按所特定的使用者而不同的虚像，因此，可提供符合使用者的需求的信息。
上述本发明的各方式具有的多个构成要素不是全部必须的，为了解决上述问题的一部分或全部，或者，为了实现本说明书所述的效果的一部分或全部，对上述多个构成要素的部分构成要素可适宜进行变更、删除、用新的其他构成要素的更换、限定内容的一部分删除。另外，为了解决上述问题的一部分或全部，或者，为了实现本说明书所述的效果的一部分或全部，也可以将上述本发明的一方式所包括的技术特征的一部分或全部与上述本发明的其他方式所包括的技术特征的一部分或全部组合，形成为本发明的独立的一个方式。
例如，本发明的一方式也可以实现为具备图像显示部、对象取得部、控制部的3个要素中的一部分或全部的要素的装置。即，该装置可以具有图像显示部，也可以不具备。另外，装置可以具有对象取得部，也可以不具备。另外，装置可以具备控制部，也可以不具备。图像显示部例如可以是显示虚像并可透射外景。对象检测部例如也可以取得处于离上述图像显示部预定的距离的范围的能选择的对象物和上述外景所包括的特定的物体的位置。控制部例如也可以将与所取得的上述对象物相对应的对象物对应虚像用上述图像显示部显示为上述虚像，基于所取得的上述特定的物体的位置，特定上述特定的物体的位置的变化，基于所特定的上述特定的物体的位置的变化和所取得的上述对象物的位置的关系，选择上述对象物，将与所选择的上述对象物相对应的特定确认图像用上述图像显示部显示为上述虚像。这样的装置例如可以实现为头部佩戴型显示装置，但是也可以实现为头部佩戴型显示装置以外的其他装置。根据这样的方式，可以解决装置的操作性的提高及简化、装置的一体化和/或使用装置的使用者的便利性的提高等的各种问题的至少一个。前述头部佩戴型显示装置的各方式的技术特征的一部分或全部都可以在该装置适用。
本发明也能以头部佩戴型显示装置以外的各种方式实现。例如，能以显示装置、头部佩戴型显示装置及显示装置的控制方法、控制***、头部佩戴型显示***、显示装置、控制***及用于实现显示装置的功能的计算机程序、记录有该计算机程序的记录介质、包括该计算机程序而在载波内实现的数据信号等的方式实现。
附图说明
图1是表示HMD的外观构成的说明图。
图2是功能性表示HMD的构成的方框图。
图3是表示由图像光生成部出射图像光的情形的说明图。
图4是表示设备确认处理的流程的说明图。
图5是表示检测到操作对象时使用者观看的视野的一例的说明图。
图6是表示检测到判断对象时使用者观看的视野的一例的说明图。
图7是表示显示确认完毕图像时使用者观看的视野的一例的说明图。
图8是功能性表示第2实施方式中的控制***的构成的方框图。
图9是表示控制处理的流程的说明图。
图10是表示检测到操作对象时使用者观看的视野的一例的说明图。
图11是表示在手势检测模式时使用者观看的视野的一例的说明图。
图12是表示显示有设定手势对应的手势检测模式的图像时使用者观看的视野的一例的说明图。
图13是表示显示有控制后图像时使用者观看的视野的一例的说明图。
图14是表示第3实施方式中的控制***的构成的概略图。
图15是表示服务器的存储部存储的控制装置的信息的一部分的概略图。
图16是功能性表示第3实施方式中的HMD的构成的方框图。
图17是表示第3实施方式中的控制处理的流程的说明图。
图18是表示检测到控制装置时使用者观看的视野的一例的说明图。
图19是表示与对应序列相对应的图像在图像显示最大区域显示时使用者观看的视野的说明图。
图20是表示选择了图像的图标时使用者观看的视野的一例的说明图。
图21是表示由アイビーコン(iBeacon：注册商标)取得控制设备的位置信息时使用者观看的视野的一例的说明图。
图22是表示按照所执行的控制指示在图像显示最大区域显示图像时使用者观看的视野的说明图。
图23是表示变形例中的HMD的外观构成的说明图。
【符号的说明】
10…控制部
11…确定键
12…点亮部
13…显示切换键
14…跟踪板(触控板)
15…辉度切换键
16…方向键
17…菜单键
18…电源开关
20…图像显示部
21…右保持部
22…右显示驱动部
23…左保持部
24…左显示驱动部
26…右光学像显示部
28…左光学像显示部
30…耳机插头
32…右耳机
34…左耳机
40…连接部
42…右缆线
44…左缆线
46…连接部件
48…本体缆线
51、52…发送部
53、54…接收部
61…相机(拍摄部)
63…TOF传感器
64…红外线LED
69…麦克风(声音取得部)
70…外部传感器(特定的物体)
100…HMD(头部佩戴型显示装置)
120…存储部
130…电源
132…无线通信部(第2通信部)
135…操作部
140…CPU
150…OS
160…图像处理部
161…识别部(识别部)
163…位置特定部
165…图像设定部(控制部)
166…距离测定部(距离特定部)
168…图像判定部(图像检测部)
170…声音处理部(控制部)
180…接口
190…显示控制部
201…右背光源控制部
202…左背光源控制部
211…右LCD控制部
212…左LCD控制部
221…右背光源
222…左背光源
241…右LCD
242…左LCD
251…右投影光学***
252…左投影光学***
261…右导光板
262…左导光板
300…控制装置(控制执行部)
310…CPU
312…信息处理部
314…控制处理部
320…存储部(对象物特定部)
330…无线通信部(第1通信部)
340…被控制部
400…服务器
420…存储部
500…控制***
OA…外部设备
MC…控制设备
SC…外景
RE…右眼
LE…左眼
EL…端部
IL…照明光
PL…图像光
LM…灯组
PN…图像显示最大区域
AP…前端部
ER…端部
VR…视野
BT…按钮组
SW…开关(对象物)
RC1、RC2…遥控器(对象物)
HD1…右手
FF1…食指(特定的物体)
IM1、IM2、IM3、IM4、IM5、IM6、IM7、IM8、IM9、IM10…图像
CS1、CS2…箭头图像(对象物对应虚像)
MT1、MT2…仪表(对象物)
TV1…电视机
TX1、TX2…文本图像(对象物对应虚像)
TX3、TX4…文本图像(特定确认图像)
AC…空调机
IB…信息发送部
MK1、MK2、MK3…对应标记
VI…鸟瞰图
ey…拍摄范围
具体实施方式
接着，基于实施方式，按以下的顺序说明本发明的实施方式。
A.第1实施方式：
A-1.头部佩戴型显示装置的构成：
A-2.设备确认处理：
B.第2实施方式：
C.第3实施方式：
D.变形例：
A.第1实施方式：
A-1.头部佩戴型显示装置的构成：
图1是表示头部佩戴型显示装置100(HMD100)的外观构成的说明图。HMD100是在头部佩戴的显示装置，也称为头戴显示器(Head Mounted Display，HMD)。本实施方式的HMD100是使用者观看虚像的同时也可直接观看外景的光学透射型的头部佩戴型显示装置。另外，本说明书中，使用者通过HMD100观看的虚像也方便地称为“显示图像”。另外，出射基于图像数据生成的图像光也称为“显示图像”。
HMD100具备：在佩戴到使用者头部的状态下令使用者观看虚像的图像显示部20；控制图像显示部20的控制部10(控制器10)。
图像显示部20是在使用者的头部佩戴的佩戴体，在本实施方式中具有眼镜形状。图像显示部20具备右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28、相机61、红外线LED64、TOF传感器63、麦克风69。右光学像显示部26及左光学像显示部28以使用者佩戴图像显示部20时分别位于使用者的右及左的眼前的方式配置。右光学像显示部26的一端和左光学像显示部28的一端在使用者佩戴图像显示部20时的与使用者的眉间对应的位置相互连接。
右保持部21是从右光学像显示部26的另一端即端部ER到使用者佩戴图像显示部20时与使用者的侧头部对应的位置延伸设置的部件。同样，左保持部23是从左光学像显示部28的另一端即端部EL到使用者佩戴图像显示部20时与使用者的侧头部对应的位置延伸设置的部件。右保持部21及左保持部23像眼镜的镜腿那样，在使用者的头部保持图像显示部20。
右显示驱动部22和左显示驱动部24配置在使用者佩戴图像显示部20时与使用者的头部相向的侧。另外，以下，右保持部21及左保持部23也总称简称为“保持部”，右显示驱动部22及左显示驱动部24也总称简称为“显示驱动部”，右光学像显示部26及左光学像显示部28也总称简称为“光学像显示部”。
显示驱动部22、24包括液晶显示器241、242(Liquid Crystal Display，以下也称为“LCD241、242”)和/或投影光学***251、252等(参照图2)。显示驱动部22、24的构成的详细情况将后述。作为光学部件的光学像显示部26、28包括导光板261、262(参照图2)和调光板。导光板261、262包含光透射性的树脂材料等而形成，将从显示驱动部22、24输出的图像光导入使用者的眼睛。调光板是薄板状的光学元件，以覆盖使用者的眼侧的相反侧即图像显示部20的表侧的方式配置。调光板保护导光板261、262，抑制导光板261、262的损伤和/或污物的附着等。另外，通过调整调光板的光透射率，可以调整进入使用者的眼的外光量，调整虚像的观看的难易度。另外，调光板可省略。
相机61配置在使用者佩戴图像显示部20时与使用者的眉间对应的位置。因此，相机61在使用者于头部佩戴有图像显示部20的状态下，拍摄使用者的视线方向的外部景色即外景，取得拍摄图像。相机61是单眼相机，但是也可以是立体相机。相机61与技术方案中的拍摄部相当。
红外线LED64及TOF传感器63配置在与相机61同样的位置，即使用者佩戴图像显示部20时与使用者的眉间对应的位置。红外线LED64是发出红外线的发光二极管(LightEmitting Diode，LED)。TOF传感器63检测红外线LED64发出的红外线在特定的对象反射的反射光。
麦克风69是取得外部声音的装置。麦克风69形成于使用者佩戴图像显示部20时右显示驱动部22中与使用者相向侧的相反侧(外侧)。
图像显示部20还具备用于将图像显示部20连接到控制部10的连接部40。连接部40包括：与控制部10连接的本体缆线48、右缆线42、左缆线44、连接部件46。右缆线42和左缆线44是本体缆线48分支为2条的缆线。右缆线42从右保持部21的延伸方向的前端部AP***右保持部21的框体内，与右显示驱动部22连接。同样，左缆线44从左保持部23的延伸方向的前端部AP***左保持部23的框体内，与左显示驱动部24连接。连接部件46设置在本体缆线48与右缆线42及左缆线44的分支点，具有用于连接耳机插头30的插孔。右耳机32及左耳机34从耳机插头30延伸。
图像显示部20和控制部10经由连接部40进行各种信号的传送。在本体缆线48中的与连接部件46相反侧的端部和控制部10，分别设置相互嵌合的连接器(未图示)。通过本体缆线48的连接器和控制部10的连接器的嵌合/嵌合解除，将控制部10和图像显示部20连接、分离。右缆线42、左缆线44和本体缆线48例如可以采用金属电缆和/或光纤。
控制部10是用于控制HMD100的装置。控制部10包括确定键11、点亮部12、显示切换键13、跟踪板14、辉度切换键15、方向键16、菜单键17、电源开关18。确定键11检测按下操作，输出确定由控制部10操作的内容的信号。点亮部12通过其发光状态通知HMD100的工作状态。作为HMD100的工作状态，例如有电源的ON/OFF(导通/断开)等。作为点亮部12，例如采用LED。显示切换键13检测按下操作，例如，输出将内容动态图像的显示模式在3D和2D之间切换的信号。跟踪板14检测跟踪板14的操作面上的使用者的手指的操作，输出与检测内容相应的信号。作为跟踪板14，可以采用静电式和/或压力检测式、光学式等的各种跟踪板。辉度切换键15检测按下操作，输出增减图像显示部20的辉度的信号。方向键16检测对与上下左右方向对应的键的按下操作，输出与检测内容相应的信号。电源开关18通过检测开关的滑动操作，切换HMD100的电源接通状态。
图2是功能性表示HMD100的构成的方框图。如图2所示，控制部10具备存储部120、电源130、无线通信部132、操作部135、CPU140、接口180、发送部51(Tx51)及发送部52(Tx52)。操作部135接受使用者的操作，包括确定键11、显示切换键13、跟踪板14、辉度切换键15、方向键16、菜单键17、电源开关18而构成。
电源130向HMD100的各部分供给电力。作为电源130，可以采用例如二次电池。存储部120存储各种计算机程序。存储部120包括ROM和/或RAM等而构成。另外，详细情况将后述，存储部120存储在包括于相机61的拍摄图像时检测的操作对象的图像数据和成为进行控制的判断基准的判断对象的图像数据。另外，存储部120也存储在检测到操作对象等时由图像显示部20显示的显示图像。
CPU140通过读出并执行存储部120存储的计算机程序，作为操作***150(OS150)、显示控制部190、声音处理部170、图像处理部160、图像判定部168、距离测定部166、图像设定部165及接口180发挥功能。
显示控制部190生成控制右显示驱动部22及左显示驱动部24的控制信号。具体地说，显示控制部190通过控制信号，分别控制通过右LCD控制部211进行的右LCD241的驱动ON/OFF、通过右背光源控制部201进行的右背光源221的驱动ON/OFF、通过左LCD控制部212进行的左LCD242的驱动ON/OFF、通过左背光源控制部202进行的左背光源222的驱动ON/OFF等。从而，显示控制部190控制分别通过右显示驱动部22及左显示驱动部24进行的图像光的生成及出射。例如，显示控制部190使右显示驱动部22及左显示驱动部24的两方都生成图像光，或者使仅仅一方生成图像光，或者使两方都不生成图像光。
显示控制部190经由发送部51及52，分别发送针对右LCD控制部211和左LCD控制部212的控制信号。另外，显示控制部190分别发送针对右背光源控制部201和左背光源控制部202的控制信号。
图像处理部160取得内容所包括的图像信号。图像处理部160从所取得的图像信号分离垂直同步信号VSync和/或水平同步信号HSync等的同步信号。另外，图像处理部160相应于分离的垂直同步信号VSync和/或水平同步信号HSync的周期，利用PLL(Phase LockedLoop：锁相环)电路等(未图示)来生成时钟信号PCLK。图像处理部160将分离了同步信号的模拟图像信号用A/D变换电路等(未图示)变换为数字图像信号。然后，图像处理部160将变换后的数字图像信号逐帧在存储部120内的DRAM存储为对象图像的图像数据(RGB数据)。另外，图像处理部160也可以根据需要，对图像数据执行分辨率变换处理、辉度、彩度的调整之类的各种色调补正处理、梯形补正处理等的图像处理。
图像处理部160经由发送部51、52分别发送所生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、存储部120内的DRAM存储的图像数据。另外，经由发送部51发送的图像数据也称为“右眼用图像数据”，经由发送部52发送的图像数据也称为“左眼用图像数据”。发送部51、52作为控制部10和图像显示部20之间的串行传送用的收发器发挥功能。
声音处理部170取得内容所包括的声音信号，放大所取得的声音信号，供给与连接部件46连接的右耳机32内的扬声器(未图示)及左耳机34内的扬声器(未图示)。另外，例如，采用Dolby(注册商标)***时，进行针对声音信号的处理，从右耳机32及左耳机34分别输出例如改变了频率等的不同的声音。声音处理部170对麦克风69取得的外部声音进行各种处理。详细情况将后述，作为各种处理，声音处理部170判定所取得的外部声音是否为作为进行存储部120存储的设备确认处理的判断基准的判断声音。
图像判定部168通过图形匹配和/或统计性识别法，检测与存储部120存储的操作对象和/或判断对象的图像数据相同的图像是否包括于拍摄图像。图像判定部168将与所检测的判断对象的图像数据相同图像即对象，检测为判断对象。另外，图像判定部168与技术方案中的图像检测部相当，判断对象与技术方案中的特定的物体相当。
距离测定部166是：对TOF传感器63检测出的红外线的反射光，通过采用TOF(Timeof Flight：飞行时间、渡越时间)方式算出从红外线发出到被特定的对象反射后由TOF传感器63受光为止的时间，由此来测定图像显示部20和特定的对象的距离的距离图像传感器。距离测定部166判定：表示与由图像判定部168检测出的操作对象的图像数据相同的图像的特定的对象和图像显示部20的距离是否在预先设定的预定的距离以下。另外，距离测定部166、TOF传感器63及红外线LED64与技术方案中的距离特定部相当。
图像设定部165将与图像显示部20的距离在预定的距离以下且表示与存储部120存储的操作对象的图像数据相同的图像的特定的对象设定为能选择的操作对象。图像设定部165设定能选择的操作对象后，使得在图像显示部20显示存储部120存储的该操作对象所对应的图像。即，虽然由图像判定部168检测为与操作对象的图像数据相同的图像，但是，与图像显示部20的距离超过预定距离的特定的对象不设定为能选择的操作对象。另外，图像设定部165在图像显示部20显示与检测出的判断对象预先相对应的图像。图像设定部165确定并执行基于判断对象的位置的变化和操作对象的位置所设定的控制指示。另外，关于图像显示部20显示的各种图像的详细情况将后述。图像设定部165与技术方案中的控制部相当。本实施方式中的能选择的操作对象与技术方案中的能选择的对象物相当，由图像设定部165设定的控制指示与技术方案中的对象物的控制相当。
接口180是用于将成为内容供给源的各种外部设备OA连接到控制部10的接口。作为外部设备OA，例如有个人计算机(PC)和/或便携电话终端、游戏终端等。作为接口180，例如可以采用USB接口、微USB接口、存储卡用接口等。
图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显示部28的左导光板262、相机61、TOF传感器63、红外线LED64、麦克风69。
右显示驱动部22包括接收部53(Rx53)、作为光源发挥功能的右背光源控制部201(右BL控制部201)及右背光源221(右BL221)、作为显示元件发挥功能的右LCD控制部211及右LCD241、右投影光学***251。右背光源控制部201和右背光源221作为光源发挥功能。右LCD控制部211和右LCD241作为显示元件发挥功能。另外，右背光源控制部201、右LCD控制部211、右背光源221、右LCD241总称也称为“图像光生成部”。
接收部53作为控制部10和图像显示部20之间的串行传送用的接收机发挥功能。右背光源控制部201基于输入的控制信号，驱动右背光源221。右背光源221例如是LED和/或电致发光(EL)等的发光体。右LCD控制部211基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、右眼用图像数据，驱动右LCD241。右LCD241是多个像素矩阵状配置的透射型液晶面板。
右投影光学***251包括将从右LCD241出射的图像光形成为平行状态的光束的准直透镜而构成。作为右光学像显示部26的右导光板261使得从右投影光学***251输出的图像光边沿预定的光路反射边导入使用者的右眼RE。另外，右投影光学***251和右导光板261总称也称为“导光部”。
左显示驱动部24具有与右显示驱动部22同样的构成。左显示驱动部24包括接收部54(Rx54)、作为光源发挥功能的左背光源控制部202(左BL控制部202)及左背光源222(左BL222)、作为显示元件发挥功能的左LCD控制部212及左LCD242、左投影光学***252。左背光源控制部202和左背光源222作为光源发挥功能。左LCD控制部212和左LCD242作为显示元件发挥功能。另外，左背光源控制部202、左LCD控制部212、左背光源222、左LCD242总称也称为“图像光生成部”。另外，左投影光学***252包括将从左LCD242出射的图像光形成为平行状态的光束的准直透镜而构成。作为左光学像显示部28的左导光板262使得从左投影光学***252输出的图像光边沿预定的光路反射边导入使用者的左眼LE。另外，左投影光学***252和左导光板262总称也称为“导光部”。
图3是表示由图像光生成部出射图像光的情形的说明图。右LCD241通过驱动矩阵状配置的各像素位置的液晶来改变透射右LCD241的光的透射率，从而将从右背光源221照射的照明光IL调制为表示图像的有效图像光PL。左侧也同样。另外，如图3所示，本实施方式中采用背光源方式，但是也可以采用以前光源方式和/或反射方式来出射图像光的构成。
A-2.设备确认处理：
图4是设备确认处理的流程的说明图。在设备确认处理中，控制部10在设定能选择的操作对象(例如，控制设备的仪表)后，检测到判断对象(例如，使用者的手指)的预定动作(以下，也简称为“手势”)时，执行基于手势的控制指示即设备确认。
首先，相机61拍摄外景SC(步骤S10)。另外，相机61连续地拍摄外景SC。换言之，相机61拍摄外景SC作为动态图像。相机61将拍摄到的拍摄图像的图像数据向CPU140的图像判定部168发送。接着，图像判定部168通过对由相机61拍摄到的拍摄图像执行图形匹配等的图像识别处理，检测拍摄图像中是否包括与存储部120存储的操作对象的图像数据相同的图像(步骤S12)。在拍摄图像中未检测到与操作对象相同的图像数据的图像时(步骤S12：否)，由相机61反复进行步骤S10的处理，直到在拍摄图像检测到与操作对象相同的图像数据的图像为止。在步骤S12的处理中，在拍摄图像中检测到与操作对象相同的图像数据的图像时(步骤S12：是)，CPU140的距离测定部166，在由图像判定部168在拍摄图像中检测到表示操作对象的图像的对象(以下，也简称为“临时对象”)的同时，通过采用TOF传感器63及红外线LED64的TOF方式，测定临时对象与图像显示部20的距离。距离测定部166判定由图像判定部168检测出的临时对象与图像显示部20的测定距离是否在预定的距离以下(步骤S14)。判定为临时对象与图像显示部20的测定距离超过预定的距离时(步骤S14：否)，图像判定部168不将临时对象设定为能选择的操作对象，继续通过相机61反复进行步骤S10以后的处理。在步骤S14的处理中，判定为临时对象与图像显示部20的距离在预定的距离以下时(步骤S14：是)，图像设定部165将由图像判定部168检测出的临时对象设定为能选择的操作对象，使图像显示部20显示与操作对象相对应的由存储部120存储的图像(步骤S16)。
图5是设定了操作对象时使用者观看的视野VR的一例的说明图。如图5所示，使用者将不同于HMD100的装置即3台控制设备MC作为所设定的操作对象，观看为透射的外景SC。使用者观看的3台中的中央的控制设备MC具备：表示控制设备MC控制的其他装置的电压值的仪表MT1及表示温度的仪表MT2；多个按钮即按钮组BT；包括多个灯的灯组LM。按钮组BT所包括的各个按钮通过被按下而在导通和断开之间切换，来控制其他装置。灯组LM的各个灯在包括于按钮组BT的在对应的上侧配置的按钮导通时点亮，在断开时熄灭。另外，仪表MT1及仪表MT2与技术方案中的能选择的对象物相当。
本实施方式中，存储部120存储仪表MT1及仪表MT2的图像数据，因此，图像判定部168将仪表MT1及仪表MT2检测为操作对象。图像判定部168将仪表MT1和/或仪表MT2设定为操作对象后，作为与仪表MT1和仪表MT2分别相对应的在存储部120存储的图像，图像设定部165使得在图像显示部20的图像显示最大区域PN显示表示仪表MT1和仪表MT2的各自位置的图像IM1和图像IM2。另外，图像显示最大区域PN表示图像光生成部能显示图像的最大的区域，不被使用者观看到。另外，图像设定部165，作为存储部120存储的与作为所设定的操作对象的仪表MT1和仪表MT2的至少一方相对应的图像，在图像显示最大区域PN显示“确认？”这样的文本图像TX1。文本图像TX1是催促使用者进行仪表MT1或仪表MT2表示的数值的确认行为的图像。
由图像判定部168设定作为操作对象的仪表MT1等、并由图像设定部165在图像显示最大区域PN显示文本图像TX1等的图像后(图4的步骤S16)，图像判定部168检测在拍摄图像是否包括与存储部120存储的用于判断手势的判断对象的图像数据相同的图像(步骤S18)。在拍摄图像中未检测到判断对象的图像时(步骤S18：否)，图像判定部168等待判断对象的检测(步骤S18)。在拍摄图像中检测到判断对象的图像时(步骤S18：是)，CPU140的图像设定部165使得在图像显示最大区域PN显示在存储部120存储的、用于指示使用者为了进行文本图像TX1催促的确认行为而应该做的手势的手势指示图像(步骤S20)。
图6是检测到判断对象时使用者观看的视野VR的一例的说明图。图6表示作为判断对象的检测到的使用者的右手HD1的食指FF1竖立的状态。如图6所示，图像设定部165在检测到判断对象即右手HD1时，使得在图像显示最大区域PN显示：存储部120存储的、表示为了确认仪表MT1及仪表MT2的数值不足预定阈值而应该执行的手势的手势指示图像。另外，右手HD1的食指FF1与技术方案中的特定的物体相当。手势指示图像与技术方案中的对象物对应虚像相当。
手势指示图像包括从右手HD1的食指FF1的前端向仪表MT1的抛物线的箭头图像CS1和表示使用者应该发出的判断声音即“好！”的文本图像TX2而构成。本实施方式中，图像设定部165在拍摄图像中食指FF1移动到与仪表MT1重叠的位置后、由麦克风69及声音处理部170检测“好！”的判断声音后，执行确认行为的控制指示。另外，在存储部120存储的设备确认处理中，检测到仪表MT1和仪表MT2的两方时，先将仪表MT1的设备确认设定成优先。使用者可以透视观看与文本图像TX1、TX2及箭头图像CS1重叠的外景SC。确认行为的控制指示与技术方案中的所确定的对象物的控制相当。
由图像设定部165在图像显示最大区域PN显示手势指示图像后(图4的步骤S20)，图像判定部168等待沿箭头图像CS1的食指FF1的手势的检测(步骤S22)。图像判定部168，对利用相机61连续拍摄的拍摄图像的各帧中的食指FF1的图像执行图形匹配等的图像识别处理，由此来检测食指FF1的手势。沿箭头图像CS1的食指FF1的手势未被检测到时(步骤S22：否)，图像判定部168继续等待沿箭头图像CS1的食指FF1的手势的检测(步骤S22)。沿箭头图像CS1的食指FF1的手势被检测到时(步骤S22：是)，图像设定部165在手势后的食指FF1的位置在拍摄图像中与仪表MT1重叠的状态下，等待声音处理部170经由麦克风69对文本图像TX2所示的判断声音的“好！”的检测(步骤S24)。在判断声音未被检测到或食指FF1的位置未与仪表MT1重叠时(步骤S24：否)，图像设定部165继续等待拍摄图像中食指FF1的位置与仪表MT1重叠状态下的判断声音的检测(步骤S24)。拍摄图像中，在食指FF1的位置与仪表MT1重叠的状态下，在检测到判断声音的“好！”时(步骤S24：是)，图像设定部165判定为进行了用于进行确认行为的手势，使得在图像显示最大区域PN显示确认行为完毕后显示的确认完毕图像(步骤S26)，使设备确认处理结束。另外，确认完毕图像与技术方案中的特定确认图像相当。
图7是显示确认完毕图像时使用者观看的视野VR的一例的说明图。图7表示使用者的确认行为被检测后，作为确认完毕图像的“MT1确认OK！”的文本图像TX3显示时使用者所观看的视野VR。拍摄图像中，食指FF1的位置与仪表MT1重叠时，图像设定部165，除了表示仪表MT1的位置的图像IM1外，为了还表示仪表MT1的数值已确认完毕，在图像显示最大区域PN显示包围仪表MT1的实线圆的图像IM3。使用者通过观看在图像显示最大区域PN显示的文本图像TX3及图像IM3，可以确认手势正常处理、执行了设备确认的控制指示。
如上所述，本实施方式中的HMD100中，图像判定部168检测拍摄图像中所包括的操作对象和判断对象，图像设定部165使得在图像显示最大区域PN显示与所检测的操作对象相对应的图像IM1、IM2及文本图像TX1，确定并执行与所检测的判断对象的手势对应的设备确认的控制指示。因此，本实施方式的HMD100中，使用者可以在不改变视线方向的情况下同时观看操作的对象的操作对象和与自身进行的手势相对应的控制，可以直观地进行操作对象的控制，提高使用者的便利性。
另外，本实施方式中的HMD100中，图像设定部165检测到作为判断对象的右手HD1后，作为与仪表MT1及仪表MT2和右手HD1的食指FF1的组合相对应的图像，使得在图像显示最大区域PN显示表示食指FF1的变化的箭头图像CS1。因此，本实施方式的HMD100中，使用者可将执行控制指示所需的手势识别为视觉信息，提高对于使用者而言的HMD100的方便性。
另外，本实施方式中的HMD100中，图像设定部165在判断对象即食指FF1的位置和操作对象即仪表MT1重叠的状态下，在由声音处理部170检测到判断声音时，使得在图像显示最大区域PN显示确认完毕图像即文本图像TX3。因此，本实施方式的HMD100中，执行与手势执行后判断对象所重叠的操作对象对应的控制指示，所以使用者容易进行与期望的控制指示对应的手势。另外，通过手势和声音的组合来执行控制指示，因此，与仅仅通过手势执行的控制指示相比，使用者可以直观地进行更多的控制指示。
另外，本实施方式中的HMD100中，由距离测定部166测定的图像显示部20和临时对象的距离在预定的距离以下时，图像设定部165将检测到的临时对象设定为能选择的操作对象。因此，本实施方式的HMD100中，在拍摄图像中检测到多个临时对象时，将离使用者近的物体设定为能选择的操作对象，因此，可令使用者观看使用者选择的可能性高的物体，从而使用者的便利性提高。
B.第2实施方式：
第2实施方式中，不同于第1实施方式，在具备HMD100a和控制装置300的控制***500中，在HMD100a和控制装置300之间进行控制指示的信号的收发。从而，HMD100a接收来自控制装置300的特定操作对象的信息后，基于由HMD100a输入的控制指示，进行控制装置300的控制。
图8是功能性表示第2实施方式中的控制***500的构成的方框图。控制***500具备HMD100a和控制装置300。另外，图8中，HMD100a和控制装置300分别仅仅图示了各一个，但是，控制***500也可以具备多个HMD100a和/或控制装置300，也可以经由不同于HMD100a和/或控制装置300的设备(例如服务器)进行信息的收发。第2实施方式中的HMD100a除了第1实施方式的HMD100的构成，还在控制部10具备无线通信部132。图8中，HMD100a与第1实施方式(图2)的HMD100比较，无线通信部132以外的构成相同，因此关于HMD100a的构成，将一部分图示省略。
HMD100a的无线通信部132按照无线LAN和/或蓝牙(注册商标)这样的预定的无线通信方式，在与其他设备之间进行无线通信。无线通信部132向控制装置300发送由使用者的手势确定的控制指示的信息。另外，无线通信部132从控制装置300接收特定操作对象、判断对象、判断声音及手势等的信息。另外，第2实施方式中的无线通信部132与技术方案中的第2通信部相当。
控制装置300具备无线通信部330、存储部320、CPU310。无线通信部330按照无线LAN和/或蓝牙这样的预定的无线通信方式，在与HMD100a之间进行无线通信。另外，第2实施方式中的无线通信部330与技术方案中的第1通信部相当。存储部320由例如ROM、RAM、DRAM、硬盘等构成。存储部320存储与用于控制控制装置300的控制指示相对应的控制内容。另外，存储部320存储：包括于相机61的拍摄图像时所检测的操作对象的图像数据和成为进行控制的判断基准的判断对象的图像数据。另外，第2实施方式中的存储部320与技术方案中的对象物特定部相当。
CPU310通过读出并执行存储部320存储的计算机程序，作为信息处理部312、控制处理部314发挥功能。信息处理部312处理经由无线通信部330在与HMD100a的无线通信部132之间收发的控制指示和/或特定操作对象的信息。控制处理部314基于由信息处理部312处理的控制指示的信息，与该控制指示对应，控制控制装置300。另外，第2实施方式中的控制装置300与技术方案中的控制执行部相当。
图9是控制处理的流程的说明图。控制处理中的步骤S30到步骤S36的处理，与第1实施方式的设备确认处理(图4)中的除了特定图像显示部20和操作对象的距离的处理以外的步骤S10到步骤S18的处理相同。因此，第2实施方式中，简单说明控制处理的步骤S30到步骤S36的处理。
控制处理中，由相机61拍摄外景SC(步骤S30)，在拍摄图像中检测到操作对象时(步骤S32：是)，图像设定部165在图像显示最大区域PN显示与操作对象相对应的图像。
图10是检测到操作对象时使用者观看的视野VR的一例的说明图。图10表示处于起居室的使用者观看的外景SC和在图像显示最大区域PN显示的图像IM4及图像IM5。如图10所示，使用者观看到由图像判定部168设定的操作对象即电视机的遥控器RC1及房间的照明开关即开关SW和在存储部320存储的与遥控器RC1相对应的图像IM4及与开关SW相对应的图像IM5。另外，遥控器RC1及开关SW与技术方案中的对象物相当。
在显示图像IM4及IM5的状态下(图9的步骤S34)，由图像判定部168检测到判断对象时(步骤S36：是)，图像设定部165使得在图像显示最大区域PN显示表示可检测使用者的手势的状态的手势检测模式的图像(步骤S38)。
图11是表示手势检测模式时使用者观看的视野VR的一例的说明图。如图11所示，由图像判定部168检测作为判断对象的右手HD1，由图像设定部165，显示与遥控器RC1相对应的图像IM6，显示与开关SW相对应的箭头图像CS2和图像IM7。图像IM6是包括表示当右手HD1的食指FF1的位置重叠时进行控制的内容的多个图标的图像。例如，通过手指FF1的位置的变化选择所显示的图标内的“ON/OFF”的图标时，控制处理部314执行切换电视机TV1的电源的导通和断开的控制。另外，图11所示的箭头图像CS2表示：为了执行选择开关SW的控制，使用者应该进行的手势。图像IM7表示：沿箭头图像CS2进行食指FF1的手势时所执行的控制内容。即，图像IM7表示使用者的食指FF1沿箭头图像CS2以围绕开关SW的方式移动时，选择了开关SW。
由图像设定部165在图像显示最大区域PN显示手势检测模式的图像时(图9的步骤S38)，图像判定部168等待用于执行遥控器RC1或开关SW的控制的右手HD1的手势的检测(步骤S40)。未检测到右手HD1的手势时(步骤S40：否)，图像判定部168继续等待右手HD1的手势的检测(步骤S40)。检测到右手HD1的手势时(步骤S40：是)，图像设定部165执行与检测到的手势即检测手势对应的控制(步骤S42)。图像设定部165判定是否存在：为了执行与检测手势对应而执行的控制的后续设定的其他控制而对应的手势即设定手势(步骤S44)。判定有设定手势时(步骤S44：是)，图像设定部165使得在图像显示最大区域PN显示与设定手势对应的手势检测模式的图像(步骤S38)。
图12是表示显示有与设定手势对应的手势检测模式的图像时使用者观看的视野VR的一例的说明图。图12表示检测到食指FF1沿箭头图像CS2(图11)的移动作为检测手势后的设定手势所对应的手势指示图像即图像IM8。图像IM8是表示食指FF1向上方向移动时开关SW导通、食指FF1向下方向移动时开关SW断开的控制的图像。
通过图像设定部165，在图像显示最大区域PN显示手势检测模式的图像(图9的步骤S38)，检测到使开关SW导通或断开的手势后(步骤S40：是)，图像设定部165执行与检测手势对应的控制(步骤S42)。存在所执行的控制的后续执行的控制所对应的设定手势时(步骤S44：是)，执行步骤S38以后的处理。步骤S44的处理中，不存在所执行的控制的后续执行的控制所对应的设定手势时(步骤S44：否)，图像设定部165使得在图像显示最大区域PN显示表示执行了与检测手势对应的控制的控制后图像(步骤S46)。
图13是显示控制后图像时使用者观看的视野VR的一例的说明图。图13表示在检测到将开关SW设定成断开的手势作为检测手势后，显示了控制后图像即文本图像TX4的状态。如图13所示，由控制处理部314将开关SW设定成断开后，由图像设定部165在图像显示最大区域PN显示用于向使用者传达该情况的“已设为断开”的文本图像TX4。
控制后图像的文本图像TX4在图像显示最大区域PN显示后(图9的步骤S46)，图像设定部165，以预定的时间在图像显示最大区域PN显示文本图像TX4。文本图像TX4在图像显示最大区域PN显示期间，操作部135等待使采用了拍摄图像中检测出的操作对象等的控制处理结束的预定操作的检测(步骤S48)。文本图像TX4在图像显示最大区域PN显示期间，操作部135未检测到使控制处理结束的预定操作时(步骤S48：否)，图像设定部165使文本图像TX4不显示后，执行步骤S32以后的处理。步骤S48的处理中，操作部135检测到使控制处理结束的预定操作时(步骤S48：是)，控制部10使控制处理结束。另外，第2实施方式中，操作部135通过检测预定的操作，即使在控制处理的途中，控制部10也可以使控制处理结束。
如上所述，第2实施方式中的HMD100a中，如图12所示，图像设定部165使得在图像显示最大区域PN显示：表示与右手HD1的食指FF1沿上下方向移动的方向对应而执行的开关SW的导通和断开的控制的图像IM8。因此，第2实施方式的HMD100a中，使用者可将与自身的手势对应地接着执行的控制内容作为视觉信息来识别，因此，对于使用者的方便性提高。
C.第3实施方式：
第3实施方式中，与第1实施方式及第2实施方式比较，主要不同点在于：操作对象的位置信息通过光信息和/或无线通信等取得；通过检测判断对象的加速度来特定判断对象的位置变化。
图14是表示第3实施方式中的控制***500b的构成的概略图。控制***500b具备：HMD100b、服务器400、控制装置300b。HMD100b具备图像显示部20b、控制部10b、作为判断对象的外部传感器70。外部传感器70内置有用于检测外部传感器70的动作的加速度传感器。外部传感器70将检测出的加速度用蓝牙等的通信手段向控制部10b发送。控制部10b基于发送的外部传感器70的加速度，算出外部传感器70的位置的变化。控制部10b基于算出的外部传感器70的位置的变化，对控制装置300b进行控制。图像显示部20b不具有第1实施方式及第2实施方式中的TOF传感器63和红外线LED64。另外，本实施方式中，如图1所示，控制装置300b说明为电视机，但是其他实施方式中，作为控制装置300b，也可以是电视机以外的照明装置等。
服务器400具有存储部420，存储通过所检测的手势来控制指示的控制设备和用于向控制设备提供控制指示的操作对象的控制装置300b的信息。另外，第3实施方式中的手势包括外部传感器70的位置的变化。服务器400与从HMD100b发送的信号对应，将存储部420存储的信息的至少一部分向HMD100b发送。HMD100b的控制部10b的无线通信部132b接收从服务器400发送的信息。
图15是表示在服务器400的存储部420存储的控制装置的信息的一部分的概略图。存储部420存储多个控制装置300b的信息。例如，如图15所示，作为一个控制装置300b的电视机，关于显示播放节目的控制设备和操作控制设备的控制器的各个，使之与三维模型和位置座标相关联。另外，控制装置300b的电视机与显示信息相关联。图15所示三维模型是分别对控制设备和控制器而存储的立体图像数据。位置座标表示HMD100b接收来自服务器400的信息时以HMD100b为基准的情况下控制设备和控制器各自位于的场所。显示图像是检测到控制器时在图像显示部20b显示的图像的内容的一例。
第3实施方式中，控制装置300b的存储部320b存储通过多个工序执行的序列控制中的各个工序。例如，控制装置300b是电视机，对指定将来的时间而播放的节目进行录像(也简称为“进行录像预约”)时，正确输入日期时间和/或播放节目的频道等的多个工序后，进行录像预约。
图16是功能性表示第3实施方式中的HMD100b的构成的方框图。第3实施方式的存储部120b不同于第1实施方式及第2实施方式的存储部120，存储用于识别HMD100b的使用者的个人信息。如图16所示，第3实施方式的控制部10b的CPU140b不具有第1实施方式及第2实施方式中的距离测定部166，而具备位置特定部163和识别部161。识别部161在HMD100b的电源接通后，使得在图像显示最大区域PN显示用于识别HMD100b的使用者的图像。然后，基于操作部135接受的操作，识别部161特定HMD100b的使用者。作为使用者的识别方法，例如，有时进行以下的步骤。首先，识别部161使得图像显示最大区域PN显示选择预先登记的HMD100b的过去的使用者的图像。然后，与由操作部135接受的操作所选择的使用者对应地，识别部161使得图像显示最大区域PN显示要求输入存储部320b存储的密码的图像，要求的密码输入后，特定HMD100b的使用者。
位置特定部163基于经由无线通信部132b从服务器400的存储部420取得的控制设备的位置信息和操作对象即控制器的位置信息，特定图像显示部20b和控制设备和操作对象的位置关系。另外，图像显示部20b的位置基于电波的强度和/或由多个基地电台等收发的电波的时差等来特定。另外，位置特定部163基于外部传感器70检测的加速度，特定外部传感器70的位置的变化。另外，外部传感器70与技术方案中的特定的物体相当。
图17是第3实施方式中的控制处理的流程的说明图。第3实施方式的控制处理是基于检测到的外部传感器70的变化，执行被特定了位置的控制设备的控制指示的处理。
第3实施方式的控制处理中，首先，识别部161识别HMD100b的使用者(步骤S50)。第3实施方式中，按识别的每个使用者，所检测的控制装置300b的种类不同。具体地说，对于某使用者，将特定的控制装置检测为可进行控制指示的对象，但是，对于不同的使用者，将特定的控制装置判定为不能进行控制指示的对象，检测不到特定的控制装置。
识别使用者后，位置特定部163经由无线通信部132b，从服务器400特定处于离佩戴图像显示部20b的使用者预定范围内的控制装置的位置(步骤S51)。接着，相机61拍摄外景(步骤S52)。接着，位置特定部163判定是否检测到在离使用者预定的范围内特定了位置的控制装置300b(步骤S54)。位置特定部163在未检测到控制装置300b时(步骤S54：否)，接着，等待处于离使用者预定的范围内的控制装置300b的位置的特定(步骤S51)。另外，第3实施方式中，成为检测有无的对象的控制装置300b为控制设备和控制器的至少一方即可。
步骤S54的处理中，检测到控制装置300b时(步骤S54：是)，图像设定部165使得图像显示最大区域PN显示表示控制装置300b的位置的图像(步骤S56)。另外，第3实施方式中，位置特定部163对特定为控制装置300b的位置的场所的拍摄范围，以服务器400的存储部420存储的控制装置300b的三维模型为基准，通过采用图形匹配等，提高相对于使用者的控制装置300b的位置的精度。另外，其他实施方式中，位置特定部163不必通过图像识别来特定控制装置300b的位置。
图18是检测到控制装置300b时使用者观看的视野VR的一例的说明图。如图18所示，表示作为检测到的控制装置300b的3个组合的对应标记MK1、MK2、MK3和鸟瞰图VI在图像显示最大区域PN显示。图18所示例中，所检测的3个控制装置300b如下。
(1)作为控制设备的电视机TV1及作为控制器的遥控器RC1
(2)作为控制设备的照明LT及作为控制器的开关SW
(3)作为控制设备的空调机AC及作为控制器的遥控器RC2
3个控制装置中的控制设备和控制器分别用相同形状且相同颜色的图像即对应标记MK1、MK2、MK3相关联地表示。例如，在作为控制设备MC的电视机TV1和作为控制器10的遥控器RC1的附近，对应标记MK1作为显示图像，在图像显示最大区域PN显示。另外，第3实施方式中的相同形状的对应标记是指即使显示的对应标记的尺寸不同也是相同形状的对应标记。
鸟瞰图VI是表示以佩戴着图像显示部20b的使用者为中心，从使用者的上方观察时的使用者、相机61的拍摄范围ey和不包括在拍摄范围的检测到的遥控器RC2的位置关系的概略的缩小图。由位置特定部163特定了位置的控制装置300b的一部分不包括在相机61的拍摄范围时，图像设定部165使表示使用者和不包括在拍摄范围的控制装置300b的一部分的位置关系的鸟瞰图VI在图像显示最大区域PN显示。如鸟瞰图VI所示，在使用者的右方向存在空调机AC的遥控器RC2。
在图像显示最大区域PN显示表示控制装置300b的位置的图像时(图17的步骤S56)，位置特定部163判定有无检测到作为判断对象的外部传感器70的位置的变化(步骤S58)。位置特定部163未检测到外部传感器70的位置的变化时(步骤S58：否)，接着，等待检测出作为判断对象的外部传感器70的位置的变化(步骤S58)。
步骤S58的处理中，检测到作为判断对象的外部传感器70的位置的变化时(步骤S58：是)，图像设定部165执行与检测到的外部传感器70的位置变化对应的控制装置300b的控制指示(步骤S60)。作为与外部传感器70的位置变化对应的控制指示，有时对控制装置300b分别设定不同的控制指示。例如，选择电视机TV1的遥控器RC1时，从外部传感器70检测到描绘相对应的对应标记的圆圈形状的位置的变化后，图像设定部165使得图像IM4对应的电视机TV1的菜单图像在图像显示最大区域PN显示。另外，其他实施方式中，在相机61的拍摄图像中包括外部传感器70时，图像设定部165也可以基于检测到的外部传感器70的加速度和拍摄到的外部传感器70的变化，执行对控制装置300b的控制指示。
与作为检测到的操作对象的外部传感器70的位置变化相应的控制指示被执行后(图17的步骤S60)，图像设定部165在图像显示最大区域PN显示控制后的图像(步骤S62)。第3实施方式中，在控制装置300b的存储部320b存储通过多个工序执行的序列控制的工序，因此，控制后的图像在图像显示最大区域PN显示后，图像设定部165经由无线通信部132b，判定设定为序列控制的下一工序的对应序列是否存在于控制装置300b的存储部320b(步骤S64)。图像设定部165判定为存在对应序列时(步骤S64：是)，使得与对应序列相对应的图像在图像显示最大区域PN显示(步骤S66)。
图19是与对应序列相对应的图像在图像显示最大区域PN显示时使用者观看的视野VR的说明图。图19表示下述状态：与图18所示遥控器RC1相对应的图像IM4的菜单被选择，其后，表示用于设定进行预约录像时的频道的画面的图像IM9在图像显示最大区域PN显示。操作遥控器RC1来进行预约录像时，进行按照进行录像的频道的设定、预约录像进行的日期时间、是否进行按每周的定期预约录像的顺序的序列控制。
图像IM9在图像显示最大区域PN显示后，作为图17的步骤S58的处理，外部传感器70检测到描绘数字的动作时(步骤S58：是)，图像设定部165将检测到的动作对应的数字设定为频道(步骤S60)，在图像IM9的“**”的部分显示所设定的数字(步骤S62)。例如，使用者在空无一物的空间以描绘“8”这个数字的方式移动外部传感器70时，设定“8”频道作为录像频道。另外，外部传感器70检测到向图像IM9所示的箭头方向的左边挥动的变化时，作为与检测相应的控制，图像设定部165使得图像显示最大区域PN显示序列控制中的录像频道的设定的前一个的图像。另外，在输入了录像频道的数字的状态下，外部传感器70检测到向图像IM9所示箭头的方向的右边挥动的变化时，图像设定部165设定录像频道，使得图像显示最大区域PN显示序列控制中的录像频道的设定的下一个的图像。然后，同样进行步骤S64以后的处理。
如上所述，第3实施方式的HMD100b中，控制部10b的无线通信部132b接收在服务器400的存储部420存储的控制装置300b的位置信息。另外，因此，第3实施方式的HMD100b中，使用者无法观看的范围的控制装置300b的位置也可识别，提高了使用者的方便性。
另外，第3实施方式的HMD100b中，图像设定部165如图19所示，使得图像显示最大区域PN显示表示佩戴有图像显示部20b的使用者和检测到的遥控器RC2的位置关系的鸟瞰图VI。因此，第3实施方式的HMD100b中，可将使用者无法观看的范围的控制装置300b的位置和使用者的位置关系作为图像观看，使用者的方便性进一步提高。
另外，第3实施方式的HMD100b中，外部传感器70检测作为外部传感器70的位置变化的加速度。图像设定部165基于检测到的外部传感器70的位置变化，执行对控制装置300b的控制指示。因此，第3实施方式的HMD100b中，使用者执行对控制装置300b的控制指示时，不必在特定的场所操作、不必在能拍摄的范围进行相对应的动作来作为操作，使用者的便利性提高。
另外，第3实施方式的HMD100b中，如图18所示，图像设定部165通过相同形状且相同颜色的图像即对应标记，使所检测的控制设备的位置和所检测的控制设备的控制器的位置相对应，在图像显示最大区域PN显示。因此，第3实施方式的HMD100b中，可以观看检测到的控制设备和检测到的控制设备的控制器的对应关系，使用者的方便性提高。
另外，第3实施方式的HMD100b中，识别部161特定HMD100b的使用者，图像设定部165使得图像显示最大区域PN显示关于所特定的使用者可进行控制指示的控制装置的图像。因此，第3实施方式的HMD100b中，按特定的使用者而异的图像在图像显示最大区域PN显示，因此可提供符合使用者的需求的信息。
D.变形例：
另外，本发明不限于上述实施方式，在不脱离其主旨的范围，能以各种方式实施，例如，也可以是如下变形。
D1.变形例1：
上述实施方式中，图像设定部165在图像显示最大区域PN显示与所设定的操作对象及所检测的判断对象对应的图像和/或手势指示图像，但是，也可不必一定显示这些图像。例如，图像设定部165也可以显示与所设定的操作对象对应的图像，不显示与判断对象对应的图像和/或手势指示图像，执行与检测出的手势对应的控制。
上述实施方式中，距离测定部166通过红外线LED64和TOF传感器63来测定图像显示部20和临时对象的距离，但是，也不必一定要测定该距离，另外，也可以通过其他方法测定距离。例如，图像设定部165也可以与图像显示部20和操作对象的距离无关地将由图像判定部168检测出的临时对象的全部设定为能选择的操作对象。另外，距离测定部166通过比较由立体相机拍摄的操作对象的图像，也可以测定图像显示部20和操作对象的距离。
上述实施方式中，图像判定部168检测右手HD1的食指FF1来作为判断对象，但是，检测的判断对象也可以有各种变形。例如，判断对象可以是控制部10，也可以是圆珠笔和/或用于操作控制部10的跟踪板14的触摸笔。另外，判断对象可以是用于指示食指FF1的延长线上的棒状器具，可以是激光指示器中的特定的光的形状，也可以是具有发光部的特定形状的器具(例如，手电筒)等。也可以按将发光状态的光笔检测为判断对象、将非发光状态的光笔不检测为判断对象的方式，根据发光的有无来判定判断对象的检测的有无。根据发光的有无来确定是否检测为判断对象时，作为判断对象，可进行更高精度的检测。判断对象也可以通过操作部135***作，由使用者任意设定。另外，判断对象也可以是在使用者的手臂佩戴的手表型可穿戴器件和/或在使用者的手指佩戴的戒指型可穿戴器件等。
另外，检测的判断对象不限于一个，也可以是2个以上。例如，作为判断对象，也可以检测2根手指，识别2根手指的距离和/或形状来取代手势。例如，也可以根据作为判断对象而检测出的2根手指的动作，检测与执行显示图像的放大或缩小控制的捏缩和/或捏放相当的手势。作为相同的2根手指的操作，可以以音量的旋钮为判断对象，通过用2根手指抓握并按顺时针等旋转，来改变输出的音量。另外，例如，操作键盘时，作为一边按下变换键(shift键)一边选择特定的字符而输入大写字符的字母的操作的代替方式，也可以通过检测在检测出的2根手指的位置关系中相对于一根手指的位置的另一根手指的相对移动，来检测各种输入。
上述第1实施方式中，图像设定部165通过手势和手势后检测出的判断声音的组合来判定仪表MT1的确认行为，但是，也不必一定要检测判断声音，也可以仅仅通过手势来判定仪表MT1的确认行为。另外，图像设定部165通过检测手势后的判断声音，来判定仪表MT1的确认行为，但是，检测判断声音的定时不限于手势后，也可以在手势前，也可以通过在检测手势期间检测的判断声音来判定确认行为。
技术方案中的对象物对应虚像广义是指在图像显示最大区域PN显示的能选择图像和/或教导为进入下一处理所需的手势的图像等在进行任一控制和/或处理前显示的图像。另外，技术方案中的特定确认图像广义是指进行基于对象物对应虚像的任一处理和/或控制后的图像。特定确认图像是报知所执行的处理和/或控制的图像，包括表示确认任一处理的受理的图像等。因此，有时同一图像为对象物对应虚像且为特定确认图像。反之，即使是同一图像，相应于显示的状况，有时与对象物对应虚像相当，有时不与对象物对应虚像相当。
D2.变形例2：
上述第2实施方式中，说明了使开关SW断开的控制，而该变形例中，说明选择了在遥控器RC1所对应的图像IM6所显示的图标时的控制。图20是表示选择了图像IM6的图标时使用者观看的视野VR的一例的说明图。如图20所示，右手HD1的食指FF1的位置与图像IM6的“ON/OFF”的图标重叠。在该情况下，控制处理部314在电视机TV1的电源的导通和断开之间进行切换。图20所示例中，食指FF1的位置与图标重叠前，电视机TV1的电源断开，因此，控制处理部314在拍摄图像中食指FF1的位置与“ON/OFF”的图标重叠时，使电视机TV1的电源导通。这样，该变形例中，使用者应进行的手势图像虽然不显示，但是，通过在图像IM6显示后改变食指FF1的位置，图像设定部165向控制装置300发送操作电视机TV1的控制信号。
上述实施方式中，图像判定部168检测在由相机61拍摄的拍摄图像中是否包括操作对象和/或判断对象的图像，但是，作为检测操作对象和/或判断对象的方法，可以有各种变形。例如，红外线传感器和/或超声波传感器也可以检测操作对象和/或判断对象。另外，检测雷达波的雷达探测机也可以检测操作对象和/或判断对象。
D3.变形例3：
上述第3实施方式中，HMD100b的无线通信部132b从服务器400的存储部420取得作为控制装置300b的控制设备及该控制设备的控制器的位置信息，但是，所取得的位置信息也可以仅仅是控制设备或控制器的位置信息。例如，控制设备和控制器一体化时，无线通信部132b取得控制设备或控制器的一方的位置信息即可。另外，也可以是控制设备和控制器中一方的位置信息经由无线通信部132b取得，另一方的位置信息如第1实施方式及第2实施方式那样通过图像识别取得。
上述第3实施方式中，如图18及图19所示，图像设定部165对于检测到的控制设备和检测到的控制设备的控制器，使得图像显示最大区域PN显示相同的对应标记的图像，但是，显示的对应标记可以有各种变形。例如，也可以作为在控制设备和控制器中对应标记的形状相同但颜色不同的图像，在图像显示最大区域PN显示。另外，也可以在图像显示最大区域PN显示“控制设备”和/或“控制器”这样的文字图像。另外，也可以在图像显示最大区域PN显示指示双方的箭头的图像，作为表示控制设备和控制器的对应关系的图像。另外，如第1实施方式及第2实施方式那样，也可以测定到控制设备和/或控制器为止的距离，图像设定部165相应于测定出的距离，改变对应标记的图像的大小，在图像显示最大区域PN显示。
上述第3实施方式中，外部传感器70检测加速度，作为外部传感器70的位置的变化，但是，作为位置的变化而检测的物理参数可以有各种变形。例如，外部传感器70也可以是检测角速度的陀螺仪传感器。外部传感器70也可以不是棒状的形状，而采用在使用者的手指佩戴的戒指和/或在使用者的手臂佩戴的手表那样的形状。另外，外部传感器70可变形，也可以测定外部传感器70的变形量，作为外部传感器70的位置的变化。
上述第3实施方式中，相机61拍摄外景，位置特定部163采用拍摄图像所包括的控制装置300b的图像，修正控制装置300b的位置信息，但是，也不必一定要拍摄外景。控制装置300b的位置也可以仅仅基于经由无线通信部132b取得的位置信息而特定。
图21是表示由アイビーコン(iBeacon：注册商标)取得控制设备的位置信息时使用者观看的视野VR的一例的说明图。图21表示HMD采用アイビーコン的结构而取得从控制设备即电视机TV1具备的信息发送部IB发送的光信息时，观看包括图像显示最大区域PN所显示的图像的外景SC的使用者的视野VR。该变形例中，位置特定部163不是从服务器400，而是从电视机TV1的信息发送部IB取得电视机TV1的位置信息。这样，位置特定部163可以采用各种方法从其他装置取得控制装置300b的位置信息。作为通信的手段，例如也可以采用电力线传输通信(Power Line Communication)等。
图22是表示按照所执行的控制指示在图像显示最大区域PN显示图像IM10时使用者观看的视野VR的说明图。该变形例中，图像设定部165按由识别部161特定的每个使用者，在图像显示最大区域PN显示与检测出的控制设备MC相对应的图像。如图22所示，在图像显示最大区域PN显示：用方框图表示控制设备MC与控制设备MC所关联的周边装置的关系的图像IM10。这样，按照所执行的控制指示在图像显示最大区域PN显示的图像可以有各种变形。
上述第3实施方式中，基于外部传感器70的位置变化来执行控制指示，但是，执行控制指示所需的操作可以有各种变形。例如，图像设定部165也可以基于经由麦克风69取得的声音和检测出的外部传感器70的位置变化的组合，确定执行的控制指示。该变形例的HMD中，基于声音和外部传感器70的位置变化的多个要素来确定控制指示，因此，使用者可以输入更多的操作，使用者的方便性提高。
上述实施方式中，图像设定部165在图像显示最大区域PN显示与所执行的控制指示关联的图像，但是，也不必一定要将与控制指示关联的内容作为图像在图像显示最大区域PN显示。例如，图像设定部165也可以在图像显示最大区域PN显示表示所检测的操作对象和/或判断对象的位置的图像，在图像显示最大区域PN不显示与所执行的控制指示关联的图像。
另外，技术方案中的对象物的选择包括从多个能选择对象物选择一个，另外，也包括：对检测出的一个能选择的对象物从选择或不选择这2个选择项选择一个。
D4.变形例4：
上述实施方式中，在控制部10形成有操作部135，但是，操作部135的方式可以进行各种变形。例如，也可以是与控制部10分体地具有操作部135即用户接口的方式。在该情况下，操作部135与形成有电源130等的控制部10分体，因此，可以小型化，提高使用者的操作性。另外，检测操作部的动作的10轴传感器在操作部135形成，基于检测到的动作来进行各种操作，由此使用者可以直观地进行HMD100的操作。
例如，图像光生成部也可以采用具备有机EL(有机电致发光，Organic Electro-Luminescence)的显示器和有机EL控制部的构成。另外，例如，图像生成部也可以采用LCOS(Liquid crystal on silicon，LCoS是注册商标)和/或数字微镜器件等来取代LCD。另外，例如，也可以向激光视网膜投影型的头戴显示器适用本发明。为激光视网膜投影型时，图像显示最大区域PN可以定义为使用者的眼睛识别的图像区域。
另外，例如，HMD100可以采用光学像显示部仅仅覆盖使用者的眼睛的一部分的方式，换言之，光学像显示部未完全覆盖使用者的眼睛的方式的头戴显示器。另外，HMD100也可以采用所谓单眼类型的头戴显示器。
图23是变形例中的HMD100的外观构成的说明图。为图23(A)的例时，与图1所示的HMD100的不同点在于：图像显示部20b具备右光学像显示部26b来取代右光学像显示部26；具备左光学像显示部28b来取代左光学像显示部28。右光学像显示部26b形成得比上述实施方式的光学部件小，在佩戴HMD100b时的使用者的右眼的斜上方配置。同样，左光学像显示部28b形成得比上述实施方式的光学部件小，在佩戴HMD100b时的使用者的左眼的斜上方配置。为图23(B)的例时，与图1所示的HMD100的不同点在于：图像显示部20c具备右光学像显示部26c来取代右光学像显示部26；具备左光学像显示部28c来取代左光学像显示部28。右光学像显示部26c形成得比上述实施方式的光学部件小，在佩戴头戴显示器时的使用者的右眼的斜下方配置。左光学像显示部28c形成得比上述实施方式的光学部件小，在佩戴头戴显示器时的使用者的左眼的斜下方配置。这样，光学像显示部在使用者的眼睛的附近配置即可。另外，形成光学像显示部的光学部件的大小也可任意，可以实现为光学像显示部仅仅覆盖使用者的眼睛的一部分的方式，换言之，光学像显示部未完全覆盖使用者的眼睛的方式的HMD100。
另外，耳机可以采用耳挂型和/或头带型，也可以省略。另外，例如，也可以构成为在汽车和/或飞机等的车辆搭载的头戴显示器。另外，例如，也可以构成为在头盔等的身体防护具内置的头戴显示器。
上述实施方式中的HMD100的构成只是一例，可以进行各种变形。例如，可以省略设置在控制部10的方向键16和/或跟踪板14的一方、除了方向键16和/或跟踪板14还可以设置操作用杆等的其他操作用接口，或者也可以设置操作用杆等的其他操作用接口来取代方向键16和/或跟踪板14。另外，控制部10也可以是可与键盘和/或鼠标等的输入器件连接的构成，从键盘和/或鼠标接受输入。
另外，作为图像显示部，也可以取代像眼镜那样佩戴的图像显示部20，而采用像例如帽子那样佩戴的图像显示部这样的其他方式的图像显示部。另外，耳机32、34可适宜省略。
另外，上述实施方式中，HMD100可以向使用者的左右眼导入表示相同图像的图像光，令使用者观看二维图像，也可以向使用者的左右眼导入表示不同图像的图像光，令使用者观看三维图像。
另外，上述实施方式中，由硬件实现的构成的一部分也可以用软件置换，反之，由软件实现的构成的一部分也可以用硬件置换。例如，上述实施方式中，图像处理部160和/或声音处理部170通过由CPU140读出并执行计算机程序而实现，但是，这些功能部也可以通过硬件电路实现。例如，上述实施方式的控制部10具备的构成的几个也可以采用为实现本发明的功能而设计的ASIC(Application Specific Integrated Circuit：专用集成电路)来构成。
另外，本发明的功能的一部分或全部用软件实现时，该软件(计算机程序)可以以在计算机可读取记录介质中存储的方式提供。本发明中，计算机可读取记录介质不限于软盘和/或CD-ROM那样的便携型的记录介质，也包括各种的RAM和/或ROM等的计算机内的内部存储装置和/或硬盘等在计算机固定的外部存储装置。
另外，上述实施方式中，如图1及图2所示，控制部10和图像显示部20形成为独立的构成，但是，控制部10和图像显示部20的构成不限于此，可以进行各种变形。例如，在图像显示部20的内部，可以形成在控制部10形成的构成的全部，也可以形成一部分。另外，上述实施方式中的电源130可以单独形成而为可更换的构成，也可以与在控制部10形成的构成重复而在图像显示部20形成。例如，图2所示CPU140可以在控制部10和图像显示部20的两方形成，也可以采用在控制部10形成的CPU140和在图像显示部20形成的CPU执行的功能各自独立的构成。
另外，也可以使控制部10和图像显示部20一体化，成为可安装到使用者的衣服的可穿戴计算机的方式。
本发明不限于上述实施方式和/或变形例，在不脱离其主旨的范围能以各种构成实现。例如，在发明内容栏记载的各方式中的技术特征所对应的实施方式、变形例中的技术特征，为了解决上述问题的一部分或全部，或者为了实现上述效果的一部分或全部，可以适宜进行替换和/或组合。另外，其技术特征在本说明书中未说明为是必须的话，则可以适宜删除。

Claims (18)

1.一种头部佩戴型显示装置，其是透射型的头部佩戴型显示装置，其特征在于，具备：
显示虚像并能透射外景的图像显示部；
对象取得部，其取得处于离上述图像显示部预定的距离的范围的能选择的对象物和上述外景所包括的特定的物体的位置；和
控制部，其用上述图像显示部将与所取得的上述对象物对应的手势指示图像显示为上述虚像，基于所取得的上述特定的物体的位置，特定根据上述特定的物体所得到的手势，基于所特定的根据上述特定的物体所得到的上述手势与所取得的上述对象物的位置的关系，来选择上述对象物，用上述图像显示部将与所选择的上述对象物对应的特定确认图像显示为上述虚像，确定所选择的上述对象物的控制，并执行所确定的上述对象物的控制。
2.权利要求1所述的头部佩戴型显示装置，其特征在于，
上述对象取得部具有：拍摄上述外景的拍摄部；和检测并取得所拍摄的上述外景中包括的上述特定的物体的位置和上述对象物的图像检测部。
3.权利要求2所述的头部佩戴型显示装置，其特征在于，
上述控制部用上述图像显示部，将预先与所取得的上述特定的物体的位置和所取得的上述对象物的组合对应的上述对象物对应虚像显示为上述虚像。
4.权利要求3所述的头部佩戴型显示装置，其特征在于，
上述控制部用上述图像显示部显示：表示执行上述对象物的控制所需的上述特定的物体的位置的变化的上述虚像，来作为预先与所取得的上述特定的物体的位置和所取得的上述对象物的组合对应的上述对象物对应虚像。
5.权利要求2到权利要求4的任一项所述的头部佩戴型显示装置，其特征在于，
上述控制部用上述图像显示部显示：表示要执行的上述对象物的控制的内容的上述虚像，来作为预先与所取得的上述对象物对应的上述对象物对应虚像。
6.权利要求2到权利要求4的任一项所述的头部佩戴型显示装置，其特征在于，
上述控制部在所拍摄的上述外景中上述特定的物体的变化后的位置与上述对象物重叠时，确定预先对应于与上述特定的物体的变化后的位置重叠的上述对象物的上述对象物的控制。
7.权利要求2到权利要求4的任一项所述的头部佩戴型显示装置，其特征在于，
还具备特定所取得的上述对象物与上述图像显示部的距离的距离特定部，
上述控制部将所取得且所特定的上述距离为阈值以下的上述对象物设定为能选择的上述对象物。
8.权利要求2到权利要求4的任一项所述的头部佩戴型显示装置，其特征在于，
还具备取得外部的声音的声音取得部，
上述控制部基于所特定的上述特定的物体的位置的变化和所取得的上述声音的组合，来确定上述对象物的控制。
9.权利要求1所述的头部佩戴型显示装置，其特征在于，
上述对象取得部从其他装置取得至少一个上述对象物的位置信息。
10.权利要求9所述的头部佩戴型显示装置，其特征在于，
上述控制部在所取得的上述对象物不包括于上述外景中时，用上述图像显示部，显示上述图像显示部与所取得的上述对象物的位置关系，来作为上述虚像。
11.权利要求1到权利要求4的任一项所述的头部佩戴型显示装置，其特征在于，
上述控制部检测上述特定的物体的加速度，基于所检测的上述特定的物体的加速度，来特定上述特定的物体的位置的变化。
12.权利要求11所述的头部佩戴型显示装置，其特征在于，
还具备取得外部的声音的声音取得部，
上述控制部基于所取得的上述外部的声音和所特定的上述特定的物体的位置的变化的组合，来确定所选择的上述对象物的控制。
13.权利要求1到权利要求4的任一项所述的头部佩戴型显示装置，其特征在于，
上述控制部执行与所选择的上述对象物对应的控制装置的控制，在取得在上述外景所选择的上述对象物和上述控制装置时，用上述图像显示部显示所选择的上述对象物和上述控制装置处于对应关系这一情况，来作为上述虚像。
14.权利要求13所述的头部佩戴型显示装置，其特征在于，
上述控制部用上述图像显示部，显示相同形状相同颜色的虚像，来作为表示所选择的上述对象物和上述控制装置处于对应关系这一情况的上述虚像。
15.权利要求1到权利要求4的任一项所述的头部佩戴型显示装置，其特征在于，
还具备识别上述图像显示部的使用者的属性的识别部，
上述控制部，使与上述对象物对应的虚像和上述特定确认图像的至少一方与所识别的上述属性对应，用上述图像显示部显示为上述虚像。
16.一种控制***，其特征在于，包括权利要求2到权利要求8的任一项所述的头部佩戴型显示装置，具备：
特定上述对象物的对象物特定部；
发送所特定的上述对象物的信息的第1通信部；以及
控制执行部，
上述头部佩戴型显示装置具备：接收所发送的上述对象物的信息，发送所确定的上述对象物的控制的信息的第2通信部，
上述第1通信部接收所发送的上述对象物的控制的信息，
上述控制执行部，执行基于由上述第1通信部所接收的上述对象物的控制的控制。
17.一种控制方法，其特征在于，是具备显示虚像并能透射外景的图像显示部的透射型头部佩戴型显示装置的控制方法，包括：
取得处于离上述图像显示部预定的距离的范围的能选择的对象物和上述外景所包括的特定的物体的位置的步骤；和
用上述图像显示部将与所取得的上述对象物对应的手势指示图像显示为上述虚像，基于所取得的上述特定的物体的位置，特定根据上述特定的物体所得到的手势，基于所特定的根据上述特定的物体所得到的上述手势与所取得的上述对象物的位置的关系来选择上述对象物，用上述图像显示部将与所选择的上述对象物对应的特定确认图像显示为上述虚像，确定所选择的上述对象物的控制，并执行所确定的上述对象物的控制的步骤。
18.一种记录介质，其特征在于，记录有计算机程序，所述计算机程序用于具备显示虚像并能透射外景的图像显示部的透射型头部佩戴型显示装置，使计算机实现：
对象取得功能，其取得处于离上述图像显示部预定的距离的范围的能选择的对象物和上述外景所包括的特定的物体的位置；和
控制功能，其用上述图像显示部将与所取得的上述对象物对应的手势指示图像显示为上述虚像，基于所取得的上述特定的物体的位置来特定根据上述特定的物体所得到的手势，基于所特定的根据上述特定的物体所得到的上述手势与所取得的上述对象物的位置的关系来选择上述对象物，用上述图像显示部将与所选择的上述对象物对应的特定确认图像显示为上述虚像，确定所选择的上述对象物的控制，并执行所确定的上述对象物的控制。
CN201510180796.8A 2014-05-01 2015-04-16 头部佩戴型显示装置、其控制方法、控制***及计算机程序 Active CN105045375B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-094613 2014-05-01
JP2014094613A JP6427942B2 (ja) 2014-05-01 2014-05-01 頭部装着型表示装置、制御システム、および、頭部装着型表示装置の制御方法
JP2015024971A JP6500477B2 (ja) 2015-02-12 2015-02-12 頭部装着型表示装置、制御システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2015-024971 2015-02-12

Publications (2)

Publication Number Publication Date
CN105045375A CN105045375A (zh) 2015-11-11
CN105045375B true CN105045375B (zh) 2020-01-03

Family

ID=54355456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510180796.8A Active CN105045375B (zh) 2014-05-01 2015-04-16 头部佩戴型显示装置、其控制方法、控制***及计算机程序

Country Status (2)

Country Link
US (2) US9766715B2 (zh)
CN (1) CN105045375B (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9342743B2 (en) * 2014-06-02 2016-05-17 Tesa Sa Method for supporting an operator in measuring a part of an object
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US10043319B2 (en) 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
WO2016160680A1 (en) 2015-03-27 2016-10-06 The Parari Group, Llc Apparatus, systems, and methods for providing three-dimensional instruction manuals in a simplified manner
US9965029B2 (en) * 2015-03-30 2018-05-08 Sony Corporation Information processing apparatus, information processing method, and program
US10310620B2 (en) 2015-04-30 2019-06-04 Google Llc Type-agnostic RF signal representations
KR102002112B1 (ko) * 2015-04-30 2019-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
WO2016176574A1 (en) 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
JP5961736B1 (ja) * 2015-08-17 2016-08-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御する方法、および、プログラム
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN108476033B (zh) 2015-12-24 2020-08-21 索尼互动娱乐股份有限公司 频带确定装置、头戴式显示器和频带确定方法
JP6344417B2 (ja) * 2016-03-18 2018-06-20 トヨタ自動車株式会社 車両用表示装置
WO2017174412A1 (en) * 2016-04-06 2017-10-12 Philips Lighting Holding B.V. Controlling a lighting system
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
US10175781B2 (en) 2016-05-16 2019-01-08 Google Llc Interactive object with multiple electronics modules
CN106155311A (zh) * 2016-06-28 2016-11-23 努比亚技术有限公司 Ar头戴设备、ar交互***及ar场景的交互方法
JP6801263B2 (ja) * 2016-06-30 2020-12-16 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US9928660B1 (en) 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
US11044405B1 (en) 2016-09-16 2021-06-22 Apple Inc. Location systems for electronic device interactions with environment
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
KR102413561B1 (ko) 2016-12-05 2022-06-24 매직 립, 인코포레이티드 혼합 현실 환경의 가상 사용자 입력 콘트롤들
JP2018142168A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2018163558A (ja) * 2017-03-27 2018-10-18 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9998790B1 (en) * 2017-03-30 2018-06-12 Rovi Guides, Inc. Augmented reality content recommendation
US10769438B2 (en) 2017-05-23 2020-09-08 Samsung Electronics Company, Ltd. Augmented reality
SE541650C2 (en) * 2017-05-30 2019-11-19 Crunchfish Ab Improved activation of a virtual object
US10146501B1 (en) * 2017-06-01 2018-12-04 Qualcomm Incorporated Sound control by various hand gestures
EP3424304B1 (de) * 2017-07-04 2021-05-26 Andreas Stihl AG & Co. KG Garten- und/oder forstsystem zur drahtlosen bestimmung von abständen
IL293424A (en) 2017-07-26 2022-07-01 Magic Leap Inc Neural network training with displays of user interface devices
JP6946857B2 (ja) * 2017-08-24 2021-10-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN111052046B (zh) * 2017-09-29 2022-06-03 苹果公司 使用现实界面访问外部设备的功能
CN108196667A (zh) * 2017-09-30 2018-06-22 苏州美房云客软件科技股份有限公司 存储装置、计算机设备和基于虚拟现实技术的选房方法
JP7061883B2 (ja) 2018-01-22 2022-05-02 マクセル株式会社 画像表示装置および画像表示方法
JP2019164420A (ja) * 2018-03-19 2019-09-26 セイコーエプソン株式会社 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム
US11048082B1 (en) * 2018-04-13 2021-06-29 Apple Inc. Wireless bandwidth reduction with display data interleaving
CN112041788B (zh) 2018-05-09 2024-05-03 苹果公司 使用眼睛注视来选择文本输入字段
US11087538B2 (en) * 2018-06-26 2021-08-10 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality images at display locations that do not obstruct user's view
WO2020030156A1 (zh) * 2018-08-10 2020-02-13 广东虚拟现实科技有限公司 图像处理方法、终端设备及计算机可读介质
US11393170B2 (en) 2018-08-21 2022-07-19 Lenovo (Singapore) Pte. Ltd. Presentation of content based on attention center of user
US10991139B2 (en) 2018-08-30 2021-04-27 Lenovo (Singapore) Pte. Ltd. Presentation of graphical object(s) on display to avoid overlay on another item
CN113227940A (zh) 2018-11-09 2021-08-06 贝克曼库尔特有限公司 具有选择性数据提供的服务眼镜
US11120682B2 (en) 2019-02-20 2021-09-14 Robert Bosch Gmbh System and method for operating physical entities based on a virtual representation of the physical entities
EP3956858A1 (en) 2019-04-18 2022-02-23 Beckman Coulter, Inc. Securing data of objects in a laboratory environment
US11107293B2 (en) * 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
CN116490848A (zh) * 2020-11-16 2023-07-25 谷歌有限责任公司 用于投送内容的***和方法
US20230152899A1 (en) * 2021-11-15 2023-05-18 Samsung Electronics Co., Ltd. Wearable device for communicating with at least one counterpart device according to trigger event and control method therefor
US11815687B2 (en) * 2022-03-02 2023-11-14 Google Llc Controlling head-mounted device with gestures into wearable device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2973690B2 (ja) 1992-03-23 1999-11-08 ヤマハ株式会社 機器制御システム
JP2000163196A (ja) 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
JP2000148381A (ja) 1998-11-05 2000-05-26 Telecommunication Advancement Organization Of Japan 入力画像処理方法、入力画像処理装置、及び入力画像処理プログラムを記録した記録媒体
JP2005069734A (ja) 2003-08-20 2005-03-17 Tokyo Univ Of Marine Science & Technology 指さし行為による物体の空間位置の教示方法
JP4416643B2 (ja) 2004-06-29 2010-02-17 キヤノン株式会社 マルチモーダル入力方法
US20130314303A1 (en) * 2010-02-28 2013-11-28 Osterhout Group, Inc. Ar glasses with user action control of and between internal and external applications with feedback
JP5743416B2 (ja) 2010-03-29 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
JP2012173772A (ja) 2011-02-17 2012-09-10 Panasonic Corp ユーザインタラクション装置、ユーザインタラクション方法、ユーザインタラクションプログラム、及び集積回路
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
JP2013205983A (ja) 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容

Also Published As

Publication number Publication date
US9965048B2 (en) 2018-05-08
CN105045375A (zh) 2015-11-11
US20170364162A1 (en) 2017-12-21
US20150317518A1 (en) 2015-11-05
US9766715B2 (en) 2017-09-19

Similar Documents

Publication Publication Date Title
CN105045375B (zh) 头部佩戴型显示装置、其控制方法、控制***及计算机程序
JP6500477B2 (ja) 頭部装着型表示装置、制御システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9921646B2 (en) Head-mounted display device and method of controlling head-mounted display device
US10001857B2 (en) Display apparatus and method of controlling display apparatus
CN110068926B (zh) 显示装置
US9411160B2 (en) Head mounted display, control method for head mounted display, and image display system
JP6232763B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5970872B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US10073262B2 (en) Information distribution system, head mounted display, method for controlling head mounted display, and computer program
JP6476643B2 (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6427942B2 (ja) 頭部装着型表示装置、制御システム、および、頭部装着型表示装置の制御方法
US20150168729A1 (en) Head mounted display device
JP6264871B2 (ja) 情報処理装置および情報処理装置の制御方法
JP6600945B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US20150168725A1 (en) Head mounted display device and method of controlling head mounted display device
CN107077363B (zh) 信息处理装置、控制信息处理装置的方法、记录介质
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20160021360A1 (en) Display device, method of controlling display device, and program
US20160035137A1 (en) Display device, method of controlling display device, and program
JP2016173693A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US20150168728A1 (en) Head mounted display device
JP2016212769A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP6669183B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2017157120A (ja) 表示装置、及び、表示装置の制御方法
JP6308249B2 (ja) 頭部装着型表示装置および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant