CN104615237A - 图像显示***、控制其的方法及头部佩戴型显示装置 - Google Patents

图像显示***、控制其的方法及头部佩戴型显示装置 Download PDF

Info

Publication number
CN104615237A
CN104615237A CN201410616180.6A CN201410616180A CN104615237A CN 104615237 A CN104615237 A CN 104615237A CN 201410616180 A CN201410616180 A CN 201410616180A CN 104615237 A CN104615237 A CN 104615237A
Authority
CN
China
Prior art keywords
user
control part
image
finger
operation portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410616180.6A
Other languages
English (en)
Other versions
CN104615237B (zh
Inventor
高野正秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN104615237A publication Critical patent/CN104615237A/zh
Application granted granted Critical
Publication of CN104615237B publication Critical patent/CN104615237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供图像显示***、控制其的方法以及头部佩戴型显示装置。在用使用者的手指的移动操作头部佩戴型显示装置的技术中，提供易懂且高级的用户界面。图像显示***具备头部佩戴型显示装置和用于操作头部佩戴型显示装置的输入装置，输入装置具备检测使用者的手指的移动的移动检测部，头部佩戴型显示装置具备操作控制部，该操作控制部使使用者作为虚像而观看与检测到的手指的移动相应的虚拟操作部，该虚拟操作部是用于操作头部佩戴型显示装置的虚拟的操作部。

Description

图像显示***、控制其的方法及头部佩戴型显示装置
技术领域
本发明涉及具备头部佩戴型显示装置和输入装置的图像显示***。
背景技术
已知一种在头部佩戴的显示装置即头部佩戴型显示装置(头戴式显示器(Head Mounted Display，HMD))。头部佩戴型显示装置例如利用液晶显示器和光源生成表示图像的图像光，利用投射光学***和/或导光板等将生成的图像光导到使用者的眼睛，由此使使用者识别虚像。
在专利文献1、2中，记载了如下技术：用在使用者的各手指所佩戴的专用装置，检测使用者的各手指的移动，将检测出的手指的移动作为针对头部佩戴型显示装置的输入而使用。在专利文献3、4中，记载了用在头部佩戴型显示装置所搭载的相机来识别使用者的手指的移动的***。在专利文献5、6中，记载了如下技术：用接触了触摸面板的手指的动作历史，能够同时输入与图像的转动、放大、缩小、滚动等的操作相关的执行指示以及操作量。
【专利文献1】日本特开2000－284886号公报
【专利文献2】日本特开2000－029619号公报
【专利文献3】日本特开2008－017501号公报
【专利文献4】日本特开2002－259046号公报
【专利文献5】日本特开2008－027453号公报
【专利文献6】日本特开2010－515978号公报
发明内容
在专利文献1所记载的技术中，对使用者的各手指分配了文字代码和/或符号代码，所以存在操作难以理解这一问题。同样地，在专利文献2所记载的技术中，对使用者的手指的移动(具体而言，是抬起食指并在预定时间内回到原来的位置等的手势)分配了点击和/或拖曳等的指令，所以存在操作难以理解这一问题。在专利文献3所记载的技术中，停留在能够进行框的指定和/或释放快门等的相机操作的阶段，存在无法提供像在当前的智能手机等中已普及了的高级的用户界面(UI，User Interface)这一问题。同样地，在专利文献4所记载的技术中，停留在能够识别手写文字的阶段，存在无法提供高级的用户界面这一问题。在专利文献5、6所记载的技术中，存在对头部佩戴型显示装置未作考虑这一问题。
因此，在例如具备头部佩戴型显示装置和输入装置的图像显示***那样的、通过使用者的手指的移动来操作头部佩戴型显示装置的技术中，期望容易理解且高级的用户界面。此外，对于该图像显示***，也有提高可用性、提高通用性、提高便利性、提高可靠性、减低制造成本这样的各种要求。
本发明是为了解决上述问题中的至少一部分而完成的，能够作为下面的方式来实现。
(1)根据本发明的一个方式，提供一种图像显示***，其具备透射型头部佩戴型显示装置和用于操作所述头部佩戴型显示装置的输入装置。在该图像显示***中，所述输入装置具备检测使用者的手指的移动的移动检测部，所述头部佩戴型显示装置具备操作控制部，该操作控制部使所述使用者作为虚像而观看与所述检测到的手指的移动相应的虚拟(假想)操作部，该虚拟操作部是用于操作所述头部佩戴型显示装置的虚拟的操作部。根据该方式的图像显示***，操作控制部使使用者作为虚像而观看与由输入装置检测出的使用者的手指的移动相应的虚拟的操作部。因此，在具备头部佩戴型显示装置和用于操作头部佩戴型显示装置的输入装置的图像显示***中，能够提供容易理解且如GUI(Graphical User Interface，图形用户界面)那样的高级的用户界面。
(2)在上述方式的图像显示***中，也可以：所述输入装置还具备检测被所述使用者触摸了的位置的信息的输入面，所述操作控制部使所述使用者观看比所述输入面大的所述虚拟操作部的虚像。根据该方式的图像显示***，操作控制部使使用者观看比输入装置所具备的输入面大的虚拟操作部的虚像。与使用输入装置所具备的输入面直接进行输入的情况相比较，使用者能够用大的画面(虚拟操作部)进行输入，所以能够提高使用者的使用方便性。
(3)在上述方式的图像显示***中，也可以：所述操作控制部，仅限于在能够使所述虚拟操作部的虚像中的至少一部分重叠于所述输入面的情况下，使所述使用者观看所述虚拟操作部的虚像。根据该方式的图像显示***，操作控制部，仅限于能够使虚拟操作部的虚像中的至少一部分重叠于输入面的情况，使使用者观看虚拟操作部的虚像。所谓能够使虚拟操作部的虚像中的至少一部分重叠于输入面的情况，是下述情况：即，佩戴有头部佩戴型显示装置的使用者的眼睛与输入装置的输入面大致处于同一线上。因此，这样一来，仅限于佩戴有头部佩戴型显示装置的使用者观看输入装置的输入面的情况，能够使使用者观看虚拟操作部的虚像。
(4)在上述方式的图像显示***中，也可以：所述操作控制部，在所述虚拟操作部的虚像中的至少一部分与所述输入面重叠的情况下，使所述使用者观看将所述重叠的部分放大了的所述虚拟操作部的虚像。根据该方式的图像显示***，操作控制部，在虚拟操作部的虚像中的至少一部分与输入面重叠的情况下，使使用者观看将重叠的部分放大了的虚拟操作部的虚像。因此，使用者能够将输入装置的输入面作为虚拟操作部的放大镜来使用。
(5)在上述方式的图像显示***中，也可以：所述移动检测部，检测所述输入面与所述使用者的手指之间的距离来作为所述手指的移动之一，所述操作控制部，以所述检测出的距离变为第1阈值以下这一情况作为触发，使所述使用者观看所述虚拟操作部的虚像。根据该方式的图像显示***，操作控制部，以输入面与使用者的手指之间的距离变为第1阈值以下这一情况为触发而使使用者观看虚拟操作部的虚像。其结果，使用者能够通过手指接近输入装置的输入面这一直观的动作来开始虚拟操作部的显示。
(6)在上述方式的图像显示***中，也可以：所述头部佩戴型显示装置还具备形成所述虚像的图像显示部，所述操作控制部，通过将所述检测出的手指的移动向所述虚拟操作部上的指示体的坐标变化转换，而生成与所述检测出的手指的移动相应的虚拟操作部，使表示所述生成的虚拟操作部的虚像形成于所述图像显示部。根据该方式的图像显示***，操作控制部，将由输入装置检测出的使用者的手指的移动向虚拟操作部上的指示体的坐标变化转换，由此能生成与检测出的手指的移动相应的虚拟操作部。另外，操作控制部能够用形成虚像的图像显示部，使使用者观看表示生成的虚拟操作部的虚像。
(7)在上述方式的图像显示***中，也可以：所述移动检测部，检测所述输入面与所述使用者的手指之间的距离来作为所述手指的移动之一，所述操作控制部，以所述检测出的距离变为第2阈值以下这一情况作为触发，停止所述转换，以所述检测出的距离变为比所述第2阈值小的第3阈值以下这一情况作为触发，将最后被进行所述转换的所述指示体的坐标作为向所述头部佩戴型显示装置的输入。根据该方式的图像显示***，操作控制部，在输入面与使用者的手指之间的距离变为第2阈值以下的情况下，停止将检测出的手指的移动向虚拟操作部上的指示体的坐标转换。因此，操作控制部，能够在使用者将手指某种程度地接近输入装置的输入面时，使追随手指的移动的虚拟操作部上的指示体的坐标变化停止。另外，操作控制部，在输入面与使用者的手指之间的距离变为比第2阈值小的第3阈值以下的情况下，将最后被转换的指示体的坐标作为对头部佩戴型显示装置的输入。因此，操作控制部，能够在使用者将手指进一步接近了输入装置的输入面时，将第2阈值时刻的指示体的坐标确定为向头部佩戴型显示装置的输入。这样一来，在图像显示***中，能够降低与使用者的手抖相伴的输入抖动的发生。
(8)在上述方式的图像显示***中，也可以：所述输入装置作为所述使用者能够佩戴于身上的可佩戴器件而构成。根据该方式的图像显示***，输入装置作为使用者能够佩戴于身上的可佩戴器件而构成，所以使用者能够简便地搬运头部佩戴型显示装置和输入装置，什么时候都能使用。
上述的本发明的各方式所具有的多个构成要素并不是全部是必需的，为了解决上述问题的一部分或全部，或者为了达成本说明书所记载的效果的一部分或全部，能够适当地就所述多个构成要素的一部分构成要素进行其的变更、删除、与新构成要素的替换、限定内容的一部分的删除。另外，为了解决上述问题的一部分或全部，或者为了达成本说明书所记载的效果的一部分或全部，也可以将上述的本发明的一个方式所含的技术特征的一部分或全部与上述的本发明的其他方式所含的技术特征的一部分或全部组合，以作为本发明的独立的一个方式。
例如，本发明的一个方式，能够作为具备移动检测部和操作控制部这2个要素中的一部分或全部要素的***实现。即，该装置既可以有移动检测部也可以没有。另外，该装置既可以有操作控制部也可以没有。这样的装置，能够作为例如图像显示***实现，但是也能够作为图像显示***以外的其他装置实现。上述的画像显示***的各方式的技术特征的一部分或全部都能够适用于该***。
此外，本发明能够以各种方式来实现，例如能够以使用头部佩戴型显示装置的图像显示***、图像显示***的控制方法、头部佩戴型显示装置、头部佩戴型显示装置的控制方法、用于实现该方法、该装置或该***的功能的计算机程序、记录有该计算机程序的记录介质等的方式来实现。
附图说明
图1是表示本发明的一个实施方式中的图像显示***1000的概略构成的说明图。
图2是按功能表示输入装置300的构成的框图。
图3是用于对移动检测部320进行说明的说明图。
图4是按功能表示头戴式显示器100的构成的框图。
图5是用于对虚拟操作部进行说明的说明图。
图6是表示被使用者观看的虚像的一例的说明图。
图7是表示输入处理的步骤的流程图。
图8是表示输入处理的步骤的流程图。
图9是表示在输入处理中被显示的虚拟操作部的一例的说明图。
图10是针对输入处理中的使用者的手指的移动的变化与虚拟操作部的变化的关系的说明图。
图11是针对输入处理中的使用者的手指的移动的变化与虚拟操作部的变化的关系的说明图。
图12是用于对输入处理的第1变形进行说明的说明图。
图13是用于对输入处理的第1变形进行说明的说明图。
图14是用于对输入处理的第2变形进行说明的说明图。
图15是用于对输入处理的第3变形进行说明的说明图。
图16是表示变形例中的头戴式显示器的外观构成的说明图。
附图标记说明
10…控制部；       20…图像显示部；  22…右显示驱动部；
24…左显示驱动部；  26…右光学像显示部；
28…左光学像显示部；32…右耳机；    34…左耳机；
40…连接部；        51…发送部；     52…发送部；
53…接收部；       61…相机；       66…9轴传感器；
100…头戴式显示器(头部佩戴型显示装置)；
110…输入信息取得部；    120…存储部；
130…电源；              132…无线通信部；
140…CPU；            142…操作控制部；
160…图像处理部；        170…声音处理部；
180…接口；              190…显示控制部；
201…右背光源控制部；    202…左背光源控制部；
221…右背光源；          222…左背光源；
251…右投射光学***；    252…左投射光学***；
261…右导光板；          262…左导光板；
300…输入装置；          310…输入面；
320…检测部；    321…相机；    322…红外LED；
350…CPU；    351…控制部；  360…存储部；
370…通信接口；         1000…图像显示***；
Data…图像数据；   L1…距离；    L2…距离
SA…可检测范围；  SC…外景；    RE…右眼；
LE…左眼；        FG…手指；    FG1…手指；
FG2…手指；       EI…输入面图像；    VI…虚像；
VO…虚拟操作部；  PO…指示物(指示体)；
PO1…指示物(指示体)；PO2…指示物(指示体)；
VR…视野；         LT1…菜单一览
具体实施方式
A.实施方式：
A－1.图像显示***的构成：
图1是本发明的一个实施方式中的图像显示***1000的概略构成的说明图。图像显示***1000具备头部佩戴型显示装置100和作为外部装置的输入装置300。输入装置300为用于操作头部佩戴型显示装置100的装置。输入装置300通过与头部佩戴型显示装置100协同工作，执行后述的输入处理，能够由使用者对头部佩戴型显示装置100进行操作。
头部佩戴型显示装置100是在头部佩戴的显示装置，也被称为头戴式显示器(Head Mounted Display，HMD)。本实施方式的头戴式显示器100是使用者在观看虚像的同时也能够直接观看外景的光学透射型的头部佩戴型显示装置。输入装置300是信息通信终端，构成为使用者能够佩戴于身上的可佩戴器件。在本实施方式中，例示手表型的器件。头戴式显示器100与输入装置300以能够进行无线通信或有线通信的方式连接。
A－2.输入装置的构成：
图2是按功能示出输入装置300的构成的框图。如图1、2所示，输入装置300具备输入面310、移动检测部320、ROM330、RAM340、存储部360和CPU350。
输入面310是组合液晶面板那样的显示装置和触摸垫那样的位置输入装置而成的触摸面板，检测被使用者触摸了的位置的信息。输入面310遍及输入装置300的壳体上部的整个面而配置。
图3是用于对移动检测部320进行说明的说明图。如图1所示，移动检测部320包括多个相机321和多个红外LED(Light Emitting Diode，发光二极管)322而构成，检测使用者的手指的移动。这里所谓“手指的移动”指的是在x方向、y方向、z方向(图3)上表现的3维的手指FG的移动。为了检测到手指FG的移动，移动检测部320将从多个红外LED322出射的光向使用者的手指投射、用多个相机321对手指的反射光进行拍摄。此外，将能够利用移动检测部320检测手指FG的移动的范围称为可检测范围SA。另外，在本实施方式中，移动检测部320具备2个相机和3个红外LED。移动检测部320内置于输入装置300的壳体。
CPU350通过读出并执行存储在存储部360中的计算机程序，作为控制部351发挥作用。控制部351通过与头戴式显示器100的操作控制部142协同工作来执行后述的输入处理。另外，控制部351实现以下的a1～a2所示的功能。
(a1)控制部351与头戴式显示器100进行配对。控制部351使配对了的头戴式显示器100的信息存储于存储部360，之后断开与其他的头戴式显示器100之间的功能a2的执行和/或输入处理的执行。
(a2)控制部351将配对了的头戴式显示器100的状态显示在输入面310上。所谓状态，例如是邮件接收的有无、电话呼入的有无、电池余量、头戴式显示器100中执行的应用程序的状态等。
存储部360包括ROM、RAM、DRAM、硬盘等而构成。
A－3.头部佩戴型显示装置的构成：
图4是按功能表示头戴式显示器100的构成的框图。如图1所示，头戴式显示器100具备：图像显示部20，其在被佩戴于使用者的头部的状态下使使用者观看虚像；和对图像显示部20进行控制的控制部(控制器)10。图像显示部20和控制部10通过连接部40连接，并经由连接部40进行各种信号的传送。连接部40能够采用金属缆线或光纤。
A－3－1.控制部的构成：
控制部10是用于对头戴式显示器100进行控制并与输入装置300通信的装置。控制部10具备输入信息取得部110、存储部120、电源130、无线通信部132、GPS模块134、CPU140、接口180、发送部(Tx)51以及52，各部分通过未图示的总线而相互连接。
输入信息取得部110获取与针对输入器件的操作输入相应的信号，该输入器件例如是触摸垫、十字键、脚踏开关(通过使用者的脚进行操作的开关)、手势检测(利用相机等检测使用者的手势，获取与手势相对应的指令所代表的操作输入)、视线检测(利用红外线传感器等检测使用者的视线，获取与视线的移动相对应的指令所代表的操作输入)、麦克风等。此外，手势检测时，还可以将使用者的指尖、使用者的手上戴的戒指和/或使用者手上拿的道具等作为用于移动检测的标记。只要获取针对脚踏开关、视线检测、麦克风的操作输入，即使在使用者难以用手操作的现场(例如，医疗现场、建筑业和/或制造业等的需要手头作业的现场等)，也能够大幅度提高使用头戴式显示器100的情况下的使用者的便利性。
存储部120包括ROM、RAM、DRAM、硬盘等而构成。电源130对头戴式显示器100的各部分供给电力。作为电源130能够使用例如二次电池。无线通信部132按照预定的无线通信标准(例如红外线、Bluetooth(注册商标)所例示的近距离无线通信、IEEE802.11所例示的无线LAN等)，在与外部装置之间进行无线通信。所谓外部装置指的是头戴式显示器100以外的其他的设备，除了图1所示的输入装置300之外，还有平板电脑、个人计算机、游戏机终端、AV(Audio Video，音频视频)终端、家电产品等。GPS模块134通过接收来自GPS卫星的信号，而检测头戴式显示器100的使用者的当前位置，生成表示使用者的当前位置的当前位置信息。此外，当前位置信息能够通过例如表示经度纬度的坐标来实现。
CPU140通过读出并执行存储在存储部120中的计算机程序，而作为操作控制部142、操作***(OS)150、图像处理部160、声音处理部170和显示控制部190发挥作用。
图5是用于对虚拟操作部进行说明的说明图。操作控制部142(图4)通过与输入装置300协同工作来执行输入处理。在输入处理中，操作控制部142，作为虚像VI使使用者观看到用于使用者操作头戴式显示器100的虚拟的操作部(以后也称为“虚拟操作部”)VO。如图所示，在本实施方式中，使用者所观看的虚拟操作部VO的虚像VI比输入装置300的输入面310大。另外，如图所示，在本实施方式中，虚拟操作部VO的虚像VI的显示仅限于：能够使虚像VI中的至少一部分重叠于输入面310的情况、若换言之则是佩戴头戴式显示器100的使用者的眼睛与输入装置300的输入面310大致在同一线上的情况。
图像处理部160基于从操作控制部142、接口180和/或无线通信部132等经由OS150而输入的影像信号来生成信号。图像处理部160通过将生成的信号经由连接部40供给到图像显示部20，从而对画像显示部20上的显示进行控制。用于供给图像显示部20的信号在模拟形式和数字形式的情况下存在不同。
例如，在为数字形式的情况下，输入数字R信号、数字G信号、数字B信号和时钟信号PCLK为同步的状态的影像信号。图像处理部160根据需要对包括数字R信号、数字G信号和数字B信号的图像数据Data进行公知的分辨率转换处理、辉度彩度调整等各种色调修正处理、梯形修正处理等的图像处理。然后，图像处理部160将时钟信号PCLK和图像数据Data经由发送部51、52进行发送。
在为模拟形式的情况下，被输入包括模拟RGB信号、垂直同步信号VSync和水平同步信号HSync的影像信号。图像处理部160从输入的信号中分离出垂直同步信号VSync和水平同步信号HSync，并相应于它们的周期，生成时钟信号PCLK。另外，图像处理部160利用A/D转换电路等将模拟RGB信号转换成数字信号。图像处理部160在根据需要对包括转换后的数字RGB信号的图像数据Data执行了公知的图像处理后，将时钟信号PCLK、图像数据Data、垂直同步信号VSync和水平同步信号HSync经由发送部51、52进行发送。此外，以后，还将经由发送部51发送的图像数据Data称作“右眼用图像数据Data1”，将经由发送部52发送的图像数据Data称作“左眼用图像数据Data2”。
显示控制部190生成对图像显示部20所具有的右显示驱动部22以及左显示驱动部24进行控制的控制信号。所谓控制信号是用于分别进行下述切换的信号：由右LCD控制部211实现的右LCD241的驱动ON/OFF切换、由右背光源控制部201实现的右背光源221的驱动ON/OFF切换、由左LCD控制部212实现的左LCD242的驱动ON/OFF切换、由左背光源控制部202实现的左背光源222的驱动ON/OFF切换。显示控制部190通过这些控制信号对右显示驱动部22以及左显示驱动部24中的图像光的生成以及射出进行控制。显示控制部190经由发送部51、52来发送生成的控制信号。
声音处理部170获取内容所含的声音信号并对获取到的声音信号进行放大，并对右耳机32的未图示的扬声器以及左耳机34的未图示的扬声器供给。
接口180按照预定的有线通信标准(例如，微USB(Universal Serial Bus,通用串行总线)、USB、HDMI(High Definition Multimedia Interface，高清晰度多媒体接口，HDMI为注册商标)、DVI(Digital Visual Interface，数字视频接口)、VGA(Video Graphics Array，视频图形阵列)、COMPOSITE(合成)、RS－232C(Recommended Standard(推荐性标准)232)、IEEE802.3所例示的有线LAN等)，在与外部装置之间进行有线通信。外部装置是指头戴式显示器100以外的其他的设备，除了图1所示的输入装置300以外，还有平板电脑、个人计算机、游戏终端、AV终端、家电产品等。
A－3－2.图像显示部的构成：
图像显示部20是佩戴在使用者的头部的佩戴体，在本实施方式中具有眼镜形状。图像显示部20包括右显示驱动部22、左显示驱动部24、右光学像显示部26(图1)、左光学像显示部28(图1)和9轴传感器66。
右显示驱动部22和左显示驱动部24被配置在使用者佩戴图像显示部20时的与使用者的太阳穴相对的位置。本实施方式中的右显示驱动部22和左显示驱动部24利用液晶显示器(Liquid Crystal Display，以下称作“LCD”)和/或投射光学***，生成并出射表示图像的图像光。
右显示驱动部22包括接收部(Rx)53、作为光源发挥功能的右背光源(BL)控制部201及右背光源(BL)221、作为显示元件发挥功能的右LCD控制部211及右LCD241、和右投射光学***251。
接收部53接收从发送部51发送的数据。右背光源控制部201基于所输入的控制信号，驱动右背光源221。右背光源221为例如LED和/或电致发光(EL)等的发光体。右LCD控制部211基于所输入的时钟信号PCLK和右眼用图像数据Data1、垂直同步信号VSync和水平同步信号HSync，来驱动右LCD241。右LCD241是将多个像素配置成矩阵状而成的透射型液晶面板。右LCD241通过驱动被配置成矩阵状的各像素位置的液晶，而使透射右LCD241的光的透射率变化，由此，将从右背光源221照射的照明光向表示图像的有效的图像光调制。右投射光学***251包括将从右LCD241出射的图像光变成并行状态的光束的准直透镜而构成。
左显示驱动部24具有与右显示驱动部22大致同样的构成，与右显示驱动部22同样地工作。即，左显示驱动部24包括接收部(Rx)54、作为光源发挥功能的左背光源(BL)控制部202及左背光源(BL)222、作为显示元件发挥功能的左LCD控制部212及左LCD242、左投射光学***252。详细的说明省略。此外，本实施方式中采用背光源方式，但还可以采用前光源(front light)方式和/或反射方式出射图像光。
右光学像显示部26和左光学像显示部28配置成，在使用者佩戴图像显示部20时分别位于使用者的左右的眼前(参照图1)。右光学像显示部26包括右导光板261和未图示的调光板。右导光板261由光透射性的树脂材料等制成。右导光板261一边使从右显示驱动部22输出的图像光沿预定的光路反射一边将其导向使用者的右眼RE。右导光板261既可以使用衍射栅格也可以使用半透射半反射膜。调光板为薄板状的光学元件，配置得覆盖图像显示部20的表侧。调光板保护右导光板261，并且通过光透射率的调整来调整进入使用者眼睛的外光量从而对虚像的观看容易度进行调整。此外，调光板能够省略。
左光学像显示部28具有与右光学像显示部26大致同样的构成，与右光学像显示部26同样地工作。即，左光学像显示部28包括左导光板262和未图示的调光板，将从左显示驱动部24输出的图像光导向使用者的左眼LE。详细的说明省略。
9轴传感器66是对加速度(3轴)、角速度(3轴)、地磁(3轴)进行检测的移动传感器(motion sensor)。9轴传感器66设置于图像显示部20，所以在图像显示部20被佩戴于使用者的头部时，作为检测头戴式显示器100的使用者的头部的移动的头部移动检测部发挥作用。这里，所谓头部的移动包括头部的速度、加速度、角速度、朝向、朝向的变化。
图6是表示被使用者看到的虚像的一例的说明图。图6中例示了使用者的视野VR。如上述那样，被导入头戴式显示器100的使用者的双眼的图像光在使用者的视网膜上成像，由此，使用者能够看到虚像VI。图6的例中，虚像VI为头戴式显示器100的OS的待机画面。另外，使用者透过右光学像显示部26及左光学像显示部28看到外景SC。这样，本实施方式的头戴式显示器100的使用者，针对视野VR中的显示有虚像VI的部分，能够看见虚像VI和虚像VI背后的外景SC。另外，使用者针对视野VR中没有显示虚像VI的部分，能够透过右光学像显示部26及左光学像显示部28而直接观察外景SC。此外，本说明书中，“头戴式显示器100显示图像”的情况还包括使头戴式显示器100的使用者看到虚像的情况。
A－4.配置处理：
图7、8是表示输入处理的步骤的流程图。图9是表示在输入处理中所显示的虚拟操作部的一例的说明图。图10、11是关于输入处理中的使用者的手指移动的变化与虚拟操作部的变化之间的关系的说明图。输入处理是如图5所示、使使用者观看表示虚拟操作部VO的虚像VI，并且使用虚拟操作部VO获取来自使用者的输入的处理。
输入处理通过头戴式显示器100的操作控制部142和输入装置300的控制部351协同工作而执行。本实施方式中的输入处理的实施条件是能够使虚拟操作部VO的虚像VI重叠于输入面310这一条件(即，佩戴有头戴式显示器100的使用者的眼睛与输入装置300的输入面310大致处于同一线上)。该实施条件，能够在对头戴式显示器100的光学像显示部和输入装置300的输入面310设置有红外光的受光发光部的基础上，根据受光部能否对来自发光部的红外光进行受光这一点来判定。此外，实施条件的判定既可以由操作控制部142实施，也可以由控制部351实施。操作控制部142和控制部351仅在满足上述实施条件的期间执行图7、8所示的输入处理。
在图7的步骤S102中，控制部351判定在输入面310上是否检测到使用者的手指。具体而言，控制部351基于由移动检测部320检测出的使用者的手指的移动来求出输入面310与使用者手指FG之间的距离L1(图3)。控制部351，在距离L1为第1阈值以下的情况下判定为检测到了使用者的手指，在距离L1大于第1阈值的情况下判定为没有检测到使用者的手指。此外，第1阈值虽然能够任意确定，但是在本实施方式中，设为例如20mm。控制部351在没有检测到使用者的手指的情况下(步骤S102：否)，回到步骤S102而反复进行是否检测到手指的判定。控制部351在检测到了使用者的手指的情况下(步骤S102：是)，处理向步骤S104转变。
在步骤S104中，操作控制部142显示虚拟操作部。具体而言，操作控制部142生成表示图9(A)所示那样的配置有键盘的虚拟操作部VO的图形和/或生成表示图9(B)所示那样的与OS的桌面画面相同的虚拟操作部VO的图像。此外，操作控制部142也可以从外部(例如OS150)获取虚拟操作部VO，以取代生成虚拟操作部VO。之后，操作控制部142将表示生成的或获取的虚拟操作部VO的图像向图像处理部160发送。在接收了表示虚拟操作部VO的图像的图像处理部160中，进行上述的显示处理。其结果，被导入头戴式显示器100的使用者双眼的图像光在使用者的视网膜上成像，由此，头戴式显示器100的使用者能够在视野中观看表示虚拟操作部VO的图像的虚像VI。如果换言之，则头戴式显示器100能够显示虚拟操作部VO。
在步骤S106中，操作控制部142获取手指的坐标。具体而言，控制部351获取由移动检测部320检测出的使用者的手指的移动，将其经由通信接口370向头戴式显示器100发送。操作控制部142获取经由无线通信部132接收到的使用者的手指移动。操作控制部142将获取的使用者的手指移动即在x方向、y方向、z方向所示的3维的手指FG的移动(图3)变换成虚拟操作部VO(图9)上的坐标。
在图7的步骤S108中，操作控制部142相应于使用者的手指的移动而使虚拟操作部显示指示物(指示体)。具体而言，操作控制部142使表示指示物的图像相对于在步骤S106中所得的手指的坐标位置重叠，并将重叠后的图像发送给图像处理部160。图10(A)示出经过步骤S108所显示的虚拟操作部VO。图10(A)中，虚拟操作部VO中的与使用者的手指FG的位置相对应的位置，显示指示物PO。
在图7的步骤S110中，操作控制部142判定使用者的手指是否接近了输入面310。具体而言，操作控制部142，基于在步骤S106所获取的使用者的手指的移动来求出输入面310与使用者的手指FG之间的距离L1(图3)。操作控制部142在距离L1为第2阈值以下的情况下判定为使用者的手指接近了输入面310，在距离L1比第2阈值大的情况下判定为使用者的手指未接近输入面310。此外，第2阈值虽然能够任意确定，但是在本实施方式中，例如设为10mm。
在使用者的手指未接近的情况下(步骤S110：否)，操作控制部142回到步骤S106，继续进行使用者的手指的移动的检测和配置有与移动相应的指示物的虚拟操作部的显示。图10(B)示出：通过反复进行步骤S106～S110(否判定)而显示了与使用者的手指FG的移动相应的指示物PO的虚拟操作部VO的状况。
在使用者的手指接近了的情况下(步骤S110：是)，操作控制部142判定输入面310是否被按下了(步骤S112)。具体而言，操作控制部142，在基于在步骤S106所获取的使用者的手指的移动而求出的距离L1(图10(C))为第3阈值以下的情况下判定为输入面310被按下了，在距离L1大于第3阈值的情况下判定为输入面310未被按下。此外，第3阈值虽然能够任意确定，但是在本实施方式中，设为例如0mm(使用者的手指与输入面31接触的状态)。
在输入面310没有被按下的情况下(步骤S112：否)，操作控制部142回到步骤S112，继续监视输入面310是否被按下。此外，在继续监视输入面310是否被按下期间，操作控制部142维持距离L1在第2阈值以下时的虚拟操作部的显示，不进行与使用者的手指的移动相应的虚拟操作部的显示。
在输入面310被按下了的情况下(步骤S112：是)，操作控制部142将虚拟操作部的指示物变更为按下显示(步骤S114)。在这里，所谓按下显示指的是，将指示物的显示形态变更为能够与通常的指示物区别开的程度。在按下显示中，能够改变例如指示物的形状、颜色和装饰中的至少任一个。图11(A)示出通过使用者的手指FG按下了输入面310的状况。图11(B)示出通过步骤S114将虚拟操作部VO的指示物PO变更为按下显示的状况。
在图7的步骤S116中，操作控制部142检测手指的确定。具体而言，操作控制部142获取最后进行了步骤S106的变换的手指的坐标(如果换言之则是虚拟操作部上的指示物的坐标)作为被进行了“手指的确定”的坐标位置。此外，以后，也将被进行了手指的确定的坐标称为“手指的确定坐标”。
在步骤S120中，操作控制部142判定手指的坐标是否变化了。具体而言，操作控制部142获取由移动检测部320检测出的使用者的手指的移动并进行与步骤S106同样的变换，获取虚拟操作部上的手指的坐标。操作控制部142将该坐标与在步骤S116中获取的手指的确定坐标相比较，判定是否有变化。在手指的坐标没有变化的情况下(步骤S120：否)，操作控制部142将处理向步骤S122转变。在手指的坐标变化了的情况下(步骤S120：是)，操作控制部142使处理向图8的步骤S150转变。
在步骤S122中，操作控制部142判定从手指的确定(步骤S116)起是否经过了预定时间。此外，预定时间虽然可以任意确定，但是在本实施方式设为例如1秒。在没有经过预定时间的情况下(步骤S122：否)，操作控制部142使处理向步骤S128转变。在经过了预定时间的情况下(步骤S122：是)，在步骤S124中操作控制部142判定是否处于长按操作的途中。是否处于长按操作的途中例如能够使用标志来管理。
在处于长按操作的途中的情况下(步骤S124：是)，操作控制部142使处理向步骤S128转变。在不处于长按操作的途中的情况下(步骤S124：否)，在步骤S126中操作控制部142开始长按操作。具体而言，操作控制部142使处理向步骤S116转变，对从最初的手指的确定(步骤S116)起的经过时间进行计时。
在步骤S128中，操作控制部142判定手指的确定是否被解除了。具体而言，操作控制部142获取由移动检测部320检测到的使用者的手指的移动，进行与步骤S106同样的变换，获取虚拟操作部上的手指的坐标。操作控制部142在符合下述两种情况中的至少任一种的情况下判定为手指的确定被解除了：将该坐标与在步骤S116中获取的手指的确定坐标进行比较而发生了变化的情况；和基于获取的使用者的手指的移动所得的距离L1大于第3阈值的情况。
在手指的确定未被解除的情况下(步骤S128：否)，操作控制部142使处理向步骤S116转变，继续进行对自最初的手指的确定(步骤S116)起的经过时间的计时。在手指的确定被解除了的情况下(步骤S128：是)，操作控制部142判定是否处于长按操作的途中。详情与步骤S124相同。
在不处于长按操作的途中的情况下(步骤S130：否)，操作控制部142判定为由使用者进行了点击操作(轻敲操作)(步骤S132)。操作控制部142将表示是点击操作这一内容的信息和在步骤S116获取的手指的确定坐标作为向头戴式显示器100的输入向OS150和/或其他的应用程序发送。在处于长按操作的途中的情况下(步骤S130：是)，操作控制部142判定为由使用者进行了长按操作(长时间轻敲操作)(步骤S134)。操作控制部142将表示是长按操作这一内容的信息和在步骤S116获取的手指的确定坐标作为向头戴式显示器100的输入向OS150和/或其他的应用程序发送。
在步骤S136中，操作控制部142将虚拟操作部的指示物向通常的显示改变。详情与步骤S114大致相同。在步骤S138中，操作控制部142判定手指的确定是否被解除了。详情与步骤S128相同。在手指的确定未被解除的情况下(步骤S138：否)，操作控制部142使处理向步骤S106转变，重复进行上述处理。在手指的确定被解除了的情况下(步骤S138：是)，在步骤S140中操作控制部142将虚拟操作部的指示物设为非显示并结束处理。
这样通过步骤S102～S140，能够使用与使用者的手指的移动相应的虚拟操作部，获取点击操作和长按操作。接下来，利用图8就点击操作和拖曳操作的获取进行说明。
在图8的步骤S150中，操作控制部142就步骤S120中的手指的坐标的变化量进行判定。在手指的坐标的变化量比预定量大的情况下(步骤S150：比预定量大)，在步骤S152中操作控制部142使滑动(flick)操作开始。此外，所谓预定量能够任意地确定。
在步骤S154中，操作控制部142获取手指的坐标。详情与图7的步骤S106相同。在步骤S156中，操作控制部142与使用者的手指的移动相应地使虚拟操作部显示指示物。详情与图7的步骤S108相同。操作控制部142，为了追随使用者的滑动操作而改变指示物的位置，反复执行步骤S154、S156。而且，操作控制部142，在使用者的手指的移动停止了的时刻，将虚拟操作部的指示物变更为按下显示。详情与步骤S114相同。
在步骤S158中，操作控制部142判定手指的确定是否被解除了。详情与步骤S128相同。在手指的确定没有被解除的情况下(步骤S158：否)，操作控制部142使处理向步骤S154转变，并重复进行上述处理。在手指的确定被解除了的情况下(步骤S158：是)，操作控制部142判定为由使用者进行了滑动操作(步骤S160)。操作控制部142将表示是滑动操作这一内容的信息和在步骤S154获取的一系列的手指的坐标作为向头戴式显示器100的输入向OS150和/或其他的应用程序发送。之后，操作控制部142使处理向步骤S180转变。
在步骤S150中，在手指的坐标的变化量为预定量以下的情况下(步骤S150：预定量以下)，在步骤S162中操作控制部142使拖曳操作开始。
在步骤S164中，操作控制部142获取手指的坐标。详情与图7的步骤S106相同。在步骤S166中，操作控制部142与使用者的手指的移动相应地使虚拟操作部显示指示物。详情与图7的步骤S108相同。操作控制部142，为了追随使用者的拖曳操作而改变指示物的位置，反复执行步骤S164、S166。而且，操作控制部142在使用者的手指的移动停止了的时刻，将虚拟操作部的指示物变更为按下显示。详情与步骤S114相同。
在步骤S168中，操作控制部142判定手指的确定是否被解除了。详情与步骤S128相同。在手指的确定没有被解除的情况下(步骤S168：否)，操作控制部142使处理向步骤S164转变，反复进行上述处理。在手指的确定被解除了的情况下(步骤S168：是)，操作控制部142判定为由使用者进行了拖曳操作(步骤S170)。操作控制部142将表示是拖曳操作这一内容的信息和在步骤S164获取的一系列的手指的坐标作为向头戴式显示器100的输入向OS150和/或其他的应用程序发送。之后，操作控制部142使处理向步骤S180转变。
在步骤S180中操作控制部142将虚拟操作部的指示物设为非显示并将处理结束。
如上所述，根据第1实施方式，操作控制部142使使用者将与由输入装置300的移动检测部320检测出的使用者的手指的移动相应的虚拟的操作部(虚拟操作部VO)观看为虚像VI。因此，在具备头戴式显示器100(头部佩戴型显示装置)和用于操作头戴式显示器100的输入装置300的图像显示***1000中，能够提供易懂且如GUI(Graphical User Interface，图形用户界面)那样的高级的用户界面。
而且，根据第1实施方式的输入处理(图7、8)，操作控制部142将由输入装置300的移动检测部320检测出的使用者的手指的移动向虚拟操作部VO上的指示物PO(指示体)的坐标变化转换，由此，能够生成与检测出的手指的移动相应的虚拟操作部VO。
进一步，如图5所示，根据第1实施方式的输入处理(图7、8)，操作控制部142使使用者观看比输入装置300所具备的输入面310大的虚拟操作部VO的虚像VI。与利用输入装置300所具备的输入面310直接进行输入的情况相比较，使用者能够使用大画面(虚拟操作部VO)进行针对头戴式显示器100(头部佩戴型显示装置)的输入，所以能够提高使用者的使用方便性。
进一步，根据第1实施方式的输入处理(图7、8)，操作控制部142仅限于能够使虚拟操作部VO的虚像VI中的至少一部分重叠于输入面310的情况才执行输入处理，使使用者观看虚拟操作部VO的虚像VI。所谓能够使虚拟操作部VO的虚像VI中的至少一部分重叠于输入面310的情况，也即是，佩戴着头戴式显示器100(头部佩戴型显示装置)的使用者的眼睛与输入装置300的输入面310大致处于同一线上的情况。因此，如果这样，则仅限于佩戴着头戴式显示器100的使用者看着输入装置300的输入面310的情况，才能够使使用者观看虚拟操作部VO的虚像VI。
进一步，根据第1实施方式的输入处理(图7、8)，操作控制部142以输入面310与使用者的手指之间的距离L1变为第1阈值以下这一情况为触发而使使用者观看虚拟操作部VO的虚像VI(步骤S102、S104)。其结果，使用者能够以手指接近输入装置300的输入面310这样的直观的动作来开始虚拟操作部VO的显示。
进一步，根据第1实施方式的输入处理(图7、8)，操作控制部142，在输入面310与使用者的手指之间的距离L1变为第2阈值以下的情况下，停止将所检测到的手指的移动向虚拟操作部VO上的指示物PO(指示体)的坐标转换(步骤S110、S112)。因此，操作控制部142能够在使用者将手指某种程度地接近输入装置300的输入面310时，使追随手指的移动的虚拟操作部VO上的指示物PO的坐标变化停止。另外，操作控制部142，在输入面310与使用者的手指之间的距离L1为比第2阈值小的第3阈值以下的情况下，将最后被转换的指示物PO的坐标(如果换言之则是手指的确定坐标)作为向头戴式显示器100(头部佩戴型显示装置)的输入。因此，操作控制部142，能够在使用者将手指进一步接近输入装置300的输入面310时，将第2阈值时刻的指示物PO的坐标确定为向头戴式显示器100的输入。如果这样，则在图像显示***1000中能够降低与使用者的手抖相伴的输入抖动的发生。
进一步，根据第1实施方式，输入装置300构成为使用者能够佩戴到身上的可佩戴器件，因此，使用者能够简便地搬运头戴式显示器100(头部佩戴型显示装置)和输入装置300，什么时候都能够使用。
A－5.配置处理的变形：
以下，关于利用图5以及图7～11说明了的配置处理的变形进行说明。下面，仅对具有不同于上述配置处理的构成以及工作的部分进行说明。此外，在图中对与上述配置处理相同的构成部分标注了与在先说明的图5以及图7～11同样的附图标记，并省略对其的详细说明。
A－5－1.第1变形：
在第1变形中，就输入装置300的输入面310能够作为用于放大虚拟操作部的放大镜使用的构成进行说明。
图12、13是用于就输入处理的第1变形进行说明的说明图。第1变形与利用图5以及图7～11说明了的配置处理相比较，在以下所列举的b1、b2点上不同。
(b1)操作控制部142，不采用图7中说明了的“输入处理的实施条件”，而是基于使用者的操作、来自OS150的请求、来自其他应用程序的请求等，而随时使表示虚拟操作部的虚像显示。此外，所谓在图7中说明了的输入处理的实施条件，是能够使虚拟操作部的虚像重叠于输入面310这一情况(即，佩戴着头戴式显示器100的使用者的眼睛与输入装置300的输入面310大致处于同一线上)。其结果，如图12所示，即使在使用者没看输入面310的情况下，在使用者的眼前也会显示虚拟操作部VO的虚像VI。
(b2)操作控制部142，在虚拟操作部的虚像中的至少一部分与输入面310重叠的情况下，使使用者观看将重叠部分放大了的虚拟操作部的虚像。具体而言，操作控制部142与在图7、8中说明了的输入处理并行地，监视虚拟操作部的虚像与输入面310的重叠情况。在检测到重叠后，操作控制部142生成将重叠部分放大了的虚拟操作部的图像，并向图像处理部160发送。之后，在图像处理部160中基于接收的图像进行上述的显示处理。其结果，如图13所示，头戴式显示器100的使用者能够观看虚拟操作部VO的虚像VI与输入面310重叠的部分P1被放大而成的虚拟操作部VO的虚像VI。此外，重叠部分P1的判定既可以用红外光来实施，也可以通过对由头戴式显示器100的相机61拍摄到的使用者的视线方向的图像进行图像识别来实施。
这样，根据输入处理的第1变形，操作控制部142在虚拟操作部VO的虚像VI中的至少一部分与输入面310重叠的情况下，使使用者观看将重叠部分放大了的虚拟操作部VO的虚像VI。因此，使用者能够将输入装置300的输入面310如虚拟操作部VO的放大镜那样使用。
A－5－2.第2变形：
在第2变形中，就能够用使用者的2根手指来操作虚拟操作部的构成进行说明。
图14是用于就输入处理的第2变形进行说明的说明图。在第2变形中，与用图5以及图7～11说明了的配置处理相比较，在以下所列举的c1～c3点上不同。
(c1)输入装置300的移动检测部320分别检测使用者的2根(或者也可以为其以上)手指FG1、FG2(图14(A))的移动。
(c2)在图7的步骤S102中，控制部351判定在输入面310上是否检测到了使用者的2根(或者其以上)手指。在检测到2根以上的手指的情况下，控制部351使处理向下述c3转变，在检测出1根手指的情况下，控制部351使处理向图7的步骤S104转变，在没有检测出使用者的手指的情况下，回到步骤S102，反复进行是否检测到了手指的判定。
(c3)在图7的步骤S106中操作控制部142分别获取使用者的手指FG1、FG2的坐标。
(c4)在图7的步骤S108中操作控制部142使与使用者的手指FG1相对应的指示物PO1和与使用者的手指FG2相对应的指示物PO2显示于虚拟操作部VO。
在第2变形中，除了在上述输入处理中说明了的点击操作(轻敲操作)、长按操作(长敲击操作)、滑动操作、拖曳操作外，还能够进行以下d1～d9所例示那样的操作。
(d1)通过使2根手指滑动的操作，操作控制部142进行图像(例如虚拟操作部VO的一部分和/或内容图像等)的区域选择。
(d2)通过使2根手指滑动的操作，操作控制部142进行图像(例如虚拟操作部VO的一部分和/或内容图像等)的放大、缩小。
(d3)通过使2根手指旋转的操作，操作控制部142进行上述d1中选择的图像的旋转。是否是“使其旋转的操作”，能够根据一根手指和另一根手指的移动的大小来判定。旋转方向能够根据2点的手指的坐标变化来确定。此外，该情况下，操作控制部142也可以根据手指的旋转速度和/或手指的旋转次数来确定图像的旋转角度。
(d4)通过用2根手指捏住图像(例如虚拟操作部VO和/或表示视窗的图像等)的指尖操作，操作控制部142进行包括图像的拖曳移动和/或3维进深的旋转移动。此外，所谓指尖操作指的是图14(B)所示那样捏住图像的端部的操作。此外，该情况下，操作控制部142也可以使移动检测部320检测出手指的接触压力的大小并根据检测出的接触压力的大小来确定旋转移动的方向。
(d5)通过用2根手指捏住图像(例如虚拟操作部VO和/或表示视窗的图像等)的指尖操作，操作控制部142执行被预先分配到指尖操作被进行的部位的指令(功能)。此外，针对部位的指令的分配，例如能够以下这样来实现。
·以指示物移动到了虚拟操作部的框周边为触发，操作控制部142向命令输入模式转变。
·在命令输入模式下，操作控制部142使图14(B)所示的菜单一览LT1暂时显示。
·使用者从菜单一览LT1中选择想分配的指令。
(d6)通过一边旋转2根手指一边触摸输入面310的操作，操作控制部142进行图像(例如虚拟操作部VO的一部分和/或内容图像等)的旋转放大、旋转缩小。是否是“使其旋转的操作”，能够根据一根手指与另一根手指的移动的大小来判定。
(d7)通过一边使2根手指旋转一边用每个手指触摸虚拟操作部的上下或左右的框的操作，操作控制部142进行图像(例如虚拟操作部VO的一部分和/或内容图像等)的旋转放大、旋转缩小。
(d8)在上述d6或d7中，操作控制部142利用旋转方向、2根手指的间隔的坐标变化和旋转量中的至少任一个来确定是要旋转放大还是要旋转缩小。旋转方向能够根据2点的手指的坐标变化来确定。
(d9)在上述d6或d7中，操作控制部142利用旋转速度、旋转次数和与框的接触角度中的至少任一个来确定旋转量和/或放大缩小的倍率。
A－5－3.第3变形：
在第3变形中，就输入装置300的输入面310的位置在虚拟操作部中能够容易判别的构成进行说明。
图15是用于对输入处理的第3变形进行说明的说明图。第3变形与用图5以及图7～11说明了的配置处理相比较，在以下列举的e1这一点不同。
(e1)在图7的步骤S108中，操作控制部142使指示物和表示输入装置300的输入面310的位置的图像(以后也称为“输入面图像”)一并显示在虚拟操作部。具体而言，操作控制部142，使表示指示物的图像和输入面图像这两方相对于在图7的步骤S106中得到的手指的坐标的位置重叠，将重叠后的图像向图像处理部160发送。之后，在图像处理部160中，基于接收的图像来进行上述的显示处理。其结果，如图15所示，头戴式显示器100的使用者能够观看包括表示输入面310的输入面图像EI的虚拟操作部VO的虚像VI。此外，输入面图像，除了图15所示的环状的图像外，还能够采用矩形状图像等任意的形态的图像。另外，输入面310的位置判定既可以利用红外光来实施，也可以通过对由头戴式显示器100的相机61拍摄到的使用者的视线方向的图像进行图像识别来实施。
在第3变形中，通过用使用者的手指对输入面图像进行操作，操作控制部142能够实施图像(例如虚拟操作部VO和/或表示视窗的图像等)的旋转、复制、放大、缩小、翻页(page feed)等操作。
B.变形例：
在上述实施方式中，可以将通过硬件实现的构成的一部分置换成软件，相反地也可以将通过软件实现的构成的一部分置换成硬件。此外，还能够是以下这样的变形。
·变形例1：
在上述实施方式中，就图像显示***的构成作了例示。但是，图像显示***的构成能够在不脱离本发明主旨的范围内任意确定。例如，能够进行构成图像显示***的各装置的追加、省略、变换等。另外，能够进行构成图像显示***的装置的网络构成的变更。
例如，对头戴式显示器也可以连接多个输入装置。另外，输入装置也可以构成为，能够用作多个头戴式显示器的输入装置。这些情况下，头戴式显示器预先存储有用于识别成为连接对象方的输入装置的识别信息。同样地，输入装置预先存储有用于识别成为连接对象方的头戴式显示器的识别信息。如果这样，能够由多个头戴式显示器共用1个输入装置、或者反之亦可，能够提高使用者的便利性。
例如，上述实施方式的头戴式显示器的操作控制部的一部分功能也可以由输入装置的控制部提供。同样地，上述实施方式的输入装置的控制部的一部分功能也可以由头戴式显示器的操作控制部提供。
例如，输入装置和头戴式显示器，除了上述实施方式中例示了的通信方法以外，还能够利用各种通信方法(无线通信/有线通信)进行通信。
·变形例2：
在上述实施方式中，就输入装置的构成作了例示。但是，输入装置的构成能够在不脱离本发明主旨的范围内任意地确定，例如能够进行各构成部的追加、省略、变换等。
例如，输入装置也可以按手表型以外的其他形态来构成。例如，输入装置也可以按遥控器型、手镯型、戒指型、胸针型、吊坠型、ID卡型、钥匙扣型等各种形态来构成。
例如，也可以，输入装置构成为：具备能检测加速度(3轴)、角速度(3轴)、地磁场(3轴)的9轴传感器(移动传感器)，控制部利用9轴传感器的检测值来校正通过移动检测部所获取的使用者的手指的移动。
例如，也可以，输入装置构成为具备多个输入面，能够进行组合了通过移动检测部所获取的使用者的手指的移动与对多个输入面的触摸操作的虚拟操作部中的操作。另外，输入装置也可以从使用者取得：将多个输入面中的一部分设为有效、将其他的设为待机的设定。
例如，也可以，输入装置构成为具备相机，构成为使得使用虚拟操作部就能够利用该相机的功能。
例如，移动检测部也可以包括4个以上的红外LED和/或3个以上的相机。该情况下，操作控制部也可以将虚拟操作部分割成多个区域以独立地控制各区域(即，对虚拟操作部赋予指向性)。
·变形例3：
在上述实施方式中，对头戴式显示器的构成作了例示。但是，头戴式显示器的构成能够在不脱离本发明主旨的范围内任意地确定，例如能够进行各构成部的追加、省略、变换等。
上述实施方式中的对于控制部和图像显示部的构成要素的分配，只是一例，能够采用各种方式。例如，也可以设为以下那样的方式。(i)在控制部搭载CPU和/或存储器等的处理功能，而在图像显示部仅搭载显示功能的方式，(ii)在控制部和图像显示部这两方搭载CPU和/或存储器等的处理功能的方式，(iii)使控制部和图像显示部一体化了的方式(例如，图像显示部包含控制部并作为眼镜型的可佩戴式计算机发挥功能的方式)，(iv)代替控制部而使用智能电话机或便携型游戏机的方式，(v)通过将控制部和图像显示部设为能够无线通信且无线供电的构成而废弃连接部(导线，cord)的方式、(vi)从控制部中废弃触摸垫而在图像显示部设置触摸垫的方式。
上述实施方式中，为了方便说明，设为控制部具有发送部、图像显示部具有接收部。但是，上述实施方式的发送部及接收部都具有能够双向通信的功能，能够作为发送接收部发挥功能。另外，控制部和图像显示部也可以通过经由无线LAN、红外线通信或Bluetooth等的无线信号传送路径而实现的连接而连接。
例如，控制部、图像显示部的构成能够任意变更。具体而言，例如，控制部除上述的各种的输入器件(触摸垫、十字键、脚踏开关、手势检测、视线检测、麦克风)外，还能够具有各种输入器件(例如操作用柄、键盘、鼠标等)。另外，上述实施方式中，作为电源使用了二次电池，但作为电源不限于二次电池，能够使用各种电池。例如，也可以使用一次电池和/或燃料电池、太阳能电池、热电池等。
例如，头戴式显示器虽然为双眼类型的透射型头戴式显示器，但是也可以为单眼类型的头戴式显示器。并且，也可以构成为：在使用者佩戴有头戴式显示器的状态下遮挡外景的透射的非透射型头戴式显示器。上述实施方式中，使图像显示部为如眼镜似地佩戴的头戴式显示器，但是也可以为采用例如如帽子似地佩戴的类型的图像显示部等的其他的形状的图像显示部的头戴式显示器。并且，耳机既可以采用耳挂型和/或头戴型，也可以省略。并且，例如，也可以构成为搭载于汽车和/或飞机等的车辆的平视显示器(HUD，Head-Up Display)。此外，也可以构成为内置于头盔等的身体防护具的头戴式显示器。
图16是表示变形例的头戴式显示器的外观构成的说明图。在图16(A)的例子中，图像显示部20a代替右光学像显示部26而具有右光学像显示部26a，代替左光学像显示部28而具有左光学像显示部28a。右光学像显示部26a及左光学像显示部28a形成得比实施方式的光学部件小，被配置于头戴式显示器的佩戴时的使用者的右眼及左眼的斜上方。在图16(B)的例子中，图像显示部20b代替右光学像显示部26而具有右光学像显示部26b，代替左光学像显示部28而具有左光学像显示部28b。右光学像显示部26b及左光学像显示部28b形成得比实施方式的光学部件小，被配置于头戴式显示器的安装时的使用者的右眼及左眼的斜下方。这样，光学像显示部只要配置在使用者眼睛附近足矣。另外，形成光学像显示部的光学部件的大小也是任意的，也能够作为光学像显示部仅覆盖使用者眼睛的一部分的方式、换言之为光学像显示部不完全覆盖使用者眼睛的方式的头戴式显示器而实现。
例如，上述实施方式中，显示驱动部利用背光源、背光源控制部、LCD、LCD控制部和投射光学***而构成。但是，上述的方式仅为例示。显示驱动部还可以与这些构成部一起、或代替这些构成部，具有用于实现其他的方式的构成部。例如，显示驱动部还可以构成为具有有机EL(有机电致发光，Organic Electro-Luminescence)的显示器、有机EL控制部和投射光学***。另外，例如，显示驱动部还可以代替LCD而使用数字微镜器件等。另外，例如，还能够将本发明应用于激光视网膜投影型的头部佩戴型显示装置。
例如，操作控制部、图像处理部、显示控制部、声音处理部等的各功能部，被记载为：通过CPU将存储在ROM和/或硬盘中的计算机程序在RAM中展开并执行而实现的功能部。但是，这些功能部也可以利用为实现相应功能而设计的ASIC(Application Specific Integrated Circuit：面向特定用途的集成电路)来构成。
例如，操作控制部，在对由头戴式显示器的相机拍摄到的使用者的视场方向的图像进行图像识别、来对图像内映入输入装置这一情况进行识别时，也可以使得表示头戴式显示器的菜单画面(功能被一览显示的画面)的虚像显示。
·变形例4：
在上述实施方式中，示出了输入处理的一例。但是，输入处理的步骤只是一例，能够进行各种变形。例如，既可以省略一部分步骤，也可以追加另外的其他的步骤。另外，也可以改变所执行的步骤的顺序。
例如，在步骤S112中，操作控制部，也可以取代基于使用者的手指的移动所求出的距离L1为第3阈值以下这一情况、而将输入装置的输入面被敲击了(被轻敲了)这一情况，作为步骤S112的成立条件。另外，操作控制部，也可以在输入装置具备9轴传感器的情况下，将9轴传感器的检测值(即，输入装置的移位量)高于预定的阈值这一情况，作为步骤S112的成立条件。
例如，步骤S108中，操作控制部也可以在指示物移动到了虚拟操作部的框为止的情况下，在显示指示物的基础上还使虚拟操作部的框强调(着重)显示。所谓强调显示，能够采用例如增粗框的粗细、改变框的颜色、使框闪烁显示等方式。
例如，在步骤S102，操作控制部，也可以与步骤S102的条件(在输入面上是否检测到了使用者的手指)一并或者取代步骤S102的条件，采用以下例示的条件。
·输入装置的输入面的纵横方向与图像显示部所显示的虚像的纵横方向一致的情况。此外，该所谓“一致”也可以允许预定的误差(例如15度以内)。
·检测到了对于输入装置的输入面的触摸的情况。
·在输入装置设有锁定解除单元，检测出了锁定解除的情况。所谓锁定解除单元能够进行：对输入面的预定的操作的检测和/或预定的按钮按下的检测等。
这样一来，能够进一步限定显示虚拟操作部的条件。因此，能够抑制伴随误操作等使得虚拟操作面违背使用者的意图被显示的情况。
例如，在步骤S104中操作控制部也可以向使用者通知：变成了利用虚拟操作部实现的操作输入受理模式这一情况。该通知能够采用音乐和/或声音、振动、向输入装置的输入面的显示等各种方法。这样一来，使用者能够知道变成了利用虚拟操作部实现的操作输入受理模式，提高了使用者的便利性。
例如，除了上述实施方式的输入处理外，操作控制部也可以根据头戴式显示器与输入装置的大致距离L2来改变作为虚像被显示的虚拟操作部的大小。例如，操作控制部也可以随着距离L2变大(两者远离)而较小地显示虚拟操作部。同样地，操作控制部也可以随着距离L2变小(两者接近)而较大地显示虚拟操作部。此外，头戴式显示器与输入装置的大致距离既可以利用红外光获取，也可以通过对由头戴式显示器的相机所拍摄的使用者的视线方向的图像进行图像识别来获取。
例如，除了上述实施方式的输入处理外，操作控制部也可以根据头戴式显示器与输入装置的大致距离L2来改变作为虚像被显示的虚拟操作部的范围和/或形态。在改变范围的情况下，例如，操作控制部，随着距离L2变大(两者远离)，而显示较宽范围的虚拟操作部以使得虚拟操作部的整体一目了然。同样地，操作控制部也可以随着距离L2变小(两者接近)而显示较窄范围的虚拟操作部以放大虚拟操作部的一部分。
·变形例5：
在上述实施方式中，示出了虚拟操作部的一例。但是，上述实施方式中的虚拟操作部的方式只是一例，能够有各种变形。
例如，操作控制部也可以取代图5和/或图9所示的横向较长的形状的虚拟操作部，而使纵向较长形状的虚拟操作部显示。另外，操作控制部也可以取代图5和/或图9所示的二维的虚拟操作部，而使三维的虚拟操作部显示。在使三维的虚拟操作部显示的情况下，操作控制部只要将不同的右眼用图像数据和左眼用图像数据向图像显示部供给即可。进而，关于操作控制部使其显示的虚拟操作部的形状以及大小能够任意改变。
例如，也可以取代图9(A)所示的配置有键盘的虚拟操作部和/或图9(B)所示的配置有OS的桌面画面的虚拟操作部，操作控制部使配置有一个以下例示的输入接口或者组合配置有多个以下例示的输入接口的虚拟操作部表示。
·十字键
·点击式转盘(使手指圆形滑动而切换输入的输入部)
·配置在点击式转盘的外周的按钮
·手写字符输入垫
·音频(动态画面)的各种操作按钮
·变形例6：
本发明并不限于所述的实施方式和/或实施例、变形例，在不脱离其主旨的范围能够以各种构成而实现。例如，对应于记载于发明内容栏的各方式中的技术特征的实施方式、实施例、变形例中的技术特征用于解决所述的问题的一部分或全部，或者用于达到所述的效果的一部分或全部，可以适当地进行替换和/或组合。并且，只要该技术特征在本说明书中并未说明为必须，则可以适当地删除。

Claims (10)

1.一种图像显示***，其特征在于，
具备透射型的头部佩戴型显示装置和用于操作所述头部佩戴型显示装置的输入装置，
所述输入装置具备检测使用者的手指的移动的移动检测部，
所述头部佩戴型显示装置具备操作控制部，该操作控制部使所述使用者将与所述检测到的手指的移动相应的虚拟操作部观看为虚像，该虚拟操作部是用于操作所述头部佩戴型显示装置的虚拟的操作部。
2.根据权利要求1所述的图像显示***，其特征在于，
所述输入装置还具备:检测被所述使用者触摸了的位置的信息的输入面，
所述操作控制部使所述使用者观看比所述输入面大的所述虚拟操作部的虚像。
3.根据权利要求2所述的图像显示***，其特征在于，
所述操作控制部，仅限于在能够使所述虚拟操作部的虚像中的至少一部分重叠于所述输入面的情况下，使所述使用者观看所述虚拟操作部的虚像。
4.根据权利要求2所述的图像显示***，其特征在于，
所述操作控制部，在所述虚拟操作部的虚像中的至少一部分与所述输入面重叠的情况下，使所述使用者观看将所述重叠的部分放大后的所述虚拟操作部的虚像。
5.根据权利要求2到4中任一项所述的图像显示***，其特征在于，
所述移动检测部，检测所述输入面与所述使用者的手指之间的距离，来作为所述手指的移动之一，
所述操作控制部，以所述检测出的距离变为第1阈值以下这一情况为触发，使所述使用者观看所述虚拟操作部的虚像。
6.根据权利要求1到5中任一项所述的图像显示***，其特征在于，
所述头部佩戴型显示装置还具备形成所述虚像的图像显示部，
所述操作控制部，
通过将所述检测出的手指的移动向所述虚拟操作部上的指示体的坐标变化转换，而生成与所述检测出的手指的移动相应的虚拟操作部，
使表示所述生成的虚拟操作部的虚像形成于所述图像显示部。
7.根据权利要求6所述的图像显示***，其特征在于，
所述移动检测部，检测所述输入面与所述使用者的手指之间的距离，来作为所述手指的移动之一，
所述操作控制部，
以所述检测出的距离变为第2阈值以下这一情况为触发，停止所述转换，
以所述检测出的距离变为比所述第2阈值小的第3阈值以下这一情况为触发，将最后被进行了所述转换的所述指示体的坐标作为对所述头部佩戴型显示装置的输入。
8.根据权利要求1到7中任一项所述的图像显示***，其特征在于，
所述输入装置构成为所述使用者能够佩戴于身上的可佩戴器件。
9.一种控制图像显示***的方法，其特征在于，
所述图像显示***具备：透射型的头部佩戴型显示装置和用于操作所述头部佩戴型显示装置的输入装置，
该控制图像显示***的方法包括下述步骤：
所述输入装置检测使用者的手指的移动；和
所述头部佩戴型显示装置使所述使用者将与所述检测到的手指的移动相应的虚拟操作部观看为虚像，该虚拟操作部是用于操作所述头部佩戴型显示装置的虚拟的操作部。
10.一种头部佩戴型显示装置，其特征在于，
具备：
操作控制部，其生成与使用者的手指的移动相应的虚拟操作部，该虚拟操作部是用于操作所述头部佩戴型显示装置的虚拟的操作部；和
图像显示部，其形成表示所述生成了的虚拟操作部的虚像。
CN201410616180.6A 2013-11-05 2014-11-05 图像显示***、控制其的方法及头部佩戴型显示装置 Active CN104615237B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-229441 2013-11-05
JP2013229441A JP6206099B2 (ja) 2013-11-05 2013-11-05 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置

Publications (2)

Publication Number Publication Date
CN104615237A true CN104615237A (zh) 2015-05-13
CN104615237B CN104615237B (zh) 2018-12-11

Family

ID=53006674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410616180.6A Active CN104615237B (zh) 2013-11-05 2014-11-05 图像显示***、控制其的方法及头部佩戴型显示装置

Country Status (3)

Country Link
US (1) US20150123895A1 (zh)
JP (1) JP6206099B2 (zh)
CN (1) CN104615237B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106155311A (zh) * 2016-06-28 2016-11-23 努比亚技术有限公司 Ar头戴设备、ar交互***及ar场景的交互方法
CN106293101A (zh) * 2016-09-30 2017-01-04 陈华丰 一种用于头戴显示器的人机交互***及方法
CN106527938A (zh) * 2016-10-26 2017-03-22 北京小米移动软件有限公司 应用程序的操作方法和装置
CN109243153A (zh) * 2017-07-11 2019-01-18 宏达国际电子股份有限公司 移动装置以及控制方法
WO2019041171A1 (zh) * 2017-08-30 2019-03-07 深圳市柔宇科技有限公司 按键操作提示方法及头戴显示设备
CN109658516A (zh) * 2018-12-11 2019-04-19 国网江苏省电力有限公司常州供电分公司 Vr培训场景的创建方法、vr培训***以及计算机可读存储介质
CN110769906A (zh) * 2017-06-12 2020-02-07 株式会社万代南梦宫娱乐 模拟***、图像处理方法以及信息存储介质
CN112602136A (zh) * 2019-03-27 2021-04-02 松下知识产权经营株式会社 头戴式显示器
CN112915549A (zh) * 2019-12-06 2021-06-08 丰田自动车株式会社 图像处理装置、显示***、记录介质以及图像处理方法
CN113267897A (zh) * 2020-01-30 2021-08-17 精工爱普生株式会社 显示装置、显示装置的控制方法和记录介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10620748B2 (en) * 2014-10-22 2020-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for providing a touch-based user interface
JP6740584B2 (ja) * 2015-09-15 2020-08-19 セイコーエプソン株式会社 表示システム、表示装置の制御方法、及び、プログラム
KR20170124593A (ko) * 2015-03-20 2017-11-10 후아웨이 테크놀러지 컴퍼니 리미티드 지능형 상호작용 방법, 장비 및 시스템
CN104866103B (zh) * 2015-06-01 2019-12-24 联想(北京)有限公司 一种相对位置确定方法、穿戴式电子设备及终端设备
JPWO2017134732A1 (ja) * 2016-02-01 2018-09-27 富士通株式会社 入力装置、入力支援方法および入力支援プログラム
US10334076B2 (en) * 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
WO2018038136A1 (ja) * 2016-08-24 2018-03-01 ナーブ株式会社 画像表示装置、画像表示方法、及び画像表示プログラム
JP2018124651A (ja) 2017-01-30 2018-08-09 セイコーエプソン株式会社 表示システム
JP2018137505A (ja) * 2017-02-20 2018-08-30 セイコーエプソン株式会社 表示装置およびその制御方法
JP2018142168A (ja) 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP6789377B2 (ja) 2017-03-27 2020-11-25 サン電子株式会社 画像表示システム
CN107025784B (zh) * 2017-03-30 2020-11-27 北京奇艺世纪科技有限公司 一种遥控器、头戴设备及***
CN107045204A (zh) * 2017-04-06 2017-08-15 核桃智能科技（常州）有限公司 一种用于头戴式的智能显示器及其操控方法和佩戴方法
KR102389185B1 (ko) * 2017-10-17 2022-04-21 삼성전자주식회사 컨텐츠의 적어도 일부를 통해 표시된 입력 인터페이스를 이용하여 기능을 실행하기 위한 전자 장치 및 방법
JP6934407B2 (ja) * 2017-11-27 2021-09-15 株式会社ディスコ 加工装置
CN109508093B (zh) * 2018-11-13 2022-08-09 江苏视睿迪光电有限公司 一种虚拟现实交互方法及装置
JP7053516B2 (ja) * 2019-02-15 2022-04-12 株式会社日立製作所 ウェアラブルユーザインタフェース制御システム、それを用いた情報処理システム、および、制御プログラム
JP6705929B2 (ja) * 2019-04-22 2020-06-03 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
KR102316514B1 (ko) * 2019-10-08 2021-10-22 한양대학교 산학협력단 모바일을 조작하기 위한 입력 장치
JP7080448B1 (ja) 2021-03-08 2022-06-06 裕行 池田 端末装置
WO2023158166A1 (ko) * 2022-02-21 2023-08-24 삼성전자 주식회사 전자 장치 및 이의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090167682A1 (en) * 2006-02-03 2009-07-02 Atsushi Yamashita Input device and its method
CN102193728A (zh) * 2010-03-01 2011-09-21 索尼公司 信息处理装置、信息处理方法和程序
JP2011186856A (ja) * 2010-03-09 2011-09-22 Nec Corp ヘッドマウントディスプレイを外部表示装置として使用する携帯端末
CN102207819A (zh) * 2010-03-29 2011-10-05 索尼公司 信息处理器、信息处理方法和程序
JP2013125247A (ja) * 2011-12-16 2013-06-24 Sony Corp ヘッドマウントディスプレイ及び情報表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8570273B1 (en) * 2010-05-20 2013-10-29 Lockheed Martin Corporation Input device configured to control a computing device
KR101558200B1 (ko) * 2010-12-06 2015-10-08 한국전자통신연구원 비접촉 방식의 그래픽 사용자 인터페이스 제공장치 및 방법
WO2012124279A1 (ja) * 2011-03-15 2012-09-20 パナソニック株式会社 入力装置
KR101781908B1 (ko) * 2011-03-24 2017-09-26 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US8482527B1 (en) * 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US20140285520A1 (en) * 2013-03-22 2014-09-25 Industry-University Cooperation Foundation Hanyang University Wearable display device using augmented reality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090167682A1 (en) * 2006-02-03 2009-07-02 Atsushi Yamashita Input device and its method
CN102193728A (zh) * 2010-03-01 2011-09-21 索尼公司 信息处理装置、信息处理方法和程序
JP2011186856A (ja) * 2010-03-09 2011-09-22 Nec Corp ヘッドマウントディスプレイを外部表示装置として使用する携帯端末
CN102207819A (zh) * 2010-03-29 2011-10-05 索尼公司 信息处理器、信息处理方法和程序
JP2013125247A (ja) * 2011-12-16 2013-06-24 Sony Corp ヘッドマウントディスプレイ及び情報表示装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106155311A (zh) * 2016-06-28 2016-11-23 努比亚技术有限公司 Ar头戴设备、ar交互***及ar场景的交互方法
CN106293101A (zh) * 2016-09-30 2017-01-04 陈华丰 一种用于头戴显示器的人机交互***及方法
CN106527938A (zh) * 2016-10-26 2017-03-22 北京小米移动软件有限公司 应用程序的操作方法和装置
CN110769906A (zh) * 2017-06-12 2020-02-07 株式会社万代南梦宫娱乐 模拟***、图像处理方法以及信息存储介质
CN109243153A (zh) * 2017-07-11 2019-01-18 宏达国际电子股份有限公司 移动装置以及控制方法
WO2019041171A1 (zh) * 2017-08-30 2019-03-07 深圳市柔宇科技有限公司 按键操作提示方法及头戴显示设备
CN110770677A (zh) * 2017-08-30 2020-02-07 深圳市柔宇科技有限公司 按键操作提示方法及头戴显示设备
CN109658516A (zh) * 2018-12-11 2019-04-19 国网江苏省电力有限公司常州供电分公司 Vr培训场景的创建方法、vr培训***以及计算机可读存储介质
CN109658516B (zh) * 2018-12-11 2022-08-30 国网江苏省电力有限公司常州供电分公司 Vr培训场景的创建方法、vr培训***以及计算机可读存储介质
CN112602136A (zh) * 2019-03-27 2021-04-02 松下知识产权经营株式会社 头戴式显示器
CN112602136B (zh) * 2019-03-27 2023-12-15 松下知识产权经营株式会社 头戴式显示器
CN112915549A (zh) * 2019-12-06 2021-06-08 丰田自动车株式会社 图像处理装置、显示***、记录介质以及图像处理方法
CN112915549B (zh) * 2019-12-06 2024-03-08 丰田自动车株式会社 图像处理装置、显示***、记录介质以及图像处理方法
CN113267897A (zh) * 2020-01-30 2021-08-17 精工爱普生株式会社 显示装置、显示装置的控制方法和记录介质

Also Published As

Publication number Publication date
CN104615237B (zh) 2018-12-11
US20150123895A1 (en) 2015-05-07
JP6206099B2 (ja) 2017-10-04
JP2015090530A (ja) 2015-05-11

Similar Documents

Publication Publication Date Title
CN104615237B (zh) 图像显示***、控制其的方法及头部佩戴型显示装置
US11310483B2 (en) Display apparatus and method for controlling display apparatus
US9064442B2 (en) Head mounted display apparatus and method of controlling head mounted display apparatus
CN104469464B (zh) 图像显示装置、控制图像显示装置的方法、计算机程序以及图像显示***
US20150168729A1 (en) Head mounted display device
JP6264871B2 (ja) 情報処理装置および情報処理装置の制御方法
US9779700B2 (en) Head-mounted display and information display apparatus
RU2643649C2 (ru) Устанавливаемое на голове устройство отображения и способ управления устанавливаемым на голове устройством отображения
CN105045375A (zh) 头部佩戴型显示装置、其控制方法、控制***及计算机程序
WO2015098016A1 (en) Video transmission and display system
CN108508603B (zh) 头部佩戴型显示装置及其控制方法、以及记录介质
US20160140773A1 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
US20120218303A1 (en) Information processing apparatus, control method of information processing apparatus, and transmission head-mount type display device
US9799144B2 (en) Head mounted display, and control method for head mounted display
US20170289533A1 (en) Head mounted display, control method thereof, and computer program
JP6492419B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム、画像表示システム、および、情報処理装置
US9846305B2 (en) Head mounted display, method for controlling head mounted display, and computer program
CN107077363B (zh) 信息处理装置、控制信息处理装置的方法、记录介质
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20160021360A1 (en) Display device, method of controlling display device, and program
JP6488629B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US20150168728A1 (en) Head mounted display device
JP6740613B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2015064476A (ja) 画像表示装置、画像表示装置を制御する方法
US20170339455A1 (en) Device for sending or receiving video, method for controlling device, and computer program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant