CN109085697B - 头部佩戴型显示装置和头部佩戴型显示装置的控制方法 - Google Patents

头部佩戴型显示装置和头部佩戴型显示装置的控制方法 Download PDF

Info

Publication number
CN109085697B
CN109085697B CN201810588229.XA CN201810588229A CN109085697B CN 109085697 B CN109085697 B CN 109085697B CN 201810588229 A CN201810588229 A CN 201810588229A CN 109085697 B CN109085697 B CN 109085697B
Authority
CN
China
Prior art keywords
head
hmd
display device
unit
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810588229.XA
Other languages
English (en)
Other versions
CN109085697A (zh
Inventor
金子秀穗
高野正秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN109085697A publication Critical patent/CN109085697A/zh
Application granted granted Critical
Publication of CN109085697B publication Critical patent/CN109085697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

头部佩戴型显示装置和头部佩戴型显示装置的控制方法,抑制了在从假设为使用场所的场所离开的状态下使用或带走头部佩戴型显示装置。佩戴于使用者的头部的HMD(100)具有:图像表示部(20),其显示图像;处理部,其执行包含数据处理在内的处理;存储部,其存储由处理部处理的数据;检测部,其对HMD(100)的位置不是设定位置这一情况进行检测;以及控制部,在检测部检测出HMD(100)的位置不是设定位置的情况下,该控制部限制存储于存储部的数据中的、与设定位置相对应的数据的处理。

Description

头部佩戴型显示装置和头部佩戴型显示装置的控制方法
技术领域
本发明涉及头部佩戴型显示装置和头部佩戴型显示装置的控制方法。
背景技术
以往,公知有与头部佩戴型显示装置的场所对应地变更头部佩戴型显示装置(Head Mounted Display:HMD)的功能的技术(例如,参照专利文献1)。根据专利文献1的记载,当检测出头部佩戴型显示装置移动到特定的场所时,变更搭载于头部佩戴型显示装置的规定的功能。
专利文献1:日本特开2016-40865号公报
作为头部佩戴型显示装置的优点之一,可列举佩戴于使用者的身体的轻便的使用感。如专利文献1所公开的那样,在使用者移动的状况下显示图像等的用途是头部佩戴型显示装置的主要用途之一。在这样的使用状态下,由于使用者的意图或粗心,有可能从假设为头部佩戴型显示装置的使用场所的场所离开而使用。并且,也有可能从假设为使用场所的场所带走头部佩戴型显示装置。
发明内容
本发明是鉴于上述情况而完成的,其目的在于,抑制在从假设为使用场所的场所离开的状态下使用或带走头部佩戴型显示装置。
为了解决上述课题,本发明是佩戴于使用者的头部的头部佩戴型显示装置,其具有:显示部,其显示图像;处理部,其执行包含数据处理在内的处理;存储部,其存储由所述处理部处理的所述数据;检测部,其对所述头部佩戴型显示装置的位置不是设定位置这一情况进行检测;以及控制部,在所述检测部检测出所述头部佩戴型显示装置的位置不是设定位置的情况下,所述控制部限制存储于所述存储部的所述数据中的、与所述设定位置相对应的所述数据的处理。
根据本发明,在头部佩戴型显示装置从设定位置移动到其他位置的情况下等,能够限制头部佩戴型显示装置的数据处理。因此,能够获得抑制了头部佩戴型显示装置向预定之外的场所移动的效果。因此,能够与使用场所关联地控制可否使用头部佩戴型显示装置,可以期待例如抑制了头部佩戴型显示装置的带走或数据的不正当使用的效果。
并且,在上述结构中,也可以构成为具有拍摄外景的外景拍摄部,所述检测部根据所述外景拍摄部的拍摄图像、和与所述设定位置相对应的安全信息中的至少一方,对所述头部佩戴型显示装置的位置不是设定位置这一情况进行检测。
根据该结构,能够利用对头部佩戴型显示装置的外部真实空间即外景进行拍摄而得的拍摄图像、或与场所相对应的安全信息,控制头部佩戴型显示装置的使用。
并且,在上述结构中,所述检测部也可以构成为根据所述外景拍摄部的拍摄图像、和与所述设定位置相对应的安全信息,对所述头部佩戴型显示装置的位置不是设定位置这一情况进行检测。
根据该结构,能够利用对头部佩戴型显示装置的外部真实空间即外景进行拍摄而得的拍摄图像、和与场所相对应的安全信息,控制头部佩戴型显示装置的使用。
并且,在上述结构中,也可以构成为,所述存储部存储包含应用程序的所述数据,所述处理部通过执行所述应用程序来执行所述头部佩戴型显示装置的功能,所述控制部限制与所述设定位置相对应的所述应用程序的执行。
根据该结构,能够根据头部佩戴型显示装置的位置,控制实现头部佩戴型显示装置的功能的应用程序的执行。由此,能够适当地控制具有多种功能的头部佩戴型显示装置的使用。并且,由于以应用程序为单位来限制执行,所以例如能够限定要限制的对象应用程序等、对头部佩戴型显示装置的功能进行非常细致的控制。
并且,在上述结构中,所述控制部也可以构成为:在所述头部佩戴型显示装置从停止或电源断开状态启动时,使所述检测部执行检测,在所述检测部检测出所述头部佩戴型显示装置的位置不是设定位置的情况下,限制对存储于所述存储部并与所述设定位置相对应的所述数据的访问。
根据该结构,在头部佩戴型显示装置处于停止或电源断开状态的期间,头部佩戴型显示装置从设定场所移动的情况下等,能够限制头部佩戴型显示装置在不恰当的场所使用。因此,可以期待进一步抑制了头部佩戴型显示装置向预定之外的场所移动的效果。
并且,在上述结构中,所述控制部也可以构成为:在所述头部佩戴型显示装置从停止或电源断开状态启动时,所述检测部检测出所述头部佩戴型显示装置的位置不是设定位置的情况下,将存储于所述存储部并与所述设定位置相对应的所述数据清除。
根据该结构,在头部佩戴型显示装置处于停止或电源断开状态的期间,头部佩戴型显示装置从设定场所移动的情况下等,能够限制头部佩戴型显示装置所具有的数据的使用。因此,能够可靠地限制在预定之外的场所使用数据,可以期待防止了数据的不恰当使用的效果。
并且,在上述结构中,也可以构成为,所述检测部对所述头部佩戴型显示装置的使用状态不是设定使用状态这一情况进行检测,在所述检测部检测出所述头部佩戴型显示装置的使用状态不是设定使用状态的情况下,所述控制部限制存储于所述存储部的所述数据中的、与所述设定使用状态相对应的所述数据的处理。
根据该结构,根据头部佩戴型显示装置的使用状态来限制数据的使用。因此,可以期待防止了数据的不恰当使用的效果。
并且,为了解决上述课题,本发明是头部佩戴型显示装置的控制方法,该头部佩戴型显示装置具有:显示部,其显示图像;处理部,其执行包含数据处理在内的处理;存储部,其存储由所述处理部处理的所述数据,在该头部佩戴型显示装置的控制方法中,在检测出所述头部佩戴型显示装置的位置不是设定位置的情况下,限制存储于所述存储部的所述数据中的、与所述设定位置相对应的所述数据的处理。
根据本发明,在头部佩戴型显示装置从设定位置移动到其他位置的情况下等,能够限制头部佩戴型显示装置的数据处理。因此,能够获得抑制了头部佩戴型显示装置向预定之外的场所移动的效果。因此,能够与使用场所关联地控制头部佩戴型显示装置的使用方法,可以期待例如抑制了头部佩戴型显示装置的带走或数据的不正当使用的效果。
本发明也可以通过上述头部佩戴型显示装置和头部佩戴型显示装置的控制方法以外的各种方式实现。例如,可以通过用于供计算机执行上述控制方法的程序、记录了上述程序的记录介质、发布上述程序的服务器装置、传送上述程序的传送介质、在载波内包含上述程序的数据信号等方式实现。
附图说明
图1是示出实施方式的HMD的概略结构的说明图。
图2是功能性地示出HMD的结构的框图。
图3是示出图像光生成部射出图像光的情形的说明图。
图4是HMD的平台的说明图。
图5是示出存储部所存储的信息的示意图。
图6是示出HMD的动作的流程图。
图7是示出HMD的动作的流程图。
图8是示出美术馆中的HMD的使用方式的说明图。
图9是示出路线引导处理例程的流程图。
图10是示出展示品解说例程的详细内容的流程图。
图11是示出应用例3中的HMD的使用场所例的图。
图12是示出应用例3中的HMD的显示方式例的图。
图13是示出应用例6中的HMD的显示方式例的图。
标号说明
10:控制部;20:图像显示部(显示部);26:右光学像显示部;28:左光学像显示部;61:外景拍摄用照相机(外景拍摄部);100:HMD(头部佩戴型显示装置);120:存储部;120a:OS;120b:应用程序;120c:设定数据;120d:社交控制数据;120e:内容数据;120f:拍摄图像数据;120g:下载完成数据;132:无线通信部;134:GPS模块;136:USB接口;140:CPU(处理部);150:操作***;160:图像处理部;164:移动检测部(检测部);166:处理控制部(控制部);170:声音处理部;172:通信处理部;500:平台;510:应用层;511:照相机应用;512:业务应用;513:引导应用;514:观看支持应用;515:认证用应用;516:照相机应用;520:框架层;521:图像处理部框架;523:声音处理部框架;524:通信处理部框架;525:社交控制部框架;530:库层;533:显示器库;534:音频库;535:传感器库;536:照相机库;537:外部连接库;538:GPS库;539:HTML库;540:内核层;541:LCD驱动器;543:传感器驱动器;544:图像传感器驱动器;545:USB接口驱动器;546:GPS驱动器;550:硬件层;551:LCD器件;553:传感器器件;554:图像传感器器件;555:USB接口;556:GPS器件;VR:视野。
具体实施方式
A.实施方式A-1.头部佩戴型显示装置的结构
图1是示出应用了本发明的实施方式的头部佩戴型显示装置(以下,称为HMD)的概略结构的说明图。HMD 100是佩戴于使用者(用户)的头部而使用的显示装置,是使用者在看到虚像的同时也能够直接看到外景的光学透过型的显示器。
HMD 100具有:图像显示部20(显示部),其在佩戴于使用者的头部的状态下令使用者看到虚像;以及控制部(控制器)10,其对图像显示部20进行控制。
图像显示部20是佩戴于使用者的头部的佩戴体,在本实施方式中具有眼镜形状。图像显示部20包含右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26以及左光学像显示部28。右光学像显示部26和左光学像显示部28分别被配置成在使用者佩戴了图像显示部20时位于使用者的右眼和左眼的眼前位置。右光学像显示部26的一端与左光学像显示部28的一端在与使用者佩戴了图像显示部20时的使用者眉间对应的位置处相互连接。
右保持部21是如下设置的部件:从作为右光学像显示部26的另一端的端部ER起,一直延伸到与使用者佩戴了图像显示部20时的使用者的侧头部对应的位置。同样,左保持部23是如下设置的部件:从作为左光学像显示部28的另一端的端部EL起,一直延伸到与使用者佩戴了图像显示部20时的使用者的侧头部对应的位置。右保持部21和左保持部23如眼镜的镜腿(边撑)那样将图像显示部20保持于使用者的头部。
右显示驱动部22配置在右保持部21的内侧(换言之,与使用者佩戴了图像显示部20时的使用者的头部对置的一侧)。并且,左显示驱动部24配置在左保持部23的内侧。另外,以下,不区分右保持部21和左保持部23而作为“保持部”来进行说明。同样,不区分右显示驱动部22和左显示驱动部24而作为“显示驱动部”来进行说明,不区分右光学像显示部26和左光学像显示部28而作为“光学像显示部”来进行说明。
显示驱动部包含液晶显示器(以下称为“LCD”)241、242和投射光学***251、252等(参照图2)。在后面详细叙述显示驱动部的结构。作为光学部件的光学像显示部包含导光板261、262(参照图2)和调光板。导光板261、262由透光性的树脂材料等形成,将从显示驱动部输出的图像光引导至使用者的眼睛。调光板是薄板状的光学元件,配置成将图像显示部20的正面侧(与使用者的眼睛侧相反的一侧)覆盖。调光板保护导光板261、262,抑制导光板261、262的损伤、污物的附着等。并且,通过调整调光板的光透过率,能够调整进入到使用者的眼睛的外部光线量而调整看到虚像的容易度。另外,可以省略调光板。
作为一个具体例,在本实施方式中说明了图像显示部20具有右LCD 241和左LCD242的结构,但也可以采用其他显示方式。例如,可以采用具有有机EL(ElectroLuminescence:电致发光)元件的结构。在该情况下,替代右LCD 241、右背光灯221、左LCD242、左背光灯222而配置有机EL显示器。这里,有机EL元件也可以是OLED(Organic LightEmitting Diode:有机发光二极管)。
图像显示部20还具有连接部40,该连接部40用于将图像显示部20与控制部10连接起来。连接部40包含:主体软线48,其与控制部10连接;右软线42和左软线44,它们由主体软线48分支成两条而得;以及连结部件46,其设置于分支点。在连结部件46上设置有用于供耳机插头30连接的插孔。右耳机32和左耳机34从耳机插头30延伸出来。
图像显示部20与控制部10经由连接部40来进行各种信号的传送。在主体软线48中的与连结部件46相反的一侧的端部和控制部10上分别设置有相互嵌合的连接器(省略图示)。通过主体软线48的连接器与控制部10的连接器的嵌合/嵌合解除,控制部10与图像显示部20连接或断开。右软线42、左软线44和主体软线48例如可以采用金属线缆或光纤。
控制部10是用于控制HMD 100的装置。控制部10包含点亮部12、触控板14、十字键16以及电源开关18。点亮部12通过其发光状态来通知HMD 100的工作状态(例如,电源的接通/断开等)。作为点亮部12,例如,可以使用LED。触控板14检测触控板14的操作面上的接触操作而输出与检测内容对应的信号。作为触控板14,可以采用静电式、压力检测式、光学式之类的各种触控板。十字键16检测针对与上下左右方向对应的键的按下操作而输出与检测内容对应的信号。电源开关18通过检测开关的滑动操作来切换HMD 100的电源状态。
图2是功能性地示出HMD 100的结构的框图。控制部10具有输入信息取得部110、存储部120、电源130、无线通信部132、GPS模块134、USB接口136、CPU 140、接口180、以及发送部(Tx)51和52。这各个部分通过未图示的总线相互连接。
输入信息取得部110例如取得与针对触控板14、十字键16、电源开关18等的操作输入对应的信号。存储部120由半导体存储元件或硬盘装置等构成,其非易失性地存储CPU140所执行的程序、CPU 140所处理的数据等。并且,存储部120也可以具有伴随着CPU 140的动作而临时存储程序、数据的临时存储装置,例如,可以具有RAM、DRAM等。
电源130向HMD 100的各部分供给电力。作为电源130,例如可以使用锂聚合物电池、锂离子电池等二次电池。此外,也可以替代二次电池而使用一次电池或燃料电池,还可以接受无线供电而进行动作。此外,也可以从太阳电池和电容器接受供电。
无线通信部132根据无线LAN(包含WiFi(注册商标))、Bluetooth(注册商标)、iBeacon(注册商标)之类的规定的无线通信标准,与其他设备之间进行无线通信。这里,无线通信部132也可以与Bluetooth SMART器件之间进行基于BLE(Bluetooth Low Energy:蓝牙低能量)标准的通信。并且,无线通信部132也可以构成为能够执行NFC通信(Near FieldCommunication:近场通信)。GPS模块134通过接收来自GPS卫星的信号,检测自身的当前位置。GPS模块134也可以进行如下定位:该定位使用从利用了GPS以外的卫星的定位***(例如,GLONASS)或补充GPS的卫星(例如,准天顶卫星MICHIBIKI)发送的信号。并且,GPS模块134也可以从能够与无线通信部132通信的未图示的服务器装置取得辅助定位的数据(例如A-GPS),进行使用所取得的数据的定位。
CPU 140(处理部)作为操作***(ОS)150、图像处理部160、显示控制部162、移动检测部164、处理控制部166、声音处理部170以及通信处理部172来发挥功能。CPU 140读出储存于存储部120的计算机程序并执行该计算机程序,从而作为上述各部件而发挥功能。
图像处理部160根据经由接口180、无线通信部132输入的内容(影像)来生成信号。图像处理部160将所生成的信号经由连接部40供给到图像显示部20,从而对图像显示部20进行控制。用于供给到图像显示部20的信号在模拟形式和数字形式的情况下不同。在模拟形式的情况下,图像处理部160生成并发送时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync以及图像数据Data。具体来说,图像处理部160取得包含在内容中的图像信号。例如在动态图像的情况下,所取得的图像信号通常是由每秒30帧图像构成的模拟信号。图像处理部160从所取得的图像信号中分离出垂直同步信号VSync、水平同步信号HSync等同步信号,并对应于它们的周期,通过PLL电路等生成时钟信号PCLK。图像处理部160使用A/D转换电路等将分离出同步信号的模拟图像信号转换为数字图像信号。图像处理部160将转换后的数字图像信号作为RGB数据的图像数据Data而按照每1帧储存到存储部120内的DRAM中。
另一方面,在数字形式的情况下,图像处理部160生成并发送时钟信号PCLK和图像数据Data。具体来说,在内容为数字形式的情况下,由于与图像信号同步地输出时钟信号PCLK,所以不需要垂直同步信号VSync和水平同步信号HSync的生成以及模拟图像信号的A/D转换。另外,图像处理部160也可以对储存在存储部120中的图像数据Data执行分辨率转换处理、调整亮度和饱和度之类的各种色调校正处理、梯形失真校正处理等图像处理。
图像处理部160分别经由发送部51、52发送所生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、以及储存在存储部120内的DRAM中的图像数据Data。另外,将经由发送部51发送的图像数据Data称为“右眼用图像数据Data1”,将经由发送部52发送的图像数据Data称为“左眼用图像数据Data2”。发送部51、52作为用于控制部10与图像显示部20之间的串行传输的收发器而发挥功能。
显示控制部162生成对右显示驱动部22和左显示驱动部24进行控制的控制信号。具体来说,显示控制部162利用控制信号来控制右LCD控制部211对右LCD 241的驱动开/关、右背光灯控制部201对右背光灯221的驱动开/关。并且,独立控制左LCD控制部212对左LCD242的驱动开/关、左背光灯控制部202对左背光灯222的驱动开/关等。利用这些控制,显示控制部162控制右显示驱动部22和左显示驱动部24所分别进行的图像光的生成和射出。显示控制部162分别经由发送部51和52发送针对右LCD控制部211和左LCD控制部212的控制信号。同样,显示控制部162分别发送针对右背光灯控制部201和左背光灯控制部202的控制信号。
移动检测部164(检测部)对佩戴于使用者头部的HMD 100移动到预先确定的多个特定场所这一情况进行检测。具体来说,移动检测部164判定HMD 100的位置是否为预先设定的位置或在预先设定的范围内。在后面详细叙述移动检测部164检测或取得HMD 100的位置的处理。
处理控制部166(控制部)根据移动检测部164的判定结果,对搭载于HMD 100的各种功能内的规定的功能的至少一部分进行变更。规定的功能可以是一个功能,也可以是多个功能,但在本实施方式中为多个功能。在后面详细叙述移动检测部164和处理控制部166。
声音处理部170取得包含在内容中的声音信号,对所取得的声音信号进行放大而供给到与连结部件46连接的右耳机32内的未图示的扬声器和左耳机34内的未图示的扬声器。另外,例如,在采用了Dolby(注册商标)***的情况下,对声音信号进行处理,从右耳机32和左耳机34分别输出例如频率等被改变后的不同的声音。
通信处理部172对经由无线通信部132的无线通信和经由USB接口136的通信进行控制。通信处理部172使用iBeacon(注册商标)技术或其他公知的Bluetooth信标技术,接收来自设置于HMD 100的外部的BLE终端(例如,在后面叙述的BLE终端670)的信号。并且,通信处理部172执行基于无线LAN标准的通信。通信处理部172也可以根据所接收的信号的接收信号强度等,求出BLE终端等通信对方的目标设备与HMD 100之间的距离。
接口180是用于将作为内容供给方的各种外部设备OA与控制部10连接的接口。作为外部设备ОA,例如,具有个人计算机PC、移动电话终端、游戏终端等。作为接口180,例如,可以使用USB接口、微型USB接口、存储卡用接口等。
图像显示部20具有右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显示部28的左导光板262、外景拍摄用照相机61(也参照图1)、9轴传感器66。
外景拍摄用照相机61(外景拍摄部)配置在与使用者佩戴图像显示部20时的使用者的眉间对应的位置。因此,在使用者将图像显示部20佩戴于头部的状态下,外景拍摄用照相机61拍摄使用者所面向的方向的外部景色即外景。外景拍摄用照相机61是单眼照相机,但也可以是立体照相机。
9轴传感器66是检测加速度(3轴)、角速度(3轴)、地磁(3轴)的运动传感器。9轴传感器66由于设置于图像显示部20,所以在图像显示部20佩戴于使用者的头部时,检测使用者的头部动作。根据检测出的使用者的头部动作来确定图像显示部20的方向。
右显示驱动部22包含接收部(Rx)53、作为光源而发挥功能的右背光灯(BL)控制部201和右背光灯(BL)221、作为显示元件而发挥功能的右LCD控制部211和右LCD 241、以及右投射光学***251。另外,将右背光灯控制部201、右LCD控制部211、右背光灯221以及右LCD241统称为“图像光生成部”。
接收部53作为用于控制部10与图像显示部20之间的串行传输的接收器来发挥功能。右背光灯控制部201根据所输入的控制信号来驱动右背光灯221。右背光灯221例如是LED、电致发光(EL)等发光体。右LCD控制部211根据经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync以及右眼用图像数据Data1来驱动右LCD 241。右LCD241是将多个像素配置成矩阵状的透过型液晶面板。
右投射光学***251由准直透镜构成,该准直透镜使从右LCD 241射出的图像光成为平行状态的光束。作为右光学像显示部26的右导光板261在使从右投射光学***251输出的图像光沿着规定的光路反射的同时,将这些图像光引导至使用者的右眼RE。只要使用图像光在使用者的眼前形成虚像,光学像显示部可以使用任意的方式,例如,可以使用衍射光栅,也可以半透过反射膜。另外,在本说明书中,将HMD 100射出图像光的情况也称为“显示图像”。
左显示驱动部24具有与右显示驱动部22同样的结构。即,左显示驱动部24包含接收部(Rx)54、作为光源而发挥功能的左背光灯(BL)控制部202和左背光灯(BL)222。并且,包含作为显示元件而发挥功能的左LCD控制部212和左LCD 242、以及左投射光学***252。
图3是示出图像光生成部射出图像光的情形的说明图。右LCD 241通过对配置成矩阵状的各像素位置的液晶进行驱动,使透过右LCD 241的光的透过率发生变化,由此,将从右背光灯221照射的照明光IL调制为显示图像的有效的图像光PL。左侧也同样如此。另外,如图3所示,在本实施方式中采用背光方式,但也可以构成为使用前光方式或反射方式来射出图像光。
A-2.头部佩戴型显示装置的平台
图4是HMD 100的平台的说明图。平台是指为了使安装于HMD 100的应用程序进行动作而需要的、作为基础的硬件资源、OS、中间件等的集合。本实施方式的平台500包含应用层510、框架层520、库层530、内核层540以及硬件层550。各层510~550概念性地对包含在平台500中的硬件资源、OS、中间件等进行了分层。通过框架层520、库层530以及内核层540来实现OS 150(图2)的功能。另外,在图4中,省略了说明上所不需要的构成要素的图示。
应用层510是用于在OS 150上执行规定的处理的应用软件的集合。以后,将应用层510所包含的各应用软件称为“应用”或“应用程序”。在应用层510中包含预先安装于HMD100的应用和HMD 100的使用者所安装的应用的双方。
在图4的例子中,应用层510包含照相机应用511、业务应用512、引导应用513、观看支持应用514以及认证用应用515。照相机应用511提供拍摄功能。业务应用512提供文档创建应用程序、表格计算应用程序、演示程序、网页浏览器等应用程序的功能。并且,业务应用512也可以提供地图显示应用程序、进行邮件创建、编辑、收发等的应用程序的功能。引导应用513提供适合于美术馆、博物馆、娱乐设施等的参观和/或引导的引导功能。观看支持应用514提供在剧场或电影院等观剧时进行信息提供等的功能。认证用应用515提供用于在外部的设备中认证HMD 100的功能。
框架层520是安装有应用层510的应用软件中共有的基本程序构造、功能组的程序的集合。在本实施方式中,包含图像处理部框架521、显示控制部框架522、声音处理部框架523、通信处理部框架524以及社交控制部框架525等。图像处理部框架521实现图像处理部160(图2)的功能。显示控制部框架522实现显示控制部162(图2)的功能。声音处理部框架523实现声音处理部170(图2)的功能。通信处理部框架524实现通信处理部172(图2)的功能。社交控制部框架525实现移动检测部164和处理控制部166的功能。
库层530是被部件化的库软件的集合,使得用于实现特定的功能的程序能够从其他程序(例如包含在应用层510中的应用)被使用。以后,将库层530所包含的各库软件也称为“库”。库无法单独地执行,而是以从其他程序调用的方式执行。
在图4的例子中,库层530包含显示器库533、音频库534、传感器库535、照相机库536、外部连接库537以及GPS库538。并且,库层530包含HTML(Hyper Text MarkupLanguage:超文本标记语言)库539。库层530也可以包含其他库。
显示器库533对右LCD 241和左LCD 242(图2)进行驱动。音频库534对内置于右耳机32和左耳机34(图2)的声音IC(Integrated Circuit:集成电路)进行驱动。传感器库535对9轴传感器66(图2)进行驱动,并且取得9轴传感器66的检测值,将检测值加工成用于提供给应用的信息。照相机库536对外景拍摄用照相机61(图2)进行驱动,并且取得外景拍摄用照相机61的检测值,根据检测值来生成外景图像。外部连接库537对USB接口136进行控制,取得通过USB接口136接收的数据,使USB接口136执行数据发送。GPS库538对GPS模块134进行控制而执行位置检测,取得表示检测出的位置的位置信息。HTML库539解释用网页描述用语言记载的数据而计算画面显示用的字符或图像的配置。
内核层540是安装了OS 150的基本功能的程序的集合。内核层540具有管理软件(库层530)与硬件(硬件层550)之间的交换并使两者协作的功能。即,利用内核层540的功能,平台500使硬件和软件协作而实现HMD 100的功能。
在图4的例子中,内核层540包含用于驱动右LCD 241和左LCD 242的LCD驱动器541。内核层540包含:声音IC驱动器542,其用于驱动声音IC;传感器驱动器543,其用于驱动9轴传感器66;以及图像传感器驱动器544,其用于驱动内置于外景拍摄用照相机61的图像传感器。内核层540包含用于驱动USB接口136的USB接口驱动器545和GPS模块134用的GPS驱动器546。
硬件层550是组装到HMD 100的实际的硬件资源。在本实施方式中,“硬件资源”是指与HMD 100连接或者组装到HMD 100的器件。
即,硬件资源包含与HMD 100的主板内部连接的器件。作为这种器件,例如,可列举9轴传感器66的传感器器件、外景拍摄用照相机61的图像传感器器件、触控板14的传感器器件、USB接口136、GPS模块134等。并且,硬件资源包含经由接口180与HMD 100外部连接的器件。作为这种器件,例如,可列举外设的运动传感器器件、外设的USB器件等。
在图4的例子中,硬件层550包含作为右LCD 241和左LCD 242的LCD器件551、声音IC器件552、9轴传感器66的传感器器件553以及外景拍摄用照相机61的图像传感器器件554。并且,硬件层550包含相当于USB接口136的USB接口555和作为GPS模块134的GPS器件556。
在图4中被虚线围住的库、驱动器、器件分别处于对应关系,它们协同进行动作。例如,传感器库535、传感器驱动器543以及传感器器件553为了实现9轴传感器66的功能而协同动作。即,库层530的传感器库535和内核层540的传感器驱动器543是用于使包含在应用层510中的应用使用作为硬件资源的传感器器件553的程序。硬件资源如上述那样是指硬件层550所包含的器件。并且,在本实施方式的说明中,程序是指与软件同义或者对应的表现。另外,为了能够使用作为1个硬件资源的传感器器件553,也可以构成为对传感器器件553分配多个库。
例如,除了图4所示的各器件之外,硬件层550还可以构成为包含其他器件。内核层540可以构成为包含与硬件层550所包含的各器件对应的程序。
另一方面,在图4中,例如,库层530的HTML库539与硬件资源没有对应关系,不依赖于硬件资源。这样,在本实施方式中,将组装到HMD 100且不依赖于硬件资源的程序(软件)也称为“软件资源”。作为软件资源,假设了包含在框架层520、库层530、内核层540的各层中的各种程序。
图5是示出存储部120所存储的信息的示意图。
存储部120存储CPU 140所执行的OS 120a、应用程序120b、设定数据120c、社交控制数据120d以及内容数据120e。并且,存储部120存储外景拍摄用照相机61所拍摄到的拍摄图像数据120f、以及经由无线通信部132或USB接口136取得的下载完成数据120g。
OS 120a被CPU 140加载而执行,构成OS 150(图2)。应用程序120b由CPU 140来执行,构成应用层510(图4)的各应用。设定数据120c包含表示与HMD 100的动作相关的设定内容的数据。
社交控制数据120d包含与基于HMD 100的位置的HMD 100的功能限制设定相关的数据。社交控制数据120d包含与基于HMD 100的位置而被限制执行的应用、框架、库、内核等相关的设定数据。社交控制数据120d也可以包含基于HMD 100的位置对访问限制对象数据或删除对象数据进行指定的数据。社交控制数据120d包含执行HMD 100的功能限制的情况下的与HMD 100的位置相关的设定数据。并且,社交控制数据120d也可以包含确定能够使用HMD 100的功能的位置或位置范围(可使用位置、可使用范围)的GPS坐标等数据。
内容数据120e是在执行业务应用512、引导应用513以及观看支持应用514时再现的内容数据,包含声音数据、影像数据、静态图像数据等。
A-3.头部佩戴型显示装置的功能限制
图6和图7是示出HMD 100的动作的流程图。图6示出了启动时的与HMD 100的功能限制相关的动作,图7示出了HMD 100的动作中的与HMD 100的功能限制相关的动作。
在HMD 100处于停止状态(包含所谓的用于节电的休眠状态、挂机状态)或电源断开状态下,电源被切换为接通时,CPU 140开始启动处理(步骤S11)。
CPU 140从存储部120加载并执行OS 120a,构成OS 150的功能(步骤S12)。
CPU 140执行位置检测处理而取得HMD 100的位置(步骤S13)。位置检测处理是相当于移动检测部164的功能的处理。关于步骤S13的动作,例如,可列举以下说明的(1)~(3)三种。
(1)利用GPS模块的位置检测
CPU 140对GPS模块134进行控制而计算并取得HMD 100的当前位置。
(2)利用无线通信部的位置检测
CPU 140利用无线通信部132从外部的信标装置(Bluetooth信标等)接收信标信号,通过计算与发送源信标装置的距离来求出HMD 100的位置。
或者,CPU 140利用无线通信部132来接收预先设定了位置的信标装置所发送的信标信号,以发送源信标装置的位置为基准,求出HMD 100的位置。
或者,CPU 140在利用无线通信部132接收到预先设定了位置的信标装置所发送的信标信号的情况下,求出发送源信标装置的位置来作为HMD 100的位置。
或者,CPU 140可以取得包含在无线通信部132所接收到的无线信号中的ID(例如,SSID等网络ID),检索与所取得的ID相对应的位置信息,将检索到的位置信息作为HMD 100的位置。在该情况下,只要使表示HMD 100的可使用位置或可使用范围的位置信息、与无线信号所包含的ID相对应地包含在社交控制数据120d中即可。并且,作为与可使用位置对应的ID,也可以构成为仅在社交控制数据120d中包含ID。
(3)利用外景拍摄用照相机的位置检测
CPU 140利用外景拍摄用照相机61来执行拍摄,并分析拍摄图像。
HMD 100使可用于确定HMD 100的位置的图像的图像数据或图像的特征量数据包含在社交控制数据120d中而存储到存储部120中。位置信息与该图像数据或特征量数据相对应。CPU 140对社交控制数据120d的图像数据或图像特征量数据、和外景拍摄用照相机61的拍摄图像进行比较对照,确定位置信息。根据该处理,可以利用外景拍摄用照相机61来拍摄HMD 100的周围环境,根据显现于拍摄图像的建筑物、道路、设置物、二维码、景色等来确定HMD 100的位置。例如,能够利用外景拍摄用照相机61来拍摄设置于可使用位置或可使用范围的特定的二维码,根据拍摄到的拍摄图像来使用HMD 100的功能。
在步骤S13中,CPU 140通过执行上述(1)~(3)的处理中的任意一个处理来取得HMD 100的位置。并且,CPU 140也可以对上述(1)~(3)的处理中的多个处理进行组合来取得HMD 100的位置。
CPU 140也可以通过上述(1)~(3)以外的处理来取得HMD 100的位置。
例如,CPU 140也可以对多个位置检测的方法进行组合。即,也可以对GPS模块134根据GPS信号来检测位置的处理、和无线通信部132根据无线LAN、Bluetooth、iBeacon等无线信号来检测位置的处理进行组合。并且,也可以根据9轴传感器66所检测的加速度、角加速度、地磁等进行HMD 100的状态检测(正在搭乘电车、汽车、飞机等,处于室内、野外还是地下等),并将状态检测的结果与其他处理的结果进行组合。
并且,CPU 140也可以与HMD 100的状态(位置、工作状态、环境状态等)或状态变化对应地切换在位置检测中使用的传感器。例如,在HMD 100处于飞机内的情况下,存在如下方法:在飞机内不使用由于可能干扰电波而被禁止使用的移动电话的频率的无线信号、或无线LAN的无线信号,而使用对飞机的电子设备影响较小的Bluetooth、iBeacon。
在该情况下,CPU 140能够在HMD 100移动到飞机内的情况以及从飞机内移动到外面的情况下进行切换。
并且,CPU 140也可以与HMD 100所处的国家、地域或公共场所和私人场所等HMD100所位于的社会分区(与社会分区对应的社会需求)对应地变更处理。例如,CPU 140也可以切换HMD 100进行处理(包含显示、声音输出)的语言或计量单位。并且,例如,也可以调整或变更无线通信部132所发送的无线信号的频率、发送输出。并且,也可以在公共场所将外景拍摄用照相机61的拍摄分辨率设定为低分辨率(例如,30万像素),在其以外的场所设定为外景拍摄用照相机61的标准分辨率(例如,1200万像素)。
CPU 140参照存储于存储部120的社交控制数据120d(步骤S14),判定HMD 100的位置是否为设定在社交控制数据120d中的位置(步骤S15)。在社交控制数据120d中,预先将可使用HMD 100的场所设定为位置或位置范围。CPU 140对在步骤S13中取得的HMD 100的位置、与在社交控制数据120d中作为可使用HMD 100的场所而预先设定的位置或位置范围进行比较。
在HMD 100的位置符合设定在社交控制数据120d中的位置的情况下,或者包含在设定范围内的情况下(步骤S15;是),CPU 140继续进行启动处理(步骤S16)。即,CPU 140进行包含应用层510的OS 150的功能、以及被OS 150控制的HMD 100的各硬件的初始化等(步骤S16)。CPU 140转移到针对应用层510的各应用输入执行指示的待机状态(步骤S17),结束本处理。在该情况下,HMD 100能够通过触控板14的操作等执行照相机应用511、业务应用512、引导应用513、观看支持应用514等。
在HMD 100的位置不符合设定在社交控制数据120d中的位置的情况下,以及不包含在设定范围内的情况下(步骤S15;否),CPU 140执行限制HMD 100的规定的功能的处理。
如上所述,社交控制数据120d包含HMD 100的位置不是设定位置的情况下的、限制HMD 100的功能的内容相关数据。
作为HMD 100的功能限制,在本实施方式中,包含由应用进行处理的数据的删除、应用的执行限制(锁定)以及库的使用限制(锁定)。
详细来说,在社交控制数据120d中设定有伴随着功能限制而删除的数据(删除对象数据)的情况下,CPU 140进行删除对象数据的删除(步骤S18)。并且,在社交控制数据120d中设定有伴随着功能限制而禁止访问的数据(锁定对象数据)的情况下,CPU 140禁止对锁定对象数据的访问(步骤S19)。访问被禁止的数据无法通过应用层510的应用、OS 150的功能来执行读出、编辑、复制等。
在社交控制数据120d设定了要锁定的应用程序的情况下,CPU 140对作为锁定对象的应用程序进行锁定(步骤S20)。被锁定的应用无法通过OS 150的功能来开始执行。
在社交控制数据120d设定了要锁定的库的情况下,CPU 140对作为锁定对象的库进行锁定(步骤S21)。被锁定的库无法通过OS 150的功能进行调用。
根据包含在社交控制数据120d中的设定信息来执行步骤S18~S21的处理。在社交控制数据120d中未设定删除对象数据的情况下,省略步骤S18的处理。同样,在社交控制数据120d中未设定锁定对象数据的情况下,省略步骤S19的处理。并且,在未设定锁定对象应用的情况下,省略步骤S20的处理。在未设定锁定对象库的情况下,省略步骤S21的处理。
CPU 140在执行了步骤S18~S21的任意一个处理的情况下,通知所执行的处理的内容(步骤S22)。具体来说,在图像显示部20上显示所执行的处理的内容、表示被删除或锁定的数据、应用、库的字符或图像。并且,CPU 140可以进行基于声音的通知,也可以仅通知进行了锁定。
通过图6的动作,在启动HMD 100时,在HMD 100的位置不处于作为可使用HMD 100的位置而设定的位置或范围内的情况下,可以限制数据、应用、库等的使用。并且,当HMD100在停止的状态下从设定位置或范围移动时,也能够在启动HMD 100时限制数据、应用、库等的使用。
例如,通过限制业务应用512的执行,使得无法执行HMD 100的功能中的文档创建、表格计算、演示数据的处理、网页浏览、地图显示、邮件创建、编辑、收发等。并且,通过限制照相机应用511的执行或限制照相机库536,使得无法利用外景拍摄用照相机61来执行拍摄。并且,通过限制外部连接库537,使得无法执行外部器件的控制。并且,也可以限制无线通信部132的无线通信、应用层510的其他应用的执行等。
图6所示的动作是CPU 140执行移动检测部164和处理控制部166的功能的动作。在图4中相当于社交控制部框架525的功能。本发明并不限定于此,例如,内核层540也可以执行处理控制部166的功能,限制HMD 100的功能。并且,可以构成为在HMD 100上安装属于硬件层550的功能限制用的硬件(省略图示),在该情况下,功能限制用的硬件也可以执行处理控制部166的功能。
作为执行处理控制部166和/或移动检测部164的功能的主体,例如,可列举HMD100的BIOS(Basic Input Output System:基本输入输出***)或替代BIOS安装的UEFI(Unified Extensible Firmware Interface:统一的可扩展固件接口)等。在该结构中,在BIOS或UEFI具有基于密码(PIN:Personal Identification Number:个人身份证号码)的锁定和锁定解除的功能的情况下,也可以替代密码或PIN而使用移动检测部164的判定结果或移动检测部164所检测的位置信息。根据该结构,可以将移动检测部164的判定结果或检测结果作为BIOS或UEFI的锁定解除码来使用,利用BIOS或UEFI的锁定功能来实现HMD 100的功能限制。
并且,与智能手机或平板电脑中已知的远程锁定功能同样,也可以构成为能够通过远程通信对HMD 100锁定功能。在该情况下,利用布局图等确定HMD 100的位置即可,在该布局图中,使HMD 100的位置与设施内、可确定大厦的ID、表示住所的地址、ZIP码、邮政编码、公司相对应。也可以构成为这样的远程锁定功能在HMD 100中始终有效,能够利用移动检测部164的判定结果或移动检测部164所检测的位置信息来作为锁定解除的密码或PIN。在该情况下,能够利用远程锁定功能来实现HMD 100的功能限制。
并且,CPU 140的执行功能限制并不限定于步骤S18~S21所示的例子。例如,CPU140也可以限制右显示驱动部22和左显示驱动部24的显示功能。即,也可以执行针对右LCD241、左LCD 242的描绘的限制、右LCD控制部211和左LCD控制部212的功能限制等。具体来说,可以在HMD 100的显示区域进行蓝色背景显示(整面蓝显示)或红色背景(整面红显示)等显示,降低(妨碍)透过右导光板261和左导光板262的外景的可见性。在该情况下,外景的可见性的降低(妨碍)的程度也可以是能够看到外景但会给使用者带来不快感或不适感的程度。并且,可以将该蓝色背景显示或红色背景等显示称为“妨碍外景可见显示”。
也可以结合妨碍外景可见显示来显示警告显示或通知显示,其中,该警告显示或通知显示对超出可使用位置或处于可使用范围之外的情况进行通知。警告显示或通知显示的具体方式是任意的,可以是字符也可以是图像。并且,警告显示或通知显示可以包含表示因上述理由而进行了妨碍外景可见显示的信息,也可以结合用于解除妨碍外景可见显示的方法而显示。例如,也可以包含电话号码、邮件地址、SNS的账户、地址等联络方式或联络方法等的显示。并且,妨碍外景可见显示等警告显示或通知显示并不限于HMD 100的位置超出可使用位置时或偏离到可使用范围之外时,也可以在HMD 100接近要超出可使用位置的位置、或靠近可使用范围外的位置的情况下进行显示,在该情况下,也可以不伴随妨碍外景可见显示地显示警告显示或通知显示。
图7示出了在HMD 100的动作中与HMD 100的位置对应地限制规定的功能的处理。
CPU 140在HMD 100的动作中按照预先设定的周期或随时执行图7的处理,并判定有无位置确认触发(步骤S31)。位置确认触发例如是指经过了设定时间或通过触控板14的操作来指示了位置确认。并且,也可以将输入信息取得部110检测出的输入操作进行了预先设定的次数以上、GPS模块134检测到设定距离以上的HMD 100的移动作为位置确认触发。并且,也可以将通过9轴传感器66检测到超过设定动作量的动作作为位置确认触发。
在判定为位置确认触发不成立的情况下(步骤S31;否),CPU 140结束本处理。
在判定为位置确认触发成立的情况下(步骤S31;是),CPU 140执行步骤S13(图6)的处理,取得HMD 100的位置。然后,CPU 140执行步骤S14~S15的处理。
在HMD 100的位置符合设定在社交控制数据120d中的位置的情况下,或包含在设定范围内的情况(步骤S15;是)下,CPU 140结束本处理。
在HMD 100的位置不符合设定在社交控制数据120d中的位置的情况下、以及不包含在设定范围内的情况下(步骤S15;否),CPU 140执行限制HMD 100的规定的功能的处理。
这里,CPU 140判定是否正在执行与设定在社交控制数据120d中的限制对象相关的处理(步骤S32)。具体来说,判定是否正在执行对在社交控制数据120d中被设定为删除对象或锁定对象的数据进行处理的应用、被设定为锁定对象的应用以及库。
在正在执行相应的处理的情况下(步骤S32;是),CPU 140使相应的处理停止(步骤S33),并转移到步骤S18。并且,在未执行相应的处理的情况下(步骤S32;否),CPU 140转移到步骤S18。CPU 140如参照图6所说明那样执行步骤S18~S22的动作。
在上述说明中,为了方便理解,对通过流程控制来判定有无位置确认触发的例子进行了说明,但本发明的具体方式并不限定于此。例如,也可以是,在CPU 140检测出位置确认的触发成立的情况下,通过中断控制来执行图7的步骤S13以后的处理。
并且,作为执行步骤S18~S21的处理的条件,CPU 140也可以对HMD 100的位置和其他条件进行组合。例如,也可以是,在HMD 100的位置不符合设定在社交控制数据120d中的位置的情况下,以及在判定为不包含在设定范围内并且其他条件成立的情况下,CPU 140执行步骤S18~S21的处理。作为其他条件,例如,也可以进行基于与使用者的生物体相关的信息的认证。具体来说,可列举利用外景拍摄用照相机61拍摄使用者的脸部而进行认证,利用HMD 100检测使用者的指纹、掌纹、虹膜等而进行认证等。在该情况下,可以构成为在认证成功的情况下不执行步骤S18~S21的处理,在认证失败的情况下执行步骤S18~S21的处理。
这样,应用了本发明的实施方式的HMD 100是佩戴于使用者的头部的HMD 100,具有显示图像的图像显示部20、和执行包含数据处理在内的处理的CPU 140。HMD 100具有:存储部120,其存储由CPU 140处理的数据;以及移动检测部164,其对HMD 100的位置不是设定位置(处于设定位置以外)这一情况进行检测。并且,还具有处理控制部166,该处理控制部166在移动检测部164检测出HMD 100的位置不是设定位置的情况下,限制存储于存储部120的数据中的、与设定位置相对应的数据的处理。
根据本发明的头部佩戴型显示装置和应用了头部佩戴型显示装置的控制方法的HMD 100,在HMD 100从设定位置移动到其他位置的情况下等,能够限制HMD 100的数据处理。因此,能够获得抑制了HMD 100向预定之外的场所移动的效果。因此,能够与使用场所关联地控制可否使用HMD 100,可以期待例如抑制了HMD 100的带走或数据的不正当使用的效果。
HMD 100具有拍摄外景的外景拍摄用照相机61。移动检测部164根据外景拍摄用照相机61的拍摄图像,对HMD 100的位置不是设定位置这一情况进行检测。由此,可以利用对HMD 100的外部真实空间即外景进行拍摄而得的拍摄图像、或与位置相对应的安全信息,控制HMD 100的使用。
此外,HMD 100根据无线通信部132所接收的信标信号,对HMD 100的位置不是设定位置这一情况进行检测。该情况下的信标信号可以说是与被设定为HMD 100的使用场所的场所相对应的安全信息。由此,能够利用对HMD 100的外部真实空间即外景进行拍摄而得的拍摄图像、或与位置相对应的安全信息,控制HMD 100的使用。
并且,移动检测部164也可以构成为根据外景拍摄用照相机61的拍摄图像、和与设定位置相对应的安全信息,对HMD 100的位置不是设定位置这一情况进行检测。在该情况下,能够利用对HMD 100的外部真实空间即外景进行拍摄而得的拍摄图像、和与位置相对应的安全信息,控制HMD 100的使用。
存储部120存储包含应用程序的数据,CPU 140通过执行应用程序来执行HMD 100的功能。处理控制部166限制与设定位置相对应的应用程序的执行。由此,能够根据HMD 100的位置来控制实现HMD 100的功能的应用程序的执行。因此,能够适当地控制具有多种功能的HMD 100的使用。并且,由于以应用程序为单位限制执行,所以例如能够限定要限制的对象应用程序等、对HMD 100的功能进行非常细致的控制。
当HMD 100从停止或电源断开状态启动时,如图6所示,处理控制部166使移动检测部164执行检测。在移动检测部164检测出HMD 100的位置不是设定位置的情况下,限制对存储于存储部120并与设定位置相对应的数据的访问。由此,在HMD 100处于停止或电源断开状态的期间,HMD 100从设定场所移动的情况下等,能够限制HMD 100在不恰当的场所使用。因此,可以期待进一步抑制了HMD 100向预定之外的场所移动的效果。
当HMD 100从停止或电源断开状态启动时,在移动检测部164检测出HMD 100的位置不是设定位置的情况下,处理控制部166将存储于存储部120并与设定位置相对应的数据清除。由此,在HMD 100处于停止或电源断开状态的期间,HMD 100从设定场所移动的情况下等,能够限制HMD 100所具有的数据的使用。因此,能够可靠地限制在预定之外的场所使用数据,可以期待防止了数据的不恰当使用的效果。
并且,HMD 100也可以构成为能够对HMD 100的使用状态不是设定使用状态这一情况进行检测。例如,也可以通过HMD 100所具有的9轴传感器66等传感器来检测HMD 100的使用状态。并且,也可以在社交控制数据120d中设定判定HMD 100的使用状态的条件。
在该情况下,在HMD 100的使用状态不符合设定在社交控制数据120d中的条件的情况下,处理控制部166也可以通过步骤S18~S21的处理来进行限制。由此,能够根据HMD100的使用状态来限制数据的使用,可以期待防止了数据的不恰当使用的效果。
通过限制HMD 100的功能,例如,可以限制在业务应用512中使用的文档数据、表格计算应用程序的数据、演示数据、网页的数据、地图数据等的使用。并且,在通过HMD 100进行作业支持的情况下,可以限制作业程序手册等数据的使用。并且,例如,在将HMD 100与无线通信网络连接而使用的情况下,能够通过功能限制来防止与网络连接。通过进行与这些功能或数据相关的限制,能够保持数据的安全,防止HMD 100的不恰当使用。
HMD 100的可使用位置或可使用范围(区域)不限定于由GPS坐标确定的特定的位置或范围。例如,也可以通过坐标以外的方法来确定HMD 100的可使用位置和可使用范围。例如,可以将企业的工作场所设为可使用范围。并且,也可以将建筑物整体、建筑物中的1层或多层、在建筑物中未被划分的一部分、在建筑物中被划分出的一个房间、剧场、体育场、公园的场地、都道府县或州等行政区域设为可使用范围。
并且,也可以通过道路的行车道来确定HMD 100的可使用范围。在该情况下,移动检测部164确定佩戴着HMD 100的使用者所搭乘的车辆在道路(一般道路或高速公路)上行驶的行车道。移动检测部164检测车辆的位置为超车道的情况、为行驶车道的情况、为服务区或路站等休息场所的情况等。在该情况下,HMD 100的可使用范围也可以设定为超车道、行驶车道、休息场所等。例如,可以使HMD 100的电视收看功能在休息场所有效,在行驶车道或超车道上限制该功能。这些功能可以在HMD 100与执行车辆的驾驶支持功能(包含所谓的自动驾驶)的控制装置进行通信、或者HMD 100具有驾驶支持功能的情况下应用。例如,在HMD 100进行驾驶支持功能的显示的情况下,关于该显示功能,可以与车辆的位置对应地进行限制该显示功能等的处理。作为其他例,考虑了为了区分停车场的停车位和过道而将可使用范围设为停车位等方式。
并且,对移动检测部164检测HMD 100的移动的情况进行了说明,但也可以是,移动检测部164对HMD 100发生转移、HMD 100移动到规定的地域或区域之外、HMD 100向区域外移动这些情况进行检测。
B.HMD的应用例
接着,对使用HMD 100的具体的应用例进行说明。
B-1.应用例1
作为使用HMD 100的功能的应用例,图8是示出使访问美术馆的人佩戴HMD 100并进行美术馆中的引导的应用例的说明图。除了美术馆之外,应用例1也同样能够应用在包含博物馆在内的各种展示设施、作为活动而临时举行的展示会、娱乐设施等中。
首先,访问美术馆的人去前台支付入场费用(场景1)。此时,接待人也可以进行来访者的个人认证。作为个人认证,例如通过验证驾驶证、护照、社保证等身份证件来进行。
在接着场景1的场景2中,接待人对已完成接待的来访者借出前述的HMD 100。另外,在该借出时,接待人将IC卡、USB存储器、SIM等作为硬键(hard key)***到HMD 100中。另外,也可以替代硬键而输入OS 150的产品密钥等作为软键(soft key)。
另外,在进行了个人认证的情况下,也可以将上述身份证件的号码等作为软键来输入。使用触控板14或十字键16等输入信息取得部110等来进行作为软键的输入。这样输入的硬键或软键作为HMD认证密钥而被存储到HMD 100的存储部120中。接待人将输入了硬键或软键的HMD 100借给来访者。
在接着场景2的场景3中,来访者将借出的HMD 100佩戴于头部而使用。以下,将正在使用HMD 100的来访者也称为“使用者”。在美术馆的展示区域600的前面设置有门(入口)610,在场景3中,使用者HU走到门610的前面。在门610上标记有用于识别门610的标记、即门识别名称GN。在场景3中,使用者HU使用HMD 100所包含的拍摄门识别名称GN的功能将门610打开。在后面详细叙述该功能。
使用者HU通过打开的门610而进入到展示区域600内。在展示区域600内设置有多个iBeacon用的BLE终端670。在展示区域600内移动的场景4中,使用者HU使用HMD 100所包含的与BLE终端670进行通信的功能来接收路线(引导路线)的提示。
使用者HU走到展示品680的前面,观看展示品680(场景5)。在展示品680的周围以条形码BC的形式附设有用于识别展示品680的标记。在观看时,使用者使用HMD 100所包含的拍摄条形码BC的功能来接收关于眼前的展示品680的信息的提示。在后面详细叙述该功能。另外,展示品也可以是展示物。
观看完展示品的使用者HU从门(出口)690移动到展示区域600的外侧(场景6),在前台返还HMD 100(场景7)。
在该应用例1中,HMD 100在场景2中被启动,利用外景拍摄用照相机61来拍摄设置于门610的二维码等认证用的识别图像GN。识别图像GN也可以是字符串。
CPU 140根据在外景拍摄用照相机61的摄像图像中检测到识别图像GN的情况,判定为HMD 100的位置是设定使用位置(图6中的步骤S15;是)。由此,可以使用HMD 100的功能,例如,可以使用引导应用513(图4)。
在场景3中,CPU 140也可以将应用层510所包含的声音处理部框架523和照相机应用511锁定。声音处理部框架523由于负责HMD 100的全部声音的输出,所以通过锁定声音处理部框架523,将来自HMD 100的声音输出全部消除(使其静音)。通过进行照相机应用511的锁定,基于照相机应用511的拍摄被禁止,能够限制展示区域600中的展示品680的拍摄。并且,在除外景拍摄用照相机61以外HMD 100还搭载有其他照相机的情况下,照相机应用511有时可能会通过其他照相机进行拍摄。在该情况下,也可以构成为通过禁止照相机应用511,也禁止所述其他照相机的拍摄。
图9是示出路线引导处理例程的细节的流程图。
路线引导处理例程是观看支持应用514(图4)所包含的多个处理例程中的一个,通过HMD 100的CPU 140以规定的时间间隔反复执行。在该路线引导处理例程中,使用通信处理部172。在展示区域600中的路线的各拐角、直行部分连续的情况下的中途部分(以下,称为“直线中途部分”)分别配置有BLE终端670,从BLE终端670输出iBeacon的信号。在iBeacon的信号中至少保持有用于识别BLE终端670的BLE终端识别号码和到BLE终端670的距离。
当处理开始时,HMD 100的CPU 140首先判定是否从BLE终端670感知到了iBeacon的信号(步骤S101)。CPU 140反复执行步骤S101的处理直到感知到iBeacon的信号为止,在步骤S101中判定为感知到时,判定保持在感知到的信号中的距离是否小于规定的值(例如,2m)(步骤S102)。这里,在判定为距离不小于规定的值的情况下,处理返回到步骤S101。
另一方面,在步骤S102中,在判定为距离小于规定的值的情况下,进行如下处理:取得与保持在感知到的信号中的BLE终端识别号码对应的路线信息(步骤S103)。例如,经由设置于展示区域600的未图示的通信装置(无线LAN装置等)来访问服务器装置(图示略),从而能够取得路线信息。并且,也可以在内容数据120e中包含与BLE终端670对应的路线信息而供HMD 100存储。在该情况下,CPU 140从内容数据120e取得与在步骤S101中感知到的信号对应的路线信息。路线信息与BLE终端识别号码对应,例如是“请向左转”、“请向右转”、“请直行”之类的信息。
然后,CPU 140显示与通过步骤S103取得的路线信息对应的路线引导消息(步骤S104)。即,CPU 140使图像显示部20显示上述路线引导消息。
在执行了步骤S104后,CPU 140暂时结束图9的路线引导处理例程。由CPU 140执行的步骤S101和S102的处理与移动检测部164(图2)对应。即,移动检测部164检测HMD 100移动到了作为特定场所的路线的拐角附近或直线中途部分附近。由CPU 140执行的步骤S103和S104的处理与处理控制部166(图2)对应。即,处理控制部166扩展了信息提示功能以显示路线引导消息。
这样,通过使HMD 100在展示区域600中执行路线引导处理例程,佩戴着HMD 100的使用者在展示区域600内移动时,能够在视野中识别路线引导消息。因此,利用本实施方式的HMD 100,使用者的便利性优异。
另外,根据按照该路线引导处理例程的处理,通过iBeacon的技术来检测使用者所佩戴的HMD 100的移动。本发明并不限于此,也可以构成为使用在设置WiFi的接入点时登记的位置信息来推测当前位置,从而检测HMD的移动。并且,也可以通过使用了LED的可见光通信来检测HMD的移动。总之,只要通过来自外部的无线通信终端的信号来检测HMD的移动,则可以构成为使用任何无线通信的技术。此外,也可以构成为通过利用地磁来求出室内的当前位置的技术、或室内GPS的技术来检测HMD的移动。并且,如果展示区域600在室外,则也可以构成为利用GPS模块134来确定当前位置,从而检测HMD的移动。并且,也可以替代利用这些技术中的一个检测HMD的移动的结构,而对这些技术中的多个进行组合来检测HMD的移动。也可以根据检测场所等区分使用这些技术。
并且,在场景5中,观看支持应用514也可以进行展示品的解说。
图10是示出展示品解说例程的细节的流程图。展示品解说例程是观看支持应用514(图4)所包含的多个处理例程中的一个,通过HMD 100的CPU 140每隔规定的时间间隔反复执行。当处理开始时,CPU 140首先利用9轴传感器66检测使用者的头部的动作,从而判定使用者是否正在步行(步骤S111)。这里,当判定为正在步行时,使用者处于未观看展示品的状态,暂时结束该展示品解说例程。
另一方面,在步骤111中,当判定为不在步行时(步骤S111;否),启动外景拍摄用照相机61来拍摄外景(步骤S112)。另外,作为变形例,也可以构成为不进行步骤S111的判定而直接在步骤S112中进行外景的拍摄。
接着,CPU 140判定在通过步骤S112拍摄到的拍摄图像中是否包含展示品识别用的条形码BC(步骤S113)。这里,在判定为不包含的情况下,CPU 140使处理返回到步骤S112,继续进行外景拍摄用照相机61的拍摄,等待拍摄到条形码BC。另一方面,在步骤S113中,在判定为包含展示品识别用的条形码BC的情况下,将条形码BC转换成展示品680的识别码(步骤S114),停止外景拍摄用照相机61的拍摄(步骤S115)。然后,CPU 140从展示品信息存储部654e读出与通过步骤S114获得的展示品识别码对应的展示品信息(步骤S116),并显示该展示品信息(步骤S117)。即,CPU 140使图像显示部20显示展示品信息。另外,展示品信息显示在以外景中包含的条形码BC的位置为基础的位置处。展示品信息可以包含字符、图像、图形、动态图像等,这些数据包含在内容数据120e中。内容数据120e可以构成为与展示品识别码相对应地包含展示品信息。在本实施方式中,如图8所示,条形码BC附设在展示品680的左上方,展示品信息显示在条形码BC的左方的位置,但该位置当然可以任意变更。
在执行了步骤S117后,CPU 140暂时结束该展示品解说例程。另外,由CPU 140执行的步骤S112和S113的处理与移动检测部164(图2)对应。即,移动检测部164对HMD 100移动到作为特定场所的展示品680前面这一情况进行检测。由CPU 140执行的步骤S116和S117的处理与处理控制部166(图2)对应。即,处理控制部166扩展了信息提示功能以显示展示品信息。
根据该展示品解说例程,佩戴着HMD 100的使用者只需站在展示品680的前面,便可在视野中识别与展示品680的技法、时代背景、美术史相关的信息等展示品信息。因此,利用本实施方式的HMD 100,使用者的便利性优异。
另外,根据按照该展示品解说例程的处理,通过拍摄展示品680的周边所带有的条形码BC,检测出使用者所佩戴的HMD 100移动到展示品前面。本发明并不限于此,条形码BC也可以是简单清晰的黑白图形、QR码(注册商标)等其他种类的代码。并且,关于供条形码BC配置的位置,也可以替代附设在展示品680的左上方的结构,只要在展示品680的周围或周边,则可以是任意的位置。此外,也可以构成为在展示品680的内侧以电子水印的方式配置代码。此外,也可以构成为根据展示品680本身的拍摄图像来对移动到了该展示品前这一情况进行检测。
在该应用例中,在HMD 100的位置不是作为可使用范围的展示区域600(门610到门690之间)的情况下,由于对展示品信息或路线信息的访问被禁止,所以能够防止这些信息的不恰当使用。并且,如果采用将这些信息删除的结构,则能够更可靠地防止信息的不恰当使用。例如,可以构成为在展示区域600外将在展示区域600中使用的门识别名称GN和条形码BC的数据、展示品信息、路线信息、在设施内拍摄到的拍摄图像的数据删除。并且,也可以构成为在展示区域600外将作为HMD认证密钥而存储在HMD 100的存储部120中的数据、计费历史、支付历史(例如电子签名、网膜认证、脉搏认证)等数据删除。
如该应用例那样,HMD 100可以与在美术馆或剧场等特定场所借出HMD 100的商业模式对应。并且,如上所述,当进入到特定场所时照相机应用511不可使用,外景拍摄用照相机61对标记(门识别名称GN或条形码BC)的认证有效。由此,无法对个人进行拍摄,解决了隐私的问题,可以保护展示品的著作权。
B-2.应用例2
作为应用例2,列举了在将HMD 100使用在观光地的观光引导中的情况下应用本发明的例子。
例如,假设了如下例子:当佩戴HMD 100的使用者在观光地等步行的状态下,利用引导应用513以字符消息的显示或图像显示的方式显示与观光景点相关的信息等。作为显示方法,可以使用AR技术。显示信息也可以是建筑物的历史引导、时代绘卷、当时的再现影像显示等。这些信息也可以包含在内容数据120e中。在HMD 100位于被设定为可使用范围的观光地之外的情况下,可以将这些信息或内容数据120e删除,或者限制访问。并且,也可以在开始观光引导时将包含这些信息的内容数据120e从外部下载到HMD 100,在HMD 100偏离到可使用范围之外的情况下,将内容数据120e删除。并且,也可以构成为限制执行引导应用513。
B-3.应用例3
作为应用例3,列举了将HMD 100使用在体育场、电影院、剧场等的观看支持中的例子。例如,在佩戴着HMD 100的使用者位于体育场的上层座位的情况下,也可以构成为观看支持应用514显示通过HMD 100的外景拍摄用照相机61变焦拍摄到的拍摄图像。在该例中,能够以运动员的图像、表演者的图像被放大到可见的方式进行具有现场感的显示。并且,在使用者位于靠近体育场的场地或剧场的舞台的座位的情况下,观看支持应用514也可以利用无线通信部132取得由外部的照相机拍摄到的拍摄图像,并进行放大显示。
图11和图12是示出应用例3的使用状态的图,图11是示出与应用例3中的HMD 100的使用场所相关的具体例的图。图12是示出应用例3中的HMD 100的具体的显示方式的图。
图11是使用者在具有多层(在图11中为4层)观众席SE的体育场ST中佩戴HMD 100而使用的例子。在该例中,在使用者位于4层或3层等上层的情况下,与场地F的距离较远,不容易看到位于场地F的运动员、比赛的细节。
在图12中,标号A示出了在图11的使用状态下透过HMD 100而看到的外景的例子,标号B示出了HMD 100的显示的一例。
如标号A所示,使用者透过HMD 100看到了场地F上的运动员FP和在竞技中使用的球BA。这里,如标号B所示,HMD 100利用观看支持应用514的功能在显示区域中显示将球BA的附近放大后的放大图像IV。并且,观看支持应用514根据使用者的视线方向或HMD 100的姿势来判定使用者正在朝下方看着场地F,将放大图像IV配置在显示区域的上部以不遮挡视线。由此,使用者能够在视野VR中观察运动员FP而不受放大图像IV的妨碍,能够通过放大图像IV将在竞技中使用的球的附近放大而看到球。并且,放大图像IV也可以是从外景拍摄用照相机61所拍摄到的拍摄图像生成的图像。或者,如上所述,也可以是观看支持应用514利用无线通信部132取得由外部的照相机拍摄到的拍摄图像后的图像。
在应用例3中,可以构成为在HMD 100的位置处于被设定为可使用范围的体育场、电影院、剧场等之外的情况下,将外景拍摄用照相机61的拍摄图像数据、HMD 100所下载的拍摄图像清除。并且,可以构成为禁止观看支持应用514的执行。
B-4.应用例4
作为应用例4,列举了将HMD 100使用在公司、学校、图书馆、游乐园等的信息提供中的例子。例如,假设了公司员工是佩戴HMD 100的使用者的例子。例如,假设了如下***:在将公司那样的安全区域设为可使用范围的情况下,使用者在利用所携带的ID卡、IC标签等经入口处的认证装置认证后可以入场。在该结构中,在认证成功后,对HMD 100发送认证信息,从而可以使用包含业务所需的应用程序的业务应用512,可以将HMD 100与公司内的通信网络连接。可认为在学校、图书馆、游乐园等的入场处理中也同样如此。在应用例4中,可以构成为在HMD 100的位置不是被设定为可使用范围的公司、学校、图书馆、游乐园等的情况下,将外景拍摄用照相机61的拍摄图像数据、HMD 100所下载的拍摄图像清除。并且,可以构成为禁止执行业务应用512。
B-5.应用例5
作为应用例5,列举了将HMD 100使用在电影院/剧场等的观看支持中的例子。例如,列举了如下例子:在外语电影或剧的观看期间,通过观看支持应用514来执行所翻译的字幕的显示、字幕的翻译结果显示、配音成本地语言的声音输出、歌词的显示、歌词的说明显示、与故事相关的说明显示等。并且,也可以构成为在进入到被设定为可使用范围的电影院/剧场等时进行认证,在认证后,能够启动观看支持应用514、和/或访问包含有在观看支持应用514中使用的数据的内容数据120e。
在应用例5中,在HMD 100的位置不是被设定为可使用范围的电影院/剧场等的情况下,可以禁止启动观看支持应用514、和/或访问包含有在观看支持应用514中使用的数据的内容数据120e。
B-6.应用例6
作为应用例6,列举了将HMD 100使用在生产线等工作场所(作业场所)的作业支持中的例子。HMD 100通过业务应用512的功能来显示作业的详细过程。例如,在进行自行车的维修作业的情况下,通过图像或文本的显示来执行引导,在该引导中包含拆卸部件的作业、清洗/清扫作业、划痕的检查作业、部件安装作业等的专业技巧。这些信息例如可以作为作业程序手册而包含在内容数据120e中。
图13是示出应用例6中的HMD 100的显示方式例的图。在图13中,标号A示出了HMD100显示作业列表的例子,标号B示出了显示引导作业过程的例子。
在图13的例子中,如标号A所示,作为作业列表SR,可以通过业务应用512的功能,在显示区域V1中显示由包含在内容数据120e中的作业程序手册规定的作业的一览表。作业列表SR可以重叠显示在透过HMD 100而看到的作业对象物OB上,引导对作业对象物OB进行的作业。并且,在作业列表SR上显示复选框CH,在已经结束的作业的复选框CH中显示复选标记。因此,使用者能够容易地了解各项目作业的结束状态,能够了解作业的进展状况。
在标号B所示的显示状态下,通过业务应用512的功能,与背景的作业对象物OB重叠地显示作业内容的说明D,从而使用者能够了解对作业对象物OB进行的作业。此外,在标号B的例子中,作业对象物OB中的表示作业部位的作业部位显示M与作业对象物OB重叠地进行AR(Augmented Reality:增强现实)显示。因此,使用者能够相应地了解作业对象物OB中的作业部位。
在应用例6中,在HMD 100的位置不是被设定为可使用范围的作业场所的情况下,包含作业程序手册的内容数据120e被锁定。因此,无法看到作业程序手册。并且,即使如上述那样将HMD 100的电源断开而从作业场所移动、并在其他场所将HMD 100的电源接通,也无法看到作业程序手册。因此,能够防止包含专业技巧等的作业程序手册的不恰当使用。
在应用例6中,显示作业过程的处理不限于业务应用512等专门的应用程序,例如,也可以通过显示普通文档文件的显示用应用程序的功能来执行。
此外,在应用例6中,也可以实现将作业过程从使用者所佩戴的HMD 100移交到其他HMD 100的使用方式。该功能例如可以由业务应用512的功能来实现。具体来说,在两个HMD 100之间收发与作业的执行历史或作业过程相关的数据。由此,将与执行途中的作业相关的信息从一个使用者移交到另一个使用者,另一个使用者可以一边接收基于业务应用512的作业支持一边继续进行作业。在该结构中,在一方的HMD 100移动到被设定为可使用范围的作业场所之外的场所的情况下,可以将移交时收发的数据从一方或双方的HMD 100删除。并且,也可以限制移动到作业场所之外的场所的HMD 100的功能,使得无法再连接到在作业场所能够使多个HMD 100进行通信的网络。
B-7.应用例7
作为应用例7,列举了如下例子:在医院中作为患者的使用者佩戴HMD 100,对使用者进行医院内的门诊引导、等待时间显示、检查装置、向门诊室的引导等。在该例中,假设了如下情况:HMD 100通过引导应用513的功能来进行基于使用了外景拍摄用照相机61的拍摄图像的路线分析、i-Beacon、光信标、近距离无线通信等的位置检测,并进行与检测出的位置对应的路径引导。该动作例如与图9所示的动作同样。具体来说,可以从门诊接待开始,按照门诊顺序来引导检查场所、门诊场所等。并且,HMD 100例如也可以根据挂号条、病历卡等信息联动地取得移动信息。在该情况下,也可以使接待号码与门诊接待联动而实现能够自动移动到门诊科的导航功能。
在应用例7中,在被设定为可使用范围的医院内的场所中,也可以在基于拍摄图像的标记识别以外的用途中禁止外景拍摄用照相机61的拍摄。并且,在HMD 100处于可使用范围之外的场所的情况下,可以停止引导应用513的功能。
B-8.应用例8
在应用例8中,列举了佩戴着HMD 100的使用者搭乘汽车或摩托车等车辆的例子。在该例中,将车辆的驾驶场所设定为限制功能的场所。也就是说,车辆的驾驶场所(进行驾驶操作的场所、驾驶座位)被设定为可使用范围之外。在该情况下,HMD 100利用外景拍摄用照相机61的拍摄图像等识别是否处于驾驶场所。并且,HMD 100也可以根据拍摄图像等,在HMD 100的位置为驾驶场所即正在驾驶的情况下限制功能。在该情况下,随着功能的限制而限制动画观看、浏览等的执行。并且,关于HMD 100中的信息的显示,也可以进行显示图像的透过率、大小的控制等,以调整显示位置或显示大小,避免无法看到信号灯、车辆、人物的状态。并且,也可以进行如下控制:在所驾驶的车辆进入到特定地域(例如公园、受限的城市区域)等的情况下切换成自动驾驶,除了避免危险的制动以外切换成自动驾驶等。
B-9.其他应用例
作为其他应用例,可列举如下例子:作为可使用位置或可使用范围,设定为卫生间、电车的优先席、公共空间、山、海上、外国、具有安全限制的公司、学校、飞机内等。在该情况下,可考虑执行与可使用位置或可使用范围对应的业务应用512、引导应用513、观看支持应用514而向HMD 100的使用者提供便利的结构。在该情况下,HMD 100通过与HMD 100的场所对应地限制功能的执行,可以防止不恰当的功能使用。
并且,HMD 100的应用范围、位置以及功能并不限定于上述各应用例。
另外,本发明并不限于上述实施方式的结构,能够在不脱离其主旨的范围内实施各种方式。
例如,在上述实施方式中,使用者透过显示部而看到外景的结构并不限定于右导光板261和左导光板262使外部光透过的结构。例如也可以应用到以无法看到外景的状态显示图像的显示装置中。具体来说,可以将本发明应用在对外景拍摄用照相机61的拍摄图像、基于该拍摄图像而生成的图像或CG、基于预先存储的影像数据或从外部输入的影像数据的影像等进行显示的显示装置中。作为这种显示装置,可以包含无法看到外景的、所谓的封闭型的显示装置。并且,也可以使用如在上述实施方式中说明的那样与真实空间重叠地显示图像的AR显示、将所拍摄的真实空间的图像与虚拟图像组合在一起的MR(Mixed Reality:混合现实)显示。或者,也可以应用在不进行显示虚拟图像的VR(Virtual Reality:虚拟现实)显示之类的处理的显示装置中。
例如,显示从外部输入的影像数据或模拟影像信号的显示装置当然也包含在本发明的应用对象中。
并且,例如,也可以替代图像显示部20而采用例如像帽子那样佩戴的图像显示部等其他方式的图像显示部,只要具有与使用者的左眼对应地显示图像的显示部和与使用者的右眼对应地显示图像的显示部即可。并且,本发明的显示装置例如也可以构成为搭载在汽车、飞机等车辆上的头戴显示器。并且,例如,也可以构成为内置于安全帽等身体防护件的头戴显示器。在该情况下,可以将确定相对于使用者的身体的位置的部分、和相对于该部分定位的部分设为佩戴部。
此外,控制部10和图像显示部20也可以构成为一体,构成为佩戴于使用者的头部。并且,作为控制部10,可以使用笔记本电脑、平板电脑、包含游戏机、移动电话、智能手机、便携式媒体播放器的便携式电子设备、其他专用设备等。
并且,在上述实施方式中,以图像显示部20和控制部10分离并经由连接部40连接的结构为例进行说明,但也可以构成为控制部10和图像显示部20通过无线通信线路连接。
并且,作为将图像光引导至使用者的眼睛的光学***,也可以构成为在右导光板261和左导光板262的一部分上通过半透半反镜形成虚像。并且,也可以构成为在具有占据右导光板261和左导光板262的整个面或大部分的面积的显示区域中显示图像。在该情况下,在使图像的显示位置变化的动作中,也可以包含使图像缩小的处理。并且,也可以使用衍射光栅、棱镜、全息显示部。
并且,框图中所示的各功能块中的至少一部分也可以构成为通过硬件来实现,也可以通过硬件和软件的协作来实现,并不限定于如图示那样配置独立的硬件资源的结构。并且,CPU 140所执行的程序可以构成为存储在存储部120中,也可以取得存储于外部装置的程序而执行。并且,形成于控制部10的结构也可以重复形成于图像显示部20。例如,与CPU140同样的处理器可以配置于图像显示部20,控制部10所具有的CPU 140和图像显示部20的处理器也可以构成为执行单独划分的功能。

Claims (8)

1.一种头部佩戴型显示装置,其佩戴于使用者的头部,其中,该头部佩戴型显示装置具有:
透过型的显示部,其显示图像,让所述使用者与所述图像一起看到外景;
处理部,其执行包含数据处理在内的处理;
存储部,其存储由所述处理部处理的所述数据;
检测部,其对所述头部佩戴型显示装置的位置不是设定位置这一情况进行检测;以及
控制部,在所述检测部检测出所述头部佩戴型显示装置的位置不是设定位置的情况下,所述控制部限制存储于所述存储部的所述数据中的、与所述设定位置相对应的所述数据的处理,
所述控制部在限制所述数据的处理的情况下,使所述显示部的显示区域的整面进行显示来进行使透过所述显示部的外景的可见性降低的妨碍外景可见显示,
并且,结合所述妨碍外景可见显示,使所述显示部进行通知所述头部佩戴型显示装置的位置不是设定位置的情况的显示。
2.根据权利要求1所述的头部佩戴型显示装置,其中,
该头部佩戴型显示装置具有外景拍摄部,该外景拍摄部拍摄外景,
所述检测部根据所述外景拍摄部的拍摄图像、和与所述设定位置相对应的安全信息中的至少一方,对所述头部佩戴型显示装置的位置不是设定位置这一情况进行检测。
3.根据权利要求2所述的头部佩戴型显示装置,其中,
在根据所述外景拍摄部的拍摄图像、和与所述设定位置相对应的安全信息,检测出所述头部佩戴型显示装置的位置不是设定位置时,所述控制部执行妨碍外景可见显示、警告显示、通知显示以及功能锁定中的至少一方作为功能限制。
4.根据权利要求1~3中的任意一项所述的头部佩戴型显示装置,其中,
所述存储部存储包含应用程序的所述数据,
所述处理部通过执行所述应用程序来执行所述头部佩戴型显示装置的功能,
所述控制部限制与所述设定位置相对应的所述应用程序的执行。
5.根据权利要求1~3中的任意一项所述的头部佩戴型显示装置,其中,
在所述头部佩戴型显示装置从停止或电源断开状态启动时,所述控制部使所述检测部执行检测,
在所述检测部检测出所述头部佩戴型显示装置的位置不是设定位置的情况下,所述控制部限制对存储于所述存储部并与所述设定位置相对应的所述数据的访问。
6.根据权利要求5所述的头部佩戴型显示装置,其中,
在所述头部佩戴型显示装置从停止或电源断开状态启动时,所述检测部检测出所述头部佩戴型显示装置的位置不是设定位置的情况下,所述控制部将存储于所述存储部并与所述设定位置相对应的所述数据清除。
7.根据权利要求1~3中的任意一项所述的头部佩戴型显示装置,其中,
所述检测部对所述头部佩戴型显示装置的使用状态不是设定使用状态这一情况进行检测,
在所述检测部检测出所述头部佩戴型显示装置的使用状态不是设定使用状态的情况下,所述控制部限制存储于所述存储部的所述数据中的、与所述设定使用状态相对应的所述数据的处理。
8.一种头部佩戴型显示装置的控制方法,该头部佩戴型显示装置具有:透过型的显示部,其显示图像,让使用者与所述图像一起看到外景;处理部,其执行包含数据处理在内的处理;存储部,其存储由所述处理部处理的所述数据,在该头部佩戴型显示装置的控制方法中,
在检测出所述头部佩戴型显示装置的位置不是设定位置的情况下,限制存储于所述存储部的所述数据中的、与所述设定位置相对应的所述数据的处理,
在限制所述数据的处理的情况下,在所述显示部的显示区域的整面进行显示来进行使透过所述显示部的外景的可见性降低的妨碍外景可见显示,
结合所述妨碍外景可见显示,通过所述显示部进行通知所述头部佩戴型显示装置的位置不是设定位置的情况的显示。
CN201810588229.XA 2017-06-13 2018-06-08 头部佩戴型显示装置和头部佩戴型显示装置的控制方法 Active CN109085697B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017115809A JP6972682B2 (ja) 2017-06-13 2017-06-13 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法
JP2017-115809 2017-06-13

Publications (2)

Publication Number Publication Date
CN109085697A CN109085697A (zh) 2018-12-25
CN109085697B true CN109085697B (zh) 2022-01-07

Family

ID=64563497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810588229.XA Active CN109085697B (zh) 2017-06-13 2018-06-08 头部佩戴型显示装置和头部佩戴型显示装置的控制方法

Country Status (3)

Country Link
US (1) US20180356882A1 (zh)
JP (1) JP6972682B2 (zh)
CN (1) CN109085697B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
EP3542705B1 (en) * 2016-12-28 2020-07-29 JVC Kenwood Corporation Visual function examination device, visual function examination method, and computer program
JP2020095215A (ja) * 2018-12-14 2020-06-18 株式会社ジャパンディスプレイ 表示装置及びヘルメット
JP7223776B2 (ja) * 2019-01-24 2023-02-16 マクセル株式会社 表示端末、アプリケーション制御システムおよびアプリケーション制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016040865A (ja) * 2014-08-12 2016-03-24 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
WO2016051775A1 (en) * 2014-10-03 2016-04-07 Seiko Epson Corporation Head mounted display device adapted to the environment

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4705355B2 (ja) * 2004-10-04 2011-06-22 株式会社日立製作所 無線タグのデータ表示システム、携帯型コンピュータおよび無線タグのデータ表示方法
WO2010029625A1 (ja) * 2008-09-11 2010-03-18 コニカミノルタホールディングス株式会社 コンテンツ表示装置及びコンテンツ表示システム
US8117087B2 (en) * 2009-09-24 2012-02-14 Avaya Inc. Customer loyalty, product demonstration, and store/contact center/internet coupling system and method
US8618932B2 (en) * 2011-03-18 2013-12-31 Microsoft Corporation Device location detection
US9330499B2 (en) * 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
JP6025425B2 (ja) * 2012-07-06 2016-11-16 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、コンピュータプログラム。
US20150081532A1 (en) * 2013-09-18 2015-03-19 Yolanda Lewis Venue wi-fi direct system
JP6634697B2 (ja) * 2015-05-13 2020-01-22 セイコーエプソン株式会社 頭部装着型表示装置
WO2016187351A1 (en) * 2015-05-18 2016-11-24 Daqri, Llc Context-based augmented reality content delivery

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016040865A (ja) * 2014-08-12 2016-03-24 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
WO2016051775A1 (en) * 2014-10-03 2016-04-07 Seiko Epson Corporation Head mounted display device adapted to the environment

Also Published As

Publication number Publication date
JP2019004242A (ja) 2019-01-10
CN109085697A (zh) 2018-12-25
JP6972682B2 (ja) 2021-11-24
US20180356882A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
US20170213377A1 (en) Head mounted display device, control method thereof, and computer program
US9767617B2 (en) Head mounted display device, control method thereof, and computer program
CN109085697B (zh) 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
CN105453011B (zh) 虚拟对象朝向和可视化
US10132633B2 (en) User controlled real object disappearance in a mixed reality display
US8963956B2 (en) Location based skins for mixed reality displays
CN104062759B (zh) 信息显示***、信息显示方法、以及头戴式显示装置
CN110060614B (zh) 头部佩戴型显示装置及其控制方法、显示***
US10949055B2 (en) Display system, display apparatus, control method for display apparatus
CN108205197A (zh) 显示装置和显示装置的控制方法
KR20070076304A (ko) 증강 현실 장치 및 방법
JP6634697B2 (ja) 頭部装着型表示装置
US11681148B2 (en) Compact catadioptric projector
US20170132406A1 (en) Information processing device, method of controlling information processing device, computer program, and information processing system
US12026297B2 (en) Wearable electronic device and input structure using motion sensor in the same
JP6500382B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2019020738A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2016142966A (ja) 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant