CN108351736B - 可穿戴显示器、图像显示装置和图像显示*** - Google Patents

可穿戴显示器、图像显示装置和图像显示*** Download PDF

Info

Publication number
CN108351736B
CN108351736B CN201680062627.7A CN201680062627A CN108351736B CN 108351736 B CN108351736 B CN 108351736B CN 201680062627 A CN201680062627 A CN 201680062627A CN 108351736 B CN108351736 B CN 108351736B
Authority
CN
China
Prior art keywords
display
image
unit
display unit
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680062627.7A
Other languages
English (en)
Other versions
CN108351736A (zh
Inventor
石川博隆
朝原孝文
岩津健
涩井健
铃木谦治
田边智英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108351736A publication Critical patent/CN108351736A/zh
Application granted granted Critical
Publication of CN108351736B publication Critical patent/CN108351736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/34—User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G06F21/35—User authentication involving the use of external additional devices, e.g. dongles or smart cards communicating wirelessly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根据本技术的实施方式的可穿戴显示器包括显示单元；检测单元；和显示控制单元。所述显示单元构造为可佩戴在使用者上，所述显示单元包括向使用者提供现实空间中的视野的显示区域。所述检测单元检测所述显示单元的围绕至少一个轴的方位。所述显示控制单元构造为能够基于所述检测单元的输出，在所述显示区域中呈现与所述方位相关的第一图像，并且根据所述方位的变化，沿着与所述显示单元的移动方向相反的方向使所述第一图像在所述显示区域内移动第一移动量，所述第一移动量小于所述显示单元的移动量。

Description

可穿戴显示器、图像显示装置和图像显示***
技术领域
本技术涉及能够在显示视野中显示包含特定信息的图像的可穿戴显示器、图像显示装置和图像显示***。
背景技术
现在已知一种称为增强现实(AR，Augmented Reality)的技术，该增强现实技术在现实空间或显示现实空间的屏幕上添加对应的图像。例如，在专利文献1中，描述了能够在现实空间中存在的对象物体上重叠与该对象物体相关的图像(AR对象)、并且显示重叠图像的透视(see-through)型头戴式显示器(HMD，Head-Mounted Display)。
现有技术文献
专利文献
专利文献1：WO 2014/128810
发明内容
技术问题
在这种头戴式显示器中，一般地，AR对象的显示位置被固定为依附至对象物体，并且AR对象与对象物体一起依照使用者的头部移动而移动。因此，例如，在某些情况下，AR对象会跟随使用者无意识的(非故意的)移动而移动或轻微晃动，从而减弱该AR对象的可视性。此外，如果显示视野很窄，该AR对象会脱离到显示区域外部，因此在某些情况下，会看不见该AR对象。
鉴于上述情况，本技术的目的是提供能够改善AR对象的可视性或检索性的可穿戴显示器、图像显示装置和图像显示***。
解决方案
根据本技术的实施方式的可穿戴显示器包括显示单元、检测单元和显示控制单元。
显示单元可佩戴在使用者上，所述显示单元包括向使用者提供现实空间中的视野的显示区域。
检测单元检测所述显示单元的围绕至少一个轴的方位。
显示控制单元构造为能够基于所述检测单元的输出，在所述显示区域中呈现与所述方位相关的第一图像，并且根据所述方位的变化，沿着与所述显示单元的移动方向相反的方向使所述第一图像在所述显示区域内移动第一移动量，所述第一移动量小于所述显示单元的移动量。
在上述可穿戴设备中，由于呈现在显示区域中的第一图像变得难以移动到显示区域的外部，所以能够改善第一图像的检索性或可视性。此外，通过相对于显示单元无意识的移动对第一图像的移动进行钝化，能够改善第一图像的可视性。
显示控制单元可控制所述第一移动量，以使得所述第一图像处于所述显示区域内。
由此，由于能够防止第一图像移动到显示区域的外部，所以能够确保第一图像的可视性或检索性。
另一方面，显示控制单元可控制所述第一移动量，以使得随着所述第一图像接近所述显示区域的外侧，所述第一移动量逐渐减小。
即使利用这样的构造，也能够确保第一图像的可视性或检索性。
第一图像可包含与由使用者设定的前往目的地的路线相关的信息。
由于这样的图像不需要与显示区域中的呈现位置相关的严密精度，所以即使在没有移动与显示单元的移动量相等的移动量的情况下，也能可靠地将必要的信息呈现给使用者。
另一方面，上述第一图像可以是图案认证屏幕，在所述图案认证屏幕中多个键以矩阵图案排列。或者，上述第一图像可包括在所述显示区域中排列的能够由使用者选择的多个对象。
因此，能够容易地通过使用者的移动执行输入操作。
显示控制单元可构造为能够根据所述检测单元的输出在所述显示区域中呈现第二图像，所述第二图像包含与所述方位处存在的现实空间中的特定对象物体相关的信息，并且根据所述方位的变化，沿着与所述显示单元的移动方向相反的方向使所述第二图像在所述显示区域内移动第二移动量，所述第二移动量大于所述第一移动量。
由于这样的图像需要与显示区域中的呈现位置相关的比较严密的精度，所以例如通过移动与显示单元的移动量相等的移动量，能可靠地将必要的信息呈现给使用者。
根据本技术的实施方式的图像显示装置包括显示单元、检测单元和显示控制单元。
显示单元包括显示区域。
检测单元检测所述显示单元的围绕至少一个轴的方位。
显示控制单元被构造为能够基于检测装置的输出呈现相关于显示区域的方位的第一图像。显示控制单元构造为能够基于所述检测单元的输出，在所述显示区域中呈现与所述方位相关的第一图像，并且根据所述方位的变化，沿着与所述显示单元的移动方向相反的方向使所述第一图像在所述显示区域内移动第一移动量，所述第一移动量小于所述显示单元的移动量。
根据本技术的实施方式的图像显示***包括显示单元、检测单元和显示控制单元。
显示单元包括显示区域和钝化设定单元。
检测单元检测检测所述显示单元的围绕至少一个轴的方位。
显示控制单元构造为能够基于所述检测单元的输出，在所述显示区域中呈现与所述方位相关的第一图像，并且根据所述方位的变化，沿着与所述显示单元的移动方向相反的方向使所述第一图像在所述显示区域内移动第一移动量，所述第一移动量小于所述显示单元的移动量。
钝化设定单元设定所述第一移动量的大小。
发明效果
如上文所述，根据本技术，能够改善AR对象等的图像的可视性和检索性。
应当注意，此处描述的效果不必是限制性的，而可以是任何本公开内容中描述的效果。
附图说明
[图1]图1是描述根据本技术的一实施方式的可穿戴设备(HMD)的功能的示意图。
[图2]图2是描述上述HMD的功能的一个示例的图，是呈现在显示单元中的视野的示意图。
[图3]图3是描述上述HMD的功能的一个示例的图，是呈现在显示单元中的视野的示意图。
[图4]图4是示出包括上述HMD的***的整体图。
[图5]图5是示出上述***的结构的框图。
[图6]图6是上述HMD中的控制单元的功能框图。
[图7A]图7A是作为上述HMD中的世界坐标系的一个示例的圆柱坐标的展开图。
[图7B]图7B是作为上述HMD中的世界坐标系的一个示例的圆柱坐标的展开图。
[图8]图8是描述在上述圆柱坐标系中的坐标位置的图。
[图9]图9是概念性地示出视野和对象之间的关系的上述圆柱坐标的展开图。
[图10A]图10A是描述将圆柱坐标(世界坐标)转换至视野(局部坐标)的方法的图。
[图10B]图10B是描述将圆柱坐标(世界坐标)转换至视野(局部坐标)的方法的图。
[图11A]图11A是示出对象的显示示例的视野的示意图。
[图11B]图11B是当通过在图11A中的常规渲染使得对象围绕偏航轴移动时的视野的示意图。
[图11C]图11C是当通过在图11A中的常规渲染使得对象围绕滚转轴移动时的视野的示意图。
[图12A]图12A是示出对象的显示示例的视野的示意图。
[图12B]图12B是当在图12A中通过钝化渲染使得对象围绕偏航轴移动时的视野的示意图。
[图12C]图12C是当在图12A中通过钝化渲染使得对象围绕滚转轴移动时的视野的示意图。
[图13A]图13A是示出对象的显示示例的视野的示意图。
[图13B]图13B是当在图13A中通过常规渲染使得对象围绕滚转轴移动时的视野的示意图。
[图13C]图13C是当在图13A中通过钝化渲染使得对象围绕滚转轴移动时的视野的示意图。
[图14]图14是描述在对象的钝化渲染中的移动坐标的计算方法的图。
[图15]图15是描述上述***的操作的概要的流程图。
[图16]图16是示出通过上述控制单元将对象渲染到视野中的过程的一个示例流程图。
[图17]图17是描述上述HMD中的一个应用例的视野的示意图。
[图18A]图18A是描述上述HMD中的一个应用例的视野的示意图。
[图18B]图18B是描述上述HMD中的一个应用例的视野的示意图。
[图18C]图18C是描述上述HMD中的一个应用例的视野的示意图。
[图19A]图19A是描述上述HMD中的一个应用例的视野的示意图。
[图19B]图19B是描述上述HMD中的一个应用例的视野的示意图。
[图20A]图20A是描述上述HMD中的一个应用例的视野的示意图。
[图20B]图20B是描述上述HMD中的一个应用例的视野的示意图。
具体实施方式
在下文中，将参考附图描述本技术的实施方式。
<第一实施方式>
[AR***的示意结构]
图1是描述作为根据本技术的一实施方式的可穿戴显示器的头戴式显示器(在下文中称为“HMD”)的功能的示意图。
在图1中，X轴方向和Y轴方向表示彼此正交的水平方向，Z轴方向表示铅直轴方向。该XYZ正交坐标系表示使用者所属的现实空间的坐标系(现实三维坐标系)。X轴的箭头表示北方向，Y轴的箭头表示东方向。此外，Z轴的箭头表示重力方向。
首先，将参考图1描述根据本实施方式的HMD 100的基本功能的概要。
[HMD功能的概要]
根据本实施方式的HMD 100佩戴在使用者U的头部上，并且构造为能够在使用者U的现实空间的视野V(显示视野)中显示虚拟图像(AR对象，在下文中也称为对象)。在视野V中显示的对象包括与在该视野V中存在的特定对象物体(A1，A2，A3，A4……。在下文中，除非另外单独说明，否则它们被统称为特定对象物体A)相关的信息、以及与除了特定对象物体A之外的事物相关的信息。
更具体来讲，特定对象物体A例如包括在使用者U周围存在的风景、商店、商品等。而作为与特定对象物体相关的信息，如图2中示意性地示出的，显示了用于告知可在视野V中的特定商店A10处使用特定优惠券的对象B10。在以下的说明中，这样的与视野V中的特定对象物体A相关的对象将被称为“相关对象”(第二图像)。
而另一方面，与除了特定对象物体A之外的事物相关的信息例如可包括与前往由使用者设定的目的地的路线相关的信息，并且如图3中示意性地示出的，显示了包括与显示单元10的方位相关地表示道路或通道的行进方向的“箭头”等等的对象B20。此外，与除了特定对象物体A之外的事物相关的信息例如还可以包括稍后将描述的用于设定HMD 100的功能的菜单屏幕或图案认证屏幕。这样的与视野V中的特定对象物体A不相关、自己单独表示有意义的信息的对象在以下的说明中也被称为“独立对象”(第一图像)。
参照图1，HMD 100预先存储与围绕佩戴HMD的使用者U的虚拟世界坐标系关联的对象(B1，B2，B3，B4……。在下文中，除非另外单独说明，这些对象被统称为对象B)。世界坐标系是与使用者所属的现实空间等价的坐标系，并且世界坐标系确定以使用者U的位置和预定的轴方向为基准的特定对象物体A的位置。在本实施方式中，世界坐标采用了以铅直轴为中心轴的圆柱坐标C0。然而，除此之外，也可采用其他三维坐标，比如以使用者U为中心的天球坐标等。
可任意设定圆柱坐标C0的半径R和高度H。在此，半径R设定为比使用者U和特定对象物体A之间的距离短。然而，也可将半径R设定为比上述距离长。此外，高度H设定为等于或高于由HMD 100提供的使用者U的视野V的高度(纵向的长度)Hv。
如上文所述，对象B包含与在上述世界坐标系中存在的特定对象物体A相关的信息，或与特定对象物体A不相关的信息。对象B可以是包含文字、图案等的图像，或者可以是动画图像。此外，对象B可以是二维图像或三维图像。此外，对象B的形状可以是矩形、圆形或其他任意的或有意义的几何形状，也可以根据对象B的种类(属性)或显示内容而适当地设定。
对象B在圆柱坐标C0上的坐标位置，例如分别与使用者注视特定对象物体A的视线L和圆柱坐标C0的交叉位置相关联。在图1的示例中，对象B1至B4中的每一个的中心位置被设为与上述交叉位置一致。然而不限于此，也可将对象B1至B4中的每一个的边缘的一部分(例如，四个角的一部分)设为与上述交叉位置一致。或者，也可使得对象B1至B4中的每一个的坐标位置与远离上述交叉位置的任意位置相关联。
圆柱坐标C0包括圆周方向上的坐标轴(θ)和高度方向上的坐标轴(h)，所述圆周方向上的坐标轴(θ)表示以北方为0°的围绕铅直轴的角度，所述高度方向上的坐标轴(h)表示以使用者U的水平方向的视线Lh为基准的上下方向上的角度。坐标轴(θ)将东侧圆周作为正方向，坐标轴(h)以俯角度作为正方向，以仰角度作为负方向。
如稍后将描述的，HMD 100包括用于检测使用者U的视点方向的检测单元，并且HMD100基于该检测单元的输出确定使用者U的视野V对应于圆柱坐标C0上的哪个区域。接着，当在形成视野V的xy坐标系的对应区域中存在任意对象(例如对象B1)的情况下，HMD 100在视野V的上述对应区域中呈现(渲染)对象B1。
如上文所述，根据本实施方式的HMD 100通过以AR对象B1与现实空间中的特定对象物体A1叠加的方式在视野V中显示AR对象B1，向使用者U呈现与对象物体A1相关的信息。此外，HMD 100以与使用者U的视点的方位或方向对应的方式，向使用者U呈现与特定对象物体A1至A4相关的AR对象(B1至B4)。
接下来，将描述HMD 100的细节。图4是示出整个HMD 100的整体图，图5是示出HMD100的结构的框图。
[HMD的结构]
HMD 100包括显示单元10、检测显示单元10的姿势的检测单元20、和控制显示单元10的驱动的控制单元30。在本实施方式中，HMD 100包括能够向使用者提供现实空间中的视野V的透视型HMD。
(显示单元)
显示单元10被构造为可佩戴于使用者U的头部。显示单元10包括第一和第二显示表面11R和11L、第一和第二图像产生单元12R和12L及支撑主体13。
第一和第二显示表面11R和11L分别包括光学设备，所述光学设备包括能够分别向使用者U的右眼和左眼提供现实空间的视野(外界视野)的光透射性的显示区域110。第一和第二图像产生单元12R和12L被构造为能够产生将分别经由第一和第二显示表面11R和11L呈现给使用者U的图像。支撑主体13支撑显示表面11R和11L与图像产生单元12R和12L，并且具有可佩戴于使用者的头部上的适当的形状，使得第一和第二显示表面11R和11L分别面对使用者U的右眼和左眼。
如上所述构造的显示单元10能够经由显示表面11R和11L向使用者U提供在现实空间上重叠预定图像(或虚拟图像)的视野V。在这种情况下，分别设定用于右眼的圆柱坐标C0和用于左眼的圆柱坐标C0，并且将在各圆柱坐标中渲染的对象分别投射在显示表面11R和11L的显示区域110上。
(检测单元)
检测单元20被构造为能够检测显示单元10的围绕至少一个轴的方位或姿势变化。在本实施方式中，检测单元20被构造为分别检测显示单元10的围绕X、Y和Z轴的方位或姿势变化。
应注意的是，显示单元10的方位典型地表示显示单元10的正面方向。在本实施方式中，显示单元10的方位定义为使用者U的脸的朝向。
检测单元20可包括诸如角速度传感器、加速度传感器等运动传感器，或它们的组合。在这种情况下，检测单元20可包括其中沿三轴方向布置各个角速度传感器和加速度传感器的传感器单元，或者可对应于每个轴使用不同的传感器。例如，显示单元10的姿势变化、变化的方向及其变化量等，可使用角速度传感器的输出的积分值。
此外，为了检测显示单元10的围绕铅直轴(Z轴)的方位，可使用地磁传感器。或者，可组合使用地磁传感器和上述运动传感器。因此，能够以高准确度检测显示单元10的方位或姿势变化。
检测单元20设在显示单元10的适当位置处。检测单元20的位置不受特别限制，并且检测单元20的位置可设在例如图像产生单元12R和12L中的任一个上，或支撑主体13的一部分处。
(控制单元)
控制单元30基于检测单元20的输出，产生用于控制显示单元10(图像产生单元12R和12L)的驱动的控制信号。在本实施方式中，控制单元30经由连接线缆30a电连接至显示单元10。不言而喻，控制单元30不限于此，并且控制单元30可经由无线通信线路连接至显示单元10。
如图5所示，控制单元30包括CPU 301、存储器302(存储单元)、发送/接收单元303、内部电源304和输入操作单元305。
CPU 301控制整个HMD 100的操作。存储器302包括ROM(只读存储器)、RAM(随机存储器)等，并且存储用于执行CPU301对HMD 100的控制的程序、各种参数、将显示在显示单元10上的图像(对象)、和其他必需的数据。发送/接收单元303构成用于与稍后将描述的便携式信息终端200通信的接口。内部电源304供应驱动HMD 100所需的电力。
输入操作单元305用于通过使用者操作来控制将要显示在显示单元10上的图像。输入操作单元305可包括机械开关或触摸传感器。输入操作单元305可设置在显示单元10上。
HMD 100可进一步包括诸如扬声器等的音频输出单元、照相机等。在这种情况下，上述音频输出单元和照相机可典型地设置至显示单元10上。此外，可在控制单元30上进一步设置显示设备，用于显示该显示单元10的输入操作屏幕等。这种情况下，输入操作单元305可包括在该显示设备上设置的触摸面板。
(便携式信息终端)
便携式信息终端200被构造为能够经由无线通信线路与控制单元30相互通信。便携式信息终端200具有获取将要在显示单元10上显示的图像(对象)的功能、以及将所获取的图像(对象)发送至控制单元30的功能。通过有机地组合便携式信息终端200和HMD 100，建立了HMD***(图像显示***)。
便携式信息终端200由佩戴显示单元100的使用者U携带，并且包括诸如个人计算机(PC)、智能手机、蜂窝电话、平板电脑和PDA(个人数字助理)的信息处理装置。然而，便携式信息终端200也可包括专用于HMD 100的终端装置。
如图5所示，便携式信息终端200包括CPU 201、存储器202、发送/接收单元203、内部电源204、显示单元205、照相机206和位置信息获取单元207。
CPU 201控制整个便携式信息终端200的操作。存储器202包括ROM、RAM等，并且存储用于执行CPU 201对便携式信息终端200的控制的程序、各种参数、将发送至控制单元30的图像(对象)、和其他必需的数据。内部电源204供应驱动便携式信息终端200所需的电力。
发送/接收单元203通过使用诸如WiFi(无线保真)等无线LAN(IEEE 802.11等)和诸如用于移动通信的3G或4G网络等网络，与服务器N、控制单元30、其他相邻的便携式信息终端等通信。便携式信息终端200经由发送/接收单元203从服务器N下载将要发送至控制单元30的图像(对象)、或用于显示所述图像(对象)的应用，并且存储在存储器202中。
显示单元205包括例如LCD或OLED，并且显示各种菜单或应用的GUI等。典型地，显示单元205与触摸面板一体形成，并且能够接收使用者的触摸操作。便携式信息终端200被构造为能够通过显示单元205的触摸操作向控制单元30输入预定的操作信号。
位置信息获取单元207典型地包括GPS(全球定位***)接收器。便携式信息终端200被构造为能够通过使用位置信息获取单元207测量使用者U(显示单元10)的当前位置(经度、纬度和高度)，并从服务器N获取必需的图像(对象)。也就是说，服务器N获取与使用者的当前位置相关的信息，并且与该位置信息对应的图像数据、应用软件等发送到便携式信息终端200。
服务器N典型地包括包含CPU、存储器等的计算机，并且服务器N响应使用者U的请求或与使用者U的意图无关而自动地将预定的信息发送至便携式信息终端200。服务器N存储可由HMD 100显示的多种类型的图像数据。服务器N被构造为能够一次性地或逐次地向便携式信息终端200发送根据使用者U的位置、操作等选择的多个图像数据，以作为上述预定的信息的一部分。
(控制单元的细节)
接下来将描述控制单元30的细节。
图6是CPU 301的功能框图。CPU 301包括坐标设定单元311、图像管理单元312、坐标确定单元313和显示控制单元314。CPU 301依照存储在存储器302中的程序，执行在所述坐标设定单元311、图像管理单元312、坐标确定单元313和显示控制单元314中的处理。
坐标设定单元311被构造为执行对环绕使用者U(显示单元10)的三维坐标进行设定的处理。在这个示例中，使用以铅直轴Az为中心的圆柱坐标C0(见图1)作为上述三维坐标。坐标设定单元311分别设定圆柱坐标C0的半径R和高度H。坐标设定单元311典型地根据将要向使用者U呈现的对象的数量、种类等，设定圆柱坐标C0的半径R和高度H。
圆柱坐标C0的半径R可具有固定值，或者是可根据将要显示的图像的尺寸(像素尺寸)等而任意设定的可变值。圆柱坐标C0的高度H设定为在由显示单元10向使用者U提供的视野V的纵向(垂直方向)上的高度Hv(见图1)的大小的例如一倍至三倍。高度H的上限不限于Hv的三倍，可以超过Hv的三倍。
图7A和图7B是示出展开的圆柱坐标C0的示意图。特别地，图7A示出具有与视野V的高度Hv相同的高度H1的圆柱坐标C0，图7B示出具有作为视野V的高度Hv的三倍的高度H2的圆柱坐标C0。
如上所述，圆柱坐标C0包括在圆周方向上的坐标轴(θ)和在高度方向上的坐标轴(h)，在圆周方向上的坐标轴(θ)表示以北方向为0°的围绕铅直轴的角度，在高度方向上的坐标轴(h)表示以使用者U的水平方向上的视线Lh为基准的在上下方向上的角度。坐标轴(θ)以东侧圆周作为正方向，坐标轴(h)以俯角度作为正方向，以仰角度作为负方向。高度H表示当以视野V的高度Hv的大小作为100％时的大小，并且圆柱坐标C0的原点OP1设定为北方向上的方位(0°)与使用者U的水平方向上的视线Lh(h＝0％)之间的交叉点。
图像管理单元312具有管理存储在存储器302中的图像的功能，并且例如被构造为执行在存储器302中存储将要通过显示单元10显示的一个或多个图像的处理、以及选择性地删除存储在存储器302中的图像的处理。要存储在存储器302中的图像是从便携式信息终端200发送来的。此外，图像管理单元312还经由发送/接收单元303向便携式信息终端200请求发送图像。
存储器302被构造为能够与圆柱坐标C0相关联地存储将要在视野V中显示的一个或多个图像(对象)。也就是说，在存储器302中，在图1所示的圆柱坐标C0上的各个对象B1至B4连同在坐标轴C0上的坐标位置一起进行存储。
如图8所示，圆柱坐标系(θ,h)和正交坐标系(X,Y,Z)具有如下关系：X＝rcosθ，Y＝rsinθ,Z＝h。如图1所示，将要与视野V的方位或姿势对应显示的对象B1至B4分别占据圆柱坐标C0上的固有坐标区域，并且连同在所述区域内的特定坐标位置P(θ,h)一起被存储于存储器302中。
对象B1至B4中的每一个在圆柱坐标C0上的坐标(θ,h)与如下所述的圆柱坐标系中的坐标相关联：所述圆柱坐标系中的坐标是在正交坐标系(X，Y，Z)中分别定义的对象物体A1至A4的位置与使用者的位置相连接的直线、与圆柱坐标C0的圆柱面之间的交叉点的坐标。也就是说，对象B1至B4的坐标分别对应于对象物体A1至A4的从现实三维坐标变换至圆柱坐标C0的坐标。这样的对象坐标变换例如在图像管理单元312中执行，并且每个对象连同该坐标位置一起存储在存储器302中。通过为世界坐标系采用圆柱坐标C0，可以平面地渲染对象B1至B4。
对象B1至B4的坐标位置可设定为各个对象B1至B4在显示区域内的任意位置。其中，对于一个对象而言，所述坐标位置可设定为一个特定点(例如，中心位置)，或者可设定为两个或更多点(例如，对角的两个点，或在四个角处的点)。
此外，如图1所示，在对象B1至B4的坐标位置与使用者注视对象物体A1至A4的视线和圆柱坐标C0之间的交叉位置相关联的情况下，使用者U在物体B1至B4与对象物体A1至A4重叠的位置视觉辨认出所述物体B1至B4。或者替代地，对象B1至B4的坐标位置也可以与远离上述交叉位置的任意位置相关联。由此，可以在期望位置处相对于对象物体A1至A4显示或渲染对象B1至B4。
坐标确定单元313被构造为执行基于检测单元20的输出确定使用者U的视野V对应于圆柱坐标C0上的哪个区域的处理。也就是说，通过使用者U(显示单元10)的姿势变化使得视野V在圆柱坐标C0上移动，并且基于检测单元20的输出，计算移动方向或移动量。坐标确定单元313基于检测单元20的输出，计算显示单元10的移动方向和移动量，并且确定视野V属于圆柱坐标C0上的哪个区域。
图9是圆柱坐标C0的展开图，概念性地示出在圆柱坐标C0上的视野V和对象B1至B4之间的关系。视野V具有大体矩形的形状，并且具有以其左上角为原点OP2的xy坐标(局部坐标)。x轴是在水平方向上从原点OP2延伸的轴，y轴是在垂直方向上从原点OP2延伸的轴。接着，坐标确定单元313被构造为执行确定在视野V的对应区域中是否存在对象B1至B4中的任一个的处理。
显示控制单元314被构造为执行基于检测单元20的输出(即坐标确定单元313的确定结果)在视野V上显示(渲染)与显示单元10的方位对应的圆柱坐标C0上的对象的处理。例如，如图9所示，在视野V的当前方位与在圆柱坐标C0上的对象B1和B2的显示区域分别重叠的情况下，在视野V上显示(局部渲染，Local Rendering)与这些对象B1和B2重叠的区域B10和B20对应的图像。
图10A和图10B是描述将圆柱坐标C0(世界坐标)变换至视野V(局部坐标)的变换方法的图。
如图10A所示，将视野V在圆柱坐标C0上的基准点的坐标设为(θv,hv)，并且将位于视野V的区域内的对象B的基准点的坐标设为(θ0,h0)。视野V和对象B的基准点可设定为任意点，在本示例中被分别设定为矩形的视野V和矩形的对象B的左上角。αv[°]表示视野V在世界坐标上的宽度角度(width angle)，它的值是根据显示单元10的设计或规格而确定的。
显示控制单元314通过将圆柱坐标系(θ,h)变换至局部坐标系(x,y)，确定对象B在视野V中的显示位置。如图10B所示，当在局部坐标系中的视野V的高度和宽度被分别设为Hv和Wv，并且在局部坐标系(x,y)中的对象B的基准点的坐标被设为(x0,y0)时，以下是转换公式。
x0＝(θ0-θv)·Wv/αv...(1)
y0＝(h0-hv)·Hv/100...(2)
显示控制单元314根据显示单元10的方位的变化，使得对象B在视野V内沿着与上述显示单元10的移动方向相反的方向移动。也就是说，显示控制单元314通过跟随显示单元10的方位或姿势的变化，改变对象B在视野V内的显示位置。只要在视野V内仍存在至少一部分的对象B，就继续这种控制。
(独立对象的钝化设定)
在本实施方式中，显示控制单元314根据显示单元10的移动(方位的变化等)，使得其中包含与在视野V内的特定对象物体相关的信息的对象(相关对象B10，见图2)在视野V内沿着与显示单元10的移动方向相反的方向，移动与显示单元10相同的移动量(第二移动量)。
例如，在其中如图11A所示，在视野V的中央处显示相关对象B10的状态下显示单元10以偏航轴(yaw axis)(图4中的Z轴)为中心向右移动与角度θ(+θ)对应的量的情况下，如图11B所示，显示控制单元314使得相关对象B10从视野V的中央向左移动与角度θ(-θ)对应的量。类似地，在显示单元10以滚转轴(roll axis)(图4中的X轴)为中心沿顺时针方向旋转角度
Figure BDA0001641052260000141
的情况下，如图11C所示，显示控制单元314使得相关对象B10以视野V为中心沿逆时针方向旋转与角
Figure BDA0001641052260000142
对应的量。
通过如上所述使得特定对象物体B10的移动量对应于显示单元10的移动量，可保持特定对象物体和与特定对象物体相关的对象之间的相对位置。由此，使用者U能够容易地确定该对象(信息)是与哪个特定对象物体相关的信息。
而另一方面，在本实施方式中，显示控制单元314根据显示单元10的移动(方位的变化等)，使得包含与视野V内的特定对象物体无关的信息的对象(独立对象B20，见图2)在视野V内以与显示单元10的移动方向相反的方向移动比显示单元10的移动量小的移动量(第一移动量)。
例如，在其中如图12A所示，在视野V的中央显示独立对象B20的状态下显示单元10以上述偏航轴为中心向右移动与角度θ(+θ)对应的量的情况下，如图12B所示，显示控制单元314使得独立对象B20从视野V的中央向左移动与例如角度θ/2(-θ/2)对应的量。类似地，在显示单元10以上述滚转轴为中心沿顺时针方向旋转与例如角度
Figure BDA0001641052260000143
对应的量的情况下，如图12C所示，显示控制单元314使得独立对象B20以视野V为中心沿逆时针方向旋转与例如角
Figure BDA0001641052260000144
对应的量。
通过如上所述地执行相对于显示单元10的移动对独立对象B20的移动进行钝化的控制，使得即使在显示单元10的移动比较大的情况下，独立对象B20仍然变得难以移动到视野V(显示区域110)的外部。因此，无论使用者将他/她的脸朝向任何方位，该对象的可视性都能得到保证。这样的控制在执行对于与例如图3所示的导航信息相关的独立对象B20的显示控制的时候是特别有效的。
应注意的是，如上所述的对独立对象的移动进行钝化的显示控制并不局限于显示单元10围绕偏航轴和滚转轴的移动，也可类似地应用于围绕与它们垂直的俯仰轴(pitchaxis)(图4中的Y轴)的移动。
只要独立对象B20的移动量小于显示单元10的移动量，就不特别地限制独立对象B20的移动量的大小。因此，独立对象B20的移动量不限于如图12B和图12C中所示的显示单元10的移动量的一半，也可以大于或小于显示单元10的移动量的一半。
显示控制单元314可以控制独立对象B20的移动量，使得独立对象B20处于视野V(显示区域110)内。由此，由于可避免独立对象B20移动到视野外部，所以可以确保独立对象B20的可视性和检索性。
例如，将考虑如下情形：在其中如图13A所示，在视野中显示多个对象B31和B32的状态下显示单元10以滚转轴为中心旋转的情况中，显示控制单元314使得所述多个对象B31和B32跟随显示单元10的移动，在与显示单元10的旋转方向相反的方向上以视野V为中心旋转。此时，在对象B31和B32是相关对象的情况下，如图13B所示，显示控制单元314使得各个对象B31和B32移动与显示单元10的移动量相等的移动量
Figure BDA0001641052260000151
因此，在某些情况下，依据移动量
Figure BDA0001641052260000152
的大小，对象的一部分或者全部可能会移动到视野V的外侧。
而另一方面，在对象B31和B32是独立对象的情况下，如图13C所示，显示控制单元314使得各个对象B31和B32旋转移动量
Figure BDA0001641052260000153
所述移动量
Figure BDA0001641052260000154
是使得在旋转半径的最外周边侧显示的对象B32处于视野V内。在这种情况下，可以控制各个对象B31和B32的显示，以使得对象B32的移动量随着对象B32接近视野V的外侧而逐渐减小。或者，可以控制各个对象B31和B32的显示，以使得对象B31和B32的移动量随着对象B31和B32远离预定基准位置而逐渐减小。这样的显示控制不局限于显示单元10的围绕滚转轴的移动，而且可类似地应用于围绕偏航轴和俯仰轴的移动。
作为一个示例，图14是圆柱坐标的示意性展开图，描述了围绕显示单元10的偏航轴和俯仰轴的独立对象的钝化坐标的计算方法。
在图14中，当视野V的中心坐标由(x1,y1)表示，相关物体B11的中心的移动坐标由(xa,ya)表示时，可通过以下公式表示将被应用钝化控制的独立对象B21的中心的移动坐标(xb,yb)。
xb＝(1-n)x1+n xa...(3)
yb＝(1-n)y1+n ya...(4)
在式(3)和式(4)中，n是钝化率，它的值的范围满足0<n≤1。在像相关对象B11这样的不执行钝化控制的情况(没有钝化设定的情况)下，n＝1。在像独立对象B21这样的执行钝化控制的情况下，n设定为满足0<n<1的任意值。例如，如图12B和12C所示，在独立对象的移动量是相关物体的移动量的一半的情况下，n＝0.5(50％的钝化率)，并且n的值越小，钝化程度越高。
在本实施方式中，独立对象的钝化设定典型地由便携式信息终端200执行。也就是说，便携式信息终端200具有钝化设定单元的功能，该钝化设定单元设定独立对象的移动量(第一移动量)相对于显示单元10的移动量的钝化属性。
如图5所示，钝化属性设定单元210由便携式信息终端200的CPU 201构成。钝化属性设定单元210根据从服务器N接收的各种对象的属性(例如，相关对象、独立对象等等对象的种类)，设定每个对象的钝化率。
典型地，钝化属性设定单元210对于相关物体将钝化属性设为无效(n＝1)，并且对于独立对象将钝化属性设定为预定钝化率(例如，n＝0.5)。对于独立对象设定的钝化率不必相同，也可以根据应用或独立对象的种类而不同。
应注意的是，也可以与对象的属性无关地，对于所有的对象都设定有效的钝化属性。此外，可通过使用者的选择，针对每个对象来选择钝化属性是有效的或是无效的，或者设定钝化率。在这种情况下，可通过便携式信息终端200的显示单元205，执行钝化属性的设定输入。
[HMD的操作]
接下来，将描述包括如上所述构造的根据本实施方式的HMD 100的HMD***的操作的一个示例。
图15是描述根据本实施方式的HMD***的操作的概要的流程图。
首先，通过使用便携式信息终端200的位置信息获取单元207，测量使用者U(显示单元10)的当前位置(步骤101)。将显示单元10的位置信息发送至服务器N。接着，便携式信息终端200从服务器N获取与使用者U周围的现实空间中存在的预定对象物体相关的对象数据(步骤102)。接着，基于所获取的各个对象数据，钝化设定单元210设定钝化属性的有效性/无效性、钝化率(n)的值等等(步骤103)。
接下来，便携式信息终端200向控制单元30通知对象数据的发送准备已就绪。控制单元30(在本示例中是坐标设定单元311)根据对象数据的种类等设定作为世界坐标系的圆柱坐标C0的高度(H)和半径(R)(步骤104)。在这种情况下，如图7A所示，在根据由显示单元10提供的视野V的高度(Hv)进行区域控制功能有效的情况下，坐标设定单元311例如将世界坐标系设定为例如图7A所示的圆柱坐标C0。
接下来，控制单元30基于检测单元20的输出检测视野V的方位(步骤105)，从便携式信息终端200获取对象数据，并且存储在存储器302中(步骤106)。将视野V的方位变换为世界坐标系(θ,h)，并且监测所述方位对应于圆柱坐标C0中的哪个位置。
接着，当在圆柱坐标C0中的视野V的对应区域中存在对象数据的情况下，控制单元30通过显示单元10在视野V的对应位置处显示(渲染)该对象(步骤107)。
图16是示出通过控制单元将对象渲染到视野V的过程的一个示例的流程图。
控制单元30基于检测单元20的输出，确定在视野V中是否存在待渲染对象(步骤201)。例如，在视野V中存在特定对象物体的情况下，确定与该特定对象物体相关的对象(相关对象)是“待渲染对象”。或者，当执行导航模式时，确定与路线信息相关的对象(独立对象)是“待渲染对象”。
接下来，控制单元30确定是否存在“待渲染对象”的钝化属性的设定(步骤202)。典型地，对于相关对象确定为“无钝化属性”，对于独立对象确定为“有钝化属性”。接着，控制单元30(显示控制单元314)通过执行使上述相关对象移动与显示单元10的移动量相同的移动量的常规控制，将上述相关对象呈现在视野V中(步骤203，常规对象渲染)，并且通过执行使上述独立对象移动比显示单元10的移动量小的移动量的钝化控制，将上述独立对象呈现在视野V中(步骤204，钝化对象渲染)。
控制单元30以预定的帧率在视野V中渲染这些对象。帧率不被特别地限定，并且例如是30fps至60fps。由此，可以使对象平滑地移动。
图17是示出在HMD 100中应用汽车导航的应用例的视野V的示意图。
在显示单元10的视野V(显示区域110)中，显示了与使用者从他/她正在乘坐的车里看到的特定对象物体A12、A13和A14相关的各种对象。特定对象物体的示例包括交通信号灯(A12)、餐厅(A13、A14)等。作为包含与这些特定对象物体相关的信息的相关对象B12、B13和B14，显示了十字路口名称(交通信号灯名称)(B12)、商店名称和空位信息(B13、B14)等。此外，作为包含与前往目的地的路线相关的信息的独立对象B22，包括指示行进方向的箭头标志。
通过上述的常规对象渲染，对相关对象B12至B14执行显示控制。因此，基于便携式信息终端200的位置信息获取单元207的输出，根据使用者正在乘坐的车辆的行进速度，使得相关对象B12至B14在视野V中沿着与该车辆的行进方向相反的方向(在图中是向后方)移动。此外，在使用者摇动他/她的头来察看周围的情况中，类似地，基于检测单元20的输出，使得相关对象B12至B14在视野V中沿着与显示单元10的移动方向相反的方向移动与显示单元10的移动量相同的移动量。由此，由于各个相关对象B12至B14分别跟随特定对象物体A12至A14，所以使用者能够容易地判断特定对象物体A12至A14与相关对象B12至B14的对应关系。
另一方面，典型地，在视野V的预定位置(例如，中央部分的稍上方)处显示独立对象B22，并且基于便携式信息终端200的位置信息获取单元207的输出、从服务器N获取的路线图数据等，根据使用者的行进方向、道路环境等，更新显示内容。在这种情况下，例如，如图中所示，当将要右转的交通信号变得更近时，可执行如下显示控制：除了箭头标志(B22)之外，还一并显示文字信息(B23)等，以引起使用者注意。
通过上述的钝化对象渲染，对独立对象B22执行显示控制。因此，由于对独立对象B22在视野V内与显示单元10的移动对应的移动执行钝化，所以即使在例如像使用者摇动他/她的头来察看周围这样的显示单元10的移动量比较大的情况下，也能够防止独立对象B22移动到视野V的外侧。由此，能够改善呈现给使用者U的独立对象B22的可视性和检索性。
如上所述，根据本实施方式，由于使得包含与特定对象物体相关的信息的相关对象移动与显示单元10的移动量相同的移动量以跟随对应的特定对象物体，因此能够容易地获取与该特定对象物体相关的信息。
而另一方面，根据本实施方式，由于将与特定对象物体无关的独立对象的移动量钝化为比显示单元10的移动量小的移动量，所以能够降低移动到视野V外部的可能性，并且能够确保稳定的可视性或检索性。此外，例如，由于独立对象不会无意义地移动或轻微晃动以跟随使用者的无意识的(非故意的)移动，所以能够防止由使用者导致的可视性的变化性。
<第二实施方式>
接下来，将描述本技术的第二实施方式。在下文中，将主要描述与根据第一实施方式的结构不同的结构，并且将省略或简化与根据上述实施方式的结构相同的结构的描述。
在本实施方式中，将描述例如将本技术应用到HMD 100的功能的菜单屏幕、图案认证屏幕等的示例。
(应用例1)
图18A至18C分别是示出作为AR对象(独立对象)的HMD 100的功能的菜单屏幕的一个示例的视野V的示意图。
如图18A所述，在显示单元10的视野V(显示区域110)中，例如，在左右方向上以预定节距排列三个菜单图像B41至B43。例如，各个应用(游戏、电影、导航***、信息显示等)的图标对应于这些菜单图像B41至B43。使用者通过在左右方向上旋转他/她的头部(显示单元10)，使得在视野中央固定显示的指针K移动到期望的菜单图像，并且通过执行预定的输入命令(例如，对控制单元30的输入操作单元305执行的输入操作)，选择该菜单图像。
在当执行上述输入操作(头部跟踪)时选择右侧的菜单屏幕B43的情况下，使用者通过向右旋转他/她的头，使得菜单图像B43移动到视野V的中央。此时，在菜单屏幕B43的移动量(指针K的移动量)与显示单元10的移动量相同的情况下，如图18B所示，由于菜单B43的移动量过大，在某些情况下，可能难以使菜单屏幕B43适当地移动，例如菜单屏幕B43从中央的指针K的位置向左飞出。
就这一点而言，根据本实施方式的HMD 100包括显示控制单元314(见图6)，显示控制单元314执行使得菜单图像B41至B43的移动量(指针K的移动量)小于显示单元10的移动量的钝化控制。由此，如图18C所示，能够容易地将指针K与期望的菜单图像位置对准，并且能够改善头部跟踪时的指示可操作性。此外，由于菜单图像B41至B43的移动量小于显示单元10的移动量，所以使用者不会在移动过程中看不见各个菜单图像，由此能够确保每个菜单图像的可视性或检索性。
(应用例2)
接下来，图19A和19B是显示作为AR对象(独立对象)的图案认证屏幕B50的视野V的示意图。在图案认证屏幕B50上，根据使用者的头部的上下方向和左右方向，显示其中以矩阵图案排列“1”至“9”的多个键(或单选按钮(radio buttons))的图像，以使得各个键在视野V中整体移动。接着，如图19B所示，通过使得在视野V的中央处显示的指针K以预定的顺序与预定的键位置对准，输入包括多个数字的认证密码。
在本示例中，类似地，显示控制单元314被构造为执行使得图案认证屏幕B50的移动量小于显示单元10的移动量的钝化控制。由此，能够正确且可靠地执行图案认证。
应注意的是，当使得指针K移动到初始位置(最初的键)时，可使得指针K(屏幕)移动通过键之间的区域。或者，可通过检测出在指针K的初始位置处执行预定输入操作，可将所述指针位置确定为初始位置。
(应用例3)
图20A至20B分别是示出使用者从其中多个对象(B61至B64)密集到部分重叠的选择屏幕B60中选择特定对象的状态。在这个示例中，可执行选择屏幕B60的扩大/缩小操作、以及选择屏幕B60相对于指针K的移动操作。所述扩大/缩小操作是对于控制单元30的输入操作单元305的预定输入操作、并且通过显示单元10的在前后方向上的移动操作等来执行，而所述相对于指针K的移动操作是通过显示单元的移动操作来执行。
在这个示例中，类似地，显示控制单元314被构造为执行当执行扩大操作时使得选择屏幕B60的移动量小于显示单元10的钝化控制。由此，使用者能够可靠并且容易地从密集的多个对象B61至B64之中选择期望的预定对象。
虽然在这之前已描述了本技术的实施方式，但本技术不仅限于上述实施方式，并且显然，可在不背离本技术的本质的情况下做出多种改变。
例如，在上述实施方式中，描述了本技术应用于HMD的示例。然而，本技术也可应用至除HMD以外的图像显示装置，例如安装在车辆的驾驶员座位或飞机等的驾驶舱等的平视显示器(HUD)等。
此外，在上述实施方式中，已经描述了应用于透视型(透射型)HMD的应用例。然而，本技术也可应用于非透射型HMD。在这种情况中，只需将根据本技术的预定对象显示在由附装至显示单元的照相机拍摄的外部视野中。
此外，在上述实施方式中，作为可穿戴显示器，已经作为示例描述了附装至使用者的头部的HMD。然而，本技术不限于此，并且也可应用至例如用于佩戴在使用者的手臂、手腕等处使用的显示装置，或诸如隐形眼镜这样的直接佩戴在眼球处的显示装置。
应注意，本技术还可采取以下构造。
(1)可穿戴显示器，包括：
显示单元，构造为可佩戴在使用者上，所述显示单元包括向使用者提供现实空间中的视野的显示区域；
检测单元，用于检测所述显示单元的围绕至少一个轴的方位；和
显示控制单元，构造为能够基于所述检测单元的输出，在所述显示区域中呈现与所述方位相关的第一图像，并且根据所述方位的变化，沿着与所述显示单元的移动方向相反的方向使所述第一图像在所述显示区域内移动第一移动量，所述第一移动量小于所述显示单元的移动量。
(2)根据上面的(1)的可穿戴显示器，其中
所述显示控制单元控制所述第一移动量，以使得所述第一图像处于所述显示区域内。
(3)根据上面的(1)或(2)的可穿戴显示器，其中
所述显示控制单元控制所述第一移动量，以使得随着所述第一图像接近所述显示区域的外侧，所述第一移动量逐渐减小。
(4)根据上面的(1)至(3)中的任一项的可穿戴显示器，其中
所述第一图像包含与由使用者设定的前往目的地的路线相关的信息。
(5)根据上面的(1)至(3)中的任一项的可穿戴显示器，其中
所述第一图像是图案认证屏幕，在所述图案认证屏幕中多个键以矩阵图案排列。
(6)根据上面的(1)至(3)中的任一项的可穿戴显示器，其中
所述第一图像包括在所述显示区域中排列的能够由使用者选择的多个对象。
(7)根据上面的(1)至(6)中的任一项的可穿戴显示器，其中
所述显示控制单元构造为能够根据所述检测单元的输出在所述显示区域中呈现第二图像，所述第二图像包含与所述方位处存在的现实空间中的特定对象物体相关的信息，并且根据所述方位的变化，沿着与所述显示单元的移动方向相反的方向使所述第二图像在所述显示区域内移动第二移动量，所述第二移动量大于所述第一移动量。
(8)图像显示装置，包括：
显示单元，包括显示区域；
检测单元，用于检测所述显示单元的围绕至少一个轴的方位；和
显示控制单元，构造为能够基于所述检测单元的输出，在所述显示区域中呈现与所述方位相关的第一图像，并且根据所述方位的变化，沿着与所述显示单元的移动方向相反的方向使所述第一图像在所述显示区域内移动第一移动量，所述第一移动量小于所述显示单元的移动量。
(9)图像显示***，包括：
显示单元，包括显示区域；
检测单元，用于检测所述显示单元的围绕至少一个轴的方位；
显示控制单元，构造为能够基于所述检测单元的输出，在所述显示区域中呈现与所述方位相关的第一图像，并且根据所述方位的变化，沿着与所述显示单元的移动方向相反的方向使所述第一图像在所述显示区域内移动第一移动量，所述第一移动量小于所述显示单元的移动量；和
钝化设定单元，用于设定所述第一移动量的大小。
【附图标记说明】
10 显示单元
20 检测单元
30 控制单元
100 头戴式显示器HMD
110 显示区域
200 便携式信息终端
210 钝化属性设定单元
314 显示控制单元
A1～A4，A12～A14 特定对象物体
B1～B4，B10～A14 相关对象
B20～B23 独立对象
V 视野

Claims (8)

1.一种可穿戴显示器，包括：
显示单元，构造为可佩戴在使用者上，所述显示单元包括向使用者提供现实空间中的视野的显示区域；
检测单元，用于检测所述显示单元的围绕至少一个轴的方位；和
显示控制单元，构造为能够基于所述检测单元的输出，在所述显示区域中呈现与所述方位相关的第一图像以及包含与所述方位处存在的现实空间中的特定对象物体相关的信息的第二图像，根据所述方位的变化，沿着与所述显示单元的移动方向相反的方向使所述第一图像在所述显示区域内移动第一移动量，所述第一移动量小于所述显示单元的移动量，并且根据所述方位的变化，沿着与所述显示单元的移动方向相反的方向使所述第二图像在所述显示区域内移动第二移动量，所述第二移动量大于所述第一移动量。
2.如权利要求1所述的可穿戴显示器，其中
所述显示控制单元控制所述第一移动量，以使得所述第一图像处于所述显示区域内。
3.如权利要求1所述的可穿戴显示器，其中
所述显示控制单元控制所述第一移动量，以使得随着所述第一图像接近所述显示区域的外侧，所述第一移动量逐渐减小。
4.如权利要求1所述的可穿戴显示器，其中
所述第一图像包含与由使用者设定的前往目的地的路线相关的信息。
5.如权利要求1所述的可穿戴显示器，其中
所述第一图像是图案认证屏幕，在所述图案认证屏幕中多个键以矩阵图案排列。
6.如权利要求1所述的可穿戴显示器，其中
所述第一图像包括在所述显示区域中排列的能够由使用者选择的多个对象。
7.一种图像显示装置，包括：
显示单元，包括显示区域；
检测单元，用于检测所述显示单元的围绕至少一个轴的方位；和
显示控制单元，构造为能够基于所述检测单元的输出，在所述显示区域中呈现与所述方位相关的第一图像以及包含与所述方位处存在的现实空间中的特定对象物体相关的信息的第二图像，根据所述方位的变化，沿着与所述显示单元的移动方向相反的方向使所述第一图像在所述显示区域内移动第一移动量，所述第一移动量小于所述显示单元的移动量，并且根据所述方位的变化，沿着与所述显示单元的移动方向相反的方向使所述第二图像在所述显示区域内移动第二移动量，所述第二移动量大于所述第一移动量。
8.一种图像显示***，包括：
显示单元，包括显示区域；
检测单元，用于检测所述显示单元的围绕至少一个轴的方位；
显示控制单元，构造为能够基于所述检测单元的输出，在所述显示区域中呈现与所述方位相关的第一图像以及包含与所述方位处存在的现实空间中的特定对象物体相关的信息的第二图像，根据所述方位的变化，沿着与所述显示单元的移动方向相反的方向使所述第一图像在所述显示区域内移动第一移动量，所述第一移动量小于所述显示单元的移动量，并且根据所述方位的变化，沿着与所述显示单元的移动方向相反的方向使所述第二图像在所述显示区域内移动第二移动量，所述第二移动量大于所述第一移动量；和
钝化设定单元，用于设定所述第一移动量的大小。
CN201680062627.7A 2015-11-02 2016-09-26 可穿戴显示器、图像显示装置和图像显示*** Active CN108351736B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015215524 2015-11-02
JP2015-215524 2015-11-02
PCT/JP2016/004330 WO2017077681A1 (ja) 2015-11-02 2016-09-26 ウェアラブルディスプレイ、画像表示装置及び画像表示システム

Publications (2)

Publication Number Publication Date
CN108351736A CN108351736A (zh) 2018-07-31
CN108351736B true CN108351736B (zh) 2022-01-28

Family

ID=58663144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680062627.7A Active CN108351736B (zh) 2015-11-02 2016-09-26 可穿戴显示器、图像显示装置和图像显示***

Country Status (3)

Country Link
US (1) US20180307378A1 (zh)
CN (1) CN108351736B (zh)
WO (1) WO2017077681A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112016007015T5 (de) * 2016-07-29 2019-03-21 Mitsubishi Electric Corporation Anzeigevorrichtung, anzeigesteuervorrichtung und anzeigesteuerverfahren
AU2018244050A1 (en) * 2017-03-30 2019-09-26 Gs Yuasa International Ltd. Power supply device, server, and power supply device management system
US10715746B2 (en) * 2017-09-06 2020-07-14 Realwear, Inc. Enhanced telestrator for wearable devices
US11410634B2 (en) * 2017-12-19 2022-08-09 Sony Corporation Information processing apparatus, information processing method, display system, and mobile object
CN110187950B (zh) * 2019-05-27 2023-11-10 西藏霖栋科技有限公司 调整画面显示位置的方法、可穿戴设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917460A (en) * 1994-07-06 1999-06-29 Olympus Optical Company, Ltd. Head-mounted type image display system
CN102419686A (zh) * 2010-09-24 2012-04-18 索尼公司 用于处理图像数据的设备、方法和计算机可读存储介质
US8736692B1 (en) * 2012-07-09 2014-05-27 Google Inc. Using involuntary orbital movements to stabilize a video
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示***
CN104221077A (zh) * 2013-02-22 2014-12-17 索尼公司 头戴式显示器
CN104866262A (zh) * 2014-02-21 2015-08-26 索尼公司 可穿戴设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202281A (ja) * 1995-01-30 1996-08-09 Olympus Optical Co Ltd 頭部装着型映像表示装置システム
KR101266198B1 (ko) * 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
JP5964946B2 (ja) * 2012-03-13 2016-08-03 パイオニア株式会社 情報出力装置、情報出力方法及び情報出力用プログラム並びに情報記録媒体
US8947323B1 (en) * 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
US9671566B2 (en) * 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
JP5983499B2 (ja) * 2013-03-29 2016-08-31 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
JP5884816B2 (ja) * 2013-12-16 2016-03-15 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
US9715113B2 (en) * 2014-03-18 2017-07-25 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917460A (en) * 1994-07-06 1999-06-29 Olympus Optical Company, Ltd. Head-mounted type image display system
CN102419686A (zh) * 2010-09-24 2012-04-18 索尼公司 用于处理图像数据的设备、方法和计算机可读存储介质
US8736692B1 (en) * 2012-07-09 2014-05-27 Google Inc. Using involuntary orbital movements to stabilize a video
CN104221077A (zh) * 2013-02-22 2014-12-17 索尼公司 头戴式显示器
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示***
CN104866262A (zh) * 2014-02-21 2015-08-26 索尼公司 可穿戴设备

Also Published As

Publication number Publication date
US20180307378A1 (en) 2018-10-25
WO2017077681A1 (ja) 2017-05-11
CN108351736A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
JP7268692B2 (ja) 情報処理装置、制御方法及びプログラム
CN108351736B (zh) 可穿戴显示器、图像显示装置和图像显示***
CN106662988B (zh) 显示控制装置、显示控制方法及存储介质
US20180018792A1 (en) Method and system for representing and interacting with augmented reality content
WO2016088420A1 (ja) 表示制御装置、表示制御方法およびプログラム
US20140225814A1 (en) Method and system for representing and interacting with geo-located markers
JP2016184294A (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
US20220253198A1 (en) Image processing device, image processing method, and recording medium
JP2011257865A (ja) オブジェクト表示装置及びオブジェクト表示方法
WO2017073014A1 (ja) ウェアラブルディスプレイ、画像表示装置及び画像表示システム
JP2020046863A (ja) 拡張現実空間に配置される３ｄオブジェクトを生成する方法
CN117234340A (zh) 头戴式xr设备用户界面显示方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant