CN104246864A - 头戴式显示器和图像显示装置 - Google Patents

头戴式显示器和图像显示装置 Download PDF

Info

Publication number
CN104246864A
CN104246864A CN201380020175.2A CN201380020175A CN104246864A CN 104246864 A CN104246864 A CN 104246864A CN 201380020175 A CN201380020175 A CN 201380020175A CN 104246864 A CN104246864 A CN 104246864A
Authority
CN
China
Prior art keywords
image
visual field
display
unit
head mounted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380020175.2A
Other languages
English (en)
Other versions
CN104246864B (zh
Inventor
石川博隆
岩津健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104246864A publication Critical patent/CN104246864A/zh
Application granted granted Critical
Publication of CN104246864B publication Critical patent/CN104246864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本技术的一方面的一种头戴式显示器配备有显示单元、检测单元和第一控制单元。显示单元被设计为能安装至用户的头部并且能够为所述用户提供真实空间的视野。检测单元检测显示单元关于至少一个轴的方位。第一控制单元包括具有区域限制单元、存储单元和显示控制单元。区域限制单元被配置为能够限制沿着包围显示单元的三维坐标中的上述视野的前述轴的方向的显示区域。存储单元以与所述三维坐标关联的方式存储要显示在视野中的图像。显示控制单元基于来自检测单元的输出，在视野中显示对应于上述方位的三位坐标中的图像。

Description

头戴式显示器和图像显示装置
技术领域
本技术涉及一种能够在显示视野中显示包括特定信息的图像的头戴式显示器和图像显示装置。
背景技术
已知一种将对应图像添加到真实空间(被称为增强现实(AR))的技术。例如，专利文献1描述了一种能够显示观察者所属的真实空间中的任意对象的三维形状信息的立体合成设备。此外，专利文献2描述了一种能够显示与存在于用户观看的外部世界中的目标有关的对象的头戴式显示器。
专利文献1：日本专利申请公开号2000-184398
专利文献2：日本专利申请公开号2012-053643
发明内容
本发明要解决的问题
近年来，在透视型头戴式显示器中，例如，存在期望显示信息显示区域并同时确保透视区域的情况。在这种情况下，存在对象难以进入显示器的视野或难以保持对象在视野中的状态的担心。
鉴于上述情况，本技术的目的是提供一种能够提高对象的可搜索性或可见性的头戴式显示器和图像显示装置。
解决问题的方法
为了实现上述目的，根据本技术的实施例的头戴式显示器包括显示单元、检测器和第一控制单元。
显示单元能安装至用户的头部并且被配置为能够为用户提供真实空间的视野。
检测器检测显示单元绕至少一个轴的方位。
第一控制单元包括区域限制器、存储单元和显示控制单元。区域限制器被配置为能够限制在包围显示单元的三维坐标中视野沿一个轴的方向的显示区域。存储单元存储应显示在视野中的图像，其中图像对应于三维坐标。显示控制单元基于检测器的输出在视野中显示对应于方位的三维坐标中的图像。
根据头戴式显示器，根据一个轴周围的姿势变化显示的图像进入用户的视野的可能性更高，并因此可以提高图像的可搜索性。此外，可以容易保持图像在视野中的状态，并因此还可以提高图像的可见性。
“显示单元的方位”通常指的是显示单元的前方。关于头戴式显示器，显示单元的前方可以被定义为用户的前方。因此，“显示单元的方位”可以被解释为与用户的脸的方向相同。
“显示单元绕一个轴的方位”指的是显示单元的方位，其中一个轴是中心。例如，在一个轴是垂直轴的情况下，东、西、南和北的水平方向与此对应。在这种情况下，例如，如果北被设置为基准方位，则从该方位的角可以指示显示单元的方位。另一方面，如果所述一个轴是水平轴，则显示单元绕一个轴的方位可以用仰角或俯角指示，其中水平面是基准。所述一个轴不限于这些实例。所述一个轴可以是与垂直轴和水平轴相交的另一个轴。
检测器可以检测显示单元绕垂直轴的方位，并且区域限制器可以根据视野的纵向上的区域限制绕垂直轴的圆柱坐标中的高度方向上的区域。利用这一点，可以提高用户的水平视野中的图像的可搜索性和可见性。
在这种情况下，区域限制器可以将圆柱坐标中的高度方向上的区域限制到一个高度以使得存储在存储单元中的图像的至少一部分被显示在视野中。利用这一点，可以轻松识别图像存在于某个方位。
当方位改变第一预定角度以上时，显示控制单元根据方位的变化移动视野中的图像，并且当方位的变化小于第一预定角度时，固定视野中的图像的显示位置。利用这一点，可以调节由用户绕垂直轴的无意的姿势变化造成的图像的移动，并且提高图像的可见性。
检测器可以被配置为进一步检测显示单元绕水平轴的姿势变化。在这种情况下，当姿势变化等于或大于第二预定角度时，显示控制单元根据姿势变化移动视野中的图像，并且当姿势变化小于第二预定角度时，固定视野中的图像的显示位置。利用这一点，可以调节由用户绕水平轴的无意的姿势变化造成的图像的移动，并且进一步提高图像的可见性。
当检测器的输出变化在预定时间内等于或小于预定值时，显示控制单元可以将图像移至视野中的预定位置。即，如果检测器的输出在预定时间内不改变，则用户参照视野中显示的图像的可能性就高，并因此通过将图像移至视野中的预定位置来增加图像的可见性。预定位置例如可以是视野的中心。另外，移动之后的图像可以在放大状态下显示。
可选地，当检测到根据用户的操作生成的预定信号的输入时，显示控制单元可以将图像移至视野中的预定位置。同样利用该配置，可以如上所述提高图像的可见性并且可以根据用户的意图来控制图像的显示。
当在图像显示在视野中的预定位置的状态下，检测器的输出变化等于或大于预定频率时，显示控制单元可以将检测器的输出中等于或大于预定频率的频率分量设为无效。例如，将预定频率设为与用户的脸的抖动对应的频率。利用这一点，可以确保图像的可见性，而不会受到用户的脸轻微抖动的影响。
第一控制单元可以被配置为，当检测到根据用户的操作生成的预定信号的输入时，根据一个轴的方向上的视野的区域限制三维坐标中的高度方向上的区域，并将视野中显示的所有图像在视野中调节到相同高度。利用这一点，可以进一步提高视野中显示的图像的可见性。
图像可以包括与存在于视野中的预定目标有关的信息。利用这一点，可以将与目标相关的信息提供给用户。此外，图像可以是静止图像或者可以是诸如动画图像的运动图像。
检测器不受特别限制，只要其可以检测显示单元的方位或姿势变化即可。例如，可以采用地磁传感器、运动传感器、其组合等。
头戴式显示器还可以包括第二控制单元，第二控制单元包括获取存储在存储单元中的多个图像的图像获取单元。
第一控制单元可以被配置为请求第二控制单元传输选自多个图像的一个或多个图像。所需图像可以主要通过第一控制单元按所需的顺序以该方式来获取，并且因此可以构建一种***，其克服了第一和第二控制单元之间的通信速度、下发传输请求到图像的实际传输的时间(延迟)等问题。
在这种情况下，第一控制单元可以被配置为请求第二控制单元优先传输对应于三维坐标中更靠近视野的显示区域的坐标位置的图像。
注意，在图像是动画图像的情况下，优先级设置只需要鉴于当前时间和动画帧时间来设置。例如，第一控制单元可以被配置为请求第二控制单元一次性传输构成动画图像的所有图像中的至少一些。
第一控制单元可以被配置为针对存储在存储单元中的所有图像定期评估坐标位置和视野的显示区域之间的距离并从存储单元中删除距视野的显示区域最远的坐标位置处的图像。利用这一点，可以降低存储单元的容量。
第二控制单元还可以包括能够获取显示单元的位置信息的位置信息获取单元。图像获取单元获取与可以传输至第一控制单元的位置信息对应的图像。利用这一点，第二控制单元可以根据用户的当前位置获取最佳图像。
根据本技术的实施例的一种图像显示装置包括显示单元、检测器、区域限制器、存储单元和显示控制单元。
显示单元包括能够显示真实空间的显示面。
检测器检测显示单元绕至少一个轴的方位。
区域限制器被配置为能够限制在包围显示单元的三维坐标中视野沿一个轴的方向的显示区域。
存储单元存储应显示在视野中的图像，其中图像对应于三维坐标。
显示控制单元基于检测器的输出在视野中显示对应于方位的三维坐标中的图像。
本发明的效果
如上所述，根据本技术，可以提高对象图像的可搜索性或可见性。
附图说明
图1是用于描述根据本技术的实施例的头戴式显示器的功能的示意图。
图2是示出了头戴式显示器的总图。
图3是示出了包括头戴式显示器的***的配置的框图。
图4是头戴式显示器中的控制单元的功能框图。
图5A是示出了作为头戴式显示器中的世界坐标系的实例的圆柱坐标的示意图。
图5B是示出了作为头戴式显示器中的世界坐标系的实例的圆柱坐标的示意图。
图6A是图5A中所示的圆柱坐标的开发视图。
图6B是图5B中所示的圆柱坐标的开发视图。
图7是圆柱坐标***中的坐标位置的说明视图。
图8是概念地示出了视野和对象之间的关系的圆柱坐标的开发视图。
图9A是用于描述将圆柱坐标(世界坐标)转换为视野(局部坐标)的方法的视图。
图9B是用于描述将圆柱坐标(世界坐标)转换为视野(局部坐标)的方法的视图。
图10A是用于描述头戴式显示器中的图像稳定功能的概念图。
图10B是用于描述头戴式显示器中的图像稳定功能的概念图。
图11A是示出了对应于其区域受限的圆柱坐标的对象和视野之间的相对位置关系的示意图。
图11B是示出了对应于其区域受限的圆柱坐标的对象和视野之间的相对位置关系的示意图。
图12A是用于描述将对象布置在其区域受限的圆柱坐标中的程序的概念图。
图12B是用于描述将对象布置在其区域受限的圆柱坐标中的程序的概念图。
图13是用于描述将对象布置在其区域受限的圆柱坐标中的程序的顺序图。
图14是用于描述***的操作的概述的流程图。
图15是示出了通过控制单元接收对象数据项目的程序的实例的流程图。
图16是示出了通过控制单元在视野中绘制对象的流程的实例的流程图。
具体实施方式
在下文中，将参照附图描述根据本技术的实施例。在该实施例中，将描述本技术被应用于作为图像显示装置的头戴式显示器的实例。
<第一实施例>
图1是用于描述根据本技术的实施例的头戴式显示器(在下文中称为HMD)的功能的示意图。首先，参照图1，将描述根据本实施例的HMD的基本功能的概述。
在图1中，X轴方向和Y轴方向示出了彼此正交的水平方向，并且Z轴方向示出了垂直轴方向。此XYZ正交坐标系表示用户所属的真实空间的坐标系。X轴箭头表示北向，Y轴箭头表示东向。此外，Z轴箭头表示重力方向。
【HMD的功能的概述】
根据该实施例的HMD100被安装至用户U的头部并且被配置为能够在用户U的真实空间的视野V(显示视野)中显示虚拟图像。视野V中显示的图像包括与存在于视野V中的预定目标A1、A2、A3和A4有关的信息。预定目标例如是用户U周围的景观、商店或商品。
HMD100存储对应于包围穿戴HMD的用户U的虚拟世界坐标系的图像(在下文中称为对象)B1，B2，B3和B4。世界坐标系是等效于用户所属的真实空间的坐标系。在世界坐标系中，目标A1至A4随用户U的位置定位并且预定轴方向是基准方向。虽然以垂直轴为轴中心的圆柱坐标C0在该实施例中被用作世界坐标，但是可以采用其他三维坐标，比如以用户U为中心的天球坐标。
圆柱坐标C0的半径R和高度H可以任意设置。虽然在这里半径R被设为小于从用户U至目标A1至A4的距离，但是半径R可以大于距离。此外，高度H被设为等于或大于通过HMD100提供的用户U的视野V的高度(垂直高度)Hv。
对象B1至B4是示出了与存在于世界坐标系中的目标A1至A4有关的信息的图像。对象B1至B4可以是包括字母、图案等的图像或可以是动画图像。可选地，对象可以是二维图像或可以是三维图像。另外，对象形状可以是矩形形状、圆形形状或另一种几何形状并且可以根据对象的种类适当设置。
对象B1至B4在圆柱坐标C0中的坐标位置例如对应于注视目标A1至A4的用户的视线L与圆柱坐标C0的相交位置。虽然在所示的实例中对象B1至B4的中心位置与相交位置一致，但是其不限于此并且对象的***部分(例如，四个拐角的部分)也可以与相交位置一致。可选地，对象B1至B4的坐标位置可以对应于与相交位置间隔开的任何位置。
圆柱坐标C0具有北向为0°表示绕垂直轴的角度的圆周方向上的坐标轴(θ)以及以用户U的水平视线Lh为基准的表示上下方向的角度的高度方向上的坐标轴(h)。坐标轴(θ)具有从西到东的正方向。坐标轴(h)使用俯角作为正方向并使用仰角作为负方向。
如稍后所述，HMD100包括用于检测用户U的眼睛方向的检测器并基于检测器的输出来确定在圆柱坐标C0中用户U的视野V对应于哪个区域。如果任何对象(例如，对象B1)存在于形成视野V的xy坐标系的对应区域中，则HMD100在对应区域中显示(绘制)对象B1。
如上所述，根据该实施例的HMD100显示视野V中的对象B1并同时与真实空间中的目标A1重叠，由此为用户U提供与目标A1有关的信息。此外，HMD100可以根据用户U的眼睛的方位或方向向用户U提供与预定目标A1至A4有关的对象(B1至B4)。
接下来，将详细描述HMD100。图2是示出了HMD100的总图并且图3是示出了其配置的框图。
【HMD的配置】
HMD100包括显示单元10、检测显示单元10的姿势的检测器20和控制显示单元10的驱动的控制单元30。在该实施例中，HMD100由能够为用户提供真实空间的视野V的透视型HMD构成。
(显示单元)
显示单元10被配置为能被安装至用户U的头部。显示单元10包括第一和第二显示面11R和11L、第一和第二图像生成器12R和12L和支撑件13。
第一和第二显示面11R和11L由可以为用户U的右眼和左眼提供真实空间(外部视野)的具有透明性的光学元件构成。第一和第二图像生成器12R和12L被配置为能够生成经由第一和第二显示面11R和11L向用户U呈现的图像。支撑件13支撑显示面11R和11L以及图像生成器12R和12L。第一和第二显示面11R和11L具有合适的形状以使得其能安装在用户的头部以分别与用户U的右眼和左眼相对。
由此配置的显示单元10被配置为能够通过显示面11R和11L为用户U提供视野V，其中预定图像(或虚拟图像)与真实空间重叠。
(检测器)
检测器20被配置为能够检测显示单元10绕至少一个轴的方位或姿势的变化。在该实施例中，检测器20被配置为检测显示单元10绕X轴、Y轴和Z轴的方位或姿势的变化。
显示单元10的方位通常指的是显示单元的前方。在该实施例中，显示单元10的方位被定义为用户U的脸的方向。
检测器20可以由诸如角速度传感器的运动传感器和加速度传感器或以上的组合构成。在这种情况下，检测器20可以由传感器单元构成，其中角速度传感器和加速度传感器布置在三个轴方向上，或者不同传感器可以用于每个轴。例如，角速度传感器的输出的累计值可以用于显示单元10的姿势变化、变化的方向、其变化量等。
此外，地磁传感器可以用于检测显示单元10绕垂直轴(Z轴)的方位。可选地，可以组合地磁传感器和运动传感器。利用这一点，高精度地检测方位或姿势变化变得可能。
检测器20位于显示单元10中的合适位置处。检测器20的位置不受特别限制。例如，检测器20位于图像生成器12R和12L的任意一个或支撑件13的部分上。
(控制单元)
控制单元30(第一控制单元)基于检测器20的输出来生成用于控制显示单元10(图像生成器12R和12L)的驱动的控制信号。在该实施例中，控制单元30经由连接电缆30a电连接至显示单元10。当然，控制单元30不限于此。控制单元30可以通过无线通信连接至显示单元10。
如图3中所示，控制单元30包括CPU301、存储器302(存储单元)、发射器/接收器303、内部电源304和输入操作单元305。
CPU301控制整个HMD100的操作。存储器302包括只读存储器(ROM)、随机存取存储器(RAM)等并存储用于通过CPU301控制HMD100的程序和各个参数、应显示在显示单元10上的图像(对象)和其他所需数据。发射器/接收器303构成与便携式信息终端200通信的接口，稍后将描述。内部电源304提供驱动HMD100所需的电力。
输入操作单元305用于根据用户操作来控制显示在显示单元10上的图像。输入操作单元305可以由机械开关构成或可以由触摸传感器构成。输入操作单元305可以设置在显示单元10中。
HMD100还可以包括音频输出单元，诸如扬声器、照相机等。在这种情况下，音频输出单元和照相机通常设置在显示单元10中。另外，控制单元30可以设置有显示显示单元10的输入操作屏幕等的显示设备。在这种情况下，输入操作单元305可以由设置在显示设备中的触摸面板构成。
(便携式信息终端)
便携式信息终端200(第二控制单元)被配置为通过无线通信与控制单元30互相通信。便携式信息终端200用于获取应显示在显示单元10中的图像，并将所获取的图像传输至控制单元30。便携式信息终端200通过与HMD100有机结合来构建HMD***。
虽然便携式信息终端200由穿戴显示单元10的用户U携带并由信息处理装置(诸如个人计算机(PC)、智能手机、蜂窝手机、平板PC和个人数字助理(PDA))等构成，便携式信息终端200可以是HMD100专用的终端装置。
如图3中所示，便携式信息终端200包括CPU201、存储器202、发射器/接收器203、内部电源204、显示单元205、照相机206和位置信息获取单元207。
CPU201控制整个便携式信息终端200的操作。存储器202包括ROM、RAM等并存储用于通过CPU201控制便携式信息终端200的程序和各个参数、要传输至控制单元30的图像(对象)和其他所需数据。内部电源204提供驱动便携式信息终端200所需的电力。
发射器/接收器203使用无线LAN(IEEE802.11等)(诸如用于便携式通信的无线保真(WiFi)和3G或4G网络)与服务器N、控制单元30以及另一个相邻的便携式信息终端等通信。便携式信息终端200经由发射器/接收器203从服务器N下载应传输至控制单元30的图像(对象)以及用于显示图像的应用程序，并将图像和应用程序存储在存储器202中。
服务器N通常由包括CPU、存储器等的计算机构成并响应于用户U的请求或与用户U的意图无关而自动地将预定信息传输至便携式信息终端200。
显示单元205例如由LCD或OLED构成并显示各个菜单、应用程序的GUI等。通常，显示单元205集成有触摸面板并且可以接收用户的触摸操作。便携式信息终端200可以被配置为能够通过显示单元205的触摸操作将预定操作信号输入至控制单元30。
位置信息获取单元207通常包括全球定位***(GPS)接收器。便携式信息终端200被配置为能够使用位置信息获取单元207测量用户U(显示单元10)的当前位置，并从服务器N获取所需的图像(对象)。即，服务器N获取有关用户的当前位置的信息，并将与位置信息对应的图像数据、应用程序软件等传输至便携式信息终端200。
(控制单元的详情)
接下来，将详细描述控制单元30。
图4是CPU301的功能框图。CPU301包括坐标设定单元311、图像管理单元312、坐标判定单元313和显示控制单元314。CPU301根据存储在存储器302中的程序来执行坐标设定单元311、图像管理单元312、坐标判定单元313和显示控制单元314中的过程。
坐标设定单元311被配置为执行设置包围用户U(显示单元10)的三维坐标的过程。在该实例中，以垂直轴Az为中心的圆柱坐标C0(参见图1)被用作三维坐标。坐标设定单元311设置圆柱坐标C0的半径R和高度H。坐标设定单元311通常根据应该向用户U呈现的对象的数量和种类来设置圆柱坐标C0的半径R和高度H。
虽然圆柱坐标C0的半径R可以是固定值，但是半径R可以是可以根据应显示的图像的大小(像素大小)等任意设置的可变值。圆柱坐标C0的高度H例如被设为比应通过显示单元10提供给用户U的纵向纵向(正交方向)上的视野V的高度Hv(参见图1)大一至三倍。高度H的上限不限于比Hv大三倍并且可以比Hv大三倍以上。
图5A示出了高度H1等于视野V的高度Hv的圆柱坐标C0。图5B示出了高度H2比视野V的高度Hv大三倍的圆柱坐标C0。
图6A和图6B是示出了开发状态下的圆柱坐标C0的示意图。如上所述，圆柱坐标C0包括北向为0°的示出绕垂直轴的角的圆周方向上的坐标轴(θ)以及以用户U的水平视线Lh为基准的表示上下方向的角的高度方向上的坐标轴(h)。坐标轴(θ)具有从西到东的正方向，并且坐标轴(h)使用俯角作为正方向并使用仰角作为负方向。高度h表示当视野V的高度Hv的大小被设为100％时的大小。圆柱坐标C0的原点OP1被设为在北向上的方位(0°)与用户U的水平视线Lh(h＝0％)的交点。
坐标设定单元311具有区域限制器的功能，能够限制沿包围显示单元10的三维坐标中的一个轴的方向的视野V的显示区域。在该实施例中，坐标设定单元311限制包围显示单元10的圆柱坐标C0中的高度方向上的视野V的视野区域(Hv)。具体地，当高度(H)的指定值大于视野V的高度Hv时，坐标设定单元311限制高度方向上视野V的区域中圆柱坐标的高度(H)。另外，坐标设定单元311例如根据用户U的操作来从H2(图5B)至H1(图5A)限制圆柱坐标的高度。
图像管理单元312用于管理存储在存储器302中的图像。例如，图像管理单元312被配置为执行将经由显示单元10显示的一个或多个图像存储在存储器302中并选择性地删除存储在存储器302中的图像的过程。从便携式信息终端200传输存储在存储器302中的图像。图像管理单元312还请求便携式信息终端200经由发射器/接收器303传输图像。
存储器302被配置为能够存储应显示在视野V中的一个或多个图像(对象)，其中一个或多个图像(对象)对应于圆柱坐标C0。即，存储器302连同圆柱坐标C0中的坐标位置一起存储图1中所示的圆柱坐标C0中的各个对象B1至B4。
如图7中所示，圆柱坐标系(θ，h)和正交坐标系(X，Y，Z)具有X＝rcosθ、Y＝rsinθ和Z＝h之间的关系。如图1中所示，应该对应于视野V的方位或姿势显示的对象B1至B4占据圆柱坐标C0中的具体坐标区域并与区域中的特定坐标位置P(θ，h)一起存储在存储器302中。
对象B1至B4的坐标位置可以设在任何位置，只要其在每个对象B1至B4的显示区域内即可。每个对象可以设置特定点(例如，中心位置)或两个或更多点(例如，两个对角点或四个拐角点)。
此外，如图1中所示，当对象B1至B4的坐标位置对应于注视目标A1至A4的用户的视线L与圆柱坐标C0的相交位置时，用户U查看与目标A1至A4重叠的位置的对象B1至B4。除此之外，对象B1至B4的坐标位置可以对应于与从相交位置间隔开的任何位置。利用这一点，可以相对于目标A1至A4在所期望的位置显示或绘制对象B1至B4。
坐标判定单元313被配置为执行基于检测器20的输出来确定在圆柱坐标C0中用户U的视野V对应于哪个区域的过程。即，视野V由于用户U(显示单元10)的姿势变化而在圆柱坐标C0中移动，并基于检测器20的输出来计算移动方向和移动量。坐标判定单元313基于检测器20的输出来计算显示单元10的移动方向和移动量，并确定在圆柱坐标C0中视野V属于哪个区域。
图8是概念地示出了圆柱坐标C0中的视野和对象B1至B4之间的关系的圆柱坐标C0的开发视图。视野V几乎为矩形并包括xy坐标(局部坐标)，其中左上角为原点OP2。x轴是在水平方向上从原点OP2延伸的轴，并且y轴是在纵向纵向上从原点OP2延伸的轴。然后，坐标判定单元313被配置为执行确定任何对象B1至B4是否存在于视野V的对应区域中的过程。
显示控制单元314被配置为执行基于检测器20的输出(即，坐标判定单元313的确定结果)在视野V中显示(绘制)对应于显示单元10的方位的圆柱坐标C0中的对象的过程。例如，如图8中所示，当视野V的当前方位与圆柱坐标C0中的对象B1和B2的每个显示区域重叠时，与其重叠区域B10和B20对应的图像显示在视野V中(局部呈现)。
图9A和图9B是用于描述将圆柱坐标C0(世界坐标)转换为视野V(局部坐标)的方法的视图。
如图9A中所示，假设圆柱坐标C0中的视野V的基准点的坐标用(θv，hv)表示，并且位于视野V的区域中的对象B的基准点的坐标用(θ0，h0)表示。视野V和对象B的基准点可以设为任意点。在该实例中，基准点被设为其中的每一个都具有矩形形状的视野V和对象B的左上角。αv[°]是世界坐标中的视野V的宽度角并且值根据显示单元10的设计或规范来确定。
显示控制单元314将圆柱坐标系(θ，h)转换为局部坐标系(x，y)，由此确定视野V中对象B的显示位置。如图9B中所示，假设局部坐标系中的视野V的高度和宽度分别用Hv和Wv表示，并且局部坐标系(x，y)中对象B的基准点的坐标用(x0，y0)表示，转换表达式如下。
x0＝(θ0-θv)＊Wv/αv…(1)
y0＝(h0-hv)＊Hv/100…(2)
继显示单元10的方位或姿势变化之后，显示控制单元314通常改变视野V中对象B的显示位置。只要对象B的至少部分存在于视野V中，就继续该控制。
然而近年来，显示区域由于HMD的尺寸缩小而逐渐变窄。此外，在透视型头戴式显示器中，例如存在期望限制信息显示区域并同时确保透视区域的情况。在此情况下，当继如上所述的显示单元10的方位或姿势变化之后，对象B的显示位置在视野V中改变时，担心保持视野V中的对象B变得困难。为了解决此问题，根据该实施例的HMD100具有如下所述的对象显示固定功能。
<对象显示固定功能>
(1)非严格属性的介绍
显示控制单元314被配置为，当显示单元10的方位或姿势改变预定角度以上时，能够根据方位或姿势变化来执行在视野V中移动对象的过程，并当方位或姿势小于预定角度时，在视野V中固定对象的显示位置。
在该实施例中，可以将非严格属性引入对象中。即，如果对象B没有固定在世界坐标系(圆柱坐标C0)的一个位置处，并且用户U的眼睛方向落入某个角范围内，则对象可以固定在显示单元10的局部坐标系(x，y)处并在此处进行显示。通过执行此过程，能够轻松保持对象在视野V中的状态。由此调节由于用户U绕垂直轴或水平轴的无意的姿势变化导致的对象移动，并且可以提高对象的可见性。
预定角度可以是绕垂直轴(Z轴)的角度，可以是绕水平轴(X轴和/或Y轴)的角度，或可以是这两者。预定角度的值可以进行适当设置并且例如为±15°。预定角度在绕垂直轴的角度(第一预定角度)和绕水平轴的角度(第二预定角度)之间可以是相同的或者在其间可以是不同的。
(2)第一抓取功能
显示控制单元314被配置为，当检测器20的输出变化在预定时间内等于或小于预定值时，能够执行将对象B移至视野V中的预定位置的过程。
在该实施例中，如果检测器20的输出在预定时间内不改变，则用户参照视野V中显示的对象的可能性高，并因此对象的可见性可以通过将对象移至视野V中的预定位置来提高。
预定时间不受特别限制并且例如被设为大约5秒。此外，预定位置不受特别限制并且例如是视野V的中心或拐角或是偏离位置(其是上部位置、下部位置、左边位置和右边位置中的任意一个)。另外，可以在夸大的状态(例如放大的状态)下显示移动之后的对象。
例如，如果在预定时间内没有识别检测器20的输出变化(其中对象在视野V的中心)，则该功能可以在视野V的局部坐标系(x，y)的预定位置固定显示对象B。在这种情况下，当检测器20的输出超过预定值时，释放固定显示对象的功能。检测器20的输出值此时可以是输出的变化量，其对应于等于或大于显示单元10绕预定轴的预定角度的姿势变化或可以是输出的另一个变化量。
(3)第二抓取功能
当检测到根据用户U的操作生成的预定信号的输入时，显示控制单元314被配置为能够执行将对象移至视野V中的预定位置的过程。同样利用此配置，如上所述可以提高对象的可见性并且可以根据用户的意图控制图像的显示。
在该过程中，例如，通过将对象调节到视野V的中心并对输入操作单元305或便携式信息终端200执行预定输入操作将对象固定到视野V的局部坐标系(x，y)上。然后，通过再次操作输入操作单元305等，将对象恢复到世界坐标系并释放固定显示对象的功能。
(4)图像稳定功能
当检测器20的输出变换等于或大于预定频率(其中在视野V中的预定位置显示对象)时，显示控制单元314被配置为能够执行将检测器20的输出的频率分量设为无效的过程，所述频率分量等于或大于预定频率。
当继显示单元10的方位或姿势变化之后移动视野V中的对象时，担心其后同样跟随用户U的脸的轻微抖动并且劣化对象的可见性。为了防止这个问题，对于等于或大于预定值的高频分量，可以防止对象跟随显示单元10的姿势变化，并且对于小于预定值的低频分量，对象显示位置可以固定在视野V(局部坐标系)中。例如，预定频率被设为与用户的脸的抖动对应的频率。利用这一点，可以确保图像的可见性，而不会受到用户的脸的轻微抖动的影响。
图10A和图10B是用于描述图像稳定功能的概念图。在图中，V1表示某个时间点的局部坐标系，V2表示与V1对应的图像稳定坐标系。OP和OP’示出了V1和V2的原点。
当启用图像稳定功能时，对象被放置在图像稳定坐标系中。通过PD控制使图像稳定坐标系经由相对于视野V的局部坐标系(x，y)的跟踪控制。PD控制是多种反馈控制中的一种并且通常指的是通过将比例控制和差分控制结合来控制收敛于设置值。在图10A和图10B中，注意各自连接在视野V和视野V’之间的弹簧(p)和避震器(d)，弹簧(p)对应于PD控制的P分量并且避震器(d)对应于PD控制的D分量。
作为计算跟踪控制的方法的实例，假设在某个时间点t，局部坐标系V1中的点用(x(t)，y(t))表示并且与此对应的图像稳定坐标系V2中的点用(x’(t)，y’(t))表示。另外，采样周期(Δt)之前的局部坐标系V1的点用(x(t-Δt)，y(t-Δt))表示并且与此对应的图像稳定坐标系V2的点用(x’(t-Δt)，y’(t-Δt))表示。假设对应点之间的差用(Δx(t)，Δy(t))表示，其表达如下。
Δx(t)＝x’(t)-x(t)…(3)
Δy(t)＝y’(t)-y(t)…(4)
假设对应点之间的速度差用(Δvx(t)，Δvy(t))表示，其表达如下。
Δvx(t)＝{Δx’(t)-Δx’(t-Δt)}-{Δx(t)-Δx(t-Δt)}…(5)
Δvy(t)＝{Δy’(t)-Δy’(t-Δt)}-{Δy(t)-Δy(t-Δt)}…(6)
表达了图像稳定坐标系V1’此时在继局部坐标系V1之后应该移动的量(Δp(t)，Δq(t))。
Δp(t)＝Px×Δx(t)+Dx×Δvx(t)…(7)
Δq(t)＝Py×Δy(t)+Dy×Δvy(t)…(8)
其中Px和Py是x和y的差增益常数并且Dy是x和y的速度增益常数。
即使旋转局部坐标系V1，图像稳定坐标系V1’也不跟随旋转分量(图10B)。即，即使用户在用户的前后方上绕轴倾斜脸，也可调节对象的倾斜。
上述对象显示固定功能(1)至(4)可以单独应用或可以适当组合并应用。例如，上述(1)至(3)的任意一个与上述(4)的组合是适用的。
<区域限制功能>
接下来，将描述HMD100的区域限制功能。
近年来，在透视型头戴式显示器中，例如存在期望限制信息显示区域并同时确保透视区域的情况。在这种情况下，担心对象图像难以进入视野。因此，在该实施例中，出于提高对象的可搜索性的目的，提供世界坐标系的区域限制功能。
如上所述，坐标设定单元311起到区域限制器的作用，能够根据视野V的高度方向上的区域(Hv)限制在包围显示单元10的圆柱坐标C0中Z轴方向的区域(H)(参见图5A)。通过限制圆柱坐标C0的高度H，可以提高用户的水平视野中的图像的可搜索性和可见性。
高度方向上圆柱坐标C0的限制量不受特别限制。在该实施例中，圆柱坐标C0的高度被限制为高度(H1)，高度(H1)等于视野V的高度Hv。如果启用区域限制功能，则显示控制单元314被配置为能够至少改变圆柱坐标系的h坐标(θ，h)并在视野V中显示对象B1至B4以使得对象B1至B4位于其区域受限的圆柱坐标C0中。
图11A和图11B是示出了对应于其区域局限于高度H1的圆柱坐标C1的对象B1至B4与视野V之间的相对位置关系的示意图。用户U可以只通过改变绕Z轴(垂直轴)的姿势来查看对应于所有方位的对象B1至B4，并因此极大地提高对象B1至B4的可搜索性。
虽然在图11A的实例中，所有对象B1至B4都位于圆柱坐标C1中，但是其不限于此，并且根据需要，对象至少可以位于圆柱坐标C1中。此外，位于圆柱坐标C1中的对象B1至B4的高度不受特别限制并且可以任意设置每个高度。
另外，虽然在图11的实例中整个对象B1至B4位于圆柱坐标C1中，但是可以在视野V中显示对象B1至B4的至少部分。利用这一点，可以轻松识别存在于某个方位的图像。在这种情况下，圆柱坐标C1的高度H1可以根据用户U对输入操作单元305等的输入操作而变为更大的高度。利用这一点，可以查看整个对象。
可以根据用户U的设置来选择启用还是禁用上述区域限制功能。在根据该实施例的HMD100中，使用世界坐标系作为圆柱坐标C1的区域限制功能被设为启用状态作为正常模式。可以根据用户的自发设置变化来执行区域限制功能的变化(高度H变化)或切换至禁用状态。
另一方面，当检测到根据用户U的操作生成的预定信号的输入时，控制单元30可以被配置为能够执行将圆柱坐标中的高度方向上的区域限制为视野V的高度方向上的区域(Hv)，并在视野V中将视野V中显示的所有对象对齐在相同高度的过程。
即，如果区域限制功能处于启用状态下或如果世界坐标系设置在除圆柱坐标C1之外的其他圆柱坐标中，则世界坐标系根据用户U对输入操作单元305等的输入操作被强迫切换至圆柱坐标C1。另外，对象B1至B4位于圆柱坐标C1中的位置处以使得在视野V中的相同高度显示所有对象B1至B4，如图11B中所示。利用这一点，可以进一步提高视野中显示的图像的可见性。
<图像管理功能>
接下来，将描述HMD100的图像管理功能。
如上所述，在该实施例中，便携式信息终端200用于将对象数据传输至控制单元30。便携式信息终端200包括测量用户U(显示单元10)的位置的位置信息获取单元207和包括发射器/接收器203等的能够从服务器N等获取应存储在控制单元30的存储器302中的多个对象(B1至B4)的图像获取单元。
在该实施例中，控制单元30请求便携式信息终端200传输选自多个对象数据项的一个或多个对象数据项。然后，便携式信息终端200将所请求的对象数据传输至控制单元30。
为了顺利地绘制显示单元10的视野V中的对象，便携式信息终端200和控制单元30之间的通信速度和延迟(从下发传输请求至图像的实际传输的时间)可能造成问题。在该实施例中，出于避免通信速度和延迟的问题的目的，控制单元30(在该实例中，图像管理单元312)配置如下。
首先，控制单元30被配置为事先从便携式信息终端200获取所需的多个对象数据项。利用这一点，视野V中的对象的绘制时间可以在控制单元30中进行控制。在合适的时间向用户U提供所需对象变得可能，而不管通信环境等如何。
此外，控制单元30被配置为请求便携式信息终端200优先传输对应于更靠近圆柱坐标C0中的视野V的显示区域的坐标位置的对象。通过以此方式优先获取具有被呈现给视野V的高可能性的对象数据，可以避免视野V中的对象显示延迟。
此时，图像管理单元312被配置为能够执行首先对应于世界坐标中的对象的布置位置设置一个或多个帧，然后将具有高优先级的对象布置在帧中的过程。注意“将帧或对象布置在世界坐标中”指的是使帧或对象对应于世界坐标。
作为实例，图12A、图12B和图13示出了将对象B3和B4布置在其区域局限于高度H1的圆柱坐标C1中的过程。注意，以下过程同样适用于其区域不受限的圆柱坐标C0或由其他三维坐标构成的世界坐标系。
在该实施例中，将用于限定对象的坐标位置的对象的图像数据项(对象数据项)和帧数据项的每一个从便携式信息终端200传输至控制单元30。帧数据项具有小于对象数据项的数据量的数据量，并因此其所需获取时间短于对象数据项的获取时间。因此，首先执行帧数据获取的通信，然后按优先级顺序执行对象数据获取的通信。
(帧登记阶段)
首先，便携式信息终端200检查是否将用于布置对象B3的帧F3传输至控制单元30(步骤101)。相应地，控制单元30请求便携式信息终端200传输帧F3(步骤102)。控制单元30将所接收的帧F3存储在存储器302中，由此将帧F3布置在圆柱坐标C1中的对应位置处。
接下来，便携式信息终端200检查是否将用于布置对象B4的帧F4传输至控制单元30(步骤103)。相应地，控制单元30请求便携式信息终端200传输帧F4(步骤104)。控制单元30将所接收的帧F4存储在存储器302中，由此将帧F4布置在圆柱坐标C1中的对应位置处。在传输所有帧数据项之后，便携式信息终端200将传输对象数据项的许可通知给控制单元30(步骤105)。
(数据获取阶段)
控制单元30使用对象数据项的传输许可通知作为触发过渡至数据获取阶段。具体地，例如，控制单元30基于检测器20的输出来确定最接近当前视野V(显示单元10)的方位的帧(在该实例中为帧F4)，并请求传输属于该帧的对象(在该实例中为对象B4)的图像数据(步骤106)。响应于该请求，便携式信息终端200将对象B4的图像数据传输至控制单元30(步骤107)。控制单元30将所接收的对象B4的图像数据存储在存储器302中并将帧F4中的对象B4布置在圆柱坐标C1中。
接下来，控制单元30确定靠近帧F4的第二最接近视野V的方位的帧(在该实例中为帧F3)，并请求传输属于该帧的对象(在该实例中为对象B3)的图像数据(步骤108)。响应于该请求，便携式信息终端200将对象B3的图像数据传输至控制单元30(步骤109)。控制单元30将所接收的对象B3的图像数据存储在存储器302中并将帧F3中的对象B3布置在圆柱坐标C1中。
如上所述，控制单元30被配置为能够事先将对象的帧数据项登记在圆柱坐标C1中以使得可以确定以视野V为基准的对象的获取优先级，并被配置为基于确定结果顺序地从具有高优先级(最接近视野V)的对象获取图像数据项。
在对象是动画图像的情况下，优先级设置只需要鉴于当前时间和动画帧时间来执行。例如，控制单元30被配置为请求便携式信息终端200一次性传输构成动画图像的所有图像的至少一些。因此，即使对象是动画图像，也可以通过鉴于帧速率兑现所需数量的图像(例如，一秒的图像)来动态地处理此情况。
为了构建如上所述的***，必须提高保留对象数据项的存储器302的容量。然而，通过高必要性地优先保留对象数据项并低必要性地动态执行丢弃数据项的过程，即使不能保留所有对象的数据项，也可以实现合适的对象显示。注意，如果需要，则只需要再次获取所丢弃的数据项。
即，控制单元30可以被配置为相对于存储在存储器302中的所有对象定期评估其坐标位置和视野V的显示区域之间的距离，并从存储器302中移除距视野V的显示区域最远的坐标位置处的对象。具体地，基于圆柱坐标C1中的所有对象中的每一个与视野V的当前方位之间的相对位置关系，对所有对象的优先级进行评估并删除具有低优先级的对象数据。利用这一点，可以确保接近视野V的对象数据的存储区域。
评估优先级的方法不受特别限制。例如，可以基于圆柱坐标C1中的视野V的中心位置和对象的中心位置之间的像素数量来评估优先级。此外，就动画图像而言，可以基于再现时间将评估值与系数相乘。
【HMD的操作】
接下来，将描述包括由此配置而成的根据该实施例的HMD100的HMD***的操作的实例。
图14是用于描述根据该实施例的HMD***的操作的概述的流程图。
首先，使用便携式信息终端200的位置信息获取单元207来测量用户U(显示单元10)的当前位置(步骤201)。将显示单元10的位置信息传输至服务器N。然后，便携式信息终端200从服务器N获取与存在于围绕用户U的真实空间中的预定目标有关的对象数据(步骤202)。
接下来，便携式信息终端200可以下发完成将对象数据传输至控制单元30的准备的通知。控制单元30(在该实例中为坐标设定单元311)根据对象数据的种类等来设置充当世界坐标系的圆柱坐标C0的高度(H)和半径(R)(步骤203)。
在这种情况下，如果启用根据由显示单元10提供的视野V的高度(Hv)的区域限制功能，则坐标设定单元311例如将世界坐标系设为图12A中所示的圆柱坐标C1。
接下来，控制单元30基于检测器20的输出来检测视野V的方位(步骤204)。控制单元30从便携式信息终端200获取对象数据并将其存储在存储器302中(步骤205)。
图15是示出了通过控制单元30进行的对象数据的接收过程的实例的流程图。
在从便携式信息终端200接收对象数据的传输许可检查(步骤301)之后，控制单元30确定是否完成所有对象的帧登记(步骤302)。这是因为对象的坐标位置不是固定的，除非所有对象的帧登记没有完成并且不可能对对象优先级进行评估。如果帧登记没有完成，则终止该过程，并执行上述不完整帧的登记过程。
否则，如果所有对象的帧登记完成，则检查是否存在未接收的对象以及存储器302的容量(步骤303)。如果存在未登记对象并且存储器容量足够，则接收未登记对象并将其存储在存储器302中(步骤304)。
注意，控制单元30定期评估存储器302中的对象的优先级，并且如果需要则删除评估值低的优先级。
如果圆柱坐标C0中的视野V的对应区域中存在任何对象数据项，则控制单元30经由显示单元10在视野V中的对应位置处显示(绘制)该对象(步骤206)。当在视野V中显示对象的过程中，可以应用上述对象显示固定功能中的任意功能。
图16是示出了通过控制单元30进行的视野V中的对象的绘制流程的实例的流程图。
控制单元30基于检测器20的输出来计算当前视野V的方位(步骤401)。视野V的方位被转换为世界坐标系(θ，h)并监测在圆柱坐标C0中其对应于哪个位置。
接下来，控制单元30确定存储在存储器302中的所有对象中是否存在未扫描对象(步骤402)。每次屏幕更新都对存储在存储器302中的所有对象执行一次扫描。
如果存在未扫描对象，则确定该对象是否是世界坐标系的对象(步骤403)并在“否”的情况下在视野V中绘制该对象(步骤404)。
否则，如果步骤403中确定为“是”，则确定对象显示固定功能(例如，第一抓取功能)中的任意功能是否应用于该对象(步骤405)。如果应用该功能，则在满足预期条件时在视野V中固定显示对象(步骤406)。否则，如果不应用任何显示固定功能，则在视野V中捕获对象位置时在视野V中绘制对象(步骤407)。
在下文中，重复上述过程。利用这一点，经由显示单元10向用户U提供与用户U的当前位置对应的最新对象变得可能。
<第二实施例>
接下来，将描述本技术的第二实施例。在下文中，将主要描述与第一实施例的配置不同的配置并省略或简化与该实施例的配置相同的配置的描述。
根据该实施例的头戴式显示器包括被配置为能安装至用户的头部并且能够为用户提供真实空间的视野的显示单元、检测显示单元的方位的检测器和基于检测器的输出来在视野中显示图像的显示控制单元。
当方位改变第一预定角度以上时，显示控制单元根据方位变化移动视野中的图像。
当方位变化小于第一预定角度时，显示控制单元固定图像在视野中的显示位置。
显示单元和检测器分别与第一实施例中描述的显示单元10和检测器20对应。显示控制单元与第一实施例中描述的具有对象显示固定功能((1)非严格属性的介绍)的显示控制单元314对应。
即，根据该实施例的头戴式显示器可应用于其世界坐标不限于圆柱坐标的另一个任意坐标系。同样在该实施例中，可以获得与第一实施例中的动作和效果相同的动作和效果。即，可以轻松在视野中保持对象，并因此可以调节由用户的姿势自发变化造成的对象的移动，并提高对象的可见性。
注意，同样在该实施例中，如与第一实施例中一样，可以提供区域限制功能和图像管理功能中的至少一个。
<第三实施例>
接下来，将描述本技术的第三实施例。在下文中，将主要描述与第一实施例的配置不同的配置并省略或简化与该实施例的配置相同的配置的描述。
根据该实施例的头戴式显示器包括被配置为能安装至用户的头部并且能够为用户提供真实空间的视野的显示单元、检测显示单元的方位的检测器和基于检测器的输出来在视野中显示图像的显示控制单元。
当检测器的输出变化在预定时间内等于或小于预定值时，显示控制单元将图像移至视野中的预定位置。
否则，当显示控制单元检测到根据用户操作生成的预定信号的输入时，将图像移至视野中的预定位置。
显示单元和检测器分别与第一实施例中描述的显示单元10和检测器20对应。显示控制单元与第一实施例中描述的具有对象显示固定功能((2)第一抓取功能或(3)第二抓取功能)的显示控制单元314对应。
即，根据该实施例的头戴式显示器可应用于其世界坐标不限于圆柱坐标的另一个任意坐标系。同样在该实施例中，可以提供与第一实施例中的动作和效果相同的动作和效果。即，可以轻松保持视野中的对象，并因此可以调节由用户无意的姿势变化造成的对象的移动，并提高对象的可见性。
注意，同样在该实施例中，如与第一实施例中一样，可以提供区域限制功能和图像管理功能中的至少一个。
<第四实施例>
接下来，将描述本技术的第四实施例。在下文中，将主要描述与第一实施例的配置不同的配置并省略或简化与该实施例的配置相同的配置的描述。
根据该实施例的头戴式显示器包括被配置为能安装至用户的头部并且能够为用户提供真实空间的视野的显示单元、检测显示单元的方位的检测器和基于检测器的输出来在视野中显示图像的显示控制单元。
在视野中的预定位置处显示图像的状态下，当检测器的输出变化等于或大于预定频率时，显示控制单元将检测器的输出的频率分量设为无效，所述频率分量等于或大于预定频率。
显示单元和检测器分别与第一实施例中描述的显示单元10和检测器20对应。显示控制单元与第一实施例中描述的具有对象显示固定功能((4)图像稳定功能)的显示控制单元314对应。
即，根据该实施例的头戴式显示器可应用于其世界坐标不限于圆柱坐标的另一个任意坐标系。同样在该实施例中，可以获取与上述第一实施例中的动作和效果相同的动作和效果。即，可以确保图像的可见性，而不会受到用户的脸轻微抖动的影响。
注意，同样在该实施例中，如与第一实施例中一样，可以提供区域限制功能和图像管理功能中的至少一个。
虽然描述了本技术的实施例，但是本技术不仅限于上述实施例并且当然在不背离本技术的主旨的情况下可以添加各种变化。
例如，虽然在上述实施例的每一个中描述了本技术应用于HMD的实例，但是本技术同样可应用于例如安装在车辆的车厢或飞机座舱中的抬头显示器(HUD)，作为除HMD之外的图像显示装置。
此外，虽然在上述实施例中的每一个中描述了透视型HMD的应用实例，但是本技术同样可应用于非透视型HMD。在这种情况下，只需要在由安装在显示单元上的照相机捕获的外部视野中显示根据本技术的预定对象。
另外，虽然在上述实施例中的每一个中，HMD100被配置为在视野V中显示包括与存在于真实空间中的预定目标有关的信息的对象，但是其不限于此并且可以基于用户U的当前位置或移动方向在视野V中显示目的地引导等。
注意，本技术还可以采用以下配置。
(1)一种头戴式显示器，包括：
显示单元，其被配置为能安装至用户的头部并且能够为用户提供真实空间的视野；
检测器，其检测显示单元绕至少一个轴的方位；以及
第一控制单元，其包括：
区域限制器，其能够限制在包围显示单元的三维坐标中视野沿一个轴的方向的显示区域，
存储单元，其存储应显示在视野中的图像，其中图像对应于三维坐标，以及
显示控制单元，其基于检测器的输出在视野中显示对应于方位的三维坐标中的图像。
(2)根据(1)所述的头戴式显示器，其中
检测器检测显示单元绕垂直轴的方位，并且
区域限制器根据视野的纵向上的区域限制绕垂直轴的圆柱坐标中的高度方向上的区域。
(3)根据(2)所述的头戴式显示器，其中
区域限制器将圆柱坐标中的高度方向上的区域限制到一个高度以使得存储在存储单元中的图像的至少一部分显示在视野中。
(4)根据(1)至(3)中任一项所述的头戴式显示器，其中
当方位改变第一预定角度以上时，显示控制单元根据方位的变化在视野中移动图像，并且
当方位的变化小于第一预定角度时，显示控制单元固定视野中的图像的显示位置。
(5)根据(4)所述的头戴式显示器，其中
检测器进一步检测显示单元绕水平轴的姿势变化，并且
当姿势变化等于或大于第二预定角度时，显示控制单元根据姿势变化在视野中移动图像，并且
当姿势变化小于第二预定角度时，显示控制单元固定视野中的图像的显示位置。
(6)根据(1)至(3)中任一项所述的头戴式显示器，其中
当检测器的输出变化在预定时间内等于或小于预定值时，显示控制单元将图像移至视野中的预定位置。
(7)根据(1)至(6)中任一项所述的头戴式显示器，其中
当检测到根据用户的操作生成的预定信号的输入时，显示控制单元将图像移至视野中的预定位置。
(8)根据(1)至(7)中任一项所述的头戴式显示器，其中
当在图像显示在视野中的预定位置的状态下，检测器的输出变化等于或大于预定频率时，显示控制单元将检测器的输出中等于或大于预定频率的频率分量设为无效。
(9)根据(1)至(8)中任一项所述的头戴式显示器，其中
当检测到根据用户的操作生成的预定信号的输入时，第一控制单元根据一个轴的方向上的视野的区域限制三维坐标中的高度方向上的区域，并将视野中显示的所有图像在视野中调节到相同高度。
(10)根据(1)至(9)中任一项所述的头戴式显示器，其中
图像包括与存在于视野中的预定目标有关的信息。
(11)根据(1)至(10)中任一项所述的头戴式显示器，其中
图像包括动画图像。
(12)根据(1)至(11)中任一项所述的头戴式显示器，其中
检测器包括地磁传感器。
(13)根据(1)至(12)中任一项所述的头戴式显示器，其中
检测器包括检测显示单元的运动的运动传感器。
(14)根据(1)至(13)中任一项所述的头戴式显示器，还包括：
包括获取存储在存储单元中的多个图像的图像获取单元的第二控制单元。
(15)根据(14)所述的头戴式显示器，其中
第一控制单元请求第二控制单元传输选自多个图像的一个或多个图像。
(16)根据(13)或(14)所述的头戴式显示器，其中
第一控制单元请求第二控制单元优先传输对应于三维坐标中更靠近视野的显示区域的坐标位置的图像。
(17)根据(16)所述的头戴式显示器，其中
图像是动画图像，并且
第一控制单元请求第二控制单元一次性传输构成动画图像的所有图像中的至少一些。
(18)根据(16)或(17)所述的头戴式显示器，其中
第一控制单元针对存储在存储单元中的所有图像定期评估坐标位置和视野的显示区域之间的距离并从存储单元中删除距视野的显示区域最远的坐标位置处的图像。
(19)根据(14)至(18)中任一项所述的头戴式显示器，其中
第二控制单元还包括能够获取显示单元的位置信息的位置信息获取单元，并且
图像获取单元获取与能被传输至第一控制单元的位置信息对应的图像。
符号的描述
10 显示单元
11R，11L 显示面
12R，12L 图像生成器
20 检测器
30 控制单元
100 头戴式显示器(HMD)
200 便携式信息终端
311 坐标设定单元
312 图像管理单元
313 坐标判定单元
314 显示控制单元
A1至A4 目标
B，B1至B4 对象
C0，C1 圆柱坐标(世界坐标)
V 视野
U 用户

Claims (20)

1.一种头戴式显示器，包括：
显示单元，被配置为能安装至用户的头部并且能够为所述用户提供真实空间的视野；
检测器，检测所述显示单元绕至少一个轴的方位；以及
第一控制单元，包括
区域限制器，能够限制在包围所述显示单元的三维坐标中所述视野沿所述一个轴的方向的显示区域，
存储单元，存储应显示在所述视野中的图像，所述图像与所述三维坐标对应，以及
显示控制单元，基于所述检测器的输出在所述视野中显示对应于所述方位的所述三维坐标中的图像。
2.根据权利要求1所述的头戴式显示器，其中
所述检测器检测所述显示单元绕垂直轴的方位，并且
所述区域限制器根据所述视野的纵向上的区域限制绕所述垂直轴的圆柱坐标中的高度方向上的区域。
3.根据权利要求2所述的头戴式显示器，其中
所述区域限制器将所述圆柱坐标中的高度方向上的所述区域限制到一高度以使得存储在所述存储单元中的所述图像的至少部分被显示在所述视野中。
4.根据权利要求1所述的头戴式显示器，其中
当所述方位改变第一预定角度以上时，所述显示控制单元根据所述方位的变化在所述视野中移动所述图像，并且
当所述方位的所述变化小于所述第一预定角度时，所述显示控制单元固定所述视野中的所述图像的显示位置。
5.根据权利要求4所述的头戴式显示器，其中
所述检测器进一步检测所述显示单元绕水平轴的姿势变化，并且
当所述姿势变化等于或大于第二预定角度时，所述显示控制单元根据所述姿势变化在所述视野中移动所述图像，并且
当所述姿势变化小于所述第二预定角度时，所述显示控制单元固定所述视野中的所述图像的所述显示位置。
6.根据权利要求1所述的头戴式显示器，其中
当所述检测器的输出的变化在预定时间内等于或小于预定值时，所述显示控制单元将所述图像移至所述视野中的预定位置。
7.根据权利要求1所述的头戴式显示器，其中
当检测到根据所述用户的操作生成的预定信号的输入时，所述显示控制单元将所述图像移至所述视野中的预定位置。
8.根据权利要求1所述的头戴式显示器，其中
当在所述图像显示在所述视野中的预定位置的状态下，所述检测器的输出的变化等于或大于预定频率时，所述显示控制单元将所述检测器的输出中等于或大于所述预定频率的频率分量设为无效。
9.根据权利要求1所述的头戴式显示器，其中
当检测到根据所述用户的操作生成的预定信号的输入时，所述第一控制单元根据所述一个轴的方向上的所述视野的区域限制所述三维坐标中的高度方向上的区域，并将所述视野中显示的所有图像在所述视野中调节到相同高度。
10.根据权利要求1所述的头戴式显示器，其中
所述图像包括与存在于所述视野中的预定目标有关的信息。
11.根据权利要求1所述的头戴式显示器，其中
所述图像包括动画图像。
12.根据权利要求1所述的头戴式显示器，其中
所述检测器包括地磁传感器。
13.根据权利要求1所述的头戴式显示器，其中
所述检测器包括检测所述显示单元的运动的运动传感器。
14.根据权利要求1所述的头戴式显示器，还包括
第二控制单元，包括获取存储在所述存储单元中的多个图像的图像获取单元。
15.根据权利要求14所述的头戴式显示器，其中
所述第一控制单元请求所述第二控制单元传输选自所述多个图像中的一个或多个图像。
16.根据权利要求14所述的头戴式显示器，其中
所述第一控制单元请求所述第二控制单元优先传输对应于所述三维坐标中更靠近所述视野的所述显示区域的坐标位置的图像。
17.根据权利要求16所述的头戴式显示器，其中
所述图像是动画图像，并且
所述第一控制单元请求所述第二控制单元一次性传输构成所述动画图像的所有图像中的至少一些。
18.根据权利要求16所述的头戴式显示器，其中
所述第一控制单元针对存储在所述存储单元中的所有所述图像，定期地评估所述坐标位置与所述视野的所述显示区域之间的距离并从所述存储单元中删除距所述视野的所述显示区域最远的坐标位置处的图像。
19.根据权利要求14所述的头戴式显示器，其中
所述第二控制单元还包括能够获取所述显示单元的位置信息的位置信息获取单元，并且
所述图像获取单元获取与能被传输至所述第一控制单元的所述位置信息对应的图像。
20.一种图像显示装置，包括：
显示单元，包括能够显示真实空间的显示面；
检测器，检测所述显示单元绕至少一个轴的方位；
区域限制器，能够限制在包围所述显示单元的三维坐标中视野沿所述一个轴的方向的显示区域；
存储单元，存储应显示在所述视野中的图像，所述图像与所述三维坐标对应；以及
显示控制单元，基于所述检测器的输出在所述视野中显示对应于所述方位的所述三维坐标中的图像。
CN201380020175.2A 2013-02-22 2013-12-16 头戴式显示器和图像显示装置 Active CN104246864B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-033076 2013-02-22
JP2013033076 2013-02-22
PCT/JP2013/007386 WO2014128810A1 (ja) 2013-02-22 2013-12-16 ヘッドマウントディスプレイ及び画像表示装置

Publications (2)

Publication Number Publication Date
CN104246864A true CN104246864A (zh) 2014-12-24
CN104246864B CN104246864B (zh) 2016-06-29

Family

ID=51390650

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380020175.2A Active CN104246864B (zh) 2013-02-22 2013-12-16 头戴式显示器和图像显示装置
CN201480001045.9A Active CN104221077B (zh) 2013-02-22 2014-02-24 头戴式显示器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480001045.9A Active CN104221077B (zh) 2013-02-22 2014-02-24 头戴式显示器

Country Status (5)

Country Link
US (7) US9709806B2 (zh)
EP (2) EP4099136A1 (zh)
JP (5) JP6287849B2 (zh)
CN (2) CN104246864B (zh)
WO (2) WO2014128810A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183148A (zh) * 2015-08-03 2015-12-23 众景视界（北京）科技有限公司 用于头戴式智能设备的平移检测方法及平移检测装置
CN106303404A (zh) * 2015-06-29 2017-01-04 北京智谷睿拓技术服务有限公司 可视化内容传输控制方法、发送方法、及其装置
CN106412424A (zh) * 2016-09-20 2017-02-15 乐视控股（北京）有限公司 全景视频的视野调整方法及装置
CN109584263A (zh) * 2017-09-25 2019-04-05 京东方科技集团股份有限公司 可穿戴设备的测试方法及***
CN110082909A (zh) * 2018-01-25 2019-08-02 宏碁股份有限公司 头戴式显示器及其操作方法
CN110888522A (zh) * 2018-09-07 2020-03-17 财团法人工业技术研究院 多重目标物信息显示方法及装置
WO2023226252A1 (zh) * 2022-05-23 2023-11-30 网易（杭州）网络有限公司 游戏中的显示方法、装置、终端设备及存储介质

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014129105A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム
CN104246864B (zh) * 2013-02-22 2016-06-29 索尼公司 头戴式显示器和图像显示装置
WO2016031358A1 (ja) * 2014-08-27 2016-03-03 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US9508195B2 (en) * 2014-09-03 2016-11-29 Microsoft Technology Licensing, Llc Management of content in a 3D holographic environment
WO2016051430A1 (ja) * 2014-09-30 2016-04-07 株式会社ブリリアントサービス 入出力装置、入出力プログラム、および入出力方法
JP6479835B2 (ja) * 2014-09-30 2019-03-06 ミラマサービスインク 入出力装置、入出力プログラム、および入出力方法
JP6399692B2 (ja) * 2014-10-17 2018-10-03 国立大学法人電気通信大学 ヘッドマウントディスプレイ、画像表示方法及びプログラム
JP2016096513A (ja) * 2014-11-17 2016-05-26 株式会社ゼンリンデータコム 情報処理システム、情報処理方法及びプログラム
JP6550734B2 (ja) * 2014-12-02 2019-07-31 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016110319A (ja) * 2014-12-04 2016-06-20 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US9542718B2 (en) * 2014-12-18 2017-01-10 Intel Corporation Head mounted display update buffer
CN104615241B (zh) * 2015-01-04 2017-08-25 谭希韬 基于头转动的穿戴式眼镜控制方法和***
US10740971B2 (en) 2015-01-20 2020-08-11 Microsoft Technology Licensing, Llc Augmented reality field of view object follower
US10827950B2 (en) * 2015-03-04 2020-11-10 California Institute Of Technology Position sensing and guiding system
JP6481456B2 (ja) * 2015-03-26 2019-03-13 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
JP6439935B2 (ja) * 2015-05-07 2018-12-19 パナソニックＩｐマネジメント株式会社 表示制御方法、ヘッドマウントディスプレイ、およびプログラム
JP2016218268A (ja) * 2015-05-21 2016-12-22 セイコーエプソン株式会社 可搬型表示装置、表示システム、表示方法
JP6344311B2 (ja) * 2015-05-26 2018-06-20 ソニー株式会社 表示装置、情報処理システム及び制御方法
WO2016195733A1 (en) * 2015-06-01 2016-12-08 Thomson Licensing Reactive animation for virtual reality
US9520002B1 (en) * 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
JP6611501B2 (ja) * 2015-07-17 2019-11-27 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
US20180204387A1 (en) * 2015-07-28 2018-07-19 Hitachi, Ltd. Image generation device, image generation system, and image generation method
JP6346131B2 (ja) * 2015-09-07 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
JP5913709B1 (ja) * 2015-09-29 2016-04-27 株式会社コロプラ 画像生成装置、画像生成方法、及び画像生成プログラム
CN105354820B (zh) * 2015-09-30 2018-05-22 深圳多新哆技术有限责任公司 调整虚拟现实图像的方法及装置
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
WO2017077681A1 (ja) * 2015-11-02 2017-05-11 ソニー株式会社 ウェアラブルディスプレイ、画像表示装置及び画像表示システム
JP6518582B2 (ja) * 2015-12-21 2019-05-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法
US10229541B2 (en) * 2016-01-28 2019-03-12 Sony Interactive Entertainment America Llc Methods and systems for navigation within virtual reality space using head mounted display
JP6134019B1 (ja) * 2016-01-29 2017-05-24 株式会社コロプラ 仮想現実空間提供方法および仮想現実空間提供プログラム
EP3206122A1 (en) 2016-02-10 2017-08-16 Nokia Technologies Oy An apparatus and associated methods
EP3211629A1 (en) * 2016-02-24 2017-08-30 Nokia Technologies Oy An apparatus and associated methods
JP2017187757A (ja) * 2016-03-30 2017-10-12 ＴｓＺ株式会社 画像表示装置
CN109076258B (zh) * 2016-04-14 2021-08-27 索尼互动娱乐股份有限公司 接收装置、发送装置、控制方法、发送方法和存储介质
US20170329394A1 (en) * 2016-05-13 2017-11-16 Benjamin Lloyd Goldstein Virtual and augmented reality systems
JP6549066B2 (ja) * 2016-07-13 2019-07-24 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
CN109478339A (zh) * 2016-07-29 2019-03-15 三菱电机株式会社 显示装置、显示控制装置和显示控制方法
GB2557593A (en) * 2016-12-09 2018-06-27 Sony Interactive Entertainment Inc Virtual reality
KR101843018B1 (ko) * 2016-12-15 2018-03-28 (주)잼투고 영상합성 시스템 및 영상합성방법
JP2018101019A (ja) * 2016-12-19 2018-06-28 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
JP6874448B2 (ja) * 2017-03-17 2021-05-19 株式会社デンソーウェーブ 情報表示システム
CN108475064B (zh) * 2017-05-16 2021-11-05 深圳市大疆创新科技有限公司 用于设备控制的方法、设备和计算机可读存储介质
JP6717268B2 (ja) * 2017-07-12 2020-07-01 京セラドキュメントソリューションズ株式会社 情報処理装置及び情報処理プログラム
JP6621165B2 (ja) * 2017-08-07 2019-12-18 ナーブ株式会社 画像表示装置、画像表示方法及び画像表示プログラム
WO2019082510A1 (ja) 2017-10-23 2019-05-02 ソニー株式会社 表示制御装置、ヘッドマウントディスプレイ、表示制御方法およびコンピュータプログラム
CN109996060B (zh) * 2017-12-30 2021-09-03 深圳多哚新技术有限责任公司 一种虚拟现实影院***及信息处理方法
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
US10740982B2 (en) * 2018-05-04 2020-08-11 Microsoft Technology Licensing, Llc Automatic placement and arrangement of content items in three-dimensional environment
JP7077132B2 (ja) * 2018-05-16 2022-05-30 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
US11170625B2 (en) 2018-05-18 2021-11-09 California Institute Of Technology Head positioner for retinal surgery patients
JP6556295B2 (ja) * 2018-05-24 2019-08-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
US11195336B2 (en) 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
US12003585B2 (en) 2018-06-08 2024-06-04 Vale Group Llc Session-based information exchange
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
CN108646925B (zh) * 2018-06-26 2021-01-05 朱光 一种分体式头戴显示器***及交互方法
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
WO2020059028A1 (ja) * 2018-09-18 2020-03-26 マクセル株式会社 ヘッドマウントディスプレイ及びオブジェクトの表示方法
CN113227940A (zh) 2018-11-09 2021-08-06 贝克曼库尔特有限公司 具有选择性数据提供的服务眼镜
KR102203371B1 (ko) 2018-11-30 2021-01-15 삼성물산 주식회사 놀이공원에서 놀이기구를 가동하는 동안 이미지를 시각화하는 장치, 방법 및 이미지 시각화 장치를 관리하는 장치 및 방법
US11054896B1 (en) * 2019-02-07 2021-07-06 Facebook, Inc. Displaying virtual interaction objects to a user on a reference plane
EP3956858A1 (en) 2019-04-18 2022-02-23 Beckman Coulter, Inc. Securing data of objects in a laboratory environment
JP7476568B2 (ja) * 2019-09-02 2024-05-01 株式会社アイシン 重畳画像表示装置、重畳画像描画方法及びコンピュータプログラム
JP2021119364A (ja) * 2020-01-30 2021-08-12 セイコーエプソン株式会社 表示装置、表示装置の制御方法およびプログラム
WO2021239223A1 (en) * 2020-05-27 2021-12-02 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for controlling display of content
US11087557B1 (en) * 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery
JP7252309B1 (ja) 2021-12-27 2023-04-04 株式会社電通国際情報サービス タスク表示システム
WO2023238264A1 (ja) * 2022-06-08 2023-12-14 マクセル株式会社 情報表示装置およびその表示方法
CN115291729A (zh) * 2022-08-10 2022-11-04 立讯精密科技(南京)有限公司 头戴式设备的提醒方法及头戴式设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785316A (ja) * 1993-08-31 1995-03-31 Sun Microsyst Inc コンピュータによって生成された情報を表示する方法およびコンピュータによって生成されたモデルを表示する装置
JPH11153987A (ja) * 1997-11-19 1999-06-08 Olympus Optical Co Ltd グラフィック表示装置
JP2000184398A (ja) * 1998-10-09 2000-06-30 Sony Corp 仮想画像立体合成装置、仮想画像立体合成方法、ゲ―ム装置及び記録媒体
CN1725828A (zh) * 2004-07-20 2006-01-25 奥林巴斯株式会社 信息显示***
US20060050070A1 (en) * 2004-09-07 2006-03-09 Canon Kabushiki Kaisha Information processing apparatus and method for presenting image combined with virtual image
JP2007316568A (ja) * 2006-05-29 2007-12-06 Fumiaki Murakami 広視野画像表示操作装置
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
JP2013015796A (ja) * 2011-07-06 2013-01-24 Sony Corp 表示制御装置、表示制御方法およびコンピュータプログラム

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS596322B2 (ja) 1978-02-15 1984-02-10 瀬尾高圧工業株式会社 低高圧蒸気の取出し装置
JPS596322A (ja) 1982-06-30 1984-01-13 Hitachi Metals Ltd Ｆｅ−Ｃｒ−Ｃｏ系磁性材料の製造方法
JPS596322U (ja) 1982-07-01 1984-01-17 松下電器産業株式会社 超音波遅延線
US6061064A (en) * 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
US6388638B2 (en) * 1994-10-28 2002-05-14 Canon Kabushiki Kaisha Display apparatus and its control method
US5742264A (en) 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
JPH1093889A (ja) * 1996-09-13 1998-04-10 Minolta Co Ltd 頭部載置型映像表示装置
JPH10341387A (ja) 1997-06-10 1998-12-22 Canon Inc 表示装置
WO2000017848A1 (en) * 1998-09-22 2000-03-30 Vega Vista, Inc. Intuitive control of portable data displays
CN1145014C (zh) * 1998-12-17 2004-04-07 Nec东金株式会社 朝向角检测器
US7132214B2 (en) 2000-09-08 2006-11-07 Shipley Company, L.L.C. Polymers and photoresist compositions for short wavelength imaging
JP2003296757A (ja) * 2002-03-29 2003-10-17 Canon Inc 情報処理方法および装置
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
SE527257C2 (sv) 2004-06-21 2006-01-31 Totalfoersvarets Forskningsins Anordning och metod för att presentera en omvärldsbild
JP4686176B2 (ja) * 2004-11-22 2011-05-18 オリンパス株式会社 画像再生装置
JP2006171311A (ja) * 2004-12-15 2006-06-29 Nec Corp 表示部を備えた電子機器及びその制御方法
US8140197B2 (en) * 2005-02-17 2012-03-20 Lumus Ltd. Personal navigation system
JP4661314B2 (ja) * 2005-04-04 2011-03-30 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP4927631B2 (ja) * 2006-06-27 2012-05-09 パナソニック株式会社 表示装置、その制御方法、プログラム、記録媒体および集積回路
US8786675B2 (en) * 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
JP5083559B2 (ja) 2008-06-02 2012-11-28 カシオ計算機株式会社 画像合成装置、画像合成方法及びプログラム
US9204050B2 (en) 2008-12-25 2015-12-01 Panasonic Intellectual Property Management Co., Ltd. Information displaying apparatus and information displaying method
US9111498B2 (en) * 2010-08-25 2015-08-18 Eastman Kodak Company Head-mounted display with environmental state detection
JP5360021B2 (ja) 2010-08-31 2013-12-04 ブラザー工業株式会社 携帯型情報処理装置、及び携帯型情報処理装置のためのコンピュータプログラム
JP5804571B2 (ja) 2010-09-06 2015-11-04 国立大学法人 東京大学 車両システム
US20120223968A1 (en) * 2010-10-12 2012-09-06 Kazutoshi Kashimoto Display processing device, display method, and program
KR101266198B1 (ko) 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
EP3654146A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
CN103380625A (zh) 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8854282B1 (en) * 2011-09-06 2014-10-07 Google Inc. Measurement method
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US9480539B2 (en) * 2011-11-03 2016-11-01 James Ortlieb Viewing system and viewing method for assisting user in carrying out surgery by identifying a target image
US20150199081A1 (en) * 2011-11-08 2015-07-16 Google Inc. Re-centering a user interface
US8866852B2 (en) * 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US8947323B1 (en) * 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
US9710056B2 (en) * 2012-03-21 2017-07-18 Google Inc. Methods and systems for correlating movement of a device with state changes of the device
US9210413B2 (en) * 2012-05-15 2015-12-08 Imagine Mobile Augmented Reality Ltd System worn by a moving user for fully augmenting reality by anchoring virtual objects
US20130342572A1 (en) * 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
CN104246864B (zh) 2013-02-22 2016-06-29 索尼公司 头戴式显示器和图像显示装置
RU2678481C2 (ru) * 2013-11-05 2019-01-29 Сони Корпорейшн Устройство обработки информации, способ обработки информации и программа
CN105714455B (zh) * 2016-04-15 2018-04-20 苏州市丹纺纺织研发有限公司 一种弹簧式捕纬器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785316A (ja) * 1993-08-31 1995-03-31 Sun Microsyst Inc コンピュータによって生成された情報を表示する方法およびコンピュータによって生成されたモデルを表示する装置
JPH11153987A (ja) * 1997-11-19 1999-06-08 Olympus Optical Co Ltd グラフィック表示装置
JP2000184398A (ja) * 1998-10-09 2000-06-30 Sony Corp 仮想画像立体合成装置、仮想画像立体合成方法、ゲ―ム装置及び記録媒体
CN1725828A (zh) * 2004-07-20 2006-01-25 奥林巴斯株式会社 信息显示***
US20060050070A1 (en) * 2004-09-07 2006-03-09 Canon Kabushiki Kaisha Information processing apparatus and method for presenting image combined with virtual image
JP2007316568A (ja) * 2006-05-29 2007-12-06 Fumiaki Murakami 広視野画像表示操作装置
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
JP2013015796A (ja) * 2011-07-06 2013-01-24 Sony Corp 表示制御装置、表示制御方法およびコンピュータプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303404A (zh) * 2015-06-29 2017-01-04 北京智谷睿拓技术服务有限公司 可视化内容传输控制方法、发送方法、及其装置
CN105183148A (zh) * 2015-08-03 2015-12-23 众景视界（北京）科技有限公司 用于头戴式智能设备的平移检测方法及平移检测装置
CN106412424A (zh) * 2016-09-20 2017-02-15 乐视控股（北京）有限公司 全景视频的视野调整方法及装置
CN109584263A (zh) * 2017-09-25 2019-04-05 京东方科技集团股份有限公司 可穿戴设备的测试方法及***
CN109584263B (zh) * 2017-09-25 2023-11-24 京东方科技集团股份有限公司 可穿戴设备的测试方法及***
CN110082909A (zh) * 2018-01-25 2019-08-02 宏碁股份有限公司 头戴式显示器及其操作方法
CN110082909B (zh) * 2018-01-25 2021-08-17 宏碁股份有限公司 头戴式显示器及其操作方法
CN110888522A (zh) * 2018-09-07 2020-03-17 财团法人工业技术研究院 多重目标物信息显示方法及装置
CN110888522B (zh) * 2018-09-07 2023-06-27 财团法人工业技术研究院 多重目标物信息显示方法及装置
WO2023226252A1 (zh) * 2022-05-23 2023-11-30 网易（杭州）网络有限公司 游戏中的显示方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
US20200103658A1 (en) 2020-04-02
EP2960896A1 (en) 2015-12-30
JP2016153899A (ja) 2016-08-25
CN104221077A (zh) 2014-12-17
JPWO2014128810A1 (ja) 2017-02-02
JP6838591B2 (ja) 2021-03-03
US11885971B2 (en) 2024-01-30
US20150049002A1 (en) 2015-02-19
CN104221077B (zh) 2017-07-14
US20230041942A1 (en) 2023-02-09
CN104246864B (zh) 2016-06-29
US20180143439A1 (en) 2018-05-24
JP6287849B2 (ja) 2018-03-07
WO2014129204A1 (ja) 2014-08-28
JP2019008319A (ja) 2019-01-17
US20150130837A1 (en) 2015-05-14
US20240027774A1 (en) 2024-01-25
EP4099136A1 (en) 2022-12-07
JP7268692B2 (ja) 2023-05-08
US10317681B2 (en) 2019-06-11
JP2021092802A (ja) 2021-06-17
EP2960896B1 (en) 2022-07-20
JP6406293B2 (ja) 2018-10-17
US9910281B2 (en) 2018-03-06
US20190250410A1 (en) 2019-08-15
US9709806B2 (en) 2017-07-18
US10534183B2 (en) 2020-01-14
US11513353B2 (en) 2022-11-29
WO2014128810A1 (ja) 2014-08-28
JPWO2014129204A1 (ja) 2017-02-02
JP5906322B2 (ja) 2016-04-20
EP2960896A4 (en) 2016-10-26

Similar Documents

Publication Publication Date Title
CN104246864A (zh) 头戴式显示器和图像显示装置
CN106662988B (zh) 显示控制装置、显示控制方法及存储介质
WO2016088420A1 (ja) 表示制御装置、表示制御方法およびプログラム
US20140198017A1 (en) Wearable Behavior-Based Vision System
CN104508601A (zh) 具有改良的虚拟显示功能的头戴式电脑
CN108351736B (zh) 可穿戴显示器、图像显示装置和图像显示***
JP2016122277A (ja) コンテンツ提供サーバ、コンテンツ表示端末、コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ表示プログラム
CN206451132U (zh) 一种虚拟现实设备
KR20170023491A (ko) 카메라 및 이를 포함하는 가상 현실 시스템
CN112241662B (zh) 一种检测可行驶区域的方法及装置
US20240069843A1 (en) Extending user interfaces of mobile apps to ar eyewear

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant