CN108351689A - 使用全息显示***的交互方法和*** - Google Patents

使用全息显示***的交互方法和*** Download PDF

Info

Publication number
CN108351689A
CN108351689A CN201680062153.6A CN201680062153A CN108351689A CN 108351689 A CN108351689 A CN 108351689A CN 201680062153 A CN201680062153 A CN 201680062153A CN 108351689 A CN108351689 A CN 108351689A
Authority
CN
China
Prior art keywords
observer
predefined region
detection
hologram image
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680062153.6A
Other languages
English (en)
Other versions
CN108351689B (zh
Inventor
E·韦斯特纽斯
J·古斯塔夫森
L·马腾森
马丁·艾克
马丁·格雷普
O·索恩
A·甘特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN108351689A publication Critical patent/CN108351689A/zh
Application granted granted Critical
Publication of CN108351689B publication Critical patent/CN108351689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/068—Adjustment of display parameters for control of viewing angle adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Holo Graphy (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用于显示处于预定义区域中的对象的全息图像的方法***包括：定位单元，该定位单元被配置用于检测在预定义区域内的至少一个观察者的位置；传感器，该传感器被配置用于检测在预定义区域内的环境条件；处理器，该处理器被配置用于收集包括所检测的观察者的位置和所检测的环境条件的数据，并且基于所收集的数据计算用于显示全息图像的位置。

Description

使用全息显示***的交互方法和***
技术领域
本公开属于使用全息显示***的交互领域。具体地，本公开公开了通过优化全息图像在预定义区域内的放置使用全息显示***的交互方法和***。
背景技术
智能眼镜、护目镜(***s)或其它头戴式显示器(HMD)常用于与虚拟对象(诸如3D对象、全息对象等)交互。
已知光学透视HDM(OHMD)，并且OHMD允许用户看到彼此并通常同时观察现实世界与虚拟对象。另外，光学透视HMD使用户容易地使用正常面对面通信，并且提供长距离协同交互。
光学透视HMD***的一个示例是微软公司的全息透镜(HoloLens)***。全息透镜***包括设置有无线自含式计算机的智能眼镜头戴耳机。耳机包括具有有关硬件的传感器，包括深度传感器、照片/视频相机以及全息处理单元。面罩件是一对透明组合镜片，其中，所投影图像被显示在下半部分中。传感器类型是能量高效深度相机、麦克风阵列、摄影摄像机以及惯性测量单元(包括加速计、陀螺仪以及磁力计)。
使用以上所提及的显示***的负面影响是找到虚拟对象的最佳放置(即，当存在多于一个观察者时)。
由此，需要在与若干观察者交互期间优化在现实世界中在哪里和如何放置虚拟对象。
发明内容
考虑到以上描述，然后本发明的一些实施方式的一个方面是提供用于在地图上标出预定义区域和人以便优化虚拟对象的定位的方法和***，这设法单个地或以任意组合缓解、减轻或消除以上所识别的领域中的缺陷和缺点中的一个或更多个。
本发明的一个方面涉及一种用于显示处于预定义区域中的对象的全息图像的方法。该方法包括以下步骤：检测存在于所述预定义区域中的至少一个观察者的位置；检测所述预定义区域内的环境条件；基于所检测的所述至少一个观察者的所述位置和所检测的所述环境条件确定用于显示所述对象的所述全息图像的位置；以及在所确定的所述位置处显示所述对象的所述全息图像。
本发明的另一个方面涉及一种用于显示处于预定义区域中的对象的全息图像的***。该***包括：至少一个定位单元，该至少一个定位单元被配置用于检测在所述预定义区域内的至少一个观察者的位置；至少一个传感器，该至少一个传感器被配置用于检测在所述预定义区域内的环境条件；处理单元。该处理单元被配置用于：收集包括所检测的观察者的所述位置和所检测的环境条件的数据；并且基于所收集的所述数据计算用于显示所述全息图像的位置。该***还包括显示单元，该显示单元被指派给在所述预定义区域内的每个观察者，其中，所述显示单元被配置用于在所计算的所述位置处显示所述对象的所述全息图像。
以上所提及的实施方式的特征可以以任意组合来组合。
本发明的一些实施方式提供一种用于在已优化位置处显示对象的全息图像的方法。本发明的一些实施方式的优点是它们可以允许同时与协作者/观察者以及全息图像交互。一个优点是在将虚拟对象放置在房间中时，考虑周围环境，诸如房间中的光照条件和不同对象的位置。
附图说明
前述从如附图中例示的示例实施方式的以下更具体的描述清楚，附图中，相同附图标记贯穿不同附图是指相同部件。附图不是必须等比例绘制，而是把重点放在例示示例实施方式上。
图1是例示了所提出方法的流程图。
图2例示了所提出***的示例。
图3例示了OHMD的示例。
应补充的是，多个方面/实施方式的以下描述仅是为了例示目的，并且不应被解释为将本公开唯一地限于这些实施方式/方面。
具体实施方式
下文中将参照附图更充分地描述本公开的多个方面。然而，这里所公开的***、装置以及方法可以以许多不同形式来实现，并且不应被解释为限于这里阐述的方面。附图中的相同附图标记自始至终是指相同元件。
这里所用的术语仅用于描述本公开的特定方面的目的，并且不旨在限制本发明。如这里所用的，单数形式“一”和“一个”旨在也包括复数形式，除非上下文另外清楚指示。
除非另外限定，否则这里所用的所有术语(包括科技术语)具有与由本公开所属的领域中的一个普通技术人员通常理解的相同含义。还将理解，这里所用的术语应被解释为具有与它们在该规范和相关领域中的语境中的含义一致的含义，并且将不在理想化或过于正式的意义上解释，除非这里明确地如此定义。
将使用电子装置(诸如包括头戴式显示器HMD的移动通信装置)来例示本发明的实施方式。这种装置的示例比如可以为任意类型的可穿戴设备，这些可穿戴设备为眼镜、面罩、泳镜、隐形眼镜等的形式。为了清楚和简单起见，该规范中所概述的实施方式仅用可穿戴显示装置来例示并与其相关。
术语可穿戴装置和可穿戴设备可互换地使用，并且是指被戴在用户身体上的某处的无线电子装置。可穿戴装置的示例是手表、腕带、耳机、头带、项链、眼镜、护目镜等。
在光学头戴式显示器OHDM的用户发起共享时，***需要检测在同一房间中是否存在其它用户、他们在房间中位于哪里以及他们看向哪一个方向、眼睛位置，以便提供观察者、用户、协作者等之间的更佳协同交互。检测其它协作者及其大致位置可以用已知技术(诸如室内定位和WIFI定位)来实现。然而，这些技术不考虑用户看向哪一个方向和是否有某物挡道。作为示例，如果所有协作者未聚集在桌子周围，则他们应看到在他们前面的共享虚拟对象。相反，如果所有协作者看向中心，则可以计算放置虚拟对象的最佳区域。但凭借诸如Wi-Fi和室内定位的已知技术，不可能检测例如是植物还是光墙挡道。
为了使虚拟对象精确地显示在现实世界上的已优化位置上，需要跟踪用户的视点。为了给出最佳用户体验，需要考虑的其它问题是虚拟对象的尺寸和光照条件。本公开提供了用于跟踪用户的视点、眼睛位置以及附近对象的登记的方法和***。
根据一些方面，如可以在图1中看到的，本公开提供了一种用于显示虚拟对象(诸如对象的3D图像或全息图像100)的在全息***中执行的方法。根据一些方面，如可以在图2中看到的，本公开提供了一种用于显示处于预定义区域300中的对象的虚拟图像100的***。如可以在图2和图3中看到的，全息***包括至少一个HMD，该至少一个HMD包括通信电路424和处理电路425。
通信网络可以为任意无线通信网络，包括但不限于(BT)、无线局域网(WLAN)、体域网(BAN)、无线体域网(WBAN)、广域网(WAN)、蜂窝网络、蜂窝连接、光通信网络、超声通信网络等。
图1是描绘可以由图2的***采取的示例操作的流程图。
应理解，图2包括用实线边界例示的一些操作和用虚线边界例示的一些操作。在实线边界中包括的操作是被包括在最广泛示例实施方式中的操作。被包括在虚线中的操作是可以被包括在除了更广示例实施方式的操作之外可以采取的另外操作中或是另外操作的一部分或是另外操作的示例实施方式。应理解，操作不需要按顺序来执行。此外，应理解，不是所有操作都需要被执行。
根据一些方面，该方法包括以下步骤：检测S10存在于预定义区域300中的至少一个观察者200的位置。预定义区域可以为房间、房间的一部分、会议室、外部的预定义区域等。在某一方面中，检测位置的步骤S10还包括以下步骤：检测S11存在于预定义区域300中的一个或更多个对象(诸如椅子、桌子、花、树等)的位置。在一些方面中，该***包括至少一个定位单元421，该至少一个定位单元被配置用于检测在预定义区域内的至少一个观察者200的位置。在一些方面中，定位单元421还被配置用于检测S15每个观察者200的眼睛位置。在一些方面中，定位单元421还被配置用于检测存在于预定义区域300中的一个或更多个对象的位置。定位单元421可以为相机、雷达、探测单元、GPS单元、WiFi定位单元等。在某一方面中，定位单元421被包括在至少一个观察者200的通信装置(诸如移动电话、智能眼镜等)中。
根据一些方面，该方法还包括以下步骤：共享S00虚拟对象100的显示。在一个实施方式中，第一观察者200由于安全原因在显示虚拟对象100之前向至少一个其它观察者200共享观察的权利。
该方法还包括以下步骤：检测S20预定义区域300内的环境条件。环境条件可以为房间内的光照条件(诸如不同光源)、天气条件(诸如穿过窗户的阳光照耀、光的方向、光的角度)。在某一方面中，检测S20环境条件的步骤还包括检测预定义区域300内的光照条件。在某一方面中，检测光照条件的步骤还包括检测一个或更多个光源310的位置和来自一个或更多个光源的光的方向。在一些方面中，该***包括至少一个传感器422，该至少一个传感器被配置用于检测在预定义区域300内的环境条件。在一些方面中，至少一个传感器还被配置用于检测在预定义区域300内的光照条件。在一些方面中，至少一个传感器还被配置用于检测一个或更多个光源的位置和来自一个或更多个光源的光的方向。在一些方面中，至少一个传感器422被包括在至少一个观察者200的通信装置420中。
该方法包括以下步骤：基于所检测的至少一个观察者200的位置和所检测的环境条件确定S30用于显示对象100的全息图像的位置。在一些方面中，确定位置的步骤还包括以下步骤：检测S15每个观察者200的眼睛位置；基于所检测的眼睛位置确定S31存在于预定义区域300中的每个观察者200的视场210；以及基于所确定的视场210计算S32用于显示对象的全息图像的位置。在某一方面中，视场210是跨越90度至150度之间(优选跨越120度)的三角形。在某一方面中，***包括处理单元425(即，处理器)，该处理单元被配置用于：收集包括所检测的观察者的位置和所检测的环境条件的数据；并且基于所收集的数据计算用于显示全息图像的位置。在某一方面中，处理器425还被配置用于基于观察者的所检测眼睛位置确定S31存在于预定义区域300中的每个观察者200的视场210；并且基于所确定的视场210计算S32位置。在某一方面中，处理器425被包括在每个观察者200的通信装置420中。在某一方面中，处理器425被包括在外部服务器或远程服务器(诸如云服务器500)中。
该方法包括以下步骤：在所确定的位置处显示S40对象100的全息图像。在某一方面中，该***包括显示单元423，该显示单元被指派给预定义区域300内的每个观察者，其中，显示单元被配置用于在所计算的位置处显示对象的全息图像。显示单元可以是一对护目镜、眼镜、隐形眼镜等中的显示器。
在一个实施方式中，如图2所示，设置在每个参与者的OHMD中的深度相机用于在地图上标出房间、房间中的对象以及人，以便优化虚拟对象的放置。每个三角形与每个参与者的跨越深度相机的120度的视场对应。最大覆盖区域是放置全息图的潜在点。
在一个实施方式中，根据光源310调节用于校准或交互的已优化位置。如果如图2所示存在来自侧面的强光点，则相应地调节虚拟对象。因为在地图上标出房间的大小和每个协作者/观察者的位置，还可以优化虚拟对象的大小。已优化位置是在从虚拟的、用户体验(UX)的、人类工程学或交互观点对于所有观察者最佳的视图处显示对象的全息图像的特征的位置。
因为参与者可以看到彼此并同时看到现实世界与虚拟对象，所以该解决方案使得参与者使用语音、手势、注视以及非语言提示来尝试与虚拟对象通信以及交互。
已经提出这里所提供的示例实施方式的描述用于例示的目的。描述不旨在穷尽或将示例实施方式限于所公开的精确形式，并且修改和变更鉴于上述示教是可以的，或者可以从所提供实施方式的各种另选方案的实践来获取。选择并描述了这里所讨论的示例以最好地说明各种示例实施方式的原理和性质及其实际应用，以使本领域技术人员能够以各种方式使用示例实施方式，以及适合于所设想的具体用途的各种修改。在方法、设备、模块、***以及计算机程序产品的所有可能组合中，可以组合这里所描述的实施方式的特征。应理解，这里所提出的示例实施方式可以以与彼此的任意组合来实践。
应注意，词语“包括”不必须排除除了所列元件或步骤之外的其它元件或步骤的存在，并且在元件之前的词语“一”或“一个”不排除多个这种元件的存在。还应注意，任意附图标记不限制权利要求的范围，示例实施方式可以至少部分借助于硬件和软件这两者来实现，并且若干“工具”、“单元”或“装置”可以由同一项硬件来表示。
这里所描述的各种示例实施方式在方法步骤或处理的一般语境下描述，这些方法步骤或处理根据一些方面可以由包括计算机可读代码的计算机程序来实现，该计算机可读代码在电子装置上运行时，使得电子装置执行根据上述内容的方法。在计算机可读介质中具体实现的计算机程序包括由联网环境中的计算机执行的计算机可执行指令，诸如程序代码。计算机可读介质可以包括可移动和不可移动存储装置23，这些可移动和不可移动存储装置包括但不限于：只读存储器ROM、随机存取存储器RAM、光盘CD、数字通用光盘DVD等。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令、关联数据结构以及程序模块表示用于执行这里所公开的方法的步骤的程序代码的示例。这种可执行指令或关联数据结构的特定顺序表示用于实现在这种步骤或处理中描述的功能的对应动作的示例。
在附图和规范中，已经公开了示例性实施方式。然而，可以对这些实施方式进行许多变更和修改。因此，虽然采用了具体术语，但它们仅在一般且描述的意义上使用，并且不用于限制目的，实施方式的范围由以下权利要求来限定。
条款
条款1.一种用于显示处于预定义区域中的对象的全息图像的方法，该方法包括以下步骤：
检测存在于所述预定义区域中的至少一个观察者的位置；
检测所述预定义区域内的环境条件；
基于所检测的所述至少一个观察者的所述位置和所检测的所述环境条件确定用于显示所述对象(100)的所述全息图像的位置；以及
在所确定的所述位置处显示所述对象的所述全息图像。
条款2.根据条款1的方法，其中，确定位置还包括：
检测每个观察者的眼睛位置；
基于所检测的所述眼睛位置确定存在于所述区域中的每个观察者的视场；
基于所确定的视场计算用于显示所述对象的所述全息图像的位置。
条款3.根据条款2的方法，其中，视场是跨越90度至150度之间的三角形。
条款4.根据条款1的方法，其中，检测位置还包括检测存在于所述预定义区域中的一个或更多个对象的位置。
条款5.根据条款1的方法，其中，检测环境条件还包括检测所述预定义区域中的光照条件。
条款6.根据条款5的方法，其中，检测光照条件还包括检测一个或更多个光源的位置和来自所述一个或更多个光源的光的方向。
条款7.一种用于显示处于预定义区域中的对象的全息图像的***，该***包括：
至少一个定位单元，该至少一个定位单元被配置用于检测在所述预定义区域内的至少一个观察者的位置；
至少一个传感器，该至少一个传感器被配置用于检测在所述预定义区域内的环境条件；
处理单元，该处理单元被配置用于：
i.收集包括所检测的观察者的所述位置和所检测的环境条件的数据；以及
ii.基于所收集的所述数据计算用于显示所述全息图像的位置；
显示单元，该显示单元被指派给在所述预定义区域内的每个观察者，其中，所述显示单元被配置用于在所计算的所述位置处显示所述对象的所述全息图像。
条款8.根据条款7的***，其中，所述定位单元还被配置用于：
检测每个观察者的眼睛位置；
其中，所述处理单元被配置用于：
基于所检测的所述眼睛位置确定存在于所述区域中的每个观察者的视场；以及
基于所确定的所述视场计算所述位置。
条款9.根据条款7的***，其中，所述定位单元还被配置用于检测存在于所述预定义区域中的一个或更多个对象的位置。
条款10.根据条款7的***，其中，所述至少一个传感器还被配置用于检测在所述预定义区域中的光照条件。
条款11.根据条款10的***，其中，所述至少一个传感器还被配置用于检测一个或更多个光源的位置和来自所述一个或更多个光源的光的方向。
条款12.根据条款7的***，其中，所述定位单元被包括在至少一个观察者的通信装置中。
条款13.根据条款7的***，其中，所述至少一个传感器被包括在至少一个观察者的通信装置中。
条款14.根据条款7的***，其中，所述处理单元被包括在每个观察者的通信装置中。
条款15.根据条款7的***，其中，所述处理单元被包括在云服务中。

Claims (15)

1.一种用于显示处于预定义区域(300)中的对象(100)的全息图像的方法，所述方法包括以下步骤：
-检测(S10)存在于所述预定义区域(300)中的至少一个观察者(200)的位置；
-检测(S20)所述预定义区域(300)内的环境条件；
-基于所检测的所述至少一个观察者的所述位置和所检测的所述环境条件确定(S30)用于显示所述对象(100)的所述全息图像的位置；以及
-在所确定的所述位置处显示(S40)所述对象的所述全息图像。
2.根据权利要求1所述的方法，其中，确定位置(S30)还包括：
-检测(S15)每个观察者(200)的眼睛位置；
-基于所检测的所述眼睛位置确定(S31)存在于所述区域(300)中的每个观察者(200)的视场(210)；
-基于所确定的视场(210)计算(S32)用于显示所述对象的所述全息图像的所述位置。
3.根据权利要求2所述的方法，其中，所述视场(210)是跨越90度至150度之间的三角形。
4.根据权利要求1所述的方法，其中，检测(S10)位置还包括：检测存在于所述预定义区域(300)中的一个或更多个对象的所述位置(S11)。
5.根据权利要求1所述的方法，其中，检测(S20)环境条件还包括：检测所述预定义区域(300)中的光照条件。
6.根据权利要求5所述的方法，其中，检测所述光照条件还包括：检测一个或更多个光源(310)的位置和来自所述一个或更多个光源(310)的光的方向。
7.一种用于显示处于预定义区域(300)中的对象(100)的全息图像的***，所述***包括：
-至少一个定位单元(421)，所述至少一个定位单元被配置用于检测在所述预定义区域(300)内的至少一个观察者(200)的位置；
-至少一个传感器(422)，所述至少一个传感器被配置用于检测在所述预定义区域(300)内的所述环境条件；
-处理单元(425)，所述处理单元被配置用于：
●收集包括所检测的观察者的所述位置和所检测的环境条件的数据；以及
●基于所收集的所述数据计算用于显示所述全息图像的位置；
-显示单元(423)，所述显示单元被指派给在所述预定义区域(300)内的每个观察者，其中，所述显示单元被配置用于在所计算的所述位置处显示所述对象的所述全息图像。
8.根据权利要求7所述的***，其中，所述定位单元(421)还被配置用于：
-检测(S15)每个观察者(200)的眼睛位置；
-其中，所述处理单元(425)被配置用于：
-基于所检测的所述眼睛位置确定(S31)存在于所述区域(300)中的每个观察者(200)的视场(210)；以及
-基于所确定的所述视场(210)计算(S32)所述位置。
9.根据权利要求7所述的***，其中，所述定位单元(421)还被配置用于检测存在于所述预定义区域(300)中的一个或更多个对象的所述位置。
10.根据权利要求7所述的***，其中，所述至少一个传感器(422)还被配置用于检测在所述预定义区域(300)中的所述光照条件。
11.根据权利要求10所述的***，其中，所述至少一个传感器还被配置用于检测一个或更多个光源(310)的位置和来自所述一个或更多个光源的光的方向。
12.根据权利要求7所述的***，其中，所述定位单元(421)被包括在至少一个观察者(200)的通信装置(420)中。
13.根据权利要求7所述的***，其中，所述至少一个传感器(422)被包括在至少一个观察者(200)的通信装置(420)中。
14.根据权利要求7所述的***，其中，所述处理单元(425)被包括在每个观察者(200)的通信装置(420)中。
15.根据权利要求7所述的***，其中，所述处理单元(425)被包括在云服务器(500)中。
CN201680062153.6A 2015-10-30 2016-04-18 用于显示处于预定义区域中的对象的全息图像的方法和*** Active CN108351689B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/927,571 2015-10-30
US14/927,571 US10073520B2 (en) 2015-10-30 2015-10-30 Method and system for interaction using holographic display system
PCT/EP2016/058583 WO2017071829A1 (en) 2015-10-30 2016-04-18 Method and system for interaction using holographic display system

Publications (2)

Publication Number Publication Date
CN108351689A true CN108351689A (zh) 2018-07-31
CN108351689B CN108351689B (zh) 2021-05-11

Family

ID=55967208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680062153.6A Active CN108351689B (zh) 2015-10-30 2016-04-18 用于显示处于预定义区域中的对象的全息图像的方法和***

Country Status (4)

Country Link
US (1) US10073520B2 (zh)
EP (1) EP3368962B1 (zh)
CN (1) CN108351689B (zh)
WO (1) WO2017071829A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685887A (zh) * 2018-11-30 2019-04-26 机械工业第六设计研究院有限公司 一种基于HoloLens的AR虚实精确遮挡方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373319B2 (en) 2016-06-13 2019-08-06 International Business Machines Corporation Object tracking with a holographic projection
US10168788B2 (en) 2016-12-20 2019-01-01 Getgo, Inc. Augmented reality user interface
CN107680165B (zh) * 2017-09-25 2021-01-26 中国电子科技集团公司第二十八研究所 基于HoloLens的电脑操作台全息展现与自然交互应用方法
CN111475130A (zh) * 2020-03-27 2020-07-31 深圳光启超材料技术有限公司 轨迹信息的显示方法、头戴设备、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625299B1 (en) * 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
CN101855600A (zh) * 2008-12-25 2010-10-06 深圳市泛彩溢实业有限公司 全息投影实时三维显示***及方法
US20130293939A1 (en) * 2008-07-10 2013-11-07 Real View Imaging Ltd. Viewer tracking in a projection system
US20140049559A1 (en) * 2012-08-17 2014-02-20 Rod G. Fleck Mixed reality holographic object development
US20140327750A1 (en) * 2013-05-01 2014-11-06 Nvidia Corporation System, method, and computer program product for displaying a scene as a light field
CN104603674A (zh) * 2012-09-12 2015-05-06 索尼公司 图像显示装置
CN104885144A (zh) * 2013-01-10 2015-09-02 微软技术许可有限责任公司 混合现实显示调节

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040070565A1 (en) * 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
US7927216B2 (en) * 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US8160747B1 (en) * 2008-10-24 2012-04-17 Anybots, Inc. Remotely controlled self-balancing robot including kinematic image stabilization
KR101808129B1 (ko) * 2014-10-14 2017-12-13 한국전자통신연구원 디지털 홀로그래픽 테이블탑형 디스플레이 장치 및 그 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625299B1 (en) * 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
US20130293939A1 (en) * 2008-07-10 2013-11-07 Real View Imaging Ltd. Viewer tracking in a projection system
CN101855600A (zh) * 2008-12-25 2010-10-06 深圳市泛彩溢实业有限公司 全息投影实时三维显示***及方法
US20140049559A1 (en) * 2012-08-17 2014-02-20 Rod G. Fleck Mixed reality holographic object development
CN104603674A (zh) * 2012-09-12 2015-05-06 索尼公司 图像显示装置
CN104885144A (zh) * 2013-01-10 2015-09-02 微软技术许可有限责任公司 混合现实显示调节
US20140327750A1 (en) * 2013-05-01 2014-11-06 Nvidia Corporation System, method, and computer program product for displaying a scene as a light field

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OHARA RYUICHI;KURITA MASANOBU;YONEYAMA TAKUO;OKUYAMA FUMIO;SAKAM: ""Response of accommodation and vergence to electro-holographic images"", 《APPLIED OPTICS》 *
韩冰: ""计算全息与三维显示技术研究"", 《中国优秀硕士学位论文全文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685887A (zh) * 2018-11-30 2019-04-26 机械工业第六设计研究院有限公司 一种基于HoloLens的AR虚实精确遮挡方法

Also Published As

Publication number Publication date
WO2017071829A1 (en) 2017-05-04
US10073520B2 (en) 2018-09-11
US20170123490A1 (en) 2017-05-04
EP3368962A1 (en) 2018-09-05
EP3368962B1 (en) 2019-10-23
CN108351689B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
EP3165939B1 (en) Dynamically created and updated indoor positioning map
US11138472B2 (en) Localization for mobile devices
CN109313500B (zh) 纤细形状因子的无源光学和惯性跟踪
AU2014281726B2 (en) Virtual object orientation and visualization
CN204631355U (zh) 透明式近眼显示装置
JP6095763B2 (ja) ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法
US9696798B2 (en) Eye gaze direction indicator
EP3469458A1 (en) Six dof mixed reality input by fusing inertial handheld controller with hand tracking
CN108351689A (zh) 使用全息显示***的交互方法和***
US9123272B1 (en) Realistic image lighting and shading
CN111602082B (zh) 用于包括传感器集成电路的头戴式显示器的位置跟踪***
CN104995583A (zh) 用于混合现实环境的直接交互***
US20150193977A1 (en) Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces
CA3055143A1 (en) Display system with video see-through
US10764558B2 (en) Reduced bandwidth stereo distortion correction for fisheye lenses of head-mounted displays
US10621789B1 (en) Tracking location and resolving drift in augmented reality head mounted displays with downward projection
JP2020201723A (ja) 画像処理装置、ウェアラブルデバイス、画像処理プログラム、画像処理方法、オブジェクト認識装置、オブジェクト認識プログラムおよびオブジェクト認識方法
TWM506295U (zh) 透明式近眼顯示裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant