CN110168618A - 增强现实控制***和方法 - Google Patents

增强现实控制***和方法 Download PDF

Info

Publication number
CN110168618A
CN110168618A CN201880006376.XA CN201880006376A CN110168618A CN 110168618 A CN110168618 A CN 110168618A CN 201880006376 A CN201880006376 A CN 201880006376A CN 110168618 A CN110168618 A CN 110168618A
Authority
CN
China
Prior art keywords
tagged object
tagged
processor
display equipment
superimposed layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880006376.XA
Other languages
English (en)
Other versions
CN110168618B (zh
Inventor
夏兰·罗克福德
菲利普·哈斯科特
李晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110168618A publication Critical patent/CN110168618A/zh
Application granted granted Critical
Publication of CN110168618B publication Critical patent/CN110168618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)

Abstract

一种显示设备、方法和计算机可读介质，用于控制AR内容以产生虚拟对象是真实的感觉。显示设备包括显示器、存储器和处理器。处理器耦合到存储器和显示器。处理器被配置为将物理对象识别为标记对象。处理器还被配置为在显示器上显示标记对象上的叠加层。处理器还被配置为跟踪标记对象的运动。处理器还被配置为基于标记对象的运动来调整标记对象上的叠加层。

Description

增强现实控制***和方法
技术领域
本公开总体上涉及增强现实。更具体地，实施例涉及一种用于在物理对象上提供叠加层的方法和装置。
背景技术
增强现实(augmented reality，AR)提供内容来增强现实环境中的体验。AR在屏幕或镜头上显示与用户正在观看的周围环境相对应、但不作为显示器外部的物理体现存在的内容。因为真实世界中不存在AR内容，所以很难与AR内容进行交互。
发明内容
问题解决方案
本公开提供了一种用于控制AR内容以产生虚拟对象是真实的感觉的方法和装置。
在一个实施例中，显示设备包括显示器、存储器；以及耦合到存储器和显示器的处理器。处理器被配置为将物理对象识别为标记对象，在显示器上显示标记对象上的叠加层，跟踪标记对象的运动，并基于标记对象的运动调整标记对象上的叠加层。
发明的有益效果
本公开提供了一种用于控制AR内容以产生虚拟对象是真实的感觉的方法和装置。
附图说明
为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中：
图1示出了根据本公开实施例的示例通信***；
图2示出了根据本公开实施例的示例电子设备；
图3A和图3B示出了根据本公开实施例的示例标记对象；
图4示出了根据本公开实施例的标记对象上的示例叠加层；
图5示出了根据本公开实施例的示例非静态叠加层；
图6示出了根据本公开实施例的多个标记对象的示例交互；
图7A和图7B示出了根据本公开实施例的来自标记对象的示例投影；
图8示出了根据本公开的实施例描绘边界的示例多个标记对象；
图9示出了根据本公开实施例的专用标记对象的示例；
图10示出了根据本公开实施例的哑标记对象的示例；
图11示出了根据本公开实施例的在AR环境中的遮挡校正的示例；
图12示出了根据本公开实施例的对象的AR操控的示例；
图13示出了根据本公开实施例的在AR环境中的注视检测的示例；
图14示出了根据本公开实施例的用于控制AR内容以产生虚拟对象是真实的感觉的示例性过程；
图15示出了根据本公开实施例的注视检测的示例性过程；
图16示出了根据本公开实施例的标记对象与电子设备交互的示例性过程；
图17示出了根据本公开实施例的用于根据被跟踪注视的焦点提供附加信息的示例性过程；和
图18示出了根据本公开实施例的用于注视跟踪和呈现补充上下文内容的示例性过程。
具体实施方式
本公开提供了一种用于控制AR内容以产生虚拟对象是真实的感觉的方法和装置。
在一个实施例中，显示设备包括显示器、存储器；以及耦合到存储器和显示器的处理器。处理器被配置为将物理对象识别为标记对象，在显示器上显示标记对象上的叠加层，跟踪标记对象的运动，并基于标记对象的运动调整标记对象上的叠加层。
在一个实施例中，处理器还被配置为通过检测由物理对象广播的至少一个属性、通过将物理对象与显示设备无线连接、通过检测显示设备上的输入、或者通过将物理对象的形状识别为与应用相关的特定形状来将该标记对象识别为标记对象。
在一个实施例中，处理器还被配置为基于由物理对象广播的至少一个属性来确定虚拟内容，并且其中虚拟内容包括标记对象上的叠加层。
在一个实施例中，处理器还被配置为检测与标记对象相关的手势或标记对象的特定运动，并执行对应于手势或特定运动的功能。
在一个实施例中，处理器还被配置为如果手势或标记对象的特定运动与第二标记对象相关，则对第二标记对象执行该功能。
在一个实施例中，处理器还被配置为当第二标记对象物理上接近该标记对象时，将该标记对象结合到第二标记对象以创建组合标记对象。
在一个实施例中，显示设备还包括收发器，用于发送和接收信号，并且处理器还被配置为接收由物理对象的传感器检测到的输入，并且执行对应于接收到的输入的功能。
在一个实施例中，处理器还被配置为重新配置与障碍物重叠的叠加层的一部分。
在一个实施例中，处理器还被配置为确定显示设备的用户的每只眼睛的方向，基于每只眼睛的方向的组合识别标记对象上的焦点，跟踪标记对象上的焦点；以及在显示器上显示与在所识别的焦点上显示的内容相关的信息。
在一个实施例中，处理器还被配置为基于焦点移动的暂停来确定是否提供信息。
在一个实施例中，一种用于管理显示设备的方法包括将物理对象识别为标记对象，在显示设备的显示器上显示标记对象上的叠加层，跟踪标记对象的运动，以及基于标记对象的运动调整标记对象上的叠加层。
在一个实施例中，该方法还包括通过检测由物理对象广播的至少一个属性、通过将物理对象与显示设备无线连接、通过检测显示设备上的输入、或者通过将物理对象的形状识别为与应用相关的特定形状来将该标记对象识别为标记对象。
在一个实施例中，该方法还包括基于由物理对象广播的至少一个属性来确定虚拟内容，并且虚拟内容包括标记对象上的叠加层。
在一个实施例中，一种非暂时性计算机可读介质，存储使计算机执行显示设备管理过程的程序，该过程包括将物理对象识别为标记对象，在显示设备的显示器上显示标记对象上的叠加层，跟踪标记对象的运动，以及基于标记对象的运动调整标记对象上的叠加层。
在一个实施例中，该过程还包括通过检测由物理对象广播的至少一个属性、通过将物理对象与显示设备无线连接、通过检测显示设备上的输入、或者通过将物理对象的形状识别为与应用相关的特定形状来将该标记对象识别为标记对象。
在第一实施例中，提供头戴式设备(HMD)用于控制AR内容，以产生虚拟对象是真实的感觉。HMD包括照相机、屏幕、存储器和处理器。处理器耦合到存储器、屏幕和照相机。处理器被配置为将图像数据中的物理对象识别为标记对象。处理器还被配置为在屏幕上显示标记对象上的叠加层。处理器还被配置为跟踪标记对象的运动。处理器还被配置为基于标记对象的运动来调整屏幕上的叠加层。
在第二实施例中，提供一种用于控制AR内容以产生虚拟对象是真实的感觉的方法。该方法包括将图像数据中的物理对象识别为标记对象。该方法还包括在屏幕上显示标记对象上的叠加层。该方法还包括跟踪标记对象的运动。该方法还包括基于标记对象的运动来调整屏幕上的叠加层。
在第三实施例中，提供一种具体实施计算机程序的非暂时性介质，用于控制AR内容，以产生虚拟对象是真实的感觉。当由至少一个处理器执行时，该程序代码使得处理器将图像数据中的物理对象识别为标记对象。当由至少一个处理器执行时，该程序代码进一步使得处理器在屏幕上显示标记对象上的叠加层。当由至少一个处理器执行时，该程序代码进一步使得处理器跟踪标记对象的运动。当由至少一个处理器执行时，该程序代码还使得处理器基于标记对象的运动来调整屏幕上的叠加层。
在第四实施例中，提供一种头戴式设备(HMD)用于注视检测。HMD包括照相机、屏幕、存储器和处理器。处理器耦合到存储器、屏幕和照相机。处理器被配置为确定佩戴HMD的用户的每只眼睛的方向。处理器还被配置为基于每只眼睛的方向的组合来识别标记对象上的焦点。处理器还被配置为跟踪标记对象上的焦点。处理器还被配置为在HMD的屏幕上显示与所识别的焦点处的内容相关的信息。
从以下附图、描述和权利要求中，其他技术特征对于本领域技术人员来说可以是显而易见的。
在进行下面的详细描述之前，阐述本专利文件通篇使用的某些单词和短语的定义可能是有利的。术语“耦合”及其派生词指两个或多个元件之间的任何直接或间接通信，无论这些元件是否彼此物理接触。术语“发送”、“接收”和“通信”及其派生词包括直接和间接通信。术语“包括”和“包含”及其派生词是指包括但不限于。术语“或”是包含性的，意思是和/或。短语“与……相关联”及其派生词是指包含、包含在……内、与……互连、含有、容纳在……中、连接到……或与……连接、耦合到……或与……耦合、与……通信、与……配合、交织、并列、接近、结合到……或与……结合、具有……、具有……的性质、与……有关系等。术语“控制器”是指控制至少一个操作的任何设备、***或其一部分。这种控制器可以用硬件或者硬件和软件和/或固件的组合来实现。与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是本地的还是远程的。短语“至少一个”，当与项目列表一起使用时，意味着可以使用一个或多个所列项目的不同组合，并且列表中可能只需要一个项目。例如，“A、B和C中的至少一个”包括以下任意组合：A、B、C、A和B、A和C、B和C以及A和B和C。
此外，下面描述的各种功能可以由一个或多个计算机程序来实现或支持，每个计算机程序由计算机可读程序代码形成并在计算机可读介质中具体实施。术语“应用”和“程序”是指一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其适于在合适的计算机可读程序代码中实现的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，例如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括发送暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括数据可以被永久存储的介质和数据可以被存储并随后被重写的介质，例如可重写光盘或可擦除存储器设备。
本专利文件通篇提供了其他特定单词和短语的定义。本领域普通技术人员应该理解，在许多情况下，即使不是大多数情况下，这种定义也适用于这种定义的单词和短语的先前和将来的使用。
发明模式
下面讨论的图1至图18以及在本专利文件中用于描述本公开的原理的实施例仅是示例性的，不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何适当布置的无线通信***中实现。
图1示出了示例通信***100，其中可以实现本公开的实施例。图1所示的通信***100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用通信***100的其他实施例。
如图1所示，***100包括网络102，其便于***100中各种组件之间的通信。例如，网络102可以在网络地址之间传送互联网协议(IP)分组、帧中继帧或其他信息。网络102可以包括一个或多个局域网(LAN)；城域网(MAN)；广域网(WAN)；全球网络(如互联网)的全部或一部分；或者一个或多个位置的任何其他通信***。
网络102便于各种服务器103和104与各种电子设备106至116之间的通信。每个服务器104包括能够为一个或多个电子设备提供计算服务的任何合适的计算或处理设备。每个服务器104可以例如包括一个或多个处理器、一个或多个存储指令和数据的存储器、以及一个或多个便于通过网络102通信的网络接口。
每个电子设备106至116代表通过网络102与至少一个服务器或其他计算设备交互的任何合适的计算或通信设备。在该示例中，电子设备106至116包括例如台式计算机106、移动电话或智能手机108、个人数字助理(PDA)110、笔记本电脑112、平板计算机114、头戴式耳机116、可佩戴设备、智能手表等电子设备。然而，通信***100中可以使用任何其他或附加的电子设备。
在该示例中，一些电子设备108至116与网络102间接通信。例如，电子设备108至110和116经由一个或多个基站120(例如蜂窝基站或eNodeB)通信。此外，电子设备112至114经由一个或多个无线接入点(AP)118(例如IEEE 802.11无线AP、蓝牙和WiFi direct)进行通信。注意，这些仅用于说明，并且每个电子设备可以直接与网络102通信，或者经由任何合适的中间设备或网络间接与网络102通信。
如下文更详细描述的，当电子设备116正在操作使用物理对象上的叠加层的AR程序时，服务器103向电子设备116发送补充信息，用于在叠加层上或与叠加层一起显示。此外，电子设备110的标记对象的数据或来自电子设备110的标记对象的数据可以被发送到电子设备116，以便两个用户在单个物理对象上体验相同的叠加层。电子设备116负责跟踪三维(3D)空间中的标记对象。使用计算机视觉(CV)和/或通过使用标记对象本身发送的数据来跟踪叠加层到标记对象。电子设备116包括能够跟踪的硬件，例如内置在头戴式耳机中的立体红、绿、蓝和红外(RGBIR)相机。电子设备116在VR或AR空间中创建表示标记对象的模型，以便标记对象被VR或AR内容蒙皮。电子设备116负责跟踪与蒙皮标记对象相关联的所有用户输入，处理它并实时更新头戴式耳机视图(包括皮肤)。例如，用户敲击标记对象的一部分，或者头戴式耳机可以与具有无线通信能力的标记对象无线通信。
尽管图1示出了通信***100的一个示例，但是可以对图1进行各种改变。例如，***100可以以任何合适的布置包括任何数量的每个组件。通常，计算和通信***具有多种配置，并且图1并不将本公开的范围限制于任何特定的配置。虽然图1示出了可以使用本专利文件中公开的各种特征的一种操作环境，但是这些特征可以用于任何其他合适的***中。
图2示出了根据本公开实施例的通信***中的示例电子设备116。电子设备116可以代表图1中的一个或多个电子设备106至116。
如图2所示，电子设备116包括通信单元210、发送(TX)处理电路215、麦克风220和接收(RX)处理电路225。通信单元210可以包括例如RF收发器、蓝牙收发器或Wi-Fi收发器。电子设备116还包括扬声器230、处理器240、输入/输出(I/O)接口(IF)245、输入设备250、显示器255和存储器260。存储器260包括操作***(OS)程序261和一个或多个应用262。
通信单元210可以接收传入的RF信号，例如蓝牙信号或Wi-Fi信号。通信单元210可以对传入的RF信号进行下变频转换，以产生中频(IF)或基带信号。IF或基带信号被发送到RX处理电路225，RX处理电路225通过对基带或IF信号进行滤波、解码和/或数字化来生成处理后的基带信号。RX处理电路225将处理后的基带信号发送到扬声器230(例如用于语音数据)或处理器240，用于进一步处理(例如用于网络浏览数据)。
TX处理电路215从麦克风220接收模拟或数字语音数据，或者从处理器240接收其他传出基带数据(例如网络数据、电子邮件或交互式视频游戏数据)。TX处理电路215对传出基带数据进行编码、多路复用和/或数字化，以生成处理后的基带或IF信号。通信单元210可以从TX处理电路215接收传出的处理后的基带或IF信号，并将基带或IF信号上变频转换为经由天线205发送的RF信号。
处理器240可以包括一个或多个处理器，并且执行存储在存储器260中的OS程序261，以便控制电子设备200的整体操作。例如，处理器240可以根据众所周知的原理控制通信单元210、RX处理电路225和TX处理电路215对前向信道信号的接收和反向信道信号的发送。在一些实施例中，处理器240包括至少一个微处理器或微控制器。
处理器240还能够执行驻留在存储器260中的其他过程和程序。处理器240可以根据执行过程的需要将数据移入或移出存储器260。在一些实施例中，处理器240被配置为基于OS程序261或响应于从外部设备或操作者接收的信号来执行应用262。处理器240可以执行用于操作AR环境和标记对象的应用263。
处理器240还耦合到I/O接口245，I/O接口245向电子设备200提供连接到诸如笔记本电脑、手持计算机和其他附件(例如VR头戴式耳机)的其他设备的能力。I/O接口245是这些附件和处理器240之间的通信路径。处理器240可以识别通过I/O接口245附接的附件，例如连接到USB端口的VR头戴式耳机。
处理器240还耦合到输入250和输入设备255。电子设备200的操作者可以使用输入设备250(例如，键盘、触摸屏、按钮等)将数据输入电子设备200。显示器255可以是液晶显示器、发光二极管(LED)显示器、光学LED(OLED)、有源矩阵OLED(AMOLED)或能够渲染例如来自网站的文本和/或至少有限图形的其他显示器。在本申请的上下文中，显示器可以指电子设备上的显示器或者能够在镜头上显示图像的透明镜头。例如，显示器可以作为镜片存在于一副眼镜框中。
存储器260耦合到处理器240。存储器260的一部分可以包括随机存取存储器(RAM)，存储器260的另一部分可以包括闪存或其他只读存储器(ROM)。
电子设备116还包括一个或多个传感器265，其可以计量物理量或检测电子设备116的激活状态，并将计量或检测的信息转换成电信号。例如，传感器265可以包括用于触摸输入的一个或多个按钮，例如在头戴式耳机或电子设备116上、照相机、姿势传感器、陀螺仪或陀螺仪传感器、气压传感器、磁传感器或磁力计、加速度传感器或加速度计、抓握传感器、接近传感器、色彩传感器(例如红绿蓝(RGB)传感器)、生物物理传感器、温度/湿度传感器、照明传感器、紫外线(UV)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、IR传感器、超声传感器、虹膜传感器、指纹传感器等。传感器265还可以包括用于控制其中包括的至少一个传感器的控制电路。电子设备116可以用作头戴式设备(HMD)。例如，在电子设备116包括头戴式耳机的实施例中，这些传感器265中的任何一个可以位于电子设备116内、被配置为保持电子设备116的头戴式耳机内、或者头戴式耳机和电子设备116两者中。
如下文更详细描述的，当电子设备116正在操作AR应用时，电子设备116在显示器上显示叠加层，该叠加层看起来是物理对象的“皮肤”或来自所选标记对象的物理对象的“投影”。
尽管图2示出了通信***中的电子设备的示例，但是可以对图2进行各种改变。例如，图2中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需求添加附加组件。作为特定示例，处理器240可以被分成多个处理器，例如一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。此外，虽然图2示出了被配置为移动电话或智能手机的电子设备200，但是电子设备可以被配置为作为其他类型的移动或固定设备来操作。此外，如同计算和通信网络一样，电子设备可以有多种配置，并且图2并不将本公开限制于任何特定的电子设备。
图3A和图3B示出了根据本公开实施例的示例标记对象300。图3A示出了物理对象310，而图3B示出了在标记对象300上具有叠加层315的AR环境305，该叠加层315由AR设备320观看，AR设备320具有显示器235作为每个透明镜头325。图3A和图3B所示的标记对象300和AR环境305的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用标记对象300的其他实施例。AR设备320和标记对象300都可以实现为图2所示的电子设备200。
物理对象310被示为立方体，但是可以是任何类型的规则或不规则形状。物理对象310可以被选择作为标记对象300。在AR环境305中，可以选择一个或多个标记对象300。哪些特定物理对象310的选择可以由用户确定或由应用262配置。例如，应用262可以是与运动相关的应用，并且识别球形物理对象310可以自动为运动用的球创建叠加层315。应用262还可以识别用户的手(指纹、轮廓等)或用一只或两只手做的特定的手势(用双手握住，用一只手握住，用另一只手轻敲，等等)。在触发时，例如在无线连接、通电、接收到物理对象上的输入(例如按钮、开关、触摸传感器等)时，可以自动选择专用标记对象(稍后结合图9讨论)作为标记对象300。物理对象310可以通过接收物理对象310上的输入(例如，按钮、开关、触摸传感器等)与AR设备320无线连接。标记对象300也可以基于AR设备320上的输入来选择。不同尺寸和形状的物理对象310可以允许标记对象300的不同使用。
叠加层315显示在显示器325上，作为物理对象310上的皮肤出现。下面将更详细地讨论不同类型的叠加层315。当标记对象300离开显示器325的AR环境305的视图时，应用可以移除作为标记对象300的物理对象310或者选择保持被选择。该决定可以由用户预先或通过清除标记对象300的手势来做出。对应于手势的功能的单独的非限制性示例可以包括清除标记对象300、清除所有标记对象300、将标记对象300清除出AR环境305或任何其他清除功能。说明书通篇提供了对应于手势的功能的更多非限制性示例。
标记对象300特定手势包括，例如，“倾倒”手势、“连接”手势、“翻转和摇动”手势、“剥离”手势和“拖动”手势。以下示例是非限制性功能，当相对于第二标记对象执行标记对象的手势或运动时，执行这些功能。“倾倒”手势用于将虚拟内容从第一标记对象300转移到第二标记对象。“连接”手势用于将两个标记对象放在一起，以交换它们的配置和内容状态。“翻转和摇动”手势用于从标记对象300移除虚拟内容。“剥离”手势用于将前景内容移动到背景。“拖动”手势可以突出显示标记对象300，并允许用户将虚拟内容移动到另一个兼容的标记对象300。
在一些实施例中，当在AR环境305的视野之外时，标记对象保持连接到AR设备320。当标记对象300的表面310被定义为特定应用或功能时，物理对象310上的传感器可以用于控制其他AR内容。例如，如果物理对象310的表面335代表电视的控件，用户可以仍然能够在AR环境305的视野之外使用控件。
叠加层315可以被编程为覆盖标记对象300的所有表面335或特定表面335。与对应于用于选择和移除标记对象300的功能的手势一样，其他手势可以被设计成选择和移除标记对象300的特定表面335。叠加层315还可以用于显示用于与AR环境中的其他对象交互的控件，或者用作其他物理对象的控制器。例如，叠加层315可以显示遥控器的功能，以便控制房间中的电视，或者叠加层315可以在表面上显示键盘以供计算机使用，或者显示第二标记对象，该第二标记对象包含具有文本输入的应用的叠加层315。
标记对象300的一些使用示例包括游戏应用、真实世界虚拟对象、真实世界对象替换以及标记对象300之间的更多虚拟内容。对于游戏应用，标记对象能够充当内容的控制器，接受用户输入并具有显示输入结果的虚拟窗口。例如，用户可以掷上面投射有点的标记对象300当作骰子。掷骰子可用于当前在AR环境305中运行的游戏应用。
对于真实世界的虚拟对象，标记对象300使得AR环境305能够在标记对象300上放置虚拟图标和应用。标记对象300上的虚拟图标和应用可以提供对应用和控件的快速物理访问，通过新叠加层315的简化和可靠性来改善用户输入体验。
对于真实世界对象替换，标记对象300能够根据需要替换公共附件对象。标记对象300可以在需要时改变AR内容。例如，AR内容可以使静态物理图片框架动态化，替换计算器、电话、收音机、键盘等。
为了在标记对象之间移动虚拟内容，标记对象300使得标记对象300能够将其虚拟内容移动/复制到其他兼容的标记对象300。例如，倾斜第一标记对象300以轻敲第二标记对象300可以指示使用倾倒动画，该倾倒动画允许将AR内容从第一标记对象300转移到第二标记对象300。诸如触笔或其他工具的主要标记对象可以用于某些功能。例如，触笔可以具有多种功能，包括选择、标记等。例如，触笔可用于从第一标记对象选择并提升或复制叠加层，以放置在第二标记对象上。在另一个示例中，触笔可以被编程为充当用于在第二标记对象300上绘图的画笔工具。
某些物理对象310，如电子设备200，包括不同的输入，如开关、按键、触摸面板等。物理对象310可以包括通信单元210，通信单元210可以用于无线连接到AR设备320，以识别其作为标记对象300的状态。物理对象310包括用于检测用户输入的输入设备250，例如触摸屏。在一些实施例中，AR设备320能够确定通过物理设备310上的输入的用户输入，检测相机传感器265的图像数据中的手势，或者物理设备上的输入和相机传感器265的图像数据中检测到的手势的组合，并且确定对应于该输入或手势的功能。其他传感器也可以结合到标记对象300的物理对象310中，例如触觉支持，以实现对用户和冷或热辐射源的物理反馈。标记对象300包括一组属性，这些属性可以广播给AR设备320、其他AR设备320和其他标记对象300。广播可以允许理解或共享能力和AR内容。能力和AR内容也可以以这种方式编程到标记对象中。一些属性包括，例如，支持的手势和硬件。硬件属性的示例包括外部尺寸、轮廓、显示器、触摸支持、传感器等。支持的手势的示例包括旋转、移动、轻敲等。
尽管图3A和图3B示出了标记对象300的一个示例，但是可以对图3A和图3B进行各种改变。例如，图3A和图3B中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需求添加附加组件。作为特定示例，虽然图3A和图3B示出了被配置为盒子的标记对象300，但是标记对象可以被配置为作为其他类型的规则或不规则形状操作。同样例如，图3B中的AR环境305将AR设备320示出为一副眼镜，但是AR设备320可以是移动设备、AR头戴式耳机等。
图4示出了根据本公开实施例的标记对象300上的示例叠加层400。图4所示的叠加层400的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用叠加层400的其他实施例。
可以在标记对象300的每个表面335上产生不同的表面叠加层405。表面叠加层405可以是图像、视频、应用图标或用于在标记对象300上显示的任何其他类型的AR内容。表面叠加层405可以进一步在每个表面叠加层405上分成多个AR内容。
直接旋转标记对象300将调整表面叠加层405以显示不同的AR内容。标记对象300可以被编程为使每个表面335代表特定的表面叠加层405，或者表面叠加层405可以基于AR内容的优先级出现。如果特定表面335不对应于特定表面叠加层405，则无限量的AR内容可以显示为表面叠加层405。
当表面叠加层405代表应用时，可以执行手势来激活与表面叠加层405相关的功能或应用。例如，双击聊天图标的表面叠加层405可以使得相对于标记对象300出现文本对话。文本对话一旦被选择，可以出现在先前显示聊天图标的表面叠加层405上，或者所有表面叠加层405可以打开不同的文本对话。在显示所有表面叠加层405的同时旋转标记对象300可以使得出现的表面叠加层405按照优先级顺序显示下一个文本对话，例如通过最近接收的消息的对话，或者通过最近发送的消息的对话，等等。
尽管图4示出了叠加层400的一个示例，但是可以对图4进行各种改变。例如，图4中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需求添加附加组件。作为特定示例，虽然图4示出了被配置为标记对象300上的图标的叠加层400，但是叠加层400可以被配置为显示任何类型的信息或内容。
图5示出了根据本公开实施例的示例非静态叠加层500。图5所示的非静态叠加层500的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用非静态叠加层500的其他实施例。
标记对象300可以具有非静态叠加层505。非静态叠加层505可以显示动画、动作(例如波纹效果)、视频等。非静态叠加层505可以从一个表面335过渡到另一个表面335。例如，图5示出了从前、右表面延伸到顶表面的箭头。箭头的动画可以开始于从标记对象300的底部穿过前、右表面移动到顶表面，并从顶表面离开标记对象300。
对标记对象300的手势可以使得非静态叠加层505上的AR内容旋转离开标记对象并显示新的AR内容。例如，球形标记对象300可以显示地球仪，并且旋转标记对象可以使得非静态叠加层505上的世界相应于旋转而转动。
尽管图5示出了非静态叠加层500的一个示例，但是可以对图5进行各种改变。例如，图5中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需求添加附加组件。作为特定示例，虽然图5示出了被配置为跨越叠加层的多个表面的箭头的非静态叠加层500，但是非静态叠加层500可以被配置为作为任何类型的动画或移动叠加层操作。
图6示出了根据本公开实施例的多个标记对象300的示例交互600。图6所示的交互600的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用交互600的其他实施例。
当在AR环境305中显示多个标记对象300时，标记对象300能够与其他标记对象300交互。标记对象300可以独立或一起工作。例如，并排放置的标记对象300可以充当一个更大的标记对象605。在将第一标记对象610放置在第二标记对象615附近时，即使物理对象没有结合在一起，也可以虚拟地结合这两个对象。第一对象标记610与第二标记对象615的接近可以指示要显示的不同功能或内容。
例如，在家庭娱乐AR环境中，放置在第二标记对象615顶部的第一标记对象610可以产生电视遥控器，打开或切换电视上的输入以观看节目。当第一标记对象610被放置在第二标记对象615的侧面时，组合的标记对象产生游戏遥控器，并打开游戏***或切换电视机的输入用于玩游戏。
在某些实施例中，标记物300可以包含磁体电磁体或其他机构，以允许标记物300彼此连接或紧固，以便在需要时无缝连接。标记对象还可以将“虚拟应用内容”从第一标记对象610转移到第二标记对象615。当标记对象被组合时，叠加层可以显示在外部可见表面上。
尽管图6示出了交互600的一个示例，但是可以对图6进行各种改变。例如，图6中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需求添加附加组件。作为特定示例，虽然图6示出交互600被配置为金字塔形状的多个标记对象300，但是标记对象300之间的交互600可以被配置为以任何方式交互。
图7A和图7B示出了根据本公开实施例的来自标记对象300的示例投影700和705。图7A和图7B中所示的无线示例投影700和705的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用示例投影700和705的其他实施例。图7A示出标记对象300作为锚710，而图7B示出标记对象300作为物理组件715或虚拟组件720。
标记对象300可以用作关联虚拟窗口725的锚710。标记对象300还可以在AR环境305中具有锚定到表面叠加层405的相关虚拟窗口725。虚拟窗口725允许多个应用在单个标记对象300上运行。例如，当显示虚拟窗口725时，接收到文本的AR设备320可以使得文本显示在聊天表面叠加层405上。
作为虚拟组件720的投影705可以合并到物理组件715中。AR环境305可能看起来具有包括物理组件715和虚拟组件两者的单个对象。例如，图7B中示出乒乓球拍。乒乓球拍的手柄可以是物理组件715，例如圆柱形对象，球拍表面可以是虚拟组件720，但是整个乒乓球拍看起来是单个流体件。用户可以保持和移动物理组件715，并且虚拟组件将像标记对象300的物理部分一样工作。例如，对于鞭子，物理组件715可以是手柄的任何杆状对象，并且虚拟组件可以是一段虚拟绳索，当用户用物理组件715执行抽鞭运动时，虚拟绳索可以经历振动和波动。
在一些实施例中，物理组件715和虚拟组件720相互影响。例如，标记对象300上的物理输入可用于操控虚拟组件720，例如改变球拍的尺寸或类型。虚拟组件720可以使物理组件715体验反馈，例如当球拍击打虚拟乒乓球时的触觉反馈。
尽管图7A和图7B示出了示例投影700和705的一个示例，但是可以对图7A和图7B进行各种改变。例如，图7A和图7B中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需求添加附加组件。作为特定示例，虽然图7A和图7B示出了被配置为从标记对象的表面投影的对象的示例投影700和705，但是投影700和705可以被配置为作为其他类型的投影操作。
图8示出了根据本公开的实施例描绘边界800的示例性多个标记对象300。图8中示出的定义边界800的标记对象300的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用定义边界800的标记对象300的其他实施例。
边界标记对象805定义了AR内容815的边界810。边界标记对象805每个都可以是物理对象310，如立方体，或者可以是物理对象310上的位置。例如，用户做出在物理对象或标记对象300上标记位置的手势，以指示边界标记对象805。边界标记对象850可以用作其他形状的拐角或外部边界，例如不规则形状或椭圆形。边界标记对象805可以用作对AR内容815的控件。当AR内容815是视频时，边界标记对象805可以包括用于播放视频、停止视频、打开菜单或退出视频等的控制。
尽管图8示出了定义边界800的标记对象300的一个示例，但是可以对图8进行各种改变。例如，图8中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需求添加附加组件。作为特定示例，虽然图8示出了定义被配置为移动电话或智能手机的边界800的标记对象300，但是边界可以被配置为作为其他类型的形状操作。
图9示出了根据本公开实施例的示例专用标记对象900。图9所示的专用标记对象900的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用专用标记对象900的其他实施例。
高级或专用标记对象900包含物理控件905，例如按钮、旋钮、滑块等。物理控件905可以用作标记对象300的输入，以与AR设备320交互。高级或专用标记对象900还包括与AR设备320交互的显示器或触摸传感器。例如，当头戴式耳机被移除时，高级或专用标记对象900可以显示在专用标记对象900的显示上叠加的内容。
尽管图9示出了专用标记对象900的一个示例，但是可以对图9进行各种改变。例如，图9中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需求添加附加组件。作为特定示例，虽然图9示出了被配置为具有输入的对象的专用标记对象900，但是专用标记对象可以被配置为作为其他类型的形状或用不同类型的输入来操作。
图10示出了根据本公开实施例的示例哑标记对象(dumb marker object)1000。图10所示的哑标记对象1000的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用哑标记对象1000的其他实施例。
哑标记对象1000可以使用任何物理对象310来创建。在指示物理对象310是哑标记对象1000之后，AR设备320可以跟踪和使用哑标记对象1000。例如，控件1005可以显示在垫子上，并且特定控件1005处的手势在AR设备320处被识别。然后分析控件1005并执行该功能。
尽管图10示出了哑标记对象1000的一个示例，但是可以对图10进行各种改变。例如，图10中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需求添加附加组件。作为特定示例，虽然图10示出了被配置为枕头的哑标记对象1000，但是哑标记对象可以被配置为作为其他类型的对象或产品操作，而不具有与电子设备200通信的能力。
图11和图12示出了AR环境305的实施例，其创建了物理对象操控的外观。AR环境305允许在物理组件上创建虚拟项目，或者使用物理组件给出虚拟项目的控制。AR环境305还提供以非典型方式操控物理对象的能力，例如遮挡校正、将手放入虚拟对象或虚拟操控物理对象。
图11示出了根据本公开实施例的在AR环境中的示例遮挡校正1100。图11所示的遮挡校正1100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用遮挡校正1100的其他实施例。
在某些情况下，与标记对象300交互需要查看叠加层315，同时还要遮挡叠加层315。例如，叠加层315是虚拟键盘1105。当用户将其手1110移动到键盘上的打字位置时，手通常会阻挡多个键。这可能对物理键盘不成问题，因为用户可能会感觉到按键并相应地调整手。但是把手指放在按键上要困难得多。对手1110执行遮挡校正可以允许无遮挡地观察键盘。遮挡校正的执行方式是通过重新配置被手1110或其他对象遮挡的叠加层部分，以便以叠加层看起来保留在标记对象300上的方式在手1110或其他对象上显示成未扭曲和未失真的。
AR操控1200允许用户以以前不可能的方式与虚拟对象和物理对象交互。在一些实施例中，用户能够将虚拟对象叠加在他们的手上。例如，AR设备320可以使用叠加层315来提供在视频游戏中戴拳击手套的体验。AR设备320还可以允许用户与虚拟对象内的标记对象300交互。
尽管图11示出了遮挡校正1100的一个示例，但是可以对图11进行各种改变。例如，图11中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需求添加附加组件。作为特定示例，虽然图11示出了被配置为键盘的x射线的遮挡校正1100，但是遮挡校正可以被配置为应用于前面放置了对象的任何类型的叠加层。
图12示出了根据本公开实施例的对象的示例性AR操控1200。图12所示的AR操控1200的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用AR操控1200的其他实施例。
在一些实施例中，AR设备320允许物理对象的虚拟操控1205。标记对象300的表面叠加层405可以用橡胶或塑料材料处理。表面叠加层405可以被拉伸、弄皱、打结等。在一些实施例中，AR设备320可以允许对佩戴的物品进行虚拟操控1205，在合适的时候看起来会改变颜色。
尽管图12示出了AR操控1200的一个示例，但是可以对图12进行各种改变。例如，图12中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需求添加附加组件。作为特定示例，虽然图12示出了被配置为拉动标记对象的表面的AR操控1200，但是AR操控可以被配置为以任何变换方式操控标记对象。
图13示出了根据本公开实施例的示例注视检测1300。图13所示的注视检测1300的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用注视检测1300的其他实施例。
在一些实施例中，AR设备320可以包括相机或其他传感器，以跟踪用户的眼睛，从而通过在VR或AR空间中三角测量用户的注视焦点1305来确定用户的注视点或视野。这可以允许AR设备320精确跟踪用户在任何时间点消费的精确文本或图像内容。基于对正在阅读的内容的分析，头戴式耳机(AR或VR)可以在标记对象或空白设备周围的区域中显示与内容或其他各种统计数据相关的附加信息1310。如下示例的附加信息1310的显示可以在用户阅读时增强VR或AR空间中的多任务处理。它可以在书的周围显示各种应用(SMS/电子邮件等)，因此用户不需要完全离开阅读来检查通知。
通过OCR或人工智能(AI)进行注视跟踪，允许AR设备根据需要为用户阅读所有文本或部分文本。例如，具有注视检测1300的OCR可以允许AR设备320对不同的书籍人物使用不同的声音。AI可以立即识别正在消费的内容，并自动将内容中注视的位置与相应的机器可读数据相关联。具有注视检测1300的AR设备320可以收集关于用户在哪些单词或句子上花费更长时间或寻求帮助的静态信息。具有注视检测1300的AR设备320提供正在阅读的当前句子的自动放大，一旦读者将他们的眼睛移到下一个句子上，就恢复到正常的文本大小。(例如，注视点的文本放大)。当前单词/句子文本颜色可以改变，以帮助用户跟踪它们在页面中的位置。用户可以让***为他们朗读当前单词。如果***通过OCR/AI识别出某个位置正在被重复提及，它可以在单独的显示器上调出与该位置相关的附加信息或将背景改变到该位置。例如，如果AR设备320在给定页面中找到对伦敦的四个引用，则***可以将VR背景改变为伦敦的场景。AR设备320可以基于用户当前聚焦的内容在VR/AR书籍周围的区域中呈现附加内容1310(例如，关于位置、定义等的事实/图像)。当用户的注视到达给定文本页面的末尾时，AR设备320可以自动翻页或滚动文本。AR设备320可以容易提供关于用户阅读的内容以及他们发现有问题的任何单词的信息。
AR设备320可以基于用户在阅读内容(例如，更复杂的单词)时的眼睛停顿来决定提供附加信息的内容，从而允许立即或根据用户的手势/语音命令叠加语音拼写之类的数据。AR设备320还可以基于用户先前停顿时的单词的长度、字符组合、音节数量和种类来计算单词的复杂度分数。用户可以为***应该提供的包括关于以下各项的上下文信息的内容设置首选项：
不常见复杂单词的世界定义；
国家、城市、街道等的图像/地图和信息；
提供历史人物或著名人物的简短的传记和/或图像；
如果提到了地点和时间，则提供附加的上下文信息；
例如，如果在文本中找到1959年1月伦敦，则可以列出在该地点和时期发生的重大事件；
基于书籍内容的产品广告可以在VR页面中显示；
例如，文本中提到钻石戒指，因此珠宝店的可点击广告/图像被放置在VR空间中；
用户可以获得优惠券或图书折扣的奖励；以及
书籍内容周围有额外的显示空间，可以带来新的用户体验。附加空间中提供的新用户体验包括：
该书的内容和VR背景可以协调；
例如，当书中描述过山车时，背景可能会以过山车体验为动画；
过山车VR体验可能是图书媒体支持内容的一部分；
向用户更高效地显示阅读统计数据；
基于书籍内容的产品广告显示在VR页面中；
阅读时允许多个应用访问，将应用放在阅读内容周围。例如，显示来自社交媒体网络的SMS/文本消息、传入电子邮件、更新或内容；并且
当用户开始查看其他内容时，***可以在页面上留下视觉标记，以便当他们回到书上时可以快速找到他们的位置。
此外，当HMD检测到对补充内容的注视焦点时，内容可以被扩展、滚动或链接以提供附加信息。例如，当用户注视阅读统计数据时，会显示曲线图、图表或直方图，说明统计数据在消费内容的过程中是如何变化的。
尽管图13示出了注视检测1300的一个示例，但是可以对图13进行各种改变。例如，图13中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需求添加附加组件。作为特定示例，虽然图13示出了被配置为阅读书籍的注视检测1300，但是注视检测可以被配置为操作来识别印刷品或其他形式的任何聚焦对象。
图14示出了根据本公开的实施例的用于控制AR内容以产生虚拟对象是真实的感觉的示例过程1400。例如，图14中描述的过程可以由图2中的电子设备200来执行；该过程也可以由图1中的电子设备106至116来实现。
在操作1405中，AR设备320将物理对象310识别为标记对象300。AR设备320可以在照相机捕获的图像数据中识别物理对象310。标记对象300可以基于用户输入或通过编程来选择。标记对象300可以是高级标记对象900或哑标记对象1000。存储和/或发送和/或检测标记对象300的属性，以便AR设备320确定与标记对象300兼容的应用。
在操作1410中，AR设备320在AR设备320的显示器上的标记对象300上显示叠加层315。叠加层315包括表现为标记对象300上的皮肤的AR内容。标记对象300允许用户交互和操控AR内容。叠加层315可以包括各种AR内容，包括图片、视频、应用等。对于每个表面叠加层405，叠加层315可以是一种类型的AR内容或不同类型的AR内容。叠加层315上的AR内容可以是静态的或动态的。
在操作1415中，AR设备320跟踪标记对象300的移动。AR设备320可以使用任何方法来跟踪标记对象300的表面335，以便确定旋转或横向移动。跟踪的示例包括使用计算机视觉、识别对象上的标记、识别几何属性、结构光、飞行时间等。在某些实施例中，标记对象300可以包括六个自由度的传感器，其将位置变化传达给AR设备320。在其他实施例中，第三方***可以用于相对于AR设备320跟踪标记对象300。在跟踪标记对象300的移动的同时，AR设备还监视输入和手势。
在操作1420中，AR设备320基于标记对象300的移动来调整标记对象300上的叠加层315。旋转标记对象300使得叠加层315上的AR内容旋转或循环。当表面从AR环境305中消失时，新的AR内容显示在新的表面上。
当在AR环境305中显示多个标记对象时，标记对象300的运动对第二标记对象300执行功能。例如，在同一附近移动两个标记对象300将它们结合在一起形成组合叠加层315。
尽管图14示出了在AR环境中实现的虚拟对象的示例过程1400，但是可以对图14进行各种改变。例如，虽然示出为一系列步骤，但是在某些实施例中，各种步骤可以重叠、并行发生、以不同的顺序发生、发生多次或者不被执行。
图15示出了根据本公开的用于注视检测的示例过程1500。例如，图15中描述的过程可以由图2中的电子设备200来执行；该过程也可以由图1中的电子设备106至116来实现。
在操作1505中，AR设备320确定AR设备320的用户的每只眼睛的方向。AR设备320包括面向和背朝用户的相机传感器。面向用户的相机传感器监控每只眼睛的方向，用于焦点1305的三角测量。
在操作1510中，AR设备320基于每只眼睛的方向的组合来识别标记对象上的焦点。AR设备320使用每只眼睛的方向和离AR内容的距离对焦点进行三角测量。一旦焦点被确定，AR设备320可以使用OCR或另一种方法来确定正在观看的AR内容。基于内容和焦点，AR设备提供附加信息或补充信息。
在操作1515中，AR设备320跟踪标记对象上的焦点。当用户消费AR内容时，AR设备320监控焦点以确定AR内容的使用。基于特定焦点处的时间或焦点移动的速度来分析用户的注视。随着眼睛方向的改变，焦点也会移动。
在操作1520中，AR设备320在AR设备320的显示器上显示与在所识别的焦点处显示的内容相关的信息。例如，当用户长时间注视特定单词时，AR设备320确定该单词很难，并显示单词的定义。当被消费的AR内容包含重复单词时，AR设备320提供关于重复单词的主题的附加信息1310。例如，当阅读多次提及伦敦的故事时，AR设备320显示关于伦敦市的附加信息，或者显示伦敦市的图像作为AR环境305的背景。
该信息还可以与用户的统计数据相关。例如，AR设备可以确定用户每分钟阅读多少单词或总页数。注视检测还可以监控哪些单词给用户带来了最大的困难。
尽管图15分别示出了用于注视检测的示例过程1500，但是可以对图15进行各种改变。例如，虽然示出为一系列步骤，但是在某些实施例中，各种步骤可以重叠、并行发生、以不同的顺序发生、发生多次或者不被执行。
图16示出了根据本公开实施例的用于AR设备使用电子设备与高级标记对象900交互的示例性过程1600。例如，图16中描述的过程可以由图2中的电子设备200来执行；该过程也可以由图1中的电子设备106至116来实现。
在操作1605中，标记对象300向AR设备320广播与至少一个属性相关的信号。标记对象300的至少一个属性包括物理尺寸、传感器、输出、无线连接等。
在操作1610中，AR设备320执行与标记对象300兼容的应用。该应用可以用连接到AR设备320的标记对象300自动启动特定应用的方式与特定标记对象300打包。在其他实施例中，AR设备320可以根据至少一个属性来确定兼容的应用。当多个兼容应用可用时，AR设备320可以在显示器325上或者在表面叠加层405之一上显示兼容应用的列表。标记对象300可以用于选择兼容的应用。
在操作1615中，AR设备320检测标记对象300的运动。AR设备320可以使用任何跟踪方法来确定标记对象300的运动。例如，AR设备320可以使用标记对象300上检测到的顶点和边缘来确定运动。
在操作1620中，AR设备320在AR设备320的显示器325上的标记对象300上显示与应用相关联的叠加层315。检测标记对象300的运动允许叠加层经常看起来是物理对象310的“皮肤”。
在操作1625中，AR设备320从标记对象300接收标记对象300处的输入或交互，该输入或交互由标记对象300检测。标记对象300可以检测标记对象300的物理设备310上的传感器或开关之一上的输入或交互。例如，安装在标记对象300中的陀螺仪或加速度计可以确定旋转或横向移动，触摸传感器可以检测物理触摸等。在一些实施例中，AR设备320可以单独地或与标记对象300相结合地检测输入或交互。标记对象300将输入或交互发送到AR设备320。标记对象300可以使用通信单元210来发送标记对象300的检测到的输入或交互。所使用的发送可以是任何无线连接方法，包括例如Wi-Fi direct、蓝牙、NFC等。
在操作1630中，AR设备320基于接收到的输入或接收到的交互来修改标记对象上的叠加层。AR设备320分析在标记对象300处检测到的接收到的输入或接收到的交互。AR设备使用接收到的输入或接收到的交互来确定对应于标记对象300的合适功能。
尽管图16分别示出了用于标记对象与电子设备交互的示例过程1600，但是可以对图16进行各种改变。例如，虽然示出为一系列步骤，但是在某些实施例中，各种步骤可以重叠、并行发生、以不同的顺序发生、发生多次或者不被执行。
图17示出了根据本公开的用于根据被跟踪注视的焦点提供附加信息的示例过程1700。例如，图17中描述的过程可以由图2中的电子设备200来执行；该过程也可以由图1中的电子设备106至116来实现。
在操作1705中，HMD可以被配置为在内容消费期间跟踪用户注视的焦点。在该实施例中，HMD被描述为示例，但是显示设备不需要总是安装在用户头上。HMD确定HMD用户每只眼睛的方向。HMD可以包括一个或多个相机传感器，它可以是内部的(聚焦于用户)或外部的(聚焦于周围环境)。内部相机传感器可以监控每只眼睛的方向，用于对焦点1305进行三角测量。标记对象上焦点的识别可以基于每只眼睛的方向的组合。焦点的三角测量可以利用每只眼睛的方向和离AR内容的距离来执行。一旦焦点被确定，HMD可以使用OCR或另一种方法来确定正在观看的AR内容。基于内容和焦点，HMD提供附加信息或补充信息。当用户消费AR内容时，HMD监控焦点以确定AR内容的使用。基于特定焦点处的时间或焦点移动的速度来分析用户的注视。随着眼睛方向的改变，焦点也会移动。
在操作1710中，HMD被配置为对用户正在消费的内容执行光学字符识别(OCR)和/或字典匹配。HMD可以被配置为基于用户的注视来计算统计数据。当注视停留在内容上时，HMD可以利用该信息来确定该内容对用户是否具有更大的价值或兴趣，或者与用户的注视掠过或快速越过内容时相比，该内容是否更加困难。
在操作1715中，HMD还被配置为基于用户的偏好和/或***的基线算法来显示叠加层信息和/或读取关于内容的数据。HMD还被配置为基于用户的偏好和/或***的基线算法来显示叠加层信息和/或读取关于用户进度的数据。叠加层信息可以是HMD基于注视确定对用户重要的附加信息，例如当用户的注视停留在内容上或重复评论内容时。阅读数据可以提供诸如消费速度、单词难度等分析。HMD在HMD的显示器上显示与所识别的焦点处的内容相关的附加信息。例如，当用户长时间注视特定单词时，HMD可以确定该单词很难，并显示单词的定义。当被消费的AR内容包含重复单词时，HMD提供关于重复单词的主题的附加信息1310。例如，当阅读多次提及约翰内斯堡的故事时，HMD显示关于约翰内斯堡市的附加信息或者显示约翰内斯堡市的图像作为AR环境305的背景。
在操作1720中，HMD还被配置为接收或检测用户输入。当被呈现附加信息时，用户可以决定更多信息是合适的，信息是不相关的，等等。当显示统计数据时，用户输入可以更改单位或滚动浏览统计数据。例如，HMD可能以每分钟字数显示消耗速度，但是用户可以请求显示每小时、每周、每月字数等。
在操作1725中，HMD还被配置为分析基于用户输入收集的行为数据，以理解为用户呈现的内容或推荐的改进领域。例如，HMD可以识别出内容在显示器右侧被不同地消费，并创建可变字体大小的内容以方便用户阅读。还可以在多次遇到时分析行为数据，以确定不同情况下(例如室内/室外、白天/夜晚等)显示器的最佳亮度。
尽管图17示出了用于分别根据被跟踪注视的焦点提供附加信息的示例过程1700，但是可以对图17进行各种改变。例如，虽然示出为一系列步骤，但是在某些实施例中，各种步骤可以重叠、并行发生、以不同的顺序发生、发生多次或者不被执行。
图18示出了根据本公开的用于注视跟踪和呈现补充上下文内容的示例过程1800。例如，图18中描述的过程可以由图2中的电子设备200执行；该过程也可以由图1中的电子设备106至116实现。
在操作1805中，HMD被配置用于跟踪用户的眼睛移动。在该实施例中，HMD被描述为示例，但是显示设备不需要总是安装在用户的头上。HMD确定佩戴HMD的用户的每只眼睛的方向。HMD包括面向和背朝用户的相机传感器。面向用户的相机传感器监控每只眼睛的方向，用于焦点1305的三角测量。HMD基于每只眼睛的方向的组合来识别标记对象上的焦点。HMD使用每只眼睛的方向和离AR内容的距离对焦点进行三角测量。一旦焦点被确定，HMD可以使用OCR或另一种方法来确定正在观看的AR内容。基于内容和焦点，HMD提供附加信息或补充信息。HMD跟踪标记对象上的焦点。当用户消费AR内容时，HMD监控焦点以确定AR内容的使用。基于特定焦点处的时间或焦点移动的速度来分析用户的注视。随着眼睛方向的改变，焦点也会移动。
在操作1810中，HMD还被配置为对用户正在阅读的内容执行数据识别过程，例如光学字符识别(OCR)和字典匹配。数据识别允许HMD识别用户正在消费的内容中的单词和短语。
在操作1815中，HMD还被配置为基于标准对用户观看的单词或短语进行评分。HMD基于用户在消费内容时的注视来计算统计数据。当注视停留在内容上时，HMD确定内容是否比注视掠过内容时更有价值或更难。该标准可以包括，例如，用户注视特定单词或短语的时间长度；单词或短语的复杂度；这个单词或短语是人、地方还是事物；内容中出现单词或短语的频率；该单词或短语是否符合提供附加信息的用户标准；等等。
在操作1820中，HMD还被配置为基于分数检查附加信息。单词或短语的分数越高，表明越多的附加信息是合适的。可以设置相关性阈值，以创建用于提供附加信息的单词或短语的最低重要性级别。
在操作1825中，HMD还被配置为在HMD的显示器上显示与所识别的焦点处的内容相关的附加信息。附加信息以不妨碍原始内容消费的方式显示。
在操作1830中，HMD还被配置为接收或检测来自用户的输入。当被呈现附加信息时，用户可以决定更多信息是合适的，信息是不相关的，等等。
在操作1835中，HMD还被配置为基于来自用户的输入来更新附加信息。例如，当用户请求更多附加信息时，HMD可以滚动或呈现与呈现给用户的原始附加信息相关的更多附加信息。
尽管图18分别示出了用于注视跟踪和呈现补充上下文内容的示例过程1800，但是可以对图18进行各种改变。例如，虽然示出为一系列步骤，但是在某些实施例中，各种步骤可以重叠、并行发生、以不同的顺序发生、发生多次或者不被执行。这些步骤可以由与HMD通信的单独的设备(例如服务器、移动设备、台式机、笔记本电脑等)执行。
本申请中的任何描述都不应被理解为暗示任何特定的元件、步骤或功能是必须包括在权利要求范围内的基本要素。专利主题的范围仅由权利要求限定。此外，没有一项权利要求旨在援引35 U.S.C.§112(f)，除非“意味着”后面有分词。

Claims (15)

1.一种显示设备，其包括：
显示器；
存储器；以及
处理器，其耦合到所述存储器和所述显示器，所述处理器被配置为：
将物理对象识别为标记对象；
在所述显示器上显示所述标记对象上的叠加层；
跟踪所述标记对象的运动；以及
基于所述标记对象的所述运动调整所述标记对象上的所述叠加层。
2.根据权利要求1所述的显示设备，其中，所述处理器还被配置为：
通过检测由所述物理对象广播的至少一个属性，通过将所述物理对象与所述显示设备无线连接，通过检测所述显示设备上的输入，或者通过将所述物理对象的形状识别为与应用相关的特定形状，将所述标记对象识别为标记对象。
3.根据权利要求1所述的显示设备，其中，所述处理器还被配置为基于由所述物理对象广播的至少一个属性来确定虚拟内容，并且
其中，所述虚拟内容包括所述标记对象上的所述叠加层。
4.根据权利要求1所述的显示设备，其中，所述处理器还被配置为：
检测与所述标记对象相关的手势或所述标记对象的特定运动；以及
执行对应于所述手势或所述特定运动的功能。
5.根据权利要求4所述的显示设备，其中，所述处理器还被配置为：如果所述手势或所述标记对象的所述特定运动与第二标记对象相关，则对所述第二标记对象执行所述功能。
6.根据权利要求1所述的显示设备，其中，所述处理器还被配置为：当第二标记对象在物理上接近所述标记对象时，将所述标记对象结合到所述第二标记对象以创建组合标记对象。
7.根据权利要求1所述的显示设备，其还包括收发器，用于发送和接收信号；并且
其中，所述处理器还被配置为：
接收由所述物理对象的传感器检测的输入；以及
执行对应于所接收到的输入的功能。
8.根据权利要求1所述的显示设备，其中，所述处理器还被配置为：
重新配置与障碍物重叠的叠加层部分。
9.根据权利要求1所述的显示设备，其中，所述处理器还被配置为：
确定所述显示设备的用户的每只眼睛的方向；
基于每只眼睛的方向的组合来识别所述标记对象上的焦点；
跟踪所述标记对象上的所述焦点；以及
在所述显示器上显示与在所识别的焦点上显示的内容相关的信息。
10.根据权利要求1所述的显示设备，其中，所述处理器还被配置为基于所述焦点的移动的暂停来确定是否提供所述信息。
11.一种用于管理显示设备的方法，所述方法包括：
将物理对象识别为标记对象；
在所述显示设备的显示器上显示所述标记对象上的叠加层；
跟踪所述标记对象的运动；以及
基于所述标记对象的所述运动调整所述标记对象上的所述叠加层。
12.根据权利要求11所述的方法，其还包括：
通过检测由所述物理对象广播的至少一个属性，通过将所述物理对象与所述显示设备无线连接，通过检测所述显示设备上的输入，或者通过将所述物理对象的形状识别为与应用相关的特定形状，将所述标记对象识别为标记对象。
13.根据权利要求11所述的方法，其还包括：
基于由所述物理对象广播的至少一个属性来确定虚拟内容，并且
其中，所述虚拟内容包括所述标记对象上的所述叠加层。
14.一种存储使计算机执行显示设备管理过程的程序的非暂时性计算机可读介质，所述过程包括：
将物理对象识别为标记对象；
在所述显示设备的显示器上显示所述标记对象上的叠加层；
跟踪所述标记对象的运动；以及
基于所述标记对象的所述运动调整所述标记对象上的所述叠加层。
15.根据权利要求14所述的非暂时性计算机可读介质，所述过程还包括：
通过检测由所述物理对象广播的至少一个属性，通过将所述物理对象与所述显示设备无线连接，通过检测所述显示设备上的输入，或者通过将物理对象的形状识别为与应用相关的特定形状，将所述标记对象识别为标记对象。
CN201880006376.XA 2017-01-09 2018-01-09 增强现实控制***和方法 Active CN110168618B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/402,065 US10410422B2 (en) 2017-01-09 2017-01-09 System and method for augmented reality control
US15/402,065 2017-01-09
PCT/KR2018/000433 WO2018128526A1 (en) 2017-01-09 2018-01-09 System and method for augmented reality control

Publications (2)

Publication Number Publication Date
CN110168618A true CN110168618A (zh) 2019-08-23
CN110168618B CN110168618B (zh) 2023-10-24

Family

ID=62783320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880006376.XA Active CN110168618B (zh) 2017-01-09 2018-01-09 增强现实控制***和方法

Country Status (4)

Country Link
US (1) US10410422B2 (zh)
EP (1) EP3566210B1 (zh)
CN (1) CN110168618B (zh)
WO (1) WO2018128526A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110727350A (zh) * 2019-10-09 2020-01-24 武汉幻石佳德数码科技有限公司 一种基于增强现实的物体识别方法、终端设备及存储介质
CN111093240A (zh) * 2019-12-24 2020-05-01 郑州大学体育学院 一种基于物联网的乒乓球远程课程的传输方法及***
CN112241200A (zh) * 2019-07-17 2021-01-19 苹果公司 头戴式设备的对象跟踪
CN113368488A (zh) * 2021-06-11 2021-09-10 西南大学 一种虚拟乒乓球拍及其力反馈方法、***
CN114830067A (zh) * 2020-03-20 2022-07-29 Oppo广东移动通信有限公司 图像展示方法及装置、便携式电子设备

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018165767A1 (en) * 2017-03-17 2018-09-20 Intellijoint Surgical Inc. Systems and methods for augmented reality display in navigated surgeries
EP3625658A4 (en) * 2017-05-19 2021-03-17 Magic Leap, Inc. KEYBOARDS FOR DISPLAY SYSTEMS OF VIRTUAL, EXTENDED AND MIXED REALITY
US11288869B2 (en) * 2017-08-09 2022-03-29 Sony Corporation Information processing device, and information processing method
US10580215B2 (en) * 2018-03-29 2020-03-03 Rovi Guides, Inc. Systems and methods for displaying supplemental content for print media using augmented reality
US10204160B1 (en) 2018-04-10 2019-02-12 Rovi Guides, Inc. Methods and systems for disambiguating user input based on detection of ensembles of items
US10832676B2 (en) * 2018-09-17 2020-11-10 International Business Machines Corporation Detecting and correcting user confusion by a voice response system
FR3086423B1 (fr) * 2018-09-21 2021-09-10 Diotasoft Procede et systeme de visualisation en realite augmentee
US10569164B1 (en) * 2018-09-26 2020-02-25 Valve Corporation Augmented reality (AR) system for providing AR in video games
KR20200076325A (ko) 2018-12-19 2020-06-29 삼성전자주식회사 외부 객체를 컨트롤러로 이용하기 위한 웨어러블 장치 및 방법
US20200301553A1 (en) 2019-03-22 2020-09-24 Sony Interactive Entertainment Inc. Establishing and using virtual assets on tangible objects in augmented reality (ar) and virtual reality (vr)
US11189059B2 (en) * 2019-07-17 2021-11-30 Apple Inc. Object tracking for head-mounted devices
EP3772042A3 (en) * 2019-08-02 2021-04-07 Samsung Electronics Co., Ltd. Electronic apparatus for augmented reality and control method thereof
US11386622B1 (en) * 2019-08-23 2022-07-12 Amazon Technologies, Inc. Physical items as basis for augmented reality applications
US11194983B1 (en) 2019-09-05 2021-12-07 Amazon Technologies, Inc. Profile based augmented reality applications based on information tags
US10948988B1 (en) * 2019-09-09 2021-03-16 Tectus Corporation Contextual awareness based on eye motion tracking by an eye-mounted system
US11207599B2 (en) * 2020-02-26 2021-12-28 Disney Enterprises, Inc. Gameplay system with play augmented by merchandise
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
US11935201B2 (en) * 2022-04-28 2024-03-19 Dell Products Lp Method and apparatus for using physical devices in extended reality environments
WO2024107455A1 (en) * 2022-11-15 2024-05-23 Intuitive Surgical Operations, Inc. Techniques for displaying extended reality content based on operator related parameters
WO2024110791A1 (en) 2022-11-22 2024-05-30 Sangireddy Sisirnath A method for enabling quality of learning, communication, and a cognitive support system for user interaction using a mixed reality device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080218331A1 (en) * 2007-03-08 2008-09-11 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
US20140139453A1 (en) * 2012-11-21 2014-05-22 Industrial Technology Research Institute Optical-see-through head mounted display system and interactive operation
CN107250891A (zh) * 2015-02-13 2017-10-13 Otoy公司 头戴式显示器与真实世界对象之间的相互通信

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101250619B1 (ko) 2010-03-25 2013-04-09 에스케이플래닛 주식회사 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
US8643569B2 (en) 2010-07-14 2014-02-04 Zspace, Inc. Tools for use within a three dimensional scene
US9511291B2 (en) 2010-11-15 2016-12-06 Bally Gaming, Inc. System and method for enhanced augmented reality tracking
WO2012088285A2 (en) 2010-12-22 2012-06-28 Infinite Z, Inc. Three-dimensional tracking of a user control device in a volume
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9607437B2 (en) 2013-10-04 2017-03-28 Qualcomm Incorporated Generating augmented reality content for unknown objects
US20150193982A1 (en) 2014-01-03 2015-07-09 Google Inc. Augmented reality overlays using position and orientation to facilitate interactions between electronic devices
US20150193980A1 (en) 2014-01-06 2015-07-09 Qualcomm Incorporated Calibration of augmented reality (ar) optical see-through display using shape-based alignment
US10695574B2 (en) * 2015-10-21 2020-06-30 University Of Washington Sensory input through non-invasive brain stimulation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080218331A1 (en) * 2007-03-08 2008-09-11 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
US20140139453A1 (en) * 2012-11-21 2014-05-22 Industrial Technology Research Institute Optical-see-through head mounted display system and interactive operation
CN107250891A (zh) * 2015-02-13 2017-10-13 Otoy公司 头戴式显示器与真实世界对象之间的相互通信

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241200A (zh) * 2019-07-17 2021-01-19 苹果公司 头戴式设备的对象跟踪
CN110727350A (zh) * 2019-10-09 2020-01-24 武汉幻石佳德数码科技有限公司 一种基于增强现实的物体识别方法、终端设备及存储介质
CN111093240A (zh) * 2019-12-24 2020-05-01 郑州大学体育学院 一种基于物联网的乒乓球远程课程的传输方法及***
CN111093240B (zh) * 2019-12-24 2021-08-13 郑州大学体育学院 一种基于物联网的乒乓球远程课程的传输方法及***
CN114830067A (zh) * 2020-03-20 2022-07-29 Oppo广东移动通信有限公司 图像展示方法及装置、便携式电子设备
CN113368488A (zh) * 2021-06-11 2021-09-10 西南大学 一种虚拟乒乓球拍及其力反馈方法、***
CN113368488B (zh) * 2021-06-11 2022-07-05 西南大学 一种虚拟乒乓球拍及其力反馈方法、***

Also Published As

Publication number Publication date
EP3566210B1 (en) 2024-06-05
US10410422B2 (en) 2019-09-10
EP3566210A1 (en) 2019-11-13
EP3566210C0 (en) 2024-06-05
WO2018128526A1 (en) 2018-07-12
EP3566210A4 (en) 2020-01-01
US20180197336A1 (en) 2018-07-12
CN110168618B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN110168618A (zh) 增强现实控制***和方法
US11750767B2 (en) Selective identification and order of image modifiers
CN114303120B (zh) 虚拟键盘
US11402871B1 (en) Keyboard movement changes virtual display orientation
US20190279407A1 (en) System and method for augmented reality interaction
CN103999032B (zh) 显示元素中所包括的感兴趣的区域的兴趣度分数
US10909372B2 (en) Assistive device for the visually-impaired
CN103858073A (zh) 增强现实***的免触摸界面
CN107771309A (zh) 三维用户输入
CN105900041A (zh) 利用视线跟踪进行的目标定位
CN108984087A (zh) 基于三维虚拟形象的社交互动方法及装置
US20160154777A1 (en) Device and method for outputting response
Kim et al. Augmented reality-based remote coaching for fast-paced physical task
CN107589841A (zh) 头戴显示设备的操作方法、头戴显示设备和***
CN109753152A (zh) 基于人体姿态的交互方法及装置、计算机设备
CN117010965A (zh) 基于信息流广告的互动方法、装置、设备及介质
CN107945100A (zh) 虚拟现实场景的展示方法、虚拟现实设备及***
KR101759631B1 (ko) 카드 게임을 위한 사용자 인터페이스를 제공하는 방법, 서버 및 컴퓨터 판독 가능한 기록 매체
CN108763514A (zh) 一种信息显示方法及移动终端
CN111640204B (zh) 三维对象模型的构建方法、构建装置、电子设备及介质
AlKassim et al. Sixth sense technology: Comparisons and future predictions
KR20190094875A (ko) 3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법
Alanko Comparing Inside-out and Outside-in Tracking in Virtual Reality
US20240050831A1 (en) Instructor avatars for augmented reality experiences
US20240095877A1 (en) System and method for providing spatiotemporal visual guidance within 360-degree video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant