CN111052046A - 使用现实界面访问外部设备的功能 - Google Patents

使用现实界面访问外部设备的功能 Download PDF

Info

Publication number
CN111052046A
CN111052046A CN201880055893.6A CN201880055893A CN111052046A CN 111052046 A CN111052046 A CN 111052046A CN 201880055893 A CN201880055893 A CN 201880055893A CN 111052046 A CN111052046 A CN 111052046A
Authority
CN
China
Prior art keywords
external device
representation
image data
physical environment
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880055893.6A
Other languages
English (en)
Other versions
CN111052046B (zh
Inventor
J·D·斯托伊雷斯
M·库恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN111052046A publication Critical patent/CN111052046A/zh
Application granted granted Critical
Publication of CN111052046B publication Critical patent/CN111052046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B5/00—Near-field transmission systems, e.g. inductive or capacitive transmission systems
    • H04B5/70—Near-field transmission systems, e.g. inductive or capacitive transmission systems specially adapted for specific purposes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

在用于通过计算机生成的现实界面来访问外部设备的功能的示例性过程中，检测一个或多个外部设备。获得由图像传感器所捕获的物理环境的图像数据。该过程确定图像数据是否包括所检测的一个或多个外部设备中的第一外部设备的表示。根据确定图像数据包括第一外部设备的表示，该过程使得显示器同时显示根据图像数据的物理环境的表示，以及与第一外部设备的功能对应的示能表示，其中检测对所显示示能表示的用户激活使得第一外部设备执行对应于该功能的动作。

Description

使用现实界面访问外部设备的功能
相关申请的交叉引用
本专利申请要求2017年9月29日提交的标题为“Accessing Functions ofExternal Devices Using Reality Interfaces”的美国专利申请序列号62/566,073；2017年9月29日提交的标题为“Controlling External Devices Using Reality Interfaces”的美国专利申请序列号62/566,080；2017年9月29日提交的标题为“Gaze-Based UserInteractions”的美国专利申请序列号62/566,206；以及2018年9月21日提交的标题为“Gaze-Based User Interactions”的美国专利申请序列号62/734,678的优先权，这些专利申请均据此全文以引用方式并入以用于所有目的。
技术领域
本公开整体涉及现实界面，并且更具体地涉及用于使用现实界面来访问外部设备的功能的技术。
发明内容
用于在使用计算机生成的现实***(诸如虚拟现实或混合现实***)时与外部设备进行交互的技术是可取的。本公开描述了用于使用计算机生成的现实界面(在本文中也被称为现实界面)来访问外部设备的功能的技术。在一些示例性过程中，检测一个或多个外部设备。获得由图像传感器所捕获的物理环境的图像数据。该过程确定图像数据是否包括所检测的一个或多个外部设备中的第一外部设备的表示。根据确定图像数据包括第一外部设备的表示，该过程使得显示器同时显示根据图像数据的物理环境的表示，以及与第一外部设备的功能对应的示能表示，其中检测对所显示示能表示的用户激活使得第一外部设备执行对应于该功能的动作。
附图说明
图1A至图1B示出了用于各种计算机生成的包括虚拟现实和混合现实的现实技术的示例性***。
图1C至图1E示出了移动设备形式的***的示例。
图1F至图1H示出了头戴式显示器设备形式的***的示例。
图1I示出了平视显示器设备形式的***的示例。
图2示出了用于实现使用现实界面来控制外部设备的各种技术的示例性***。
图3A示出了包括外部设备的物理环境。
图3B示出了在现实界面中显示物理环境的表示的用户设备。
图3C示出了在现实界面中同时显示物理环境的表示和与物理环境中的外部设备的功能对应的示能表示的用户设备。
图3D示出了在现实界面中同时显示物理环境的表示和与物理环境中的外部设备的功能对应的示能表示的用户设备。
图3E示出了在现实界面中显示物理环境的表示的用户设备。
图3F示出了物理环境的外部设备，其显示唯一标识符以便于确定外部设备在现实界面中的表示。
图4示出了用于通过现实界面访问外部设备的功能的示例性过程的流程图。
具体实施方式
本发明描述了使用与各种计算机生成的包括虚拟现实和混合现实(其结合了来自物理环境的感官输入)的现实技术有关的此类***的电子***和技术的各种实施方案。
计算机生成的现实环境(例如，虚拟现实或混合现实环境)可具有不同程度的虚拟内容和/或物理内容。计算机生成的现实环境可向用户提供用于与其物理环境进行交互的直观界面。例如，使用显示用户的物理环境的表示的现实界面，用户可访问物理环境中的一个或多个外部设备的功能。具体地，使用现实界面，用户可访问关于一个或多个外部设备的信息(例如，操作状态)或控制一个或多个外部设备的功能。实现此类应用程序的一个挑战是准确且高效地将物理环境中的一个或多个外部设备映射到现实界面中的一个或多个相应的代表性对象。具体地，提供现实界面的用户设备将需要认识到，现实界面中所表示的特定对象对应于在物理环境中检测到的相应外部设备。此外，用户设备将需要识别用户希望访问的特定外部设备并在现实界面中显示用于访问这些外部设备的功能的适当控制对象。
根据本文所述的一些实施方案，检测物理环境的一个或多个外部设备。获得由图像传感器捕获的物理环境的图像数据。确定图像数据是否包括一个或多个检测到的外部设备中的第一外部设备的表示。使用一种或多种技术来进行确定，诸如图像识别、三维对象识别和位置识别。通过应用这些技术，图像数据中所表示的对象可与第一外部设备相关联。根据确定图像数据包括第一对外部设备的表示，同时显示物理环境的表示和与第一外部设备的功能对应的示能表示。所显示的示能表示被配置成使得对示能表示的用户激活致使第一外部设备执行对应于该功能的动作。
物理环境(或真实环境)是指人们在没有电子***帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品(或物理对象或真实对象)，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
相反，计算机生成现实(CGR)环境是指人们经由电子***感知和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR***可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，音频对象创建3D或空间音频环境，3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。
虚拟现实(VR)环境(虚拟环境)是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子***可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，***可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子***可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该***可以被配置成在透明或半透明显示器上呈现虚拟对象，使得人利用该***感知叠加在物理环境之上的虚拟对象。另选地，***可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。***将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用***经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着***使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，***可以具有投影***，该投影***将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该***感知叠加在物理环境之上的虚拟对象。
增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，***可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。
有许多不同类型的电子***使人能够感测和/或与各种CGR环境交互。示例包括头戴式***、基于投影的***、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入***(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式***可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式***可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式***可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式***可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置成选择性地变得不透明。基于投影的***可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影***也可以被配置成将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
图1A和图1B示出了用于各种计算机生成的包括虚拟现实和混合现实的现实技术的示例性***100。
在一些实施方案中，如图1A所示，***100包括设备100a。设备100a包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100a的通信总线150进行通信。
在一些实施方案中，***100的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型计算机)中实现，并且***100的其他元件在设计成由用户佩戴的头戴式显示器(HMD)设备中实现，其中HMD设备与基站设备通信。在一些示例中，设备100a在基站设备或HMD设备中实现。
如图1B所示，在一些实施方案中，***100包括两个(或更多个)通信中的设备，诸如通过有线连接或无线连接。第一设备100b(例如，基站设备)包括处理器102、RF电路104和存储器106。这些部件可选地通过设备100b的通信总线150进行通信。第二设备100c(例如，头戴式设备)包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件可选地通过设备100c的通信总线150进行通信。
在一些实施方案中，***100是移动设备，诸如在关于图1C至图1E中的设备100a描述的实施方案中。在一些实施方案中，***100是头戴式显示器(HMD)设备，诸如在关于图1F至图1H中的设备100a描述的实施方案中。在一些实施方案中，***100是可穿戴HUD设备，诸如在关于图1I中的设备100a描述的实施方案中。
***100包括处理器102和存储器106。处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些实施方案中，存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器，随机存取存储器)，所述计算机可读指令被配置为由处理器102执行以执行下述技术。
***100包括RF电路104。RF电路104可选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。RF电路104可选地包括用于使用近场通信和/或短程通信(诸如
Figure BDA0002393800840000071
)进行通信的电路。
***100包括显示器120。在一些示例中，显示器120包括第一显示器(例如，左眼显示器面板)和第二显示器(例如，右眼显示器面板)，每个显示器用于向用户的相应眼睛显示图像。对应的图像同时显示在第一显示器和第二显示器上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供显示器上对象的立体感效应。在一些示例中，显示器120包括单个显示器。对于用户的每只眼睛，对应的图像同时显示在单个显示器的第一区域和第二区域上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供单个显示器上对象的立体感效应。
在一些实施方案中，***100包括用于接收用户输入的触敏表面122，诸如轻击输入和轻扫输入。在一些示例中，显示器120和触敏表面122形成触敏显示器。
***100包括图像传感器108。图像传感器108可选地包括一个或多个可见光图像传感器(诸如电荷耦合设备(CCD)传感器)和/或可操作以从真实环境获得物理对象的图像的互补金属氧化物半导体(CMOS)传感器。图像传感器还可选地包括一个或多个红外(IR)传感器，诸如无源IR传感器或有源IR传感器，用于检测来自真实环境的红外光。例如，有源IR传感器包括IR发射器，诸如IR点发射器，用于将红外光发射到真实环境中。图像传感器108还可选地包括一个或多个事件相机，这些事件相机被配置为捕获真实环境中的物理对象的移动。图像传感器108还可选地包括一个或多个深度传感器，这些深度传感器被配置为检测物理对象与***100的距离。在一些示例中，***100组合使用CCD传感器、事件相机和深度传感器来检测***100周围的物理环境。在一些示例中，图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器可选地被配置为从两个不同的视角捕获真实环境中的物理对象的图像。在一些示例中，***100使用图像传感器108来接收用户输入，诸如手势。在一些示例中，***100使用图像传感器108来检测***100和/或显示器120在真实环境中的位置和取向。例如，***100使用图像传感器108来跟踪显示器120相对于真实环境中的一个或多个固定对象的位置和取向。
在一些实施方案中，***100可选地包括图像传感器124。图像传感器124类似于图像传感器108，不同的是图像传感器124在与图像传感器108相反的方向上取向。例如，图像传感器108和图像传感器124设置在设备100a或100c的相对两侧上。在一些实施方案中，图像传感器124获得用户的图像，而图像传感器108获得用户视线中物理对象的图像。
在一些实施方案中，***100包括麦克风112。***100使用麦克风112来检测来自用户和/或用户的真实环境的声音。在一些示例中，麦克风112包括麦克风阵列(包括多个麦克风)，其任选地串联操作，以便识别环境噪声或在真实环境的空间中定位声源。
***100包括用于检测***100和/或显示器120的取向和/或移动的取向传感器110。例如，***100使用取向传感器110来跟踪***100和/或显示器120的位置和/或取向的变化，诸如关于真实环境中的物理对象。取向传感器110可选地包括一个或多个陀螺仪和/或一个或多个加速度计。
图1C至图1E示出了设备100a形式的***100的示例。在图1C至1E中，设备100a是移动设备，诸如蜂窝电话。图1C示出了执行虚拟现实技术的设备100a。设备100a在显示器120上显示虚拟环境160，该虚拟环境包括虚拟对象，诸如太阳160a、鸟160b和海滩160c。所显示的虚拟环境160和虚拟环境160的虚拟对象(例如，160a、160b、160c)都是计算机生成的图像。需注意，图1C中示出的虚拟现实环境不包括来自真实环境180的物理对象的表示，诸如人180a和树180b，即使真实环境180的这些元素在设备100a的图像传感器108的视野内。
图1D示出了使用透传视频执行混合现实技术，特别是增强现实技术的设备100a。设备100a正在显示器120上显示具有虚拟对象的真实环境180的表示170。真实环境180的表示170包括人180a的表示170a和树180b的表示170b。例如，该设备使用图像传感器108来捕获真实环境180的图像，这些图像经透传以在显示器120上显示。设备100a在人180a的表示170a的头部上覆盖帽子160d，该帽子是由设备100a生成的虚拟对象。设备100a相对于设备100a的位置和/或取向来跟踪物理对象的位置和/或取向，以使虚拟对象能够与来自增强现实环境中的真实环境的物理对象进行交互。在该示例中，设备100a考虑设备100a和人180a的移动，以将帽子160d显示为在人180a的表示170a的头部上，即使设备100a和人180a相对于彼此移动也是如此。
图1E示出了执行混合现实技术，特别是增强虚拟技术的设备100a。设备100a在显示器120上显示具有物理对象的表示的虚拟环境160。虚拟环境160包括虚拟对象(例如，太阳160a、鸟160b)和人180a的表示170a。例如，设备100a使用图像传感器108来捕获真实环境180中的人180a的图像。设备100a将人180a的表示170a放置在虚拟环境160中，以在显示器120上显示。设备100a相对于设备100a的位置和/或取向任选地跟踪物理对象的位置和/或取向，以使虚拟对象能够与来自真实环境180的物理对象进行交互。在该示例中，设备100a考虑设备100a和人180a的移动，以将帽子160d显示为在人180a的表示170a的头部上。值得注意的是，在该示例中，在执行混合现实技术时，即使树180b也在设备100a的图像传感器的视野内，设备100a也不显示树180b的表示。
图1F至图1H示出了设备100a形式的***100的示例。如图1F至1H所示，设备100a是被配置为佩戴在用户头部上的HMD设备，其中用户的每只眼睛观看相应的显示器120a和120b。图1F示出了执行虚拟现实技术的设备100a。设备100a在显示器120a和显示器120b上显示虚拟环境160，该虚拟环境包括虚拟对象，诸如太阳160a、鸟160b和海滩160c。所显示的虚拟环境160和虚拟对象(例如，160a、160b、160c)是计算机生成的图像。在该示例中，设备100a同时在显示器120a和显示器120b上显示对应的图像。对应的图像包括来自不同视点的相同虚拟环境160和虚拟对象(例如，160a、160b、160c)，从而产生视差效应，该视差效应向用户提供显示器上对象的立体感效应。需注意，图1F中示出的虚拟现实环境不包括来自真实环境的物理对象的表示，诸如人180a和树180b，即使人180a和树180b在执行虚拟现实技术时位于设备100a的图像传感器的视野内。
图1G示出了使用透传视频执行增强现实技术的设备100a。设备100a正在显示器120a和120b上显示具有虚拟对象的真实环境180的表示170。真实环境180的表示170包括人180a的表示170a和树180b的表示170b。例如，设备100a使用图像传感器108来捕获真实环境180的图像，这些图像经透传以在显示器120a和120b上显示。设备100a将计算机生成的帽子160d(虚拟对象)覆盖在人180a的表示170a的头部上，以在每个显示器120a和120b上显示。设备100a相对于设备100a的位置和/或取向来跟踪物理对象的位置和/或取向，以使虚拟对象能够与来自真实环境180的物理对象进行交互。在该示例中，设备100a考虑设备100a和人180a的移动，以将帽子160d显示为在人180a的表示170a的头部上。
图1H示出了使用透传视频执行混合现实技术，特别是增强虚拟技术的设备100a。设备100a在显示器120a和120b上显示具有物理对象的表示的虚拟环境160。虚拟环境160包括虚拟对象(例如，太阳160a、鸟160b)和人180a的表示170a。例如，设备100a使用图像传感器108来捕获人180a的图像。设备100a将人180a的表示170a放置在虚拟环境中，以在显示器120a和120b上显示。设备100a相对于设备100a的位置和/或取向任选地跟踪物理对象的位置和/或取向，以使虚拟对象能够与来自真实环境180的物理对象进行交互。在该示例中，设备100a考虑设备100a和人180a的移动，以将帽子160d显示为在人180a的表示170a的头部上。值得注意的是，在该示例中，在执行混合现实技术时，即使树180b也在设备100a的图像传感器108的视野内，设备100a也不显示树180b的表示。
图1I示出了设备100a形式的***100的示例。在图1I中，设备100a是被配置为佩戴在用户头上的HUD设备(例如，眼镜设备)，其中用户的每只眼睛观看相应的平视显示器120c和120d。图1I示出了使用平视显示器120c和120d执行增强现实技术的设备100a。平视显示器120c和120d是(至少部分地)透明显示器，因此允许用户结合平视显示器120c和120d观看真实环境180。设备100a在每个平视显示器120c和120d上显示虚拟帽子160d(虚拟对象)。设备100a相对于设备100a的位置和/或取向以及相对于用户眼睛的位置来跟踪真实环境中的物理对象的位置和/或取向，以使虚拟对象能够与来自真实环境180的物理对象进行交互。在该示例中，设备100a考虑设备100a的移动、用户眼睛相对于设备100a的移动，以及人180a在显示器120c和120d上的位置处至显示帽子160d的移动，使得用户看来帽子160d位于人180a的头部。
图2示出了用于实现使用现实界面来控制外部设备的各种技术的示例性***200。***200包括被配置为与外部设备228、230和232进行交互的用户设备202。用户设备202与***100中的设备100a、100b或100c(图1A-1B)中的一者或多者类似或相同。在一些实施方案中，用户设备202被配置为经由无线通信连接与外部设备228、230和232进行交互。无线通信连接例如经由一个或多个网络226而建立。网络226可包括Wi-FiTM网络或任何其他有线或无线公共或专用本地网络。除此之外或另选地，用户设备202使用例如近程通信协议、BluetoothTM、视线、对等网络或另外的基于无线电的通信或其他无线通信直接与电子设备228、230或232建立无线通信连接。因此，在例示的实施方案中，用户设备202可位于电子设备228、230和232附近，使得该用户设备与这些电子设备直接通信或通过相同的本地网络通信。例如，用户设备202以及电子设备228、230和232位于相同的物理环境(例如，家庭或建筑物的房间)内，并且网络226包括家庭或建筑物的Wi-FiTM网络。电子设备228、230和232可包括任何类型的远程控制的电子设备，诸如灯泡、车库门、门锁、恒温器、音频播放器、电视等。
现在参考图3A-图3F，描述了用于通过现实界面访问外部设备的功能的示例性技术。图3A示出了包括外部设备304、306和308的物理环境302。物理环境302是例如用户的物理环境。例如，在本实施方案中，用户可坐在他的客厅中，并且物理环境302是用户的起居室的直接位于用户前方的至少一部分。用户可能希望访问外部设备304、306和308中的一者的功能。如下文更详细所述，用户可利用由用户设备(例如，用户设备312)提供的现实界面来访问外部设备304、306和308中的一者的功能。
图3B示出了显示物理环境302的表示314的用户设备312。在本实施方案中，用户设备312是独立设备(例如，设备100a)，诸如手持式移动设备或独立的头戴式设备。应该认识到，在其他实施方案中，用户设备312可通信地耦接到另一个设备，诸如基础设备。例如，用户设备312可为可通信地耦接到另一设备(例如，设备100b)诸如包含CPU的基础设备的头戴式显示设备(例如，设备100c)。在这些实施方案中，下文描述的用于通过现实界面访问外部设备的功能的操作可以任何方式在用户设备312和另一设备之间进行划分。
此外，在本实施方案中，用户设备312的显示器313是不透明的，其中用户无法通过显示器313看到物理环境302。例如，从物理环境302的物理对象发射或反射的可见光无法通过显示器313大幅地透射(例如，小于5％的透射)。在其他实施方案中，显示器313是透明的，其中用户能够通过显示器313看到物理环境302。例如，从物理环境302的物理对象发射或反射的可见光能够通过显示器313大幅地透射(例如，大于40％的透射)。在一个实施方案中，显示器313为透明LCD(液晶显示器)或LED(发光二极管)显示器。在另一个实施方案中，用户设备312是具有集成显示器的一对透视近眼式眼镜。
用户设备312被配置为提供现实界面。该现实界面用于例如访问外部设备304、306和308中的一者的功能。外部设备304、306和308类似于上述图2的外部设备228、230和232。具体地，外部设备304、306和308是能够被用户设备312无线控制的设备。例如，外部设备304是具有诸如电源开/关、音量、频道、闭合字幕等功能的电视机。外部设备306是具有诸如电源开/关、音量、无线电调谐、播放列表选择等功能的音频***。外部设备308是具有诸如开/关和亮度调节(例如，调光)功能的灯。可使用由用户设备312提供的现实界面来访问外部设备304、306和308的这些示例性功能中的每一功能。虽然仅示出了三个电子设备304、306和308，但是应当理解，物理环境可包括任何数量的外部设备。
用户设备312检测物理环境302中的外部设备304、306和308。在该实施方案中，检测基于用户设备312与外部设备304、306和308之间的无线通信(如图3B中的线310所示)。在一些实施方案中，无线通信是近场或近程无线通信(例如，BluetoothTM)。用户设备312经由无线通信来接收来自外部设备304、306和308的识别信息，并且基于所接收的识别信息来识别外部设备304、306和308邻近用户设备312。在一些实施方案中，用户设备312传输请求和/或广播查询(例如，发现)，以使得外部设备304、306和308传输识别信息。在一些实施方案中，用户设备312响应于确定外部设备很可能(例如，高于置信度的阈值)在用户设备的图像传感器108的视野中来传输请求和/或广播查询。在其他实施方案中，外部设备304、306和308独立于用户设备312的任何查询、周期性地自动广播识别信息。因此，用户设备312在接收到来自外部设备304、306和308的相应识别信息时检测外部设备304、306和308。
在一些实施方案中，识别信息包括相应外部设备的标识符。例如，标识符是表示相应外部设备的一系列字符。在一些实施方案中，识别信息还包括指定由相应外部设备所提供的设备类型和/或功能的信息。在具体的实施方案中，从外部设备304接收的识别信息包括标识符“DISPLAY01”、设备类型“TELEVISION”和功能“ON/OFF”。
用户设备312获得物理环境302的图像数据。例如，用户设备312的一个或多个图像传感器(例如，图像传感器108)捕获物理环境302的图像数据。图像数据包括例如由图像传感器捕获的物理环境302的图像和/或视频。具体地，在一个实施方案中，图像数据包括由图像传感器捕获的物理环境的至少一部分的实时视频预览。
用户设备312根据所获得的图像数据来生成物理环境302的表示314。在一些实施方案中，该表示包括由图像传感器捕获的实时视频预览的至少一部分。在一些实施方案中，物理环境302的捕获图像和/或视频被聚集起来以组成物理环境302的表示314。如图3B所示，用户设备312在其显示器313上显示物理环境302的表示314作为由用户设备312提供的现实界面的一部分。在本实施方案中，由表示314所提供的视野仅表示从用户的视线位置观察到的物理环境302的一部分。具体地，表示314包括外部设备304的表示，但不包括外部设备306和308的表示。应当认识到，在其他实施方案中，视野可以改变。此外，在显示器313为透明的示例中，应当认识到，物理环境302的表示314未显示在用户设备312上。相反，由于从物理环境302发射或反射的光通过显示器313透射到用户的眼睛中，因此物理环境302的直接视图对用户是可见的。
用户设备312确定所显示的表示314是否包括检测到的外部设备304、306和308中的任一者。例如，用户设备312确定所显示的表示314是否包括外部设备304的表示。该确定可用于识别与用户希望通过现实界面访问的功能相关联的特定外部设备(304、306或308)。在一些实施方案中，通过确定所获得的图像数据是否包括外部设备304的表示来执行确定。在一个实施方案中，用户设备312确定图像数据的各部分与外部设备304的一个或多个存储图像之间的相似性量度。如果相似性量度大于预定阈值，则确定图像数据包括外部设备314的表示。相反地，如果相似性量度小于预定阈值，则确定图像数据不包括外部设备314的表示。如下文更详细地描述，可利用附加技术诸如三维对象识别、基于位置的相关等来确定所获得的图像数据是否包括外部设备304的表示。
在一些实施方案中，参考图3C，在用户设备312检测到外部设备304之前，用户设备312和外部设备304各自包含使得设备能够彼此建立无线通信连接(例如，近场或近程直接无线通信连接)的相应认证信息。例如，外部设备304和用户设备312在用户设备312检测到外部设备304之前配对。在这些实施方案中，在检测到外部设备304时，用户设备312建立与外部设备304的无线通信连接(例如，使用认证信息)。无线通信连接是例如无线网络连接(例如，经由Wi-FiTM网络的连接)。在一些实施方案中，无线通信连接是允许在用户设备312和外部设备304之间的安全无线通信信道上进行单跳点到点通信的直接对等无线通信连接(例如，BluetoothTM连接)。在建立无线通信连接之后，外部设备304向用户设备312提供关于在外部设备304上可用的当前功能的信息。例如，外部设备304向外部设备304传输指示电源开/关功能当前在外部设备304上可用的信息。
如图3C所示，根据确定图像数据包括外部设备314的表示，用户设备312在其显示器313上同时显示物理环境302的表示314和对应于指示在外部设备314上可用的一个或多个功能的示能表示316(例如，外部设备304的电源开/关功能)。在该实施方案中，示能表示316是物理环境302中不存在的虚拟对象，即使示能表示316的功能类似于物理电源按钮332的功能。当被用户激活时，示能表示316使得外部设备312要么打开外部设备304(在外部设备314关闭的情况下)要么关闭外部设备304(在外部设备314打开的情况下)。因此，示能表示316使得用户能够使用用户设备312所提供的现实界面来访问外部设备304的电源开/关功能。
在其他实施方案中，参考图3D，用户设备312和外部设备304尚未被授权彼此建立无线通信连接。具体地，尽管用户设备312和外部设备304能够彼此建立无线通信连接，但在用户设备312检测到外部设备304之前，设备不具备这样做所需的认证信息。例如，设备在用户设备312检测到外部设备304之前未彼此配对。在这些实施方案中，外部设备304向用户设备312提供指示其与用户设备312建立无线通信连接的能力的信息。该信息例如包括在由用户设备312从外部设备304接收的识别信息中。如图3D所示，根据确定图像数据包括外部设备304的表示，用户设备312在其显示器313上同时显示物理环境302的表示324和与外部设备304的无线通信连接功能对应的示能表示318。在本实施方案中，示能表示318在被激活时被配置为发起认证过程(例如，配对过程)，该认证过程将使得用户设备312和外部设备304能够彼此建立无线通信连接。更具体地，如果用户设备312通过现实界面检测到用户对示能表示316的激活，则用户设备312将使得认证信息分布在用户设备312和外部设备304之间。在一些实施方案中，在交换认证信息之后，用户设备312和外部设备304使用认证信息来建立用户设备312和外部设备304之间的无线通信连接。因此，示能表示318使得用户能够使用用户设备312所提供的现实界面来访问外部设备304的无线通信连接功能。
在一些实施方案中，外部设备304显示用于建立无线通信连接的所需认证信息。认证信息例如是密码或编码成密码的光学图案(可见的或不可见的)。所显示的信息由用户设备312的图像传感器以图像数据的形式捕获，并且处理图像数据以提取认证信息。然后，用户设备312使用所提取的认证信息来建立与外部设备304的无线通信连接。
应当认识到，在用户设备312的显示器313为透明的实施例中，示能表示(例如，316或318)显示在显示器313上，而无需显示物理环境302的实时图像(例如，表示314或324)，因为物理环境对用户是直接可见的。因此，从用户的角度来看，所显示的示能表示似乎被覆盖在通过透明显示器在背景中可见的物理环境中。在一些实施方案中，示能表示显示在显示器313上对应于外部设备304并且相对于用户眼睛的注视方向(例如，视线)的位置处。例如，示能表示(例如，314或324)被定位在显示器313上，使得从用户的角度看，示能表示(例如，314或324)似乎覆盖相应物理外部设备(例如，304)的至少一部分。
现在转向图4，其示出了用于通过现实界面访问外部设备的功能的示例性过程400的流程图。在以下描述中，过程400被描述为使用用户设备(例如，设备100a)来执行。用户设备例如是手持式移动设备或头戴式设备。应当认识到，在其他实施方案中，使用两个或更多个电子设备来执行过程400，这些电子设备例如可通信地耦接到另一设备(例如，设备100b)诸如基站设备的用户设备(例如，设备100c)。在这些实施方案中，过程400的操作以任何方式分布在用户设备与另一设备之间。此外，应当理解，用户设备的显示器可以是透明的或不透明的。尽管在图4中以特定顺序描绘了过程400的框，但是应当理解，可以以任何顺序执行这些框。此外，过程400的一个或多个框可以是任选的和/或可以执行附加框。
在框402处，检测物理环境(例如，物理环境302)的一个或多个外部设备(例如，外部设备304、306和308)。在一些实施方案中，检测基于用户设备和一个或多个外部设备之间的无线通信(例如，近场或近程无线通信，诸如BluetoothTM或Wi-Fi DirectTM)。具体地，用户设备检测在用户设备的无线范围内(例如，在预定距离内)的一个或多个外部设备。在一个实施方案中，用户设备以无线方式传输(例如，广播)由物理环境中一个或多个外部设备所接收的请求和/或查询信号。当由一个或多个外部设备接收时，查询信号使得一个或多个外部设备将识别信息传输给用户设备。因此，用户设备在从一个或多个外部设备接收到识别信息时检测一个或多个外部设备。如上所述，在一些实施方案中，识别信息包括一个或多个外部设备中的每个相应外部设备的标识符。例如，标识符是表示相应外部设备的一系列字符。
在其他实施方案中，一个或多个外部设备中的每一者无线地将识别信息广播到周围区域中。例如，一个或多个外部设备周期性地并且独立于来自用户设备的任何查询信号地自动广播识别信息。在这些实施方案中，用户设备在接收到广播的识别信息时检测一个或多个外部设备。
在一些实施方案中，用户设备从一个或多个外部设备接收指定用于每个相应外部设备的设备类型的信息。在一些实施方案中，所接收的信息指定可无线访问或控制的每个相应外部设备的一个或多个功能。在一些实施方案中，指定设备类型和/或设备功能的信息包括在从一个或多个外部设备接收的识别信息中。在其他实施方案中，在检测到一个或多个外部设备时，用户设备从一个或多个外部设备获得指定设备类型和/或设备功能的信息。具体地，在检测到一个或多个外部设备时，用户设备向一个或多个外部设备发送请求，该请求在被一个或多个外部设备接收时使得该一个或多个外部设备向用户设备提供指定设备类型和/或功能的信息。
在框404处，获得物理环境的至少一部分的图像数据。例如，所获得的图像数据由用户设备的一个或多个图像传感器(例如，图像传感器108)来捕获。在一些实施方案中，图像数据基本上对应于从用户的视线位置观察到的物理环境的一部分。在一些实施方案中，图像数据包括由图像传感器捕获的物理环境的一系列图像和/或视频预览。物理环境是用户或用户设备周围的任何物理环境。例如，物理环境包括用户家庭的区域(例如，厨房、客厅、卧室、车库等)、用户工作场所环境(例如，办公室、会议室、大厅等)的一部分、学校环境(例如，教室)或公共环境(例如，餐厅、图书馆等)。
在框406处，根据框404的所获得的图像数据来显示(例如，在用户设备的显示器上)物理环境的表示(例如，表示314)。物理环境的表示是由用户设备提供的现实界面的一部分，并且使用所获得的图像数据来创建。具体地，物理环境的表示包括物理环境中的物理对象(例如，外部设备304)的表示。在一些实施方案中，物理环境的表示包括由图像传感器捕获的物理环境的实时视频预览。在一些实施方案中，实时视频预览的图像特征(例如，对比度、亮度、遮光等)未被显著地修改。另选地，对实时视频预览的图像特征进行修改以提高图像清晰度或强调现实环境中的相关特征。在一些实施方案中，物理环境的表示是对应于物理环境而生成的虚拟环境。在使用具有透明显示器的用户设备执行过程400的示例中，框406是可选的。
在框408处，确定用户注视方向。例如，用户的第二图像数据由用户设备的一个或多个第二图像传感器(例如，图像传感器124)来捕获。具体地，第二图像传感器在与框404的图像传感器相对的方向上面向用户。由第二图像传感器捕获的第二图像数据包括例如用户眼睛的图像数据(例如，图像和/或视频)。使用用户眼睛的图像数据来确定每只用户眼睛的用户注视方向。具体地，确定用户角膜的中心、用户瞳孔的中心和用户眼球的旋转中心以确定用户眼睛的视觉轴位置。每只用户眼睛的视觉轴限定用户注视方向。注视方向也可称为注视向量或视线。
如下文更详细地描述，本公开设想了其中用户可选择性地阻止使用或访问个人信息数据的实施方案，该个人信息数据诸如用户眼睛的图像数据、包含所确定的用户注视方向和/或框410中所确定的感兴趣区域的数据。例如，过程400可允许用户选择“选择加入”或“选择退出”此类个人信息数据的采集和/或使用。在一些实施方案中，用户可选择仅在用户设备(例如，设备100a或设备100b)上采集和处理此类个人信息数据，并且阻止此类个人信息数据未经授权地传输到任何远程设备。
在框410处，基于框408的第二图像数据来确定所显示的物理环境的表示中的感兴趣区域。在一些实施方案中，感兴趣区域对应于框406的所显示的表示中的用户将他/她的目光凝聚在视野内的区域。例如，使用在框408处确定的用户注视方向来确定感兴趣区域。例如，每只用户眼睛的视觉轴被推断落在所显示的物理环境的表示的平面上。在一些实施方案中，所显示的物理环境的表示的平面对应于用户设备的显示器的平面。感兴趣区域为例如物理环境的表示的一部分，在该部分中用户眼睛的推断视觉轴与所显示的物理环境的表示的平面相交。
图3E示出了框410。如图所示，物理环境302的表示320显示在用户设备312上(例如，根据框406)。在该实施方案中，与图3B中所示的表示314相比，表示320具有更大的视野。具体地，表示320包括设备304和306的表示。在该实施方案中，过程400确定用户眼睛的推断视觉轴在由虚线322限定的区域处与表示320的平面相交。因此，在该实施方案中，由虚线322限定的表示320的部分是感兴趣区域。在一些实施方案中，所确定的感兴趣区域用于在表示320的视野中消除两个或更多个可能的电子设备之间的歧义。具体地，在这些实施方案中，基于所确定的感兴趣区域，可确定用户意图是访问设备304而不是设备306的功能。如将在下文的描述中显而易见的，确定感兴趣区域可减少将框406的所显示表示中的所表示的对象与用户希望访问的对应检测到的外部设备相关联所需的计算量。
应当认识到，在使用具有透明显示器的用户设备来执行过程400的示例中，感兴趣区域对应于用户正将其目光凝聚的物理环境中的区域。例如，感兴趣区域由用户眼睛的推断视觉轴与物理环境的一个或多个表面相交的区域限定。
在一些实施方案中，框408和410可在框412之前执行。另外，在一些实施方案中，在框406处显示物理环境的表示时执行框408和410。
在框412处，确定框404的图像数据是否包括一个或多个检测到的外部设备中的第一外部设备的表示。例如，如上文参考图3B所述，确定所显示的物理环境302的表示314是否包括外部设备304的表示。框412的确定用于将框402的检测到的外部设备中的一者或多者映射到框406的所显示表示中的一个或多个所表示的对象。这样，可识别与用户希望访问的功能相关联的特定外部设备，并因此可建立与外部设备的合适的通信以获得对其功能的访问权。在一些实施方案中，响应于获得框404的图像数据而自动执行框412。在一些实施方案中，在继续获得图像数据(框404)和/或在显示物理环境的表示(框406)时执行框412。
通过分析所获得的物理环境302的图像数据来执行确定。可使用所获得的图像数据来实现各种技术，以确定图像数据是否包括第一外部设备的表示。在一些实施方案中，实现图像识别(二维或三维)以确定图像数据是否包括第一外部设备的表示。在这些实施方案中，将图像数据的各部分与多个存储图像进行比较。多个存储图像例如被存储在数据库中。多个存储图像中的每个存储图像对应于相应的外部设备。例如，数据库的索引将每个存储图像与相应的外部设备相关联。具体地，索引将每个存储图像映射到相应外部设备的相应标识符、设备类型和/或设备功能。在一些实施方案中，多个存储图像中的一个或多个存储图像是第一外部设备的已知图像。过程400确定对多个存储图像中的每个存储图像的相应相似性量度。对相应存储图像的相似性量度表示图像数据的各部分与相应的存储图像匹配的程度。
在一些实施方案中，如果确定对应于第一外部设备的一个或多个存储图像的相似性量度大于预定阈值，则确定图像数据包括第一外部设备的表示。相反地，如果确定相似性量度不大于预定阈值，则确定图像数据不包括第一外部设备的表示。在一些实施方案中，根据所确定的相似性量度对多个存储图像中的每一者进行排序。如果确定N个排名最高的存储图像(其中N为预先确定的正整数)对应于第一外部设备，则确定图像数据包括第一外部设备的表示。相反地，如果确定N个排名最高的存储图像(其中N为预先确定的正整数)不对应于第一外部设备，则确定图像数据不包括第一外部设备的表示。
在一些实施方案中，使用三维对象识别技术来进行框412的确定。具体地，在获得图像数据(框404)的同时，获得物理环境的深度信息。深度信息用于生成物理环境的三维表示。在一些实施方案中，生成物理环境的三维表示包括生成物理环境的深度图。深度图的每个像素与相机和由相应像素表示的物理环境的表面之间的相应距离信息相关联。
在一些实施方案中，使用飞行时间分析来获得深度信息。具体地，红外光源将红外光发射到物理环境，并且红外传感器检测来自物理环境中的一个或多个对象的表面的反向散射光。在一些实施方案中，所发射的红外光为红外光脉冲，并且测量发射红外线脉冲和检测对应的反向散射光脉冲之间的时间，以确定从红外传感器到物理环境中的一个或多个对象的表面的物理距离。
在一些实施方案中，通过使用光源(例如，可见或不可见光源)将光图案投射到物理环境中来获得深度信息。光图案为例如具有已知间距的点或线的网格。然后使用相机(例如，光传感器，诸如图像传感器或红外传感器)来捕获投射的光图案。使用在物理环境中的一个或多个对象的表面上的投射光图案的变形来确定红外传感器与物理环境中的一个或多个对象的表面之间的物理距离。
在一些实施方案中，使用利用两个或更多个图像传感器所捕获的物理环境的图像数据(例如，在框404处)来获得深度信息。在这些实施方案中，用户设备包括间隔开已知距离的两个相机。每个相机的图像传感器捕获物理环境的图像信息。在这些实施方案中，物理环境的深度信息由两个相机的立体效果确定。具体地，使用两个相机的所捕获的图像信息中的公共对象之间的距离偏移(例如，视差)来确定物理环境的深度信息。
在一些实施方案中，使用利用一个图像传感器所捕获的物理环境的图像数据来获得深度信息。例如，将视觉惯性测程(VIO)技术应用于图像数据以确定深度信息。
使用三维对象识别，将所生成的物理环境的三维表示的各部分与多个存储的三维设备表示进行比较。多个存储的三维设备表示例如被存储在数据库中。每个存储的三维设备表示对应于相应的外部设备。在一些实施方案中，多个存储的三维设备表示中的一个或多个存储的三维设备表示为第一外部设备的三维表示。过程400确定每个三维设备表示的相应相似性量度。相应三维设备表示的相似性量度是物理环境的三维表示的各部分与相应存储的三维设备表示匹配的程度。使用所确定的针对多个存储的三维设备表示的相似性量度，可确定图像数据是否包括第一外部设备的表示。例如，该确定基于将相似性量度与预定阈值进行比较或者根据相似性量度对三维设备表示进行排序来进行，如上文关于图像识别所述。
在一些实施方案中，使用机器学习分类器(例如，经过训练的神经网络模型)来确定图像数据是否包括第一外部设备的表示。在这些实施方案中，对图像数据进行处理以确定图像数据的向量表示。机器学习分类器被配置为接收向量表示并基于所接收的向量表示来确定一组概率。该组概率中的每个概率是图像数据包括相应外部设备的表示的概率。例如，该组概率值包括图像数据包括第一外部设备的表示的概率，以及任选地，指示图像数据包括其他相应设备的表示的可能性的一个或多个附加概率。在一些实施方案中，如果图像数据包括第一外部设备的表示的概率大于预定阈值，则确定图像数据包括第一外部设备的表示。相反地，如果图像数据包括第一外部设备的表示的概率不大于预定阈值，则确定图像数据不包括第一外部设备的表示。除此之外或另选地，如果图像数据包括第一外部设备的表示的概率是一组概率之中的最高概率，则确定图像数据包括第一外部设备的表示。相反地，如果图像数据包括第一外部设备的表示的概率不是一组概率之中的最高概率，则确定图像数据不包括第一外部设备的表示。
在一些实施方案中，使用在框402处从一个或多个检测到的外部设备接收的识别信息来确定图像数据是否包括第一外部设备的表示。例如，使用识别信息来缩减在框412处要考虑的外部设备的数量。具体地，如果使用图像识别来确定图像数据是否包括第一外部设备的表示，则仅将对应于一个或多个检测到的外部设备的识别信息(例如，对应于相同设备标识符、设备类型和/或设备功能)的存储图像与图像数据进行比较。这可减少确定图像数据是否包括第一外部设备的表示所需的计算量。
类似地，在一些实施方案中，使用在框410处确定的感兴趣区域来确定图像数据是否包括第一外部设备的表示。类似于从一个或多个检测到的外部设备接收的识别信息，所确定的感兴趣区域可减少在框412处所需的计算量。具体地，在这些实施方案中，仅分析对应于所确定的感兴趣区域的图像数据的一部分以确定图像数据是否包括第一外部设备的表示。例如，如果使用图像识别来确定图像数据是否包括第一外部设备的表示，则仅将对应于所确定的感兴趣区域的图像数据的一部分与多个存储图像进行比较。类似地，如果使用三维对象识别来确定图像数据是否包括第一外部设备的表示，则仅将生成的与感兴趣区域对应的物理环境的三维表示的部分与多个存储的三维设备表示进行比较。
在一些实施方案中，基于在一个或多个检测到的外部设备上显示的光学标识符来进行框412的确定。具体地，当物理环境的至少一部分的图像数据正被捕获时(框404)，框402的检测到的外部设备中的一者或多者显示光学标识符。对图像数据是否包括第一外部设备的表示的确定基于对应于光学标识符的图像数据的一部分。
例如，如图3F所示，外部设备304显示光学标识符328。光学标识符328例如对于外部设备304是唯一的。具体地，由物理环境302中的任何其他外部设备所显示的光学标识符不同于光学标识符328。在一些实施方案中，光学标识符328的至少一部分在不可见光谱(例如，紫外光或红外光)中显示。在一些实施方案中，外部设备304响应于接收到来自用户设备312的请求而显示光学标识符328。具体地，在一个实施方案中，用户设备312传输请求和/或查询信号(框402)，该请求和/或查询信号在被外部设备304接收时使得外部设备304显示光学标识符328以及传输识别信息。在另一个实施方案中，响应于检测到外部设备304(框402)，用户设备312向外部设备304发送单独的请求，该单独的请求在被外部设备304接收时使得外部设备304显示光学标识符328。在其他示例中，外部设备304独立于用户设备312显示光学标识符328。例如，当处于待机模式或等待与用户设备建立连接时，外部设备304自动显示光学标识符328作为屏幕保护程序。
在一些实施方案中，由用户设备312的图像传感器捕获的框404的图像数据的一部分对应于所显示的光学标识符328。用户设备312根据框404的图像数据来显示物理环境302的表示326(框406)。如图3F所示，表示326包括显示在外部设备304上的光学标识符328的表示330。在一些实施方案中，使用光学标识符328的表示330或与光学标识符328对应的图像数据的一部分来确定图像数据是否包括外部设备304的表示。
在一些实施方案中，将光学标识符328的表示330(即，对应于光学标识符328的图像数据的一部分)与跟外部设备304对应的光学标识符的一个或多个存储图像进行比较。使用该比较来确定图像数据是否包括外部设备304的表示。例如，数据库包含光学标识符的多个存储图像。相应光学标识符的每个存储图像对应于相应的外部设备。多个存储图像包括与外部设备304对应的光学标识符328的一个或多个存储图像。确定针对光学标识符的多个存储图像中的每一者的相应的相似性量度。针对光学标识符的相应存储图像的相似性量度表示光学标识符328的表示330和相应的存储图像之间(或对应于光学标识符328的图像数据的一部分和相应的存储图像之间)的匹配程度。使用所确定的针对光学标识符的多个存储图像的相似性量度，可确定图像数据是否包括外部设备304的表示。例如，如果确定与外部设备304对应的针对光学标识符328的一个或多个存储图像的相似性量度超过预定阈值，则确定图像数据包括外部设备304的表示。除此之外或另选地，如果确定针对光学标识符328的一个或多个存储图像的相似性量度在针对光学标识符的多个存储图像的相似性量度中是最高的，则确定图像数据包括外部设备304的表示。
在一些实施方案中，光学标识符328对用于识别外部设备304的信息进行编码。该信息在例如在不可见光谱中显示的光学标识符328的一部分中被编码。在一些实施方案中，光学标识符328包括表示识别外部设备304的信息的条形码(例如，一维或二维条形码)。在一些实施方案中，首先确定光学标识符328是否对信息进行编码。如果确定光学标识符328包括编码信息，则处理对应于光学标识符328的图像数据的一部分以提取(例如，解码)编码信息。对图像数据是否包括外部设备304的表示的确定基于所提取的编码信息。例如，所提取的编码信息包括识别外部设备304的信息(例如，识别外部设备304的字符串)。将所提取的编码信息与从在框402处的外部设备304、306和308接收的识别信息进行比较。如果确定所提取的编码信息与从在框402处的外部设备304接收的识别信息对应(例如，匹配)，则确定图像数据包括外部设备304的表示。
在一些实施方案中，使用位置信息来执行对图像数据是否包括第一外部设备的表示的确定。在这些实施方案中，使用框406的图像数据来确定对应于物理环境的位置。例如，将框406的图像数据与跟各种物理环境的各种已知位置对应的多个存储图像进行比较。例如，多个存储图像包括用户家中的不同位置(例如，客厅、厨房、主卧室、车库等)的存储图像。除此之外或另选地，多个存储图像包括用户工作场所的不同位置(例如，特定的会议室、公共区域、独立办公室等)的存储图像。如果框406的图像数据匹配(例如，相似性量度大于预定阈值)对应于用户客厅的一个或多个存储图像，则将确定用户(或用户设备)位于用户家中的客厅。另外，使用查找表或数据库，确定对应于所确定位置的外部设备。例如，如果确定用户的位置仅有一个外部设备，则在框404的图像数据中所捕获的任何外部设备将很可能是所确定位置的外部设备。因此，通过使用图像数据来确定位置信息，可减少在框412处要考虑的外部设备的数量，这就减少了在框412处所需的计算量。
在一些实施方案中，根据确定图像数据包括第一外部设备的表示，执行框414和/或416。另选地，根据确定图像数据不包括第一外部设备的表示，重复框404到框412中的一者或多者。
尽管框412中描述的实施方案利用所获得的图像数据来确定用户希望访问的特定外部设备，但应当理解，在一些实施方案中，附加地或另选地使用其他类型的数据来确定用户希望访问的特定外部设备。例如，在一些实施方案中，使用来自除图像传感器之外的传感器的数据来确定用户希望访问的特定外部设备。在一些实施方案中，分析从一个或多个检测到的外部设备接收的无线信号以确定用户希望访问的特定外部设备。在一些实施方案中，无线信号不通过用户设备与一个或多个检测到的外部设备之间建立的直接无线通信连接进行传输。在一些实施方案中，基于从一个或多个检测到的外部设备接收的无线信号(例如，Wi-FiTM或BluetoothTM)，确定第一外部设备(而不是例如其他检测到的外部设备)在距用户设备的预定距离范围内。基于该确定，第一外部设备被确定为用户希望访问的外部设备。在一些实施方案中，基于从一个或多个检测到的外部设备接收的无线信号，确定用户设备能够与第一外部设备建立直接无线通信连接。例如，用户设备和/或第一外部设备具有用于建立彼此间(而非与其他检测到的外部设备)的直接无线通信连接的所需认证信息。基于该确定，第一外部设备被确定为用户希望访问的外部设备。在一些实施方案中，根据确定第一外部设备是用户希望访问的外部设备，执行框414和416中的一者或多者。
在框414处，与第一外部设备建立无线通信连接。例如，在用户设备和第一外部设备之间建立无线通信连接。在一些实施方案中，无线通信连接是近场或近程无线通信连接(例如，BluetoothTM、Wi-Fi DirectTM等)。在一些实施方案中，无线通信连接是用户设备和第一外部设备之间的直接无线连接。具体地，无线通信连接是用户设备和第一外部设备之间的直接单跳、点到点无线通信信道。在一些实施方案中，根据在框414处确定图像数据包括第一外部设备的表示来执行框414。具体地，根据确定图像数据包括第一外部设备的表示，用户设备发起在用户设备和第一外部设备之间建立无线通信连接的连接过程。在其他实施方案中，根据在框402处检测到第一外部设备来执行框414。在这些实施方案中，在检测到第一外部设备时，用户设备发起在用户设备和第一外部设备之间建立无线通信连接的连接过程。
用于建立无线通信连接的过程包括例如在用户设备和第一外部设备之间交换连接信息。在一些实施方案中，用户设备和/或第一外部设备被预先授权以建立无线通信连接(例如，先前对设备进行配对)。在这些实施方案中，在不交换认证信息的情况下建立无线通信连接。在其他实施方案中，用户设备和/或第一外部设备需要授权才能建立无线通信连接。在这些实施方案中，用于建立无线通信连接的过程包括交换认证信息(例如，经由配对)。在一个实施方案中，用户设备使得第一外部设备显示认证信息(例如，显示密码或用密码编码的光学图案)。在一些实施方案中，认证信息显示在不可见光谱中。所显示的认证信息通过用户设备的图像传感器以图像数据的形式被捕获。然后对所捕获的图像数据进行处理以提取认证信息，并且使用所提取的认证信息来获得用于建立无线通信连接的授权。
在框416处，根据图像数据的物理环境(例如，物理环境302)的表示(例如，表示314)和与第一外部设备的功能对应的示能表示(例如，示能表示316)同时显示在显示器(例如，显示器120)上。如本文所用，术语“示能表示”是指用户交互式图形用户界面对象。例如，图像或虚拟按钮各自任选地构成示能表示。在一些实施方案中，示能表示显示在物理环境的表示中对应于第一外部设备的位置处。例如，如图3C所示，示能表示316显示在与第一外部设备的表示的一部分重叠的位置处。在一些实施方案中，示能表示显示在与跟正被访问的功能相关联的第一外部设备的一部分对应的位置处。例如，如图3C所示，示能表示316显示在与外部设备304的物理电源开/关按钮332对应的位置处。示能表示被配置为使得检测对所显示示能表示的用户激活使得第一外部设备执行对应于该功能的动作。例如，响应于检测到对所显示的示能表示的用户激活，用户设备向第一外部设备发送指令(例如，经由已建立的无线通信连接)，该指令在被第一外部设备接收时使得第一外部设备执行对应于该功能的动作。
在一些实施方案中，在显示示能表示之前，框416包括基于从第一外部设备接收的信息来从多个候选示能表示中确定示能表示。在一些实施方案中，在检测到第一外部设备(框402)时接收信息。在其他实施方案中，在与第一外部设备建立无线通信连接(框414)时接收信息。该信息包括例如第一外部设备的一个或多个可用功能。基于可用功能，从多个候选示能表示中选择示能表示并且将其与物理环境的表示同时显示。
在一些实施方案中，从第一外部设备接收的信息指定第一外部设备的操作状态(例如，电源开/关状态、当前频道、当前音量水平、正在播放的当前媒体文件等)。在这些实施方案中，第一外部设备的操作状态的表示附加地或另选地与物理环境的表示同时显示。在一些实施方案中，操作状态的表示是在被用户激活时使得关于第一电子设备的操作状态的更详细信息与物理环境的表示同时显示的示能表示。例如，所显示的操作状态的表示是指示第一外部设备正在播放音频文件的示能表示。在检测到用户激活所显示的操作状态的表示时，显示关于正在播放的音频文件的附加信息(例如，标题、艺术家等)。
在一些实施方案中，操作状态的表示与所显示的被配置为访问第一电子设备的功能的示能表示集成在一起。例如，在一个实施方案中，参考图3C，从外部设备304接收的信息指定外部设备304当前处于“关机”状态。基于该操作状态，示能表示316包括该操作状态的表示(例如，红色或闪烁指示)。对示能表示316的用户激活使得外部设备304接通电源。
应当认识到，在使用具有透明显示器的用户设备执行过程400的示例中，与第一外部设备的功能对应的示能表示被显示在透明显示器上，而不显示物理环境的表示。因此，从用户的角度来看，所显示的示能表示似乎被覆盖在通过透明显示器在背景中可见的物理环境中。在一些实施方案中，示能表示显示在透明显示器上对应于第一外部设备并且相对于用户眼睛的注视方向(例如，视线)的位置处。例如，示能表示被定位在透明显示器上，使得从用户的角度看，示能表示似乎覆盖通过透明显示器在背景中可见的第一外部设备的至少一部分。
出于例示和描述的目的给出了具体实施方案的前述描述。它们并非旨在穷举或将权利要求的范围限制于所公开的精确形式，并且应当理解，鉴于上述教导，许多修改和变型是可能的。
本发明技术的一个方面包括采集和使用能够从各种来源获得的数据，以利用现实界面来改进对外部设备的功能的访问。本公开设想，在一些情况下，该所采集的数据可包括唯一地识别或可用于定位具体人员的个人信息数据。此类个人信息数据可包括用户眼睛的图像数据、用户注视方向数据、感兴趣区域数据、人口统计数据、基于位置的数据、电话号码、电子邮件地址、twitter ID、家庭地址或任何其他识别信息或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于使用现实界面更有效地访问外部设备的功能。例如，利用基于用户注视方向所确定的用户的感兴趣区域可减少使用现实界面访问外部设备的功能所需的计算量。此外，本公开还预期个人信息数据有益于用户的其他用途。
本公开设想负责采集，分析，公开，传输，存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应实施并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。用户可以方便地访问此类策略，并应随着数据的采集和/或使用变化而更新。用户的个人信息应采集为实体的合法和合理使用，而不应在这些合法使用之外共享或销售。此外，在收到用户知情同意后，应进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保其他有权访问个人信息数据的人遵守其隐私政策和流程。另外，此类实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，收集或访问某些健康数据可能受联邦和/或州法律的约束，诸如健康保险携带与责任法案(HIPAA)；而其他国家的健康数据可能受其他法规和政策的约束并且应予以相应处理。因此，应针对每个国家不同的个人数据类型保持不同的隐私实践。
不管前述情况如何，本公开还设想用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开设想可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，本技术可被配置为允许用户在现实***的建立期间或其后随时选择参与采集个人信息数据的“选择加入”或“选择退出”。又如，用户可仅在用户设备上选择收集和利用某些个人信息，诸如用户眼睛的图像数据、用户注视方向和/或用户的感兴趣区域，并且不向任何远程设备(例如，提供第三方服务的远程服务器)提供此类个人信息数据。在另一个示例中，用户可选择限制此类个人信息数据被存储或维护的时间长度，或完全禁止用户注视方向或用户感兴趣区域的确定。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，用户可能在现实***建立期间收到将采集个人信息数据的通知，然后在操作期间访问个人信息数据之前再次被提醒。
此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据采集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用中，数据去标识可用于保护用户的隐私。在适当的情况下，可以通过移除特定标识符(例如，出生日期等)、控制存储的数据的量或特征(例如，在城市级而非地址级收集位置数据)、控制数据的存储方式(例如，在用户之间聚合数据)和/或其它方法来促进去标识。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可使用基于非个人信息数据或绝对最低量的个人信息(诸如，非常有限的用户眼睛图像数据、对用户设备可用的其他非个人信息、或可公开获得的信息)的现实界面来访问外部设备的功能。

Claims (24)

1.一种方法，所述方法包括：
在具有处理器和存储器的电子设备处：
检测一个或多个外部设备；
获得由图像传感器捕获的物理环境的图像数据；
确定所述图像数据是否包括所检测的所述一个或多个外部设备中的第一外部设备的表示；以及
根据确定所述图像数据包括所述第一外部设备的表示：
使显示器同时显示：
根据所述图像数据的所述物理环境的表示；以及
与所述第一外部设备的功能对应的示能表示，其中检测对所显示的示能表示的用户激活使得所述第一外部设备执行与所述功能对应的动作。
2.根据权利要求1所述的方法，其中检测所述一个或多个外部设备还包括：
提供查询信号以使得所述一个或多个外部设备传输识别信息；以及
接收所述一个或多个外部设备的所述识别信息。
3.根据权利要求2所述的方法，其中对所述图像数据是否包括所述第一外部设备的表示的所述确定基于所接收的识别信息。
4.根据权利要求1至3中任一项所述的方法，还包括：
从所述第一外部设备获得指定所述功能的信息；以及
基于指定所述功能的所述信息从多个候选示能表示中确定所述示能表示。
5.根据权利要求1至4中任一项所述的方法，其中确定所述图像数据是否包括所述第一外部设备的表示还包括：
将所述图像数据的各部分与多个存储图像进行比较，其中所述多个存储图像中的一个或多个存储图像对应于所述第一外部设备。
6.根据权利要求1至5中任一项所述的方法，其中确定所述图像数据是否包括所述第一外部设备的表示还包括：
在获得所述图像数据的同时，使用所述电子设备的深度传感器来获得所述物理环境的深度信息；
使用所述深度信息生成所述物理环境的三维表示；以及
将所述物理环境的所述三维表示的各部分与多个存储的三维设备表示进行比较，其中所述多个存储的三维设备表示中的一个或多个存储的三维设备表示对应于所述第一外部设备。
7.根据权利要求1至6中任一项所述的方法，其中当所述图像数据被所述图像传感器捕获时，在所述第一外部设备上显示光学标识符，并且其中对所述图像数据是否包括所述第一外部设备的表示的所述确定基于对应于所述光学标识符的所述图像数据的一部分。
8.根据权利要求7所述的方法，还包括：
响应于检测到所述第一外部设备，使得所述第一外部设备显示所述光学标识符。
9.根据权利要求7至8中任一项所述的方法，其中所显示的所述物理环境的表示包括基于所述图像数据的所述一部分的所述光学标识符的表示，并且其中确定所述图像数据是否包括所述第一外部设备的表示还包括：
将所述光学标识符的所述表示与所述光学标识符的对应于所述第一外部设备的一个或多个存储图像进行比较。
10.根据权利要求7至9中任一项所述的方法，还包括：
在确定所述光学标识符包括编码信息时，处理所述图像数据的所述一部分以提取所述编码信息，其中对所述图像数据是否包括所述第一外部设备的表示的所述确定基于所述编码信息。
11.根据权利要求10所述的方法，还包括：
使用所述编码信息建立与所述第一外部设备的无线通信连接。
12.根据权利要求1至11中任一项所述的方法，其中确定所述图像数据是否包括所述第一外部设备的表示还包括：
基于所述图像数据确定所述图像数据包括所述第一外部设备的表示的概率；以及
确定所述概率是否超过预定阈值。
13.根据权利要求1至12中任一项所述的方法，还包括：
基于所述图像数据来确定对应于所述物理环境的位置，其中对所述图像数据是否包括所述第一外部设备的表示的所述确定基于所确定的位置。
14.根据权利要求1至13中任一项所述的方法，还包括：
在确定所述图像数据是否包括所述第一外部设备的表示之前：
在显示所述物理环境的所述表示时，基于由所述电子设备的第二图像传感器所捕获的用户的第二图像数据来确定用户注视方向；以及
基于所确定的注视方向来确定所述物理环境的所述表示中的感兴趣区域，其中对所述图像数据是否包括所述第一外部设备的表示的所述确定基于所确定的感兴趣区域。
15.根据权利要求1至14中任一项所述的方法，还包括：
根据确定所述图像数据包括所述第一外部设备的表示，通过与所述第一外部设备交换连接信息来在所述电子设备和所述第一外部设备之间建立无线通信连接。
16.根据权利要求15所述的方法，还包括：
根据确定所述图像数据包括所述第一外部设备的表示：
使得所述第一外部设备显示认证信息；
获得由所述图像传感器所捕获的所述物理环境的第三图像数据，其中所述第三图像数据的一部分对应于显示在所述第一外部设备上的所述认证信息；以及
从所述第三图像数据的所述一部分中提取所述认证信息，其中所述无线通信连接使用所提取的认证信息来建立。
17.根据权利要求15至16中任一项所述的方法，还包括：
在建立所述无线通信连接之后：
从所述第一外部设备接收指定所述第一外部设备的操作状态的信息；以及
使所述显示器同时显示：
根据所述图像数据的所述物理环境的所述表示；以及
所述设备中指定的所述第一外部设备的所述操作状态的表示。
18.根据权利要求1至17中任一项所述的方法，其中所述示能表示在与所述第一外部设备的所述表示对应的位置处被显示在所显示的所述物理环境的表示中。
19.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至18中任一项所述的方法的指令。
20.一种电子设备，所述电子设备包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至18中任一项所述的方法的指令。
21.一种电子设备，所述电子设备包括用于执行根据权利要求1至18中任一项所述的方法的装置。
22.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
检测一个或多个外部设备；
获得由图像传感器捕获的物理环境的图像数据；
确定所述图像数据是否包括所检测的所述一个或多个外部设备中的第一外部设备的表示；以及
根据确定所述图像数据包括所述第一外部设备的表示：
使显示器同时显示：
根据所述图像数据的所述物理环境的表示；以及
与所述第一外部设备的功能对应的示能表示，其中检测对所显示的示能表示的用户激活使得所述第一外部设备执行与所述功能对应的动作。
23.一种电子设备，所述电子设备包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
检测一个或多个外部设备；
获得由图像传感器捕获的物理环境的图像数据；
确定所述图像数据是否包括所检测的所述一个或多个外部设备中的第一外部设备的表示；以及
根据确定所述图像数据包括所述第一外部设备的表示：
使显示器同时显示：
根据所述图像数据的所述物理环境的表示；以及
与所述第一外部设备的功能对应的示能表示，其中检测对所显示的示能表示的用户激活使得所述第一外部设备执行与所述功能对应的动作。
24.一种电子设备，所述电子设备包括：
用于检测一个或多个外部设备的装置；
用于获得由图像传感器所捕获的物理环境的图像数据的装置；
用于确定所述图像数据是否包括所检测的所述一个或多个外部设备中的第一外部设备的表示的装置；以及
用于响应于确定所述图像数据包括所述第一外部设备的表示进行下述操作的装置：
使显示器同时显示：
根据所述图像数据的所述物理环境的表示；以及
与所述第一外部设备的功能对应的示能表示，其中检测对所显示的示能表示的用户激活使得所述第一外部设备执行与所述功能对应的动作。
CN201880055893.6A 2017-09-29 2018-09-28 使用现实界面访问外部设备的功能 Active CN111052046B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762566073P 2017-09-29 2017-09-29
US201762566080P 2017-09-29 2017-09-29
US201762566206P 2017-09-29 2017-09-29
US62/566,073 2017-09-29
US62/566,206 2017-09-29
US62/566,080 2017-09-29
US201862734678P 2018-09-21 2018-09-21
US62/734,678 2018-09-21
PCT/US2018/053415 WO2019067895A1 (en) 2017-09-29 2018-09-28 ACCESSING EXTERNAL DEVICE FUNCTIONS USING REALITY INTERFACES

Publications (2)

Publication Number Publication Date
CN111052046A true CN111052046A (zh) 2020-04-21
CN111052046B CN111052046B (zh) 2022-06-03

Family

ID=63858220

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201880051530.5A Active CN111052042B (zh) 2017-09-29 2018-09-28 基于注视的用户交互
CN202210616910.7A Pending CN114924651A (zh) 2017-09-29 2018-09-28 基于注视的用户交互
CN202210618012.5A Pending CN114995644A (zh) 2017-09-29 2018-09-28 基于注视的用户交互
CN201880055893.6A Active CN111052046B (zh) 2017-09-29 2018-09-28 使用现实界面访问外部设备的功能
CN201880052303.4A Active CN111052043B (zh) 2017-09-29 2018-09-28 使用现实界面控制外部设备

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201880051530.5A Active CN111052042B (zh) 2017-09-29 2018-09-28 基于注视的用户交互
CN202210616910.7A Pending CN114924651A (zh) 2017-09-29 2018-09-28 基于注视的用户交互
CN202210618012.5A Pending CN114995644A (zh) 2017-09-29 2018-09-28 基于注视的用户交互

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880052303.4A Active CN111052043B (zh) 2017-09-29 2018-09-28 使用现实界面控制外部设备

Country Status (6)

Country Link
US (10) US11086581B2 (zh)
EP (3) EP3665550A1 (zh)
JP (3) JP6938772B2 (zh)
KR (3) KR20230106727A (zh)
CN (5) CN111052042B (zh)
WO (4) WO2019067899A1 (zh)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3260969B1 (en) 2009-09-22 2021-03-03 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
CN109496331B (zh) 2016-05-20 2022-06-21 奇跃公司 用户界面菜单的情景感知
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
KR102652922B1 (ko) * 2017-04-19 2024-03-29 매직 립, 인코포레이티드 웨어러블 시스템을 위한 멀티모달 임무 실행 및 텍스트 편집
CN111052042B (zh) 2017-09-29 2022-06-07 苹果公司 基于注视的用户交互
US10586434B1 (en) * 2017-10-25 2020-03-10 Amazon Technologies, Inc. Preventing unauthorized access to audio/video recording and communication devices
CN107977586B (zh) * 2017-12-22 2021-04-13 联想(北京)有限公司 显示内容处理方法、第一电子设备以及第二电子设备
US11544782B2 (en) 2018-05-06 2023-01-03 Strong Force TX Portfolio 2018, LLC System and method of a smart contract and distributed ledger platform with blockchain custody service
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
CN112041788B (zh) 2018-05-09 2024-05-03 苹果公司 使用眼睛注视来选择文本输入字段
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
SE543144C2 (en) * 2019-05-15 2020-10-13 Tobii Ab Method and system for dwell-less, hands-free interaction with a selectable object
CN112292726B (zh) * 2019-05-22 2022-02-22 谷歌有限责任公司 用于沉浸式环境中对象分组和操纵的方法、***和介质
US11200305B2 (en) * 2019-05-31 2021-12-14 International Business Machines Corporation Variable access based on facial expression configuration
JP7301615B2 (ja) * 2019-06-17 2023-07-03 キヤノン株式会社 電子機器およびその制御方法
US11216233B2 (en) * 2019-08-06 2022-01-04 Motorola Mobility Llc Methods and systems for replicating content and graphical user interfaces on external electronic devices
CN110716641B (zh) * 2019-08-28 2021-07-23 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质
US10943388B1 (en) * 2019-09-06 2021-03-09 Zspace, Inc. Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces
WO2021061349A1 (en) 2019-09-27 2021-04-01 Apple Inc. Controlling representations of virtual objects in a computer-generated reality environment
CN111092795B (zh) * 2019-11-18 2022-04-01 北京小米移动软件有限公司 功能控制方法、功能控制装置及计算机可读存储介质
WO2021131562A1 (ja) * 2019-12-27 2021-07-01 キヤノン株式会社 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
DK202070612A1 (en) 2020-02-14 2021-10-26 Apple Inc User interfaces for workout content
US20210326094A1 (en) * 2020-04-17 2021-10-21 Michael E. Buerli Multi-device continuity for use with extended reality systems
CN111722708B (zh) * 2020-04-29 2021-06-08 中国人民解放军战略支援部队信息工程大学 一种基于眼动的多维地理信息自适应智能交互方法及装置
GB2609863A (en) * 2020-05-06 2023-02-15 Apple Inc 3D photos
US11423621B1 (en) * 2020-05-21 2022-08-23 Facebook Technologies, Llc. Adaptive rendering in artificial reality environments
CN111586459B (zh) * 2020-05-22 2022-10-14 北京百度网讯科技有限公司 一种控制视频播放的方法、装置、电子设备及存储介质
KR20210111860A (ko) * 2020-05-22 2021-09-13 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 비디오 재생 제어 방법, 장치, 전자 설비 및 저장매체
WO2021263050A1 (en) * 2020-06-26 2021-12-30 Limonox Projects Llc Devices, methods and graphical user interfaces for content applications
WO2022005579A1 (en) * 2020-06-29 2022-01-06 Sterling Labs Llc Ambience-driven user experience
GB202009874D0 (en) * 2020-06-29 2020-08-12 Microsoft Technology Licensing Llc Visual interface for a computer system
US11995774B2 (en) * 2020-06-29 2024-05-28 Snap Inc. Augmented reality experiences using speech and text captions
GB202009876D0 (en) * 2020-06-29 2020-08-12 Microsoft Technology Licensing Llc Visual interface for a computer system
JPWO2022014170A1 (zh) * 2020-07-13 2022-01-20
WO2022015857A1 (en) * 2020-07-14 2022-01-20 Sterling Labs Llc Generating suggested content for workspaces
CN111985417A (zh) * 2020-08-24 2020-11-24 中国第一汽车股份有限公司 功能部件识别方法、装置、设备及存储介质
CN116507997A (zh) 2020-09-11 2023-07-28 苹果公司 在环境中显示用户界面的方法及对应电子设备和计算机可读存储介质
WO2022067302A1 (en) 2020-09-25 2022-03-31 Apple Inc. Methods for navigating user interfaces
KR20230117639A (ko) 2020-09-25 2023-08-08 애플 인크. 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기위한 방법
EP4244702A1 (en) * 2020-11-16 2023-09-20 Google LLC System and method for casting content
CN116438503A (zh) 2020-12-17 2023-07-14 三星电子株式会社 电子装置和电子装置的操作方法
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
US11762458B2 (en) * 2021-02-15 2023-09-19 Sony Group Corporation Media display device control based on eye gaze
CN113010018B (zh) * 2021-04-20 2022-09-20 歌尔股份有限公司 交互控制方法、终端设备及存储介质
US20220374067A1 (en) * 2021-05-19 2022-11-24 International Business Machines Corporation Augmented reality based power management
WO2023278138A1 (en) * 2021-06-28 2023-01-05 Dathomir Laboratories Llc Methods and systems for changing a display based on user input and gaze
CN114116110A (zh) * 2021-07-20 2022-03-01 上海诺司纬光电仪器有限公司 基于增强现实的智能界面
US11635808B2 (en) * 2021-08-12 2023-04-25 International Business Machines Corporation Rendering information in a gaze tracking device on controllable devices in a field of view to remotely control
KR20240047458A (ko) * 2021-09-24 2024-04-12 애플 인크. 미디어 및 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
US11983327B2 (en) * 2021-10-06 2024-05-14 Fotonation Limited Method for identifying a gesture
US20230130770A1 (en) * 2021-10-26 2023-04-27 Meta Platforms Technologies, Llc Method and a system for interacting with physical devices via an artificial-reality device
US20230152899A1 (en) * 2021-11-15 2023-05-18 Samsung Electronics Co., Ltd. Wearable device for communicating with at least one counterpart device according to trigger event and control method therefor
US20230315193A1 (en) * 2022-03-31 2023-10-05 Lenovo (Singapore) Pte. Ltd. Direction of user input to virtual objects based on command metadata
CN115209057B (zh) * 2022-08-19 2023-05-23 荣耀终端有限公司 一种拍摄对焦方法及相关电子设备
US20240103676A1 (en) * 2022-09-24 2024-03-28 Apple Inc. Methods for interacting with user interfaces based on attention
CN116225209A (zh) * 2022-11-03 2023-06-06 溥畅(杭州)智能科技有限公司 一种基于眼动追踪的人机交互方法及***
CN115562497B (zh) * 2022-11-04 2024-04-05 浙江舜为科技有限公司 增强现实信息交互方法、增强现实设备和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843523A (zh) * 2011-03-29 2012-12-26 索尼公司 方法、装置和手持机
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实***中将虚拟图像锚定到真实世界表面
US20140253592A1 (en) * 2013-03-08 2014-09-11 Samsung Electronics Co., Ltd. Method for providing augmented reality, machine-readable storage medium, and portable terminal
CN104516497A (zh) * 2013-10-04 2015-04-15 大同股份有限公司 控制电子装置的方法、手持电子装置与监控***
US20150293592A1 (en) * 2014-04-15 2015-10-15 Samsung Electronics Co., Ltd. Haptic information management method and electronic device supporting the same
US20150317518A1 (en) * 2014-05-01 2015-11-05 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
KR20150125472A (ko) * 2014-04-30 2015-11-09 삼성전자주식회사 음성 명령 제공 방법 및 장치
US20160295038A1 (en) * 2004-01-30 2016-10-06 Ip Holdings, Inc. Image and Augmented Reality Based Networks Using Mobile Devices and Intelligent Electronic Glasses
US20160292759A1 (en) * 2015-04-01 2016-10-06 Audatex Gmbh System and method for estimating collision damage to a car
JP2016192132A (ja) * 2015-03-31 2016-11-10 Kddi株式会社 画像認識ａｒ装置並びにその姿勢推定装置及び姿勢追跡装置
EP3118722A1 (en) * 2015-07-14 2017-01-18 Nokia Technologies Oy Mediated reality
CN106462733A (zh) * 2014-05-19 2017-02-22 微软技术许可有限责任公司 视线检测校准

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2062911A1 (en) * 1991-05-17 1992-11-18 Stephen C. Gates Computer graphics system and method for auto-tresselating graphic objects
US5638501A (en) 1993-05-10 1997-06-10 Apple Computer, Inc. Method and apparatus for displaying an overlay image
US5664133A (en) 1993-12-13 1997-09-02 Microsoft Corporation Context sensitive menu system/menu behavior
US6300965B1 (en) 1998-02-17 2001-10-09 Sun Microsystems, Inc. Visible-object determination for interactive visualization
JP4839598B2 (ja) * 2003-10-30 2011-12-21 ブラザー工業株式会社 画像表示装置
KR101181766B1 (ko) * 2005-12-23 2012-09-12 엘지전자 주식회사 이동통신 단말기에서의 메뉴 표시 방법, 및 그 방법을구현하기 위한 이동통신 단말기
KR100820639B1 (ko) * 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
US8745535B2 (en) * 2007-06-08 2014-06-03 Apple Inc. Multi-dimensional desktop
US9571625B2 (en) * 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
US9916006B2 (en) * 2010-07-23 2018-03-13 Telepatheye Inc. Eye-wearable device user interface and method
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
AU2011205223C1 (en) * 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
CA2847975A1 (en) 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US20130241805A1 (en) 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
KR101791366B1 (ko) * 2012-03-26 2017-10-27 애플 인크. 증강된 가상 터치패드 및 터치스크린
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
ES2898981T3 (es) * 2012-08-09 2022-03-09 Tobii Ab Activación rápida en un sistema de seguimiento de la mirada
US9380287B2 (en) 2012-09-03 2016-06-28 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Head mounted system and method to compute and render a stream of digital images using a head mounted display
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
US9977492B2 (en) * 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US20140247232A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Two step gaze interaction
US20140320592A1 (en) * 2013-04-30 2014-10-30 Microsoft Corporation Virtual Video Camera
US9245388B2 (en) * 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US10349031B2 (en) 2013-07-28 2019-07-09 Michael J. DeLuca Augmented reality based user interfacing
US10451874B2 (en) * 2013-09-25 2019-10-22 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
JP5825328B2 (ja) 2013-11-07 2015-12-02 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
US10048748B2 (en) 2013-11-12 2018-08-14 Excalibur Ip, Llc Audio-visual interaction with user devices
US10558262B2 (en) * 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
JP6210023B2 (ja) * 2013-11-28 2017-10-11 株式会社Ｊｖｃケンウッド 視線検出支援装置および視線検出支援方法
US9201578B2 (en) * 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
WO2015110852A1 (en) * 2014-01-24 2015-07-30 Sony Corporation Face tracking for a mobile device
US20160018650A1 (en) * 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
WO2015136250A1 (en) * 2014-03-10 2015-09-17 Bae Systems Plc Interactive information display
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US9804753B2 (en) 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
EP2947546A1 (en) 2014-05-20 2015-11-25 Alcatel Lucent Module for implementing gaze translucency in a virtual scene
WO2015183014A1 (en) * 2014-05-28 2015-12-03 Samsung Electronics Co., Ltd. Apparatus and method for controlling internet of things devices
US9904055B2 (en) * 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10416760B2 (en) * 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10067561B2 (en) * 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
JP6201956B2 (ja) * 2014-10-24 2017-09-27 株式会社Ｊｖｃケンウッド 視線検出装置および視線検出方法
US10353532B1 (en) * 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9778814B2 (en) * 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
US10921896B2 (en) 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
US9652897B2 (en) * 2015-06-25 2017-05-16 Microsoft Technology Licensing, Llc Color fill in an augmented reality environment
US20170038829A1 (en) 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Social interaction for remote communication
DE112016003719T5 (de) * 2015-08-15 2018-05-09 Google LLC (n.d.Ges.d. Staates Delaware) System und Verfahren für Biomechanik-basierte Augensignale zur Interaktion mit realen und virtuellen Objekten
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
EP4254145A3 (en) * 2015-09-16 2023-11-01 Magic Leap, Inc. Head pose mixing of audio files
US10630965B2 (en) 2015-10-02 2020-04-21 Microsoft Technology Licensing, Llc Calibrating a near-eye display
KR20170055295A (ko) * 2015-11-11 2017-05-19 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
US20170153701A1 (en) * 2015-12-01 2017-06-01 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays as wireless controllers
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
WO2017111234A1 (en) * 2015-12-23 2017-06-29 Samsung Electronics Co., Ltd. Method for electronic device to control object and electronic device
US20170185156A1 (en) * 2015-12-29 2017-06-29 Microsoft Technology Licensing, Llc Hand tracking for user interface operation at-a-distance
US10708573B2 (en) * 2016-01-04 2020-07-07 Occipital, Inc. Apparatus and methods for three-dimensional sensing
US10063560B2 (en) 2016-04-29 2018-08-28 Microsoft Technology Licensing, Llc Gaze-based authentication
US10268266B2 (en) 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
US10198855B2 (en) 2016-07-20 2019-02-05 Colopl, Inc. Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
US10110678B2 (en) * 2016-08-19 2018-10-23 Sony Corporation System and method for data communication based on image processing
CN106371206A (zh) * 2016-08-31 2017-02-01 安徽协创物联网技术有限公司 一种广视角虚拟现实装置
JP6373920B2 (ja) 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
KR102499139B1 (ko) * 2016-09-21 2023-02-13 삼성전자주식회사 이미지를 표시하는 전자 장치 및 그 제어 방법
US11132840B2 (en) * 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
US10520782B2 (en) 2017-02-02 2019-12-31 James David Busch Display devices, systems and methods capable of single-sided, dual-sided, and transparent mixed reality applications
CN106951069A (zh) * 2017-02-23 2017-07-14 深圳市金立通信设备有限公司 一种虚拟现实界面的控制方法及虚拟现实设备
JP6919222B2 (ja) 2017-02-27 2021-08-18 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US11175735B2 (en) 2017-07-24 2021-11-16 Adobe Inc. Choice-based analytics that combine gaze and selection data
CN111052042B (zh) 2017-09-29 2022-06-07 苹果公司 基于注视的用户交互
JP6730363B2 (ja) 2018-04-13 2020-07-29 ファナック株式会社 操作訓練システム
CN112041788B (zh) 2018-05-09 2024-05-03 苹果公司 使用眼睛注视来选择文本输入字段
US20200301553A1 (en) * 2019-03-22 2020-09-24 Sony Interactive Entertainment Inc. Establishing and using virtual assets on tangible objects in augmented reality (ar) and virtual reality (vr)

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160295038A1 (en) * 2004-01-30 2016-10-06 Ip Holdings, Inc. Image and Augmented Reality Based Networks Using Mobile Devices and Intelligent Electronic Glasses
CN102843523A (zh) * 2011-03-29 2012-12-26 索尼公司 方法、装置和手持机
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实***中将虚拟图像锚定到真实世界表面
US20140253592A1 (en) * 2013-03-08 2014-09-11 Samsung Electronics Co., Ltd. Method for providing augmented reality, machine-readable storage medium, and portable terminal
CN104516497A (zh) * 2013-10-04 2015-04-15 大同股份有限公司 控制电子装置的方法、手持电子装置与监控***
US20150293592A1 (en) * 2014-04-15 2015-10-15 Samsung Electronics Co., Ltd. Haptic information management method and electronic device supporting the same
KR20150125472A (ko) * 2014-04-30 2015-11-09 삼성전자주식회사 음성 명령 제공 방법 및 장치
US20150317518A1 (en) * 2014-05-01 2015-11-05 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
CN106462733A (zh) * 2014-05-19 2017-02-22 微软技术许可有限责任公司 视线检测校准
JP2016192132A (ja) * 2015-03-31 2016-11-10 Kddi株式会社 画像認識ａｒ装置並びにその姿勢推定装置及び姿勢追跡装置
US20160292759A1 (en) * 2015-04-01 2016-10-06 Audatex Gmbh System and method for estimating collision damage to a car
EP3118722A1 (en) * 2015-07-14 2017-01-18 Nokia Technologies Oy Mediated reality

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIROFUMI TAKASE等: "Gestural interface and the intuitive interaction with virtual objects", 《2009 ICCAS-SICE》 *
王子川等: "基于图像识别和手势跟踪的透射式智能眼镜", 《家电科技》 *

Also Published As

Publication number Publication date
US11188286B2 (en) 2021-11-30
US11762619B2 (en) 2023-09-19
US11714592B2 (en) 2023-08-01
US20230393796A1 (en) 2023-12-07
WO2019067895A1 (en) 2019-04-04
US20200192622A1 (en) 2020-06-18
US11132162B2 (en) 2021-09-28
US20200225747A1 (en) 2020-07-16
WO2019067901A2 (en) 2019-04-04
JP2021193585A (ja) 2021-12-23
JP6938772B2 (ja) 2021-09-22
WO2019067901A3 (en) 2019-05-09
KR20230106727A (ko) 2023-07-13
CN111052042B (zh) 2022-06-07
US11086581B2 (en) 2021-08-10
US11762620B2 (en) 2023-09-19
US20200201444A1 (en) 2020-06-25
US20230325140A1 (en) 2023-10-12
CN111052043B (zh) 2022-04-12
KR20220100102A (ko) 2022-07-14
US20210365228A1 (en) 2021-11-25
CN114924651A (zh) 2022-08-19
EP4325278A2 (en) 2024-02-21
US20230376261A1 (en) 2023-11-23
WO2019067899A1 (en) 2019-04-04
CN114995644A (zh) 2022-09-02
EP4235263A3 (en) 2023-11-29
JP2023179485A (ja) 2023-12-19
EP4235263A2 (en) 2023-08-30
US20220012002A1 (en) 2022-01-13
KR102417968B1 (ko) 2022-07-06
US11137967B2 (en) 2021-10-05
US20200225746A1 (en) 2020-07-16
US20220083303A1 (en) 2022-03-17
CN111052042A (zh) 2020-04-21
CN111052046B (zh) 2022-06-03
JP2020532796A (ja) 2020-11-12
CN111052043A (zh) 2020-04-21
WO2019067902A1 (en) 2019-04-04
EP4325278A3 (en) 2024-05-15
KR20200035103A (ko) 2020-04-01
EP3665550A1 (en) 2020-06-17

Similar Documents

Publication Publication Date Title
CN111052046B (zh) 使用现实界面访问外部设备的功能
KR102331122B1 (ko) 모바일 디바이스용 위치추정
US11308686B1 (en) Captured image data in a computer-generated reality environment
KR102340665B1 (ko) 프라이버시 스크린
CN111988729B (zh) 远程设备的发现和连接
US11825103B2 (en) Gaze-driven recording of video
CN110866230B (zh) 已认证设备辅助的用户认证
CN113785260A (zh) 控制计算机生成现实环境中的虚拟对象的表示
US11900520B1 (en) Specifying effects for entering or exiting a computer-generated reality environment
US11733518B2 (en) Head-mounted display with low light operation
US11070636B1 (en) Shared access to computing resources using wireless communications
US20190354175A1 (en) Eye Enrollment For Head-Mounted Enclosure
US11361473B1 (en) Including a physical object based on context

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant