CN110968187B - 由***设备启用的远程触摸检测 - Google Patents

由***设备启用的远程触摸检测 Download PDF

Info

Publication number
CN110968187B
CN110968187B CN201910815262.6A CN201910815262A CN110968187B CN 110968187 B CN110968187 B CN 110968187B CN 201910815262 A CN201910815262 A CN 201910815262A CN 110968187 B CN110968187 B CN 110968187B
Authority
CN
China
Prior art keywords
electronic device
input
image data
criteria
infrared light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910815262.6A
Other languages
English (en)
Other versions
CN110968187A (zh
Inventor
S·L·埃格勒斯亚斯
D·W·查尔默斯
R·塞西
王乐晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202210303910.1A priority Critical patent/CN114647317A/zh
Publication of CN110968187A publication Critical patent/CN110968187A/zh
Application granted granted Critical
Publication of CN110968187B publication Critical patent/CN110968187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及由***设备启用的远程触摸检测。本公开整体涉及远程触摸检测。在一些示例中，第一电子设备获取关于输入的第一图像数据和第二图像数据，并且根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作。在一些示例中，第一电子设备使第二电子设备的红外光源发射红外光，获取关于输入的图像数据，并且根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作。

Description

由***设备启用的远程触摸检测
技术领域
本公开整体涉及计算机生成现实(CGR)环境，并且更具体地涉及用于远程触摸检测的技术。
背景技术
CGR环境是其中为供用户查看而显示的一些对象由计算机生成的环境。用户可通过激活硬件按钮或触摸支持触摸的硬件来与这些虚拟对象进行交互。然而，对于用户而言，用于与虚拟对象进行交互的此类技术可能既繁琐麻烦又不直观。
发明内容
本文描述的是使用多个设备的***实现远程触摸检测的技术，该多个设备包括放置在物理表面(诸如，桌子顶部)上的***设备。有了这些技术，用户可通过在物理表面上进行触摸来与虚拟对象进行交互。
在一些实施方案中，描述了一种方法。该方法包括：在第一电子设备处：获取关于输入的第一图像数据，其中使用在第二电子设备外部的第一电子设备的一个或多个相机传感器来获取第一图像数据；获取关于输入的第二图像数据，其中使用第二电子设备的一个或多个相机传感器来获取第二图像数据，第一电子设备与第二电子设备不同；以及，根据基于第一图像数据和第二图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中该一个或多个标准的组包括当输入为触摸输入时满足的标准。
在一些实施方案中，描述了一种非暂态计算机可读存储介质。非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：获取关于输入的第一图像数据，其中使用在第二电子设备外部的第一电子设备的一个或多个相机传感器来获取第一图像数据；获取关于输入的第二图像数据，其中使用第二电子设备的一个或多个相机传感器来获取第二图像数据，第二电子设备与第一电子设备不同；以及，根据基于第一图像数据和第二图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入为触摸输入时满足的标准。
在一些实施方案中，描述了一种暂态计算机可读存储介质。暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：获取关于输入的第一图像数据，其中使用在第二电子设备外部的第一电子设备的一个或多个相机传感器来获取第一图像数据；获取关于输入的第二图像数据，其中使用第二电子设备的一个或多个相机传感器来获取第二图像数据，第二电子设备与第一电子设备不同；以及，根据基于第一图像数据和第二图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入为触摸输入时满足的标准。
在一些实施方案中，描述了第一电子设备。第一电子设备包括：一个或多个处理器；以及存储器，该存储器存储被配置为由该一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：获取关于输入的第一图像数据，其中使用在第二电子设备外部的第一电子设备的一个或多个相机传感器来获取第一图像数据；获取关于输入的第二图像数据，其中使用第二电子设备的一个或多个相机传感器来获取第二图像数据，第二电子设备与第一电子设备不同；以及，根据基于第一图像数据和第二图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入为触摸输入时满足的标准。
在一些实施方案中，描述了第一电子设备。第一电子设备包括：用于获取关于输入的第一图像数据的装置，其中使用在第二电子设备外部的第一电子设备的一个或多个相机传感器来获取第一图像数据；用于获取关于输入的第二图像数据的装置，其中使用第二电子设备的一个或多个相机传感器来获取第二图像数据，第二电子设备与第一电子设备不同；以及用于根据基于第一图像数据和第二图像数据确定满足一个或多个标准的组，基于输入来执行操作的装置，其中一个或多个标准的组包括当输入为触摸输入时满足的标准。
在一些实施方案中，描述了一种方法。该方法包括：在第一电子设备处：使第二电子设备的红外光源发射红外光；获取关于输入的图像数据，其中使用第一电子设备的一个或多个相机传感器来获取图像数据，第二电子设备与第一电子设备不同；以及，根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入接触红外光时满足的标准。
在一些实施方案中，描述了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：使第二电子设备的红外光源发射红外光；获取关于输入的图像数据，其中使用第一电子设备的一个或多个相机传感器来获取图像数据，第二电子设备与第一电子设备不同；以及，根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入接触红外光时满足的标准。
在一些实施方案中，描述了一种暂态计算机可读存储介质。该暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：使第二电子设备的红外光源发射红外光；获取关于输入的图像数据，其中使用第一电子设备的一个或多个相机传感器来获取图像数据，第二电子设备与第一电子设备不同；以及，根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入接触红外光时满足的标准。
在一些实施方案中，描述了第一电子设备。第一电子设备包括：一个或多个处理器；以及存储器，该存储器存储被配置为由该一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：使第二电子设备的红外光源发射红外光；获取关于输入的图像数据，其中使用第一电子设备的一个或多个相机传感器来获取图像数据，第二电子设备与第一电子设备不同；以及，根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入接触红外光时满足的标准。
在一些实施方案中，描述了第一电子设备。第一电子设备包括：用于使第二电子设备的红外光源发射红外光的装置；用于获取关于输入的图像数据的装置，其中使用第一电子设备的一个或多个相机传感器来获取图像数据，第二电子设备与第一电子设备不同；以及用于根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作的装置，其中一个或多个标准的组包括当输入接触红外光时满足的标准。
在一些实施方案中，描述了一种方法。该方法包括：在第一电子设备处：使第一电子设备的红外光源发射红外光；获取关于输入的图像数据，其中使用第二电子设备的一个或多个相机传感器来获取图像数据，第一电子设备与第二电子设备不同；以及，根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入接触红外光时满足的标准。
在一些实施方案中，描述了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：使第一电子设备的红外光源发射红外光；获取关于输入的图像数据，其中使用第二电子设备的一个或多个相机传感器来获取图像数据，第一电子设备与第二电子设备不同；以及，根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入接触红外光时满足的标准。
在一些实施方案中，描述了一种暂态计算机可读存储介质。该暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：使第一电子设备的红外光源发射红外光；获取关于输入的图像数据，其中使用第二电子设备的一个或多个相机传感器来获取图像数据，第一电子设备与第二电子设备不同；以及，根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入接触红外光时满足的标准。
在一些实施方案中，描述了第一电子设备。第一电子设备包括：一个或多个处理器；以及存储器，该存储器存储被配置为由该一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：使第一电子设备的红外光源发射红外光；获取关于输入的图像数据，其中使用第二电子设备的一个或多个相机传感器来获取图像数据，第一电子设备与第二电子设备不同；以及，根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入接触红外光时满足的标准。
在一些实施方案中，描述了第一电子设备。第一电子设备包括：用于使第一电子设备的红外光源发射红外光的装置；用于获取关于输入的图像数据的装置，其中使用第二电子设备的一个或多个相机传感器来获取图像数据，第一电子设备与第二电子设备不同；以及用于根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作的装置，其中一个或多个标准的组包括当输入接触红外光时满足的标准。
附图说明
在下面的描述中，参考形成以下描述的一部分且示出本公开的几个示例的附图。应当理解，还可利用其它示例，并且在不脱离本公开的范围的情况下，可进行结构和操作方面的改变。在不同附图中使用相同的附图符号指示相似或相同的项目。
图1A至图1B描绘了在各种CGR技术中使用的示例性***。
图2示出了包括头戴式显示设备以及用于启用远程触摸检测的***设备的***的示例。
图3示出了提示用户纠正错误状态的通知的示例。
图4至图5示出了CGR环境中的远程触摸检测的示例。
图6至图10示出了CGR环境中的远程触摸检测的附加示例。
图11至图12示出了包括头戴式显示设备以及用于启用远程触摸检测的***设备的***的另选示例。
图13为示出用于执行远程触摸检测的方法的流程图。
图14为示出用于执行远程触摸检测的另选方法的流程图。
具体实施方式
图1A和图1B描绘了在各种CGR技术中使用的示例性***100。
在一些实施方案中，如图1A所示，***100包括设备100a。设备100a包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100a的通信总线150进行通信。
在一些实施方案中，***100的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型计算机)中实现，并且***100的其它元件在设计成由用户佩戴的头戴式显示器(HMD)设备中实现，其中HMD设备与基站设备通信。在一些实施方案中，设备100a在基站设备或HMD设备中实现。
如图1B所示，在一些实施方案中，***100包括两个(或更多个)通信中的设备，诸如通过有线连接或无线连接。第一设备100b(例如，基站设备)包括处理器102、RF电路104和存储器106。这些部件任选地通过设备100b的通信总线150进行通信。第二设备100c(例如，头戴式设备)包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100c的通信总线150进行通信。
在一些实施方案中，***100为移动设备。在一些实施方案中，***100为HMD设备。在一些实施方案中，***100为可穿戴HUD设备。
***100包括处理器102和存储器106。处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些实施方案中，存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器，随机存取存储器)，所述计算机可读指令被配置为由一个或多个处理器102实施以执行下述技术。
***100包括RF电路104。RF电路104任选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。RF电路104任选地包括用于使用近场通信和/或短程通信(诸如
Figure BDA0002186186670000061
)进行通信的电路。
***100包括显示器120。在一些实施方案中，显示器120包括第一显示器(例如，左眼显示面板)和第二显示器(例如，右眼显示面板)，每个显示器用于向用户的相应眼睛显示图像。对应的图像同时显示在第一显示器和第二显示器上。任选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供显示器上对象的立体感效应。在一些实施方案中，显示器120包括单个显示器。对于用户的每只眼睛，对应的图像同时显示在单个显示器的第一区域和第二区域上。任选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供单个显示器上对象的立体感效应。
在一些实施方案中，***100包括用于接收用户输入的触敏表面122，诸如轻击输入和轻扫输入。在一些实施方案中，显示器120和触敏表面122形成触敏显示器。
***100包括图像传感器108。图像传感器108任选地包括一个或多个可见光图像传感器(诸如电荷耦合设备(CCD)传感器)和/或可操作以从物理环境获取物理对象的图像的互补金属氧化物半导体(CMOS)传感器。图像传感器还任选地包括一个或多个红外(IR)传感器，诸如无源IR传感器或有源IR传感器，用于检测来自物理环境的红外光。例如，有源IR传感器包括IR发射器，诸如IR点发射器，用于将红外光发射到物理环境中。图像传感器108还任选地包括一个或多个事件相机，该事件相机被配置为捕获物理对象在物理环境中的移动。图像传感器108还任选地包括一个或多个深度传感器，该深度传感器被配置为检测物理对象与***100的距离。在一些实施方案中，***100组合使用CCD传感器、事件相机和深度传感器来检测***100周围的物理环境。在一些实施方案中，图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器任选地被配置为从两个不同的视角捕获物理对象在物理环境中的图像。在一些实施方案中，***100使用图像传感器108来接收用户输入，诸如手势。在一些实施方案中，***100使用图像传感器108来检测***100和/或显示器120在物理环境中的位置和取向。例如，***100使用图像传感器108来跟踪显示器120相对于物理环境中的一个或多个固定对象的位置和取向。在一些实施方案中，***100将面向内(例如，面向用户)的图像传感器108用于凝视跟踪和/或手部运动跟踪，这可用于例如控制用户的化身。
在一些实施方案中，***100包括麦克风112。***100使用麦克风112来检测来自用户和/或用户的物理环境的声音。在一些实施方案中，麦克风112包括麦克风阵列(包括多个麦克风)，该麦克风阵列任选地串联操作，以便识别环境噪声或在物理环境的空间中定位声源。
***100包括用于检测***110和/或显示器100的取向和/或移动的取向传感器120。例如，***100使用取向传感器110来跟踪***100和/或显示器120的位置和/或取向的变化，诸如，相对于物理环境中的物理对象而言。取向传感器110任选地包括一个或多个陀螺仪和/或一个或多个加速度计。
物理环境(或真实环境)是指人们在没有电子***帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品(或物理对象或真实对象)，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
相反，计算机生成现实(CGR)环境是指人们经由电子***感知和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR***可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
人可以使用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。虚拟现实(VR)环境(虚拟环境)是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子***可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，***可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子***可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该***可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人使用该***感知叠加在物理环境之上的虚拟对象。另选地，***可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。***将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人使用***借由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着***使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，***可以具有投影***，该投影***将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人使用该***感知叠加在物理环境之上的虚拟对象。
增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，***可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得修改后的部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除或模糊其部分而进行转换。
增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。
有许多不同类型的电子***使人能够感测和/或与各种CGR环境交互。示例包括头戴式***、基于投影的***、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于接触镜片)、耳机/听筒、扬声器阵列、输入***(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式***可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式***可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式***可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式***可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的***可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影***也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
图2示出了包括***设备200A和头戴式显示器(HMD)设备200B的***200。***设备包括相机传感器210(例如，图像传感器108)和运动传感器(例如，取向传感器110)。另外，HMD设备200B自身可以是***100的实施方案，或者可以是***100的一部分(诸如设备100a)的实施方案。
包括***设备200A和HMD设备200B的***200使得能够在表面206上实现准确的远程触摸检测，以便与使用HMD设备200B显示的CGR环境中显示的UI元素进行交互(例如，控制、操纵、激活、选择)。在一些实施方案中，***200形成三角***(例如，***设备200A上一个相机传感器，HMD设备200B上两个相机传感器)。在一些实施方案中，***200包括***设备200A(例如，没有相机传感器)，该***设备发射红外光以供HMD设备200B上的相机传感器检测。在一些实施方案中，***200不包括***设备200A，并且依赖于HMD设备200B来使用深度感测技术执行远程触摸检测。
在图2处，用户202正佩戴着HMD设备200B，该HMD设备使用户能够观看CGR环境。用户202坐在物理环境中的桌子204处，其中桌子204包括表面206，该表面上放置有物理对象，诸如，***设备200A和对象208(例如，物理杯子)。
图3示出了用户202经由HMD设备200B的透明或半透明显示器观看CGR环境的视角。在一些实施方案中，HMD设备200B的显示器是不透明的，因此用户使用透传视频观看物理环境。
在图3处，***设备200A位于与对象208相邻的表面206上。为了实现最佳操作，***设备200A可以请求在其自身附近或周围的附加空间，使得一个或多个相机传感器210不会被遮挡物(例如，障碍物)遮挡。在图3中，***200确定是否已满足一个或多个操作条件的组。在一些实施方案中，这组操作条件包括要求在***设备200A上的传感器(例如，相机传感器210)和HMD设备200B上的传感器之间存在直视视线。在一些实施方案中，这组操作条件包括要求没有对象遮挡(例如，妨碍)相机传感器210。例如，当没有对象在相机传感器的预定义阈值距离内时，则没有对象遮挡相机传感器210。由于对象208与相机传感器210的紧紧相邻，***200确定相机传感器210被遮挡。***设备200A、HMD设备200B或第三设备可确定相机传感器210是否被遮挡。在一些实施方案中，这组操作条件包括要求***设备200A处于合适的取向(例如，***设备的表面相对于地面大致平行，是水平的，是垂直的，等等)。
在一些实施方案中，确定相机传感器210是否被遮挡包括：获取关于与相机传感器210靠近或相邻的对象的图像数据；以及基于图像数据确定相机传感器210是否被遮挡。在一些实施方案中，HMD设备200B确定相机传感器210是否被遮挡。在一些实施方案中，由HMD设备200B确定相机传感器210是否被遮挡包括从***设备200A接收关于相机传感器210的视场中的对象的图像数据。在一些实施方案中，在从***设备200A接收到图像数据之后(或响应于此)，HMD设备200B基于图像数据确定相机传感器210是否被遮挡。在一些实施方案中，图像数据包括使用相机传感器210和/或HMD设备200B处的相机传感器生成的图像数据。
在确定相机传感器210被遮住之后，HMD设备200B显示通知212，该通知提示用户纠正错误状态。通知212包括***设备200A被遮挡的指示。通知212还包括将***设备200A移动到新位置的提示。在一些实施方案中，通知212包括移动正导致相机传感器210被遮挡的对象的提示。
在图4处，用户202在***设备200A已移动到新位置之后观看CGR环境。在***设备200A移动到新位置之后(或响应于此)，***200确定相机传感器210是否被遮挡。***200确定相机传感器未被遮挡。例如，***200确定对象208位于离相机传感器210的阈值距离之外。在一些实施方案中，***200响应于确定***设备200A已移动到新位置来确定相机传感器210是否被遮挡。***设备200A、HMD设备200B或第三设备可确定***设备200A是否已移动到新位置。在一些实施方案中，使用从***设备200A的运动传感器来获取的数据来进行该确定。在确定满足用于***设备210A的操作条件的组(例如，相机传感器210不再被遮挡)之后，HMD设备200B停止显示通知212。
在图4处，在满足用于***设备210A的操作条件的组之后(或响应于此)，HMD设备200B显示用户界面(UI)。在图4中，用户界面包括UI元素214A、214B、214C和214D。另外，HMD设备200B显示虚拟触控板218，其显示的方式使得虚拟触控板218似乎放置在表面206上(或与其重合)。在一些实施方案中，HMD设备200B不显示虚拟触控板218。在一些实施方案中，作为对虚拟触控板218的补充或替代，HMD设备200B显示虚拟键盘。在一些实施方案中，当用户在所显示的虚拟键盘的键的位置(或与其对应的位置)处执行轻击手势时，***200经由虚拟键盘接收输入。
一旦显示UI元素，则假设，用户注意到UI元素214A处于错误的取向，并因此希望纠正其取向。用户通过准备在表面206上执行轻击手势来开始。***设备200A使用相机传感器210来获取关于对象216A(例如，用户的手的食指)的信息。另外，HMD设备200B经由位于HMD设备200B处的相机传感器来获取关于对象216A的信息。因此，***设备200A和HMD设备200B两者均使用其相应的相机传感器来获取关于对象216A的信息(例如，图像数据)。获取关于对象的信息可包括使用相机传感器来捕获对象在相机传感器的视场中的一个或多个图像。从设备200A和200B两者的视角捕获关于对象216A的信息允许设备更好地解析对象216A的位置和移动，从而有助于检测的准确性。
在图5处，当UI元素214A被突出显示以供选择(例如，相对于其它UI元素被强调)时，用户通过使用对象216A在表面206上执行轻击手势来选择用于编辑的UI元素214A。随着对象216A朝向表面206移动，***设备200A和/或HMD设备200B使用相应设备的相机传感器来捕获关于对象216A的信息。***200使用该信息来确定对象216A的移动是否满足一个或多个标准的组，一个或多个标准的组包括例如要求对象的移动导致触摸输入。***设备200A、HMD设备200B或第三设备可进行该确定。在一些实施方案中，确定对象216A的移动是否满足一个或多个标准的组包括确定对象216A的移动是否为有效输入(例如，对***200的有效输入)。在一些实施方案中，一个或多个标准的组包括要求触摸输入发生在虚拟触控板218的边界内。在一些实施方案中，***200使用所捕获的图像来使用3D对象检测和/或模板匹配来跟踪对象(例如，对象216A)。在一些实施方案中，***200从所捕获的图像中提取手姿态信息和/或手指姿态信息以确定对象216A的移动是否满足一个或多个标准的组。
在一些实施方案中，当由相机传感器来获取的信息指示对象已触摸表面(例如，与其重合)时，对象的移动会导致触摸输入。在一些实施方案中，一个或多个标准的组包括对象的移动是否为识别到的手势。值得注意的是，由于设备200B也位于该表面上，其能够更好地检测该表面上的轻击，因此传感器210可具有到轻击位置的清晰视线。相比之下，设备200A还可依靠深度分析来确定对象是否已经以这种方式沿z轴移动，以将其定性为表面上的轻击。在一些实施方案中，一个或多个标准的组包括要求对象是有效对象。例如，当对象为手的手指时，对象是有效对象。在一些实施方案中，当对象为书写工具(例如，笔、铅笔)或触笔时，对象是有效对象。
在图5处，***200确定对象216A的移动满足一个或多个标准的组。例如，确定对象216A的移动满足一个或多个标准的组包括确定对象216A的移动为识别到的手势(例如，轻击手势)。在确定对象216A的移动满足一个或多个标准的组之后，***200基于轻击手势选择UI元素214A。
在图6处，响应于对UI元素214A的选择，HMD设备200B显示UI元素214A，而不显示其它UI元素。用户202可使用旋转手势来纠正UI元素214A的取向。***设备200A和/或HMD设备200B使用相应的相机传感器来捕获关于对象216A和/或对象216B(例如，用户的手的拇指)的信息。
在图7处，当用户执行旋转手势时，***设备200A和HMD设备200B继续使用其相应的相机传感器来捕获关于对象216A和/或对象216B的信息。由于对象216A的位置和取向，由HMD设备200B的相机传感器捕获的信息不足以确定对象216A和216B的移动是否满足一个或多个标准的组。具体地，所捕获的信息不包括关于对象216A的信息，因为对象216A不在HMD设备200B的相机传感器的视场中。然而，由于***设备200A的位置，由***设备200A的相机传感器210捕获的信息包括关于对象216A的信息。该场景展示了具有从不同视角(例如，角度)捕获信息的相机传感器的***的优点。
使用所捕获的来自***设备200A和HMD设备200B的信息，***200确定对象216A和对象216B的移动满足一个或多个标准的组。例如，***200基于所捕获的信息确定对象216A和216B的移动导致触摸输入并且是识别到的手势(例如，旋转手势)。在确定对象216A和对象216B的移动满足一个或多个标准的组之后，HMD设备200B显示从其在图6中的初始取向顺时针旋转到图7中所示的中间取向的UI元素214A。
在图8处，当用户继续执行旋转手势时，***设备200A和HMD设备200B继续使用其相应的相机传感器来捕获关于对象216A和/或对象216B的信息。使用所捕获的信息，***200确定对象216A和216B的移动是否继续满足一个或多个标准的组。在确定对象216A和216B的移动继续满足一个或多个标准的组之后，HMD设备200B显示从其在图7中的中间取向进一步顺时针旋转到图8中所示的最终取向的UI元素214A。
在图9处，一旦UI元素214A处于期望的取向，则用户希望增大所显示的UI元素214A的尺寸。为了放大所显示的UI元素214A，用户发起展开手势。如相对于图6至图8中的旋转手势所描述的，***设备200A和HMD设备200B使用相应的相机传感器来捕获关于对象216A和对象216B的信息。
当用户执行展开手势时，***设备200A和HMD设备200B继续使用其相应的相机传感器来捕获关于对象216A和对象216B的信息。使用所捕获的来自***设备200A和HMD设备200B的信息，***200确定对象216A和对象216B的移动满足一个或多个标准的组。例如，***200基于所捕获的信息确定对象216A和对象216B的移动导致触摸输入并且是识别到的手势(例如，展开手势)。在确定对象216A和对象216B的移动满足一个或多个标准的组之后，HMD设备200B显示将UI元素214A从其在图9中的初始尺寸放大到图10中所示的最终尺寸的动画。
图11示出了***200的另选实施方案。在图4至图10中，***设备200A包括用于捕获关于在其视场中的对象的信息的相机传感器210。在一些实施方案中，***设备200A不具有相机传感器。在一些实施方案中，***设备200A包括红外发射器220，该红外发射器发射红外光以启用远程触摸检测。在一些实施方案中，红外发射器220作为平行(或基本上平行)于表面206的光平面来发射红外光222。为了检测远程触摸，HMD设备200B获取关于与红外光222重合(例如，相交)的对象的信息。
例如，类似于图4中的场景，假设图11中的用户202希望选择UI元素214A以便纠正UI元素的取向。当UI元素214A被突出显示以供选择(例如，相对于其它UI元素被强调)时，用户通过使用对象216A在表面206上执行轻击手势来选择用于编辑的UI元素214A。
在图12处，当对象216A朝红外光222的平面移动时，HMD设备200B使用其相机传感器来捕获关于对象216A的信息。例如，一旦对象216A与红外光222的平面重合，则HMD设备200B检测由与红外光222的平面重合的对象216A引起的红外光的反射(例如，识别遮挡)。***200使用所捕获的该信息来确定对象216A的移动是否满足一个或多个标准的组，该一个或多个标准的组包括例如对象的移动导致触摸输入。***设备200A、HMD设备200B或第三设备可进行该确定。
在一些实施方案中，当***200基于由相机传感器来获取的信息确定对象已触摸表面(例如，与其重合)时，对象的移动会导致触摸输入。在一些实施方案中，当对象已与红外光222的平面重合时，***200确定对象已触摸表面。在图12处，***200确定对象216A的移动满足一个或多个标准的组。在确定对象216A的移动满足一个或多个标准的组之后，***200基于轻击手势选择UI元素214A，如相对于图5所描述的。
图13是示出用于远程触摸检测的方法1300的流程图。在一些实施方案中，该方法由***设备200A执行。在一些实施方案中，该方法由HMD设备200B执行。在一些实施方案中，该方法由与***设备200A和HMD设备200B不同的第三设备执行。
在框1302处，第一电子设备获取关于输入(例如，216A、216B)(或对象的移动(例如，216A、216B))的第一图像数据(例如，所捕获的图像)，其中使用第二电子设备(例如，***设备(例如，200A)、HMD设备(例如，200B))的一个或多个相机传感器(例如，图像传感器108)获取第一图像数据。在一些实施方案中，获取第一图像数据包括获取关于所检测到的物理表面(例如，206)的图像数据。在一些实施方案中，在获取关于输入的第一图像数据和第二图像数据之前，第一电子设备基于来自第二电子设备的取向数据(例如，运动数据)来确定是否存在用于接收触摸输入的合适环境(例如，第二电子设备搁置在平坦表面上)。在一些实施方案中，输入(或对象的移动)发生在除第二电子设备的位置和第一电子设备的位置之外的位置处。
在一些实施方案中，根据确定第二电子设备的一个或多个相机传感器被遮挡，第一电子设备提示(例如，经由视觉提示(例如，212)、听觉提示和/或触觉提示)将第二电子设备移动到新位置。在一些实施方案中，该方法还包括：基于(例如，使用第二电子设备和/或第一电子设备的一个或多个相机传感器来获取的)图像数据来确定第二电子设备的一个或多个相机传感器是否被遮挡。在一些实施方案中，图像数据包括关于第二电子设备的一个或多个相机传感器的视场中的对象(例如，208)(或其中不存在对象)的信息或关于与第二电子设备相邻或靠近的对象(或其中不存在对象)的信息。在一些实施方案中，确定当视场中的对象(例如，208)在一个或多个相机传感器的阈值距离内时，第二电子设备的一个或多个相机传感器被遮挡。在一些实施方案中，该方法包括提示移动第二电子设备、或提示移动引起遮挡的对象、或它们的组合。
在框1304处，第一电子设备获取关于输入(例如，216A、216B)(或对象的移动(例如，216A、216B))的第二图像数据(例如，所捕获的图像)，其中使用第一电子设备(例如，头戴式设备(例如，200B)、***设备(例如，200A))的一个或多个相机传感器(例如，图像传感器108)获取第二图像数据，第二电子设备与第一电子设备不同。在一些实施方案中，第一电子设备可与第二电子设备相同。在一些实施方案中，获取第二图像数据包括获取关于所检测到的物理表面的图像数据。在一些实施方案中，第一设备与第二设备通信。在一些实施方案中，第一图像数据和第二图像数据对应于相同的时间点或时间段。在一些实施方案中，输入包括第一对象(例如，手的第一手指)和第二对象(例如，手的第二手指)的移动，并且第一图像数据和第二图像数据中的至少一者不包括与第一对象和第二对象均有关的信息。在一些实施方案中，第一图像数据和第二图像数据组合地提供充足的数据以用于确定是否满足一个或多个标准的组。
在框1306处，基于第一图像数据和第二图像数据来确定是否满足一个或多个标准的组，其中一个或多个标准的组包括当输入为触摸输入时满足的标准。在一些实施方案中，一个或多个标准的组包括当对象的移动为有效输入时满足的标准。在一些实施方案中，有效输入为触摸输入。在一些实施方案中，有效输入是由有效对象(例如，手指、指状部、笔、触笔)执行的触摸输入。在一些实施方案中，当对象的移动不是触摸输入时，未满足一个或多个标准的组。在一些实施方案中，当对象的移动由无效对象(例如，除用户的指状部或手指之外的对象)执行时，未满足一个或多个标准的组。
在一些实施方案中，标准包括当输入(或对象的移动)是手势(例如，识别到的手势)(例如，轻击、双击、拖动、轻弹、捏合、展开、按压、旋转)时满足的标准。在一些实施方案中，标准包括当输入(或对象的移动)为轻击手势时满足的标准。在一些实施方案中，标准包括当输入(或对象的移动)为捏合手势或展开手势时满足的标准。在一些实施方案中，标准包括当输入(或对象的移动)为旋转手势时满足的标准。在一些实施方案中，标准包括当输入(或对象的移动)与用户的一个或多个手指(例如，指状部)对应(例如，由其执行)时满足的标准。在一些实施方案中，当对象的移动由无效对象(例如，除用户的指状部或手指之外的对象)执行时，未满足一个或多个标准的组。在一些实施方案中，由第一电子设备对满足一个或多个标准的组进行确定。在一些实施方案中，第二电子设备进行该确定。
在框1308处，根据确定满足一个或多个标准的组，第一电子设备基于(例如，响应于)输入(或对象的移动)(与检测到的表面(例如，206)(例如，桌子或书桌的顶部)接触的输入)执行操作。在一些实施方案中，根据基于第一图像数据和第二图像数据确定未满足一个或多个标准的组，第一电子设备放弃基于输入来执行操作。
在一些实施方案中，第一电子设备使用第一电子设备的一个或多个相机传感器来获取关于第二电子设备的图像数据。在一些实施方案中，第一电子设备基于关于第二电子设备的图像数据来确定第二电子设备的位置。在一些实施方案中，使用技术(诸如，3D对象检测和/或与图像数据的模板匹配)来确定第二电子设备的位置。在一些实施方案中，第一电子设备基于第二电子设备的位置显示虚拟键盘(或触控板(例如，218))。在一些实施方案中，第二电子设备的位置用作用于确定在何处显示虚拟键盘(或触控板)的参考点。在一些实施方案中，虚拟键盘(或触控板)显示的方式使得虚拟键盘(或触控板)似乎搁置在物理表面(例如，206)(即，第二电子设备所搁置的相同物理表面)上。
图14是示出用于远程触摸检测的方法1400的流程图。在一些实施方案中，该方法由设备200A执行。在一些实施方案中，该方法由设备200B执行。在一些实施方案中，该方法由与***设备200A和HMD设备200B不同的第三设备执行。
在框1402处，第一电子设备使第二电子设备(例如，200A、200B)的红外光源(例如，220)(例如，一个或多个红外光源)发射红外光(例如，222)。在一些实施方案中，根据确定第二电子设备的红外光源被遮挡，第一电子设备提示(例如，经由视觉提示(例如，212)、听觉提示和/或触觉提示)将第二电子设备移动到新位置。在一些实施方案中，该方法还包括：基于(例如，使用第一电子设备的一个或多个相机传感器来获取的)图像数据来确定第二电子设备的红外光源是否被遮挡。在一些实施方案中，图像数据包括关于与第二电子设备靠近或相邻的对象(或其中不存在对象)的信息。在一些实施方案中，确定当对象在第二电子设备或红外光源的阈值距离内时，第二电子设备的红外光源被遮挡。在一些实施方案中，该方法包括提示移动第二电子设备、或提示移动引起遮挡的对象、或它们的组合。
在框1404处，第一电子设备获取关于输入(例如，216A、216B)(或对象的移动(例如，216A、216B))的图像数据，其中使用第一电子设备(例如，200A、200B)的一个或多个相机传感器来获取图像数据，第二电子设备与第一电子设备不同。在一些实施方案中，输入(或对象的移动)发生在除第二电子设备的位置和第一电子设备的位置之外的位置处。
在框1406处，基于图像数据来确定是否满足一个或多个标准的组，其中一个或多个标准的组包括当输入(例如，216A、216B)与红外光(例如，222)接触时满足的标准。在一些实施方案中，一个或多个标准的组包括当对象的移动为有效输入时满足的标准。在一些实施方案中，有效输入为触摸输入。在一些实施方案中，有效输入是由有效对象(例如，手指、指状部、笔、触笔)执行的触摸输入。在一些实施方案中，当对象的移动不是触摸输入时，未满足一个或多个标准的组。在一些实施方案中，当对象的移动由无效对象(例如，除用户的指状部或手指之外的对象)执行时，未满足一个或多个标准的组。
在一些实施方案中，标准包括当输入(或对象的移动)是手势(例如，识别到的手势)(例如，轻击、双击、拖动、轻弹、捏合、展开、按压、旋转)时满足的标准。在一些实施方案中，标准包括当输入(或对象的移动)为轻击手势时满足的标准。在一些实施方案中，标准包括当输入(或对象的移动)为捏合手势或展开手势时满足的标准。在一些实施方案中，标准包括当输入(或对象的移动)为旋转手势时满足的标准。在一些实施方案中，标准包括当输入(或对象的移动)与用户的一个或多个手指(例如，指状部)对应(例如，由其执行)时满足的标准。在一些实施方案中，当对象的移动由无效对象(例如，除用户的指状部或手指之外的对象)执行时，未满足一个或多个标准的组。在一些实施方案中，由第一电子设备对满足一个或多个标准的组进行确定。在一些实施方案中，第二电子设备进行该确定。
在框1408处，根据确定满足一个或多个标准的组，第一电子设备基于(例如，响应于)输入(或对象的移动)(与检测到的表面(例如，206)(例如，桌子、书桌的顶部)接触的输入)来执行操作。在一些实施方案中，根据基于图像数据确定未满足一个或多个标准的组，第一电子设备放弃基于输入来执行操作。
在一些实施方案中，第一电子设备使用第一电子设备(例如，200B)的一个或多个相机传感器来获取关于第二电子设备(例如，200A)的图像数据。在一些实施方案中，第一电子设备基于关于第二电子设备的图像数据来确定第二电子设备的位置。在一些实施方案中，使用技术(诸如，3D对象检测和/或与图像数据的模板匹配)来确定第二电子设备的位置。在一些实施方案中，第一电子设备基于第二电子设备的位置显示虚拟键盘(或触控板(例如，218))。在一些实施方案中，第二电子设备的位置用作用于确定在何处显示虚拟键盘(或触控板)的参考点。在一些实施方案中，虚拟键盘(或触控板)显示的方式使得虚拟键盘(或触控板)似乎搁置在物理表面(例如，206)(即，第二电子设备所搁置的相同物理表面)上。
上文相对于方法1400所述的过程的详情也以类似方式适用于相对于方法1300所述的方法。例如，方法1300任选地包括上文参考方法1400所述的方法的一个或多个特征。例如，方法1300还可包括发射红外光以实现准确的远程触摸检测。为了简明起见，这些详情在下文中不再重复。
有利地，方法1300和1400提高了远程触摸检测的准确性和鲁棒性。例如，方法1300和1400使得能够准确地检测远程触摸，其包括忽略虚假输入(例如，非手输入、手掌输入)的能力。这可以产生用于与CGR环境进行交互的高效且直观的技术。
此外，本公开还涉及以下实施例：
实施例1.一种方法，包括：
获取关于输入的第一图像数据，其中使用在第二电子设备外部的第一电子设备的一个或多个相机传感器来获取所述第一图像数据；
获取关于所述输入的第二图像数据，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及
根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。
实施例2.根据实施例1所述的方法，还包括：
根据基于所述第一图像数据和所述第二图像数据确定未满足所述一个或多个标准的组，放弃基于所述输入来执行所述操作。
实施例3.根据实施例1至2中任一项所述的方法，还包括：
在获取关于所述输入的所述第一图像数据和所述第二图像数据之前，基于来自所述第二电子设备的取向数据来确定是否存在用于接收触摸输入的合适环境。
实施例4.根据实施例1至3中任一项所述的方法，其中所述输入发生在除所述第一电子设备的位置和所述第二电子设备的位置之外的位置处。
实施例5.根据实施例1至4中任一项所述的方法，其中所述标准包括当所述输入为手势时满足的标准。
实施例6.根据实施例5所述的方法，其中所述标准包括当所述输入为轻击手势时满足的标准。
实施例7.根据实施例5所述的方法，其中所述标准包括当所述输入为捏合手势或展开手势时满足的标准。
实施例8.根据实施例5所述的方法，其中所述标准包括当所述输入为旋转手势时满足的标准。
实施例9.根据实施例1至8中任一项所述的方法，其中所述标准包括当所述输入对应于用户的一个或多个手指时满足的标准。
实施例10.根据实施例1至9中任一项所述的方法，其中由所述第一电子设备做出满足一个或多个标准的组的确定。
实施例11.根据实施例1至10中任一项所述的方法，其中所述第一图像数据和所述第二图像数据对应于相同的时间点或时间段。
实施例12.根据实施例1至11中任一项所述的方法，还包括：
根据确定所述第二电子设备的所述一个或多个相机传感器被遮挡，提示将所述第二电子设备移动到新位置。
实施例13.根据实施例1至12中任一项所述的方法，还包括：
使用所述第一电子设备的所述一个或多个相机传感器来获取关于所述第二电子设备的图像数据；以及
基于关于所述第二电子设备的所述图像数据来确定所述第二电子设备的位置；以及
基于所述第二电子设备的所述位置来显示虚拟键盘。
实施例14.根据实施例1至13中任一项所述的方法，其中：
所述输入包括第一对象和第二对象的移动，并且
所述第一图像数据和所述第二图像数据中的至少一者不包括关于所述第一对象和所述第二对象两者的信息。
实施例15.根据实施例14所述的方法，其中所述第一图像数据和所述第二图像数据组合地提供充足的数据以用于确定是否满足所述一个或多个标准的组。
实施例16.一种***，包括：
一个或多个处理器；以及
一个或多个存储器，所述一个或多个存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例1至15中任一项所述的方法的指令。
实施例17.根据实施例16所述的***，其中所述一个或多个存储器包括所述第一电子设备的第一存储器和所述第二电子设备的第二存储器。
实施例18.根据实施例16至17中任一项所述的***，其中所述一个或多个存储器包括与所述第一电子设备和所述第二电子设备不同的第三电子设备的第三存储器。
实施例19.一种方法，包括：
在第一电子设备处：
获取关于输入的第一图像数据，其中使用在第二电子设备外部的第一电子设备的一个或多个相机传感器来获取所述第一图像数据；
获取关于所述输入的第二图像数据，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及
根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。
实施例20.根据实施例19所述的方法，还包括：
根据基于所述第一图像数据和所述第二图像数据确定未满足所述一个或多个标准的组，放弃基于所述输入来执行所述操作。
实施例21.根据实施例19至20中任一项所述的方法，还包括：
在获取关于所述输入的所述第一图像数据和所述第二图像数据之前，基于来自所述第二电子设备的取向数据来确定是否存在用于接收触摸输入的合适环境。
实施例22.根据实施例19至21中任一项所述的方法，其中所述输入发生在除所述第一电子设备的所述位置和所述第二电子设备的所述位置之外的位置处。
实施例23.根据实施例19至22中任一项所述的方法，其中所述标准包括当所述输入为手势时满足的标准。
实施例24.根据实施例23所述的方法，其中所述标准包括当所述输入为轻击手势时满足的标准。
实施例25.根据实施例23所述的方法，其中所述标准包括当所述输入为捏合手势或展开手势时满足的标准。
实施例26.根据实施例23所述的方法，其中所述标准包括当所述输入为旋转手势时满足的标准。
实施例27.根据实施例19至26中任一项所述的方法，其中所述标准包括当所述输入对应于用户的一个或多个手指时满足的标准。
实施例28.根据实施例19至27中任一项所述的方法，其中由所述第一电子设备做出满足一个或多个标准的组的确定。
实施例29.根据实施例19至28中任一项所述的方法，其中所述第一图像数据和所述第二图像数据对应于相同的时间点或时间段。
实施例30.根据实施例19至29中任一项所述的方法，还包括：
根据确定所述第二电子设备的所述一个或多个相机传感器被遮挡，提示将所述第二电子设备移动到新位置。
实施例31.根据实施例19至30中任一项所述的方法，还包括：
使用所述第一电子设备的所述一个或多个相机传感器来获取关于所述第二电子设备的图像数据；以及
基于关于所述第二电子设备的所述图像数据来确定所述第二电子设备的位置；以及
基于所述第二电子设备的所述位置来显示虚拟键盘。
实施例32.根据实施例19至31中任一项所述的方法，其中：
所述输入包括第一对象和第二对象的移动，并且
所述第一图像数据和所述第二图像数据中的至少一者不包括关于所述第一对象和所述第二对象两者的信息。
实施例33.根据实施例32所述的方法，其中所述第一图像数据和所述第二图像数据组合地提供充足的数据以用于确定是否满足所述一个或多个标准的组。
实施例34.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器实施的一个或多个程序，所述一个或多个程序包括用于执行根据实施例19至33中任一项所述的方法的指令。
实施例35.一种第一电子设备，包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例19至33中任一项所述的方法的指令。
实施例36.一种第一电子设备，包括：
用于执行根据实施例19至33中任一项所述的方法的装置。
实施例37.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
获取关于输入的第一图像数据，其中使用在第二电子设备外部的所述第一电子设备的一个或多个相机传感器来获取所述第一图像数据；
获取关于所述输入的第二图像数据，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及
根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。
实施例38.一种第一电子设备，包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
获取关于输入的第一图像数据，其中使用在第二电子设备外部的所述第一电子设备的一个或多个相机传感器来获取所述第一图像数据；
获取关于所述输入的第二图像数据，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及
根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。
实施例39.一种第一电子设备，包括：
用于获取关于输入的第一图像数据的装置，其中使用在第二电子设备外部的所述第一电子设备的一个或多个相机传感器来获取所述第一图像数据；
用于获取关于所述输入的第二图像数据的装置，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及
用于根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作的装置，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。
实施例40.一种方法，包括：
在第一电子设备处：
获取关于输入的第一图像数据，其中使用在第二电子设备外部的第一电子设备的一个或多个相机传感器来获取所述第一图像数据；
获取关于所述输入的第二图像数据，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及
根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。
实施例41.根据实施例40所述的方法，还包括：
根据基于所述第一图像数据和所述第二图像数据确定未满足所述一个或多个标准的组，放弃基于所述输入来执行所述操作。
实施例42.根据实施例40至41中任一项所述的方法，还包括：
在获取关于所述输入的所述第一图像数据和所述第二图像数据之前，基于来自所述第一电子设备的取向数据来确定是否存在用于接收触摸输入的合适环境。
实施例43.根据实施例40至42中任一项所述的方法，其中所述输入发生在除所述第一电子设备的所述位置和所述第二电子设备的所述位置之外的位置处。
实施例44.根据实施例40至43中任一项所述的方法，其中所述标准包括当所述输入为手势时满足的标准。
实施例45.根据实施例44所述的方法，其中所述标准包括当所述输入为轻击手势时满足的标准。
实施例46.根据实施例44所述的方法，其中所述标准包括当所述输入为捏合手势或展开手势时满足的标准。
实施例47.根据实施例44所述的方法，其中所述标准包括当所述输入为旋转手势时满足的标准。
实施例48.根据实施例40至47中任一项所述的方法，其中所述标准包括当所述输入对应于用户的一个或多个手指时满足的标准。
实施例49.根据实施例40至48中任一项所述的方法，其中由所述第一电子设备做出满足一个或多个标准的组的确定。
实施例50.根据实施例40至49中任一项所述的方法，其中所述第一图像数据和所述第二图像数据对应于相同的时间点或时间段。
实施例51.根据实施例40至50中任一项所述的方法，还包括：
根据确定所述第一电子设备的所述一个或多个相机传感器被遮挡，提示将所述第一电子设备移动到新位置。
实施例52.根据实施例40至51中任一项所述的方法，还包括：
使用所述第二电子设备的所述一个或多个相机传感器来获取关于所述第一电子设备的图像数据；以及
基于关于所述第一电子设备的所述图像数据来确定所述第一电子设备的位置；以及
基于所述第一电子设备的所述位置来显示虚拟键盘。
实施例53.根据实施例40至52中任一项所述的方法，其中：
所述输入包括第一对象和第二对象的移动，并且
所述第一图像数据和所述第二图像数据中的至少一者不包括关于所述第一对象和所述第二对象两者的信息。
实施例54.根据实施例53所述的方法，其中所述第一图像数据和所述第二图像数据组合地提供充足的数据以用于确定是否满足所述一个或多个标准的组。
实施例55.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例40至54中任一项所述的方法的指令。
实施例56.一种第一电子设备，包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例40至54中任一项所述的方法的指令。
实施例57.一种第一电子设备，包括：
用于执行根据实施例40至54中任一项所述的方法的装置。
实施例58.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
获取关于输入的第一图像数据，其中使用在第二电子设备外部的所述第一电子设备的一个或多个相机传感器来获取所述第一图像数据；
获取关于所述输入的第二图像数据，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及
根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。
实施例59.一种第一电子设备，包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
获取关于输入的第一图像数据，其中使用在第二电子设备外部的所述第一电子设备的一个或多个相机传感器来获取所述第一图像数据；
获取关于所述输入的第二图像数据，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及
根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。
实施例60.一种第一电子设备，包括：
用于获取关于输入的第一图像数据的装置，其中使用在第二电子设备外部的所述第一电子设备的一个或多个相机传感器来获取所述第一图像数据；
用于获取关于所述输入的第二图像数据的装置，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及
用于根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作的装置，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。
实施例61.一种方法，包括：
使第一电子设备的红外光源发射红外光；
获取关于输入的图像数据，其中使用第二电子设备的一个或多个相机传感器来获取图像数据，所述第一电子设备与所述第二电子设备不同；以及
根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。
实施例62.根据实施例61所述的方法，还包括：
根据基于所述图像数据确定未满足所述一个或多个标准的组，放弃基于所述输入来执行所述操作。
实施例63.根据实施例61至62中任一项所述的方法，其中所述输入发生在除所述第一电子设备的所述位置和所述第二电子设备的所述位置之外的位置处。
实施例64.根据实施例61至63中任一项所述的方法，其中所述标准包括当所述输入为手势时满足的标准。
实施例65.根据实施例64所述的方法，其中所述标准包括当所述输入为轻击手势时满足的标准。
实施例66.根据实施例64所述的方法，其中所述标准包括当所述输入为捏合手势或展开手势时满足的标准。
实施例67.根据实施例64所述的方法，其中所述标准包括当所述输入为旋转手势时满足的标准。
实施例68.根据实施例61至67中任一项所述的方法，其中所述标准包括当所述输入对应于用户的一个或多个手指时满足的标准。
实施例69.根据实施例61至68中任一项所述的方法，其中由所述第二电子设备做出满足一个或多个标准的组的确定。
实施例70.根据实施例61至69中任一项所述的方法，还包括：
根据确定所述第一电子设备的所述红外光源被遮挡，提示将所述第一电子设备移动到新位置。
实施例71.根据实施例61至70中任一项所述的方法，还包括：
使用所述第二电子设备的所述一个或多个相机传感器来获取关于所述第一电子设备的图像数据；以及
基于关于所述第一电子设备的所述图像数据来确定所述第一电子设备的位置；以及
基于所述第一电子设备的所述位置来显示虚拟键盘。
实施例72.一种***，包括：
一个或多个处理器；以及
一个或多个存储器，所述一个或多个存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例61至71中任一项所述的方法的指令。
实施例73.根据实施例72所述的***，其中所述一个或多个存储器包括所述第一电子设备的第一存储器和所述第二电子设备的第二存储器。
实施例74.根据实施例72至73中任一项所述的***，其中所述一个或多个存储器包括与所述第一电子设备和所述第二电子设备不同的第三电子设备的第三存储器。
实施例75.一种方法，包括：
在第一电子设备处：
使第二电子设备的红外光源发射红外光；
获取关于输入的图像数据，其中使用所述第一电子设备的一个或多个相机传感器来获取所述图像数据，所述第一电子设备与所述第二电子设备不同；以及
根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。
实施例76.根据实施例75所述的方法，还包括：
根据基于所述图像数据确定未满足所述一个或多个标准的组，放弃基于所述输入来执行所述操作。
实施例77.根据实施例75至76中任一项所述的方法，其中所述输入发生在除所述第一电子设备的所述位置和所述第二电子设备的所述位置之外的位置处。
实施例78.根据实施例75至77中任一项所述的方法，其中所述标准包括当所述输入为手势时满足的标准。
实施例79.根据实施例78所述的方法，其中所述标准包括当所述输入为轻击手势时满足的标准。
实施例80.根据实施例78所述的方法，其中所述标准包括当所述输入为捏合手势或展开手势时满足的标准。
实施例81.根据实施例78所述的方法，其中所述标准包括当所述输入为旋转手势时满足的标准。
实施例82.根据实施例75至81中任一项所述的方法，其中所述标准包括当所述输入对应于用户的一个或多个手指时满足的标准。
实施例83.根据实施例75至82中任一项所述的方法，其中由所述第一电子设备做出满足一个或多个标准的组的确定。
实施例84.根据实施例75至83中任一项所述的方法，还包括：
根据确定所述第二电子设备的所述红外光源被遮挡，提示将所述第二电子设备移动到新位置。
实施例85.根据实施例75至84中任一项所述的方法，还包括：
使用所述第一电子设备的所述一个或多个相机传感器来获取关于所述第二电子设备的图像数据；以及
基于关于所述第二电子设备的所述图像数据来确定所述第二电子设备的位置；以及
基于所述第二电子设备的所述位置来显示虚拟键盘。
实施例86.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例75至85中任一项所述的方法的指令。
实施例87.一种第一电子设备，包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例75至85中任一项所述的方法的指令。
实施例88.一种第一电子设备，包括：
用于执行根据实施例75至85中任一项所述的方法的装置。
实施例89.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
使第二电子设备的红外光源发射红外光；
获取关于输入的图像数据，其中使用所述第一电子设备的一个或多个相机传感器来获取所述图像数据，所述第一电子设备与所述第二电子设备不同；以及
根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。
实施例90.一种第一电子设备，包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
使第二电子设备的红外光源发射红外光；
获取关于输入的图像数据，其中使用所述第一电子设备的一个或多个相机传感器来获取所述图像数据，所述第一电子设备与所述第二电子设备不同；以及
根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。
实施例91.一种第一电子设备，包括：
用于使第二电子设备的红外光源发射红外光的装置；
用于获取关于输入的图像数据的装置，其中使用所述第一电子设备的一个或多个相机传感器来获取所述图像数据，所述第一电子设备与所述第二电子设备不同；以及
用于根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作的装置，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。
实施例92.一种方法，包括：
在第一电子设备处：
使所述第一电子设备的红外光源发射红外光；
获取关于输入的图像数据，其中使用第二电子设备的一个或多个相机传感器来获取图像数据，所述第一电子设备与所述第二电子设备不同；以及
根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。
实施例93.根据实施例92所述的方法，还包括：
根据基于所述图像数据确定未满足所述一个或多个标准的组，放弃基于所述输入来执行所述操作。
实施例94.根据实施例92至93中任一项所述的方法，其中所述输入发生在除所述第一电子设备的所述位置和所述第二电子设备的所述位置之外的位置处。
实施例95.根据实施例92至94中任一项所述的方法，其中所述标准包括当所述输入为手势时满足的标准。
实施例96.根据实施例95所述的方法，其中所述标准包括当所述输入为轻击手势时满足的标准。
实施例97.根据实施例95所述的方法，其中所述标准包括当所述输入为捏合手势或展开手势时满足的标准。
实施例98.根据实施例95所述的方法，其中所述标准包括当所述输入为旋转手势时满足的标准。
实施例99.根据实施例92至98中任一项所述的方法，其中所述标准包括当所述输入对应于用户的一个或多个手指时满足的标准。
实施例100.根据实施例92至99中任一项所述的方法，其中由所述第一电子设备做出满足一个或多个标准的组的确定。
实施例101.根据实施例92至100中任一项所述的方法，还包括：
根据确定所述第一电子设备的所述红外光源被遮挡，提示将所述第一电子设备移动到新位置。
实施例102.根据实施例92至101中任一项所述的方法，还包括：
使用所述第二电子设备的所述一个或多个相机传感器来获取关于所述第一电子设备的图像数据；以及
基于关于所述第一电子设备的所述图像数据来确定所述第一电子设备的位置；以及
基于所述第一电子设备的所述位置来显示虚拟键盘。
实施例103.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例92至102中任一项所述的方法的指令。
实施例104.一种第一电子设备，包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例92至102中任一项所述的方法的指令。
实施例105.一种第一电子设备，包括：
用于执行根据实施例92至102中任一项所述的方法的装置。
实施例106.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
使所述第一电子设备的红外光源发射红外光；
获取关于输入的图像数据，其中使用第二电子设备的一个或多个相机传感器来获取所述图像数据，所述第二电子设备与所述第一电子设备不同；以及
根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。
实施例107.一种第一电子设备，包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
使所述第一电子设备的红外光源发射红外光；
获取关于输入的图像数据，其中使用第二电子设备的一个或多个相机传感器来获取所述图像数据，所述第二电子设备与所述第一电子设备不同；以及
根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。
实施例108.一种第一电子设备，包括：
用于使所述第一电子设备的红外光源发射红外光的装置；
用于获取关于输入的图像数据的装置，其中使用第二电子设备的一个或多个相机传感器来获取所述图像数据，所述第二电子设备与所述第一电子设备不同；以及
用于根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作的装置，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。

Claims (25)

1.一种第一电子设备，包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
使第二电子设备的红外光源发射红外光；
获取关于输入的图像数据，其中使用所述第一电子设备的一个或多个相机传感器来获取所述图像数据，所述第一电子设备与所述第二电子设备不同；以及
根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。
2.根据权利要求1所述的第一电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
根据基于所述图像数据确定未满足所述一个或多个标准的组，放弃基于所述输入来执行所述操作。
3.根据权利要求1至2中任一项所述的第一电子设备，其中所述输入发生在除所述第一电子设备的位置和所述第二电子设备的位置之外的位置处。
4.根据权利要求1至2中任一项所述的第一电子设备，其中所述一个或多个标准的组包括当所述输入为手势时满足的标准。
5.根据权利要求4所述的第一电子设备，其中所述一个或多个标准的组包括当所述输入为轻击手势、捏合手势或展开手势、或旋转手势时满足的标准。
6.根据权利要求1至2中任一项所述的第一电子设备，其中所述一个或多个标准的组包括当所述输入对应于用户的一个或多个手指时满足的标准。
7.根据权利要求1至2中任一项所述的第一电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
根据确定所述第二电子设备的所述红外光源被遮挡，提示将所述第二电子设备移动到新位置。
8.根据权利要求1至2中任一项所述的第一电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
使用所述第一电子设备的所述一个或多个相机传感器来获取关于所述第二电子设备的图像数据；
基于关于所述第二电子设备的所述图像数据来确定所述第二电子设备的位置；以及
基于所述第二电子设备的所述位置来显示虚拟键盘。
9.一种计算机可读存储介质，所述计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
使第二电子设备的红外光源发射红外光；
获取关于输入的图像数据，其中使用所述第一电子设备的一个或多个相机传感器来获取所述图像数据，所述第一电子设备与所述第二电子设备不同；以及
根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。
10.根据权利要求9所述的计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
根据基于所述图像数据确定未满足所述一个或多个标准的组，放弃基于所述输入来执行所述操作。
11.根据权利要求9至10中任一项所述的计算机可读存储介质，其中所述输入发生在除所述第一电子设备的位置和所述第二电子设备的位置之外的位置处。
12.根据权利要求9至10中任一项所述的计算机可读存储介质，其中所述一个或多个标准的组包括当所述输入为手势时满足的标准。
13.根据权利要求12所述的计算机可读存储介质，其中所述一个或多个标准的组包括当所述输入为轻击手势、捏合手势或展开手势、或旋转手势时满足的标准。
14.根据权利要求9至10中任一项所述的计算机可读存储介质，其中所述一个或多个标准的组包括当所述输入对应于用户的一个或多个手指时满足的标准。
15.根据权利要求9至10中任一项所述的计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
根据确定所述第二电子设备的所述红外光源被遮挡，提示将所述第二电子设备移动到新位置。
16.根据权利要求9至10中任一项所述的计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
使用所述第一电子设备的所述一个或多个相机传感器来获取关于所述第二电子设备的图像数据；
基于关于所述第二电子设备的所述图像数据来确定所述第二电子设备的位置；以及
基于所述第二电子设备的所述位置来显示虚拟键盘。
17.一种用于第一电子设备的方法，包括：
在所述第一电子设备处：
使第二电子设备的红外光源发射红外光；
获取关于输入的图像数据，其中使用所述第一电子设备的一个或多个相机传感器来获取所述图像数据，所述第一电子设备与所述第二电子设备不同；以及
根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。
18.根据权利要求17所述的方法，还包括：
根据基于所述图像数据确定未满足所述一个或多个标准的组，放弃基于所述输入来执行所述操作。
19.根据权利要求17至18中任一项所述的方法，其中所述输入发生在除所述第一电子设备的位置和所述第二电子设备的位置之外的位置处。
20.根据权利要求17至18中任一项所述的方法，其中所述一个或多个标准的组包括当所述输入为手势时满足的标准。
21.根据权利要求20所述的方法，其中所述一个或多个标准的组包括当所述输入为轻击手势、捏合手势或展开手势、或旋转手势时满足的标准。
22.根据权利要求17至18中任一项所述的方法，其中所述一个或多个标准的组包括当所述输入对应于用户的一个或多个手指时满足的标准。
23.根据权利要求17至18中任一项所述的方法，还包括：
根据确定所述第二电子设备的所述红外光源被遮挡，提示将所述第二电子设备移动到新位置。
24.根据权利要求17至18中任一项所述的方法，还包括：
使用所述第一电子设备的所述一个或多个相机传感器来获取关于所述第二电子设备的图像数据；
基于关于所述第二电子设备的所述图像数据来确定所述第二电子设备的位置；以及
基于所述第二电子设备的所述位置来显示虚拟键盘。
25.一种第一电子设备，包括：
用于执行根据权利要求17至18中任一项所述的方法的装置。
CN201910815262.6A 2018-09-28 2019-08-30 由***设备启用的远程触摸检测 Active CN110968187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210303910.1A CN114647317A (zh) 2018-09-28 2019-08-30 由***设备启用的远程触摸检测

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862738435P 2018-09-28 2018-09-28
US62/738,435 2018-09-28
US16/554,432 2019-08-28
US16/554,432 US10809910B2 (en) 2018-09-28 2019-08-28 Remote touch detection enabled by peripheral device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210303910.1A Division CN114647317A (zh) 2018-09-28 2019-08-30 由***设备启用的远程触摸检测

Publications (2)

Publication Number Publication Date
CN110968187A CN110968187A (zh) 2020-04-07
CN110968187B true CN110968187B (zh) 2022-04-01

Family

ID=69947536

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910815262.6A Active CN110968187B (zh) 2018-09-28 2019-08-30 由***设备启用的远程触摸检测
CN202210303910.1A Pending CN114647317A (zh) 2018-09-28 2019-08-30 由***设备启用的远程触摸检测

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210303910.1A Pending CN114647317A (zh) 2018-09-28 2019-08-30 由***设备启用的远程触摸检测

Country Status (2)

Country Link
US (2) US10809910B2 (zh)
CN (2) CN110968187B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500452B2 (en) 2018-06-05 2022-11-15 Apple Inc. Displaying physical input devices as virtual objects
US10809910B2 (en) 2018-09-28 2020-10-20 Apple Inc. Remote touch detection enabled by peripheral device
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
CN111563559B (zh) * 2020-05-18 2024-03-29 国网浙江省电力有限公司检修分公司 一种成像方法、装置、设备及存储介质
WO2022051033A1 (en) * 2020-09-02 2022-03-10 Sterling Labs Llc Mapping a computer-generated trackpad to a content manipulation region
USD1008308S1 (en) * 2021-06-25 2023-12-19 Hes Ip Holdings, Llc Display panel or portion thereof with a mixed reality graphical user interface
USD1008309S1 (en) * 2021-06-25 2023-12-19 Hes Ip Holdings, Llc Display panel or portion thereof with a mixed reality graphical user interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010136223A (ja) * 2008-12-05 2010-06-17 Sony Corp 撮像装置及び撮像方法
CN104620212A (zh) * 2012-09-21 2015-05-13 索尼公司 控制装置和记录介质
CN105377117A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 基于用户的光学处方的头戴式显示器
CN106062862A (zh) * 2014-10-24 2016-10-26 何安莉 用于沉浸式和交互式多媒体生成的***和方法
CN108073280A (zh) * 2016-11-16 2018-05-25 汤姆逊许可公司 在增强或虚拟现实环境中选择对象

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650520A (zh) 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法
WO2010042880A2 (en) 2008-10-10 2010-04-15 Neoflect, Inc. Mobile computing device with a virtual keyboard
CN101963840B (zh) 2009-07-22 2015-03-18 罗技欧洲公司 用于远程、虚拟屏幕输入的***和方法
US8564621B2 (en) 2010-08-11 2013-10-22 International Business Machines Corporation Replicating changes between corresponding objects
US9052804B1 (en) * 2012-01-06 2015-06-09 Google Inc. Object occlusion to initiate a visual search
US20130194188A1 (en) 2012-01-31 2013-08-01 Research In Motion Limited Apparatus and method of facilitating input at a second electronic device
US9141211B2 (en) 2013-01-09 2015-09-22 Lenovo (Singapore) Pte. Ltd. Touchpad operational mode
US9253375B2 (en) * 2013-04-02 2016-02-02 Google Inc. Camera obstruction detection
US10324563B2 (en) * 2013-09-24 2019-06-18 Hewlett-Packard Development Company, L.P. Identifying a target touch region of a touch-sensitive surface based on an image
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
KR102243656B1 (ko) 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
US10286308B2 (en) 2014-11-10 2019-05-14 Valve Corporation Controller visualization in virtual and augmented reality environments
US10338673B2 (en) 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
US10317989B2 (en) 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
US20170300116A1 (en) 2016-04-15 2017-10-19 Bally Gaming, Inc. System and method for providing tactile feedback for users of virtual reality content viewers
KR20180002208A (ko) 2016-06-29 2018-01-08 엘지전자 주식회사 단말기 및 그 제어 방법
KR101870245B1 (ko) 2016-08-30 2018-06-25 주식회사 악어스캔 오프라인 문서 추적 방법 및 문서 추적 시스템
EP3510475A4 (en) 2016-10-11 2020-04-22 Hewlett-Packard Development Company, L.P. VISUAL NOTICE SYSTEM
WO2018090060A1 (en) 2016-11-14 2018-05-17 Logitech Europe S.A. A system for importing user interface devices into virtual/augmented reality
US10169973B2 (en) * 2017-03-08 2019-01-01 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
US10514801B2 (en) * 2017-06-15 2019-12-24 Microsoft Technology Licensing, Llc Hover-based user-interactions with virtual objects within immersive environments
US10691945B2 (en) * 2017-07-14 2020-06-23 International Business Machines Corporation Altering virtual content based on the presence of hazardous physical obstructions
US10484530B2 (en) * 2017-11-07 2019-11-19 Google Llc Sensor based component activation
US11500452B2 (en) 2018-06-05 2022-11-15 Apple Inc. Displaying physical input devices as virtual objects
US10809910B2 (en) 2018-09-28 2020-10-20 Apple Inc. Remote touch detection enabled by peripheral device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010136223A (ja) * 2008-12-05 2010-06-17 Sony Corp 撮像装置及び撮像方法
CN104620212A (zh) * 2012-09-21 2015-05-13 索尼公司 控制装置和记录介质
CN105377117A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 基于用户的光学处方的头戴式显示器
CN106062862A (zh) * 2014-10-24 2016-10-26 何安莉 用于沉浸式和交互式多媒体生成的***和方法
CN108073280A (zh) * 2016-11-16 2018-05-25 汤姆逊许可公司 在增强或虚拟现实环境中选择对象

Also Published As

Publication number Publication date
US11714540B2 (en) 2023-08-01
CN114647317A (zh) 2022-06-21
CN110968187A (zh) 2020-04-07
US20210004133A1 (en) 2021-01-07
US20200104025A1 (en) 2020-04-02
US10809910B2 (en) 2020-10-20

Similar Documents

Publication Publication Date Title
US11714592B2 (en) Gaze-based user interactions
CN110968187B (zh) 由***设备启用的远程触摸检测
US11302086B1 (en) Providing features of an electronic product in an augmented reality environment
CN113711175A (zh) 呈现计算机生成现实环境的可穿戴电子设备
US11314396B2 (en) Selecting a text input field using eye gaze
US20210097766A1 (en) Presenting an environment based on user movement
US20230092282A1 (en) Methods for moving objects in a three-dimensional environment
US11803233B2 (en) IMU for touch detection
CN110968248B (zh) 生成用于视觉触摸检测的指尖的3d模型
EP3088991B1 (en) Wearable device and method for enabling user interaction
CN112578983B (zh) 手指取向触摸检测
EP4407414A1 (en) Digital assistant placement in extended reality
CN112562088A (zh) 基于用户移动来呈现环境

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant