CN105518575B - 与自然用户界面的双手交互 - Google Patents

与自然用户界面的双手交互 Download PDF

Info

Publication number
CN105518575B
CN105518575B CN201480044766.8A CN201480044766A CN105518575B CN 105518575 B CN105518575 B CN 105518575B CN 201480044766 A CN201480044766 A CN 201480044766A CN 105518575 B CN105518575 B CN 105518575B
Authority
CN
China
Prior art keywords
hand
user
user interface
input gestures
datum plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480044766.8A
Other languages
English (en)
Other versions
CN105518575A (zh
Inventor
A·巴兰
M·J·菲诺齐奥
K·D·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105518575A publication Critical patent/CN105518575A/zh
Application granted granted Critical
Publication of CN105518575B publication Critical patent/CN105518575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

揭示了与自然用户界面的双手交互。例如，一个实施例提供了一种方法，该方法包括：通过由计算设备接收的图像数据来检测由用户的第一只手做出的上下文设置输入，并向显示器发送基于虚拟交互坐标***定位的用户界面，该虚拟坐标***基于用户的第一只手的位置来定位。该方法还包括通过由计算设备接收的图像数据检测由用户的第二只手做出的动作输入，该动作输入在用户的第一只手正做出上下文设置输入时做出，并且基于该上下文设置输入以及动作输入和虚拟交互坐标***之间的交互来向显示器发送响应。

Description

与自然用户界面的双手交互
技术领域
本申请涉及自然用户界面，尤其涉及与自然用户界面的双手交互。
背景技术
已经开发了为用户提供控制用户界面的直观机制的自然用户界面。自然用户界面可利用一个或多个传感器来监视输入，诸如被转换成用户界面控制的手/手臂姿势和/或语音命令。
发明内容
揭示了有关与自然用户界面的双手交互的各实施例。例如，一个实施例提供了一种方法，该方法包括：通过由计算设备接收的图像数据来检测由用户的第一只手做出的上下文设置输入，并向显示器发送基于虚拟交互坐标***定位的用户界面，该虚拟坐标***基于用户的第一只手的位置来定位。该方法还包括通过由该计算设备接收的图像数据来检测由该用户的第二只手执行的动作输入，该动作输入在该用户的第一只手正在做出上下文设置输入时执行，并基于该上下文设置输入以及在该动作输入和该虚拟交互坐标***之间的交互来向显示器发送响应。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
附图说明
图1示意性地示出根据本公开的一实施例的查看增强现实用户界面的用户。
图2是说明根据本公开的一实施例的用于控制用户界面的方法的流程图。
图3是说明根据本公开的一实施例的在与用户界面交互时做出的示例手势序列。
图4是说明根据本公开的一实施例的在与用户界面交互时做出的另一示例手势序列。
图5是说明根据本公开的另一实施例的用于控制用户界面的方法的流程图。
图6是说明根据本公开的一实施例的被做出以控制用户界面的另一示例手势序列。
图7示意性地示出计算***的一示例实施例。
具体实施方式
如上所述，自然用户界面可由计算设备利用来接收用户输入。自然用户界面可允许用户在使用环境中通过经由传感器检测到的诸如身体姿势/姿态之类的动作和语音命令来与计算设备交互。这样的传感器的示例包括，但不限于，图像传感器(包括深度相机和二维图像传感器)、声学传感器、和/或运动传感器。然而，确定检测到的姿势、语音段、和/或由用户执行的其它动作是否旨在控制界面可能成为挑战，因为对应于用户界面命令的各动作也可能对应于在用户界面上下文之外执行的各动作。
此外，某些类型的自然用户界面可能成为附加的挑战。例如，增强现实显示设备(诸如透视头戴式显示器)的自然用户界面可利用显示为位于用户的视野中的立体图像的用户界面元素。当用户试图与这样的用户界面元素进行交互时，各用户界面元素相对于用户身体的表观位置有时可能是用户难以精确感知的。这对于与该用户界面的用户交互而言可能成为挑战。
因此，在此揭示有关与自然用户界面的交互的各实施例，其可有助于表明与用户界面进行交互的用户意图，并且还可促成对相对于用户界面元素的用户姿势的空间感知。简言之，所揭示的各实施例利用双手交互，其中一只手做出定义由另一只手做出的动态动作姿势的上下文的上下文设置姿势。上下文设置姿势可发出用户的执行用户界面交互的意图以及潜在地针对交互的特定上下文的信号，并且还可提供用于定位用于显示用户界面并作出动态动作姿势的坐标***的基准位置。
图1示出根据本公开的一实施例的用户102的第一人称视角，该用户102在查看显示在近眼显示设备104上的增强现实用户界面100。图1的增强现实用户界面100包括全息电视108和多个控件元素110，每个控件元素110被配置来控制在全息电视108上的媒体的回放的一个或多个方面。所描绘的控件元素110包括播放按钮、停止按钮、暂停按钮、快进按钮、和后退按钮，但将理解这样的用户界面可包括任何合适的控件。进一步，当图1示出虚拟对象时，在某些实施例中，用户102还可经由透视近眼显示设备连同虚拟对象一起查看现实世界对象。将理解，所描绘的全息电视108是作为向用户102显示的增强现实用户界面100的示例来提供的，且任何其它合适的用户界面可被显示。各示例包括，但是不限于，其它娱乐相关的用户界面(例如，游戏界面和音频播放器)、浏览器(web、文件等)、生产力软件相关的界面、通信界面、操作***/固件/硬件控件界面等。
来自用户102的姿势输入可被用于控制近眼显示设备104的一个或多个方面。例如，近眼显示设备104可接收来自(以下描述的)一个或多个传感器的图像信息，并在这样的图像和/或音频信息中标识用于控制近眼显示设备104的身体姿势(包括姿态)。尽管在近眼显示设备的上下文中进行描述，但是将理解在此描述的用户界面交互可以与配置用于通过图像传感器接收输入的任何其它计算***一起使用。各实施例包括，但不限于，桌面计算机、膝上计算机、平板计算机、智能电话、和其它可穿戴计算***。
用户102做出的姿势可通过从一个或多个图像传感器(诸如位于近眼显示设备104上的深度相机)接收的图像信息来检测。这样的姿势可被用于控制一个或多个计算机程序。为指示用户102试图控制的一功能性(程序、程序上下文等)，用户102可用第一只手做出上下文设置姿势。作为一个示例，在图1中，用户102以伸展的张开手掌形状举起左手112，其中用户的手掌朝向背离用户且四指和大拇指分开。这个上下文设置姿势可触发，例如，光标控制模式，其中用户102用所显示的光标116来控制用户界面的一个或多个方面。用户的另一只手接着可被用来控制光标，如以下更详细地描述的。
一旦检测到上下文设置输入，近眼显示设备104就可基于用户的上下文设置输入手(例如，第一只手)来定位虚拟交互坐标***。虚拟交互坐标***可包括空间区域，其中用户的第二只手可做出动态动作姿势来控制显示给用户的用户界面的一个或多个方面。也可基于虚拟交互坐标***来显示用户界面元素，并且因此可基于上下文设置输入手的位置来定位。以此方式，上下文设置输入手可提供现实世界基准位置来帮助用户用另一只手作出动态动作姿势。
将理解，其它传感器也可以与近眼显示设备104一起使用。例如，近眼显示设备104可包括一个或多个运动传感器，以在用户正戴着显示***时检测用户头的移动。运动数据可以潜在地与眼睛跟踪数据和面向外的图像数据一起被使用来用于注视跟踪以及用于图像稳定化，以帮助校正来自面向外图像传感器的图像中的模糊。近眼显示设备104还可包括声学传感器，诸如话筒。将理解，各传感器是出于示例的目的而描述的，且不旨在以任何方式进行限制，因为可以使用任何其他合适的传感器和/或传感器的组合。
近眼显示设备104还包括具有与各传感器和显示子***通信的逻辑机和数据保持机的计算设备。数据保持机包括存储于其上的指令，所述指令可例如由逻辑机执行，以接收和解释来自各传感器的输入、确定用户做出的姿势、并向透视近眼显示子***发送对所检测到的姿势的响应。示例硬件配置在以下更详细地描述。
图2示出了通过双手交互来控制用户界面的方法200。方法200可以由任何合适的计算设备来执行，包括但不限于近眼显示设备104。在202，方法200包括从一个或多个图像传感器接收图像信息。图像传感器包括一个或多个深度相机和/或一个或多个二维相机。
方法200还包括，在204，基于所接收到的图像信息来检测由用户的第一只手做出的上下文设置输入。上下文设置输入可包括合适的手势或姿态。作为一个示例，用户可将上下文设置输入手以拳头位置放置在他身体前。在其它示例中，用户可将上下文设置输入手放置成“C”形，或用户可以张开伸展位置(四指并拢或分开)举起手。将理解，任何合适的手势(包括手姿态)处在本申请的范围内。
在206，方法200包括定义包括基于第一只手的位置定位的空间区域的虚拟交互坐标***。例如，虚拟交互坐标***可以用户的第一只手的中心、可从用户的第一只手开始并延伸出去、或可具有相对于用户的第一只手的任何其他合适的位置。虚拟交互坐标***可具有任何合适数量的维度。
虚拟交互坐标***可具有任何合适的大小。在一个示例中，虚拟交互坐标***可以是固定大小的，而不管用户的手的大小或其它变量。在其它示例中，虚拟交互坐标***可具有根据用户、环境、和/或用户界面的一个或多个参数而改变的大小。例如，坐标***可根据用户第一只手的大小、根据从用户的第一只手到观察用户的传感器的距离、根据被用户控制的用户界面元素的大小和/或种类来定大小，或根据其它合适的参数来定大小。
在某些实施例中，虚拟交互坐标***或其部分可被显示给用户。作为一个示例，虚拟交互坐标***可在透视近眼显示设备上被显示为根据用户的第一只手定位的网格。作为另一个示例，在该坐标***内从用户的第一只手延伸的平面可被显示为基准平面。在其它实施例中，虚拟交互坐标***可不显示给用户。
方法200还包括，在208，向显示器发送用户界面(即，发送表示用户界面的数据)。在某些示例中，所显示的用户界面可专用于由上下文设置输入定义的上下文，并响应于上下文设置输入被发送。在其它示例中，用户界面可在用户做出上下文设置输入之前被发送。例如，用户界面可响应于先前的上下文设置输入、响应于语音输入或其它类型的输入等来被发送。在其中用户界面在用户做出上下文设置输入之前被发送到显示器的各示例中，所做出的上下文设置输入可定义用户界面的子上下文，诸如特定控制模式。
将用户界面发送到显示器可包括通过改变用户第一只手的姿态来发起子上下文和/或触发动作的开始，如在210所示。作为设置子上下文的一个示例，第一上下文设置输入可触发绘画程序的用户界面的显示，其中用户的第二只手做出的手势可被转换成绘画。在用户移动他的第二只手来创建绘画之前，并且在显示绘画界面之后，用户可改变最初上下文设置输入的姿态(例如，从四指和大拇指并拢在一起的伸展的手到大拇指从手延伸离开的调整后的位置，或其它合适的姿势)以发起绘画程序的子上下文模式。响应于这个改变，绘画工具的图像可被发送到显示器并放置在用户的第二只手的手指处。上下文设置输入的姿态的这个改变可接着将发出用户的第二只手做出动作输入的开始的信号。第二只手的后续移动可接着导致对应的绘画元素在绘画用户界面中的显示。以此方式，用户可通过改变第一只手的姿态来定义线段的开始和结束。
在某些实施例中，上下文设置输入的姿态的改变可发起对用户界面的标记。如上面所描述的，对用户界面的标记可包括在用户界面上绘画，其由第二只手的移动来定义。然而，对用户界面的其它标记也是可能的。例如，标记可包括文本的突出显示、自由形式文本的输入、或以自由形式方式做出的其它这样的交互。
在212，方法200包括基于所接收到的图像信息来检测由用户的第二只手做出的动作输入。该动作输入可在第一只手正在做出上下文设置姿势时由第二只手做出。动作输入可包括用户的第二只手的任何合适的姿势、姿态、和/或移动。在某些实施例中，由第二只手做出的姿势和/或姿态可在虚拟交互坐标***中做出，并且第二只手的移动可基于虚拟交互坐标***而被跟踪。
在214，方法200包括向显示器发送对动作输入的响应。如上所述，发送的响应是基于上下文设置输入和动态动作输入的组合的。输入和响应的各示例将在下文中更详细描述。
方法200还可包括基于第一只手的后续移动修改所显示的响应，如在216所指示的。例如，在将捕捉到的图像发送到显示器之后，如果用户顺时针转动他或她的第一只手(例如，上下文设置输入手)，响应于该动作输入显示的图像(例如，捕捉到的照片、在绘图程序中作出的绘图等)也可以顺时针方向转动。此外，修改所显示的响应可包括发出动作输入的结束和/或作出的且显示在用户界面上的标记的结束的信号。在以上描述的绘图程序的示例中，在动作输入被执行后，如果第一只手的姿态改变被检测到，那么响应于用户的第二只手的运动在用户界面上的线段绘制可结束。
图3示出了根据本公开的一个实施例的由用户做出目的在于通过与用户界面的双手交互来控制用户界面的手移动序列300的示例。所描绘的一系列交互可被用于控制任何合适的计算设备动作。作为一个非限制性示例，所描绘的一手移动序列可被用于控制结合到近眼显示设备104的图像捕捉设备。
在时间t1，用户在上下文设置输入中举起包括“c”形姿态的第一只手302。作为响应，基于该上下文设置输入定义虚拟交互坐标***。该虚拟交互坐标***可从第一只手302朝着其中第二只手可自然交互的区域延伸出去。虚拟交互坐标***可具有合适数量的维度，并且被示为包括与第一只手302对齐的平面304。在各种实施例中，平面304可以或可以不显示。
在时间t2，用户在虚拟交互坐标***中将第二只手306举起在平面304前。如所示，第二只手的食指伸出。在时间t3，用户将他或她的第二只手306从平面304之前移动到平面304之后。第二只手从平面304的一侧到平面304的另一侧的运动(诸如从用户和/或近眼显示设备的视角而言从平面304之前到平面304之后的运动)例如可通过近眼显示设备的板载相机来触发对图像的捕捉，随后通过近眼显示设备显示所捕捉的图像。
图4是示出根据本公开的一实施例的可用于通过双手交互与自然用户界面交互的另一示例手移动序列400。所示的手移动序列400可被用于例如控制在近眼显示设备上执行的绘画程序的用户界面。
在时间t1，用户举起第一只手402和第二只手404。第一只手402正在做出包括张开手掌姿态(手指伸展并保持并拢在一起)的上下文设置输入，而第二只手404处在食指伸出的第一姿态。第一只手402的上下文设置输入触发近眼显示设备上的绘画程序的执行。如此，专用于绘画程序的用户界面可被显示在近眼显示设备的显示器上。尽管被描绘为在平面406之后，第二只手也可位于平面406之前。
在时间t2，上下文设置输入的姿态被改变，将对其中可执行绘画的子上下文的改变作为信号发送。如图4中所示，第一只手402的大拇指移离手掌。作为响应，绘画工具408被显示在第二只手404的手指上方，并且第二只手404的手指的任何后续移动被转换成绘画。如在时间t3所示，第二只手404的手指的移动被转换成绘画410。
在时间t4，第一只手402的大拇指从伸出的位置移回到靠近第一只手402的其它手指的位置。该移动发出绘画输入结束的信号。如此，绘画工具408被移除，且绘画410完成。因此，通过选择性地改变第一只手的姿态，用户可清楚地表达开始和结束单个线段的绘制的意图。
图5示出描绘根据本公开的另一实施例的用于与用户界面进行交互的方法500的流程图。方法500可以由任何合适的计算设备(包括但不限于近眼显示设备104)来实施以便通过光标与各界面元素进行交互。
方法500包括，在502，从一个或多个图像传感器接收图像信息，并且在504，通过所接收到的图像信息检测由用户的第一只手执行的触发光标控制模式的上下文设置输入。作为非限制性示例，上下文设置输入可包括移到张开手掌位置的用户的第一只手。在506，响应于检测到上下文设置输入，定义虚拟交互坐标***，其中虚拟交互坐标***包括基于第一只手的位置定位的空间区域。
方法500还包括，在508，向显示器(诸如透视近眼显示器)发送包括可由光标选择的一个或多个元素的增强现实用户界面，其中增强现实用户界面基于第一只手的位置来定位。继续，方法500进一步包括，在510，检测光标发起输入。如在512所指示的，光标发起输入可包括用户的第二只手从近眼显示设备的视角而言从在延伸自第一只手的平面前面的位置到在该平面后面的位置横跨该平面的移动。该用户界面可被显示，使得用户的第二只手从用户界面前面的明显的位置通到用户界面后面的明显的位置。
响应于检测光标发起输入，方法500包括，在516，在与第二只手的位置相关联的位置显示光标。方法500还包括，在518，检测包括第二只手在平面后面的横向移动的光标移动输入。响应于检测到横向输入，在520，使光标与第二只手在平面后面的移动相对应地移动。此外，增强现实用户界面的元素可在光标与该元素相交时被突出显示。
在522，方法500包括检测光标选择输入，并响应于检测到光标选择输入，选择增强现实用户界面的经突出显示的元素。光标选择输入可包括，例如，第二只手从平面后面到平面前面的移动。这也可退出光标移动控制模式，其中光标移动跟随用户的第二只手的横向移动。
一旦用户界面元素已经被选择，其它交互可被执行。例如，在表示可执行程序的用户界面元素的情况中，与用户界面元素相关联的应用可通过附加输入(姿势、语音等)来被执行。作为另一个示例，用户界面元素可被移动。如此，方法500包括，在524，检测元素操纵输入，并且作为响应，移动所选的经突出显示的元素所显示的位置。元素操作输入可在选择经突出显示的元素之后被检测，并可包括第一只手保持上下文设置姿态时的移动。
作为在用户界面元素选择之后执行的交互的另一个示例，方法500包括，在526，响应于取消选择输入，取消对所选元素的选择。取消选择输入可包括第二只手从平面前面到平面后面的移动、第一只手的上下文设置姿态的结束和/或任何其它合适的动作。
图6是示出可用于通过双手交互与自然用户界面交互的手移动600的另一示例实施例。在所描绘的实施例中，手移动序列600在控制处于增强现实环境中的全息电视的增强现实用户界面的上下文中描述，但是该序列可被用于任何其它合适设置中。
在时间t1，用户举起第一只手602和第二只手604。第一只手602正在做出包括张开手掌姿态(手指伸展并分散开)的上下文设置输入。第二只手404在虚拟交互坐标***的平面606前面。平面606可以或可以不显示。在一个实施例中，平面606可在检测到上下文设置输入之际被显示。
全息电视608和多个控件元素610被显示在透视近眼显示器上。全息电视608和/或多个控制元素610可基于第一只手602和第二只手604中的一个或多个的位置来定位，使得至少第二只手604能够做出与多个控件元素610交互的移动。
在时间t2，用户做出光标发起输入，该光标发起输入包括第二只手604从近眼显示设备的视角而言从平面606的前面到平面606的后面的移动。作为结果，光标612被显示在透视近眼显示器上。
在时间t3，用户做出包括第二只手604在平面606后面的横向移动的光标移动输入。光标612与光标移动输入相对应地移动，并与多个控件元素610之一相交，其在所示示例中是播放按钮。在光标612与增强现实用户界面的可选元素相交时，在某些实施例中，元素可变得被突出显示或以其他方式可视。
在时间t4，用户做出包括第二只手604从平面606后面到平面606前面的移动的光标选择输入。作为该移动的结果，由光标突出显示的任何元素将被选择。在所示示例中，播放按钮被选择并且作为结果，全息电视608上的视频被显示。
因此，在此揭示的各实施例可促进用户与自然用户界面交互的意图以及其中进行交互的上下文的表达。此外，所公开的各实施例也可帮助来向用户提供位置基准，因为第二只手在作出动态动作输入时的运动可在位置上参考第一上下文设置手。
在某些实施例中，本文所述的方法和过程可以与一个或多个计算设备的计算***绑定。具体而言，这样的方法和过程可以实现为计算机应用程序或服务、应用程序编程接口(API)、库和/或其他计算机程序产品。
图7示意性地示出计算***700的非限制性实施例，该计算***可以进行上述方法和过程中的一个或多个。近眼显示设备104可以是计算***700的一个非限制性实例。在另一示例中，计算***700可采取被配置用于从一个或多个源接收视频和/或游戏内容并将该视频和/或游戏内容显示在连接的显示设备上的娱乐***的形式。
计算***700以简化形式示出。计算***700可采取以下形式：一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)、可穿戴计算设备(例如头戴式显示器)和/或其他计算设备。
计算***700包括逻辑机702和存储机704。计算***700可任选地包括显示子***706、输入子***708、通信子***710、和/或在图7中未示出的其他组件。
逻辑机702包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可以被配置成执行指令，所述指令是一个或多个应用、服务、程序、例程、库、对象、部件、数据结构或其他逻辑构造的一部分。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑机可以包括被配置成执行软件指令的一个或多个处理器。附加地或替换地，逻辑机可以包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核的或多核的，其上执行的指令可以被配置用于串行、并行和/或分布式处理。逻辑机的个体组件可任选地分布在两个或更多个分开的设备之间，所述设备可以位于远程以及/或者被配置用于协同处理。逻辑机的各方面可以被在云计算配置中配置的远程可访问的、联网计算设备虚拟化和执行。
存储机704包括被配置成保持可由逻辑机执行的指令以实现此处描述的方法和过程的一个或多个物理设备。当实现这样的方法和过程时，存储机704的状态可以被变化――例如以保持不同的数据。
存储机704可以包括可移动和/或内置设备。存储机704可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、等等。存储机704可以包括易失性的、非易失性的、动态的、静态的、读/写的、只读的、随机存取的、依序存取的、位置可定址的、文件可定址的和/或内容可定址的设备。
将会理解，存储机704包括一个或多个物理设备。然而，此处描述的指令的各方面可替代地由未由物理设备持有达有限持续期的通信介质(例如，电磁信号、光学信号等)传播。
逻辑机702和存储机704的各方面可以被一起集成到一个或多个硬件逻辑组件中。这种硬件逻辑组件可以包括例如场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上***(SOC)以及复杂可编程逻辑器件(CPLD)。
术语“程序”可用于描述被实现来执行特定功能的计算***700的一方面。在某些情况下，或可经由执行存储机704所保持的指令的逻辑机702来实例化程序。将理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的程序。同样，可以由不同的应用程序、服务、代码块、对象、例程、API、函数等实例化同一模块和/或程序。术语“程序”可涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
在包括显示子***706时，显示子***706可用于呈现由存储机704所保持的数据的视觉表示。该视觉表示可以采用图形用户界面(GUI)的形式。由于此处描述的方法和过程改变了存储机所保持的数据、且因子转换了存储机的状态，因此显示子***706的状态可同样地被转换以视觉地表示底层数据中的变化。显示子***706可以包括使用实质上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑机702和/或存储机704组合在共享封装中，或者此类显示设备可以是***显示设备。
当被包括时，输入子***708可包括诸如键盘、鼠标、触摸屏或游戏控制器等一个或多个用户输入设备或者与这些用户输入设备对接。在一些实施例中，输入子***可以包括或相接于所选择的自然用户输入(NUI)部件。这种元件部分可以是集成的或***的，输入动作的转导和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部***、眼睛***、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
在包括通信子***710时，通信子***710可以被配置成将计算***700与一个或多个其他计算设备通信耦合。通信子***710可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子***可以被配置用于经由无线电话网络、或者有线或无线局域网或广域网来通信。在一些实施例中，通信子***可允许计算***700经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括各种过程、***和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (11)

1.一种在头戴式显示***上执行的方法，所述头戴式显示***包括透视近眼显示器、一个或多个图像传感器、逻辑机和存储机，所述方法包括：
从所述一个或多个图像传感器接收图像数据；
通过接收到的图像数据来检测由用户的第一只手做出的上下文设置输入姿势以触发绘画程序的执行；
向所述透视近眼显示器发送表示基于虚拟交互坐标***定位的用于所述绘画程序的全息立体用户界面的数据，所述虚拟交互坐标***包括基于所述用户的所述第一只手的位置来定位的基准平面；
通过接收到的图像数据来检测所述第一只手做出改变了的上下文设置输入姿势，以触发所述绘画程序的子上下文以检测绘画输入；
通过接收到的图像数据来检测由所述用户的第二只手相对于所述全息立体用户界面和相对于所述虚拟交互坐标***的所述基准平面做出的绘画输入姿势，所述绘画输入姿势在所述用户的所述第一只手正在做出所述改变了的上下文设置输入姿势时做出；以及
基于相对于所述虚拟交互坐标***中的所述基准平面的所述绘画输入，在所述全息立体用户界面中显示绘画。
2.如权利要求1所述的方法，其特征在于，检测绘画输入姿势包括检测所述第二只手从所述用户的视角而言从在所述虚拟交互坐标***的所述基准平面的一侧上的位置到在所述基准平面的另一侧上的位置横跨所述基准平面的移动。
3.如权利要求2所述的方法，其特征在于，检测横跨所述基准平面的所述第二只手触发经由相机的图像捕捉过程。
4.如权利要求1所述的方法，其特征在于，还包括检测所述第一只手的姿态的改变，并且作为响应，触发所述绘画输入姿势的结束。
5.如权利要求4所述的方法，其特征在于，所述第一只手的姿态的改变触发由所述第二只手对所述全息立体用户界面的标记的结束。
6.一种头戴式近眼显示***，包括：
透视近眼显示器；
一个或多个图像传感器；
逻辑机；以及
存储机，所述存储机包括能够由所述逻辑机执行以进行以下操作的指令：
从所述一个或多个图像传感器接收图像数据；
通过接收到的图像数据来检测由用户的第一只手做出的上下文设置输入姿势以触发绘画程序的执行；
向所述透视近眼显示器发送表示基于虚拟交互坐标***定位的用于所述绘画程序的全息立体用户界面的数据，所述虚拟交互坐标***包括基于所述用户的所述第一只手的位置来定位的基准平面；
通过接收到的图像数据来检测所述第一只手做出改变了的上下文设置输入姿势，以触发所述绘画程序的子上下文以检测绘画输入；
通过接收到的图像数据来检测由所述用户的第二只手相对于所述全息立体用户界面和相对于所述虚拟交互坐标***的所述基准平面做出的绘画输入姿势，所述绘画输入姿势在所述用户的所述第一只手正在做出所述改变了的上下文设置输入姿势时做出；以及
基于相对于所述虚拟交互坐标***中的所述基准平面的所述绘画输入，在所述全息立体用户界面中显示绘画。
7.如权利要求6所述的近眼显示***，其特征在于：
所述上下文设置输入姿势触发光标控制模式；
所述全息立体用户界面包括能够通过光标选择的一个或多个元素；
所述绘画输入姿势包括光标发起输入姿势，所述光标发起输入姿势包括所述用户的所述第二只手横跨所述虚拟交互坐标***内的所述基准平面移动。
8.如权利要求7所述的近眼显示***，其特征在于，所述光标发起输入姿势包括所述用户的所述第二只手从所述近眼显示***的视角而言从在延伸自所述第一只手的基准平面前面的位置到在所述基准平面的后面的位置横跨所述基准平面。
9.如权利要求8所述的近眼显示***，其特征在于，所述指令还可被执行以：
检测包括所述第二只手在所述基准平面后面的横向移动的光标移动输入姿势；
响应于检测到所述光标移动输入姿势，与所述第二只手在所述基准平面后面的移动相对应地移动所述光标的图像。
10.如权利要求9所述的近眼显示***，其特征在于，所述指令还可被执行以在所述光标的移动与所述全息立体用户界面的元素相交时突出显示所述元素。
11.如权利要求10所述的近眼显示***，其特征在于，指令还可被执行以：
检测光标选择输入姿势，所述光标选择输入姿势包括所述第二只手从所述基准平面后面到所述基准平面前面的移动；以及
响应于检测到所述光标选择输入姿势，选择所述全息立体用户界面的经突出显示的元素。
CN201480044766.8A 2013-08-05 2014-08-01 与自然用户界面的双手交互 Active CN105518575B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/959,555 US9529513B2 (en) 2013-08-05 2013-08-05 Two-hand interaction with natural user interface
US13/959,555 2013-08-05
PCT/US2014/049322 WO2015020888A1 (en) 2013-08-05 2014-08-01 Two-hand interaction with natural user interface

Publications (2)

Publication Number Publication Date
CN105518575A CN105518575A (zh) 2016-04-20
CN105518575B true CN105518575B (zh) 2019-05-14

Family

ID=51483646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480044766.8A Active CN105518575B (zh) 2013-08-05 2014-08-01 与自然用户界面的双手交互

Country Status (4)

Country Link
US (1) US9529513B2 (zh)
EP (1) EP3030953B1 (zh)
CN (1) CN105518575B (zh)
WO (1) WO2015020888A1 (zh)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US20150169153A1 (en) * 2013-12-17 2015-06-18 Lenovo (Singapore) Pte, Ltd. Enhancing a viewing area around a cursor
US20150185851A1 (en) * 2013-12-30 2015-07-02 Google Inc. Device Interaction with Self-Referential Gestures
US10585486B2 (en) 2014-01-03 2020-03-10 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US20150205351A1 (en) * 2014-01-17 2015-07-23 Osterhout Group, Inc. External user interface for head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
WO2015188011A1 (en) * 2014-06-04 2015-12-10 Quantum Interface, Llc. Dynamic environment for object and attribute display and interaction
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9588625B2 (en) 2014-08-15 2017-03-07 Google Inc. Interactive textiles
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US20160224123A1 (en) * 2015-02-02 2016-08-04 Augumenta Ltd Method and system to control electronic devices through gestures
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
US9983747B2 (en) 2015-03-26 2018-05-29 Google Llc Two-layer interactive textiles
US10241581B2 (en) 2015-04-30 2019-03-26 Google Llc RF-based micro-motion tracking for gesture tracking and recognition
WO2016176574A1 (en) 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
US10310620B2 (en) 2015-04-30 2019-06-04 Google Llc Type-agnostic RF signal representations
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
EP3101511A1 (en) 2015-06-03 2016-12-07 Nokia Technologies Oy Monitoring
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
JP2017021461A (ja) * 2015-07-08 2017-01-26 株式会社ソニー・インタラクティブエンタテインメント 操作入力装置および操作入力方法
EP3115926A1 (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Method for control using recognition of two-hand gestures
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US9837760B2 (en) 2015-11-04 2017-12-05 Google Inc. Connectors for connecting electronics embedded in garments to external devices
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
WO2017200949A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive fabric
WO2017200570A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive object with multiple electronics modules
US10042604B2 (en) * 2016-07-01 2018-08-07 Metrik LLC Multi-dimensional reference element for mixed reality environments
US10234935B2 (en) * 2016-08-11 2019-03-19 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
CN107885317A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
US11073980B2 (en) * 2016-09-29 2021-07-27 Microsoft Technology Licensing, Llc User interfaces for bi-manual control
US20180095618A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
CN106484237A (zh) * 2016-10-14 2017-03-08 网易（杭州）网络有限公司 用于虚拟现实显示的方法、装置及虚拟现实设备
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
WO2018115926A1 (es) * 2016-12-19 2018-06-28 Universidad Eafit Dispositivo y método para el rastreo de movimientos de miembro superior
CN107145220A (zh) * 2017-03-24 2017-09-08 深圳奥比中光科技有限公司 人机交互自适应调整方法及***
US10627911B2 (en) 2017-04-25 2020-04-21 International Business Machines Corporation Remote interaction with content of a transparent display
WO2018226850A1 (en) * 2017-06-08 2018-12-13 Medos International Sàrl User interface systems for sterile fields and other working environments
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
US10591730B2 (en) 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
WO2019039065A1 (ja) * 2017-08-25 2019-02-28 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11049325B2 (en) * 2017-11-01 2021-06-29 Sony Corporation Information processing apparatus, information processing method, and program
US10553031B2 (en) 2017-12-06 2020-02-04 Microsoft Technology Licensing, Llc Digital project file presentation
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US10839214B2 (en) 2018-03-13 2020-11-17 International Business Machines Corporation Automated intent to action mapping in augmented reality environments
US11157159B2 (en) 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar
US10606364B2 (en) * 2018-06-14 2020-03-31 Dell Products, L.P. Two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
WO2020039703A1 (ja) * 2018-08-21 2020-02-27 株式会社Ｎｔｔドコモ 入力装置
US11054896B1 (en) * 2019-02-07 2021-07-06 Facebook, Inc. Displaying virtual interaction objects to a user on a reference plane
EP3693834A1 (en) * 2019-02-11 2020-08-12 Siemens Aktiengesellschaft Method and system for viewing virtual elements
US20200301513A1 (en) * 2019-03-22 2020-09-24 Microsoft Technology Licensing, Llc Methods for two-stage hand gesture input
US11334212B2 (en) * 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US11422669B1 (en) 2019-06-07 2022-08-23 Facebook Technologies, Llc Detecting input using a stylus in artificial reality systems based on a stylus movement after a stylus selection action
CN110070777B (zh) * 2019-06-13 2021-07-09 大连民族大学 一种赫哲族鱼皮画仿真培训***及实现方法
CN110516222A (zh) * 2019-08-30 2019-11-29 北京字节跳动网络技术有限公司 文本编辑方法、装置、设备、存储介质
WO2021052800A1 (en) 2019-09-20 2021-03-25 Interdigital Ce Patent Holdings, Sas Device and method for hand-based user interaction in vr and ar environments
US11449189B1 (en) * 2019-10-02 2022-09-20 Facebook Technologies, Llc Virtual reality-based augmented reality development system
US11275944B1 (en) 2019-10-18 2022-03-15 Splunk Inc. External asset database management in an extended reality environment
CN111309153B (zh) * 2020-03-25 2024-04-09 北京百度网讯科技有限公司 人机交互的控制方法和装置、电子设备和存储介质
CN112216030B (zh) * 2020-08-31 2022-02-22 厦门宸力科技有限公司 智能服药监测方法、智能服药机、智能服药站和管理***
CN112164439B (zh) * 2020-08-31 2022-11-08 厦门宸力科技有限公司 一种服药监测方法和装置
CN112351325B (zh) * 2020-11-06 2023-07-25 惠州视维新技术有限公司 基于手势的显示终端控制方法、终端和可读存储介质
CN118235103A (zh) * 2021-09-15 2024-06-21 神经实验室公司 无触摸的基于图像的输入接口
WO2023090951A1 (en) * 2021-11-19 2023-05-25 Samsung Electronics Co., Ltd. Methods and systems for suggesting an enhanced multimodal interaction
US20230410441A1 (en) * 2022-06-21 2023-12-21 Snap Inc. Generating user interfaces displaying augmented reality graphics

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
US7274800B2 (en) 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US8180114B2 (en) 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
KR100851977B1 (ko) * 2006-11-20 2008-08-12 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5293154B2 (ja) * 2008-12-19 2013-09-18 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8176442B2 (en) 2009-05-29 2012-05-08 Microsoft Corporation Living cursor control mechanics
US20120056989A1 (en) * 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8860675B2 (en) * 2011-07-12 2014-10-14 Autodesk, Inc. Drawing aid system for multi-touch devices
US20130021488A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Adjusting Image Capture Device Settings
GB2494907A (en) 2011-09-23 2013-03-27 Sony Corp A Head-mountable display with gesture recognition
CN103018905A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 头戴式体感操控显示***及其方法
WO2013095679A1 (en) 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing coordinated two-hand command gestures

Also Published As

Publication number Publication date
US20150040040A1 (en) 2015-02-05
CN105518575A (zh) 2016-04-20
WO2015020888A1 (en) 2015-02-12
US9529513B2 (en) 2016-12-27
EP3030953B1 (en) 2021-11-10
EP3030953A1 (en) 2016-06-15

Similar Documents

Publication Publication Date Title
CN105518575B (zh) 与自然用户界面的双手交互
CN107810465B (zh) 用于产生绘制表面的***和方法
EP2946264B1 (en) Virtual interaction with image projection
US10019074B2 (en) Touchless input
CN105900041B (zh) 利用视线跟踪进行的目标定位
US8749557B2 (en) Interacting with user interface via avatar
CN110476142A (zh) 虚拟对象用户界面显示
US9423939B2 (en) Dynamic adjustment of user interface
US20160239080A1 (en) Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
CN106575152B (zh) 可对准的用户界面
US20180143693A1 (en) Virtual object manipulation
US11656689B2 (en) Single-handed microgesture inputs
WO2015066659A1 (en) Gesture disambiguation using orientation information
US10852814B1 (en) Bounding virtual object
Caputo et al. Single-Handed vs. Two Handed Manipulation in Virtual Reality: A Novel Metaphor and Experimental Comparisons.
JP7470226B2 (ja) Ｘｒマルチウィンドウ制御
Giachetti Single-Handed vs. Two Handed Manipulation in Virtual Reality: A Novel Metaphor and Experimental Comparisons

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant