CN109891368B - 活动对象在增强和/或虚拟现实环境中的切换 - Google Patents

活动对象在增强和/或虚拟现实环境中的切换 Download PDF

Info

Publication number
CN109891368B
CN109891368B CN201780066697.4A CN201780066697A CN109891368B CN 109891368 B CN109891368 B CN 109891368B CN 201780066697 A CN201780066697 A CN 201780066697A CN 109891368 B CN109891368 B CN 109891368B
Authority
CN
China
Prior art keywords
virtual
virtual object
location
user
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780066697.4A
Other languages
English (en)
Other versions
CN109891368A (zh
Inventor
伊恩·麦吉利夫雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN109891368A publication Critical patent/CN109891368A/zh
Application granted granted Critical
Publication of CN109891368B publication Critical patent/CN109891368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在虚拟现实***中，光学追踪设备可以检测和追踪用户的眼睛凝视方向和/或相对于虚拟环境中显示的虚拟用户界面中包括的虚拟对象的移动，并且头戴式显示设备中的传感器可以检测和追踪用户的头部凝视方向和/或相对于虚拟环境中的虚拟对象的移动。处理器可以将检测到的凝视方向和/或移动作为用户输入进行处理，并且可以响应于检测到的凝视方向和/或移动来移动或重新布置虚拟对象中的一个或多个。

Description

活动对象在增强和/或虚拟现实环境中的切换
相关申请的交叉引用
本申请是2016年11月30日提交的美国申请No.15/364,729的继续并对其要求优先权，其公开内容通过引用整体并入在本文中。
技术领域
本文档总体上涉及一种增强现实和/或虚拟现实环境中的对象选择和位置。
背景技术
增强现实(AR)和/或虚拟现实(VR)***可以生成沉浸式的三维(3D)虚拟环境。用户可以使用各种电子设备与该虚拟环境中的对象交互，所述各种电子设备诸如例如包括显示器的头盔或其它头戴式设备、用户在查看显示设备时观看的眼镜或护目镜、装配有传感器的手套、诸如手持设备的外部设备、键盘、以及其他电子设备。当沉浸在虚拟环境中并使用例如键盘和/或鼠标与虚拟环境中的对象和特征交互时，在不需要从键盘脱离一只或两只手来手动操作虚拟对象的情况下，可以通过用于在虚拟环境中对对象选择、移动、和切换焦点的能力来增强用户在虚拟环境中的体验。
发明内容
在一个方面，一种方法可以包括：在头戴式显示器(HMD)设备的显示器上显示在虚拟现实环境中的虚拟用户界面，所述虚拟界面包括多个虚拟对象；检测指向所述多个虚拟对象中的第一虚拟对象处的凝视，所述第一虚拟对象位于第一虚拟位置；接收验证所述第一虚拟对象的选择的验证输入；响应于对所述第一虚拟对象的所述选择的所述验证，将所述第一虚拟对象移动到第二虚拟位置；以及，基于所述第一虚拟对象的所述移动来重新布置所述多个虚拟对象中的剩余虚拟对象的显示。
在另一方面，一种***可包括：计算设备，所述计算设备被配置为生成虚拟现实环境，所述计算设备包括：存储器，所述存储器存储可执行指令；以及处理器，所述处理器被配置为执行所述指令以使所述计算设备：在头戴式显示器(HMD)设备的显示器上显示所述虚拟现实环境中的虚拟用户界面，所述虚拟界面包括多个虚拟对象；检测指向所述多个虚拟对象中的第一虚拟对象处的凝视，所述第一虚拟对象位于第一虚拟位置处；接收验证所述第一虚拟对象的选择的验证输入；响应于对所述第一虚拟对象的所述选择的所述验证，将所述第一虚拟对象移动到第二虚拟位置；以及，基于所述第一虚拟对象的所述移动来重新布置所述多个虚拟对象中的剩余虚拟对象的显示。
在下面的附图和描述中阐述了一个或多个实现方式的细节。其它特征将从说明书和附图中并从权利要求书中显而易见。
附图说明
图1是根据如本文描述的实现方式的增强和/或虚拟现实***的示例实现方式，该增强和/或虚拟现实***包括与外部输入设备通信的头戴式显示器。
图2A和图2B是根据本文描述的实现方式的示例头戴式显示设备的立体视图。
图3是根据本文描述的实现方式的增强和/或虚拟现实***的框图。
图4A-图4E图示了根据本文描述的实现方式的、用于响应于在增强和/或虚拟现实环境中检测到的凝视输入来切换虚拟对象的***。
图5A-图5F和图6A-图6C图示了根据本文描述的实现方式的、结合响应于在增强和/或虚拟现实环境中的检测到的凝视输入的虚拟对象的切换显示的视觉指示符。
图7A-图7B图示了根据本文描述的实现方式的响应于在增强和/ 或虚拟现实环境中检测到的凝视输入而切换虚拟对象。
图8是根据本文描述的实现方式的在增强和/或虚拟现实环境中组合眼睛凝视输入和用于用户界面的触摸表面输入的方法的流程图。
图9示出了能够用于实现本文描述的技术的计算机设备和移动计算机设备的示例。
具体实施方式
佩戴例如头戴式显示器(HMD)设备的、在增强和/或虚拟现实环境中沉浸的用户可以探索虚拟环境并利用各种不同类型的输入与虚拟环境交互，这些输入包括例如与HMD分离的一个或多个电子设备的操纵和/或HMD本身的操纵、和/或眼睛方向凝视、和/或头部移动和/或手/手臂姿势等。用户可以独立于HMD或与HMD一起操纵各种电子设备，以在虚拟环境中引起期望的动作。可以在HMD的显示器上向用户显示虚拟环境，其中，一个或多个外部电子设备(可操作地与HMD耦合)不易对佩戴HMD的用户看到。例如，在不能够实际看到键盘的情况下，用户可以使用外部键盘在虚拟环境中反映文本条目。例如，触摸打字员可能会发现，以下操作对于打字的手动过程和思考过程二者都是中断性的：使一只手或两只手从键盘脱离，以使用手势在虚拟屏幕之间切换，然后再与键盘重新接触。类似地，当以这种方式与HMD 上显示的虚拟环境中的虚拟对象交互时，在外部键盘上使用键盘快捷方式和/或热键可能是不灵活的，并且易于出错。根据本文描述的实现方式的***和方法，可以通过下述方式来向用户提供有与虚拟对象交互并在虚拟环境中的虚拟对象之间切换激活和聚焦的自然方式：解决由于在虚拟环境中的操作而遇见的一个或多个人为约束(在周围环境中操作时可以以其它方式遇见的)，诸如，例如无法看见***设备等。
在一种***和方法中，根据如本文所述的实现方式，可以检测、追踪用户的眼睛凝视方向和移动、和/或用户的头部凝视方向和移动，并将其转换成由HMD生成的虚拟环境中的用户输入。例如，光学追踪设备(诸如，在头戴式显示器(HMD)设备中包括的光学凝视追踪设备)可以检测和追踪用户的眼睛凝视方向和移动，和/或HMD中的传感器可以检测和追踪用户的头部凝视方向和动作。该检测和追踪的凝视方向和移动可以被转换成例如由HMD显示的虚拟环境中的虚拟对象的选择、由HMD显示的虚拟环境中的虚拟对象的移动、以及由HMD 显示的虚拟环境中的虚拟对象的焦点的切换或移位等。在不需要脱离外部键盘(或其他手动操纵的外部设备)的情况下，以这种方式对虚拟对象选择、移动和切换焦点的能力可以促进文本条目输入，从而提高输入准确性、并增强用户的体验。
图1是佩戴HMD 100的用户的第三人视图。在该示例第三人视图中，用户处于物理空间400中，其中，增强/虚拟现实***是可操作的，并且用户坐在物理的现实世界桌面处，在HMD 100的显示器上观看包括多个虚拟对象的虚拟场景。当虚拟场景HMD 100内对用户是可见的时，仅为了便于讨论和说明，在图1中示出HMD 100的显示器上向用户显示的虚拟场景的表示500。在图1中示出的示例中，用户与位于物理真实世界桌面上的外部设备200(例如，物理的真实世界的键盘200) 交互。外部设备200可以经由例如有线连接或无线连接(例如，WiFi 或蓝牙连接)与HMD 100可操作地耦合并与HMD 100通信。这可以提供用于外部设备200或键盘与HMD 100之间的通信和数据的交换。当由外部设备200或键盘200接收到手动用户输入时，用户可以基于在键盘200处接收的手动输入与由HMD 100生成的虚拟场景500中的虚拟对象进行交互。
图2A和图2B是示例HMD(诸如例如，在图1中示出的示例中由用户佩戴的HMD 100)的立体视图。HMD 100可以包括耦合到框架 120的外壳110，同时包括例如在耳机中安装的扬声器的音频输出设备 130也耦合到框架120。在图2B中，外壳110的前部110a远离外壳110的基部110b旋转，使得在外壳110中容纳的部件中的一些是可见的。显示器140可以被安装在外壳110的前部110a的面向侧的内部中。当前部110a靠着外壳110的基部110b处于关闭位置中时，透镜150可以被安装在外壳110中，在用户的眼睛与显示器140之间。HMD 100 可以包括包括各种传感器的感测***160以及包括处理器190和各种控制***设备的控制***170以方便HMD 100的操作。例如，在一些实现方式中，传感***160可以包括惯性测量单元(IMU)162，该惯性测量单元(IMU)162包括各种不同类型的传感器，例如加速度计、陀螺仪和磁力计等。可以基于由IMU 162提供的数据来检测和追踪 HMD 100的位置和方位，从而允许***依次检测和追踪用户的头部凝视方向和移动。相机180可以捕获静止和/或运动图像，其可以用于帮助追踪用户和/或与HMD 100通信/可操作地耦合的其他外部设备的物理位置。所捕获的图像也可以在通过(pass through)模式下在显示器 140上显示给用户。
在一些实现方式中，HMD 100可以包括凝视追踪设备165，以检测和追踪用户的眼睛凝视方向和眼睛凝视移动。凝视追踪设备165可以包括一个或多个传感器165A，以检测和追踪眼睛凝视方向和移动。例如，凝视追踪设备可以包括一个或多个光传感器和/或一个或多个图像传感器165A等，以捕获用户眼睛的图像，例如，用户眼睛的诸如例如瞳孔特定部分。可以处理由传感器165A捕获的图像以检测和追踪用户的眼睛凝视的方向和移动，并且可以将所检测的和所追踪的眼睛凝视作为用户输入进行处理，以转换成沉浸式虚拟体验中的相对应的交互。
在图3中示出根据本文描述的实现方式的***的框图。该***可以包括第一电子设备300(诸如，例如，如以上参考图1和图2A-图2B 所述的HMD)，以及与第一电子设备300通信的第二电子设备302(诸如，例如，如上参考图1描述的键盘，或诸如例如一个或多个手持电子设备和鼠标等的其他外部计算设备)。
第一电子设备300可以包括感测***360和控制***370，其可以分别类似于图2A和2B中示出的感测***160和控制***170。传感***360可以包括一个或多个不同类型的传感器，包括例如光传感器、音频传感器、图像传感器、距离/接近传感器、和/或其他传感器和 /或不同传感器组合。例如，感测***可以包括IMU，其用于检测和追踪第一电子设备的位置和方位(以检测和追踪用户的头部凝视方向和移动，如以上参考图2A-图2B描述的IMU162)；以及一个或多个图像传感器，其被定位为检测和追踪用户的眼睛凝视(诸如以上参考图 2A-图2B描述的凝视追踪设备165)。控制***370可以包括例如电源/暂停控制设备、音频和视频控制设备、光学控制设备、转换控制设备、和/或其他这样的设备和/或不同的设备组合。根据特定的实现方式，感测***360和/或控制***370可以包括更多或更少的设备。在感测***360和/或控制***370中包括的元件可以具有例如在除了图2A 和图2B中示出的HMD 100之外的HMD内的不同的物理布置方式(例如，不同的物理位置)。第一电子设备300还可以包括与感测***360 和控制***370通信的处理器390。如以上参考图1和图2所述，处理器390可以处理从感测***360接收的输入，诸如，例如，通过IMU 162 捕获到的头部凝视方向和移动输入，和/或由眼睛凝视追踪设备165捕获的眼睛凝视方向和移动输入，以处理输入并执行与检测到的输入相对应的指令。第一电子设备300还可以包括存储器380以及提供用于第一电子设备300与另一外部设备(例如，第二电子设备302)之间的通信的通信模块350。处理器390还可以处理从第二电子设备302接收的输入。
第二电子设备302可以包括通信模块306，该通信模块306提供用于第二电子设备302与在第二电子设备302外部的另一设备(诸如例如，第一电子设备300)之间的通信和数据交换。在一些实现方式中，根据第二电子设备302(即，键盘，相对于手持控制器或鼠标)的特定配置，第二电子设备302可以包括感测***304，其包括例如在例如相机和麦克风中包括的例如图像传感器和音频传感器；IMU；诸如在手持电子设备的触敏表面中包括的触摸传感器；或智能电话；以及其他这样的传感器和/或不同的传感器组合。处理器309可以与感测***304 和第二电子设备302的控制器305通信，该控制器305具有对存储器 308的访问并控制第二电子设备302的整体操作。
如上所述，当沉浸在由HMD 100生成的虚拟现实环境中时，可能会是中断性的是，用户将一只或两只手从手动物理输入设备(诸如物理键盘)移开，用于在虚拟环境中对虚拟对象等选择、移动、和聚焦。类似地，在从物理键盘移开一只或两只手以与虚拟环境中显示的一个或多个虚拟对象交互之后，和/或在从物理键盘移开一只或两只手以与另一物理输入设备(例如，控制器或鼠标)相触合，以与虚拟环境中显示的一个或多个虚拟对象交互之后，用户可能难以重新获得相对于物理键盘的适当定位。即使对于相对高效的触摸打字员，也可能难以使用例如基于键盘的快捷方式和/或基于键盘的热键来完成任务，具体的是，在完成可能以其它方式涉及从物理键盘移开一只或两只手的任务时，当如上所述用户正在穿戴HMD 100，且因此无法看到物理键盘时。因此，在一种***和方法中，根据本文描述的实现方式，眼睛凝视方向和移动，和/或头部凝视方向和移动中的至少一个可以被转换成相对应的用户输入，从而引起与在虚拟环境中显示的一个或多个虚拟对象相关的期望动作，指示与一个或多个虚拟对象相关的焦点选择、移动和移动等。
图4A-图4E图示了示例实现方式，其中例如通过HMD 100的凝视追踪设备165检测和追踪用户眼睛凝视方向和移动。可以例如通过 HMD 100的处理器190或在***中包括并与HMD 100通信的另一处理器来处理检测到的眼睛凝视方向和移动，以确定指向在虚拟环境中向用户显示的虚拟对象中的特定的一个或多个的相对应的用户输入。
在图4A中示出的示例中，用户处于在物理空间中，在查看由HMD 100显示的虚拟场景500同时，在物理桌面处，与物理设备200交互。在该示例中，物理设备200是位于物理桌面上的物理键盘200，以接收来自用户的手动输入，以便于讨论和说明。然而，要描述的原理不一定依赖于另一外部电子设备(除了HMD 100之外)的***使用。此外，如果外部电子设备在使用中，则这种外部电子设备不一定是键盘，并且可以结合用户的使用其他类型的手动输入设备在虚拟环境中进行交互来应用要描述的原理。
在该示例中，为了便于讨论和说明，例如在HMD 100的显示器 140上向用户显示的虚拟场景500包括以三折结构布置的一系列文档、或文件、或图标PI到P9(参见图4B)，表示对用户可用的虚拟对象。然而，要描述的原理可以应用于与其他类型的虚拟对象、元素、特征等的交互，并且虚拟场景中的虚拟对象可以与其他类型的布置方式(诸如例如，弯曲的工作空间、双折叠工作空间、和其他布置方式)中布置的虚拟对象一起被显示。在该示例中，虚拟场景500可以包括基于以下项目布置的多个虚拟工作空间：例如，要显示的虚拟对象的类型、用户的与所显示的不同虚拟对象的交互的级别、要对虚拟对象采取的动作的类型和用户偏好等。在如图4A和图4B示出的示例中，虚拟场景500包括：其中可以显示占据用户的当前注意力或主要焦点的虚拟对象的主虚拟工作空间A；以及其中可以显示其他虚拟对象的辅虚拟工作空间B和C，以及必要时对用户可用的。可以以其他布置方式显示虚拟工作空间，并且根据特定用户的需要、正在显示的虚拟对象的类型、以及其他这样的因素，可以显示更多或更少的虚拟工作空间。
在图4B示出的示例中，用户的注意力或焦点处于在虚拟品目P2 上，占据主虚拟工作空间A。然后，用户可以确定他想要携带虚拟品目P1-P9(例如，虚拟品目P6)中的另一个进入主虚拟工作空间A。在一些实现方式中，虚拟品目P6从图4B中示出的位置进入主虚拟工作空间A的这个移动可以通过例如手势和/或控制器手势来完成，该手势和/或控制器手势从图4B中示出的位置触摸和拖动虚拟品目P6进入主虚拟工作空间A。虽然该手/控制器手势可以完成虚拟品目P6的期望移动，但是它还可以涉及将用户的一只或两只手从键盘200脱离，从而中断了用户的工作过程。在一种***和方法中，根据本文中描述的实现方式，在不需要脱离外部手动操纵设备(例如，键盘、或鼠标、或者控制器)的情况下，用户可以选择、移动、重新布置、和以其它方式操纵在虚拟场景/虚拟环境中显示的虚拟对象。
如图4C所示，为了在不需要将一只手或两只手从键盘200脱离的情况下将虚拟品目P6从图4B示出的位置移动到主虚拟工作空间A，用户可以将他的凝视引导到虚拟品目P6，如图4C所示。在一些实现方式中，用户的凝视方向可以是基于用户的由例如如上所述的HMD100的凝视追踪设备165检测和追踪的眼睛凝视方向。在一些实现方式中，用户的凝视方向可以是基于由例如包括在HMD 100的感测***160 中的传感器(例如，IMU 162)检测和追踪的检测到的头部凝视方向。在下文中，仅为了便于讨论和说明，术语凝视的使用可以指的是眼睛凝视方向和/或头部凝视方向。
响应于检测到用户的凝视已经被引导到虚拟品目P6，如图4C所示，***可以确定由用户已经选择了虚拟品目P6用于进行进一步的动作。在一些实现方式中，***可以生成指示用户的凝视的焦点，使得用户可以提供验证输入，该验证输入验证或确认了用户的凝视是指向在要选择的预期虚拟品目P6处。焦点的指示可以使用户能够更精确地确认和/或辨别用户的凝视的方向，从而使用户能够更精确地定位所述凝视。因为在没有验证或确认的情况下，在用户的凝视方向上的无意的凝视或不精确不会导致虚拟品目的选择，所以以这种方式的验证或确认可以通过用户的凝视来增加用户与虚拟世界的交互的精确度。该指示可以以例如对用户的视觉指示的形式提供给用户。该视觉指示可以包括例如虚拟品目或虚拟品目的一部分或虚拟品目的表示的外观上的变化等。例如，在一些实现方式中，响应于检测到指向虚拟品目P6 处的凝视，可以加粗或突出显示对用户可见的虚拟品目P6的一部分、或虚拟品目P6的表示，如图5A所示，以向用户提供检测到的凝视所指向的位置的视觉验证。在一些实现方式中，对用户可见的虚拟品目P6的一部分、或虚拟品目P6的表示可以加下划线(如图5B所示)或者斜体(如图5C所示)，以向用户提供检测到的凝视所指向的位置的视觉验证。在一些实现方式中，视觉指示器或标线(例如，光标或点) 可以在与虚拟品目P6相对应的位置处显示，如图5D所示，以向用户提供检测到的凝视所指向的位置的视觉验证。在一些实现方式中，可以三维地显示对用户可见的虚拟品目P6的一部分、或虚拟品目P6的表示，如图5E所示，或者增大其尺寸，如图5F所示，以向用户提供检测到的凝视所指向的位置的视觉验证。图5A-图5F中示出的视觉指示器仅是视觉指示器的一些示例，其可以被生成以向用户提供关于检测到的凝视指向哪个对象的视觉确认。还可以应用其他类型的指标。
在一些实现方式中，一旦已经由***检测到用户凝视，***可以在继续进行与所选择的虚拟品目P6相关的进一步动作之前等待以接收用户验证输入或用户验证或确认命令。例如，在一些实现方式中，可以通过在用户的手可以维持与外部设备(例如，上述键盘200)相触合的同时，当检测到眼睛凝视时的预设手势(例如，预设眼睛姿态，诸如眨眼或眨眼图案)、或当检测到头部凝视时的预设头部姿势时来提供用于进行与由用户对虚拟品目P6的选择相关的进一步动作的用户验证输入、或用户验证或确认命令。在一些实现方式中，可以通过确定检测到的凝视已经在所选择的虚拟品目P6上持续了大于预设阈值的时间的量的确定来提供验证用户的对虚拟品目P6的选择的用户验证输入。在一些实现方式中，***可以向用户提供反馈，不仅指示了虚拟品目P6的选择，而且还指示了检测到的凝视已经持续了多长时间。可以以例如图6A所示的虚拟进度条或者其他轮廓(诸如例如，图6B中示出的圆形进度指示器)的形式提供该指示。例如，响应于检测到指向图6A(1)和6B(1)中的虚拟品目P6处的用户凝视，进度指示器 (图6A中的条形指示器、或图6B中的圆形指示器)随着时间流逝逐渐填充，直到达到时间的预设的阈值量，如图6A(2)和6B(2)所示。该指示可以以在外观上变化的形式被提供，诸如例如，颜色上的逐渐变化、和逐渐淡出(fade out)和/或淡入(fade in)等。例如，响应于检测到指向图6C(1)中的虚拟品目P6的用户凝视，虚拟品目P6的显示渐弱，如图6C(2)所示。在检测到凝视已经在虚拟品目P6上持续了时间的所需量时，虚拟品目P6的显示可以淡入回，如图6C(3) 所示，以向用户提供视觉确认。如图6A-图6C中示出的视觉指示器仅提供视觉进度指示符的一些示例，其可以被生成以向用户提供进度的视觉指示，并且还可以应用其他类型的指示符。
在一些实现方式中，可以根据设置的协议或层级来执行所选择的虚拟品目P6的移动。该设置的协议或设置的层级可以由用户根据用户偏好来设置，或者可以是已建立的***设置。例如，在一些实现方式中，在检测到指向用于选择的虚拟品目P6的用户凝视时，***可以自动地将所选择的虚拟品目P6移动到设置的虚拟位置，并因此重新布置剩余的虚拟品目P1-P5和P7-P9。所设置的虚拟位置可以是虚拟工作空间中的例如根据所设置的协议或层级被设置为主工作空间的一个。还可以根据所设置的协议或层级来执行剩余虚拟项P1-P5和P7-P9的重新布置。在一些实现方式中，在接收到验证之后，根据设置的协议或层级，如以上参考图5A-图5F和/或图6A-图6C所讨论的那样，所选择的虚拟品目P6可以被自动移动到设置的虚拟位置，例如，移动到虚拟场景500中的主虚拟工作空间A，并且剩余的虚拟品目P1-P5和P7-P9 被重新布置。在一些实现方式中，可以响应于由用户输入的移动命令来执行所选择的虚拟品目P6的移动。
在一些实现方式中，以特定方式选择虚拟品目P6可以使得相对应的动作被执行，诸如例如，在不需要将一只手或两只手从键盘200或其他手动输入装置脱离的情况下，将所选择的品目P6移动到诸如例如主虚拟工作空间A的新虚拟位置，如图4D和4E所示，使得所选择的虚拟品目可以移动到用户的主要聚焦区域。在一些实现方式中，响应于所选择的虚拟品目P6移动到主虚拟工作空间A，虚拟品目P2(先前占据主虚拟工作空间A)可以被移动到辅工作空间B、C中的一个，如图4D所示，以例如向用户提供对虚拟品目P2的便捷指涉。在一些实现方式中，虚拟品目P2可以被移动到先前由虚拟品目P6占据的位置，如图4E所示。可以基于例如设置的用户偏好、设置的层次结构或模式、或由用户输入的其他命令而重新布置响应于所选择的虚拟品目P6移动到主虚拟工作空间A中而向用户显示的虚拟场景500中的虚拟品目 P1-P9的布置
在一些实现方式中，可以响应于例如以上参考图5A-图5E和/或图 6A-图6C描述的验证之后发出的另一个用户命令来执行所选择的虚拟品目P6的移动。例如，在一些实现方式中，该移动命令可以包括例如用户的凝视方向上的移位，例如，眼睛凝视方向上的移位或者头部凝视方向上的移位。如图7A所示，用户可以将眼睛凝视从在所选择的虚拟对象P6处眼睛凝视所指向的位置(如图7A(2)所示)移动到所选择的虚拟对象P6要移动到其处的位置(如图7A(3)所示)，以使所选择的虚拟对象P6移动到显示给用户的虚拟场景500内的特定虚拟位置。在一些实现方式中，该移动命令可以包括例如用户的头部凝视上的移位。如图7B所示，用户可以将头部凝视从在所选择的虚拟对象 P6处的头部凝视所指向的位置(如图7B(2)所示)移动到所选择的虚拟对象P6要向其移动到的位置(如图7B(3)所示)，以使所选择的虚拟对象P6被移动到虚拟场景500内的向用户显示的特定虚拟位置。
在图8中示出了根据本文描述的实现方式的、响应于增强和/或虚拟现实环境中的凝视输入切换虚拟对象的方法800。
用户可以使用例如计算设备(诸如例如，包括如上所述的头戴式显示设备的***)来发起增强现实体验和/或虚拟现实体验，以生成增强现实和/或虚拟现实环境(框810)。***可以显示虚拟场景，诸如包括多个虚拟对象P1-P9的虚拟场景500，如图4A-图4E所示，并且***可以检测指向所显示的虚拟对象中的一个处的用户凝视(框820)。如上所述，检测到的凝视可以是由例如诸如以上参考图2A-图2B描述的HMD 100的凝视追踪设备165的设备检测到的眼睛凝视，或者由例如诸如以上参考图2A-图2B描述的HMD 100的IMU 162的传感器检测到的头部凝视。响应于凝视的检测，***可以确定检测到的凝视是否意图用于选择虚拟场景中显示的虚拟对象中的特定一个(框830)。可以基于例如检测到的凝视的持续时间或其他类型的验证来由***进行检测到的凝视有意地指向用于选择的特定虚拟对象处的确定，如以上参考图5A-图5F和/或图6A-图6C所述。以这种方式，能够避免通过相对短持续时间的凝视的对虚拟对象的无意中选择。如果接收到命令(例如，与检测到的凝视相对应的命令)以移动所选择的虚拟对象，或者以其它方式重新布置在虚拟场景中显示的多个虚拟对象(框840)，则***可以根据所接收的命令来移动虚拟对象(框850)。在一些实现方式中，在检测到凝视时，可以根据设置的协议由***自动执行用于移动所选择的虚拟对象、或以其它方式重新布置多个虚拟对象的命令 (框820、框830)。在一些实现方式中，可以响应于从用户接收的输入(例如，检测到的移动或凝视方向上的检测到的移位，如上面关于图7A和图7B所述)来执行用于移动所选择的虚拟对象的命令。该过程可以继续直到没有检测到进一步的眼睛凝视(框860)，并且确定了已经终止当前增强现实和/或虚拟现实体验(框870)。
在一种***和方法中，根据本文描述的实现方式，可以重新布置向在虚拟环境中的用户显示的虚拟对象，使得在不需要用户从诸如键盘、鼠标和控制器等的手动输入设备中脱离一只或两只手的情况下，用户可以响应于检测到的头部和/或眼睛凝视方向和移动而在活动的虚拟对象之间切换。这可以为用户提供有连接的、连续的虚拟体验，同时避免工作和/或思想和/或输入过程上的中断。
图9示出了计算机设备1000和移动计算机设备1050的示例，其可以用于这里描述的技术。计算设备1000包括处理器1002、存储器 1004、存储设备1006、连接到存储器1004和高速扩展端口1010的高速接口1008、以及连接到低速总线1014和存储设备1006的低速接口1012。组件1002、1004、1006、1008、1010和1012中的每一个使用各种总线互连，并且可以适当地安装在公共主板上或以其他方式安装。处理器1002能够处理用于在计算设备1000内执行的指令，包括在存储器1004中或在存储设备1006上存储，以在外部输入/输出设备(例如，高速耦合的显示器1016)上显示GUI的图形信息的指令。在其他实现方式中，可以适当地使用多个处理器和/或多条总线以及多个存储器和多个类型的存储器。另外，可以连接多个计算设备1000，其中每个设备提供必要操作的部分(例如，作为服务器组、一组刀片服务器、或多处理器***)。
存储器1004存储计算设备1000内的信息。在一种实现方式中，存储器1004是一个或多个易失性存储器单元。在另一实现方式中，存储器1004是一个或多个非易失性存储器单元。存储器1004还可以是另一种形式的计算机可读介质，例如磁盘或光盘。
存储设备1006能够为计算设备1000提供大容量存储。在一种实现方式中，存储设备1006可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备、或磁带设备、闪速存储器或其他类似的固态存储设备、或设备阵列，包括存储区域网络或其他配置中的设备。计算机程序产品能够被有形地实施在信息载体中。计算机程序产品还可以包含指令，所述指令在被执行时执行一个或多个方法，诸如上面描述的那些方法。信息载体是计算机或机器可读介质，诸如存储器 1004、存储设备1006或处理器1002上的存储器。
高速控制器1008管理计算设备1000的带宽密集型操作，然而低速控制器1012管理较低带宽密集型操作。这种功能的分配仅是示例性的。在一种实现方式中，高速控制器1008耦合到存储器1004、显示器 1016(例如，通过图形处理器或加速器)，并耦合到高速扩展端口1010，高速扩展端口1010可以接受各种扩展卡(未示出)。在该实现方式中，低速控制器1012耦合到存储设备1006和低速扩展端口1014。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦合到一个或多个输入/输出设备，诸如键盘、指向设备、扫描仪或诸如交换机或路由器的网络设备。
如图中所示，可以以多种不同的形式实现计算设备1000。例如，它可以作为标准服务器1020被实现，或者在一组这样的服务器中实现多次。它还可以作为机架服务器***1024的部分被实现。此外，它可以被实现在诸如膝上型计算机1022的个人计算机中。可替选地，来自计算设备1000的组件可以与诸如设备1050的移动设备(未示出)中的其他组件组合。这些设备中的每一个可以包含计算设备1000、1050 中的一个或多个，并且整个***可以由彼此通信的多个计算设备1000、 1050组成。
计算设备1050包括处理器1052、存储器1064、诸如显示器1054 的输入/输出设备、通信接口1066、和收发器1068以及其它组件。设备1050还可以设置有存储设备，诸如微驱动器或其他设备，以提供附加存储。组件1050、1052、1064、1054、1066和1068中的每一个使用各种总线来互连，并且若干组件可以适当地被安装在公共主板上或以其他方式安装。
处理器1052能够执行计算设备1050内的指令，包括在存储器1064 中存储的指令。处理器可以作为芯片的芯片组被实现，所述芯片包括单独的和多个模拟和数字处理器。例如，处理器可以提供用于协调设备1050的其他组件，诸如用户界面的控制、设备1050运行的应用和由设备1050进行的无线通信的控制。
处理器1052可以通过耦合到显示器1054的控制接口1058和显示接口1056来与用户进行通信。显示器1054可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器，或其它适当的显示技术。显示接口1056可以包括用于驱动显示器1054以向用户呈现图形和其它信息的适当的电路。控制接口1058可以从用户接收命令并且对它们进行转换用于提交给处理器1052。此外，可以提供与处理器1052通信的外部接口1062，以便使设备1050能够与其它设备的近区域通信。外部接口1062可以例如在一些实现方式中提供用于有线通信，或者在其它实现方式中提供用于无线通信，并且还可以使用多个接口。
存储器1064存储计算设备1050内的信息。存储器1064能够作为计算机可读介质(medium)或媒介(media)、一个或多个易失性存储器单元、或者一个或多个非易失性存储器单元中的一个或多个被实现。还可以通过扩展接口1072来提供扩展存储器1074并将其连接到设备 1050，所述扩展接口1072可以包括例如SIMM(单列直插存储器模块) 卡接口。这种扩展存储器1074可以为设备1050提供额外的存储空间，或者还可以为设备1050存储应用或其它信息。具体地，扩展存储器1074 可以包括用于执行或者补充上述的过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器1074可以作为用于设备1050的安全模块被提供，并且可以被编程有允许安全地使用设备1050的指令。此外，可以经由SIMM卡提供安全应用以及附加信息，诸如以不可破解的方式将识别信息放置在SIMM卡上。
如下所述，存储器可以包括例如闪速存储器和/或NVRAM存储器。在一个实现方式中，计算机程序产品被有形地具体实现在信息载体中。计算机程序产品包含指令，所述指令当被执行时，执行一个或多个方法，诸如上述的那些方法。信息载体是可以例如通过收发器1068或外部接口1062接收的计算机或机器可读介质，诸如存储器1064、扩展存储器1074、或处理器1052上的存储器。
设备1050可以通过通信接口1066以无线方式通信，所述通信接口1066必要时可以包括数字信号处理电路。通信接口1066可以提供用于在各种模式或协议下通信，所述各种模式或协议诸如GSM语音呼叫、SMS、EMS、或MMS消息传送、CDMA、TDMA、PDC、WCDMA、CDMA2000、或GPRS等。这种通信可以例如通过射频收发器1068而发生。此外，可以发生短距离通信，诸如使用蓝牙、WiFi、或其它这种收发器(未示出)。此外，GPS(全球定位***)接收器模块1070 可以向设备1050提供附加的导航和定位相关无线数据，其可以由在设备1050上运行的应用适当使用。
设备1050还可以使用音频编解码器1060可听地通信，所述音频编解码器1060可以从用户接收口语信息并将它转换为可用的数字信息。音频编解码器1060可以诸如通过例如在设备1050的听筒中的扬声器，同样地为用户生成可听声音。这种声音可以包括来自语音电话呼叫的声音，可以包括录制声音(例如，语音消息、音乐文件等)并且还可以包括由在设备1050上操作的应用生成的声音。
如图中所示，可以以许多不同的形式实现计算设备1050。例如，它可以作为蜂窝电话1080被实现。它还可以作为智能电话1082、个人数字助理、或其它类似的移动设备的部分被实现。
这里描述的***和技术的各种实现方式能够用数字电子电路、集成电路、专门地设计的ASIC(专用集成电路)、计算机硬件、固件、软件、和/或其组合加以实现。这些各种实现方式能够包括在可编程***上可执行和/或可解释的一个或多个计算机程序中的实现方式，所述可编程***包括可以是专用的或通用的至少一个可编程处理器，该可编程处理器经耦合以从存储***、至少一个输入设备、和至少一个输出设备接收数据和指令，并且向存储***、至少一个输入设备、和至少一个输出设备发送数据和指令。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且能够用高级过程和/或面向对象编程语言、和/或用汇编/机器语言加以实现。如本文中所使用的，术语“机器可读介质”、“计算机可读介质”指代用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，包括将机器指令作为机器可读信号接收的机器可读介质。术语“机器可读信号”指代用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，能够将这里描述的***和技术实现在计算机上，所述计算机具有用于向用户显示信息的显示设备(例如，CRT (阴极射线管)或LCD(液晶显示器)监视器)以及用户能够通过其向该计算机提供输入的键盘和指向设备(例如，鼠标或轨迹球)。其它种类的设备还能够用于提供用于与用户的交互；例如，提供给用户的反馈能够是任何形式的感觉反馈(例如，视觉反馈、听觉反馈、或触觉反馈)；并且能够以任何形式接收来自用户的输入，包括声学、语音、或触觉输入。
这里描述的***和技术能够被实现在计算***中，所述计算***包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有用户能够用与这里描述的***和技术的实现方式交互的图形用户界面或Web浏览器的客户端计算机)，或者包括此类后端、中间件、或前端组件的任何组合。***的组件能够通过任何形式或介质的数字数据通信(例如，通信网络)来互连。通信网络的示例包括局域网(“LAN”)、广域网 (“WAN”)和互联网。
计算***能够包括客户端和服务器。客户端和服务器一般地彼此远离并且通常通过通信网络来交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
在一些实现方式中，图9 中描绘的计算设备能够包括与虚拟现实(VR耳机/HMD设备1090)接口连接的传感器。例如，在图9 中描绘的计算设备1050或其他计算设备上包括的一个或多个传感器能够向 VR耳机1090提供输入，或者一般而言向VR空间提供输入。传感器可包括但不限于触摸屏、加速计、陀螺仪、压力传感器、生物识别传感器、温度传感器、湿度传感器和环境光传感器。计算设备1050能够使用传感器来确定VR空间中的计算设备的绝对位置和/或检测到的旋转，然后能够将被使用作为对VR空间的输入。例如，计算设备1050 可以作为虚拟对象并入到VR空间中，虚拟对象诸如是控制器、激光指示器、键盘、武器等。当并入VR空间中时由用户定位计算设备/虚拟对象能够允许用户定位计算设备，以便在VR空间中以某些方式查看虚拟对象。例如，如果虚拟对象表示激光指示器，则用户能够操纵计算设备，就像它是实际的激光指示器。用户能够左右、上下和以圆圈等移动计算设备，并以与使用激光指示器类似的方式使用该设备。
在一些实现方式中，在计算设备1050上包括或连接到计算设备 1050的一个或多个输入设备能够被使用作为对VR空间的输入。输入设备能够包括但不限于触摸屏、键盘、一个或多个按钮、轨迹板、触摸板、指示设备、鼠标、轨迹球、操纵杆、相机、麦克风、具有输入功能的耳机或耳塞、游戏控制器、或其他可连接的输入设备。当计算设备被并入到VR空间中时与在计算设备1050上包括的输入设备交互的用户能够导致在VR空间中发生特定动作。
在一些实现方式中，计算装置1050的触摸屏能够被渲染为VR空间中的触摸板。用户能够与计算设备1050的触摸屏交互。例如，在 VR头戴式耳机1090中，交互被渲染为VR空间中的所渲染的触摸板上的移动。所渲染的移动能够控制VR空间中的虚拟对象。
在一些实现方式中，计算设备1050上包括的一个或多个输出设备能够向VR空间中的VR头戴式耳机1090的用户提供输出和/或反馈。输出和反馈能够是视觉、触觉、或音频。输出和/或反馈能够包括但不限于振动、打开和关闭、或闪烁和/或闪动一个或多个灯或闪光灯、发出警报、播放铃声、播放歌曲以及播放音频文件。输出设备能够包括但不限于振动马达、振动线圈、压电装置、静电装置、发光二极管(LED)、闪光灯、和扬声器。
在一些实现方式中，计算设备1050可以表现为计算机生成的3D 环境中的另一个对象。用户与计算设备1050的交互(例如，旋转、摇动、触摸触摸屏、在触摸屏上滑动手指)能够被解释为与VR空间中的对象的交互。在VR空间中的激光指示器的示例中，计算设备1050在计算机生成的3D环境中表现为虚拟激光指示器。当用户操纵计算设备 1050时，VR空间中的用户看到激光指示器的移动。用户从计算设备 1050上或VR耳机1090上的VR环境中与计算设备1050的交互接收反馈。
在一些实现方式中，计算设备1050可以包括触摸屏。例如，用户能够以特定方式与触摸屏交互，该特定方式能够模仿触摸屏上发生的事情以及VR空间中发生的事情。例如，用户可以使用捏合型动作来缩放在触摸屏上显示的内容。触摸屏上的这种捏合型动作能够使VR空间中提供的信息被缩放。在另一示例中，计算设备可以被渲染为计算机生成的3D环境中的虚拟书。在VR空间中，书籍的页面能够被显示在 VR空间中，并且用户的手指的跨触摸屏的滑动可以被解释为转向/翻动虚拟书的页面。当每个页面被翻动/转向时，除了看到页面内容改变之外，还可以向用户提供有音频反馈，诸如在书中转向页面的声音。
在一些实现方式中，除了计算设备(例如，鼠标、键盘)之外的一个或多个输入设备能够在计算机生成的3D环境中被渲染。所渲染的输入设备(例如，所渲染的鼠标、所渲染的键盘)能够在VR空间中呈现时被使用以控制VR空间中的对象。
计算设备1000旨在表示各种形式的数字计算机和设备，包括但不限于膝上型计算机、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机、和其他适当的计算机。计算设备1050旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。这里示出的组件、它们的连接和关系、以及它们的功能意味着仅仅是示例性的，并不意味着限制本文中描述和/或要求保护的发明的实现方式。
在以下示例中概述了另外的实现方式：
根据第一示例，提供了一种方法，包括：在头戴式显示器(HMD) 设备的显示器上，显示在虚拟现实环境中的虚拟用户界面，所述虚拟界面包括多个虚拟对象；检测指向所述多个虚拟对象的第一虚拟对象处的凝视，所述第一虚拟对象位于第一虚拟位置；接收验证所述第一虚拟对象的选择的验证输入；响应于对所述第一虚拟对象的所述选择的所述验证，将所述第一虚拟对象移动到第二虚拟位置；以及，基于所述第一虚拟对象的所述移动，重新布置所述多个虚拟对象中的剩余虚拟对象的显示。
根据基于第一示例的第二示例，检测指向所述多个虚拟对象中的第一虚拟对象处的凝视包括以下操作中的至少一个：利用所述HMD的光学设备，检测指向所述第一虚拟对象处的眼睛凝视；或者，利用所述HMD的惯性测量单元(IMU)，检测指向所述第一虚拟对象处的头部凝视。
根据基于第一和/或第二示例的第三示例，接收验证所述第一虚拟对象的选择的验证输入包括：检测指向所述第一虚拟对象处的所述凝视的持续时间；以及，当所述凝视的所述检测到的持续时间大于设置阈值时，接收所述验证输入。
根据基于第一至第三示例中的至少一个的第四示例，接收验证所述第一虚拟对象的选择的验证输入还包括：显示第一视觉指示器，所述第一视觉指示器提供所述检测到的凝视所指向的所述多个虚拟对象中的所述第一虚拟对象的视觉指示；以及，响应于所述第一视觉指示符的所述显示，检测指向所述第一虚拟对象处的所述凝视的所述持续时间。
根据基于第一至第四示例中的至少一个的第五示例，检测指向所述第一虚拟对象处的所述凝视的所述持续时间还包括：显示第二视觉指示器，所述第二视觉指示器提供了所述检测到的凝视的所述持续时间的视觉指示，并且朝向所述设置阈值推进。
根据基于第一至第五示例中的至少一个的第六示例，响应于对所述第一虚拟对象的所述选择的所述验证，将所述第一虚拟对象移动到第二虚拟位置包括：在确定在所述第一虚拟对象上的所述凝视的所述持续时间大于所述设置阈值之后，将所述第一虚拟对象移动到主虚拟位置；以及，基于所述第一虚拟对象的所述移动，重新布置所述多个虚拟对象中的所述剩余虚拟对象。
根据基于第一至第六示例中的至少一个的第七示例，将所选择的虚拟对象移动到主虚拟位置，包括：响应于移动命令而移动所述第一个虚拟对象；以及，基于所述第一虚拟对象的所述移动，将第二虚拟对象从所述主虚拟位置移动到所述第一虚拟位置，或移动到所述虚拟环境中的多个辅虚拟位置中的一个。
根据基于第一至第七示例中的至少一个的第八示例，将所述第一虚拟对象移动到第二虚拟位置包括：检测从与所述第一虚拟对象的初始虚拟位置相对应的所述第一虚拟位置到所述第二虚拟位置的凝视移动；以及，响应于所述检测到的凝视移动，将所述第一虚拟对象从所述第一虚拟位置移动到所述第二虚拟位置。
根据基于第一至第八示例中的至少一个的第九示例，将所述第一虚拟对象移动到第二虚拟位置，并基于所述第一虚拟对象的所述移动重新布置所述多个虚拟对象中的所述剩余虚拟对象的显示包括：将所述第一虚拟对象移动到所述第二虚拟位置，所述第二虚拟位置是基于用户偏好预先定义的；并且，将所述多个虚拟对象中的所述剩余虚拟对象中的至少一个移动到新虚拟位置，所述新虚拟位置是基于用户偏好预先定义的。
根据基于第一至第九示例中的至少一个的第十实例，其中，显示虚拟用户界面包括显示具有以下内容的虚拟用户界面：主要虚拟位置；至少一个辅虚拟位置，其中，占据所述主虚拟位置的所述多个虚拟对象中的虚拟对象是所述虚拟用户界面的当前活动虚拟对象，占据所述至少一个辅虚拟位置的所述多个虚拟对象中的虚拟对象是所述多个虚拟对象中的非活动虚拟对象。
根据第十一示例，提供了一种***，包括：计算设备，所述计算设备被配置为生成虚拟现实环境，所述计算设备包括：存储器，所述存储器存储可执行指令；以及，处理器，所述处理器被配置为执行所述指令以使所述计算设备：在头戴式显示器(HMD)设备的显示器上显示所述虚拟现实环境中的虚拟用户界面，所述虚拟界面包括多个虚拟对象；检测指向所述多个虚拟对象中的第一虚拟对象处的凝视，所述第一虚拟对象位于第一虚拟位置处；接收验证所述第一虚拟对象的选择的验证输入；响应于对所述第一虚拟对象的所述选择的所述验证，将所述第一虚拟对象移动到第二虚拟位置；以及，基于所述第一虚拟对象的所述移动重新布置所述多个虚拟对象中的剩余虚拟对象的显示。
根据基于第十一示例的第十二示例，在检测指向所述第一虚拟对象处的所述凝视时，所述指令使所述计算设备执行以下操作中的至少一个：利用所述HMD的光学设备检测指向所述第一虚拟对象处的眼睛凝视；或者，利用所述HMD的惯性测量单元(IMU)，检测指向所述第一虚拟对象处的头部凝视。
根据基于第十一和/或第十二示例的第十三示例，在接收到验证对所述第一虚拟对象的选择的所述验证输入时，所述指令使所述计算设备：检测指向所述第一虚拟对象处的所述凝视的持续时间；以及，当所述凝视的所述检测到的持续时间大于设置阈值时，接收所述验证输入。
根据基于第十一至第十三示例中的至少一个的第十四示例，在接收到验证对所述第一虚拟对象的选择的所述验证输入时，所述指令还使所述计算设备：显示第一视觉指示器，所述第一视觉指示器提供所述检测到的凝视所指向的所述多个虚拟对象中的所述第一虚拟对象的视觉指示；以及，响应于所述第一视觉指示符的所述显示，检测指向所述第一虚拟对象处的所述凝视的所述持续时间。
根据基于第十一至第十四示例中的至少一个的第十五示例，在检测到指向所述第一虚拟对象处的所述凝视的持续时间时，所述指令还使所述计算设备：显示第二视觉指示器，所述第二视觉指示器提供所述检测到的凝视的所述持续时间的视觉指示，并且朝向所述设置阈值推进。
根据基于第十一至第十五示例中的至少一个的第十六示例，在响应于对所述第一虚拟对象的所述选择的所述验证而将所述第一虚拟对象移动到所述第二虚拟位置时，所述指令使所述计算设备：在确定在所述第一虚拟对象上的所述凝视的所述持续时间大于所述设置阈值之后，将所述第一虚拟对象移动到主虚拟位置；以及，基于所述第一虚拟对象的所述移动重新布置所述多个虚拟对象中的所述剩余虚拟对象。
根据基于第十一至第十六示例中的至少一个的第十七示例，在将所选择的虚拟对象移动到所述主虚拟位置时，所述指令使所述计算设备：响应于移动命令而移动所述第一虚拟对象；以及，基于所述第一虚拟对象的所述移动，将第二虚拟对象从所述主虚拟位置移动到所述第一虚拟位置，或移动到所述虚拟环境中的多个辅虚拟位置中的一个。
根据基于第十一至第十七示例中的至少一个的第十八示例，在将所述第一虚拟对象移动到所述第二虚拟位置时，所述指令使所述计算设备：检测从与所述第一虚拟对象的初始虚拟位置相对应的所述第一虚拟位置到所述第二虚拟位置的凝视移动；以及，响应于所述检测到的凝视移动，将所述第一虚拟对象从所述第一虚拟位置移动到所述第二虚拟位置。
根据基于第十一至第十八示例中的至少一个的第十九示例，在将所述第一虚拟对象移动所述到第二虚拟位置并基于所述第一虚拟对象的所述移动重新布置所述多个虚拟对象中的所述剩余虚拟对象的显示时，所述指令使得所述计算设备：将所述第一虚拟对象移动到所述第二虚拟位置，所述第二虚拟位置是基于用户偏好预先设置的；以及，将所述多个虚拟对象中的所述剩余虚拟对象中的至少一个移动到新虚拟位置，所述新虚拟位置是基于用户偏好预先设置的。
根据第二十示例，提供了一种在非暂时性计算机可读介质上实施的计算机程序产品，所述计算机可读介质具有存储在其上的一系列指令，当由处理器执行时，所述指令使处理器执行方法，所述方法包括：在头戴式显示器(HMD)设备的显示器上，显示在虚拟现实环境中的虚拟用户界面，所述虚拟界面包括多个虚拟对象；检测指向所述多个虚拟对象的第一虚拟对象处的凝视，所述第一虚拟对象位于第一虚拟位置；接收验证所述第一虚拟对象的选择的验证输入；响应于对所述第一虚拟对象的所述选择的所述验证，将所述第一虚拟对象移动到第二虚拟位置；以及，基于所述第一虚拟对象的所述移动，重新布置所述多个虚拟对象中的剩余虚拟对象的显示。
根据基于第二十示例的第二十一示例，检测指向所述多个虚拟对象中的第一虚拟对象处的凝视包括以下操作中的至少一个：利用所述 HMD的光学设备，检测指向所述第一虚拟对象处的眼睛凝视；或者，利用所述HMD的惯性测量单元(IMU)，检测指向所述第一虚拟对象处的头部凝视。
根据基于第二十和/或第二十一示例的第二十二示例，接收验证所述第一虚拟对象的选择的验证输入包括：检测指向所述第一虚拟对象处的所述凝视的持续时间；以及，当所述凝视的所述检测到的持续时间大于设置阈值时，接收所述验证输入。
根据基于第二十至第二十二示例中的至少一个的第二十三示例，接收验证所述第一虚拟对象的选择的验证输入还包括：显示第一视觉指示器，所述第一视觉指示器提供所述检测到的凝视所指向的所述多个虚拟对象中的所述第一虚拟对象的视觉指示；以及，响应于所述第一视觉指示符的所述显示，检测指向所述第一虚拟对象处的所述凝视的所述持续时间。
根据基于第二十至第二十三示例中的至少一个的第二十四示例，检测指向所述第一虚拟对象处的所述凝视的所述持续时间还包括：显示第二视觉指示器，所述第二视觉指示器提供了所述检测到的凝视的所述持续时间的视觉指示，并且朝向所述设置阈值推进。
根据基于第二十至第二十四示例中的至少一个的第二十五示例，响应于对所述第一虚拟对象的所述选择的所述验证，将所述第一虚拟对象移动到第二虚拟位置包括：在确定在所述第一虚拟对象上的所述凝视的所述持续时间大于所述设置阈值之后，将所述第一虚拟对象移动到主虚拟位置；以及，基于所述第一虚拟对象的所述移动重新布置所述多个虚拟对象中的所述剩余虚拟对象。
根据基于第二十至第二十五示例中的至少一个的第二十六示例，将所选择的虚拟对象移动到主虚拟位置，包括：响应于移动命令而移动所述第一个虚拟对象；以及，基于所述第一虚拟对象的所述移动，将第二虚拟对象从所述主虚拟位置移动到所述第一虚拟位置，或移动到所述虚拟环境中的多个辅虚拟位置中的一个。
根据基于第二十至第二十六示例中的至少一个的第二十七示例，将所述第一虚拟对象移动到第二虚拟位置包括：检测从与所述第一虚拟对象的初始虚拟位置相对应的所述第一虚拟位置到所述第二虚拟位置的凝视移动；以及，响应于所述检测到的凝视移动，将所述第一虚拟对象从所述第一虚拟位置移动到所述第二虚拟位置。
根据基于第二十至第二十七示例中的至少一个的第二十八示例，将所述第一虚拟对象移动到第二虚拟位置，并基于所述第一虚拟对象的所述移动重新布置所述多个虚拟对象中的所述剩余虚拟对象的显示包括：将所述第一虚拟对象移动到所述第二虚拟位置，所述第二虚拟位置是基于用户偏好预先定义的；并且，将所述多个虚拟对象中的所述剩余虚拟对象中的至少一个移动到新虚拟位置，所述新虚拟位置是基于用户偏好预先定义的。
根据基于第二十至第二十八示例中的至少一个的第二十九示例，其中，显示虚拟用户界面包括显示具有以下项目的虚拟用户界面：主要虚拟位置；至少一个辅虚拟位置，其中，占据所述主虚拟位置的所述多个虚拟对象中的虚拟对象是所述虚拟用户界面的当前活动虚拟对象，占据所述至少一个辅虚拟位置的所述多个虚拟对象中的虚拟对象是所述多个虚拟对象中的非活动虚拟对象。
在另一示例中，在虚拟现实***中，光学追踪设备可以检测和追踪用户的眼睛凝视方向和/或相对于虚拟环境中显示的虚拟用户界面中包括的虚拟对象的移动，并且头部安装的显示设备中的传感器可以检测和追踪用户的头部凝视方向和/或相对于虚拟环境中的虚拟对象的移动，其中，处理器可以将检测到的凝视方向和/或移动作为用户输入进行处理，并且可以响应于检测到的凝视方向和/或移动而移动或重新布置虚拟对象中的一个或多个。
已经描述了多个实施例。然而，应当理解，在不脱离本说明书的精神和范围的情况下，可以进行各种修改。
另外，图中描绘的逻辑流程不要求所示的特定次序或顺序次序来实现所希望的结果。此外，可以提供其它步骤，或者可以从所描述的流程中消除步骤，并且可以向所描述的***添加其它组件或者从所描述的***中移除其它组件。因此，其它实施例在以下权利要求的范围内。
虽然已经像本文中所描述的那样图示了所描述的实现方式的某些特征，但是本领域的技术人员现在将想到许多修改、替换、变化和等同物。因此应当理解的是，所附权利要求旨在覆盖如落入本发明的范围内的所有这些修改和变化。应当理解的是，它们已仅作为示例而非限制被呈现，并且可以做出形式和细节上的各种变化。除了互斥组合之外，本文中描述的装置和/或方法的任何部分可以按照任何组合进行组合。本文中描述的实现方式可包括所描述的不同的实现方式的功能、组件和/或特征的各种组合和/或子组合。

Claims (7)

1.一种方法，包括：
在头戴式显示器HMD设备的显示器上，显示在虚拟现实环境中的虚拟用户界面，所述虚拟用户界面包括多个虚拟对象；
由所述HMD的凝视追踪设备检测指向所述多个虚拟对象的第一虚拟对象处的眼睛凝视，所述第一虚拟对象位于第一虚拟位置；
通过确定所检测到的眼睛凝视已经在所选择的虚拟对象上持续了大于预设阈值的时间的量来接收由用户提供的验证所述第一虚拟对象的选择的验证输入，包括：
显示第一视觉指示器，所述第一视觉指示器提供所检测到的眼睛凝视所指向的所述多个虚拟对象中的所述第一虚拟对象的视觉指示；以及
响应于所述第一视觉指示器的所述显示，检测指向所述第一虚拟对象处的所述眼睛凝视的所述持续时间，其中，检测指向所述第一虚拟对象处的所述凝视的所述持续时间还包括：
显示第二视觉指示器，所述第二视觉指示器提供了所检测到的凝视的所述持续时间的视觉指示，并且朝向所述预设阈值推进；
响应于对所述第一虚拟对象的所述选择的所述验证，将所述第一虚拟对象移动到第二虚拟位置，包括：
在确定在所述第一虚拟对象上的所述凝视的所述持续时间大于所述预设阈值之后，将所述第一虚拟对象移动到主虚拟位置，包括：
响应于移动命令而移动所述第一虚拟对象；以及
基于所述第一虚拟对象的所述移动，将第二虚拟对象从所述主虚拟位置移动到所述第一虚拟位置，或移动到所述虚拟现实环境中的多个辅虚拟位置中的一个；以及
基于所述第一虚拟对象的所述移动，重新布置所述多个虚拟对象中的剩余虚拟对象的显示。
2.根据权利要求1所述的方法，将所述第一虚拟对象移动到第二虚拟位置包括：
检测从与所述第一虚拟对象的初始虚拟位置相对应的所述第一虚拟位置到所述第二虚拟位置的凝视移动；以及
响应于所检测到的凝视移动，将所述第一虚拟对象从所述第一虚拟位置移动到所述第二虚拟位置。
3.根据权利要求1所述的方法，将所述第一虚拟对象移动到第二虚拟位置，并基于所述第一虚拟对象的所述移动重新布置所述多个虚拟对象中的所述剩余虚拟对象的显示包括：
将所述第一虚拟对象移动到所述第二虚拟位置，所述第二虚拟位置是基于用户偏好预先定义的；并且
将所述多个虚拟对象中的所述剩余虚拟对象中的至少一个移动到新虚拟位置，所述新虚拟位置是基于用户偏好预先定义的。
4.根据权利要求1所述的方法，其中，显示虚拟用户界面包括显示具有以下项目的虚拟用户界面：
主要虚拟位置；
至少一个辅虚拟位置，其中，
占据所述主虚拟位置的所述多个虚拟对象中的虚拟对象是所述虚拟用户界面的当前活动虚拟对象，
占据所述至少一个辅虚拟位置的所述多个虚拟对象中的虚拟对象是所述多个虚拟对象中的非活动虚拟对象。
5.一种***，包括：
计算设备，所述计算设备被配置为生成虚拟现实环境，所述计算设备包括：
存储器，所述存储器存储可执行指令；以及
处理器，所述处理器被配置为执行所述指令以使所述计算设备：
在头戴式显示器HMD设备的显示器上显示所述虚拟现实环境中的虚拟用户界面，所述虚拟用户界面包括多个虚拟对象；
检测指向所述多个虚拟对象中的第一虚拟对象处的眼睛凝视，所述第一虚拟对象位于第一虚拟位置处；
通过确定所检测到的眼睛凝视已经在所选择的虚拟对象上持续了大于预设阈值的时间的量来接收由用户提供的验证输入，所述验证输入验证所述第一虚拟对象的选择，包括：
显示第一视觉指示器，所述第一视觉指示器提供所检测到的眼睛凝视所指向的所述多个虚拟对象中的所述第一虚拟对象的视觉指示；以及
响应于所述第一视觉指示器的所述显示，检测指向所述第一虚拟对象处的所述眼睛凝视的所述持续时间，其中，在检测指向所述第一虚拟对象处的所述眼睛凝视的所述持续时间时，所述指令使所述计算设备还：
显示第二视觉指示器，所述第二视觉指示器提供了所检测到的凝视的所述持续时间的视觉指示，并且朝向所述预设阈值推进；
响应于对所述第一虚拟对象的所述选择的所述验证，将所述第一虚拟对象移动到第二虚拟位置，其中，所述指令使所述计算设备：
在确定在所述第一虚拟对象上的所述凝视的所述持续时间大于所述预设阈值之后，将所述第一虚拟对象移动到主虚拟位置，包括：
响应于移动命令而移动所述第一虚拟对象；以及
基于所述第一虚拟对象的所述移动，将第二虚拟对象从所述主虚拟位置移动到所述第一虚拟位置，或移动到所述虚拟现实环境中的多个辅虚拟位置中的一个；以及
基于所述第一虚拟对象的所述移动，重新布置所述多个虚拟对象中的剩余虚拟对象的显示。
6.根据权利要求5所述的***，其中，在将所述第一虚拟对象移动到所述第二虚拟位置时，所述指令使所述计算设备：
检测从与所述第一虚拟对象的初始虚拟位置相对应的所述第一虚拟位置到所述第二虚拟位置的凝视移动；以及
响应于所检测到的凝视移动，将所述第一虚拟对象从所述第一虚拟位置移动到所述第二虚拟位置。
7.根据权利要求5所述的***，其中，在将所述第一虚拟对象移动到所述第二虚拟位置并基于所述第一虚拟对象的所述移动重新布置所述多个虚拟对象中的所述剩余虚拟对象的显示时，所述指令使得所述计算设备：
将所述第一虚拟对象移动到所述第二虚拟位置，所述第二虚拟位置是基于用户偏好预先设置的；以及
将所述多个虚拟对象中的所述剩余虚拟对象中的至少一个移动到新虚拟位置，所述新虚拟位置是基于用户偏好预先设置的。
CN201780066697.4A 2016-11-30 2017-08-28 活动对象在增强和/或虚拟现实环境中的切换 Active CN109891368B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/364,729 2016-11-30
US15/364,729 US20180150204A1 (en) 2016-11-30 2016-11-30 Switching of active objects in an augmented and/or virtual reality environment
PCT/US2017/048961 WO2018101995A1 (en) 2016-11-30 2017-08-28 Switching of active objects in an augmented and/or virtual reality environment

Publications (2)

Publication Number Publication Date
CN109891368A CN109891368A (zh) 2019-06-14
CN109891368B true CN109891368B (zh) 2022-08-19

Family

ID=59846653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780066697.4A Active CN109891368B (zh) 2016-11-30 2017-08-28 活动对象在增强和/或虚拟现实环境中的切换

Country Status (5)

Country Link
US (1) US20180150204A1 (zh)
EP (1) EP3548988B1 (zh)
CN (1) CN109891368B (zh)
DE (1) DE202017105307U1 (zh)
WO (1) WO2018101995A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3345184A1 (en) * 2015-09-02 2018-07-11 THOMSON Licensing Method, apparatus and system for facilitating navigation in an extended scene
US11487353B2 (en) * 2016-11-14 2022-11-01 Logitech Europe S.A. Systems and methods for configuring a hub-centric virtual/augmented reality environment
EP3552077B1 (en) * 2016-12-06 2021-04-28 Vuelosophy Inc. Systems and methods for tracking motion and gesture of heads and eyes
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10620910B2 (en) * 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
CN108694601B (zh) * 2017-04-07 2021-05-14 腾讯科技（深圳）有限公司 媒体文件的投放方法和装置
CN111133365B (zh) 2017-05-01 2023-03-31 奇跃公司 内容到空间3d环境的匹配
US10366691B2 (en) * 2017-07-11 2019-07-30 Samsung Electronics Co., Ltd. System and method for voice command context
KR102556889B1 (ko) 2017-12-22 2023-07-17 매직 립, 인코포레이티드 혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 방법들 및 시스템
US11087563B2 (en) 2018-02-22 2021-08-10 Magic Leap, Inc. Object creation with physical manipulation
IL276621B2 (en) * 2018-02-22 2024-05-01 Magic Leap Inc A browser for mixed reality systems
US11417296B2 (en) * 2018-03-13 2022-08-16 Sony Corporation Information processing device, information processing method, and recording medium
JP2021096490A (ja) * 2018-03-28 2021-06-24 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US10809958B2 (en) * 2018-04-16 2020-10-20 Microsoft Technology Licensing, Llc Setting up multiple displays via user input
US11733824B2 (en) 2018-06-22 2023-08-22 Apple Inc. User interaction interpreter
US11100713B2 (en) * 2018-08-17 2021-08-24 Disney Enterprises, Inc. System and method for aligning virtual objects on peripheral devices in low-cost augmented reality/virtual reality slip-in systems
US11137875B2 (en) * 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Mixed reality intelligent tether for dynamic attention direction
EP3948747A4 (en) 2019-04-03 2022-07-20 Magic Leap, Inc. MANAGEMENT AND DISPLAY OF WEB PAGES IN A VIRTUAL THREE-DIMENSIONAL SPACE USING A MIXED REALITY SYSTEM
US11475117B2 (en) * 2019-06-18 2022-10-18 Citrix Systems, Inc. Eye and head tracking authentication
US11209902B2 (en) * 2020-01-09 2021-12-28 Lenovo (Singapore) Pte. Ltd. Controlling input focus based on eye gaze
CN111657842B (zh) * 2020-06-02 2021-08-31 首都医科大学附属北京地坛医院 一种探头控制方法及探头控制装置
CN111683281A (zh) * 2020-06-04 2020-09-18 腾讯科技（深圳）有限公司 视频播放方法、装置、电子设备及存储介质
US11609629B2 (en) 2020-10-20 2023-03-21 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11392198B2 (en) 2020-10-20 2022-07-19 ROVl GUIDES, INC. Methods and systems of extended reality environment interaction based on eye motions
US11320903B1 (en) * 2020-10-20 2022-05-03 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11281291B1 (en) 2020-10-20 2022-03-22 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11747896B2 (en) 2020-10-20 2023-09-05 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
CN114661201A (zh) * 2020-12-23 2022-06-24 广州视享科技有限公司 应用程序的三维输入方法、装置、存储介质和电子设备
US11762458B2 (en) * 2021-02-15 2023-09-19 Sony Group Corporation Media display device control based on eye gaze
WO2023049876A1 (en) * 2021-09-25 2023-03-30 Apple Inc. Methods for interacting with an electronic device
US20230135974A1 (en) * 2021-11-04 2023-05-04 Microsoft Technology Licensing, Llc Multi-factor intention determination for augmented reality (ar) environment control
GB2616004A (en) * 2022-02-22 2023-08-30 Sony Interactive Entertainment Inc Apparatus and method
US20230315193A1 (en) * 2022-03-31 2023-10-05 Lenovo (Singapore) Pte. Ltd. Direction of user input to virtual objects based on command metadata
CN115957419B (zh) * 2023-02-15 2023-06-16 中国人民解放军军事科学院军事医学研究院 一种关于心理舒缓的信息处理方法、虚拟现实***及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US9035878B1 (en) * 2012-02-29 2015-05-19 Google Inc. Input system
TW201638723A (zh) * 2015-04-29 2016-11-01 由田新技股份有限公司 使用者介面同步系統、方法、電腦可讀取紀錄媒體、及電腦程式產品

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5608850A (en) * 1994-04-14 1997-03-04 Xerox Corporation Transporting a display object coupled to a viewpoint within or between navigable workspaces
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
EP3654146A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US9134792B2 (en) * 2013-01-14 2015-09-15 Qualcomm Incorporated Leveraging physical handshaking in head mounted displays
JP2014157466A (ja) * 2013-02-15 2014-08-28 Sony Corp 情報処理装置及び記憶媒体
US9710130B2 (en) * 2013-06-12 2017-07-18 Microsoft Technology Licensing, Llc User focus controlled directional user input
US9552060B2 (en) * 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
US9723298B2 (en) * 2014-06-13 2017-08-01 International Business Machines Corporation Managing a display
US10592080B2 (en) * 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
CN105824409A (zh) * 2016-02-16 2016-08-03 乐视致新电子科技（天津）有限公司 虚拟现实的交互控制方法及装置
US10250720B2 (en) * 2016-05-05 2019-04-02 Google Llc Sharing in an augmented and/or virtual reality environment
IL292911B2 (en) * 2016-08-11 2023-11-01 Magic Leap Inc Automatic positioning of a virtual object in three-dimensional space

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US9035878B1 (en) * 2012-02-29 2015-05-19 Google Inc. Input system
TW201638723A (zh) * 2015-04-29 2016-11-01 由田新技股份有限公司 使用者介面同步系統、方法、電腦可讀取紀錄媒體、及電腦程式產品

Also Published As

Publication number Publication date
WO2018101995A1 (en) 2018-06-07
EP3548988A1 (en) 2019-10-09
US20180150204A1 (en) 2018-05-31
CN109891368A (zh) 2019-06-14
EP3548988B1 (en) 2022-03-02
DE202017105307U1 (de) 2018-03-26

Similar Documents

Publication Publication Date Title
CN109891368B (zh) 活动对象在增强和/或虚拟现实环境中的切换
US10339723B2 (en) Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment
US10509487B2 (en) Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
US10545584B2 (en) Virtual/augmented reality input device
US11181986B2 (en) Context-sensitive hand interaction
CN107533373B (zh) 虚拟现实中经由手与对象的场境敏感碰撞的输入
EP3504608B1 (en) Manipulating virtual objects with six degree-of-freedom controllers in an augmented and/or virtual reality environment
KR102098316B1 (ko) 증강 및/또는 가상 현실 환경에서의 텔레포테이션
CN108073276B (zh) 增强和/或虚拟现实环境的拖拽虚拟元件
CN108153409B (zh) 增强现实环境和/或虚拟现实环境中的会话结束检测
EP3414643A1 (en) Laser pointer interactions and scaling in virtual reality
EP3479198A1 (en) Hover touch input compensation in augmented and/or virtual reality
WO2016099559A1 (en) 3d navigation mode
JP2024018909A (ja) スマートウォッチを用いたｘｒ操作機能

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant