CN107810465A - 用于产生绘制表面的***和方法 - Google Patents

用于产生绘制表面的***和方法 Download PDF

Info

Publication number
CN107810465A
CN107810465A CN201680037007.8A CN201680037007A CN107810465A CN 107810465 A CN107810465 A CN 107810465A CN 201680037007 A CN201680037007 A CN 201680037007A CN 107810465 A CN107810465 A CN 107810465A
Authority
CN
China
Prior art keywords
user
drafting
gaze
input
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680037007.8A
Other languages
English (en)
Other versions
CN107810465B (zh
Inventor
J·汤普森
D·奥斯本
T·希夫尼
S·G·拉塔
F·W·古安
J·纳卡施玛
M·桑德斯
A·加夫里留克
A·E·塞里特诺
S·C·赖特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107810465A publication Critical patent/CN107810465A/zh
Application granted granted Critical
Publication of CN107810465B publication Critical patent/CN107810465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本文描述了一种用于操作计算设备的方法。该方法包括基于注视输入来确定用户的注视方向，确定用户的注视方向与三维环境中经标识的环境表面之间的相交，以及基于显示器上的用户界面内的相交生成绘制表面。

Description

用于产生绘制表面的***和方法
背景
最近已经出现了各种技术来允许用户体验虚拟环境以及现实和虚拟世界的混合。例如，头戴式显示(HMD)设备可包括高清相机、深度相机、测距仪、陀螺仪、加速度计以及其他允许头戴式计算设备显示虚拟环境或映射现实世界并在头戴式计算设备上显示现实和虚拟对象的混合的技术。现实世界和虚拟现实的这种混合视图被称为增强现实。诸如平板、智能手机等其他类型的计算设备也可实现增强现实以及虚拟现实能力。
一些计算设备使得用户能够在呈现给用户的三维环境中标记各种对象、表面等。例如，一些计算设备可使用户能够在三维环境中的三维表面上进行绘制。然而，在一些实例中，环境中的表面可能具有多种几何形状，这些几何形状可能是复杂的和非平面的。由此，由于表面透视的变化，用户的绘制可能不会如预期的那样。因此，当以这种方式在三维环境中执行表面标记时，用户可能不能以期望的方式来传达他们的想法。结果，用户与三维环境的交互体验可能会受到负面影响。
概述
在一种方式中，提供了一种用于操作计算设备的方法。该方法包括：基于注视输入来确定用户的注视方向，确定所述用户的注视方向与三维环境中经标识的环境表面之间的相交，以及基于显示器上的用户界面内的所述相交生成绘制表面。以此方式，可基于用户的注视方向来产生绘制表面。结果，用户可以按准确的方式容易且直观地在自然表面上进行草图绘制。由此，可在三维环境中提供使得用户的想法能够被清楚地传达的具有经改善的质量和外观的绘制。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1示出了根据本公开的一实施例的头戴式显示设备；
图2示出了根据本公开的一实施例的便携式计算设备；
图3-4示出了根据本公开的一实施例的用于操作计算设备的方法；
图5-8示出了用于基于用户的注视方向生成绘制表面的示例性使用情况场景；以及
图9示出了示例计算***的示意性描绘。
详细描述
图1和2示出了两个示例性计算设备，该示例性计算设备可被用于实现用于确定用户的注视的方向并且基于注视方向和环境表面之间的相交来生成绘制表面的技术，如本文所描述的。以此方式生成绘制表面使得用户能够容易地且直观地标记与三维环境中的表面相关联的绘制表面。将理解，可产生具有从用户的视角来看能够实现轻松标记的取向和几何形状的绘制表面。附加地，通过将标记放置在绘制表面上，当从各种视角观看时，用户的标记将保持其观看完整性。这使得用户能够从不同的视角将想法传达给观看环境的其他人。
具体来说，图1示出了根据本公开的一示例的头戴式计算设备10。在这个示例中，所示出的头戴式计算设备10采用可穿戴眼镜或护目镜的形式，但是将理解，其他形式是可能的。头戴式计算设备10包括透视全息显示器12，该透视全息显示器12可被配置成视觉地增强用户通过该透视全息显示器所查看的物理环境的外观。例如，透视全息显示器12可被配置成在用户透过该显示器所看到的现实世界环境内呈现全息图像。由此，全息图像可被呈现在覆盖透过显示器所看到的现实世界环境的用户界面中。
头戴式计算设备10可包括图像产生***22，该图像产生***22被配置成用透视全息显示器12来将虚拟对象显示给用户。虚拟对象被视觉地叠加在物理环境上，使得在各个深度和位置处被感知到。将理解，虚拟对象可被包括在用户界面中。头戴式计算设备10可使用立体视觉通过将虚拟对象的单独图像显示给用户的两只眼睛来将该虚拟对象视觉地放置在期望的深度处。然而，给予对于全息图的深度的感知的特定方法无需被如此限制，因为已经构想了数种可提供深度感知的全息显示技术。
头戴式计算设备10包括可包括一个或多个光学传感器的光学传感器***14。在一个示例中，光学传感器***14可包括面向外的光学传感器16，该面向外的光学传感器16可被配置成从与用户透过透视全息显示器12所观测的类似的视点(例如，视线)来检测现实世界环境。光学传感器***14可包括各种类型的附加传感器，诸如深度相机和RGB相机，其可以是高清相机或具有另一分辨率。
头戴式计算设备10可进一步包括位置传感器***18，该位置传感器***18可包括一个或多个位置传感器，诸如(诸)加速度计、(诸)陀螺仪、(诸)磁力计、(诸)全球定位***、(诸)多点定位***等和/或其他输出可用作相关传感器的位置、取向和/或移动的位置传感器信息的传感器。
从光学传感器***14接收的光学传感器信息和/或从位置传感器***18接收的位置传感器信息可被用于确定用户的注视方向。例如，诸如光学传感器之类的传感器可被配置为跟踪用户的眼睛位置和移动以确定用户的注视方向。在另一示例中，与设备的头戴式部分间隔开的一个或多个光学传感器(例如，相机)可被用于跟踪用户的眼睛移动以确定用户的注视方向。然而，可以使用用于查明注视方向的其他合适的技术。附加地，用户的注视方向可经由线上的两个点来表达。
此外，光学传感器信息和位置传感器信息可被头戴式计算设备用来执行对现实世界背景的分析，诸如深度分析、表面重构、环境色彩和照明分析、或其他合适的操作。例如，光学传感器信息和位置传感器信息可被头戴式计算设备10使用来标识由光学传感器感知的现实世界环境中的表面。在一些具体示例中，墙壁、天花板、地板、或对象等的表面可被头戴式计算设备10标识。附加地，光学和位置传感器信息可被用于创建现实世界背景的虚拟模型以使得例如能够在现实世界环境的期望位置处生成虚拟对象。
图2示出了便携式计算设备200。具体而言，在图2中例示了平板型计算设备。然而，构想了多种类型的便携式计算设备，诸如智能电话、膝上型计算机等。
便携式计算设备200包括被配置为在用户界面203内呈现图形内容的显示器202。在一个示例中，显示器202可以是触敏显示器。因此，显示器可被配置为接收诸如绘制输入、姿势输入等的触摸输入(例如，多点触摸输入)。
便携式计算设备200进一步包括被配置成捕捉周围环境的图像和视频的相机204。在图2中描绘了前置相机和后置相机两者。然而在其他示例中，设备可能仅包括单个相机，诸如后置相机。以此方式，用户可观看显示器，同时可捕捉在延伸通过显示器的方向上的现实世界环境的图像/视频。
便携式计算设备200可被配置成在显示器202上呈现三维环境。具体而言，便携式计算设备200可被配置为在显示器202上呈现虚拟现实环境和/或增强现实环境。虚拟现实环境可包括由虚拟表面、对象、背景等组成的图形环境。增强现实环境可包括三维环境，该三维环境将由设备的相机捕捉的现实世界元素与层叠在由相机捕捉的图像上的虚拟元素混合。例如，增强现实环境可包括经由相机204捕捉的现实世界场景的视频以及在现实世界场景中渲染的虚拟对象，以提供可由用户操纵的经增强的观看环境。
便携式计算设备200还可包括诸如按钮206之类的附加元件和/或诸如键盘、轨迹板、触摸传感器等的其他合适的输入设备，使得用户能够执行各种输入并且与虚拟现实环境和/或增强现实环境进行交互。附加地，经由相机204的光学感测可被用于检测被用于与前述环境进行交互的姿势输入。
图3示出了计算设备的操作的方法300。方法300可经由在本文中参考图1和2描述的计算设备来实现或可经由其他合适的计算设备来实现。方法300基于用户的注视方向生成绘制表面，以使用户能够直观地标记虚拟或增强现实环境。以此方式，可为用户提供丰富的交互式体验，该交互式体验允许在三维空间中直观地传达想法。
在302，该方法包括接收来自用户的绘制激活输入，该绘制激活输入指令***产生用户可在其上开始绘制注释的绘制表面。绘制激活输入的一个示例可以是捏合姿势，其中用户手中的两个或更多个用户的手指的尖端之间的相对位置被减小。将理解，可经由上文参考图1描述的除了RGB相机之外可包括深度相机的光学传感器***14来感测诸如捏合姿势的姿势输入。替换地，当使用平板计算机或智能手机设备来实现该方法时，可通过触摸屏来感测姿势输入。已经构想了许多其他绘制激活输入，诸如其他输入键盘、计算机鼠标、键区、轨迹板等，以及由相机或触摸屏检测到的其他类型的姿势输入。因此将理解，不仅在三维空间中作出的三维姿势命令和在触摸屏上作出的多点触摸姿势命令，而且键盘命令和鼠标命令都可被用作绘制激活输入。
接着在304，该方法包括接收注视输入。注视输入可以是来自相机传感器的输入，该相机传感器捕捉并识别用户的脸部(例如，眼睛，鼻子等)中的特征。因此，作为一个示例，注视输入可包括某时间点处用户的眼睛内的参考点(诸如瞳孔、闪光等)的位置。还可检测瞳距并将其包括为注视输入，以便基于该注视输入来校准向用户显示的全息图。注视输入可附加地或替换地包括来自计算设备中指示用户的头部的取向的取向传感器的输入。附加的或替换的，注视输入可包括在三维环境中标识点的有源用户输入。有源用户输入可经由诸如触摸传感器、光学传感器、鼠标、键盘等合适的输入设备来生成。例如，有源用户输入可以是例如用户指着三维环境中的某对象、在描述三维环境的触摸屏上选择对象位置、或者说出经标识的对象的名称。
在306，该方法包括基于注视输入来确定用户的注视方向。例如，如上所述，可根据经由光学传感器***14捕捉的图像来推断(即，计算)用户的眼睛的取向。用户的眼睛取向可能与用户的注视方向有关。将理解，用户的注视方向可经由定义线以及方向的两个点(原点和线上的另一点)来表达。因此，注视方向可被表达为射线。因此，用户的注视方向可被视觉地显示为具有预定厚度的线，该线从用户的脸部上的某点延伸到注视方向和表面的相交处，如下文所描述的。在又一示例中，从用户的脸部上的某点延伸到三维环境中的用户选择点的线可被用来指示用户的注视方向。用户的脸部上的点可基于诸如惯性测量单元中的陀螺仪和加速度计之类的取向传感器输入来确定，并且环境中的用户选择点可当在支持触摸屏的设备上观看三维环境时，通过触摸触摸屏上与该三维环境中的点相对应的位置来选择。
在308，该方法包括在三维环境中标识表面。三维环境可以是现实世界三维环境或虚拟现实三维环境。将理解，现实世界环境是设备外部的环境，并因此例如可由相机捕捉。在此类示例中，现实世界环境可以是用户通过透视全息显示器观看的视野。进一步在一个示例中，三维环境可被供应自另一计算设备或服务。
在310，该方法包括确定用户的注视方向与经标识的环境表面之间的相交。相交可被表达为三维空间中的坐标或其他位置指示符。在一些实例中，相交可以是实际相交点，而在其他实现中，相交可以是与实际相交点相邻的相交区域。
在312，该方法包括基于显示器上的用户界面内的相交生成第一绘制表面。以此方式，可在三维环境中提供直观的表面，使用户能够快速并精确地在环境中进行绘制。已经构想了各种绘制表面几何形状。例如，绘制表面通常是连续的表面，并且可能不存在尖角或其他不连续性。在一个具体示例中，第一绘制表面可以是平坦的。使用连续且平坦的表面使得用户能够以直观的方式容易地标记三维环境的预期部分。然而，在其他示例中，第一绘制表面可以按凸起或凹入的方式被弯曲。
在又一示例中，第一绘制表面的至少一部分可用与绘制表面的其余部分在视觉上可区分的边界来突出显示，以向用户指示表面的边界，而绘制表面的其余部分是透明或半透明的。更进一步在其他示例中，整个表面可以是透明或半透明的。
此外，第一绘制表面可在距离用户的注视方向与经标识的环境表面的相交的预定距离内生成。例如，第一绘制表面可从注视方向与经标识的环境表面的相交处沿着注视方向的轴线朝向用户以预定的距离(诸如5-10毫米)朝向用户间隔开定位。此类定位使得在第一绘制表面上的绘制能够被显示在经标识的环境表面的前方，以确保绘制是对用户可见的。在另一个示例中，绘制表面可在除了沿着注视方向的轴线以外的方向上与相交间隔开，诸如与相交间隔开5-10毫米或更多。例如，当包含三维环境中的平坦的对象的相交区域被标识时，即使用户的注视方向的实际相交点与平坦的对象间隔开一定距离，绘制表面也可被产生在平坦的对象的位置中。因此，例如，如果用户正在观看会议室中稍微靠近白板左侧的点，则基于***知道白板经常接收全息注释以及用户的注视方向的邻近度，可在白板上生成绘制平面。具体而言，在另一示例中，第一绘制表面可被定位在相交处。在这些示例的每一个中，绘制表面被称为在空间上与相交相关联。
附加地，第一绘制表面可相对于用户的注视方向以预定角度布置。例如，第一绘制表面可相对于用户的注视方向以90度角布置，使得第一绘制表面垂直于用户的注视方向。以此方式，可向用户提供被布置在由于表面深度透视缺乏变化而易于看见和绘制的取向上的绘制表面。作为另一示例，预定角度可以不是90度。例如，第一绘制表面可被取向为垂直于平分用户的注视方向和另一用户的注视方向的角度，以使得表面对用户和与增强现实环境交互的其他用户而言更容易看到。然而，注释相对于注视方向而言太倾斜的表面可能会对用户提出挑战，因此通常采用相对于注视方向成60-90度的第一绘制表面的取向。此外，在一些示例中，绘制表面的初始布置可在用户的注视方向改变之后持续。以此方式，用户可在注视第一方向的同时产生绘制表面，并且在该第一绘制表面上进行注释，并然后改变注视方向和/或四处走动，但仍在具有相同取向的相同绘制表面上进行注释。这有助于确保用户与绘制表面交互的一致性。
附加地，可基于经标识的环境表面的几何形状来调整第一绘制表面相对于用户的注视方向的位置。例如，表面可被快照到环境表面上的平面或点。通常地，如果表面处于距环境表面的预定角度或距离内(诸如表面的0-5度之间，或表面的0-5毫米之间)，则执行该操作。以此方式，如果用户产生接近于与环境中的墙壁在一个平面内，但稍微偏离轴线的绘制表面，则头戴式计算设备可将经生成的绘制表面快照成与墙壁在一个平面内，因为全息图与现实环境之间的此类小错位可容易地被用户感知，并且可能对用户体验而言是突兀的。
在313，该方法可包括基于经标识的环境表面的几何特性来调整第一绘制表面的几何形状。环境表面的几何特征可以是表面形状、尺寸、曲率等。例如，环境表面可以是柱，并且可产生具有与柱的曲率相对应的曲率量的绘制表面。更进一步在另一示例中，环境表面可与房间中的角落相邻，并且绘制表面可被弯曲以适合角落。在这两个示例中，曲线拟合算法可被用于将弯曲的绘制表面拟合到弯曲的或多边形的环境表面上。作为另一示例，绘制表面可在诸如为有限尺寸的平面的柜台、台子或桌子顶部之类的环境表面上产生，并且绘制表面可在环境表面上产生，其周长被编程地设定尺寸以与环境表面共同延伸。
在314，方法700包括接收来自用户的第一绘制表面输入。第一绘制表面输入可以是姿势输入、触摸输入、鼠标输入等，用户可经由该第一绘制表面输入在绘制表面上绘制注释。例如，将绘制表面看作被显示在增强现实环境中的全息图的用户可以按期望的方式在绘制表面内或沿绘制表面移动手指或手部手指的全息图表示，从而实现绘制表面输入。因此将理解，如用户所看到的那样，第一绘制表面输入可被实现在绘制表面内或被实现在绘制表面附近。在其他实施例中，可向用户提供用户界面命令以使用户能够在该用户物理地站立在距离绘制表面的全息图的一定距离处并且不能触及该绘制表面的全息图时输入第一绘制表面输入。进一步在另一示例中，绘制激活输入和第一绘制表面输入可共同地被实现为连续输入。例如，绘制激活输入可以是用户的手指在触摸垫(或全息图)上的放置，并且绘制表面输入可以是用户手指围绕触摸垫(或全息图)的移动。然而，已经构想了许多类型的输入，这些输入可能不被连续实现。
在316，该方法包括响应于接收第一绘制表面输入，基于第一绘制表面输入在绘制表面中渲染第一绘制标志。第一绘制标志可包括一个或多个线条、形状等。在一个示例中，绘制标志可对应于第一绘制表面输入的路径。例如，绘制标志可以是与用户的指尖的路径(例如，迹线)有关的线。然而，其他类型的绘制标志可被生成。例如，可响应于第一绘制表面输入而生成预定的形状、对象等。
在318，该方法包括接收第二注视输入，并且在320，该方法包括基于该第二注视输入来确定第二用户注视方向。这些步骤遵循与如上文所描述的在304确定第一注视输入和在306确定第一注视方向相关的类似过程。
现在参考图4，在322，该方法确定用户的注视方向的改变是否超过预定值。在一个示例中，用户的注视方向的改变可由三维环境中的表面相交点之间的距离表达。在另一示例中，用户注视方向的改变可以是第一用户注视方向与第二用户注视方向之间的差异。例如，这可通过将第一和第二用户注视方向表达为矢量，并将它们相减以找出差异矢量的幅度来计算。作为另一示例，用户的注视方向与三维环境中的表面的相交之间的绝对距离可被用于确定用户的注视方向的改变是否超过预定值。在一些示例中，步骤322可从该方法中省略。
如果确定用户的注视方向的改变超过预定值(322处的是)，则该方法前进到324。在一些实现中，如果预定值被超过达预定时间段，则该方法仅前进到324。在324，该方法包括移除第一绘制表面。附加地或替换地，响应于接收来自用户的快速绘制表面移除输入(诸如移除姿势或语音命令)，第一绘制表面可被移除。以此方式，将理解，只要用户被认为正与绘制表面进行交互，该方法就保持绘制表面被显示，其中***用于确定用户旨在继续与绘制表面进行交互的代理是在注视方向方面高于阈值、或者高于阈值达预定时间段的突然变化。因此，如果用户转身离开在教室内的白板上产生的虚拟绘制表面以面向课堂并回答问题，则绘制表面可能会消失，或者如果用户的注视足够远地移离绘制表面，则绘制表面可能会消失。
接着，在326，该方法包括在三维环境中标识第二环境表面。在328，该方法包括确定第二用户注视方向与第二经标识的环境表面之间的相交。如上文所描述的，与步骤308和310相关的类似过程可被用在326和328。
在330，该方法包括基于在用户界面内在步骤328处确定的相交来生成第二绘制表面。以此方式，可在三维环境中生成多个表面以允许在期望环境区域中进行标记。如上文在312处被用于生成第一绘制表面的类似过程被用于生成第二绘制表面。
接着，在332，该方法包括接收第二绘制表面输入，该第二绘制表面输入可以是用户的姿势输入或类似于上文在步骤314中所描述的其他类似输入。
在334，该方法包括响应于接收第二绘制表面输入，基于第二绘制表面输入在第二绘制表面中渲染第二绘制标志，类似于在316处渲染第一绘制标志的方式。
然而，如果确定用户的注视方向的改变未超过预定值(322处的否)，则该方法前进到336。在336，该方法包括持续对第一绘制表面的呈现。以此方式，用户的注视的小的无意的移动将不会触发第二绘制表面的产生。在上文给出的示例中，以短距离和/或短时间量瞥离在白板上产生的绘制表面的用户将不会不合心意地发现绘制表面消失。
在一些情况下，可能希望在相同的虚拟绘制表面上渲染用户未来的绘制输入，当这些绘制输入在时间上间隔地足够紧密时，***可推断用户旨在在相同的绘制表面上作出绘制输入。为了实现此目标，在338，该方法包括接收第三绘制表面输入，并且在340，该方法包括确定第三绘制表面输入是否在接收到第一绘制输入之后的预定时间间隔内被实现。
如果确定第三绘制表面输入在接收到第一绘制输入之后的预定时间间隔内未被实现(340处的否)，则该方法返回至324并且接着移除第一绘制表面并且基于新检测到的注视方向产生新的绘制表面。然而，当跟随从340到324的否分支时，方法继续执行步骤326-330，跳过步骤332，并且在步骤334基于在340接收到的第三绘制输入来渲染第二绘制标志。以此方式，第三绘制标志可基于用户的注视的新方向来被显示在新产生的绘制表面上。
然而，如果确定第三绘制表面输入在接收到第一绘制输入之后的预定时间间隔内被实现(340处的是)，则该方法前进到342。在342，该方法包括基于第三绘制表面输入在第一绘制表面中渲染第三绘制标志。
图5-8示出了在三维增强现实环境中产生绘制表面的示例性使用情况场景。将理解，图5-8例示了顺序输入场景。图5-8每个都示出了在三维环境502中穿戴头戴式计算设备10，用手501作姿势的用户500。三维环境是用户通过头戴式计算设备10的透视显示器可见的现实世界环境。然而，在其他示例中，诸如虚拟环境之类的其他类型的三维环境可被使用。在图5-7中还指示了视野504。视野504指示头戴式计算设备10可投射诸如绘制标志之类的全息图像的区域。将理解，视野或视野中的小区域将被用于显示全息图像可被显示在其中的用户界面。
图5示出了用户的注视方向506。如先前所讨论的，可基于注视输入来确定用户的注视方向506。如所示，用户的注视方向可通过定义线510的两个点508来定义。此外，线510可具有预定的厚度。以此方式，可推断出在三维环境中的用户的焦点区域。然而，已经构想了表示用户的注视方向的其他方式。
环境表面512可由头戴式计算设备10来标识。如所示，环境表面是冰箱的门。然而，头戴式计算设备10可标识任何可想象类型的环境表面。
附加地，用户的注视方向506和环境表面512之间的相交514也可经由头戴式计算设备10来确定。围绕相交514的相交区域516也可由头戴式计算设备10来标识。相交区域516可被用于随后绘制表面的产生。
图6示出了基于用户的注视方向506和环境表面512之间的相交514而生成的第一绘制表面600。具体而言，在所描绘的示例中，第一绘制表面600在相交514处产生。然而，在其他示例中，第一绘制表面600可在距相交514的预定的距离处产生。例如，如果用户的注视方向指向桌上的书，如图7所示，则绘制表面可被产生在该书上方的预定距离D处。当用户的注视方向指向不期望的表面产生位置时，这种类型的表面位置调整可被实现。例如，环境表面可能具有不规则的几何形状或具有小于预定值的表面积，从而指示不期望的产生位置。以此方式，可避免在不期望的位置中产生绘制表面，以改善绘制输入。在桌上的书的示例中，如果绘制表面是以用户的注视方向与书的相交为中心而产生的，那么绘制表面将向下延伸并且平分桌子，这将在视觉上对用户而言是突兀的。因此，该方法可标识绘制表面与诸如桌子之类的周围经识别的对象之间的潜在碰撞，并且将绘制表面定位在距相交的预定距离处，以避免此类碰撞。
第一绘制表面600可经由全息图像在视觉上进行表示。如在图5中所例示的，第一绘制表面600的边界602以及内部区域604可被指示。然而，在其它示例中，绘制表面可能不在视觉上进行表示，或者只有绘制表面的选定部分可在视觉上进行表示，诸如绘制表面边界或边界的一部分。在又一示例中，第一绘制表面600可仅响应于用户输入而在视觉上进行表示。在此类示例中，响应于用户在绘制表面上或在绘制表面附近执行输入，波浪或其他预定动画可跨该绘制表面行进。在此类示例中，波浪可能会传播到绘制表面的边界。这种类型的动画也可在生成绘制表面之后被启动。以此方式，用户可被提供指示绘制表面位置的视觉提示。
第一绘制表面600可就用户的注视方向506而言以预定角度603渲染。具体而言，在一个示例中，第一绘制表面600可就用户的注视方向506而言以垂直角度渲染。然而，在其他示例中，可使用其他角度。例如，第一绘制表面可相对于用户的注视方向以在60-90度之间的角度渲染。例如，可选择此角度以接纳存在于三维环境中的其他人进行观看。
第一绘制表面600被例示为连续的平坦的表面。然而，已经构想了许多表面几何形状。例如，在其他示例中，可使用凸起、凹入、抛物线等绘制表面。
在第一绘制表面600被产生之后，绘制表面被配置成接收绘制表面输入并且响应于接收到绘制表面输入来渲染绘制标志。已经构想了许多类型的用户输入，诸如触摸输入、姿势输入、鼠标输入、键盘输入、触摸垫输入等。
用户的手501可实现绘制姿势。在所描绘的示例中，用户的手606的全息图表示被呈现在头戴式计算设备10的显示器上。这使得用户能够经由姿势输入触及在三维环境中遥远的表面。但是，如上文所讨论的，许多绘制表面输入是可能的。例如，绘制表面可接受来自键盘、鼠标、触摸垫等的输入。
如用户所看到的那样，绘制姿势可被实现在第一绘制表面600内。然而在其他示例中，如用户所看到的那样，绘制姿势可被实现在第一绘制表面600附近。将理解，绘制姿势可以由头戴式计算设备10感测，并且绘制表面输入可响应于感测到绘制姿势而被生成。以此方式，绘制表面输入可被计算设备接收。
响应于接收到绘制表面输入，可以基于该绘制表面输入来渲染绘制标志608。在所描绘的示例中，绘制标志608表示绘制表面输入606的路径。然而，已经构想了其他绘制标志渲染技术。如所示，绘制标志608是与用户期望购买的食物有关的购物清单，其中的一些可被放置在冰箱中。以此方式，可生成与三维环境中的对象有关的绘制标志。结果，用户可利用经由绘制标志传达的有用信息来增强增强现实环境。当然，这仅仅是一个示例，除了购物清单项目之外，已经构想了许多类型的绘制标志。
虚线610指示在用户的注视方向上可能的改变。相交612位于另一环境表面与经改变的用户的注视方向610之间。例如，用户的注视方向可被引导到相交514附近的冰箱的手柄处。如先前所讨论的，用户的注视方向上的小改变可能不需要产生另一绘制表面。因此，当用户的注视方向的改变小于预定量时，可禁止产生另一绘制表面。用户的注视方向上的改变可被表达为三维环境502中的各相交点(即514和612)之间的距离。
图7示出了用户的注视方向506被改变，其触发生成另一绘制表面的场景。将理解，当用户的眼睛和/或头部转动取向时，注视方向可能会改变。
如图7所示，对第一绘制表面600和绘制标志608的呈现被持续。然而，将理解，在其他示例中，在超过预定时间间隔之后，第一绘制表面600可从显示器被移除。例如，可在产生第一绘制表面600之后的30秒、1分钟或5分钟，从显示器移除该第一绘制表面600。再进一步，在其他示例中，响应于用户的注视方向506改变了预定值，第一绘制表面600可从显示器被移除。例如，如果用户的初始注视方向与随后的注视方向之间的各相交点(514和710)之间的距离701大于阈值，则第一绘制表面600可从显示器被移除。然而，在一些示例中，无论用户的注视方向如何变化，都可持续对第一绘制表面600的呈现。在又一示例中，第一绘制表面600可响应于接收到绘制表面移除输入而从显示器被移除。以此方式，用户可有效地管理对绘制表面的呈现。
图7还示出了对第二绘制表面700的呈现。响应于用户的注视方向506改变了预定值而显示第二绘制表面700。如先前所讨论的，可基于用户的注视方向506与环境表面712之间的相交710而产生第二绘制表面。
如所示，用户的手501实现触发在头戴式计算设备10处接收绘制表面输入的绘制姿势。如用户所看到的那样，绘制姿势可被实现在第二绘制表面700内。然而在其他示例中，如用户所看到的那样，绘制姿势可被实现在第二绘制表面附近。
响应于接收到绘制表面输入，可以基于该绘制表面输入由头戴式计算设备10渲染绘制标志706。在所描绘的示例中，绘制标志706跟踪用户的手501的手指的路径。然而，已经构想了其他绘制标志渲染技术。如所示，绘制标志是与咖啡桌上的旅行书有关的指令。例如，指令可同时地或在稍后的时间点被传达给也在观看该增强现实环境的其他用户。以此方式，可在增强现实的三维环境中向多个用户提供协作式绘制内容。当然，与旅行书相关的注释仅是示例性的，并且在其他示例中可生成许多类型的其他绘制标志。
图8示出了用户的注视方向506第二次改变的场景。绘制表面800被产生在用户的注视方向506与环境表面804之间的相交802处。绘制表面800的形状符合环境表面的几何形状。例如，绘制表面800附近的环境表面是房间的角落，并因此绘制表面被弯曲以适应该角落。以此方式，可基于三维环境的约束来调整绘制表面的几何形状，从而有效地利用可用空间。然而，已经构想了其他类型的绘制表面几何形状调整。例如，在一个示例中，可在建筑柱附近产生凸起的绘制表面。
虽然在图5-8中示出的使用情况场景参考头戴式计算设备10被例示，但将理解，便携式计算设备200也可展示与参考图5-8被描述的类似功能。
在一些实施例中，本文中描述的方法和过程可以与一个或多个计算设备的计算***绑定。具体而言，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图9示意性地示出了可执行上述方法和过程中的一个或多个的计算***900的非限制性实施例。以简化形式示出了计算***900。计算***900可采取以下形式：一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备。
计算***900包括逻辑机902和存储机904。计算***900可任选地包括显示子***906、输入子***908、通信子***910和/或在图9中未示出的其他组件。
逻辑机902包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑机可包括被配置成执行软件指令的一个或多个处理器。附加地或替换地，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储机904包括被配置成保持或存储可由逻辑机执行以实现此处所述的方法和过程的指令的一个或多个物理设备。在实现这些方法和过程时，可以变换存储机904的状态(例如，保存不同的数据)。
存储机904可以包括可移动和/或内置设备。存储机904可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储机904可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
将理解，存储机904包括一个或多个物理设备。然而，本文描述的指令的各方面可替换地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
逻辑机902和存储机904的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上***(SOC)以及复杂可编程逻辑器件(CPLD)。
术语“模块”、“程序”和“引擎”可用于描述被实现为执行一个特定功能的计算***900的一方面。在某些情况下，可以通过执行由存储机904所保持的指令的逻辑机902来实例化模块、程序或引擎。将理解，不同的模块、程序、和/或引擎可以从相同的应用、服务、代码块、对象、库、例程、API、函数等实例化。类似地，相同的模块、程序和/或引擎可由不同的应用、服务、代码块、对象、例程、API、功能等来实例化。术语“模块”、“程序”和“引擎”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，在此使用的“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个***组件、程序和/或其他服务。在某些实现中，服务可以在一个或多个服务器计算设备上运行。
在被包括时，显示子***906可用于呈现由存储机904保持的数据的视觉表示。此视觉表示可采用图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，因此同样可以转变显示子***906的状态以视觉地表示底层数据的改变。显示子***906可包括使用实质上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑机902和/或存储器机904组合在共享封装中，或者此类显示设备可以是***显示设备。
在包括输入子***908时，输入子***908包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子***可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或***的，并且输入动作的转导和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的麦克风；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部***、眼睛***、加速度计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
当包括通信子***910时，通信子***910可被配置成将计算***900与一个或多个其他计算设备通信地耦合。通信子***910可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子***可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子***可允许计算***900经由诸如互联网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
在另一示例中，提供了一种用于操作计算设备的方法。所述方法包括：基于注视输入来确定用户的注视方向，确定所述用户的注视方向与三维环境中经标识的环境表面之间的相交，基于显示器上的用户界面内的所述相交生成第一绘制表面，接收第一绘制表面输入，以及响应于接收所述第一绘制表面输入，基于所述第一绘制表面输入在所述第一绘制表面上渲染第一绘制标志。在此类示例中，绘制表面可被生成在距所述相交的预定距离内。附加地在此类示例中，所述三维环境可以是所述计算设备外部的现实世界三维环境，并且其中所述计算设备可以是头戴式计算设备，以及所述显示器是被配置为呈现全息图像的透视全息显示器。在此类示例中，所述计算设备可以是便携式计算设备，所述便携式计算设备包括被配置为捕捉所述便携式计算设备外部的所述现实世界的所述三维环境的相机和被配置为呈现所述三维环境的显示器。在此类示例中，该方法可进一步包括接收绘制激活输入，以及其中响应于接收到所述绘制激活输入来确定所述用户的注视方向。在此类示例中，该方法可进一步包括确定所述用户的注视方向上的改变，接收第二绘制表面输入，以及如果所述用户的注视方向上的改变没有超过预定值，则基于所述第二绘制表面输入在所述第一绘制表面上渲染第二绘制标志。
在此类示例中，该方法可进一步包括如果所述用户的注视方向上的所述改变超过所述预定值，则基于所述第二注视方向和所述用户界面内的第二表面之间的相交来生成第二绘制表面，以及基于所述第二绘制表面输入在所述第二绘制表面上渲染所述第二绘制标志。
在此类示例中，可仅在接收到所述第一绘制表面输入之后的预定时间间隔内接收到所述第二绘制表面输入时，渲染所述第二绘制标志的步骤才会被实现。在此类示例中，所述第一绘制表面的至少一部分可以被突出显示。在此类示例中，第一绘制表面可以是平坦的。
在此类示例中，该方法可进一步包括基于所述经标识的环境表面的几何特性来调整所述第一绘制表面的几何形状。在此类示例中，该方法可进一步包括在生成所述第一绘制表面后超过预定时间间隔之后，从所述用户界面移除所述第一绘制表面。
在此类示例中，该方法可进一步包括响应于所述用户的注视方向上的改变超过预定值而从所述显示器移除所述绘制表面。在此类示例中，绘制表面可相对于用户的注视方向以预定角度布置。在此类示例中，所述用户的注视方向在视觉上可被显示为具有预定厚度的线。
在另一示例中，提供了一种计算设备。该计算设备包括被配置成呈现用户界面的显示器，存储在存储器中的指令，所述指令能够由处理器来执行以：基于注视输入来确定用户的注视方向，标识三维环境中的环境表面，确定所述用户的注视方向与所述环境表面之间的相交，基于显示器上的用户界面内的所述相交生成第一绘制表面，以及响应于接收到第一绘制表面输入并基于所述第一绘制表面输入在所述绘制表面中渲染第一绘制标志。在此类示例中，所述显示器可以是被配置成在所述三维环境中呈现全息图像的透视全息显示器，以及所述计算设备是头戴式计算设备。在此类示例中，绘制表面可相对于用户的注视方向以预定角度布置，以及所述第一绘制表面是平坦的。
在另一示例中，提供了一种用于操作头戴式计算设备的方法。该方法包括：接收绘制激活输入，响应于接收到所述绘制激活输入并且基于注视输入来生成用户的注视方向，确定所述用户的注视方向与三维环境中经标识的环境表面之间的相交，基于显示器上的用户界面内的所述相交生成绘制表面，接收绘制表面输入，以及响应于接收所述绘制表面输入，基于所述绘制表面输入在所述绘制表面上渲染绘制标志。在此类示例中，绘制激活输入和绘制表面输入可共同地被实现为连续输入。
将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括本文公开的各种过程、***和配置以及其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。

Claims (15)

1.一种用于操作计算设备的方法，所述方法包括：
基于注视输入来确定用户的注视方向；
确定所述用户的注视方向与三维环境中经标识的环境表面之间的相交；
基于显示器上的用户界面内的所述相交生成第一绘制表面；
接收第一绘制表面输入；以及
响应于接收所述第一绘制表面输入，基于所述第一绘制表面输入在所述第一绘制表面上渲染第一绘制标志。
2.如权利要求1所述的方法，其特征在于，所述绘制表面被生成在距所述相交的预定距离内。
3.如权利要求1所述的方法，其特征在于，所述三维环境是所述计算设备外部的现实世界三维环境，并且其中所述计算设备是头戴式计算设备，以及所述显示器是被配置为呈现全息图像的透视全息显示器。
4.如权利要求1所述的方法，其特征在于，所述计算设备是便携式计算设备，所述便携式计算设备包括被配置为捕捉所述便携式计算设备外部的所述现实世界的所述三维环境的相机和被配置为呈现所述三维环境的显示器。
5.如权利要求1所述的方法，其特征在于，进一步包括接收绘制激活输入，以及其中响应于接收到所述绘制激活输入来确定所述用户的注视方向。
6.如权利要求1所述的方法，其特征在于，进一步包括：
确定所述用户的注视方向上的改变；
接收第二绘制表面输入；以及
如果所述用户的注视方向上的改变没有超过预定值，则基于所述第二绘制表面输入在所述第一绘制表面上渲染第二绘制标志。
7.如权利要求6所述的方法，其特征在于，进一步包括：
如果所述用户的注视方向上的所述改变超过所述预定值，则基于所述第二注视方向和所述用户界面内的第二表面之间的相交来生成第二绘制表面；以及
基于所述第二绘制表面输入在所述第二绘制表面上渲染所述第二绘制标志。
8.如权利要求6所述的方法，其特征在于，仅在接收到所述第一绘制表面输入之后的预定时间间隔内接收到所述第二绘制表面输入时，渲染所述第二绘制标志的步骤才会被实现。
9.如权利要求1所述的方法，其特征在于，所述第一绘制表面是平坦的并相对于所述用户的注视方向以预定角度被布置。
10.如权利要求1所述的方法，其特征在于，进一步包括基于所述经标识的环境表面的几何特性来调整所述第一绘制表面的几何形状。
11.如权利要求1所述的方法，其特征在于，进一步包括在生成所述第一绘制表面后超过预定时间间隔之后，或者响应于所述用户的注视方向上的改变超过预定值，从所述用户界面移除所述第一绘制表面。
12.如权利要求1所述的方法，其特征在于，所述用户的注视方向在视觉上被显示为具有预定厚度的线。
13.一种计算设备，包括：
被配置成呈现用户界面的显示器；
存储在存储器中的指令，所述指令能够由处理器来执行以：
基于注视输入来确定用户的注视方向；
标识三维环境中的环境表面；
确定所述用户的注视方向与所述环境表面之间的相交；
基于所述显示器上的用户界面内的所述相交生成第一绘制表面；以及
响应于接收到第一绘制表面输入并基于所述第一绘制表面输入在所述绘制表面中渲染第一绘制标志。
14.如权利要求13所述的计算设备，其特征在于，所述显示器是被配置成在所述三维环境中呈现全息图像的透视全息显示器，并且所述计算设备是头戴式计算设备。
15.如权利要求13所述的计算设备，其特征在于，所述绘制表面相对于所述用户的注视方向以预定角度被布置，并且所述第一绘制表面是平坦的。
CN201680037007.8A 2015-06-22 2016-06-07 用于产生绘制表面的***和方法 Active CN107810465B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/746,789 US9898865B2 (en) 2015-06-22 2015-06-22 System and method for spawning drawing surfaces
US14/746,789 2015-06-22
PCT/US2016/036114 WO2016209606A1 (en) 2015-06-22 2016-06-07 System and method for spawning drawing surfaces

Publications (2)

Publication Number Publication Date
CN107810465A true CN107810465A (zh) 2018-03-16
CN107810465B CN107810465B (zh) 2021-03-19

Family

ID=56236078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680037007.8A Active CN107810465B (zh) 2015-06-22 2016-06-07 用于产生绘制表面的***和方法

Country Status (4)

Country Link
US (1) US9898865B2 (zh)
EP (1) EP3311250B1 (zh)
CN (1) CN107810465B (zh)
WO (1) WO2016209606A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10217264B2 (en) * 2010-06-01 2019-02-26 Vladimir Vaganov 3D digital painting
US10922870B2 (en) * 2010-06-01 2021-02-16 Vladimir Vaganov 3D digital painting
US20140268360A1 (en) * 2013-03-14 2014-09-18 Valve Corporation Head-mounted display
WO2015106114A1 (en) 2014-01-13 2015-07-16 T1visions, Inc. Display capable of object recognition
KR102265086B1 (ko) * 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
WO2017033777A1 (ja) * 2015-08-27 2017-03-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御するプログラム
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
US9983709B2 (en) * 2015-11-02 2018-05-29 Oculus Vr, Llc Eye tracking using structured light
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
US11106276B2 (en) 2016-03-11 2021-08-31 Facebook Technologies, Llc Focus adjusting headset
US10379356B2 (en) 2016-04-07 2019-08-13 Facebook Technologies, Llc Accommodation based optical correction
US10210661B2 (en) * 2016-04-25 2019-02-19 Microsoft Technology Licensing, Llc Location-based holographic experience
US10429647B2 (en) 2016-06-10 2019-10-01 Facebook Technologies, Llc Focus adjusting virtual reality headset
US20180082482A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
US20180096506A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180101986A1 (en) * 2016-10-10 2018-04-12 Aaron Mackay Burns Drawing in a 3d virtual reality environment
US10147243B2 (en) * 2016-12-05 2018-12-04 Google Llc Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment
US10310598B2 (en) 2017-01-17 2019-06-04 Facebook Technologies, Llc Varifocal head-mounted display including modular air spaced optical assembly
JP2018117320A (ja) * 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
US9841814B1 (en) * 2017-01-27 2017-12-12 Emergent AR Platforms Corp. Intentional user experience
US10679366B1 (en) 2017-01-30 2020-06-09 Facebook Technologies, Llc High speed computational tracking sensor
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
WO2018156809A1 (en) 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
US11209900B2 (en) * 2017-04-03 2021-12-28 Sony Corporation Information processing device and information processing method
US10932705B2 (en) 2017-05-08 2021-03-02 Masimo Corporation System for displaying and controlling medical monitoring data
CN109246463B (zh) * 2017-06-02 2020-06-26 腾讯科技（深圳）有限公司 用于显示弹幕的方法和装置
US10803832B2 (en) 2017-08-01 2020-10-13 Samsung Electronics Co., Ltd. Synchronizing holographic displays and 3D objects with physical video panels
EP4270209A3 (en) 2017-10-26 2023-11-22 Druva Inc. Deduplicated merged indexed object storage file system
JP2021140195A (ja) * 2018-05-31 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10430980B1 (en) 2018-10-22 2019-10-01 North Inc. Systems, devices, and methods for displaying visual symbols
US10553007B1 (en) * 2018-10-22 2020-02-04 North Inc. Systems, devices, and methods for displaying visual symbols
US10438391B1 (en) * 2018-10-22 2019-10-08 North Inc Systems, devices, and methods for displaying visual symbols
CN113544749A (zh) * 2019-02-20 2021-10-22 三星电子株式会社 用于在增强现实装置上显示内容的设备和方法
US11086392B1 (en) * 2019-04-09 2021-08-10 Facebook Technologies, Llc Devices, systems, and methods for virtual representation of user interface devices
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
WO2021044116A1 (en) * 2019-09-06 2021-03-11 Bae Systems Plc User-vehicle interface
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
US11023729B1 (en) 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
US11030820B1 (en) * 2019-12-05 2021-06-08 Facebook Technologies, Llc Systems and methods for surface detection
US11500204B2 (en) * 2020-06-09 2022-11-15 Arm Limited Head-mounted display
JP7504723B2 (ja) 2020-08-25 2024-06-24 株式会社ワコム 入力システム及び入力方法
US11422380B2 (en) * 2020-09-30 2022-08-23 Snap Inc. Eyewear including virtual scene with 3D frames
US20230135974A1 (en) * 2021-11-04 2023-05-04 Microsoft Technology Licensing, Llc Multi-factor intention determination for augmented reality (ar) environment control

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101069647A (zh) * 2006-05-09 2007-11-14 株式会社东芝 超声波图像取得装置及超声波图像显示方法
CN103064512A (zh) * 2011-12-07 2013-04-24 微软公司 用虚拟数据使静态打印内容成为动态
CN103827780A (zh) * 2011-07-12 2014-05-28 谷歌公司 用于虚拟输入设备的方法和***
US20140210601A1 (en) * 2013-01-30 2014-07-31 Olympus Imaging Corp. Operation apparatus
US20140237366A1 (en) * 2013-02-19 2014-08-21 Adam Poulos Context-aware augmented reality object commands
CN104076512A (zh) * 2013-03-25 2014-10-01 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US6601021B2 (en) * 2000-12-08 2003-07-29 Xerox Corporation System and method for analyzing eyetracker data
US7068813B2 (en) * 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
US7337410B2 (en) * 2002-11-06 2008-02-26 Julius Lin Virtual workstation
ES2568506T3 (es) * 2004-06-18 2016-04-29 Tobii Ab Control ocular de aparato computador
DE102004046617A1 (de) 2004-09-22 2006-04-06 Eldith Gmbh Vorrichtung und Verfahren zur berührungslosen Bestimmung der Blickrichtung
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
WO2007105792A1 (ja) * 2006-03-15 2007-09-20 Omron Corporation 監視装置および監視方法、制御装置および制御方法、並びにプログラム
TW200907764A (en) * 2007-08-01 2009-02-16 Unique Instr Co Ltd Three-dimensional virtual input and simulation apparatus
US7881901B2 (en) * 2007-09-18 2011-02-01 Gefemer Research Acquisitions, Llc Method and apparatus for holographic user interface communication
JP5293154B2 (ja) * 2008-12-19 2013-09-18 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2010145861A (ja) * 2008-12-19 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
US8806354B1 (en) 2008-12-26 2014-08-12 Avaya Inc. Method and apparatus for implementing an electronic white board
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
WO2011074198A1 (ja) * 2009-12-14 2011-06-23 パナソニック株式会社 ユーザインタフェース装置および入力方法
US8817017B2 (en) 2010-06-01 2014-08-26 Vladimir Vaganov 3D digital painting
US20120257035A1 (en) 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US9330499B2 (en) * 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
US8228315B1 (en) * 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
WO2013144807A1 (en) 2012-03-26 2013-10-03 Primesense Ltd. Enhanced virtual touchpad and touchscreen
EP2847648A4 (en) * 2012-05-09 2016-03-02 Intel Corp EYE PERSONALIZED SELECTIVE STRESSING OF PARTS OF AN INDICATION
JP6007600B2 (ja) * 2012-06-07 2016-10-12 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
JP5953963B2 (ja) * 2012-06-13 2016-07-20 ソニー株式会社 頭部装着型映像表示装置
US9417692B2 (en) 2012-06-29 2016-08-16 Microsoft Technology Licensing, Llc Deep augmented reality tags for mixed reality
US9530232B2 (en) * 2012-09-04 2016-12-27 Qualcomm Incorporated Augmented reality surface segmentation
FR2995120B1 (fr) * 2012-09-05 2015-09-18 Dassault Aviat Systeme et procede de commande de la position d'un objet deplacable sur un dispositif de visualisation
US9977492B2 (en) * 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
US10025379B2 (en) 2012-12-06 2018-07-17 Google Llc Eye tracking wearable devices and methods for use
CN104871525A (zh) * 2012-12-26 2015-08-26 索尼公司 图像处理装置、以及图像处理方法及程序
US8933882B2 (en) 2012-12-31 2015-01-13 Intentive Inc. User centric interface for interaction with visual display that recognizes user intentions
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9547917B2 (en) * 2013-03-14 2017-01-17 Paypay, Inc. Using augmented reality to determine information
US9424467B2 (en) * 2013-03-14 2016-08-23 Disney Enterprises, Inc. Gaze tracking and recognition with image location
WO2014156388A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、通知状態制御方法及びプログラム
US20160054565A1 (en) * 2013-03-29 2016-02-25 Sony Corporation Information processing device, presentation state control method, and program
KR102169012B1 (ko) * 2013-04-18 2020-10-23 삼성디스플레이 주식회사 프로젝터 장착 안경 및 그 제어 방법
US9239460B2 (en) * 2013-05-10 2016-01-19 Microsoft Technology Licensing, Llc Calibration of eye location
US9245388B2 (en) * 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US9710130B2 (en) * 2013-06-12 2017-07-18 Microsoft Technology Licensing, Llc User focus controlled directional user input
US20160139762A1 (en) * 2013-07-01 2016-05-19 Inuitive Ltd. Aligning gaze and pointing directions
US9513702B2 (en) * 2013-07-15 2016-12-06 Lg Electronics Inc. Mobile terminal for vehicular display system with gaze detection
US9652892B2 (en) * 2013-10-29 2017-05-16 Microsoft Technology Licensing, Llc Mixed reality spotlight
US9696798B2 (en) * 2014-04-09 2017-07-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Eye gaze direction indicator
US20150338939A1 (en) * 2014-05-23 2015-11-26 Microsoft Technology Licensing, Llc Ink Modes
US9990774B2 (en) * 2014-08-08 2018-06-05 Sony Interactive Entertainment Inc. Sensory stimulus management in head mounted display
US20160147408A1 (en) * 2014-11-25 2016-05-26 Johnathan Bevis Virtual measurement tool for a wearable visualization device
US10099382B2 (en) * 2015-04-27 2018-10-16 Microsoft Technology Licensing, Llc Mixed environment display of robotic actions
US10007413B2 (en) * 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101069647A (zh) * 2006-05-09 2007-11-14 株式会社东芝 超声波图像取得装置及超声波图像显示方法
CN103827780A (zh) * 2011-07-12 2014-05-28 谷歌公司 用于虚拟输入设备的方法和***
CN103064512A (zh) * 2011-12-07 2013-04-24 微软公司 用虚拟数据使静态打印内容成为动态
US20140210601A1 (en) * 2013-01-30 2014-07-31 Olympus Imaging Corp. Operation apparatus
US20140237366A1 (en) * 2013-02-19 2014-08-21 Adam Poulos Context-aware augmented reality object commands
CN104076512A (zh) * 2013-03-25 2014-10-01 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

Also Published As

Publication number Publication date
EP3311250A1 (en) 2018-04-25
EP3311250B1 (en) 2021-04-28
US20160371886A1 (en) 2016-12-22
US9898865B2 (en) 2018-02-20
WO2016209606A1 (en) 2016-12-29
CN107810465B (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN107810465A (zh) 用于产生绘制表面的***和方法
CN105900041B (zh) 利用视线跟踪进行的目标定位
CN106462233B (zh) 用于显示设备观看者视线吸引的方法和设备
US10222981B2 (en) Holographic keyboard display
US9824499B2 (en) Mixed-reality image capture
EP3311249B1 (en) Three-dimensional user input
KR102473259B1 (ko) 시선 타겟 애플리케이션 런처
US9202313B2 (en) Virtual interaction with image projection
CN105518575B (zh) 与自然用户界面的双手交互
US9465991B2 (en) Determining lens characteristics
US11755122B2 (en) Hand gesture-based emojis
CN110476142A (zh) 虚拟对象用户界面显示
CN108885803A (zh) 物理环境中的虚拟对象操纵
US8988344B2 (en) User interface navigation
US20180150997A1 (en) Interaction between a touch-sensitive device and a mixed-reality device
CN108369449A (zh) 第三方全息门户
EP3881165A1 (en) Virtual content display opportunity in mixed reality
CN107209565A (zh) 固定大小的增强现实对象
CN106575152A (zh) 可对准的用户界面
US10852814B1 (en) Bounding virtual object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant