CN102693005B - 使用3d深度相机和3d投影仪来提供交互式体验 - Google Patents

使用3d深度相机和3d投影仪来提供交互式体验 Download PDF

Info

Publication number
CN102693005B
CN102693005B CN201210037666.5A CN201210037666A CN102693005B CN 102693005 B CN102693005 B CN 102693005B CN 201210037666 A CN201210037666 A CN 201210037666A CN 102693005 B CN102693005 B CN 102693005B
Authority
CN
China
Prior art keywords
virtual objects
user
image
interactive system
physical object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210037666.5A
Other languages
English (en)
Other versions
CN102693005A (zh
Inventor
H·本克
R·J·J·科斯塔
A·D·威尔逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN102693005A publication Critical patent/CN102693005A/zh
Application granted granted Critical
Publication of CN102693005B publication Critical patent/CN102693005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了使用深度相机来捕捉放置在交互式表面上或附近的物理对象的深度图像的交互***。交互***还使用视频相机来捕捉物理对象的视频图像。交互***随后可基于深度图像和视频图像来生成3D虚拟对象。交互***随后使用3D投影仪来将3D虚拟对象以例如与物理对象呈镜像的关系投射回在交互式表面上。用户可随后以任何方式捕捉并操纵3D虚拟对象。此外，用户可基于较小的组件3D虚拟对象来构造复合模型。交互***使用投影纹理技术来将看上去真实的3D虚拟对象呈现在具有任何几何结构的表面上。

Description

使用3D深度相机和3D投影仪来提供交互式体验
技术领域
本发明涉及3D投影技术。
背景技术
研究界已探寻了各种各样的用于创建并与诸如交互式桌面显示器和墙式显示器之类的对象进行交互的替代技术。然而，已知的技术无法在期望的程度上提供富有表现力、真实的以及身临其境感而同时又易于学习和使用的接口。
发明内容
在此描述了一种允许用户创建并与3D虚拟对象交互的交互***。在一个实施方式中，交互***通过捕捉被置于表面上或靠近表面的物理对象的深度图像来操作。例如，物理对象可包括无生命对象、身体部分、或其组合。交互***同时捕捉物理对象的视频图像。交互***随后基于深度图像和视频图像来生成3D虚拟对象。3D虚拟对象是物理对象的虚拟对应物。交互***随后使用3D投影仪(诸如用于生成立体图像的投影仪)来将3D虚拟对象投影在表面上或靠近表面。
根据另一说明性特征，交互***可提供包括例如3D虚拟对象的虚拟场景的实时且动态的呈现。在任何时刻，用户可指示交互***来捕捉物理对象的实例，包括例如无生命对象、身体部分、或其组合。这提供了捕捉的3D虚拟对象。根据另一说明性特征，用户可随后指示交互***来以任何方式操纵虚拟场景的任何部分，例如通过在任意方向上偏移所捕捉的3D虚拟对象、对其进行缩放、和/或对其进行旋转等来操纵所捕捉的3D虚拟对象。
根据另一说明性特征，交互***可通过基于与深度图像相关联的点来标识几何形状来生成3D虚拟对象。交互***随后将从视频图像中获取的纹理应用到该几何形状。这为该几何形状添加了外观。
根据另一说明性特征，交互***可使用投影纹理技术来应用纹理。这一方法可至少考虑以下内容：用户注意的方向；3D投影仪的位置；以及3D虚拟对象将要投影在其上的(如深度图像上所表示的)场景的几何结构。凭借这一技术，交互***可提供(从用户的视角)看上去自然的3D虚拟对象，即使是在诸如用户杯状的手之类的不规则的实际表面上。
根据另一说明性特征，交互***可以与3D虚拟对象的对应的物理对象的镜像关系在表面上或靠近表面呈现3D虚拟对象。这允许用户获取物理对象及其虚拟对应物之间的相关性的理解，而不会干扰物理对象。
根据另一说明性特征，用户可应用交互***来基于3D虚拟对象构建块持续地构造复合模型，而3D虚拟对象构建块最终从一个或多个物理对象导出。
根据另一说明性特征，本地和远程用户可使用各自的交互***来生成并共享3D虚拟对象。在一个实施方式中，在本地位置呈现的物理对象表现为远程位置处的虚拟对象，反之亦然。
根据另一说明性特征，交互***可包含物理模拟器。当触发事件发生时，物理模拟器生成模拟效果并将该模拟效果应用于3D虚拟对象。触发事件对应于用户对3D虚拟对象执行的指示性动作(telltale action)。模拟效果定义了3D虚拟对象响应于触发动作的行为。
上面的方法可以显现在各种类型的***、组件，方法、计算机可读介质、数据结构、产品等等中。
提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在以下具体实施方式中进一步描述。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图说明
图1显示了说明***互***的图示，说明***互***响应于放置在交互式表面上的对应物理对象，在交互式表面上呈现3D虚拟对象。
图2是图1的交互***的一个实施方式的图示。
图3示出了一种使用图1的交互***的方式。
图4-7显示了使用图1的交互***以各种方式已经创建的3D虚拟对象(其中使用实线来图示物理对象，而采用虚线来图示3D虚拟对象)。
图8和9演示了图1的交互***可被用于将3D虚拟对象投影到诸如用户杯状的手之类的不规则的实际表面上的方式。
图10是可被投影到交互式表面上以实现图9的3D虚拟对象的视角经调整的图像的图示(图9中是从用户的立场所观看的)。
图11显示了包含两个交互***的说明性环境，第一个交互***由本地用户使用，而第二个交互***由远程用户使用。
图12和13示出了图11中所示的环境的操作的两个说明性模式。
图14显示了用于从用户的角度使用图1的交互***的说明性过程。
图15示出用于设置图1的交互***的说明性过程。
图16示出了用于使用图1的交互***生成3D虚拟对象的说明性过程。
图17示出了正与交互式表面交互的用户的图示。该图是用来说明交互***可确定用户的注意方向的方式的载体。
图18显示了用于响应于用户的指令来捕捉并操纵所捕捉的3D虚拟对象的说明性过程。
图19示出了用于应用投影纹理技术的说明性过程。
图20示出了用于生成3D虚拟对象并在本地用户与远程用户之间共享3D虚拟对象的说明性过程。
图21示出了用于响应于用户对3D虚拟对象所执行的触发事件来生成模拟效果的说明性过程。
图22是模拟的变形效果的演示。
图23示出了可以用来实现前面的附图中所示出的特征的任何方面的说明性处理功能。
贯穿本公开和附图使用相同的附图标记来引用相同的组件和特征。100系列标号指的是最初在图1中找到的特征，200系列标号指的是最初在图2中找到的特征，300系列标号指的是最初在图3中找到的特征，以此类推。
具体实施方式
本发明是按如下方式来组织的。章节A描述了用于允许用户生成3D虚拟对象并与之交互的说明***互***。章节B描述了解释章节A的交互***的操作的说明性方法。章节C描述了可以被用来实现章节A和B中所描述的特征的任何方面的说明性处理功能。
作为正文前的图文，一些附图是在一个或多个结构组件(不同地称为功能、模块、特征、元件等等)的上下文中来描述概念的。附图所示出的各种组件可以通过任何物理的并且有形的机制以任何方式来实现(例如，通过软件、硬件、固件等等，和/或其任何组合)。在一种情况下，附图中所示出的将各种组件分离为不同的单元可以反映在实际实现中使用对应的不同的物理和有形的组件。可另选地，或者另外，附图中所示出的任何单个组件都可以通过多个实际物理组件来实现。另选地或另外地，附图中的任何两个或更多分开组件的描绘可以反映单个实际物理组件所执行的不同功能。进而要讨论的图23提供了关于附图中示出的功能的一个说明性物理实现的附加细节。
其他附图以流程图形式描述了概念。以此形式，某些操作被描述为构成以某一顺序执行的不同的框。这样的实现是说明性的而非限制性的。此处描述的某些框可被分组在一起并在单个操作中执行，某些框可被分成多个组成框，并且某些框可以按与此处所示出的不同的次序来执行(包括以并行方式执行这些框)。流程图所示出的框可以通过任何物理和有形的机制以任何方式来实现(例如，通过软件、硬件、固件等等，和/或其任何组合)。
至于术语，短语“被配置成”包含任何类型的物理和有形的功能可以被构建来执行已标识的操作的任何方式。功能可以被配置成使用，例如，软件、硬件、固件、等等和/或其任何组合来执行操作。
术语“逻辑”包含用于执行任务的任何物理和有形的功能。例如，流程图中示出的每一个操作都对应于用于执行该操作的逻辑组件。操作可以使用，例如，软件、硬件、固件、等等和/或其任何组合来执行。在由计算***实现时，逻辑组件表示作为计算***的物理部分的、无论如何实现的电子组件。
下列的说明可以将一个或多个特征标识为“可选”。这种陈述不应该被解释为可以被视为可选的特征的穷尽的说明；也就是说，其他特征也可以被视为可选，虽然在文本中没有显式地标识。类似地，说明可以指出一个或多个特征可以以复数实现(即，通过提供一个以上的特征)。这种陈述不应该被解释为可以重复的特征的详尽的说明。最后，术语“示例性”或“说明性”指的是可能多个实现中的一个实现。
A.说明***换***
图1显示了用于将3D虚拟对象投影到交互式表面102上的说明***互***100。交互***100基于一个或多个物理对象生成3D虚拟对象，物理对象还被放置在交互式表面102上，物理对象包括任何无生命对象和/或任何身体部分。本章节呈现可实现上述操作的说明性组件的解释。
在一个示例中，交互式表面102包括任何尺寸和形状的桌面。在其它示例中，交互式表面102包括地板表面、墙表面等。在一个示例中，交互式表面102具有平整表面。而在其它示例中，交互式表面102可具有诸如球面之类的非平坦表面。另外，如在以下将详细阐明的，交互***100可将3D对象投影在被呈现在任何表面之上的不规则形状的对象上。
用户可将物理对象放置在交互式表面102上。此外，交互***100可将3D虚拟对象投影在交互式表面102上。术语“在……上”在本说明书中可以自由地理解为包括用户仅将物理对象放置在靠近交互式表面102的情况，以及交互***100将3D虚拟对象放置在靠近交互式表面102的情况。
更一般来说，交互式表面102(或简称“表面”)指的是用户可在其上(或其周围)放置物理对象和/或执行其它工作的任何表面。交互式表面102还指交互***100在其上(或其周围)投影3D虚拟对象和/或其它信息的任何表面。交互式表面102可包括多个组件表面，多个组件表面可随环境而改变；而且不同的用户场景和应用可致使交互***100在不同组件表面上显示内容。为了举出一个示例(在下文中将更详细地描述)，交互***100可将3D虚拟对象投影在用户的手上。虽然用户可感知3D虚拟对象就像停留在他或她手中的单个实体一样，然而为了创造这一幻想，交互***100可实际上将各图像部分投影在用户的手上、手下的桌面上、以及甚至是房间的其它部分上，诸如地板或墙上。-{}-在这一场合，所有这些表面组件包括交互式表面102的一部分。然而，为了便于引用，以下的描述将最常假设交互式表面102包括从表面延伸的经定义的工作空间。
交互***100包括与交互式表面102交互的设备的集合。例如，交互***100包括照明源104，该照明源104将任何波长的辐射(诸如红外辐射或近红外辐射)投影到交互式表面102的表面。例如，照明源104可将规则或随机的点阵列或其它图案投影到交互式表面102上。虽然图1中只示出了一个照明源104，但是交互***100可包括两个或更多这样的源。
深度相机106接收(由照明源104发射的)从交互式表面102反射的或以其它方式照亮交互式表面102的辐射。深度相机106处理所接收到的辐射来提供深度图像。深度图像反映了交互式表面102的不同部分(以及交互式表面102上放置的对象)离深度相机106的距离。这些距离进而可随后被用于推断放置在交互式表面102上的物理对象的形状。深度相机106可使用任何技术来生成深度图像，诸如众所周知的飞行时间技术、结构化光技术(structured light technique)等。在结构化光技术中，照明源104将点阵列或其它形状投影到表面上；这些形状撞击表面的方式揭示了有关该表面(及其上放置的对象)的深度信息。虽然图1中只示出了一个深度相机106，但是交互***100可包括两个或更多这样的相机。使用额外的深度相机允许交互***100生成放置在交互式表面102上的物理对象的几何结构更完整的表示。使用单个照明源104和相关联的单个深度相机106，交互***100可形成仅对物理对象中面向单个深度相机106的部分的表示。
视频相机108捕捉交互式表面102(及其上放置的对象)的视频图像。例如，视频相机108可形成放置在交互式表面102上的对象的红-绿-蓝(RGB)表示。虽然图1中只示出了一个视频相机108，但是交互***100可包括两个或更多这样的相机。
在一个示例中，交互***100可提供不同的且分开的组件来实现照明源104、深度相机106、以及视频相机108。在另一示例中，可采用整合成像单元110来提供全部的这三个组件。在一个示例中，交互***100可使用KinectTM控制器来实现整合成像单元110。KinectTM控制器是由华盛顿州雷蒙德市的微软公司所制造的。
3D投影仪(以下仅称为“投影仪”)112将3D虚拟对象投影在交互式表面102上。投影仪112可使用任何合适的技术来实现，诸如但不限于得克萨斯州圆石市的戴尔公司制造的戴尔1610HD投影仪。在一个实施方式中，投影仪112被配置成投影3D虚拟对象的立体表示。这涉及生成和投影用于左眼的左图像和用于右眼的右图像，例如，以由帧率限定的快速交替模式。左图像被相对于右图像轻微地偏移。虽然图1中只示出了一个投影仪112，但是交互***100可包括两个或更多这样的投影仪。在另一示例中，3D投影仪112可包括将3D虚拟对象的全息表示投影到例如全息屏幕上的投影仪。但是为了方便说明，在剩余的说明书中，将假设3D投影仪112提供3D虚拟对象的立体表示。
如以下将更详细阐述的，投影仪112可以与3D虚拟对象的对应的物理对象的镜像关系来将3D虚拟对象呈现在交互式表面102上，而物理对象仍可留在交互式表面102上。出于以下将阐述的理由，3D虚拟对象的这一放置是有益的。
3D查看设备114允许用户查看由投影仪112投影在交互式表面102上的立体图像。例如，在一个实施方式中，3D查看设备114可被实现为立体快门眼镜、偏振眼镜、立体(例如，红-蓝)眼镜等等。在某些示例中，3D查看设备114可与投影仪112的帧率同步(如图1中连接3D查看设备114和投影仪112的虚线所指示的)，例如使用数字光处理(DLP)链接技术等。
控制输入设备116允许用户指示交互***100对3D虚拟对象执行各种动作。例如，假设交互式表面102显示单个物理对象和对应的3D虚拟对象。在动态操作模式中，交互***100在交互式表面102上提供实时且动态的3D虚拟对象表示。这意味着，当用户移动物理对象，其镜像的3D虚拟对象将以对应的方式改变。假设现在用户想要形成物理对象在特定时间点的静态快照，这产生捕捉的3D虚拟对象。为此，用户可使用控制输入设备116来启动捕捉命令。顺着静态的捕捉的3D虚拟对象，交互***100可继续投影3D虚拟对象的实时且动态的表示。控制输入设备116还可包括“撤销”命令，这允许用户有效地移除(例如，删除)在紧靠的前一捕捉操作中所捕捉的任何3D虚拟对象。
在一个示例中，当用户启动捕捉命令时，交互***100可指示投影仪112瞬间停止投影图像。这使得交互***100能够在不受投影仪112所投影的图像干扰的情况下捕捉物理对象的快照。
控制输入设备116还允许用户输入各种命令来移除任何所捕捉的3D虚拟对象。例如，用户可与控制输入设备116交互以在X、Y和Z轴中的任意一个上平移3D虚拟对象，和/或绕着任何指定的轴旋转3D虚拟对象。另外，用户可与控制输入设备116交互来改变3D虚拟对象的尺寸(比例)或3D虚拟对象的任何其它属性(诸如，其颜色、透明程度等)。
以上标识的命令是代表性的，而不是穷尽性的。控制输入设备116可提供用于以任何其它方式操纵3D虚拟对象的指令。例如，用户可使用控制输入设备116来指示交互***100裁剪所捕捉的3D场景以分离出3D场景中的组件对象、复制所捕捉的3D虚拟对象等。用户还可将任何3D虚拟对象(包括复合3D虚拟对象)存储在长期档案库中。这允许用户在以后的交互式会话中检索这些对象供投影。
在一个示例中，控制输入设备116可被实施为键输入设备。在这一示例中，控制输入设备116可将不同命令映射到不同的各个键。可选地，或另外地，控制输入设备116可被实施为任何图形用户界面呈现。例如，图形用户界面呈现可呈现3D虚拟对象的骨架图示。用户可使用鼠标设备来拖曳3D虚拟对象的骨架图示，例如通过平移以及旋转它，以导致投影在交互式表面102上的3D虚拟对象的相应移动。可选地，或另外地，控制输入设备116可用感测交互式表面102上或附近的触摸接触或姿势的功能来实现。例如，该功能可检测用一根或多根手指在交互式表面102上做出的接触、用手做出的可表达手势等。功能可将这些感测到的接触和姿势映射到控制3D虚拟对象和/或交互式***100的其它部分(诸如交互***100所使用的相机中的任何一个)的各种命令。
处理模块118与以上提到的所有***设备交互并执行各种类型的处理。处理模块118可由在单个位置提供或分布在多个位置的、一个或多个计算机设备以及相关联的数据存储来实现。
处理模块118的主处理引擎是场景生成模块120(为了便于引用，以下简称为“生成模块”)。在每个示例中，生成模块120接收来自深度相机106的深度图像和来自视频相机108的视频图像。基于这一信息，生成模块120生成3D虚拟对象。章节B提供了关于生成模块120执行这一功能的方式的额外信息。生成模块120随后指示投影仪112投影3D虚拟对象。生成模块120还接收并响应于来自控制输入设备116的指令，例如通过捕捉3D虚拟对象、释放之前捕捉的3D虚拟对象、移动3D虚拟对象等等。
校准模块122执行各种用来配置交互***100的设置任务。例如，用户可与校准模块122交互来将深度相机106和视频相机108校准到一个公共的参考帧。参考帧可对应于与交互式表面102相关联的真实世界坐标***。相应地，例如，一旦校准后，深度图像所传递的距离对应于真实世界的实际距离。校准模块122可随后将投影仪112校准到相同的公共参考帧。章节B提供关于校准模块122的操作的额外信息。
最后，交互***100可包括可选的物理模拟器124。物理模拟器124存储描述用户可对3D虚拟对象执行的各种指示性动作(即姿势)的特征的模式(诸如撕扯动作、击打动作、挤压动作、抓取和移动动作等等)。物理模拟器124还将这些动作映射到各个模拟效果。在运作中，物理模拟器124可分析用户在任何给定时间正对3D虚拟对象执行的移动。如果确定用户正执行指示性动作中的一个，则物理模拟器可与生成模块120交互以将对应的模拟效果应用于3D虚拟对象。模拟效果定义了3D虚拟对象响应于用户的触发动作的行为。用户随后观察被投影在交互式表面102上的所得到的经修改的3D虚拟对象中的模拟效果。
在一些示例中，物理模拟器124可应用根据物理定律来建模的模拟效果。这些效果使得3D虚拟对象以与物理对象相同的方式来表现。另外地，或另选地，物理模拟器124可应用采用非现实动力学的模拟效果，以提供例如可能对于游戏环境而言合适的夸张或幻想的效果。
物理模拟器124可至少部分依赖于已知的模拟算法来以现实或非现实的方式操纵3D虚拟对象，已知的模拟算法包括考虑刚体动力学、柔体动力学等的模型。关于物理模拟的背景技术信息可在例如以下内容中找到：PALMER Grant所著的《游戏程序员的物理学》(Physics for Game Programmers)，第一版，Apress出版社，2005年；EBERLY David H.所著的《游戏物理学》(Game Physics)，Morgan Kaufmann出版社，2010年；VAN DEN BERGEN Gino所著的《游戏物理宝典》(Game Physics Pearls)，A.K.Peters公司出版，2010年；ERICSONChrister所著的《实时碰撞检测》(Real-Time Collision Detection)，Morgan Kaufmann出版社，2005年；WILSON等所著的《将物理学带到表面》(Bringing Physics to theSurface)，刊载在《关于用户界面软件和技术的第21届年度ACM研讨会论文集》(Proceedings of the 21st Annual ACM Symposium on User Interface Software andTechnology)，2008年，第67-76页；WILSON Andrew A所著的《在成像交互式表面上模拟抓取行为》(Simulating Grasping Behavior on an Imaging Interactive Surface)，刊载在《关于交互式桌面和表面的ACM国际会议论文集》(Proceedings of the ACMInternational Conference on Interactive Tabletops and Surfaces)，2009年，第125-132页；HILLIGES等所著的《无线交互：向交互式桌面添加进一步的深度》(Interactions inthe Air：Adding Further Depth to Interactive Tabletops)，刊载在《关于用户界面软件和技术的第22届年度ACM研讨会论文集》(Proceedings of the 22nd Annual ACMSymposium on User interface Software and Technology)，2009年，第139-148页，等等。已知的物理模拟器包括加利福尼亚州的圣克拉拉市的Nvidia公司提供的PhysX；爱尔兰都柏林的Havok提供的Havok物理学；Julio Jerez和Alain Suero制作的牛顿游戏动力学(Newton Game Dynamics)，等等。
例如，物理模拟器124可确定用户已用他或她的手指以一定的所感知的力戳向3D虚拟对象(例如，基于用户将他或她的手指施加于3D虚拟对象的速度)。基于牛顿力学原理，物理模拟器124可将与这一力成比例的移动应用到3D虚拟对象。如果用户将该力施加到3D虚拟对象的角落，则物理模拟器124可将旋转运动施加到3D虚拟对象。经建模的摩擦力的量将最终使3D虚拟对象静止。如果3D虚拟对象是柔体而不是硬体，物理模拟器124可将形变施加到3D虚拟对象，该形变与施加于其上的力的量成比例。如果用户用拇指和手指向3D虚拟对象施加捏合手势，物理模拟器124将假设用户想要抓取该3D虚拟对象，等等。章节B提供关于物理模拟器124的操作的额外信息。
虽然没有示出，但除了使用投影仪112或取而代之地，交互***100可将3D虚拟对象以图形形式呈现在诸如计算机监视器之类的显示设备上。显示设备可位于交互式表面102之上或靠近交互式表面102以模拟3D虚拟对象在交互式表面102自身上投影的效果。用户可使用3D查看设备114来查看显示设备上的立体内容，例如使用快门式眼镜或诸如此类。或者，显示设备可包括全息屏幕或诸如此类。
前进到图2，该图显示了图1的交互***的一个特定实现。在一个示例中，交互式表面102具有包括桌面式表面。此处所示出的表面是平整的，然而如上所述，平面可以具有任何轮廓。图2还示出了交互式表面102上方通常延伸出一定距离的工作空间202。工作空间202定义了一个区域，在该区域中，用户可将物理对象放置在交互式表面102上或在其附近，并且投影仪112可在该区域上呈现对应的3D虚拟对象。然而，如上所述，对于一些应用和场合，工作空间202可被延伸以包括房间或其它环境内的其它表面部分。
更具体地，在图2的示例中，分界线204划分出交互式表面102的第一部分和第二部分。第一部分是一般专用于接收由用户放置在其中的物理对象的区域，诸如说明性的物理立方体206。第二部分是一般致力于接收由投影仪112投影在其中的3D虚拟对象(诸如说明性的3D虚拟对象208)的区域。说明性的3D虚拟对象208是物理立方体206的虚拟对应物。注意3D虚拟对象208具有两个分量图像(210、212)，分别对应于用于左眼和右眼的左图像和右图像。
在一个实现中，交互***100投影出3D虚拟对象使得它们与它们对应的物理对象的放置成镜像。例如，3D虚拟对象208被放置在交互式表面102上邻近物理立方体206，其中分界线204在两者之间。这一放置方法是有利的，因为这防止了3D虚拟对象干扰用户与物理对象的交互。此外，这一方法容易地将物理对象和它们的虚拟对应物之间的关系传达出来。
然而，交互***100可适应其它放置策略。在另一种方法中，交互***100可允许用户将物理对象放置在分界线204上方的区域中，在该区域中，交互***100也放置3D虚拟对象。另外地，或另选地，交互***100可将3D虚拟对象呈现在分界线204的下方的区域中，用户通常在该区域中执行他或她的工作。
在图2的实现中，交互***100将投影仪112直接放在交互式表面102上方。此外，交互***100将整合成像单元110放置成与交互式表面102成约45度角。如上所述的，整合成像单元110可通过KinectTM控制器来实现，并且包括照明源104、深度相机106和视频相机108。如果交互***100合并两个或更多整合成像单元(未示出)，处理模块118可执行适当的处理来合成这些单元所产生的图像以产生整合的图像。这些整合的图像能够可能地捕捉放置在交互式表面102上的物理对象的全部可见侧面。
用户坐在交互式表面102的一侧，从一个角度向下看着交互式表面102。用户佩戴着3D查看设备114，诸如快门式眼镜，以查看由投影仪112投影在交互式表面102上的立体内容。
图3显示了图2中所示的交互***100的使用方式的又一种更现实的图示。如所提到的，用户坐在交互式表面102的一侧，佩戴着3D查看设备114。用户正在使用他的左手302将物理立方体206放置在分界线204以下的想要的位置和定向的过程中。交互***100以与物理立方体206呈镜像关系在分界线204的相对侧显示3D虚拟对象208。在这一示例中，3D虚拟对象208的一部分对应于用户的左手302，因为用户还没有放开物理立方体206。在此时，交互***100可呈现对应于用户的右手306的另一3D虚拟对象304。
图3从与用户自身的视角不同的有利位置图示了3D虚拟对象(208、304)。从这一非用户视角，可能难以明了的搞清楚3D虚拟对象(208、304)。与之相反，从用户自身角度，3D虚拟对象看上去是放置在交互式表面102上的物理对象的可靠副本。
虽然没有示出，交互***100还可将其它类型的虚拟对象投影在交互式表面102上，诸如任何类型的计算机生成的模型。也就是说，这些虚拟对象可能不是起源自由用户放置在交互式表面102上的物理对象，至少在当前的交互式会话中不是这样。
在某一时刻，用户可决定从物理立方体205放开他的右手302，并且将全部的身体部分(以及其它的无关对象)从相机(106，108)的捕捉视野中移开。随后用户可激活控制输入设备116上的捕捉命令。这导致交互***100捕捉物理立方体206的对应3D虚拟对象，而不存在用户的右手302和其它不想要的对象。更具体地，图4从用户的视角显示了物理立方体206及其对应的3D虚拟对象402的图示。
在捕捉之后，用户可与控制输入设备116交互以便以任何方式操纵3D虚拟对象402。假设用户输入命令来将3D虚拟对象402旋转90度。这产生了图5中所示的3D虚拟对像402’。用户可实现相同效果的另一种方法是通过将物理立方体206旋转90度，随后再一次启动捕捉命令。这再一次产生了图6中所示的3D虚拟对象402’。
用户还可使用控制输入设备116来构成聚合各组件3D虚拟对象的复合模型，本质上将各组件3D虚拟对象当成构建块。例如，假设用户想要将图5或图6中创建的水平的3D虚拟对象402’放置在图4中创建的垂直的3D虚拟对象402之上。为了这么做，用户可使用控制输入设备116来将水平的3D虚拟对象402’提起并将其放在虚拟3D对象402之上。这一效果在图7中示出。这一类型的连续捕捉和操纵可被用于创建任何复杂度的复合模型。以上所描述的交互式体验在对用户来说容易理解和使用的范围内是用户友好的。这是因为交互式***100为用户提供了一种将新的“构建块”引入虚拟领域的便捷的手段。此外，一经被创建，交互***100提供易于理解且直接的用于操纵这些构建块图元来构造任何复杂度的复合模型的技术。
在以上的示例中，用户应用控制输入设备116来操纵3D虚拟对象。另外地，或另选地，用户可使用他或她的手(和/或任何类型的工具)来直接操纵3D虚拟对象，就像它们是真实的物理对象一样。例如，用户可物理地“抓取”一个3D虚拟对象并将其放在另一3D虚拟对象上。在章节B中给出更多关于这一操作模式的信息。
在以上的全部示例中，交互***100已将3D虚拟对象显示在平整的交互式表面102、或其它3D虚拟对象之上(如图7所示)。另外，交互***100可在非规则表面上显示3D虚拟对象。例如，考虑图8和9中显示的情景。在此，用户指示交互***100在他或她的杯状的手802中显示3D虚拟对象902。交互***100通过如章节B中给出的投影纹理技术来实现这一效果。作为这一技术的结果，用户将感知到3D虚拟对象902，就像它实际位于他或她张开的手中一样。但为了产生这一光学幻像，交互***100可实际产生并投影图像，该图像与物理对象几乎不具有可辨别的相似性(当从用户视角以外的任何视角来考虑时)。例如，图像可能具有不接合的部分。例如，如图10中所示，交互***100可在用户的手上显示3D虚拟对象902的底部1002，而在任何其它表面上显示3D虚拟对象902的顶部1004。
前进至图11，此图显示了环境1100，其中本地用户(用户X)运行本地交互***1102，而远程用户(用户Y)运行远程交互***1104。每个交互***(1102，1104)可包括图1中所示的整套功能。例如，本地交互***1102包括本地处理模块1106，而远程交互***1104包括远程处理模块1108。通信管道1110连接本地交互***1102和远程交互***1104。通信管道1110可包括任何用于在两个交互***(1102，1104)之间交换信息的机制，诸如局域网、广域网(例如因特网)、点对点连接等等，并通过任何协议或协议的组合来监管。尽管未示出，环境1100可容纳与更多交互***交互的更多用户。此外，图11的环境1100可包括标准视频会议技术，诸如允许用户彼此交互的视听设备。
图11中所示的环境1100可允许本地用户和远程用户出于任何目的生成并共享3D虚拟对象，诸如以协作的方式执行共享任务。环境1100可以不同模式来操作。图12显示了第一操作模式。在该模式中，用户X放置在他的交互式表面1202上的任何物理对象看上去像是用户Y的交互式表面1204上的3D虚拟对象，而用户Y放置在他的交互式表面1204上的任何物理对象看上去像是用户X的交互式表面1202上的3D虚拟对象。例如，用户X已将物理对象1206和1208放置在交互式表面1202上；这些对象看上去像是用户Y的交互式表面1204上的3D虚拟对象1206’和1208’。用户Y已将物理对象1210和1212放置在交互式表面1204上；这些对象看上去像是用户Y的交互式表面1202上的3D虚拟对象1210’和1212’。
图13显示了第二操作模式。在这一模式中，已经由任何用户创建的所有3D虚拟对象向所有用户表现。例如，用户X已将单个物理对象1302放置在他的交互式表面1304上，而用户Y已将单个物理对象1306放置在他的交互式表面1308上。对应的虚拟对象1302’和1306’在两个交互式表面(1304，1308)上都出现。
图12和13中所描述的方法提供了一种方便的机制，通过这一机制，本地用户可将物理对象的形状传送给相距一定距离的远程用户，反之亦然。另外，任何用户可以任何方式操纵3D虚拟对象(例如，通过旋转它)，从而产生可被其它用户所观察到的适当的移动。在另一种操作方式中，任何用户可生成身体部分(诸如手或脸)的3D虚拟表示，并且随后将该虚拟表示传送给其它用户。例如，用户可生成对应于指向物理对象的手的3D虚拟对象，并随后将该对象传送给其它用户。这具有虚拟的“伸出”以及向其它用户作出可表达姿势的效果。确实，在一个实现中，每个交互***(1102、1104)处的深度相机可形成每个用户的表示，诸如每个用户的上部躯干。环境1100可随后将每个表示传输给其它用户，例如，使得用户X看到用户Y的栩栩如生的表示，反之亦然。
以上所描述的各实现和各应用是代表性的，而不是穷尽性的。交互***100可以其它方式来实现和使用。
B.说明性过程
图14-22示出了进一步解释图1的交互***100的一种操作方式的过程及相应示例。由于在章节A已经描述了构成交互***100的一些部分的操作的基础的原理，在此章节以概述的方式说明某些操作。
从图14开始，该图是从用户的视角表示图1的交互***100的一种操作方式的概述的过程1400。在框1402，用户将物理对象放置在交互式表面102上，诸如无生命对象、身体部分、或其组合。这使得交互***100生成并投影对应的3D虚拟对象的实时呈现。在框1404，假定用户在某一时刻指示交互***100捕捉物理对象。这使得交互***100产生捕捉的3D虚拟对象，该虚拟对象与进行中的动态呈现一起出现在交互式表面102上。在框1406，假设用户接下来决定操纵被呈现在交互式表面上的任何经捕捉的3D虚拟对象，包括刚刚被捕捉的3D虚拟对象。交互***100通过以想要的方式操纵3D虚拟对象来作出响应。图14中的循环指示用户可重复框1402-1406中的操作任意次数，以从各个3D虚拟对象构建块中构造复合模型。
图15显示用于设置交互式***100的一种可能的过程1500。为了开始，在框1504和1506中，用户使用任何校准技术来校准图1的深度相机106、视频相机108、以及投影仪112，诸如发明人在不同上下文中描述的技术，即Andrew Wilson等所著的“组合多个深度相机和投影仪用于表面上、上方以及之间的交互”(Combining Multiple Depth Cameras andProjectors for Interactions On，Above and Between Surfaces)，刊载在《关于用户界面软件和技术的第22届年度ACM研讨会论文集》(Proceedings of the 23nd Annual ACMSymposium on User interface Software and Technology)，第273-282页。
即，在框1502，用户首先与校准模块122交互以校准深度相机106(或多个深度相机，如果采用了)。在一种方法中，用户可通过将具有已知的真实世界位置的反射性参考点放置在交互式表面102上的各种位置来执行这一任务。用户可随后使用交互***100来创建交互式表面102的深度图像。深度图像将包括参考点的表示。随后校准模块122可确定深度相机106和每个参考点之间的距离。进而，校准可使用这一距离信息来导出深度相机106的位置和定向。这进而允许交互***100随后将深度图像中的位置信息转换成交互式表面102的真实世界参考帧。可以类似于交互式表面102的相同的真实世界坐标系的方式来校准视频相机108。
在框1504，用户与校准模块122交互来校准投影仪112。在一个方法中，用户可通过在位于深度相机106和视频相机108的视野内、并且在投影仪112的投影视野内的对应的非共面校准位置处添加反射性参考点来执行这一任务。校准模块122可使用对这一场景所拍摄的图像(包含参考点)以及所得到的该场景在交互式表面102上的投影来确定投影仪112的位置和定向。框1502和1504中所执行的校准的最终结果是深度相机106、视频相机108以及投影仪112将被校准到同一真实世界参考帧。
在框1506，交互***100捕捉交互式表面102的背景深度图像，在交互式表面102上或附近没有放置任何对象(或用户身体部分)，使得这类对象不会出现在相机(106，108)的捕捉视野内。交互***100稍后使用背景图像来减去交互式表面102的静态背景部分，剩下用户已放置在交互式表面102上的物理对象的表示。
图16显示(图1)的生成模块120根据深度图像和视频图像生成3D虚拟对象的过程1600。为了便于解释，将假设用户已将单个物理对象放置在交互式表面102上，这将提示生成模块120生成单个3D虚拟对象。在框1602中，生成模块120捕捉物理对象的深度图像，并任选地(基于图15中所执行的校准)将包含在其中的位置信息转换成交互式表面102的真实世界坐标系。在框1604中，生成模块120捕捉物理对象的视频图像，并任选地将包含在其中的位置信息转换成交互式表面102的真实世界坐标系。尽管图16显示框1602和1604是按顺序执行的，但这些操作可同时执行。
在框1606-1610中，生成模块120开始对深度图进行操作。作为开始，在框1606，生成模块120从深度图像中减去(图15的框1506中生成的)背景图像。这具有从深度图像中去除无关背景内容的效果，由此在交互式表面102上强调物理对象。生成模块120还可去除图2中所示的位于工作空间202以外的任何内容，因为这一内容是无意义的。
在框1608，生成模块120将去除了背景的深度图像划分成头部区域和对象区域。这一操作的最终目的是标识(头部区域中)深度图像的可能对应于用户的头部的部分。例如，图17显示了一个示例，其中头部区域对应于区域1702，而对象区域对应于区域1704。头部区域包括用户的手。对象区域包含交互式表面102和放置在交互式表面102上的对象(1706，1708，1710)。
在框1610，生成模块120根据头部区域中的深度信息来评估用户的注意方向。可采用不同技术来实现这一目的。在一个例示中，生成模块120可对头部区域的不同快照求平均，以导出出现在头部区域的质心的大致估计，该质心被假定为对应于用户的头部的中心。在另一例示中，生成模块120可执行模式识别以在深度图像和/或视频图像中检测用户的头部。在另一例示中，生成模块120可基于深度图像和/或视频图像来执行模式识别以确定各个单独的眼睛所注视的方向。用户注意的方向将在投影纹理技术的应用中发挥作用，如以下将描述的。
操作1612基于深度图像的对象区域中所标识的对象(诸如图17中示出的物理对象1708)来构造至少一个3D虚拟对象。一般来说，这一操作需要估计3D虚拟对象的结构。例如，在一个实现中，在框1614中，生成模块120对深度图像中与物理对象相关联的点应用一个网格。从高级别的视角来看，这具有连接深度图像中的点以创建多个三角形的效果。这产生一个网格化的对象。在框1616，生成模块120将从视频图像中获取的纹理应用到所述网格化的对象。这可大致被认为是将视频图像“粘贴”到网格化对象的表面上。图18将提供与可执行这一操作的方式有关的更多细节。但总的来说，这一操作涉及将(与视频纹理相关联的)纹理坐标分配给网格化对象的顶点。
可以其它方式形成3D虚拟对象。例如，在另一技术中，生成模块120可在深度图像中标识几何形状(例如几何结构)，而无需首先形成网格化的对象。例如，几何形状可被表示为深度图像中的点的云。生成模块120可随后将纹理应用到该几何形状。
在另一技术中，生成模块120(或某个其它模块)可基于从深度图像和/或视频图像中获取的信息来识别物理对象。例如，用户可能正使用一组已知的可能的物理对象来构建复合模型。在此，生成模块120可被配置成通过将对象的形状与可能的一组物理对象的形状轮廓作比较来识别用户已放置在交互式表面102上的特定物理对象。在另一例示中，用户可将具有规范形状(诸如立方体、角锥体、球体等)的物理对象放置在交互式表面102上。在此，生成模块120可通过其检测到的规范形状来识别物理对象的性质。另一些其它的技术可被用来检测放置在交互式表面102上的物理对象的性质。在这些例示中的任何一个中，生成模块120可构建物理对象的模型(或检索之前构建的模型)，而不依赖于深度图像中的潜在的噪声深度数据。或者，可与深度数据相结合地使用模型信息。然而，为了继续上述的具体示例，本说明书的余下部分将假设生成模块120形成网格化的对象。
最后，在框1618，交互***100将在之前的框中产生的3D虚拟对象投影在交互式表面102上的与对应的物理对象相对的镜像位置。在一个实现中，为了执行这一操作，生成模块120可为每个投影例示生成两个图像，第一个图像对应于左眼，而第二个图像对应于右眼。在实际中，图像的两个版本是相同的，但是被偏移分开了一个细小的量。
在一个示例中，生成模块120基于放置在交互式表面102上的所有物理对象来形成3D虚拟对象。如所描述的，物理对象可对应于无生命对象(例如，立方体)、用户的身体部分(例如手)、或它们的组合。在一个实现中，这意味着生成模块120将为放置在交互式表面102上的身体部分生成网格化的对象。在一些情形中，交互***100投影所有已被生成的3D虚拟对象供用户查看，包括对应于身体部分的3D虚拟对象。但在其它任选的情形中，生成模块120可移除虚拟场景中对应于身体部分的任何3D虚拟对象(和/或已被评估为无关的任何其它3D虚拟对象)。生成模块120可执行这一操作，例如通过识别虚拟场景中手状的3D虚拟对象的指示性形状并移除该3D虚拟对象。
在另一例示中，生成模块120例如基于上述类型的形状识别来分析原始深度图像以检测可能对应于身体部分的部分。生成模块120可随后放弃对身体部分的3D虚拟对象的创建。换言之，生成模块120可放弃对身体部分的网格化对象的创建。
图18是示出描述生成模块120对经由控制输入设备116所提供的命令作出反应的一种方式的过程1800。在框1802中，生成模块120接收捕捉物理对象的快照的命令。在框1804，生成模块120通过产生所捕捉的3D虚拟对象来响应于该指令。在框1806中，生成模块120接收操纵所捕捉的3D虚拟对象的命令。在框1804，生成模块120通过以所指示的方式(例如，通过对其偏移、旋转等)修改所捕捉的3D虚拟对象来响应于该指令。
图19示出了用于使用投影纹理技术来将视频纹理施加到场景的过程。如施加到常规的图像应用(诸如计算机游戏)一样，关于投影纹理的背景信息在若干个源中可用。例如，该技术被描述在由Mark Segal等所著的《使用纹理映射的快速阴影和光照效果》(FastShadows and Lighting Effects Using Texture Mapping)，刊载在《计算机图像和交互技术的第19届年会论文集》(Proceedings of the 19th Annual Conference on ComputerGraphics and Interactive Techniques)，1992年，第249-252页.还注意到在Frank Luna所著的《用Direct X 9.0c的3D游戏编程介绍：一种着色器方法》(Introduction to 3DGame Programming with Direct X 9.0c：A Shader Approach)，Jones和Bartlett出版社，马塞诸塞州萨德伯里市，2006年，第562-564页，以及Marcus A.Magnor所著的《基于视频的渲染》(Video-based Rendering)，A.K.Peters有限公司，马塞诸塞州韦尔斯利市，2005年，第56-57页。
框1902指示生成模块120获取它用来执行投影纹理技术(例如，按照图16中提出的处理)的信息。这一信息包括从深度图像中获取的、3D虚拟对象将要投影在其上的真实场景的几何结构。在一些示例中，这一场景是平整表面。在其它示例中，这一场景具有不规则几何结构，诸如图8中示出的用户的杯状的手802。另一项信息是将要被投影到该场景上的3D虚拟对象的几何结构，诸如将要呈现在图9中的用户的杯状的手802中的3D虚拟对象902。另一项信息对应于用户注意的方向。这一注意信息以图16和17的上下文中描述的方式已从深度图像的头部区域中提取出。另一项信息对应于投影仪112的位置和定向。
在框1904中，生成模块120从用户的视角创建纹理图像。这一纹理图像包含从用户的视角看到的对象，例如部分基于用户的头部位置。在框1906，生成模块从投影仪112的视角重新渲染(框1904中所提供的)纹理图像，例如，通过将在框1904中获取的用户视角的纹理图像看作投影仪112在真实场景中将要投影的图像。这产生视角经调整的图像形式的3D虚拟对象的表示。图10示出了呈现在用户的手上(对于一些部分)以及交互式表面102上(对于其它部分)的这一视角经调整的图像。从用户之外的任何人的视角，该视角经调整的图像可能不是有意义的。但从用户的视角，该视角经调整的图像创建了图9中所示的3D虚拟对象902的外观。以上述方法，生成模块120以一种新颖的方式将投影纹理技术应用于混合环境，其中至少一些3D虚拟对象是从物理对象导出的，并且其中3D虚拟对象被投影到物理环境中。
图19中示出的过程在动态的基础上进行重复。这使得生成模块120能够动态地响应于用户头部位置的改变、用于接收3D虚拟对象的场景的改变、物理对象的改变、和/或其它改变。从用户的视角，3D虚拟对象在所有这些改变中保持其视觉完整性。
图20示出两个或更多参与者(本地用户和远程用户)可使用图1的技术来在协作式环境中在一定距离上共享3D虚拟对象的过程2000。在框2002，本地交互***(***X)基于呈现在本地位置处的至少一个物理对象(任选地包括身体部分)来生成至少一个虚拟对象。在框2004，远程交互***(***Y)基于呈现在远程位置处的至少一个物理对象(任选地包括身体部分)来生成至少一个虚拟对象。
在框2006，环境可将对应的3D虚拟对象呈现给本地用户和远程用户。对于不同操作模式，这一功能可以不同方式来实现。在第一模式，表现给本地用户的3D虚拟对象对应于呈现在远程位置处的物理对象，反之亦然。在第二模式中，表现给每个用户的虚拟对象对应于同时呈现在本地和远程位置处的物理对象。
图21示出描述将模拟效果应用于3D虚拟对象的一种方式的过程2100。在框2102，生成模块120可以上述方式(例如，参考图16)生成虚拟场景。该虚拟场景可包括引起一个或多个其它对象(“目标对象”)中的改变的一个或多个对象(“操纵对象”)。在下文中，假设只有一个操纵对象对单个目标对象起作用。例如，操纵对象可对应于用户的手(或其它身体部分)和/或由用户操纵的工具等等。操纵对象可被表示为3D虚拟对象、原始深度信息、或其它信息。目标对象可对应于3D虚拟对象。目标对象可源于之前捕捉的物理对象。另外地，或另选地，目标对象可不具有物理对应物；例如，生成模块120可基于所存储的模块来生成目标对象。
在框2104中，物理模拟器124检查操纵对象(如用户所控制的)与目标对象交互的方式。基于这一分析，物理模拟器124确定用户是否执行了(或正执行)对应于指示性诱导效果动作。即，这一动作是将调用对应的模拟效果的生成和应用的动作。在一个示例中，物理模拟器124可通过将关于用户动作的信息与描述数据存储2106中所提供的指示性动作的模式库进行比较来执行这一操作。代表性的指示性动作可包括抓取和移动动作、击打或戳的动作、扭转动作、弯曲动作、挤压动作、剪切动作、投掷动作、轻拂动作、撕扯动作等等。另外，或另选地，用户还可明确告知物理模拟器他或她将要执行什么类型的动作。
在框2108，如果检测到了这一指示性动作，物理模拟器124生成合适的模拟效果，并将该效果应用于目标对象。再者，模拟效果可取决于已被执行的相应动作而变化。对于击打动作，物理模拟器124使目标对象发生形变(例如，为了模拟在对应的物理对象中的凹陷)。对于剪切动作，物理模拟器124可将目标对象分割成两部分。对于抓取和移动动作，物理模拟器124以合适的方式移动目标对象。如章节A中所述，在框2108中，物理模拟器124可依靠任何模拟算法来执行操作。当效果被应用后，生成模块120指示投影仪112将所得到的经修改的目标对象投影在交互式表面102上，其中使效果对用户可见。
图22显示交互***100可应用的模拟效果的一个示例。在这一示例中，用户通过挤压虚拟变形的瓶子来执行指示性姿势。在此，对应于用户的手的3D虚拟对象构成了操纵对象；对应于瓶子的3D虚拟对象代表了目标对象。响应于检测这一指示性动作，物理模拟器124可以图22所指示的方式使虚拟瓶子的侧面发生形变。这是与用户可预期的当挤压真实的可变形的瓶子时将实现的物理反应成镜像的物理效果。但物理模拟器124还可应用非真实的、幻想的效果。
C.代表性处理功能
图23阐明可被用于实现上述功能的任何方面的说明性电子数据处理功能2300(在此也称为计算功能)。例如，处理功能2300可被用于实现图1的交互***100的任何方面，诸如处理模块118。在一种情况下，处理功能2300可对应于包括一个或多个处理设备的任何类型的计算设备。在任何情况下，电子数据处理功能2300都表示一个或多个物理和有形的处理机制。
处理功能2300可包括诸如RAM 2302和ROM 2304之类的易失性和非易失性存储器，以及一个或多个处理设备2306(例如，一个或多个CPU，和/或一个或多个GPU等等)。处理功能2300还可任选地包括各种媒体设备2308，诸如硬盘模块、光盘模块等。处理功能2300可在处理设备2306执行由存储器(例如RAM 2302、ROM 2304或其它)维护的指令时执行以上所标识的各种操作。
更一般地，指令和其它信息可以存储在任何计算机可读介质2310上，计算机可读介质包括但不限于静态存储器存储设备、磁存储设备、光存储设备等。术语计算机可读介质还涵盖多个存储设备。在任何情况下，计算机可读介质2310都表示某种形式的物理和有形的实体。
处理功能2300还包括用于接收各种输入(通过输入模块2314)，以及用于提供各种输出(通过输出模块)的输入/输出模块2312。一个特定输出机制可包括呈现模块2316及相关联的图形用户界面(GUI)2318。处理功能2300还可包括用于经由一个或多个通信管道2322与其它设备交换数据的一个或多个网络接口2320。一条或多条通信总线2324将上述组件通信地耦合在一起。
通信管道2322可以以任何方式来实现，例如，通过局域网、广域网(例如，因特网)等等，或其任何组合。通信管道2322可包括可由任何协议或协议的组合管理的硬连线的链路、无线链路、路由器、网关功能、名称服务器等等的任何组合。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种用于使用交互***(100)向用户提供交互式体验的方法(1600)，包括：
使用深度相机捕捉(1602)放置在表面(102)上或附近的物理对象的深度图像，所述深度图像包括关于所述物理对象的不同部分离所述深度相机的距离的信息；
使用视频相机捕捉(1604)所述物理对象的视频图像，所述深度相机不是所述视频相机，并且其中所述视频图像与所述深度图像同时被捕捉；
基于所述深度图像和所述视频图像生成(1612)作为所述物理对象的对应物的3D虚拟对象；以及
使用3D投影仪将所述3D虚拟对象投影(618)在所述表面(102)上或附近。
2.如权利要求1所述的方法，其特征在于，还包括，在生成所述3D虚拟对象之前：
将所述深度图像划分成头部区域和对象区域；以及
基于所述头部区域估计所述用户的注意方向。
3.如权利要求1所述的方法，其特征在于，所述3D虚拟对象的生成涉及：
基于与所述深度图像相关联的点来标识几何形状；以及
将从视频图像中获取的纹理应用于几何形状以将外观添加到所述几何形状。
4.如权利要求1所述的方法，其特征在于，所述3D虚拟对象的生成涉及：
从用户的视角创建纹理图像；以及
从所述3D投影仪的视角重新渲染所述纹理图像以提供视角经调整的图像形式的3D虚拟对象的表示，
所述创建和重新渲染至少考虑了如所述深度图像中所表示的、所述3D虚拟对象将要投影于其上的场景的几何结构。
5.如权利要求1所述的方法，其特征在于，所述3D虚拟对象的生成涉及使用投影纹理技术来基于对用户的注意方向以及3D投影仪的位置的考虑生成视角经调整的的图像。
6.如权利要求5所述的方法，其特征在于，所述投影纹理技术还考虑如所述深度图像中所表示的、所述3D虚拟对象将要投影于其上的场景的几何结构。
7.如权利要求6所述的方法，其特征在于，所述几何结构是非规则的。
8.一种交互***(100)，包括：
用于将光照投影在表面(102)上的照明源(104)；
用于接收由所述照明源(104)发射的光照的深度相机(106)以捕捉深度图像，所述照明源照射所述表面(102)上或附近的至少一个物理对象；
用于捕捉所述至少一个物理对象的视频图像的视频相机(108)；
用于基于所述深度图像和所述视频图像生成至少一个3D虚拟对象的虚拟场景生成模块(120)；以及
用于将所述至少一个3D虚拟对象投影在所述表面(102)上或附近的立体投影仪(112)。
9.如权利要求8所述的交互***，其特征在于，还包括用于操纵已被投影在所述表面上或附近的所述至少一个3D虚拟对象的控制设备。
10.一种用于生成虚拟场景的方法，所述方法包括：
接收放置在表面(102)上或附近的物理对象的深度图像；
接收所述物理对象的视频图像；以及
将从所述视频图像中获取的纹理应用于所述深度图像中标识的几何形状以提供视角经调整的图像形式的3D虚拟对象，
其中3D投影仪(112)将所述视角经调整的图像投影到表面(102)上或附近的一位置上。
CN201210037666.5A 2011-02-17 2012-02-17 使用3d深度相机和3d投影仪来提供交互式体验 Active CN102693005B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161444123P 2011-02-17 2011-02-17
US61/444,123 2011-02-17
US13/074,041 US9329469B2 (en) 2011-02-17 2011-03-29 Providing an interactive experience using a 3D depth camera and a 3D projector
US13/074,041 2011-03-29

Publications (2)

Publication Number Publication Date
CN102693005A CN102693005A (zh) 2012-09-26
CN102693005B true CN102693005B (zh) 2017-03-01

Family

ID=46652357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210037666.5A Active CN102693005B (zh) 2011-02-17 2012-02-17 使用3d深度相机和3d投影仪来提供交互式体验

Country Status (4)

Country Link
US (1) US9329469B2 (zh)
EP (1) EP2676450B1 (zh)
CN (1) CN102693005B (zh)
WO (1) WO2012112401A2 (zh)

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012033863A1 (en) 2010-09-09 2012-03-15 Tweedletech, Llc A board game with dynamic characteristic tracking
US10155156B2 (en) 2008-06-03 2018-12-18 Tweedletech, Llc Multi-dimensional game comprising interactive physical and virtual components
US9649551B2 (en) 2008-06-03 2017-05-16 Tweedletech, Llc Furniture and building structures comprising sensors for determining the position of one or more objects
US8602857B2 (en) 2008-06-03 2013-12-10 Tweedletech, Llc Intelligent board game system with visual marker based game object tracking and identification
US10265609B2 (en) 2008-06-03 2019-04-23 Tweedletech, Llc Intelligent game system for putting intelligence into board and tabletop games including miniatures
US8974295B2 (en) * 2008-06-03 2015-03-10 Tweedletech, Llc Intelligent game system including intelligent foldable three-dimensional terrain
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US9560406B2 (en) 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
CN103347437B (zh) 2011-02-09 2016-06-08 苹果公司 3d映射环境中的凝视检测
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US8619049B2 (en) 2011-05-17 2013-12-31 Microsoft Corporation Monitoring interactions between two or more objects within an environment
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US9560314B2 (en) 2011-06-14 2017-01-31 Microsoft Technology Licensing, Llc Interactive and shared surfaces
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8947497B2 (en) * 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US9445046B2 (en) * 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US9602766B2 (en) * 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
US9117274B2 (en) * 2011-08-01 2015-08-25 Fuji Xerox Co., Ltd. System and method for interactive markerless paper documents in 3D space with mobile cameras and projectors
US20130050414A1 (en) * 2011-08-24 2013-02-28 Ati Technologies Ulc Method and system for navigating and selecting objects within a three-dimensional video image
US9595115B1 (en) * 2011-09-19 2017-03-14 Amazon Technologies, Inc. Visualizing change in augmented reality environments
US9349217B1 (en) * 2011-09-23 2016-05-24 Amazon Technologies, Inc. Integrated community of augmented reality environments
DE102011086267A1 (de) * 2011-11-14 2013-05-16 Siemens Aktiengesellschaft System und Verfahren zur Steuerung eines thermografischen Messvorganges
US9077846B2 (en) * 2012-02-06 2015-07-07 Microsoft Technology Licensing, Llc Integrated interactive space
US9377863B2 (en) * 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
US9747306B2 (en) * 2012-05-25 2017-08-29 Atheer, Inc. Method and apparatus for identifying input features for later recognition
JP6112815B2 (ja) * 2012-09-27 2017-04-12 京セラ株式会社 表示装置、制御システムおよび制御プログラム
JP2014071499A (ja) 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
US10620902B2 (en) * 2012-09-28 2020-04-14 Nokia Technologies Oy Method and apparatus for providing an indication regarding content presented to another user
US9857470B2 (en) * 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
WO2014101955A1 (en) 2012-12-28 2014-07-03 Metaio Gmbh Method of and system for projecting digital information on a real object in a real environment
US9251590B2 (en) * 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US9325943B2 (en) * 2013-02-20 2016-04-26 Microsoft Technology Licensing, Llc Providing a tele-immersive experience using a mirror metaphor
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
IL308285B1 (en) * 2013-03-11 2024-07-01 Magic Leap Inc System and method for augmentation and virtual reality
US9294539B2 (en) 2013-03-14 2016-03-22 Microsoft Technology Licensing, Llc Cooperative federation of digital devices via proxemics and device micro-mobility
JP2014191718A (ja) 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US9563955B1 (en) 2013-05-15 2017-02-07 Amazon Technologies, Inc. Object tracking techniques
US9767580B2 (en) * 2013-05-23 2017-09-19 Indiana University Research And Technology Corporation Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
US9392248B2 (en) * 2013-06-11 2016-07-12 Google Inc. Dynamic POV composite 3D video system
US10228242B2 (en) 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
CN103455141B (zh) * 2013-08-15 2016-07-06 无锡触角科技有限公司 互动投影***及其深度传感器和投影仪的校准方法
US10126823B2 (en) * 2014-01-03 2018-11-13 Harman International Industries, Incorporated In-vehicle gesture interactive spatial audio system
US20150302648A1 (en) * 2014-02-18 2015-10-22 Sulon Technologies Inc. Systems and methods for mapping an environment using structured light
GB2542518B (en) * 2014-05-21 2020-07-22 Tangible Play Inc Virtualization of tangible interface objects
CN112651288B (zh) * 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和***
US10223839B2 (en) * 2014-07-31 2019-03-05 Hewlett-Packard Development Company, L.P. Virtual changes to a real object
WO2016036352A1 (en) * 2014-09-03 2016-03-10 Hewlett-Packard Development Company, L.P. Presentation of a digital image of an object
CN107079126A (zh) * 2014-11-13 2017-08-18 惠普发展公司，有限责任合伙企业 图像投影
US9778814B2 (en) * 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
US9407865B1 (en) 2015-01-21 2016-08-02 Microsoft Technology Licensing, Llc Shared scene mesh data synchronization
KR101614116B1 (ko) * 2015-01-27 2016-04-21 호남대학교 산학협력단 휴대형 3차원 스캐너
EP3251342A4 (en) * 2015-01-30 2018-09-12 Ent. Services Development Corporation LP Virtual space calibration
US9721385B2 (en) 2015-02-10 2017-08-01 Dreamworks Animation Llc Generation of three-dimensional imagery from a two-dimensional image using a depth map
US9897806B2 (en) * 2015-02-10 2018-02-20 Dreamworks Animation L.L.C. Generation of three-dimensional imagery to supplement existing content
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
AT516901B1 (de) * 2015-03-06 2018-07-15 Amst Systemtechnik Gmbh Flugsimulator und Verfahren zur Flugsimulation
US10216982B2 (en) * 2015-03-12 2019-02-26 Microsoft Technology Licensing, Llc Projecting a virtual copy of a remote object
CN104699247B (zh) * 2015-03-18 2017-12-12 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互***及方法
US10284816B2 (en) * 2015-03-23 2019-05-07 Intel Corporation Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes
EP3286914B1 (en) * 2015-04-19 2019-12-25 FotoNation Limited Multi-baseline camera array system architectures for depth augmentation in vr/ar applications
US10269136B2 (en) 2015-04-29 2019-04-23 Hewlett-Packard Development Company, L.P. System and method for processing depth images which capture an interaction of an object relative to an interaction plane
US10146414B2 (en) * 2015-06-09 2018-12-04 Pearson Education, Inc. Augmented physical and virtual manipulatives
KR102365730B1 (ko) * 2015-06-15 2022-02-22 한국전자통신연구원 인터랙티브 콘텐츠 제어 장치 및 방법
US9529454B1 (en) 2015-06-19 2016-12-27 Microsoft Technology Licensing, Llc Three-dimensional user input
US9952656B2 (en) 2015-08-21 2018-04-24 Microsoft Technology Licensing, Llc Portable holographic user interface for an interactive 3D environment
US10559130B2 (en) * 2015-08-31 2020-02-11 Microsoft Technology Licensing, Llc Displaying image data behind surfaces
US9898869B2 (en) * 2015-09-09 2018-02-20 Microsoft Technology Licensing, Llc Tactile interaction in virtual environments
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
CN105426402A (zh) * 2015-10-30 2016-03-23 四川长虹电器股份有限公司 应用于烹饪的社交***及方法
US9984499B1 (en) 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US10565791B2 (en) 2015-12-29 2020-02-18 Microsoft Technology Licensing, Llc Tracking rigged polygon-mesh models of articulated objects
US10186081B2 (en) 2015-12-29 2019-01-22 Microsoft Technology Licensing, Llc Tracking rigged smooth-surface models of articulated objects
CN106933397B (zh) * 2015-12-30 2020-06-30 网易（杭州）网络有限公司 虚拟对象控制方法及装置
US11188143B2 (en) 2016-01-04 2021-11-30 Microsoft Technology Licensing, Llc Three-dimensional object tracking to augment display area
CN105739701B (zh) * 2016-01-31 2018-08-21 盛禾东林（厦门）文创科技有限公司 瞬间生成3d模型装置控制矩阵结构的模块及其操作***
EP3179450B1 (de) * 2016-04-12 2020-09-09 Siemens Healthcare GmbH Verfahren zur multisensorischen darstellung eines objekts und darstellungssystem
US11025882B2 (en) * 2016-04-25 2021-06-01 HypeVR Live action volumetric video compression/decompression and playback
US10257490B2 (en) * 2016-04-28 2019-04-09 Verizon Patent And Licensing Inc. Methods and systems for creating and providing a real-time volumetric representation of a real-world event
EP3244286B1 (en) * 2016-05-13 2020-11-04 Accenture Global Solutions Limited Installation of a physical element
US20170351415A1 (en) * 2016-06-06 2017-12-07 Jonathan K. Cheng System and interfaces for an interactive system
US10235809B2 (en) * 2016-06-30 2019-03-19 Microsoft Technology Licensing, Llc Reality to virtual reality portal for dual presence of devices
US20180122133A1 (en) * 2016-10-28 2018-05-03 Honeywell International Inc. System and method for displaying industrial asset alarms in a virtual environment
KR102355175B1 (ko) * 2016-11-21 2022-01-26 소니그룹주식회사 정보 처리 장치, 정보 처리 방법, 및 비일시적 컴퓨터 판독가능 매체
US10304234B2 (en) * 2016-12-01 2019-05-28 Disney Enterprises, Inc. Virtual environment rendering
US20180182270A1 (en) 2016-12-22 2018-06-28 Hewlett-Packard Development Company, L.P. Displays representative of remote subjects
CN106817574A (zh) * 2017-01-25 2017-06-09 触景无限科技（北京）有限公司 一种台灯的图像处理方法及装置
CN106791748A (zh) * 2017-01-25 2017-05-31 触景无限科技（北京）有限公司 一种台灯的投影处理方法及装置
CN106851235A (zh) * 2017-01-25 2017-06-13 触景无限科技（北京）有限公司 台灯的互动展示方法及装置
US10319149B1 (en) 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
US10074381B1 (en) 2017-02-20 2018-09-11 Snap Inc. Augmented reality speech balloon system
CN106897688B (zh) * 2017-02-21 2020-12-08 杭州易现先进科技有限公司 交互式投影装置、控制交互式投影的方法和可读存储介质
AT519447B1 (de) * 2017-03-13 2018-07-15 Profactor Gmbh Vorrichtung zum Erfassen eines der Oberfläche eines Objektes entsprechenden dreidimensionalen Modells
CN106991699B (zh) * 2017-03-31 2020-11-20 联想(北京)有限公司 控制方法及电子设备
US10387730B1 (en) 2017-04-20 2019-08-20 Snap Inc. Augmented reality typography personalization system
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US10269181B2 (en) * 2017-05-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating a virtualized projection of a customized view of a real-world scene for inclusion within virtual reality media content
US10304251B2 (en) 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
CN107562195A (zh) * 2017-08-17 2018-01-09 英华达（南京）科技有限公司 人机交互方法及***
US10740974B1 (en) 2017-09-15 2020-08-11 Snap Inc. Augmented reality system
TWI735882B (zh) * 2018-05-21 2021-08-11 仁寶電腦工業股份有限公司 互動式投影系統和互動式投影方法
US20200021668A1 (en) * 2018-07-13 2020-01-16 Merge Labs, Inc. Dynamic augmented reality collaboration system using a trackable three-dimensional object
US10997760B2 (en) 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11501658B2 (en) * 2018-11-28 2022-11-15 Purdue Research Foundation Augmented reality platform for collaborative classrooms
US11972529B2 (en) * 2019-02-01 2024-04-30 Snap Inc. Augmented reality system
US11023729B1 (en) 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
CN111093301B (zh) * 2019-12-14 2022-02-25 安琦道尔(上海)环境规划建筑设计咨询有限公司 一种灯光控制方法及其***
CN111275731B (zh) * 2020-01-10 2023-08-18 杭州师范大学 面向中学实验的投影式实物交互桌面***和方法
US11943565B2 (en) * 2021-07-12 2024-03-26 Milestone Systems A/S Computer implemented method and apparatus for operating a video management system
US11740689B1 (en) 2022-06-16 2023-08-29 Apple Inc. Electronic devices with projectors
CN117611781B (zh) * 2024-01-23 2024-04-26 埃洛克航空科技（北京）有限公司 一种实景三维模型的压平方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198964A (zh) * 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
US7843449B2 (en) * 2006-09-20 2010-11-30 Apple Inc. Three-dimensional display system

Family Cites Families (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4402608A (en) 1980-10-02 1983-09-06 Solid Photography Inc. Room scanning system using multiple camera and projector sensors
US4786966A (en) 1986-07-10 1988-11-22 Varo, Inc. Head mounted video display and remote camera system
JPH0456993A (ja) 1990-06-26 1992-02-24 Shimadzu Corp ウィンドウ生成装置
JPH04328627A (ja) 1991-04-30 1992-11-17 Nippon Telegr & Teleph Corp <Ntt> カーソル表示方法
DE4236091A1 (de) 1992-10-26 1994-04-28 Nsm Ag Projektionssystem für Unterhaltungs- und Spielgeräte
DE69430967T2 (de) 1993-04-30 2002-11-07 Xerox Corp Interaktives Kopiersystem
JP3277645B2 (ja) 1993-11-01 2002-04-22 株式会社日立製作所 ペン入力式情報処理装置
US5714997A (en) 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
JPH0946776A (ja) 1995-07-26 1997-02-14 Sony Corp 遠隔指示装置および方法
US6127990A (en) 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
US6009359A (en) 1996-09-18 1999-12-28 National Research Council Of Canada Mobile system for indoor 3-D mapping and creating virtual environments
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6252579B1 (en) 1997-08-23 2001-06-26 Immersion Corporation Interface device and method for providing enhanced cursor control with force feedback
US5870136A (en) 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
DE69812591T2 (de) * 1998-05-20 2004-03-25 Texas Instruments France Autostereoskopische Anzeigevorrichtung
US6392637B2 (en) 1998-08-13 2002-05-21 Dell Usa, L.P. Computer system having a configurable touchpad-mouse button combination
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
US6542154B1 (en) * 1999-08-07 2003-04-01 Hewlett-Packard Company Architectural extensions to 3D texturing units for accelerated volume rendering
GB9918704D0 (en) 1999-08-10 1999-10-13 White Peter M Device and method for eye to eye communication overa network
AU6171200A (en) 1999-08-10 2001-03-05 Peter Mcduffie White Communications system
JP4332964B2 (ja) 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
AU2001257210A1 (en) 2000-04-24 2001-11-07 The Trustees Of Columbia University In The City Of New York System and method for dynamic space management of a display space
CA2306515A1 (en) * 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
JP4284855B2 (ja) 2000-10-25 2009-06-24 ソニー株式会社 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体
US6431711B1 (en) 2000-12-06 2002-08-13 International Business Machines Corporation Multiple-surface display projector with interactive input capability
DE10063089C1 (de) 2000-12-18 2002-07-25 Siemens Ag Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems
AU2002303082A1 (en) 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
GB2377147A (en) 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US6930681B2 (en) 2001-08-14 2005-08-16 Mitsubishi Electric Research Labs, Inc. System and method for registering multiple images with three-dimensional objects
JP3971907B2 (ja) 2001-09-17 2007-09-05 アルプス電気株式会社 座標入力装置及び電子機器
US7468778B2 (en) 2002-03-15 2008-12-23 British Broadcasting Corp Virtual studio system
US7199793B2 (en) * 2002-05-21 2007-04-03 Mok3, Inc. Image-based modeling and photo editing
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7190331B2 (en) 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
US20090143141A1 (en) 2002-08-06 2009-06-04 Igt Intelligent Multiplayer Gaming System With Multi-Touch Display
US8905834B2 (en) 2007-11-09 2014-12-09 Igt Transparent card display
US20040037450A1 (en) * 2002-08-22 2004-02-26 Bradski Gary R. Method, apparatus and system for using computer vision to identify facial characteristics
US7134080B2 (en) 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
US7775883B2 (en) 2002-11-05 2010-08-17 Disney Enterprises, Inc. Video actuated interactive environment
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US7242818B2 (en) 2003-01-17 2007-07-10 Mitsubishi Electric Research Laboratories, Inc. Position and orientation sensing with a projector
CA2464569A1 (en) 2003-04-16 2004-10-16 Universite De Montreal Single or multi-projector for arbitrary surfaces without calibration nor reconstruction
US7164789B2 (en) 2003-08-11 2007-01-16 Palo Alto Research Center Incorporated Three-dimensional active vision with glyph address carpet
JP4594308B2 (ja) 2003-08-19 2010-12-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビジュアルコンテンツ信号表示装置及びビジュアルコンテンツ信号を表示する方法
US7747067B2 (en) 2003-10-08 2010-06-29 Purdue Research Foundation System and method for three dimensional modeling
US8050491B2 (en) 2003-12-17 2011-11-01 United Technologies Corporation CAD modeling system and method
US7077529B2 (en) 2004-02-20 2006-07-18 L-3 Communications Corporation Masked image projection system and method
WO2005082075A2 (en) 2004-02-25 2005-09-09 The University Of North Carolina At Chapel Hill Systems and methods for imperceptibly embedding structured light patterns in projected color images
US7609257B2 (en) 2004-03-29 2009-10-27 Oculus Info Inc. System and method for applying link analysis tools for visualizing connected temporal and spatial information on a user interface
US7204428B2 (en) 2004-03-31 2007-04-17 Microsoft Corporation Identification of object on interactive display surface by identifying coded pattern
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
JP2006006912A (ja) 2004-05-27 2006-01-12 Aruze Corp 遊技機
US20070132733A1 (en) 2004-06-08 2007-06-14 Pranil Ram Computer Apparatus with added functionality
US7379047B2 (en) 2004-06-30 2008-05-27 Microsoft Corporation Using a physical object to control an attribute of an interactive display application
US7743348B2 (en) 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
CN1993688B (zh) * 2004-08-03 2012-01-18 西尔弗布鲁克研究有限公司 走近启动的打印
US8560972B2 (en) 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
EP1784978B1 (de) 2004-08-30 2010-11-10 Bauhaus-Universität Weimar Verfahren und vorrichtung zur darstellung eines digitalen bildes auf einer geometrisch und photometrisch nicht-trivialen oberfläche
US7961912B2 (en) 2004-10-14 2011-06-14 Stevick Glen R Method and apparatus for dynamic space-time imaging system
US7614748B2 (en) * 2004-10-25 2009-11-10 The Trustees Of Columbia University In The City Of New York Systems and methods for displaying three-dimensional images
TW200617748A (en) 2004-11-23 2006-06-01 Mitac Technology Corp Integrated module used to control the displacement of the cursor displayed on a computer and the input of number keys
JP2006148730A (ja) 2004-11-24 2006-06-08 Hitachi Omron Terminal Solutions Corp 会議システム及び会議情報提供方法
US20070291035A1 (en) 2004-11-30 2007-12-20 Vesely Michael A Horizontal Perspective Representation
US8162486B2 (en) 2005-01-15 2012-04-24 Lenovo (Singapore) Pte Ltd. Remote set-up and calibration of an interactive system
WO2006081198A2 (en) 2005-01-25 2006-08-03 The Board Of Trustees Of The University Of Illinois Compact haptic and augmented virtual reality system
EP1686554A3 (en) * 2005-01-31 2008-06-18 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
US7260474B1 (en) 2005-02-08 2007-08-21 Cellco Partnership GIS point-to-point routing for directions
GB0502891D0 (en) * 2005-02-12 2005-03-16 Next Device Ltd User interfaces
EP1866043A1 (en) 2005-04-06 2007-12-19 Eidgenössische Technische Hochschule Zürich (ETH) Method of executing an application in a mobile device
US7479967B2 (en) 2005-04-11 2009-01-20 Systems Technology Inc. System for combining virtual and real-time environments
US7970870B2 (en) 2005-06-24 2011-06-28 Microsoft Corporation Extending digital artifacts through an interactive surface
WO2007020591A2 (en) 2005-08-15 2007-02-22 Koninklijke Philips Electronics N.V. System, apparatus, and method for augmented reality glasses for end-user programming
US20070124370A1 (en) 2005-11-29 2007-05-31 Microsoft Corporation Interactive table based platform to facilitate collaborative activities
US8130330B2 (en) 2005-12-05 2012-03-06 Seiko Epson Corporation Immersive surround visual fields
US20070126864A1 (en) 2005-12-05 2007-06-07 Kiran Bhat Synthesizing three-dimensional surround visual field
US20080007567A1 (en) * 2005-12-18 2008-01-10 Paul Clatworthy System and Method for Generating Advertising in 2D or 3D Frames and Scenes
JP2007226406A (ja) 2006-02-22 2007-09-06 Toshiba Corp 監視制御システム
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20070247422A1 (en) 2006-03-30 2007-10-25 Xuuk, Inc. Interaction techniques for flexible displays
MX2008012473A (es) 2006-03-31 2008-10-10 Koninkl Philips Electronics Nv Reproduccion adaptada de contenido de video basada en cuadros adicionales de contenido.
US7984995B2 (en) 2006-05-24 2011-07-26 Smart Technologies Ulc Method and apparatus for inhibiting a subject's eyes from being exposed to projected light
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
JP2008033844A (ja) 2006-07-31 2008-02-14 Sharp Corp 表示装置、制御方法およびプログラム
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
US8411149B2 (en) * 2006-08-03 2013-04-02 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US7942530B2 (en) 2006-10-31 2011-05-17 The Regents Of The University Of California Apparatus and method for self-calibrating multi-projector displays via plug and play projectors
JP2008112077A (ja) 2006-10-31 2008-05-15 Sony Corp 画像投影装置およびその制御方法
KR100891099B1 (ko) 2007-01-25 2009-03-31 삼성전자주식회사 사용성을 향상시키는 터치 스크린 및 터치 스크린에서 사용성 향상을 위한 방법
US8380246B2 (en) 2007-03-01 2013-02-19 Microsoft Corporation Connecting mobile devices via interactive input medium
US7979315B2 (en) 2007-03-14 2011-07-12 Microsoft Corporation Virtual features of physical items
US8994757B2 (en) 2007-03-15 2015-03-31 Scalable Display Technologies, Inc. System and method for providing improved display quality by display adjustment and image processing using optical feedback
US20080231634A1 (en) 2007-03-22 2008-09-25 Honeywell International, Inc. Intuitive modification of visual output from a multi-function display
US8601386B2 (en) 2007-04-20 2013-12-03 Ingenio Llc Methods and systems to facilitate real time communications in virtual reality
US8172407B2 (en) 2007-05-16 2012-05-08 Honda Motor Co., Ltd. Camera-projector duality: multi-projector 3D reconstruction
US20090027330A1 (en) 2007-07-26 2009-01-29 Konami Gaming, Incorporated Device for using virtual mouse and gaming machine
JP5430572B2 (ja) 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US8488129B2 (en) 2007-10-05 2013-07-16 Artec Group, Inc. Combined object capturing system and display device and associated method
US8223192B2 (en) * 2007-10-31 2012-07-17 Technion Research And Development Foundation Ltd. Free viewpoint video
US20090128783A1 (en) 2007-11-15 2009-05-21 Yueh-Hong Shih Ocular-protection projector device
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US20090149250A1 (en) 2007-12-07 2009-06-11 Sony Ericsson Mobile Communications Ab Dynamic gaming environment
KR101441584B1 (ko) 2008-01-02 2014-09-23 삼성전자 주식회사 투과형 영상표시장치 및 그 방법
CN102016877B (zh) * 2008-02-27 2014-12-10 索尼计算机娱乐美国有限责任公司 用于捕获场景的深度数据并且应用计算机动作的方法
US20090237492A1 (en) 2008-03-18 2009-09-24 Invism, Inc. Enhanced stereoscopic immersive video recording and viewing
JP5431312B2 (ja) 2008-05-21 2014-03-05 パナソニック株式会社 プロジェクタ
US20100037273A1 (en) 2008-08-07 2010-02-11 Brian Dressel Interactive video presentation
WO2010019802A1 (en) 2008-08-15 2010-02-18 Gesturetek, Inc. Enhanced multi-touch detection
JP5094663B2 (ja) * 2008-09-24 2012-12-12 キヤノン株式会社 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法
US20100073476A1 (en) 2008-09-24 2010-03-25 Industrial Technology Research Institute Systems and methods for measuring three-dimensional profile
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US8297757B2 (en) 2008-10-29 2012-10-30 Seiko Epson Corporation Projector and projector control method
US20100128112A1 (en) 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd Immersive display system for interacting with three-dimensional content
US8570423B2 (en) * 2009-01-28 2013-10-29 Hewlett-Packard Development Company, L.P. Systems for performing visual collaboration between remotely situated participants
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US20100195867A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Visual target tracking using model fitting and exemplar
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
ES2578022T3 (es) * 2009-02-17 2016-07-20 Koninklijke Philips N.V. Combinación de datos de imágenes 3D y gráficos
US8199186B2 (en) * 2009-03-05 2012-06-12 Microsoft Corporation Three-dimensional (3D) imaging based on motionparallax
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8223196B2 (en) * 2009-06-10 2012-07-17 Disney Enterprises, Inc. Projector systems and methods for producing digitally augmented, interactive cakes and other food products
US20100330843A1 (en) 2009-06-25 2010-12-30 Hong Gao Lamp socket power plug adapter
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US20110107216A1 (en) 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
WO2011078883A1 (en) 2009-12-24 2011-06-30 Trumbull Ventures Llc Method and apparatus for photographing and projecting moving images in three dimensions
US8947455B2 (en) 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US8391590B2 (en) * 2010-03-04 2013-03-05 Flashscan3D, Llc System and method for three-dimensional biometric data feature detection and recognition
US20110234481A1 (en) 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
US20110263326A1 (en) 2010-04-26 2011-10-27 Wms Gaming, Inc. Projecting and controlling wagering games
US20110316845A1 (en) 2010-06-25 2011-12-29 Palo Alto Research Center Incorporated Spatial association between virtual and augmented reality
US10036891B2 (en) 2010-10-12 2018-07-31 DISH Technologies L.L.C. Variable transparency heads up displays
US8866889B2 (en) * 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US20120117514A1 (en) * 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9049423B2 (en) * 2010-12-01 2015-06-02 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8514295B2 (en) * 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
US20120157204A1 (en) 2010-12-20 2012-06-21 Lai Games Australia Pty Ltd. User-controlled projector-based games
US8913085B2 (en) 2010-12-22 2014-12-16 Intel Corporation Object mapping techniques for mobile augmented reality applications
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US20120223885A1 (en) 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
US8860688B2 (en) * 2011-03-02 2014-10-14 Smart Technologies Ulc 3D interactive input system and method
US20120264510A1 (en) 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
US8570372B2 (en) 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
US9330499B2 (en) 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
US9082214B2 (en) * 2011-07-01 2015-07-14 Disney Enterprises, Inc. 3D drawing system for providing a real time, personalized, and immersive artistic experience
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US20130147686A1 (en) 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US9137511B1 (en) 2011-12-15 2015-09-15 Rawles Llc 3D modeling with depth camera and surface normals
US9024844B2 (en) 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
US9219901B2 (en) 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
KR101385681B1 (ko) 2012-11-08 2014-04-15 삼성전자 주식회사 헤드마운트형 디스플레이장치 및 그 제어방법
US20150049001A1 (en) 2013-08-19 2015-02-19 Qualcomm Incorporated Enabling remote screen sharing in optical see-through head mounted display with augmented reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198964A (zh) * 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
US7843449B2 (en) * 2006-09-20 2010-11-30 Apple Inc. Three-dimensional display system

Also Published As

Publication number Publication date
CN102693005A (zh) 2012-09-26
EP2676450A4 (en) 2017-03-22
US9329469B2 (en) 2016-05-03
WO2012112401A2 (en) 2012-08-23
WO2012112401A3 (en) 2012-12-06
EP2676450B1 (en) 2018-08-01
US20120212509A1 (en) 2012-08-23
EP2676450A2 (en) 2013-12-25

Similar Documents

Publication Publication Date Title
CN102693005B (zh) 使用3d深度相机和3d投影仪来提供交互式体验
US9654734B1 (en) Virtual conference room
Leithinger et al. Sublimate: state-changing virtual and physical rendering to augment interaction with shape displays
Leithinger et al. Physical telepresence: shape capture and display for embodied, computer-mediated remote collaboration
Hilliges et al. HoloDesk: direct 3d interactions with a situated see-through display
Wang et al. Mixed reality in architecture, design, and construction
CN105264571B (zh) Hud对象设计和方法
KR101096617B1 (ko) 공간 멀티 인터랙션 기반 3차원 입체 인터랙티브 비전 시스템 및 그 방법
Zillner et al. 3D-board: a whole-body remote collaborative whiteboard
KR101723823B1 (ko) 인터랙티브 공간증강 체험전시를 위한 동적 객체와 가상 객체 간의 인터랙션 구현 장치
JP2011022984A (ja) 立体映像インタラクティブシステム
WO2005098517A2 (en) Horizontal perspective hand-on simulator
CN105518584A (zh) 利用热区识别交互
JP2011077710A (ja) 映像コミュニケーションシステム、及び映像コミュニケーション方法
LIU et al. A preliminary study of kinect-based real-time hand gesture interaction systems for touchless visualizations of hepatic structures in surgery
Sayyad et al. Panotrace: interactive 3d modeling of surround-view panoramic images in virtual reality
Sánchez Salazar Chavarría et al. Interactive 3D touch and gesture capable holographic light field display with automatic registration between user and content
Tran et al. A hand gesture recognition library for a 3D viewer supported by kinect's depth sensor
Ogi et al. Avatar communication: Virtual Instructor in the demonstration exhibit
Leithinger Grasping information and collaborating through shape displays
Bilban et al. An example with microsoft Kinect: City modeling with Kinect
RE Low cost augmented reality for industrial problems
Uzun et al. Creating A 3D Model on A Human Skeleton Using Kinect
Lala et al. Enhancing communication through distributed mixed reality
Tat Holotab: Design and Evaluation of Interaction Techniques for a Handheld 3D Light Field Display

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1174415

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150727

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150727

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1174415

Country of ref document: HK