CN107407959A - 基于姿势的三维图像的操纵 - Google Patents

Abstract

本文公开的示例涉及响应于用户姿势操纵三维图像。示例包括基于三维图像数据再现三维图像，接收对应于用户姿势的传感器数据，以及基于传感器数据识别用户姿势。基于识别的用户姿势和三维图像数据，确定并执行更新对应的三维图像数据的功能，并因此更改所再现的三维图像。三维图像数据可以由耦合到用于再现三维图像的相同计算设备的传感器生成。

Description

基于姿势的三维图像的操纵

背景

许多计算***包括至少一个显示器和至少一个输入设备。显示器可以包括例如监视器，屏幕等。示例输入设备包括鼠标，键盘，触摸板等。一些计算***包括触敏显示器，用以显示计算***的输出并接收物理(例如，触摸)输入这二者。

附图说明

以下详细描述参考附图，其中：

图1是包括三维(3D)操纵引擎的示例计算***的示意性透视图；

图2是图1的示例计算***的另一示意性透视图；

图3是图1的示例计算***的示意性侧视图；

图4是图1的示例计算***的示意性前视图；

图5是在示例操作期间图1的示例计算***的示意性侧视图；

图6是在另一示例操作期间图1的示例计算***的示意性前视图；

图7是在另一示例操作期间图1的示例计算***的示意性侧视图；

图8A是用于基于用户姿势来操纵3D图像的示例计算设备的框图；

图8B是基于用户姿势来操纵3D图像的示例计算设备的框图；

图9是在用于基于用户姿势来操纵3D图像的示例实现中的数据流；和

图10是用于基于用户姿势来操纵3D图像的示例方法的流程图。

具体实施方式

在包括用于捕获和显示三维(3D)信息的功能的计算***中，用户与三维对象的再现图像交互或操纵三维对象的再现图像的能力能够受到传统用户输入设备限制。键盘，鼠标，手写笔和其他类型的机械用户输入设备对于选择，操纵和移动呈现给用户以占据3D空间的3D图像是笨拙的和低效的。例如，能够在表面上投影图像使得该图像看起来占据计算设备前面的特定3D区域的计算机***(本文所述的计算机***)能够受到传统用户输入设备限制。使用锁定在二维(2D)平面中的键盘或鼠标使得选择，更不用说移动，旋转或扩大占据3D区域中的位置的虚拟对象变得困难。

桥接传统用户接口设备和3D域之间的操作差距的技术使用各种补充图形用户接口控件(诸如滑块，旋转点，菜单等)来让用户控制再现的3D对象的位置，大小，放大，取向等。然而，这样的技术不仅会导致过于复杂和混乱的用户接口，而且经常使用起来是反直觉的。因此，为了改善用户体验并使3D图像和基础3D图像数据的操纵更有效，本公开的示例包括用于检测投影区域中的用户姿势的设备和方法的技术，所述用户姿势指示可用于更改再现的3D图像以及基础数据的各种功能。用于与所再现的3D图像交互的这种姿势可以包括对于用户自然地来的移动，因为它们类似于用户将直觉地触摸或操纵物理对象的方式。在本公开的示例实现中，模拟用户可以用来操纵物理对象的动作(例如抓取，推动，转动等)的姿势也可以用于操纵对象的再现的3D图像。

在一些示例实现中，功能可以与所识别的姿势相关联，并且基于姿势的检测到的与图像在空间中或者在其中3D图像被投影或以其他方式看起来被显示的至少3D区域中的视在位置的接近度，将功能应用于对象的3D图像上。例如，某个对象的3D图像可以与基础数据中的特定位置相关联。当在投影或显示区域中的所述特定位置中检测到特定姿势时，与该姿势相关联的功能可以应用于该对象的3D图像(例如，球的3D再现处或附近的指向运动将指示用户希望启动选择功能以选择球的3D图像和/或该球的基础3D图像数据)。姿势和所得到的功能可以不应用于与其中姿势被识别的位置不相关联的3D图像。在本文描述的各种示例中，姿势的识别以及这些姿势与位置，3D图像和指示的功能的关联可以由实现为各种类型的计算***中的软件和硬件的任何组合的3D操纵引擎来处理。

现在参考附图，图1-7是包括3D操纵引擎170的示例计算***100的示意图。在图1-7的示例中，***100一般包括支撑结构110，计算设备150，投影仪配件184和触敏表面200。计算设备150可以包括3D操纵引擎170，用以确定对由投影仪配件184响应于由传感器束184中的传感器检测到的姿势所再现的3D图像和对应于3D图像的3D图像数据的操纵功能，如上所述。

计算设备150可以包括符合本文公开的原理的任何合适的计算设备。如本文所使用的，“计算设备”可以包括电子显示设备，智能电话，平板，芯片组，一体化计算机(例如，包括也容纳计算机的处理资源的显示设备的设备)，台式计算机，笔记本计算机，工作站，服务器，任何其他处理设备或装置或其组合。在此示例中，设备150是一体化计算机，所述一体化计算机具有中心轴线或中心线155，第一或顶侧150A，与顶侧150A轴向相对的第二或底侧150B，在侧面150A和150B之间轴向延伸的前侧150C，也在侧面150A和150B之间轴向延伸并且与前侧150C大致径向相对的后侧150D。显示器152沿着前侧150C设置并且限定计算***100的观察表面以显示图像以供***100的用户观看。在本文描述的示例中，显示器可以包括适于显示图像，视频等等的任何技术的组件。

在一些示例中，显示器152可以是触敏显示器。在本文所描述的示例中，触敏显示器可以包括例如用于显示图像，视频等的任何合适的技术(例如，组件)，并且可以包括用于检测物理接触(例如，触摸输入)的任何合适的技术(例如，组件)，诸如像电阻，电容，表面声波，红外(IR)，变形测量器，光学成像，声学脉冲识别，色散信号感测或单元内***等。在本文所描述的示例中，显示器152可以被称为触敏显示器152。设备150还可以包括相机154，相机154例如可以是网络相机。在一些示例中，相机154可以捕获位于显示器152前面的用户的图像。在一些示例中，设备150还可以包括麦克风或其他用以接收声音输入(例如，来自用户的语音输入)的设备。

在图1-7的示例中，支撑结构110包括基部120，直立构件140和顶部160。基部120包括第一或前端120A以及第二或后端120B。基部120可与支撑表面15接合以支撑***100的部件(例如，构件140，投影仪单元180，设备150，顶部160等)的至少一部分的重量。在一些示例中，当***100被配置用于操作时，基部120可以采用这种方式与支撑表面15接合。在图1-7的示例中，基部120的前端120A包括凸起部分122，当基部120例如如图2所图示设置在支撑表面15上时，凸起部分122可设置在支撑表面15上方并与支撑表面15分离(在部分122和表面15之间形成空间或间隙)。在这样的示例中，触敏表面200的一侧的一部分可以设置在部分122和表面15之间形成的空间中(例如，被收纳在所述空间之内)。在这种示例中，将表面200的一部分放置在由部分122和表面15所形成的空间之内可以有助于表面200的正确对准。在其他示例中，可以使用其他合适的方法或设备来辅助表面200的对准。

直立构件140包括第一或上端140A，与上端140A相对的第二或下端140B，在端部140A和140B之间延伸的第一或前侧140C，以及与前侧140C相对并且还在端部140A和140B之间延伸的第二或后侧140D。构件140的下端140B联接到基部120的后端120B，使得构件140从支撑表面15基本上向上延伸。

顶部160包括第一或近端160A，与近端160A相对的第二端或远端160B，在端部160A和160B之间延伸的顶表面160C，以及与顶表面160C相对并且还在端部160A和160之间延伸的底表面160D。顶部160的近端160A联接到直立构件140的上端140A，使得远端160B从直立构件140的上端140A向外延伸。因此，在图2所示的示例中，顶部160在端部160A(而不是端部160B)处被支撑，并且在本文中可被称为悬臂顶部。在一些示例中，基部120，构件140和顶部160可以整体形成。在其他示例中，基部120，构件140和顶部160中的两个或更多个可以由单独的部件形成(即，不是被整体形成)。

触敏表面200可以包括中心轴或中心线205，第一或前侧200A，以及与前侧200A轴向相对的第二或后侧200B。触敏表面200可以包括用于检测作为触摸输入的与表面200的物理接触的任何合适的技术。例如，触敏表面200可以包括任何合适的技术，用于检测(并且在一些示例中跟踪)用户的一个或多个触摸输入以使得用户能够经由这样的触摸输入与由设备150或者另一计算设备执行的软件交互。在本文所述的示例中，触敏表面200可以是任何合适的触敏平面(或基本上平面的)对象，诸如触敏垫，桌面，薄片等。在一些示例中，触敏表面200可以水平(或近似或基本水平)地设置。例如，表面200可以设置在支撑表面15上，支撑表面15可以是水平的(或近似或基本水平的)。

在一些示例中，表面200的全部或基本上全部可以能够检测如上所述的触摸输入。在其他示例中，小于全部的表面200可以能够检测如上所述的触摸输入。例如，表面200可以包括在小于全部的表面200上方延伸的触敏区域202，其中区域202能够检测如上所述的触摸输入。在其他示例中，区域202可以在基本上全部表面200上方延伸(例如，可以与表面200基本上毗连)。区域202可以基本上与轴205对准。

如上所述，表面200可以与结构110的基部120对准，以(例如，至少在***100的操作期间)有助于表面200的正确对准。在图1-7的示例中，表面200的后侧200B可以设置在基部120的凸起部分122和支撑表面15之间，使得后端200B与基部120的前侧120A对准，以有助于表面200与***100的其它组件的正确的总体对准(以及特别是区域202与***100的其它组件的正确对准)。在一些示例中，表面200可以与设备150对准，使得设备150的中心线155与表面200的中心线205基本对准。在其他示例中，表面200可以与设备150采用不同方式对准。

在一些示例中，表面200和设备150可以彼此通信地连接(例如，电耦合)，使得由表面200接收的用户输入可以被传送到设备150。表面200和设备150可以通过任何合适的有线或无线通信技术或机制(诸如像WI-FI，蓝牙，超声技术，电缆，电引线，电导体，具有磁保持力的电弹簧加载的伸缩探针等或其组合)彼此通信。在图1-7的示例中，设置在表面200的后侧200B上的暴露的电接触可以与基部120的部分122内的相应电伸缩探针引脚接合，以在***100的操作期间在设备150和表面200之间传送信息(例如，传递信号)。在这样的示例中，电接触可以通过相邻的磁体(位于基部120的部分122和表面15之间的间隙中)保持在一起，以磁性地吸引和保持(例如，机械地)沿着表面200的后侧200B设置的相应的铁和/或磁性材料。

参考图3，投影仪单元180包括外壳体182和设置在壳体182内的投影仪配件184。壳体182包括第一或上端182A，与上端182A相对的第二或下端182B以及内腔183。在图3的示例中，壳体182还包括联接或安装构件186，以(例如，至少在***100的操作期间)与设备150接合并支撑设备150。构件186可以是用于悬挂和支持如本文所描述的任何合适的计算设备150的任何合适的机制或设备。例如，构件186可以包括铰链，该铰链包括旋转轴，使得设备150可以围绕旋转轴(例如，由用户)旋转，以获得用于观察显示器152的期望角度。在一些示例中，设备150可以永久地或半永久地附接到投影仪单元180的壳体182。在一些示例中，壳体180和设备150可以一体地或整体地形成为单个单元。

参考图4，在一些示例中，当设备150经由壳体182上的安装构件186悬挂于结构110时，当从前面(即，基本上面向设置在设备150的前侧150C上的显示器152)观看***100时，投影仪单元180(即，外壳182和配件184这二者)可以基本上隐藏在设备150后面。另外，如图4所示，当设备150如上所述悬挂于结构110时，投影仪单元180(即，壳体182和配件184两者)以及由此投影的任何图像可以相对于设备150的中心线155基本上对准或居中。

再次参考图3，投影仪配件184设置在壳体182的腔183内并且包括第一或上端184A，与上端184A相对的第二或下端184B。上端184A接近壳体182的上端182A，而下端184B接近壳体182的下端182B。投影仪配件184可以包括用于从计算设备(例如，设备150)接收数据并投影2D和/或3D图像(例如，从上端184A投影出来)的任何合适的数字光投影仪配件。例如，在一些实施方式中，投影仪配件184可以包括一个或多个数字光处理(DLP)投影仪或硅基液晶(LCoS)投影仪，它们有利地是紧凑且功率高效的投影引擎，所述投影引擎能够具有多种显示分辨率和尺寸(诸如像具有4∶3纵横比的标准XGA分辨率(1024×768像素)或具有16∶10纵横比的标准WXGA分辨率(1280×800像素))。

在其中投影仪配件184能够将3D图像再现在触敏表面200或者显示设备152上能够再现3D图像的示例中，用户可以借助于或不借助于对应的光学滤波器或设备(例如，3D眼镜或护目镜)来观看所再现的3D图像。在再现3D图像时，设备150可以跟踪3D图像中所绘制的对象的位置和取向。在一些示例中，设备150可以维持3D图像中的每个个体或复合对象的更新的3D图像数据。在这样的实现中，可以从相应的一组3D图像数据再现3D图像中的每个对象或身影(例如，球，盒，树，人等)。在其他实现方式中，设备150可以维持对应于3D图像中的一切(例如，前景中的对象，背景，用户接口控件和活动对象)的单个3D图像数据集。维持对应的3D图像数据可以包括响应于移动，旋转或以其它方式改变3D图像中所绘制的对象的大小，取向，配置，位置或其他特性的用户输入来对3D图像数据进行改变。

在一些示例中，可以通过触敏表面200，鼠标，手写笔或传感器束164接收用户输入。用户输入可以指示对3D图像中的对象的位置，取向，旋转，大小，倾斜，形状等等的改变。本公开的各种实现包括检测触敏表面200和传感器束164之间的区域中指示对3D图像的期望改变的手和/或手指的姿势的功能。这样的实现提供了直观和自然的用户接口，用于快速和高效地与对象的3D图像交互和控制对象的3D图像。

在一些示例中，为了观看所再现的3D图像，用户可以使用与由投影仪配件164使用的3D投影的类型相对应的一副眼镜来再现3D图像。例如，对于使用偏振光的交替或同时投影的3D方法，3D眼镜可以包括适当的线性或圆形偏振滤光器。这种3D眼镜可以是无源的。可替换地，在随着时间的变化交替地投影右透视图像和左透视图像的***中，3D眼镜可以根据在该特定时间再现的图像同步地阻挡从一只眼睛或另一只眼睛的观看。这种3D眼镜通常是有源的，并且需要电源来交替允许在特定时间看见的那只眼睛并且与设备150同步。

投影仪配件184进一步通信地连接(例如，电耦合)到设备150，以便从设备150接收数据并且基于接收的数据从端部184A产生(例如投影)光和图像(多个)。投影仪配件184可以经由例如任何合适类型的电耦合或本文所述的任何其它合适的通信技术或机制通信地连接到设备150。在一些示例中，配件184可以经由电导体(多个)，WI-FI，蓝牙，光学连接，超声连接或其组合可通信地连接到设备150。在图1-7的示例中，设备150通过设置在安装构件186内的电引线或导体(例如，如上面关于表面200和基部120所描述的)通信地连接到配件184，当设备150通过构件186从结构110悬挂时，设置在构件186内的电引线接触设置在设备150上的对应引线或导体。

仍然参考图3，顶部160还包括折叠反射镜162和传感器束164。反射镜162包括沿着顶部160的底表面160D设置的高反射表面162A，并且定位成反射在操作期间从投影仪配件184的上端184A向表面200投射的光，图像(多个)等。反射镜162可以包括任何合适类型的反射镜或反射表面。在图1-7的示例中，折叠反射镜162可以包括作用是用于将从配件184发射的光向下折叠到表面200的标准前表面真空金属化铝涂覆的玻璃反射镜。在其他示例中，反射镜162可以具有复杂的非球面曲率，以充当相应的透镜元件以提供额外的聚焦能力或光学校正。

传感器束164包括至少一个传感器(例如，相机或其它类型的传感器)，以基于传感器束164和表面200之间的区域(例如，发生在所述区域中的活动)的状态来检测，测量或以其他方式获取数据。传感器束164和表面200之间的区域的状态可以包括表面200上或表面200上方的对象(多个)，或者表面200上或附近发生的活动(多个)。在图3所示的例子中，束164包括红-绿-蓝(RGB)相机164A(或另一类型的彩色相机164A)，IR相机164B，深度相机(或深度传感器)164C和环境光传感器164D。在本文描述的示例中，相机可以被称为“传感器”

在一些示例中，RGB相机164A可以是捕获彩色图像(例如，静止图像和视频中的至少一个)的相机。在一些示例中，RGB相机164A可以是根据RGB颜色模型捕获图像(所述图像在本文中可被称为“RGB图像”)的相机。在一些示例中，RGB相机164A可以采用相对高的分辨率捕获图像，所述相对高的分辨率诸如像大约多倍兆像素(MP)的分辨率。作为示例，RGB相机164A可以采用14MP的分辨率捕获彩色(例如，RGB)图像。在其他示例中，RBG相机164A可以采用不同分辨率捕获图像。在一些示例中，RGB相机164A可以指向表面200，并且可以捕获表面200的图像(多个)，设置在表面200和RGB相机164A之间(例如，在表面200上或上方)的对象(多个)或其组合。

IR相机164B可以是这样的相机，用以检测相机164B的视场中的多个点处的IR光的强度。在本文所描述的示例中，IR相机164B可以与***100的IR光投影仪166(参见图7)结合操作以捕获IR图像。在这样的示例中，每个IR图像可以包括多个像素，每个像素表示在由该像素表示的点处检测到的IR光的强度。在一些示例中，***100的顶部160可以包括用于朝向表面200投射IR光167的IR光投影仪166(参见图7)，并且IR相机164B可以指向表面200。在这种示例中，IR相机164B可以检测由表面200、设置在表面200和IR相机164B之间(例如，在表面200上或上方)的对象或其组合反射的IR光的强度。在一些示例中，IR相机164B可以排他地检测由IR光投影仪166投射的IR光167(例如，从表面200，对象(多个)等反射的光，或直接接收的光)

深度相机164C可以是用于检测深度相机164C的视场中的对象(多个)的部分的相应距离(多个)(或深度(多个))的相机(传感器(多个)等)。如本文所使用的，由深度相机检测的数据在本文中可被称为“距离”或“深度”数据。在本文所描述的示例中，深度相机164C可以捕获多像素的深度图像(例如，深度图)，其中每个像素的数据表示在由像素表示的点处的对象的一部分的距离或深度(从相机164C测量的距离或深度)。深度相机164C可以使用任何合适的技术(诸如立体视觉相机(多个)，具有大量均匀红外光的单个IR相机传感器，具有大量均匀红外光的双IR相机传感器，结构化的光深度传感器技术，飞行时间(TOF)深度传感器技术或其组合)来实现。在一些示例中，深度传感器164C可以指示对象(例如，3D对象)何时在表面200上。在一些示例中，深度传感器164C可以检测放置在表面200上的对象(或其部分)的存在，形状，轮廓，运动和相应的距离(多个)中的至少一个。

环境光传感器164D可以被布置成测量***100周围的环境中的光的强度。在一些示例中，***100可以使用传感器164D的测量来调整***100的其他部分，诸如像***100的传感器或相机(例如，相机164A-164C)的曝光设置，从***100的光源(例如，投影仪配件184，显示器152等)发射的光的强度等

在一些示例中，传感器束164可以省略传感器164A-164D中的至少一个。在其他示例中，除了传感器164A-164D之外，或者代替传感器164A-164D中的至少一个，传感器束164可以包括其他相机(多个)，传感器(多个)等。例如，传感器束164可以包括用户接口传感器，该用户接口传感器包括用于跟踪用户输入设备(例如手，手写笔，定点设备等)的任何合适的设备(多个)(例如，传感器(多个)，相机(多个))。在一些示例中，用户接口传感器可以包括一对相机，它们被布置为在用户在表面200周围(例如，在表面200的区域202周围)移动用户输入设备(例如手写笔)时，立体地跟踪用户输入设备的位置。在其他示例中，用户接口传感器可以附加地或替代地包括被布置为检测由用户输入设备发射或反射的红外光的IR相机(多个)或传感器(多个)。在一些示例中，传感器束164可以包括姿势相机，用以检测由对象(多个)(例如，手等)对预定义姿势的执行。在一些示例中，姿势相机可以包括深度相机和附加功能，用于检测，跟踪等相对于传感器束164不同类型的运动随时间的距离或位置。

在本文所述的示例中，束164的每个传感器164A-164D通信地连接(例如，耦合)到设备150，使得在束164内产生的数据(例如，由相机捕获的图像)可以被提供给设备150，并且设备150可以向传感器束164的传感器(多个)和相机(多个)提供命令。束164的传感器164A-164D可以经由任何合适的有线或无线通信技术或机制(它们的例子如上所述)通信地连接到设备150。在图1-7的示例中，电导体可以通过设置在安装构件186内的引线(如上所述)从束164通过顶部160，直立构件140和投影仪单元180被布线到设备150中。

参考图5和6，在***100的操作期间，投影仪配件184可以投射可见光187以反射离开反射镜162而奔向表面200，从而在表面200的投影仪显示空间188上显示可见的2D和3D图像。在图5-6的示例中，空间188可以是基本上矩形的，具有长度188L和宽度188W。在一些示例中，长度188L可以是大约16英寸，而宽度188W可以是大约12英寸。在其他示例中，长度188L和宽度188W可以具有不同的值。

在一些示例中，传感器束164的相机(例如，相机164A-164C)被布置在***100内，使得每个相机的视场包括表面200的空间168，空间168可以与一些或全部显示空间188相重叠或者可以与显示空间188毗连。在本文所描述的示例中，传感器束164的相机(例如，相机164A-164C)的视场可以被说成包括空间168，不过这是在表面200可以至少部分地被表面200上或表面200上方的对象(多个)遮挡的时间。在这样的示例中，表面200上或上方的对象(多个)可以处于在相机164A-164C中的至少一个的视场中。在这样的示例中，传感器束164的传感器可以基于传感器束164和表面200的空间168之间的区域(例如，发生在所述区域中的活动，设置在所述区域中的对象(多个))的状态来获取数据。在一些示例中，空间188和空间168这二者与表面200的区域202重合或对应，使得触敏区域202，投影仪配件184和传感器束164的功能全部相对于相同的限定区域执行。在图7中示意性地示出了传感器束164的相机(例如，相机164A-164C)的视场165。在一些示例中，传感器束164的相机(例如，相机164A-164C)的每个可以具有略微不同的视场。

参考图5-7，设备150可以指示投影仪配件184将图像(多个)投影到表面200上(例如，投影到区域202上)。设备150还可以在显示器152上显示图像(多个)(所述图像可以与投影仪配件184投影到区域202上的图像相同或不同)。配件184投影的图像(多个)可以包括由设备150执行的软件产生的信息和/或图像。在一些示例中，通过以任何合适的方式，诸如利用用户的手35(例如，经由触摸，轻敲，姿势或其他触摸输入)，利用手写笔或者经由任何其它合适的用户输入设备(多个)物理地使触敏表面200接合，用户可以与投影在表面200上并且显示在显示器152上的图像(多个)交互。如上所述，触敏表面200可以检测经由与表面200的物理接合的这种交互。此外，在一些示例中，配件184还可以(至少部分地)将图像(多个)投影到设置在表面200上方的对象35(例如，如图5所示的手35)上。在其他示例中，用户可以通过在传感器束164中的相机的视场内做出一个或两个用手做的姿势来与投影在表面200上并且显示在显示器152上的图像(多个)进行交互。在这种示例中，传感器束中的一个或多个相机可以对用户的手或者多手随时间的对象和相对3D位置和/或外形(例如，手指指向，手掌向上或手掌向下等)进行成像。如本文所使用的，术语“手”可以指用户可以用其做出姿势的任何对象。例如，手可以包括指针，手写笔，假肢，手指或任何其他合适的肢体或工具。

设备150然后可以分析图像以识别，定位和/或跟踪手的各种元素(例如，手指尖，手背，手掌等)以识别由用户做出的姿势。例如，设备150可以执行指令，所述指令使得在设备150上实例化的3D操纵引擎170来识别和定位指尖的位置，然后识别食指和拇指姿势之间的捏合运动。取决于识别的姿势与什么功能或多个什么功能相关联，3D操纵引擎170可以更改所显示的图像的图像数据，然后指示投影仪配件184更改对应于更改的图像数据的再现图像。例如，捏合姿势可以指示用户想要选择在与姿势的3D位置相对应的3D位置中再现的对象的特定图像。这样的指示可以与选择功能相关联，选择功能指示所再现的3D对象现在被选择并且任何进一步用户输入指向所选择的对象。例如，只要食指和拇指处于捏合位置中，3D操纵引擎170可以识别可以与其他上下文指示符相关联(例如，与用户，对象或使用场景相关联)的其他姿势。例如，当捏合姿势被识别并与所选择的对象相关联时，3D操纵引擎170可以识别整个手35的移动，以指示应该执行移动功能以更改图像数据，使得所选择的对象的再现图像根据手35的移动而被移动(例如，被移位或被颠倒左右或上下，旋转等)。一旦捏合姿势被识别为被释放，则3D操纵引擎170可以把后续识别的姿势关联为与其他再现的3D图像相关联。这种说明性的实现方式和其它实现方式在下文中参照图5-7更详细地描述。

图5-6描述了一个说明性示例，其中3D操纵引擎170识别手35的姿势以操纵对象510的3D图像及其对应的图像数据。如所示的，投影仪配件184可以在触敏表面200或其他表面上投影对象510(例如，3D矩形棱镜)的图像，使得所述图像在区域187内的第一位置501处表现为3D图像。再现的3D对象510扫描的位置与某一组3D坐标(例如，xyz坐标)相关联，和/或位置501可以由对应于图像510的图像数据定义。一旦图像510或其他图像被投影，用户可以将手35放置到由区域189限定的传感器束164中的传感器的视场中。

如上所述，传感器束164中的一个或多个传感器可以检测手35。手35的检测可以包括生成对应于手35的尺寸，位置，取向和外形的传感器数据。在该特定示例中，示出了手35，其中食指伸展，而其他手指在拇指下卷曲。基于传感器数据，3D操纵引擎170可以确定手35，并且更具体地，手35的手指在位置501处的对象510附近做出“指向姿势”。基于识别的在位置501处的图像510的附近中的指向姿势，3D操纵引擎170可以确定可以对对应于对象510的图像数据执行的一个或多个预定或上下文确定的功能或运算符。如所示的，当手35的手指被识别为朝向对象510移动时，3D操纵引擎170可以识别可以指示用户想要将对象510推到另一位置的“推动姿势”。

在图5和图6所示的情况下，3D操纵引擎170可以发起功能(诸如发起对设备150中的一个或多个其他引擎或模块的功能调用)，以随着手35的手指沿着由传感器束164中的传感器检测到的路径520移动，将对象510的图像与手35的手指一起从位置501移动到503。如所示的，对象510还可以随着它被移动到位置503或当它位于位置503时根据所识别的推动姿势改变取向(例如，旋转，自转等)。例如，当手指的指向姿势被确定为正在可能扭转矩形棱镜对象510的尖端或边缘的方向上移动时，则相应的功能或运算符可以更改基础图像数据，使得矩形棱镜对象510围绕一个或多个轴旋转。

图5和图6图示了由3D操纵引擎170参考对应于由投影仪配件184或显示器152再现的3D图像的图像数据检测和识别的姿势。图7描绘了其中3D操纵引擎170可以独立于图像数据或者参考3D用户接口控件元件(例如，按钮，滑块，单选按钮等)来识别姿势的情景，所述3D用户接口控件元件表现为显示在触敏表面200周围的空间中。尽管参考用户接口控件元件识别姿势类似于参考图像数据识别姿势，但是它是一种特殊情况。

例如，用户接口控件元件可以不被更改，但是当某些姿势被识别处于用户接口控件元件附近中时，某些姿势可以被解释为操作所述控件的指示。例如，当上述推动姿势被识别处于特定用户接口按钮附近中时，上述推动姿势可以使得3D操纵引擎170发起操作按钮的功能。在另一示例中，如果3D操纵引擎170识别其中手35的手指沿着按钮或滑动条(未示出)附近中的路径521移动的圆形运动姿势，则它可以发起某一控件元件特定功能，诸如复位按钮或沿滑动条移动滑块。在替代方案中，当3D操纵引擎170识别在不处于距对象510的图像或用户接口控件元件的阈值距离内的区域中沿着路径521的手35的手指的圆形姿势时，3D操纵引擎170可以解释所述姿势以指示应当启动某个其他姿势特定功能。例如，沿着路径521的圆形手指姿势可以指示执行保存功能或者应当发起新的3D对象的扫描。

虽然在图5-7中仅描绘了一只手35，但是本公开的示例实现可以扩展到使用多个手接触或不接触触敏表面200的姿势的检测和识别。传感器束中的传感器可以实时地更新传感器数据以跟踪手35随时间的移动。3D操纵引擎170可以分析传感器数据以检测或识别由手35做出的姿势。当识别出姿势时，3D操纵引擎170可以发起或执行一功能，所述功能使基础图像数据被改变并且使作为结果的再现图像被更新或更改。在一些示例中，来自触敏表面200的触摸输入信息可以被提供给3D操纵引擎170(或由3D操纵引擎170实现的或为3D操纵引擎170实现的应用或服务)，它可以结合由传感器束164中的一个或多个传感器检测到的传感器数据和/或识别的姿势来解释触摸输入，和/或将触摸输入传递到在设备150上执行的操作***(OS)。在一些示例中，OS可以将接收到的触摸输入和/或传感器数据传送到在设备150上执行的另一应用(例如，程序等)。作为响应，执行的OS或应用可以更改由投影仪配件184投影的图像(多个)，显示在显示器152上的图像(多个)，或其组合。如本文所使用的，“应用”，“计算机应用”或“服务”是可由处理资源执行的机器可读指令的集合。在一些示例中，用户可以类似地与显示器152(它可以是触敏显示器)上显示的图像(多个)或设备150的任何其他输入设备(例如，键盘，鼠标等)交互。

在一些示例中，传感器束164的传感器(例如，相机)还可以生成***输入，该***输入可以被提供给设备150用于进一步处理。例如，***100可以利用束164的相机(多个)来检测特定用户的手35或手写笔的存在和位置中的至少一个，并且向设备150提供表示检测到的信息的***输入信息，设备150可以识别用户。

所提供的***输入信息可以被传递到由设备150执行的OS和应用中的至少一个，并且可以更改由***100显示的图像(多个)，如上文关于与所识别的用户相关联的触摸输入或识别的姿势所描述的。例如，束164可以包括被布置为执行(例如，手写笔的)手写笔识别和立体手写笔跟踪的一对相机或传感器。在其他示例中，手写笔包括尖端，所述尖端被涂覆有红外回射涂层(例如，涂料)，使得尖端可以用作红外回射器。这种回射涂层可以包括可辨别的图案或标识符，设备150可以使用该图案或标识符来标识用于识别特定姿势和/或发起用户优选功能的用户简档或预设集。在一些示例中，传感器束164的传感器可以用于通过检测用户特定的手姿势，热签名，指纹等来识别特定用户的手。

在这种示例中，束164可以包括如上所述的IR相机(多个)(或传感器(多个))，所述IR相机(多个)检测从手写笔或手35反射的IR光以使得设备150能够跟踪跨过区域202的位置。在一些示例中，表面200(具有由配件184投影在其上的图像(多个))可以用作***100内的第二或替代的触敏显示器。此外，可以通过使用如上所述的传感器束164的传感器来增强与显示在表面200上的图像(多个)的交互的检测。

在一些示例中，***100可以捕获物理对象2D图像(多个)或创建物理对象的3D扫描，使得对象的图像然后可以被投影到表面200上以供进一步使用和操纵它。例如，如图5和图6所示，对象40可以放置在表面200上，使得束164的传感器(例如，相机164A-164C中的至少一个)可以检测对象40的位置，维度和颜色中的至少一个，以增强2D图像(多个)或创建它的3D扫描。在这样的示例中，由束164的传感器收集的信息可以被提供给设备150(例如，设备150的OS，应用，服务等)，如上所述。由束164的传感器收集的信息可以采用各种开放源和专有文件格式被处理和保存为2D或3D图像数据。保存的图像数据可以立即使用或者本地保存或远程保存以供将来使用。在一些示例中，由传感器束164获得并由设备150处理的图像数据可以单独使用或与先前从传感器束164或某个其它源(例如，本地或远程数据存储上的图像数据的知识库)获得的其他数据结合地使用。在再又其他实施例中，传感器束不需要用于获得任何图像数据。更确切地说，可以获取先前保存的图像数据文件并将其加载到设备150的存储器。

在一些示例中，在接收图像数据之后，设备150(例如，OS，应用，服务等)可以再现对象40的2D或3D图像510并引导投影仪配件184将对象40的2D或3D图像510投影到表面200上。对象40可以是例如智能手机，书，文档，照片或任何其他物理对象。在一些示例中，一旦通过束164的传感器扫描了对象(多个)，则可以(例如，经由如下所述的分割处理)去除表示对象的图像的背景，并且前景对象的作为结果的图像可以被投影到表面200上(或显示在显示器152上)。在这样的示例中，物理对象(例如，对象40)的图像可以被捕获，被处理和被显示在显示器200上，以快速和容易地创建物理对象的数字版本，以允许对其进行进一步的操纵。

图8A是图1的包括3D操纵引擎170的计算***100的一部分的框图。特别地，图8A图示了计算设备150的示例，所述计算设备150包括3D操纵引擎170并且被通信地连接到传感器束164的至少一个相机(例如，相机164A)(如上所述)和投影仪配件184(如上所述)。尽管在图8A中未示出，但是计算设备150还可以通信地连接到上述***100的其他组件。

计算设备150(或实现3D操纵引擎170的任何其他计算设备)可以包括至少一个处理资源。在本文描述的示例中，处理资源可以包括例如一个处理器或多个处理器，所述一个处理器或多个处理器被包括在单个计算设备中或跨过多个计算设备被分布。如本文所使用的，“处理器”可以是以下项中的至少一个：中央处理单元(CPU)，基于半导体的微处理器，图形处理单元(GPU)，被配置为获取和执行指令的现场可编程门阵列(FPGA)，适合于获取和执行存储在机器可读存储介质上的指令的其他电子电路，或其组合。

如上所指出的，在图8A的示例中，计算设备150包括3D操纵引擎170。在其他示例中，3D操纵引擎170可以包括附加引擎(多个)。在图8B的示例中，例如，3D操纵引擎170包括3D图像数据分析引擎172和传感器数据分析引擎174。在一些示例中，3D操纵引擎170可以包括图8B中未示出的附加引擎(多个)。包括3D操纵引擎170的计算设备150还可以通信地连接到触敏表面200。

在本文所描述的示例中，计算设备150的任何引擎(多个)(例如引擎170，172，174等)可以是硬件和编程的任何组合，用以实现相应的功能。硬件和编程的这种组合可以采用多种不同的方式来实现。例如，编程可以是存储在非暂时性机器可读存储介质上的处理器可执行指令，并且硬件可以包括用于执行那些指令的处理资源。在这样的示例中，机器可读存储介质可以存储当由处理资源执行时实现引擎的指令。存储指令的机器可读存储介质可以与执行指令的处理资源被集成在相同的计算设备(例如，设备150)中，或者机器可读存储介质可以与计算设备和处理资源分离，但可被计算设备和处理资源。处理资源可以包括一个处理器或多个处理器，所述一个处理器或多个处理器被包括在单个计算设备中或跨过多个计算设备被分布。

在一些示例中，指令可以是安装包的一部分，安装包在安装时可以由处理资源执行以实现***100的引擎。在这样的示例中，机器可读存储介质可以是便携式介质(诸如光盘，DVD或闪存驱动器)，或可以是由可以从其下载和安装所述安装包的服务器维护的存储器。在其他示例中，指令可以是已经安装在包括处理资源的计算设备(例如，设备150)上的一个或多个应用的一部分。在这样的示例中，机器可读存储介质可以包括诸如硬盘驱动器，固态驱动器等的存储器。

如本文所使用的，“机器可读存储介质”可以是包含或存储诸如可执行指令，数据等的信息的任何电子，磁，光或其他物理存储设备。例如，本文描述的任何机器可读存储介质可以是存储驱动器(例如，硬盘驱动器)、闪存、随机存取存储器(RAM)、任何类型的存储盘(例如，光盘，DVD，等等)等、或其组合中的任何项。此外，本文描述的任何机器可读存储介质可以是非暂时性的。

计算***100的示例包括触敏表面200，用以检测触敏表面200的位置处的触摸输入，如上所述。如本文所使用的，“触摸输入”可以是触敏表面与可以由表面检测到的对象(例如，手指，手写笔等)之间的至少一个物理接触(或其他物理交互)。触摸输入可以由手35和表面200之间的物理接触提供。在其他示例中，触摸输入可以由任何其他合适的对象35通过接触来提供。

如上所述，计算***100可以包括传感器束164，传感器束164包括指向触敏表面200的至少一个相机。在图7的示例中，计算设备100可以包括指向表面200的RGB相机164A(例如，RGB相机164A)。相机164A可以捕获表示对象35(例如，手)的图像，对象35设置在相机164A和触敏表面200之间并处于相机164A的视场165内。

在图5-7的示例中，3D操纵引擎170可以识别至少一个对象和/或检测可以与由投影仪配件184投影的一个或多个2D或3D图像相关的一个姿势。如本文所使用的，“姿势”可包括对象(例如手，手指，手写笔等)的可识别移动，所述对象被预先确定或被动态确定为与一个或多个图像交互或以其它方式操纵所述一个或多个图像，所述一个或多个图像由设备150在显示器152上再现或者基于图像数据使用投影仪配件184再现。

如上所述，计算***100可以包括传感器束164中的多个不同类型的相机。在一些示例中，计算***100可以利用不同类型的相机来捕获多个图像，每个图像表示被布置在触敏表面200和用于捕获图像的相应相机之间的对象。在一些示例中，多个相机中的每一个可以是RGB相机164A，IR相机164B，深度相机164C，姿势相机或某个其他类型的相机中的一个。例如，如图8B所示的，计算***100可以包括计算设备150，计算设备150通信地连接到RGB相机164A，IR相机164B，深度相机164C和触敏表面200中的每一个。在这样的示例中，相机164A-164C中的每一个可以指向表面200并且可以捕获表示布置在相应的相机和表面200之间的对象的相应图像。

图9是用于识别与3D图像交互并操纵3D图像的姿势的另一示例计算设备350的框图。计算设备350可以是上面关于图1-8描述的设备150的另一示例实现。在图9的示例中，计算设备350可以通信地连接到触敏表面200和相机164A-164C。相机164A-164C中的每一个可以设置在表面200上方并且指向表面200。计算设备350还可以包括处理资源310和包括(例如，编码有)指令321-326的机器可读存储介质320。在一些示例中，存储介质320可以包括附加指令。在其他示例中，本文关于存储介质320描述的指令321-326和任何其它指令可以存储在远离计算设备350和处理资源310但可被计算设备350和处理资源310访问的机器可读存储介质上。处理资源310可以获取，解码和执行存储在存储介质320上的指令以实现本文所描述的功能。在其他示例中，存储介质320的任何指令的功能可以采用电子电路的形式，采用在机器可读存储介质上编码的可执行指令的形式或采用其组合来实现。机器可读存储介质320可以是非暂时性机器可读存储介质。

在图9的示例中，指令321可以接收或以其他方式获取3D图像数据。可以从存储介质320或某个其它存储介质获取3D图像数据，或者直接从相机164A-164C中的一个或多个或从另一应用340接收3D图像数据。指令322可以基于3D图像数据来再现3D对象的图像并且将3D图像显示在显示器152上或者使用投影仪配件164将其投影在触敏表面200上。指令323接收和/或分析来自相机164A-164C中的一个或多个的传感器数据以识别姿势。指令324将所识别的姿势与3D数据中的信息相关。特别地，指令324可以基于所识别的姿势与由3D图像数据定义的一个或多个3D图像的视在位置的接近度或距离，将识别的姿势与特定功能相关。

例如，所识别的姿势可以被确定为包括手35和/或手的个别部分(例如，手指，手掌等)的移动的特定运动姿势。所识别的姿势可以与特定标识符或功能标识符相关联。在一些示例中，与所识别的姿势相关联的标识符可以具有全局意义，而不管它是在传感器束164和触敏表面200之间的区域中的何处被检测到的。在其他示例中，识别姿势的位置可以确定指示或执行了哪个功能或功能标识符。在这样的示例中，识别姿势的位置可以独立于被再现的3D图像。例如，靠近传感器束164的张开手掌的手35的扫动可以与“刷新”命令相关联，而在触敏表面200的表面附近的手的闭合拳头扫动可以指示或关联于“保存”命令。因此，这样的姿势可以是位置特定的，但是却独立于3D图像数据。

在其他示例中，所指示的功能不仅可以基于在传感器束164和触敏表面200之间的区域内识别的姿势的位置，它还可以取决于3D图像在用户所观看的相同区域中的视在位置，如上所述。在这样的示例中，3D图像在传感器束164和触敏表面200之间的区域中的视在位置可以由相应的3D图像数据的当前状态指示。这样的3D图像数据可以包括关于特定3D图像当前在或可以潜在地在显示器152上或由投影仪配件184再现时所处的位置，方向和放大的信息。例如，当特定姿势(诸如全张开手的扫动)在与3D图像数据中的特定3D图像相关联的位置或区域中被识别之时，所述特定姿势可以指示一功能(例如，删除功能)，所述功能与在与特定3D图像不相关联的位置或区域中识别出相同的姿势的情况下不相同。在一些示例中，任何姿势-功能关联可以是上下文特定的。因此，姿势-功能关联可以取决于特定位置，特定3D图像和/或做出姿势的特定用户，以及任何其他上下文指示符(例如，时间，日期，计算机***，用户偏好，学习的姿势等)。任何姿势-功能关联都可以定义特定的姿势场景。

如本文所使用的，“姿势识别场景”是用于经由计算***的一个或多个传感器向计算***提供基于姿势的用户输入的模式。在本文所描述的示例中，如果计算***要针对每个姿势识别场景(它在本文中也被称为“不同”姿势识别场景)不同地处理姿势识别，则姿势识别场景是不同的。在一些示例中，计算***100的多个不同姿势识别场景可以包括例如单手姿势场景，双手姿势场景，手写笔姿势场景，对象姿势场景和单手指或多手指姿势场景，如下所述。每个这样的姿势识别场景和作为结果的功能可以取决于位置，3D图像数据和/或用户。

每个姿势识别场景可以是不同的，并且导致特定功能或运算符要被识别以执行。因此，指令325可以响应于相关的姿势来执行操作。例如，发起操作可以包括生成命令或者功能调用，所述命令或者功能调用被关联于用所识别的姿势和其中所述姿势被识别的上下文所述指示的功能。在一些实施例中，命令或功能调用可以包括标识目标3D图像和/或对应的3D图像数据(例如，图像数据文件名或对象标识符)的信息。

指令326可以使得设备350或处理资源310再现更改的3D图像数据，或者将功能调用与更改的3D图像数据一起发送到3D图像再现功能344或某一其他应用340。在一些示例中，发送根据指令326发出的命令可以包括向3D图像再现功能344发送命令382，3D图像再现功能344可以是计算设备350的操作***或应用340的部分。因此，再现命令382可以包括特定图像数据和一个或多个功能或操作的指示，要在图像数据被再现为图像的同时或之前，对所述图像数据执行所述一个或多个功能或操作。例如，再现命令382可以识别与3D房屋相关联的特定3D图像数据文件，所述3D房屋被投影以便出现在传感器束184和触敏表面200之间的区域的右下象限中。除了识别与3D房屋相关联的3D图像数据文件之外，再现命令382可以包括放大功能和居中功能的识别，所述放大功能和居中功能将被执行，使得房屋的3D图像在传感器束184和触敏表面200之间的区域中被放大并且居中，使得用户可以看到更多细节。

一旦3D图像再现功能344处理再现命令382，它可以生成再现的3D图像和数据，并且将它提供给一个或多个应用340或操作***，使得它可以被发送到投影仪配件184和/或显示器152以被显示给用户。

图10是用于在具有3D显示能力的***100中使用基于姿势的命令与3D图像数据交互或操纵3D图像数据的示例方法1000的流程图。虽然下面参考图1-8和9的计算设备150描述了方法1000的执行，但是可以利用用于执行方法1000的其他合适的***(例如，具有计算设备350的***100)。另外，方法1000的实现不限于这样的示例。

在方法1000的框1010处，计算机***100可以从一个或多个源接收3D图像数据。在一个示例中，3D数据可以包括来自先前生成和保存的图像数据文件的图像数据和/或由传感器束164中的一个或多个相机检测的图像数据。如本文所述，3D图像数据可以包括如下信息，在框1020处，所述信息可以由计算机***100使用来使用显示器152或投影仪配件184(显示器152或投影仪配件184使用一种或多种3D显示技术)来再现相应的图像，使得图像看起来占据传感器束164和触敏表面200之间的空间的特定位置200。

在框1030，计算设备150或其某一组件可以从传感器束164中的一个或多个相机接收传感器数据。传感器数据可以包括与以下各项相关的颜色，IR和/或距离数据的任何组合：在传感器束164和触敏表面200之间的空间中的用户姿势的存在，位置和/或运动。

在框1040，计算设备150可以识别传感器数据中的姿势。在一些示例中，传感器数据可以包括以时间顺序组织的图像数据的帧。这样的图像数据可以包括电磁谱的可见光，IR，UV和其他宽和窄波带中的图像。计算设备可以比较图像数据中的帧之间的增量差异以辨别对象(例如手，手臂，手指姿势等)的移动。计算设备150然后可以使用对象的移动来识别姿势。在一些示例中，传感器数据可以包括位置数据。这种位置数据可以包括定义传感器束164的视场中检测到的对象的位置的一个或多个坐标。计算设备150可以分析位置数据的变化以确定识别的姿势的3D方向性。因此，关于识别的姿势的信息可以包括运动的定义以及在其中检测到姿势的3D位置的定义，如上所述。

在框1050，计算设备150可以基于关于在3D图像数据的上下文中所识别的姿势的信息来确定命令。因此，当在3D图像数据中定义的特定对象附近识别出姿势时，相关联的命令可以发起一个功能，而在另一个对象附近识别的相同姿势可以与另一功能相关联。在一些示例中，每个可识别姿势可以指示特定功能，所述特定功能可以取决于在其中所述姿势被识别的位置和3D图像上下文。因此，用于与计算设备150提供的3D图像的一个或多个方面交互或操纵计算设备150提供的3D图像的一个或多个方面的每个功能或运算符可以与一组信息相关联，所述一组信息可以包括姿势标识符，位置和/或对象标识符。

在框1060，计算设备150可以向一个或多个其他设备发出命令，以发起与所识别的姿势相关联的功能。例如，在框1020处，可以激活3D操纵引擎170的功能以更改或更新基础3D图像数据，然后使用投影仪配件184发出适当的命令来再现/更新所更新的3D图像。如图10所示，响应于指示与3D图像交互或操纵3D图像的特定功能的姿势的继续识别，可以根据需要重复框1020至1060以处理对3D图像的实时或接近实时的改变。

尽管图10的流程图示出了某些功能的特定执行顺序，但是方法1000不限于该顺序。例如，流程图中连续示出的功能可以采用不同的顺序执行，可以同时执行或部分同时执行，或按照其组合地执行。在一些示例中，本文关于图10描述的特征和功能可以与本文关于图1至图9中的任一个所描述的特征和功能组合地提供。

这些和其它变化，修改，添加和改进可以落入所附权利要求(多个)的范围内。除非上下文另有明确说明，否则如本文在说明书中和随后的权利要求中使用的，“一个”和“所述”包括复数参考。此外，如本文在说明书中和随后的权利要求中所使用的，“在...中”的含义包括“在...中”和“在...上”，除非上下文另有明确指示。

Claims (15)

1.一种计算***，包括：

投影仪配件，用于将对应于三维图像数据的三维图像投影到表面上；

传感器，指向表面，用于产生在相机和表面之间的区域中检测到的对象的运动的传感器数据；和

3D图像操纵引擎，用于基于传感器数据识别姿势，并且基于在三维图像数据中定义的上下文和姿势来确定对三维图像执行的功能。

2.根据权利要求1所述的计算***，其中所述传感器数据包括对应于在所述相机和所述表面之间检测到所述运动所处的位置的坐标。

3.根据权利要求1所述的计算***，其中，所述上下文包括对应于投影在所述相机和所述表面之间的区域中的所述三维图像的位置的信息。

4.根据权利要求3所述的计算***，其中所述三维图像包括表示由所述传感器捕获的三维对象的图像和用户接口控件元件。

5.根据权利要求4所述的计算***，其中所述传感器包括彩色相机，红外相机和深度相机。

6.根据权利要求1所述的计算***，其中所述3D图像操纵引擎还基于所述传感器数据确定用户标识符，其中，确定要执行的功能进一步基于所述用户标识符。

7.根据权利要求1所述的计算***，其中所述对象是手，所述姿势包括手的姿势，所述表面包括触敏表面，并且所述传感器数据还包括对应于触摸所述触敏表面的手的触摸输入。

8.一种非暂时性机器可读存储介质，包括可由计算***的处理资源执行的指令，所述计算***包括指向触敏表面的投影仪配件和设置在所述触敏表面上方并指向所述触敏表面的传感器，所述指令可执行用以：

接收三维图像数据；

使用投影仪配件再现与三维图像数据对应的三维图像，其中三维图像表现为占据相机和触敏表面之间的三维区域；

从传感器接收对应于在相机和触敏表面之间的三维区域中检测到的对象的运动的传感器数据；

基于传感器数据识别姿势；和

将识别的姿势与三维图像数据相关；和

基于相关的识别姿势和三维图像数据确定用以更改三维图像数据的操作。

9.根据权利要求8所述的存储介质，还包括指令，可执行用以：

对三维图像数据执行操作以产生更改的三维图像数据；和

使用投影仪配件基于更改的三维图像数据再现更新的三维图像。

10.根据权利要求8所述的存储介质，其中，接收所述三维图像数据的指令包括使用所述传感器配件捕获三维图像数据的指令。

11.根据权利要求8所述的存储介质，其中，用于接收所述三维图像数据的指令包括从在所述处理资源上执行的应用接收所述三维图像数据的指令。

12.根据权利要求8所述的存储介质，其中，用于接收所述三维图像数据的指令包括从先前确定的图像数据的数据存储中获取所述三维图像数据的指令。

13.一种处理器实现的方法，包括：

基于三维图像数据再现三维图像；

接收对应于用户姿势的传感器数据；

基于传感器数据识别用户姿势；

基于所识别的用户姿势和所述三维图像数据确定功能；和

发起更新三维图像数据的功能。

14.根据权利要求13所述的方法，其中所述三维图像数据包括对应于在所述三维图像中表示的对象的对象位置信息，所述传感器数据包括与所述用户姿势相对应的用户姿势位置信息，以及确定功能进一步基于对象位置信息和用户姿势位置信息之间的相关。

15.根据权利要求13所述的方法，还包括使用传感器扫描对象以生成所述三维图像数据。