CN104898879B - 用于数据输入的方法及装置 - Google Patents

Abstract

本发明提供一种用于在电子数据输入设备上输入数据的方法及装置。在一种实施方式中，执行对输入对象的识别，所述输入对象例如用来致动按键区域的用户的特定的手指。确定与致动的按键区域和所使用的手指(或其他输入对象)相关联的符号。在其他实施方式中，在输入区域内提供虚拟输入设备，所述虚拟输入设备具有例如QWERTY类型键盘、电话键区和能够多触摸的触摸板或写字板的接口。在数据输入过程中，一个或多个视频捕获设备从输入区域远程采集致动信息。基于致动、它们的位置和已识别的引起致动的输入对象集，来确定用户输入的符号或功能。

Description

用于数据输入的方法及装置

本申请为一中国专利申请的分案申请。本申请的母案申请的申请号为201010183362.0，申请日为2010年5月26日，发明名称为“用于数据输入的方法及装置”，申请人为美国智能科技有限公司。并且，该母案申请是序号为No.11/361,858、申请日为2006年2月23日、发明名称为“METHOD AND APPARATUS FOR DATA ENTRY INPUT(用于数据输入的方法及装置)”的共同未决的美国专利申请的部分连续申请，并声明受益于序号为No.61/216993、申请日为2009年5月26日和序号为No.61/217649、申请日为2009年6月3日的美国临时专利申请。因此，本分案申请也相应同样受益于前述美国专利申请。

技术领域

本发明总体上涉及数据输入领域，特别地，涉及用于用户在设备中进行输入的方法及装置。

背景技术

如今，各种各样的计算机几乎涉及到人们生活的每个角落。基于计算机的技术被应用于汽车、电视、电话甚至手表。随着计算机变得更加便携、功能更加强大、价格更加便宜，技术已经使移动计算变得更为平常。由此，已经开发出了包含在各种压缩数据输入设备中的更多基于微处理器的计算单元。

在办公环境中，一般都通过公知的QWERTY键盘输入到电子数据输入设备，例如个人计算机。然而，由于QWERTY键盘的体积太大，需要额外的支持以空出双手来操作，因此，QWERTY键盘对于很多非办公环境或者移动使用的情况并不能很好地适用。

现在已经提出一些用于移动应用的可选择的输入方法。例如，已经提出使用迷你键盘，其中一些键盘甚至可以折叠以减少物理尺寸，由此增强便携性。然而，这些迷你键盘在很多打字情况下效率低下，难以使用，这是因为按键通常很小，并且紧紧地挤在一起。

现在也已考虑使用不同的键盘布局来减少键盘尺寸。一种提议是将一个键盘缩减为12个按键，通过多个击键的组合使按键能表示多达144个字符/功能。可供选择的尝试包括使用不同的键盘布局，来将使用最频繁的按键应用到便携设备，例如无线移动电话。然而，这种非传统的键盘通常很难学习和使用。因为大多数人一开始就学习在QWERTY键盘或者电话式样的键盘上打字，他们本能地会倾向于他们最初的训练，这使得他们很难去重新学习一些彻底偏离该最初的训练的东西。

语音辨识和手写辨识的方法已经尝试着在某些应用上中的传统数据输入提供可供选择的方案。手写输入方法通常基本上慢于传统的打字，而语音输入方法由于背景噪音和其他因素仍旧面临着很多挑战。此外，语音辨识***的使用在很多场合会打扰公众，并且经常缺乏私密性。

一种被称为“虚拟键盘”的输入设备通过将一个完全尺寸的QWERTY键盘的布局的激光图像投影到一个平坦表面，并允许用户在上面打字。这种设备需要一个单独的支持表面，并且在操作的过程中像所显示的传统的完全尺寸的键盘一样仍旧占用很大空间，用户仍旧需要双手操作以有效率地将数据输入到设备中。此外，激光投影仪需要相对较高的功率消耗。这样，这种虚拟键盘在移动环境中并不能够总是很好的适用。

发明内容

本发明旨在解决上述现有技术中存在的问题，具体来说，本发明提供一种在数据输入设备中确定虚拟输入的方法，包括：将输入符号或功能与所述数据输入设备的输入区域的相应致动参数相关联；将所述输入符号或功能分配给一组输入对象中相应的输入对象集；提供输入模块，并且利用所述输入模块对所述数据输入设备的至少一个输入区域执行远程数据采集；提供所述设备的处理器，并且利用所述处理器：根据所述数据采集确定由输入对象集引起的输入区域的致动；根据所述数据采集确定所述输入区域内的所述致动的至少一个参数；根据所述数据采集从所述一组输入对象中识别所述输入对象集；以及为致动的输入区域确定输入符号或功能，所述输入符号或功能与致动参数相关联，并且与所述输入对象集的识别相对应。

可选地，所述执行远程数据采集的步骤包括对数据输入设备的两个或更多个输入区域执行远程数据采集。

可选地，每个输入区域的位置被动态地设定，并且与参照物对象成固定的关系。

可选地，所述参照物对象包括以下项中的一种：(a)用户的脸；(b)手指的指关节；(c)用户的肩膀；和(d)用户的胸部。

可选地，所述数据输入设备的一组多个输入区域位于距参照物对象不同距离的分开的平行平面内。

可选地，所述数据输入设备的一组多个输入区域被配置为用来接收来自两个或更多个用户的输入，每个用户被分配给至少一个输入区域。

可选地，所述方法进一步包括：将每个输入区域分配给一组两个或更多个接收设备中相应的接收设备；以及提供数据输入设备的输出模块，并且利用所述输出模块将为致动的输入区域确定的输入符号或功能传送到其已分配的接收设备中。

可选地，所述输入对象集包括一个或多个手指。

可选地，所述执行远程数据采集的步骤利用单独的视频捕获设备。

可选地，所述执行远程数据采集的步骤利用两个视频捕获设备，包括：利用一个视频捕获设备执行数据采集以用于确定输入区域的致动已经发生，所述视频捕获设备贴近输入区域放置；以及利用另一个视频捕获设备或者利用两个视频捕获设备来执行数据采集以用于确定在输入区域内的至少一个致动参数以及用于输入对象集的识别。

可选地，所述执行远程数据采集的步骤利用配置来采集深度信息的非接触式传感器。

可选地，所述识别输入对象集的步骤利用一个或多个下述特征：(a)尺寸；(b)形状；(c)边缘；(d)静脉图案；(e)指甲颜色；(f)皮肤肌理和(g)肤色。

可选地，所述确定至少一个致动参数的步骤包括确定致动相对于参照物对象的相对位置。

可选地，所述参照物对象包括以下项中的一种：(a)用户的脸；(b)手指的指关节；(c)用户的肩膀；和(d)用户的胸部。

可选地，所述参照物对象包括以下项中的一种：(a)用户的手和(b)手掌。

可选地，所述确定输入区域内至少一个致动参数的步骤包括确定致动位置，并且，其中所述确定输入符号或功能的步骤包括为致动的输入区域确定与致动位置相关联且与输入对象集的识别相对应的输入对象或功能。

可选地，所述输入对象集包括至少两个手指，并且其中所述确定至少一个致动参数的步骤包括确定手指间的相对位置。

可选地，所述确定输入区域内至少一个致动参数的步骤包括确定输入对象集的姿势，并且其中所述确定输入符号或功能的步骤包括为致动的输入区域确定与输入对象集的姿势相关联以及与输入对象集的识别相对应的输入对象或功能。

可选地，所述确定输入区域内至少一个致动参数的步骤包括确定致动的位置和输入对象集的姿势，并且，其中所述确定输入符号或功能的步骤包括，为致动的输入区域确定如下输入符号或功能，所述输入符号或功能与致动的位置和输入对象集的姿势相关联，并与输入对象集的识别相对应。

可选地，输入区域提供虚拟作为键盘或键区起作用的虚拟接口，所述接口被划分为配置成由输入对象集致动的单独的按键区域，并且，其中所述输入区域的致动参数包括按键区域致动的单独位置，进一步地其中：将输入符号或功能与输入区域的相应致动参数相关联的步骤包括将输入符号或功能与按键区域致动的相应位置相关联；确定输入区域内的致动参数的步骤包括确定由输入对象集致动的按键区域的位置，以及确定输入符号或功能的步骤包括为致动的按键区域确定如下输入符号或功能，所述符号或功能与致动的按键区域相关联，且与输入对象集的识别相对应。

可选地，所述输入区域提供作为触摸板或键盘起作用的虚拟接口，并且，其中特定的致动参数和/或输入对象集被分配给触摸板或键盘输入符号和功能，并且进一步地，其中确定输入符号或功能的步骤包括确定相应的触摸板或键盘输入。

可选地，两个或更多个参照物对象被用来设置按键区域的位置，每个按键区域的位置被动态地设置，并且与相应的参照物对象成固定的关系。

可选地，所述相关联的输入符号和功能按照传统触摸打字的方法被单独地分配给相应的输入对象集。

可选地，所述相关联的输入符号和功能包括特殊的输入符号和功能，并且进一步地，其中所述确定输入符号或功能的步骤包括确定用于改变虚拟接口的操作模式的输入功能，来接收所述特殊的输入符号和功能。

可选地，所述致动的按键区域的位置的确定包括确定输入对象集的姿势，并且，其中所述确定输入符号或功能的步骤包括为致动的按键区域确定如下输入符号或功能，所述符号或功能与输入对象集的姿势相关联，并与输入对象集的识别相对应。

可选地，所述致动的按键区域的位置的确定包括确定致动相对于参照物对象的相对位置，并且，其中所述确定输入符号或功能的步骤包括为致动的按键区域确定如下输入符号或功能，所述符号或功能与致动的相对位置相关联，并与输入对象集的识别相对应。

可选地，所述输入区域的致动包括输入对象集的停止姿势，并且，其中所述确定输入符号或功能的步骤包括确定停止的功能。

可选地，输入区域提供作为具有增强的多触摸支持的触摸板或写字板起作用的虚拟接口，并且进一步地，其中所述确定输入符号或功能的步骤包括确定触摸板或写字板的输入。

可选地，所述执行远程数据采集的步骤利用单独的视频捕获设备。

可选地，所述方法进一步包括初始化数据输入设备的输入区域。

可选地，所述输入区域提供虚拟接口，并且其中该虚拟接口的位置在所述初始化输入区域的过程中被建立。

可选地，输入区域提供虚拟接口，并且其中确定输入符号或功能的步骤包括确定用于改变虚拟接口的操作的输入模式的输入功能。

可选地，所述确定输入区域致动的步骤包括检查输入对象是否越过阈值，所述阈值可视化为三维空间里的一个平面。

可选地，所述执行远程数据采集的步骤利用单独的视频捕获设备。

相应地，本发明还提供一种用于确定虚拟输入的数据输入设备，包括：用于存储信息的存储器单元，所述信息将单独的输入符号或功能与所述设备的输入区域的相应的致动参数相关联，其中输入符号或功能被分配给一组输入对象中相应的输入对象集；用于从所述数据输入设备的至少一个输入区域中远程采集数据的输入模块；处理器，用于：根据采集的数据确定由输入对象集引起的输入区域的致动；根据采集的数据确定在区域内的所述致动的至少一个参数；根据采集的数据从所述一组输入对象中识别所述输入对象集；以及为致动的输入区域确定如下输入符号或功能，所述输入符号或功能与致动参数相关联，且与所述输入对象集的识别相对应。

可选地，所述输入模块被用来从数据输入设备的两个或更多个输入区域中远程采集数据。

可选地，每个输入区域的位置被动态地设置，且与参照物对象成固定的关系。

可选地，所述参照物对象包括以下项中的一种：(a)用户的脸；(b)手指的指关节；(c)用户的肩膀和(d)用户的胸部。

可选地，所述数据输入设备的一组多个输入区域位于距参照物对象不同距离的分开的平行平面内。

可选地，所述数据输入设备的一组多个输入区域被配置来接收来自两个或更多个用户的输入，每个用户分配给至少一个区域。

可选地，每个输入区域被分配给一组两个或更多个接收设备中相应的接收设备，并且其中所述数据输入设备的输出模块用来将为致动的输入区域确定的输入符号或功能传送到其已分配的接收设备中。

可选地，所述输入对象集包括一个或多个手指。

可选地，所述输入模块用于利用单独的视频捕获设备来远程采集数据。

可选地，所述输入模块用于利用两个视频捕获设备来远程采集数据，包括：视频捕获设备中的一个被配置为执行数据采集以用于确定输入区域的致动已经发生，所述视频捕获设备贴近输入区域设置；以及另一个视频捕获设备或者两个视频捕获设备都被配置来执行数据采集以用于确定在输入区域内的至少一个致动参数以及用于输入对象集的识别。

可选地，所述输入模块用于利用非接触式传感器来远程采集深度信息。

可选地，所述处理器被用来利用一个或多个以下特征识别输入对象集：(a)尺寸；(b)形状；(c)边缘；(d)静脉图案；(e)指甲颜色；(f)皮肤肌理和(g)肤色。

可选地，所述处理器用于通过确定致动相对于参照物对象的相对位置来确定至少一个致动参数。

可选地，所述参照物对象包括以下项中的一种：(a)用户的脸；(b)手指的指关节；(c)用户的肩膀和(d)用户的胸部。

可选地，所述参照物包括以下项中的一种：(a)用户的手和(b)手掌。

可选地，所述处理器用于：通过确定致动位置来确定至少一个致动参数；以及为致动的输入区域确定如下输入符号或功能，所述输入符号或功能与致动位置相关联且与输入对象集的识别相对应。

可选地，所述输入对象集包括至少两个手指，并且其中处理器被用来确定至少一个致动参数，所述参数包括手指之间的相对位置。

可选地，所述处理器用于：通过确定输入对象集的姿势来确定至少一个致动参数；以及为致动的输入区域确定如下输入符号或功能，所述输入符号或功能与输入对象集的姿势相关联，且与输入对象集的识别相对应。

可选地，所述处理器用于：通过确定致动位置和输入对象集的姿势来确定至少一个致动参数；以及通过确定与致动位置和输入对象集的姿势相关联的，且与输入对象集的识别相应的输入符号或功能，为致动的输入区域确定输入符号或功能。

可选地，输入区域提供被配置为作为键盘或键区起作用的虚拟接口，所述接口被划分为配置用于由输入对象集致动的单独的按键区域，并且，其中所述输入区域的致动参数包括在所述输入区域内的按键区域致动的单独位置，并且其进一步地特征在于，其中：所述存储器单元用来存储将输入符号或功能与按键区域致动的相应位置相关联的信息，其中输入符号或功能被分配给一组输入对象中相应的输入对象集；所述处理器用于：通过确定由输入对象集致动的按键区域的位置来确定致动参数；以及通过确定与致动的按键区域相关联的、且与输入对象集的识别相对应的输入符号或功能，为致动按键区域确定输入符号或功能。

可选地，输入区域提供被配置为作为触摸板或键盘起作用的虚拟接口，并且其中致动参数和/或输入对象集被分配给触摸板或键盘输入符号和功能，进一步地，其中处理器通过确定相应的触摸板或键盘输入来确定输入符号或功能。

可选地，按键区域的位置基于两个或更多个的参照物对象而设置，进一步地，其中每个按键区域的位置被动态地设置，且与对应参照物对象成固定的关系。

可选地，相关联的输入符号和功能按照传统的触摸打字方法被单独地分配给相应的输入对象集。

可选地，所述相关联的输入符号和功能包括特殊的输入符号和功能，进一步地，其中处理器用于确定用于改变虚拟接口的操作模式的输入符号或功能，来接收所述的特殊符号和功能。

可选地，所述处理器用于：通过确定输入对象集的姿势来确定致动的按键区域的位置；以及通过为致动的按键区域确定与输入对象集的姿势相关联的、且与输入对象集的识别相对应的输入符号或功能，来确定输入符号或功能。

可选地，所述处理器用于：通过确定致动相对于参照物对象的相对位置来确定致动的按键区域的位置；以及通过为致动的按键区域确定与致动的相对位置相关联的、且与输入对象集的识别相对应的输入符号或功能，来确定输入符号或功能。

可选地，输入区域的致动包括输入对象集的停止姿势，并且其中所述处理器用于通过确定停止的功能来确定输入符号或功能。

可选地，输入区域提供被配置为作为具有增强的多触摸支持的触摸板或写字板起作用的虚拟接口，并且其中所述处理器用于通过确定触摸板或写字板输入来确定输入符号或功能。

可选地，所述输入模块用于利用单独的视频捕获设备来远程采集数据。

可选地，所述处理器进一步被用于确定所述设备的输入区域的初始化。

可选地，所述输入区域提供虚拟接口，其中所述虚拟接口的位置在所述初始化过程中被建立。

可选地，输入区域提供虚拟接口，其中所述处理器用于通过确定用于改变虚拟接口的输入操作模式的输入功能，来确定输入符号或功能。

可选地，所述处理器用于通过检查输入对象集是否越过阈值来确定输入区域的致动，所述阈值被可视化为三维空间内的一个平面。

可选地，所述输入模块用于利用单独的视频捕获设备来远程采集数据。

附图说明

在附图中，类似地参考标记在单独的附图中指代相同或者功能类似的元件，所述附图与下面的详细描述一起属于并形成说明书的一部分，它们用来进一步示例各种实施方式并用来解释根据本发明的各种原理和优点。

图1是示出了与一个数据输入设备的例子有关的组件的功能框图。

图2A示出了具有致动手指识别能力和软边界能力的数据输入设备的例子的一个实施方式的前视图。

图2B示出了图2A的数据输入设备例子的实施方式的侧视图。

图3是示出了用于致动手指或者致动对象识别过程的流程图。

图4示出了具有致动手指识别能力并提供虚拟输入方法的数据输入设备的例子。

图5是示出了根据本发明的一些实施方式的用于确定虚拟输入的过程的流程图。

图6示出了为接收虚拟输入利用单个的视频捕获设备的本发明的一个示例的实施方式。

图7示出了图6的实施方式中的视频捕获设备采集的图像例子。

图8示出了图6的实施方式中的视频捕获设备采集的一系列图像例子。

图9示出了图6的实施方式中的视频捕获设备采集的另一个图像例子。

图10示出了图6的实施方式中的视频捕获设备采集的又一个图像例子。

图11示出了图6的实施方式中的视频捕获设备采集的另一系列图像例子。

图12示出了本发明的一些实施方式中提供的虚拟QWERTY类型键盘接口。

图13示出了本发明的一些实施方式中提供的虚拟电话键区接口。

图14示出了本发明的一些实施方式中提供的虚拟触摸板或写字板接口。

图15示出了两个手指在本发明的一些实施方式中提供的虚拟触摸板或写字板接口上产生的多触摸动作。

图16示出了用于在传统的QWERTY键盘上触摸打字的手指-符号分配。

图17示出了根据本发明为适合虚拟输入的传统标准类型键盘的改进的版本的一部分。

图18示出了当致动图17的键盘的各种按键时食指的样例姿势。

图19示出了根据本发明为适合虚拟输入的传统标准类型键盘的改进的版本的另一部分。

图20示出了动态改变其相对于参照物的位置的虚拟键盘的一部分。

图21示出了为接收虚拟输入使用两个视频捕获设备的本发明的一个示例的实施方式。

图22示出了图21的实施方式的改进的版本。

图23示出了图22的实施方式的改进的版本。

图24示出了图23的实施方式的改进的版本。

图25示出了为接收虚拟输入利用两个视频捕获设备的本发明的另一个示例的实施方式。

图26示出了在一种配置中操作图25的实施方式中的较低的视频捕获设备采集到的样例图像。

图27示出了在另一种配置中操作图25的实施方式中的较高的视频捕获设备采集到的样例图像。

图28示出了为接收虚拟输入利用两个视频捕获设备的本发明的又一个典型实施方式。

图29示出了本发明的一个示例的实施方式，其中提供两个视频捕获设备，来分别采集虚拟键盘输入和虚拟多触摸输入。

图30示出了本发明的一个示例的实施方式，其中提供一个单独的视频捕获设备，来采集虚拟键盘输入和虚拟多触摸输入。

具体实施方式

总地来说，如上所述，本发明提供一种用于确定用户输入的符号或功能的装置和方法。本发明提供一种计算机实现的数据输入设备，所述数据输入设备具有一个关联的存储器，用来存储将符号或功能与所述数据输入设备的相应的按键区域相关联的信息。在存储器中，与单独的按键区域相关联的符号或功能被分配给相应的输入对象。数据输入设备的按键区域可能是各种形式的，例如键盘上的按键、对触摸敏感的区域、在二维空间里具有预先分配区域的虚拟按键区域或者在三维空间里具有已分配区域的虚拟按键区域。输入对象可以是任何能够用来敲击或者致动按键区域的对象，例如：用户手的一个或多个手指、手指的一部分、致动设备(例如触笔或者写字板笔)或者致动设备的一部分。这种计算机实现的数据输入设备包含一个处理器(例如微处理器)，用于确定哪个按键区域被致动、识别与按键区域的致动相关联的输入对象以及响应于对致动所述按键区域的输入对象的识别而输出相关的符号或者执行相关的功能。

在一个例子中，被识别的输入对象可能是用户手的一个(或多个)手指。与数据输入设备有关的装置可以利用一个或多个传感器来检测手指的特征，例如：尺寸、在二维或三维空间中的形状、边缘、静脉图案、指甲颜色、皮肤肌理、肤色、致动按键区域时的接触面积、致动按键区域时的压力或冲击力、致动按键区域时的接触声音、阻抗、电导、电容、电感、红外特征、超声特征、热特征、指纹或者一个或多个手指特征的衍生特征。可选地，一个或多个非手指输入对象(例如触笔、写字板笔或者其他与用户手指不同的致动设备或对象)可以被识别为致动一个按键区域。单个或者多个传感器可以被用来检测各种对象特征，例如：尺寸、二维或三维空间里的形状、边缘、颜色、表面肌理、致动按键区域时的接触面积、致动按键区域时的压力或冲击力、致动按键区域时的接触声音、阻抗、电导、电容、电感、红外特征、超声特征、热特征和一个或多个对象特征的衍生特征。

在本文参考图3公开的一个特定的实施方式中，数据输入设备利用了至少一个传感器来执行样本捕获，其中所述样本包含用于识别输入对象的特征。计算机实现的数据输入设备用于在捕获的样本上执行预处理操作，并从所述捕获样本中提取输入对象的至少一种特征。所述计算机实现的数据输入设备通过对提取的特征的识别来识别致动按键区域的输入对象，并选择与被识别为致动按键区域的所述输入对象相应的符号或功能。

在另一个例子中，数据输入设备存储器用于存储将与单独的按键区域有关的符号或功能分配给相应的可识别的区分对象的信息，所述可识别的区分对象可放置在输入对象上。可识别的区分对象具有至少一种特征，例如颜色、表面肌理、形状等，这些特征能被检测和被用来识别所述对象。如果输入对象包括用户的一个或多个手指，可识别的区分对象的例子可以包括：传感器、手套、戒指、开关、标签或者其衍生物。计算机实现的数据输入设备通过对加在输入对象上的可识别的区分对象的识别来识别致动按键区域的输入对象。作为对用于致动按键区域的输入对象的识别的响应，相应的符号被输出或者相应的功能被执行。

如此处所提供的，与数据输入设备的处理器相耦合的传感器可以用于识别致动按键区域的输入对象。可以选择性地应用各种传感器，例如接触式传感器、非接触式传感器、主动式传感器或者两种或两种以上的上述传感器的混合式传感器。例如：主动式传感器可用于通过将基准信号(例如电磁波信号或者超声波信号)投射到输入对象上并检测来自所述投射的基准信号的反馈，以此来检测输入对象。

计算机实现的数据输入设备的存储器也可以用于存储将(与按键区域有关的)符号或者功能分配到输入对象的相应的可识别的区分部分的信息。可识别的区分对象部分是输入对象的部分，其包括至少一种特征，例如颜色、表面肌理、形状等，所述特征能被检测和被用来识别输入对象的那一部分。数据输入设备识别输入对象的用于致动按键区域的部分，并响应输入对象部分的识别而输出符号或者执行功能。可选地，将按键区域的符号或者功能分配给相应的由输入对象所展示的用户配置的可变特征的信息被存储于存储器中。由输入对象所展示的用户配置的可变特征是一个对象的各种特征，其可以基于某个用户配置而改变。例如，触笔上的小屏幕可以根据用户按下了触笔上的哪个按钮而显示不同的颜色。计算机实现的数据输入设备识别输入对象当被用在致动按键区域时所展示的特征，并且响应由输入对象所展示的特征的识别，输出符号或者执行操作。

图1是一个示出了与计算机实现的数据输入设备100的一个实施方式的部分有关的组件的功能框图。作为数据输入设备100的一部分，提供一种计算机实现的***101，所述***101具有一个与相关联的计算机存储器组件耦合的处理器组件。特别地，在这个例子中，数据输入设备100具有一个处理器，例如微处理器102，其与存储器104耦合，作为计算机实现的***101的一部分。除此之外，所述数据输入设备100还具有输入模块106和一个可选择的输出模块108。上述各部分通过至少一组数据总线110直接或间接地耦合在一起。微处理器102执行存储于存储器104中的程序指令，包括涉及数据输入设备100的下层控制软件的指令，作为对通过输入模块106接收到的用户输入的响应。这种用户输入可以包括例如对作为在电子键盘上的机械结构的按键区域的敲击或致动、对触摸屏或触摸板上的软件配置的仿真按键的敲击或致动、以及对虚拟输入区域的致动，作为输入模块106的一部分来访问符号或功能。输入区域是一个在二维或三维空间里预先确定的区域。所述输入区域的位置一般关于某参考点或者参考对象固定，例如工作表面、脸、手、计算设备等。

微处理器102可以处理用户输入，并将处理结果发送到输出模块108，以将处理结果呈现给用户。处理结果例如可以以文本、图像、音频、视频的形式，或者以其他形式的反馈或动作呈现给客户，例如数据输入设备100与另一个设备进行通信。虽然输入模块106和可选择的输出模块108在图1的实施方式中是作为数据输入设备100的一部分所包括的组件，但它们还可以作为将数据输入设备100从单个物理单元隔离开的分离实体。需要注意的是，这里所描述的装置组件在附图中均用惯例的符号代表，只显示相关的细节特性，为的是不以如下细节模糊公开，所述细节对能从这里的描述获益的本领域普通技术人员来说是很容易明白的。应该理解到，数据输入设备可以提供于不同的例子中，例如个人计算机、个人数字助理(PDA)、电话、无线电话、遥控器、电子乐器、工程或医疗设备的控制台等，或者任何其他设备(其中通过该设备接收以供处理)。

致动对象识别技术运用于在此处所提供的数据输入设备的实施方式中，来确定哪个对象(例如用户手的一根手指)用于致动一个按键区域(例如一个按键)，以选择合适的用户输入符号或功能。按键区域是一个或多个符号或功能被分配于此的区域，这样，当手指或者某种其他具有可识别特征的对象被检测到在致动或者接触这个区域时，该区域所分配的符号或功能会被选择作为数据输入设备中的用户输入。按键区域的一些例子包括但不限于：分立的机械按键、触摸屏或触摸板上的软件配置的仿真按键和包含二维或三维空间中某个位置的虚拟按键区域。应该理解到，一个实际的分立按键的表面可以被认为是一个按键区域或者其中的一部分。

应用对象或手指识别技术来识别敲击或致动对象或用户手指实现了对数据输入设备或***中的输入符号或功能的确定。这种用来在击键中认出手指/对象的技术可以被称为敲击手指识别(TFI)技术。识别用户的一个特定的敲击对象或者手指与确定一个致动的按键区域(例如一个按键致动)一起可以减少在数据输入设备上所需要的按键或者按键区域的数目。在实现致动对象或手指识别技术的***中，在一个多符号主键或者按键区域内的符号选择，是由在击键中识别的相应的致动对象或手指所决定的。这就允许几个不同的按键区域(例如分立的按键，每一个按键都能输入一个或多个符号或功能)合并成一个，这样就减少了用于提供完全的键盘功能所需要的按键的数量。由于按键的数量减少了，按键的尺寸例如就可以增大，这样就使用户能有效率地将数据信息输入到基于计算机的设备或***中。这提供了一种用户友好的、布局紧凑的适用于手持和移动应用的数据输入设备。此外，将一个符号或功能输入数据输入设备中所需的击键次数也会减少，因为输入对象(例如致动设备或手指)在大多数情况下在单次击键中直接选择多符号按键或按键区域中相应的符号或功能。

用于识别致动手指的技术通常包括提取和匹配各种区分手指特征，例如手指皮肤肌理。由于相似的技术通常也能够用来提取和匹配非手指的对象的区分特征，例如对象表面肌理，因此接下来关于致动对象识别的描述将集中于敲击手指，尽管应该理解到这些描述也能很容易引申到非手指的敲击对象。

几种技术可以用来识别在数据输入设备的按键区域上执行致动的敲击手指或者对象。这些技术采用接触式传感器、非接触式传感器或者其某种结合来识别在击键中的敲击或者致动手指。在数据输入装置处的输入处理过程中，致动手指必须跟接触式传感器进行物理接触，以便于传感器检测与手指关联的相关特征。然而，非接触式传感器能够从较远的位置检测相关的手指特征。照相机和指纹传感器是两个普遍用于手指或对象识别的传感器的例子。指纹传感器是一种能够捕获生物指纹特征的传感器。例如，很多类型的指纹传感器是接触式传感器。照相机是一种运用可见光或红外光捕获静止的或运动的图片的光学传感器。光学传感器一般操作为非接触式传感器。

本发明进一步选择性地提供软边界来在共享的手指-击键组合中确定符号选择。软边界的位置是在两个相邻的符号或者符号对之间由软件定义的边界(即非物理按键边界)，其只有当特定的手指被识别为击键中的致动手指时才被选择性地解读。这些按键区域被可调整的边界位置划分，所述可调整的边界位置由存储于和数据输入设备有关的存储器104(图1)中的用户可配置的程序指令来定义。这样，通过检测按键区域何处被敲击，建立可调整的边界位置。相似的可调整的边界位置的概念可以于通常运用在PDA上的触摸屏或触摸板上的现有软件配置仿真按键中找到，除了在边界位置或存在的解读中不考虑致动手指或对象。每当一个按键区域被致动时接触式传感器或非接触式传感器可以被用来检测触摸区域的质心倾向于软边界的哪一边，以决定两个相邻的符号或者符号对中的哪一个被选择作为输入。

参考图2A和2B，显示了数据输入设备的一个示例的实施方式，其中击键是用来触发跟设备200的输入模块相关联的传感器，以识别用户的敲击或致动手指。图2A提供了设备200的一个前端透视图，图2B提供设备200的一个侧视图，所述输入模块配置有非接触式传感器208、发光二极管(LED)206、主键区204和位于主键区204下方的多个触发器202。用于定义五排按键的水平配置的软边界如图2A中的短划线所示，采用接触式传感器的单个大主键区204用来提供主要的按键功能，主键区204上的主按键的布局是可编程的。软边界可以设置在不同的位置，除了水平边界之外还可以包括垂直边界，来提供不同的按键区域的布局。在这个例子中，主键区204用来检测手指敲击的位置，从而基于接触区域的质心相对于软边界被检测的位置确定在一次击键中五个主按键中哪一个被敲击了。虽然在图2A和2B中描述的示例实施方式中的主键区204是触摸式传感器的一种类型，应该理解到主键区204还可以包含分立的机械按键。

图3是一张流程图，示出了数据输入设备(例如图2A和2B中的设备200)使用的用以确定响应于用户致动设备在一个多符号的主键或按键区域上哪个符号或功能被输入的过程。这个过程包括以下步骤：1)按键区域致动302，2)样本捕获304，3)预处理306，4)特征提取308，5)致动对象识别310，和6)输入符号或功能选择312。如本领域的技术人员将理解的，这种信息的接收和处理优选地由和如图1所示的基于计算机软件的数据输入设备100的相关联的存储器104共同操作的微处理器102来执行。例如，在如图2所示的数据输入设备200的操作过程中，位于主键区204下方的触发器202所确定的主键区204上的击键的检测是在步骤302中执行的。对于击键的检测将触发步骤304中由非接触式传感器208执行样本捕获。在这个例子中，被捕获的样本是一个静止的图像，该图像包含与致动对象有关的细节，例如用户的一个敲击手指。除了静止的图像，捕获到的样本在其他情况下可以包括可听信号(例如当致动对象接触按键区域时产生的冲击的声音)、动作视频、三维超声波地图等。在这种情况下，捕获到的图像在步骤306中经历一个或多个预处理操作，例如色彩平衡、亮度调节、锐化增强等。在步骤308中，致动对象的按键特征被提取。步骤306和308的顺序可以有选择地改变。例如，步骤308可以在步骤306之前实施，因为当只对提取的特征执行时，在步骤306中的预处理过程中将***作的数据量大大减少。基于步骤308中提取的特征，步骤310中进行致动对象的识别。在步骤312中，与所识别的致动对象相应的致动的按键区域相关联的多个符号或功能之一被选择来输入。在步骤314中，该处理确定额外的符号输入或功能是否需要被识别。如果在步骤314中手指识别处理继续的话，则步骤302到312被重复来确定额外的符号输入或功能。否则，操作可以被终止。

图4示出了具有传感器402和虚拟输入能力的数据输入设备400的一个示例实施方式。数据输入设备400确定哪一个虚拟按键区域被致动。一个非接触式传感器(例如传感器402)被用来识别预分配区域，输入对象(例如一根敲击的手指)位于此预分配区域中。在这个设备中，打字表面或虚拟键盘404是一个数据输入设备400中的可伸缩面板，其已被伸展出来。如图4所示，一系列标记406、408(例如以水平线的形式)显示在虚拟键盘404上，以在几行虚拟按键区域410、412和414之间区分。适用于在这个特定的数据输入设备中实现的传感器402是一种能够进行连续的、实时的视频捕获和分析的光学类型传感器(例如照相机)。传感器402监视手指的动作来检测击键事件，其特征是敲击手指的伸展随后缩回，导致当敲击手指与虚拟键区相接触时的一个短暂的停顿。传感器402然后从其捕获的实时视频中提取一个敲击事件的图形图像，并且确定敲击的位置来识别被致动的按键区域。传感器402在提取的图形图像中进一步检测敲击的手指。基于检测到的手指-位置的组合，接着在致动的按键区域上选择一个输入符号。图4描述的例子示出了用户的右手中指416正在虚拟键盘404上敲击中间按键区域412。如果需要，额外的标记可以加在面板上以提供额外的虚拟按键区域。

如前所述，提供的标记主要作为指导帮助用户在虚拟键盘上确立一个参考位置，并且可视化按键区域。去除标记和有形的打字表面(例如图4中的虚拟键盘404)可以使用户能够在任何位置(例如在半空中)自由地打字。悬浮在半空中的打字手的手指活动能被光学传感器处理，所述光学传感器能够进行连续的、实时的视频捕获和分析，这与图4中关于光学传感器402描述的过程类似。

本发明的一些实施方式中，图1中的输入模块106可以配置为用来接收来自虚拟设备的输入。在这些实施方式中，输入模块106可以利用一个或多个非接触式传感器来远程采集来自一个输入区域的致动信息，并且从一组输入对象(例如两个或多个输入对象)中识别一个致动输入对象集(一个输入对象或者多个输入对象的组合)。图5是一个流程图，示出了依照本发明的这些实施方式的用于确定虚拟输入的过程516。

过程516包括以下的步骤:1)对至少一个输入区域执行远程数据采集，其中每个输入区域提供一个虚拟设备；2)对数据采集执行预处理；3)根据数据采集确定由输入对象集导致的一个输入区域的致动；4)根据数据采集确定致动的参数；5)根据数据采集从分配给致动输入区域的一组输入对象中识别一个输入对象集；和6)为致动的输入区域确定一个与致动的参数相关联的和与输入对象组的识别相对应的输入符号或功能。

例如，在图1的数据输入设备100的操作过程中，输入模块106利用一个或多个视频捕获设备作为非接触式传感器来在一个指定的用于接收用户输入的输入区域进行远程采集数据，参照图5的步骤502。采集的数据可以包括例如输入对象的动作和位置信息，该对象例如是在一系列图像帧中捕获到的用户手的手指。在图5的过程516中的步骤504中，采集的图像帧可以经过一个或多个预处理操作，例如色彩平衡、亮度调节、锐化增强等。这些操作优选地由图1中的微处理器102执行。在步骤506中，通过确定由输入对象集引起的对输入区域的致动是否已经发生来继续执行过程。在此致动定义为在输入区域上或在输入区域内预分配的用户行为，所述行为被***解读为有效输入。一些致动的例子包括但不限于：在输入区域敲击手指以表示一次击键或者鼠标点击，在输入区域滑动手指以表示鼠标光标的移动，在输入区域内做特定的姿势(例如伸出食指和中指做“V”的姿势)以表示特定的指令。如果一个致动事件发生了，过程516在步骤508中使用下面即将描述的方法从致动的图像帧中进一步确定致动参数。一些致动参数，例如输入区域内的一个致动位置，可能具有与此相关联的多个输入符号或功能，其中每个符号或功能被分配给一组输入对象中相应的输入对象集。其他致动参数的例子包括但不限于：致动速度、致动过程中的输入对象集姿势和在致动过程中输入对象集的对象的相对位置和速度。在步骤510中，利用在步骤508中获得的信息，从分配来致动该输入区域一组输入对象中识别引起致动的对象集。例如，从分配来致动虚拟键盘的左边部分上的按键的用户左手的一组手指中识别敲击的中指。步骤512选择和致动参数(例如位置)相关联的和与引起致动的致动对象集相应的输入输入符号或功能。例如，基于对一个虚拟QWERTY键盘的中间行敲击的左手中指的识别，符号“D”被确认为输入。在步骤514中，过程516确定是否需要处理进一步的输入。如果步骤514中的输入过程继续执行的话，则步骤502-512被重复执行以确定另外的符号或功能。否则，操作可以被终止。虽然在上面的例子中，手指被用来作为输入对象，但是应该理解到，很多其他的对象(例如触笔、写字板笔等)也可以作为输入对象。

很多适合的虚拟输入设备可以被提供在输入区域中用于用户输入。一个例子是一个有着QWERTY式样布局的虚拟键盘，而另一个例子是一个有着触摸板接口的虚拟鼠标。在此所述的虚拟输入设备用作用户输入接口，但不需要触觉传感机械装置，例如机械按键或者触摸敏感的表面。这些虚拟设备通常是不可见的，虽然设备的图像可以作为辅助特征呈现在输入区域上。例如，一幅图像可以被输入模块106(图1)用激光或者发光二极管(LED)投射到输入区域上。可选地，一张承载印刷图像的纸张可以被放置在输入区域上。

在图6示出的本发明的一个实施方式中，输入模块提供一个单独的视频捕获设备601，来在提供虚拟设备的输入区域602上执行远程数据采集。视频捕获设备601可以是一个传统的摄像机，所述摄像机是被动的，在可见光谱中操作。在此光谱外操作的摄像机，例如在红外光谱中操作的摄像机，也是可以使用的。使用红外摄像机可以提供更好的效果，因为采集到的数据不会受环境照明条件变化的影响。视频捕获设备601设置为距离包含输入区域602的平面有一小段距离h。在视频捕获设备601的观察范围之内的输入区域602示出为具有以A、B、C和D表示的四个角，并且长度为l，宽度为w。输入区域以距离d远离视频捕获设备601的底座设置。视频捕获设备601的焦点F和点A与点B在平面604上。注意平面604本质上只是概念上的平面并向所有方向无限延伸，虽然在图6所示是有限的。平面604设置为接近含有输入区域602的平面。在本发明的一个优选的例子中，距离d与距离h相比较大，例如d＝5h。在这种情形下，两个平面几乎就是平行的。平面604至输入区域602的最大垂直距离可以只有几毫米。

图7中所示的是一幅可以被视频捕获设备601捕获到的图像701。输入区域602的角点A、B、C和D相应地映射为图像701中的点A’、B’、C’和D’。图7也示出了图6中的手指603。

图6中的输入区域602，可以设置在相对于视频捕获设备601固定的(即预先确定的)位置上或者动态的(即在开始使用时确定的)位置上。典型地，所述输入区域是适用于虚拟输入的工作表面的一个区域。所述工作表面可以是，例如一个桌面、移动设备上的一块可伸缩面板或者甚至一个人的膝盖。如果输入区域602在相对于视频捕获设备601的一个固定位置，则图7中的区域702的边界A’B’C’D’也将被固定。这允许在设备制造的过程中指定和存储输入区域602，这样***可以在使用的过程中固有地确定输入区域。值得注意的是，输入区域的形状(例如图6中的602)，在一些例子中，当此区域映射到捕获的图像(例如在图7中的701)时，会经历变形。这样，图6中周长为ABCD的输入区域602会被可视化为捕获的图像701中周长为A’B’C’D’的区域702。取决于视频捕获设备601的光学性质，在输入平面的直线在捕获的图像中可能不会可视化成直的。虽然在图6示出的输入区域602是一个矩形，但很多其他形状，例如圆形、椭圆形、多边形、三角形等，都可以被使用，并且在此所述的原则也都适用。此外，输入区域602的表面不一定是平的，只要捕获设备601对整个区域具有一个完整的视野。

如果输入区域602相对于视频捕获设备601的位置未预先确定，那么如在捕获的图像701中可视化的区域702的周长A’B’C’D’将不会在位置上被固定。这样，输入区域的位置必须在每次使用之前或者使用的过程中被确定。这可以通过初始化过程来实现，例如使用一种特定的姿势或对象来指定虚拟输入设备在输入区域上的一些参考位置(例如“中心”)。例如，用户可以将所有的十个手指一起放置成一个“起始行”姿势，并且在输入区域内敲击来指示作为用于虚拟QWERTY键盘的中间排按键(具有按键“A”、“S”、“D”等)的参考位置。假设有一个预先确定的输入区域的尺寸和形状，它的周长会基于用户指定的参考位置而动态地确定。在这种情况下，用于确定在捕获的图像中可视化的输入区域的相关的参数，例如视频捕获设备的高度h、校准矩阵、输入区域的尺寸和形状等，可以在设备制造的时候被导出并存储或第一次使用前被初始化。一旦输入区域的一个参考位置(例如一个角或中心)被知晓，利用预存储的参数，所述输入区域的周长可以在操作过程中被获得。

建立输入区域的位置和周长使得图5中过程516的步骤502能被***执行。在步骤504中，预处理操作例如色彩平衡、亮度调整、锐化增强等在远程捕获的图像帧上执行，以简化剩下的处理步骤。***随后在步骤506中从图像帧中确定输入区域的致动是否已经发生。

确定由输入对象对输入区域的致动可以用几种方式来完成。例如，一次敲击行为可以通过以下的利用阈值的处理步骤来检测：1)动作检测；2)可选对象检测，例如手指检测；3)阈值检查。在动作检测的第一步中，***利用帧间差值(frame differencing)技术来提取动作发生的图像捕获区域。对象检测的一个附加步骤可以在动作区域上选择性地执行，以从步骤1的动作检测中去除错误的肯定结果。例如，假设手指是操作一个虚拟输入设备的输入对象，所有在动作区域内被检测的非手指对象可以被去除。当对象快速地向下移动，在输入区域简短地停留并缩回时，阈值检查的最后一个步骤识别一次敲击事件。可以使用若干阈值来定义最小行进速度、加速度、行进距离和有效输入表面的范围。

图6中的平面604提供一种实现简单的阈值检查的方法。因为平面604与包含输入区域602的平面非常接近，当一个输入对象(例如手指603)短暂地接触或者穿透平面604而同时在输入区域602的周长内停止，这样一次敲击事件可以被有效地检测到，正如在图8中捕获的图像801-803中所示出的。图像801在时间t被执行，而图像802和803在时间t+Δt和t+2Δt被分别执行，此处Δt表示微小的时间间隔。因为平面604在图像801-803中可视化为一条包含点A’和B’的直线，这样任何接触或穿透平面604的对象(例如手指603)都会表现为好像接触或穿过直线A’B’。这是在图8的捕获图像802中描述的情况。这样，图6中的平面604或者图7-8中的直线A’B’，会被认为是一个“阈值”，所述“阈值”在输入区域的致动中必须被越过。图9-10示出了图6中输入手指603的两个例子，此输入手指敲击工作表面但是在输入区域602的外面。换言之，手指603的指尖(即输入对象的轮廓的垂直最低点)没有落在输入区域602的图像的周长A’B’C’D’内。

虽然图8中捕获的图像801-803示出了手指603只在一张图像802中越过阈值A’B’，但如果图像捕获的速率增加的话(即Δt降低)，附加的此类图像可以被采集。一般而言，增加数据采集速率将增加***的精确性。

如之前所指出的，在输入区域的一次敲击事件可以表示为一次按键或者鼠标点击。其他形式的致动，例如输入对象的滑行动作表示鼠标光标的移动，也可以使用上述过程步骤利用阈值而确定。图11示出了输入手指1105滑过输入区域的捕获图像1101-1104。在图像1101中，手指1105尚未致动输入区域，因为它尚未越过阈值A’B’。在图像1102中，当手指1105越过直线A’B’且指尖落在区域A’B’C’D’中时，手指1105致动了输入区域。下一幅捕获的图像1103示出了手指1105未被提起、滑向左后方(从用户的角度来看，与视频捕获设备的方向相反)。在图像1104中，由于手指1105没有越过阈值A’B’，输入区域不再被致动。在这种情况下，手指1105可能已经被提起了，或者可能已经滑出了输入区域。

附加的致动参数(例如敲击速度)可以从连续的图像帧中获得。当连续图像帧的采集之间的时间间隔Δt固定时，在所采集的连续帧中的输入对象的位置的一个较大的位移表示一个较快的敲击动作。相反地，在所采集的连续帧中的输入对象的位置的一个较小的位移表示较慢的敲击速度。

一旦在步骤506中致动事件被确定为已经发生，则在步骤508中确定输入区域内的致动的位置参数。回到图6-7，存在输入区域上的点例如图6中的点A、B、C和D到在相应的捕获的图像中的点例如在图7的图像701中的点A’、B’、C’和D的一对一的映射。对于一个校准的图像平面(包含捕获的图像的平面)，映射可以用数学公式描述：

其中的Sx和Sy是输入区域中的一个点的坐标，Px和Py是映射在捕获的图像上的相同点的相应的坐标。大于或者等于d(图6)的Sy是从表面点到包含视频捕获设备601的焦点F的垂直平面的垂直距离。Sx是从表面点到包含笛卡尔坐标系(Sx，Sy)的原点O的垂直平面、沿着Sy方向的垂直距离。c是常量捕获比例因子，其由捕获设备的属性所确定，例如传感器分辨率和焦距。基于图像平面和包含输入区域的平面之间的映射变换，c可以通过非常类似于摄像机校准的过程被简单地测量，所述校准的过程利用一系列其坐标在两个平面内都已知的控制点。这样c就可以被测量，然后在第一次使用之前的设备制造过程中存储于***中。Dx和Dy仅仅是两个常量，用来说明原始参考点在两个坐标系中的偏移量。这样，在图7中，在输入表面上向左或者向右的移动(相当于Sx的改变)映射成在捕获的图像中的在水平方向上的移动(相当于Px的改变)。同样地，在图7中，在输入表面上朝向或远离视频捕获设备的移动(相当于Sy的改变)映射成在捕获的图像中的垂直方向上的移动(相当于Py的改变)。

在本发明的优选的形式中，距离d大于h。更优选地，d与h的比例在大约5:1到大约10:1之间。在本发明的另一个优选的形式中，形成于平面604与包含输入区域602的平面之间的夹角α在35°到大约1°的范围之间，更优选地是在大约25°到大约1°之间，为的是使平面604尽可能地接近输入区域602。然而，在Sy方向上的分辨率会变得像在Sx方向上的分辨率h/(d+w)一样小。依靠捕获比例因子c，d可以只增加至某个范围，并且在Sy方向上仍然提供足够的分辨率。给定相同的分辨率需要，一个较大的c值将同样允许一个较大的d值。

图6的输入区域602中的点(具有坐标(Sx，Sy))和图7的捕获的图像701中的相应的点(具有坐标(Px，Py))之间的关系允许将输入区域内的虚拟对象映射到它们在捕获的图像上相应的位置。例如，如果在输入区域内的虚拟键盘上的按键区域的位置被固定了，那么它们在捕获的图像上的映射位置也会被固定。这就使捕获的图像上的按键位置在使用之前就已知，并在操作过程中产生最佳的效率。

一旦一个敲击事件被识别到或被检测到，确定在虚拟键盘上的敲击位置相当于确定在敲击事件的过程中输入区域内的输入对象的轮廓的垂直最低点(例如敲击手指的指尖)。输入对象的轮廓可以通过例如对对象的捕获的图像应用图像分割算法来获得。然后，虚拟键盘中被致动的按键可以被确定为所映射的按键区域，指尖在致动的过程中落入其上。类似地，如果输入区域内提供的虚拟触摸板被手指致动，那么输入区域内的指尖的位置(Sx，Sy)可以根据捕获图像中相应的映射位置(Px，Py)来确定。

在步骤508中确定输入区域内的致动位置之后，则在步骤510中从一组输入对象中识别引起致动的输入对象。在本发明的一个优选的形式中，人手的手指组成一组输入对象，单个的手指或者手指的组合能组成一个输入对象集。对象集的识别可以通过识别一个或多个来自于捕获图像的区别特征来实现。例如，可以基于如下特征来识别包括输入对象集的手指，所述特征包括但不限于：尺寸、形状、边缘、静脉图案、指甲颜色、皮肤肌理、肤色、致动按键区域的接触压力或接触面积、红外特征等。在本发明的一个优选的形式中，为了更好的性能和精度，两个或多个上述特征可以相结合。

在步骤512中基于致动的输入区域、致动位置和被识别的输入对象集对输入符号或功能进行确定。图12示出了一个在输入区域1204内提供的虚拟QWERTY形式键盘1202，所述输入区域1204在视频捕获设备1200的可视范围之内。为使示例清晰，图中只显示了数字和字母按键。应该理解到，很多其他按键，例如“@”、“％”、“Enter”等，可以呈现在键盘1202上。所述虚拟键盘1202划分成多个按键区域，每个按键区域一个按键。在此例中，所述按键区域在输入区域1204内的位置是固定的。

继续参考图12，例如，在步骤512中，如果输入区域致动被确定为是一次手指敲击事件，致动位置被识别为在“s”的按键区域内，并且输入对象集从一个用户左手的一组手指中被识别为左手无名指，那么输入符号可以被确定为字母“s”。然而，如果输入区域致动被确定为某种非敲击行为(例如由单个手指产生的滑行动作)，输入符号的确定会放弃，因为这对于键盘来讲不是一次有效的致动。

除了图12中的虚拟QWERTY键盘1202，其他虚拟接口例如电话键区、触摸板和写字板，也可以提供在图12的输入区域1204中用于用户输入。为了举例，如图13所示，在输入区域1302中提供有一个虚拟电话键区1300。为使示例清晰，只显示了三行字母输入所需的按键。需注意，通常与按键“7”相关联的符号“S”和通常与按键“9”相关联的符号“Z”被分配给了按键“1”。这只是其中将手指-符号分配数量减少到每个按键最多三个的一种可能。例如，一个用户的右手食指、中指和无名指可以被分别分配给电话键区1300的数字按键“2”1301上的字母符号“A”、“B”和“C”。如果输入区域致动被确定为是一次手指敲击事件，致动的位置被确定为在“2”的按键区域内，并且输入对象集从用户右手的一组手指中被识别为无名指，字母“C”被直接确定为输入符号。然而，如果输入区域致动被确定为某种非敲击行为(例如由单个手指产生的滑行动作)，输入符号的确定会取消，因为这对于电话键区来讲不是一次有效的致动。当前，电话键区上被称为“多敲击”的实际的字母输入方法，为了输入“C”需要按压按键“2”三次。于是很明显，通过手指-符号分配可以使在虚拟电话键区上能够进行用于字母输入的触摸打字，这样，每个符号输入只需一次击键的方式就可以实现，就像在触摸打字员用的QWERTY键盘上一样。

在图12的输入区域1204中，一个触摸板或写字板可以被提供为用户输入的另一种虚拟接口。因为在虚拟的实施方式中，写字板的功能与触摸板几乎一样，在此所述将它们描述为一种单一的虚拟设备。于是应该理解到，此处所述术语“触摸板”可以与“写字板”互换使用。虽然在传统的写字板上的输入通常是用相关的笔执行的，当写字板是虚拟的时，可以使用其他对象例如手指来替代笔。从以下描述中可以明显看到，用手指输入能实现在传统的写字板上无法固有地实现的功能的丰富集合。

参考图14，在输入区域1402中提供了一个虚拟的触摸板1400。值得注意的是，在触摸板1400上可以没有“按钮”，而所述“按钮”通常可以在其物理对应物上找到。通过简单地在触摸板范围内的任何地方原地敲击，“点击”就可以被执行。例如，如果输入区域致动被确定为一次手指敲击事件，致动位置被确定为在点E，并且输入对象集从用户的右手的一组手指中被识别为食指，在这种情况下在步骤512中，输入可以被确定为在触摸板1400上的一次“左击”。这只是很多可能的手指-功能分配中的一种。例如，右手中指，而不是右手食指敲击，也可以被分配给“左击”功能。可选地，右手中指敲击可以被分配给“右击”功能。

作为另一个例子，输入区域致动被确定为一次在点E开始并终止于点F的滑行动作1401，并且输入对象集从用户右手的一组手指中被识别为食指，在这种情况下如图5中的步骤512，输入可以被确定为在触摸板1400上的一次光标移动。依靠***的输入模式，可选地，右手食指的滑行动作1401可以被确定为在从菜单的一组项目中选择一个项目中所用的“下一项”的功能。

操作一个写字板时，在输入区域1400上的滑动可以引起在输出显示上呈现的相应轨迹。就像在图5的步骤512中所确定的，例如，作为输入对象集的右手食指引起的在输入区域1400内的滑行动作1401可以造成将在显示上输出的具有一定宽度(例如1mm)的相应轨迹。作为另一个例子，如果在输入区域1400中的滑行动作1401是由另一个手指引起，例如右手中指，则在显示上输出不同宽度(例如5mm)的相应轨迹。除了轨迹宽度，其他特征(例如颜色和图案)也可以被分配给不同的可能的输入对象集。

前述关于在虚拟键盘上确定输入符号或功能的讨论集中于包括单个的对象，例如一个手指的输入对象集。应该理解到，相同的原则也可以延伸到应用于多个输入对象(例如食指和中指)的任何组合。本领域的技术人员将承认将上述方法应用到多个输入对象能够允许在输入区域上应用高级用户接口特征，例如增强型的多触摸功能。这种增强型的多触摸功能在对输入对象集因素的识别以确定输入方面与传统的多触摸功能不同。这样，产生相同的运动的不同输入对象集确定了不同的多触摸输入。应该进一步理解到，所述实现不需要任何硬件上的调整；仅仅是在图1所示的存储器104中存储的软件指令的改变已足以支持多触摸特征。在结合增强的多触摸功能的本发明的一个优选形式中，在步骤508中执行的从数据采集中确定的有用的致动参数是在致动过程中两个输入手指之间的相对位置。

在包含两个手指的输入对象集所引起的输入区域致动的一个例子中，例如图15中1501所示的滑行动作，是在输入区域1502的虚拟触摸板1500中使用用户右手的食指1503和中指1504所产生的。这可以被用来表示一个“拖曳和落下”的输入操作，因为滑动食指可以被确定为光标移动，而同时其他手指的参与会被确定为一个同时发生的“保持”功能。在另一个例子中，由食指1503和中指1504在虚拟键盘1500上引起的同样的滑行动作1501，如图5中步骤512，会被确定为用于一个网页浏览器应用的“向上滚动”的功能。然而，如果进行滑行动作1501的输入对象集包括手指的不同集合，例如一个食指和一个无名指，那么在步骤512中确定的输入可以是不同的结果，例如“上一页”的功能。应该理解到，许多其他手指的组合和输入区域致动用于代表各种输入符号和功能也是可能的。

将在步骤510中的输入对象集的识别合并入步骤512中的输入符号或功能的确定，也能够实现一种在虚拟键盘上确定按键区域致动的可选的方法。这种方法包括“相对的”按键位置的概念，与参考图6-7已经描述过的“绝对的”按键位置的概念相对。这就是说，在步骤508中按键区域的致动位置不是基于它在一个输入区域的坐标(Sx，Sy)确定的，而是基于它相对于参照物(例如手掌、脸等)的位置确定的。类似地，按键区域的致动位置也可以基于致动输入对象集的姿势(例如敲击手指或者其指骨的方向)来确定。这个相对的按键位置的概念经由下述例子将会变得更加明显。

为了示例，图16示出了为在传统的QWERTY键盘上进行触摸打字的手指-符号分配1604。为使示例清晰，只显示了数字和字母符号。例如，左手小指1603被分配给输入键盘每行的唯一的符号：第一行的“1”、第二行的“Q”、第三行的“A”等。唯一的例外是食指，它负责了每行的两个符号。例如，左手1602的食指1601被用来输入第二行的符号“R”和“T”。在图5的输入过程516的步骤510中识别输入对象集使具有用于触摸打字员的较少按键数量的QWERTY键盘成为可能，如图17所示。

图17描述了一个键盘1700，其中输入符号“Z”、“X”、“C”和“V”合并成一个按键1701。符号“A”、“S”、“D”和“F”等也是这样。需注意，键盘1700只包括与输入的字母模式相一致的字母符号。例如，为了在键1701上输入符号“X”，通过使用用户左手1705的无名指在“ZXCV”按键1701上按下，就可以直接选择符号“X”。这是由于在图16中所示的手指-符号分配1604的缘故，其中左手手指已被唯一地分配给按键1701中的每个符号。由于左手无名指被分配给了符号“X”，只要左手无名指如图17所示地被用来引起致动，此符号即被选择为输入，而不管按键1701上的确切致动位置如何。这样，在从相同的按键中选择符号来输入时，致动的精确位置便无关紧要了。选择一个与用相同的手进行不同的按键敲击相关联的符号，将需要已被分配的手指相应地延伸以选择此符号。

为结合图18进行进一步的描述，假设一个用户在当中一排字母按键(具有有符号“A”、“S”、“D”等)上方将他的全部十个手指放成一个“起始行”姿势，正如通常在触摸打字中当不进行按压按键时所做的那样。选择符号“U”需要用户将其右手食指1800向前延伸1804，并按下1804在键盘1700的顶行1808的“UIOP”按键1702。然而，为了选择底行1812上的符号“M”，用户将缩回1806其右手食指1800，并按下1806“M”按键1703。为了在中间行或者起始行1810的“JKL”按键1704中选择符号“J”，用户只需简单的“原地”按下1802他的右手食指1800。选择左边相邻的按键列中的符号“Y”、“H”和“N”中的任何一个，需要用户伸出他的右手食指到左边，并作出关于相应的符号行的相同的姿势。当需要访问符号“Y”、“H”或“N”时，将右手食指伸出到左边的一个可替换做法是使用包括用户右手食指和中指的输入对象集来分别致动按键1702、1704或1703。图19提供了一个数字模式输入的键盘1700的示例。由于在这个模式中只有一行按键，当选择符号来输入时，手指不需要向前伸出或缩回。然而，为访问符号“5”或“6”，被分配的左手或右手食指需要分别相应地伸到右边或左边。

选择在键盘1700上的中间按键列的符号例如“T”、“Y”、“G”等来输入，也可以通过相对位置和手指姿势的组合来确定。例如，右手食指指尖相对于邻近的中指指尖的位置与右手食指的姿势相结合，可以被用来确定输入符号是“Y”、“H”还是“N”。

在QWERTY键盘1700的一个虚拟实施方式中，按键致动的位置是基于它相对于参照物的位置确定的，例如，处于起始行姿势的手指的位置集。类似地，按键致动的位置也可以基于致动手指的姿势被确定。作为一个例子，在顶行的按键区域会被手指以向前伸出的姿势按下以致动，反之，底行的按键区域会被手指以缩回的姿势按下以致动。应该理解到，额外的输入模式，例如输入特殊符号和功能(例如“@”、“$”等等)，并不是普通的数字或字母输入的部分，其可以由键盘1700的虚拟实施方式所提供。在这些模式中的切换可以通过在键盘的输入区域的已分配位置上的一个特定的致动姿势来实现。例如，一个模式切换功能可以通过伸出用户左手和右手食指到输入区域的中心来完成。应该理解到，很多其他的姿势和位置的结合可以被用于模式切换的目的。应该进一步理解到，以某种与参考图16所描述的相似的方式，前述的特殊符号和功能可以被分配给相应的手指，为的是使这些符号和功能可以使用传统的触摸打字方法来输入。例如，在一种特殊的模式中，符号“！”可以被分配给“A”的按键区域，这样在触摸打字的过程中，“！”可以与选择“A”的同样方式输入。

与很多现有的输入设备上的热键相似，某种姿势和位置的组合可以被保留为改变输入模式，包括不同的输入方法(例如鼠标/触摸板、键盘、伤残的手指的识别等)、键盘布局(例如多种语言的字符和功能集合)和输入的接受设备。除了输入模式，其他符号或功能可以通过特定的姿势和位置的组合被确定。例如，触摸板的输入区域的左半部分被分成上半部分和下半部分，其中上面的左半部分被分配给“向上翻页”功能，下面的左半部分被分配给“向下翻页”的功能。通常地，整个输入区域可以被指定用于触摸板输入。然而，当且仅当做出“V”的姿势的用户的右手食指和无名指被检测为在“向上翻页”或“向下翻页”区域内敲击时，才输入相应的向上/向下翻页功能。

一些姿势和位置的组合可以被保留以允许用户将他们的手和手指搁置在一个特定的位置，或者当没有输入发生时搁置在输入区域内的任何位置。这些姿势和位置的组合(以下被称为“停止姿势”)阻止了当用户将他们的手指或输入对象搁置在输入区域时发生意外输入。一个典型的例子是用触摸输入区域的一只或两只手的所有手指形成的“起始行”的姿势。某些停止姿势可以被保留为仅用于在输入区域内的特定位置却被分配给其他位置的其他功能。在一个实施方式中，***可以将一个被检测的姿势和位置的组合映射到：1)一个有效地输入符号或功能，2)一个停止姿势，或者3)一个未定义的输入。***将不会为停止姿势确定一个输入，虽然某些辅助特征例如视觉或听觉提示可以被用于指出停止姿势的存在。未定义的输入可以以两种不同的方式处理。***可以视它们等同于停止姿势，这样任何与有效输入不相对应的输入区域致动会被默认为停止姿势。换句话说，这些未被定义的输入产生了停止的功能。可选地，***可以做出一组不同的动作，例如使用视觉或听觉的提示警告用户检测到了无法认出的输入，或者只是简单地忽略它们。

前述相对按键位置和手指姿势的应用也可以被应用于图13中电话键区1300的一个虚拟实施方式中。在此情况下，由停止在起始行姿势的手指设置的参考位置优选地被当作是中间的行和列中的按键“5”。

回到图18，很显然，在基于相对的按键位置的键盘1700的一个虚拟实施方式中，按键位置的确定可以通过设置相对于手掌的按键位置来实现，因为用户的起始行姿势中指尖到手掌的距离在输入的过程中通常保持不变。在一些设置中，依靠视频捕获设备的位置和视野，使用手的指关节而不是手掌作为参照物会更有效。换句话说，在确定相对的按键位置时，单个的指关节可以作为其相应的手指的参照物。

利用手的手掌或指关节作为一个虚拟键盘的参照物位置具有基于绝对按键位置的实施方式中无法得到的益处。例如，在输入区域内的一个虚拟键盘的位置，在使用的过程中可以实时地被调整，与用户手掌成固定的关系。这将允许在打字过程中有更大的精确性和舒适度，因为用户的手可能会在没有通常由物理按键提供的任何触觉反馈的情况下移动。此外，一个QWERTY类型键盘可以进一步被分为左半部分和右半部分，其中在每一半的按键区域的位置可以关于用户的手的相应手掌或手指进行单独地调整。这在图20中已被描述。为使示例清晰，只有右手2001和虚拟键盘的右半部分2002被示出于输入区域2003中。为定位手掌或指关节的区域，可以将图像分割算法应用于手的捕获图像。

在一个实施方式中，由一对视频捕获设备组成的深度传感设备可以被用于检测致动位置和其参照物的三维坐标。通过计算这两个三维坐标之间的差值，相对的致动位置可以被简单地导出。一种简单有效的确定在敲击事件过程中的手指姿势的方法，正如在图18中提供的右手食指1800的例子中所示，其可以通过检测手指的不同关节(例如1814和1816)的相对位置来实现。在处于考虑之中的实施方式中，当一个深度传感器被用于代替图6中的视频捕获设备601或者与之共同作用时，一个手指的各种关节的相对位置的确定也可以被显著地简化。在深度传感器的一个例子中，通过检测穿过输入区域的激光或红外线波束，然后测量从输入对象反射回来的光束的图像的厚度可以获得深度坐标信息。在另一个例子中，通过将两束光引导穿过输入区域，然后测量反射图像中的两束光线的间隔距离，可以获得深度坐标信息。此外，当两个视频捕获设备被用来采集输入对象信息时，正如随后会在本发明的一个实施方式中被描述的那样，检测各种手指关节的相对位置可以很容易地实现。

除了位置，参照物对象的其他性质的改变也可以触发虚拟输入设备中的相应改变。所述性质的一些例子有：方向、尺寸、姿势和存在。例如，旋转用户的手会引起例如图20的2002或图13的1300的虚拟键盘的定向随之相应地旋转。另一个例子是，当手指分开时或者当更大的手被检测到时，按键区域会隔得更开。此外，当一个其上提供有虚拟键盘的专用可伸缩面板为了输入而被延伸得更远时，一个虚拟键盘和其按键区域可以变得更大。当两只手都存在于打字位置时，一个QWERTY类型键盘布局可以被提供用于输入，当只有用户的一只手在打字时，一个电话键区布局可以被提供。

在此提供附加的采集参照物对象的位置信息的方法。主动式传感器或信号发生器可以被装在参照物对象上，来发送所述参照物对象的位置信息到输入模块，例如通过蓝牙或其他通信方法。被动式传感器或具有特殊图案的标记器可以被用来帮助识别和定位参照物对象，从而输入模块提供的远程数据采集设备可以识别在传感器或标记器上的特殊图案，并且定位参照物对象。为了示例，一个唯一的光图案例如一颗红星会被投射到参照物对象的表面，这样，***可以捕获这个图案并且利用图像识别算法来识别它。一旦参照物位置被建立，虚拟输入设备的位置可以相应地进行调整。

在本发明的另一个实施方式中，如图21所示，图1中的输入模块106提供两个视频捕获设备2100和2101，彼此水平相邻设置但可能隔开一小段距离，来在虚拟设备的输入区域2102上执行远程数据采集。此外，视频捕获设备2100和2101可以是传统的摄像机或红外照相机。不同于图6所示的单个视频捕获设备的实施方式，捕获设备2100和2101不需要被设置得贴近于包含输入区域2102的工作表面，因为它们可以从它们捕获的图像中采集深度信息。图21也示出了用户的手2103，假设这是一个在虚拟QWERTY类型键盘上进行正常触摸打字的典型位置。

对图21的实施方式中的虚拟输入的处理可以按照图5的过程516以与关于图6所描述的实施方式中相同的方式进行。本领域普通技术人员将认识到，通过捕获一个视图的两个分开的图像，并且基于在两个校准的图像中相应的像素的不同重建其三维信息，如图21所示的配置的两个摄像机可以被用来实现立体影像。这是很有用的，因为***可以过滤掉位于感兴趣的输入对象之外的噪声或其他信号/数据。一旦视图的三维信息被获得，可以直接确定任何通过输入对象集对“阈值”平面进行的接触或越过。这样，输入区域所处的平面可以在步骤506中被用来直接确定在输入区域内是否发生了致动。

给定视频捕获设备配置的深度感知能力，输入区域在三维空间中可以有不同的方向。图22示出了处于平面2204中的输入区域2202的一个例子，其与视频捕获设备对2200和2201的视线正交。注意平面2204实际上是概念上的，虽然在图22中所示是有限的，但其可以在所有方向无限延伸。用户的手2203显示为一个在虚拟QWERTY类型键盘上进行正常触摸打字的典型位置。这可以给出用户“在半空中打字”的感觉。

图22中的输入区域2202在平面2204中的位置可以是固定也可以是不固定的。固定的输入区域2202允许其在设备制造过程中被指定和存储，这样在使用过程中***可以固有地确定输入区域。虽然图22所示的输入区域2202是一个矩形，但很多其他形状，例如圆形、椭圆形、三角形等也可以被使用，并且这里所描述的原则同样适用。此外，输入区域2202的表面不一定是平面，只要捕获设备2200和2201对整个区域有一个完整的视野。

如果输入区域2202在平面2204内不是固定的，所述输入区域的位置必须在每次使用之前或者在使用过程中被动态地确定。这可以通过一个初始化过程来实现，例如使用一个特定的姿势或对象，来指定输入区域上的虚拟输入设备的某个参考位置。例如，一个用户可以将他所有的十个手指一起放置于在输入区域内成一个“起始行”的姿势，来指示作为虚拟QWERTY键盘的中间行按键的参考位置。假设用于输入区域的预先确定的尺寸和形状，则基于用户指定的参考位置，它的周长可以在操作过程中获得。

在输入区域2202中可以提供各种类型的虚拟输入设备。所述虚拟输入设备包括但不限于：QWERTY类型键盘、电话键区和有增强型多触摸能力的触摸板和写字板。

图22的示例的实施方式中的虚拟输入可以按照图5的过程516被确定。在步骤502中，视频捕获设备2200和2201从一系列图像帧的输入区域2202中远程捕获输入对象信息。如前所述，输入对象的深度信息可以从上述对象信息中采集。在步骤503中，对远程捕获到的图像帧执行预处理操作例如色彩平衡、亮度调节、锐化增强等，以简化剩余处理步骤。在步骤506中，***随后从图像帧中确定输入区域的一次致动是否已经发生。所述确定可以使用前述的基于阈值的方法来实现。注意包含输入区域2202的平面2204在确定一次致动事件是否由输入对象集而引起时，自身可以作为“阈值”平面。致动事件的一些例子有敲击、滑行动作和“起始行”姿势。应该理解，很多其他的致动事件也是可能的。

在步骤508中，致动位置的确定取决于几个因素，例如在输入区域2202内提供的虚拟设备位置是否固定，或被放置在与一些参照物(例如用户手掌)有固定关系的位置。如果虚拟输入设备被固定了，在输入区域内坐标为(Sx，Sy)的致动位置可以直接从捕获到的图像帧中相应的坐标(Px，Py)导出。如果虚拟输入设备在位置上是动态的，那么会使用基于输入对象集的姿势的确定的方法。

在步骤508中对输入区域中的致动位置的确定之后，在步骤510中，可以从一组输入对象中识别引起致动的输入对象集。对对象集的识别可以通过从捕获图像中识别所述对象集的一个或多个区别特征来实现。例如，包括输入对象集的手指可以基于多个特征被识别，所述特征包括但不限于：尺寸、形状、边缘、静脉图案、指甲颜色、皮肤肌理、肤色、致动按键区域的压力或接触区域、红外特性等。可以结合两个或更多所述特征以得到更好的性能和准确度。最后，基于输入区域致动、制动的位置和已识别的输入对象集的结合，在步骤512中可以确定输入符号或功能。

本领域技术人员将认识到，图22的示例的实施方式可以很容易地延伸，以提供两个或多个在平面2204上的输入区域，如图23所示。虽然在图23中只显示了输入区域2305、2306和2307，应该理解到，也可以提供额外的区域。例如，在输入区域2305、2306和2307中，可以分别提供单独的虚拟输入设备，例如QWERTY类型键盘、数字键盘和触摸板。这些输入区域可以分配给一个应用中的一个或多个用户。在一种情形中，每个区域被分配给了不同的用户，这样多个用户可以同时使用单个模块，通过在它们各自独立的区域内输入，来给一个或多个数据输入设备输入数据。在处理过程中，***首先确定视频捕获设备采集的所有的致动事件，然后将采集到的致动信息发送到各自的数据输入设备，以进一步基于单独的致动位置进行处理。

本领域技术人员也将认识到，图23的示例的实施方式可以进一步延伸，以提供位于两个或多个单独平面的额外的输入区域。如图24所示，除了位于平面2204中的输入区域2207、2205和2206，在分开的平面2401和2403中还提供了额外的输入区域2402、2404和2405，上述平面2401和2403与设备2200和2201间有不同的距离，平且平行于平面2204。虽然在图24中只示出了三个平面，应该理解到，还可以有更多的额外的平面呈现。应该进一步理解到，平面间不一定需要平行，它们可以有不同的方向。在图24中包含各种的输入区域的平行的平面2401、2403和2204，允许一种分层的输入方法，其中在不同的平面上致动的输入对象集(来自相同或不同的用户)在相同的或不同的数据输入设备上将产生不同的输入符号或功能。例如，在游戏应用中，在不同的平面内的输入区域中提供各种虚拟乐器，这样，允许用户例如同时在输入区域2206中弹钢琴、在输入区域2402中弹吉他、在输入区域2405中敲鼓等。

每个输入区域的位置可以以一种相对于参照物固定的关系来动态地调整，所述参照物例如用户的脸、肩膀或胸部、专用于虚拟输入的数据输入设备的可伸缩面板的一个角、表面上的投影点或线等。在一个例子中，输入区域位于垂直平面中，所述垂直平面固定在用户的脸的前方一英尺处。在此情况下，下述步骤可以被用来处理用户输入：1)在捕获到的图像帧中检测脸；2)基于脸的位置分配输入区域和虚拟输入设备；和3)在已分配的输入区域内实施过程516。

本发明的另一个实施方式，如图25所示，图1中的输入模块106提供两个视频捕获设备2500和2501，它们互相之间垂直相邻放置但可能隔开一小段距离，来在输入区域2502上为虚拟设备执行远程数据采集。此外，视频捕获设备2500和2501可以是传统的摄像机或红外照相机。捕获设备2500和2501不一定要放置在贴近包含输入区域2502的工作表面的地方，因为它们能从其捕获到的图像中采集深度信息。图25也示出了用户的手2503，假设这是一个在虚拟QWERTY类型键盘上进行正常触摸打字的典型位置。

代替通过立体影像从输入区域和致动对象采集深度信息，图25所示的视频捕获设备2500和2501可以用来独立操作。例如，设备2500可以被分配用来确定输入区域的致动，而设备2501可以被分配用来确定致动的位置。任何一个或者两个设备都可以分配用来识别输入对象集。

为进一步示例，图26描述了正在虚拟键盘上打字的用户的手2600的图像，所述图像可以被设备2500捕获到，图27描述了同一双手2600的图像，所述图像可以被设备2501捕获到。从图26中可以确定由左手食指2601对输入区域2701的致动，因为手指2601越过了预置的阈值2602。从图27中可以确定特定的致动位置，因为它包含了坐标信息。虽然单从图27中的信息就可以识别致动的手指以及被致动的按键区域，但是知道图26中致动的手指2601越过阈值2602的水平位置的信息可以简化任务。

相反地，由设备2501捕获的其他信息，例如速度、加速度和敲击的手指的尺寸，可以促进对输入区域致动的确定。例如，一次击键的典型特征为，致动的手指伸出然后收回，引起当致动手指接触虚拟键盘时的短暂的暂停。从设备2501的捕获了解到这种信息可以帮助确认从设备2500的捕获中获得的致动事件的确定。

代替使用能够实时地进行视频捕获和分析的摄像机，例如图25所示设备2500，也可以使用其他对象检测传感器。一个例子是红外传感器，其在检测到对象进入传感器的预设距离内时触发。很多其他传感器通过测量它们发射出去的信号的反馈来检测对象的存在，它们也可以用来确定致动事件。

在另一种配置中，图1中的输入模块106，提供了两个视频捕获设备2802和2801，如图28所示设置。设备2801被配置为用来从前方捕获来自输入区域和致动对象的信息，而设备2802被配置为用来从侧面捕获上述信息。这样，通过检测由用户的手2804的手指引起的对阈值平面2803的穿透，设备2802采集到的信息可以被用来确定输入区域致动。设备2801可以被用来捕获信息以确定致动位置和识别致动的手指。

因为键盘和触摸板是两样最被普遍使用的虚拟接口，用户将期望方便的、自动化的方法用于在两种输入模式中切换。图29所示例的是一个实施方式，其中提供了两个视频捕获设备2900和2902来远程采集分别来自输入区域2906和2908的信息以及致动对象信息，例如那些由用户手指引起的信息。在输入区域2906中提供了一个QWERTY类型键盘，在输入区域2908中提供了一个能够多触摸的触摸板。在操作过程中，触摸板设备一检测到用户的手2910存在于它的输入区域2908内，有效输入就可以从键盘的输入区域2906自动切换到触摸板的输入区域2908。一旦用户从触摸板设备指定的输入区域2908移出了他的手2910，输入可以被自动切换回或默认回到键盘的输入区域2906。

图30示出了第二种实施方式，其中提供了一个单独的视频捕获设备3000，从输入区域3004中远程采集信息。在输入区域3004中提供了一个虚拟QWERTY类型键盘和一个能够多触摸的触摸板。在此配置中，用户可以通过例如从输入区域3004中移出一只手3002方便地从键盘切换到触摸板输入。一旦用户将他的手3002再次放入输入区域3004内，输入可以被自动切换回或默认回到键盘。可选地，代替将手3002移出输入区域3004，用户可以用那只手做某个姿势，例如如图30所示的将手握成一个拳头，来表示从键盘到鼠标输入的切换。

在又一个示例的实施方式中，在两种输入模式中的即时转换可以通过在同一个输入区域内将特定的姿势分配给单独的输入模式来实现。举例来说，当虚拟设备当作键盘操作时，输入对象例如用户的右手食指和中指当如图15所示地做出“V”的姿势时，可以被用来表示即时触摸板输入。如此，消除了首先切换为触摸板模式并且切换出触摸板模式的需要。从上述实施方式可以明显地看出，通过检测输入对象的存在/缺席和/或状态(例如姿势)，可以实现在虚拟键盘和虚拟触摸板设备之间输入的自动切换。

本公开意在解释怎样依照该技术来形成和使用各种实施方式，而不是限制其真实的、意在的和公平的范围和精神。以上描述并非穷尽的或者被限制为所公开的精确形式。根据上述教导的各种改动和变化都是可能的。上述实施方式被选择并描述，以作为所述技术的原理的最佳示例及其实际应用，从而使本领域普通技术人员能在各种实施方式中使用该技术和对其进行适合于预期的特定使用的各种改动。所有的这些改动和变化都在由所附的权利要求书及其所有等同物所确定的本发明的范围之内，其中，权利要求书可以在本专利申请待审期间被修改，而其等同物是当根据公平、合法和公正的宽度对权利要求进行解释所确定的。

Claims (19)

1.一种在数据输入设备中确定虚拟输入的方法，其中，该方法包括：

-将每个输入符号或功能分配给一组输入对象中相应的输入对象集；其中，所述每个输入符号或功能还与相应输入对象集的以下至少任一项特征相关联：

-其中输入对象间的相对位置；

-输入对象集的姿势；

-输入对象集的致动轨迹；

-对所述数据输入设备的至少一个输入区域执行远程数据采集；

-根据所述数据采集，确定所述输入区域的致动事件；

-根据所述数据采集，从所述一组输入对象中识别引起所述致动事件的输入对象集并确定所识别的输入对象集的相应特征；

-根据所识别的输入对象集及其相应特征，为所述输入区域确定相应的输入符号或功能。

2.根据权利要求1所述的方法，其中，所述确定相应的输入符号或功能的步骤进一步包括：

-根据所识别的输入对象集及其相应特征，确定所述致动事件的致动位置；

-根据所识别的输入对象集以及所述致动位置，为所述输入区域确定相应的输入符号或功能。

3.根据权利要求1或2所述的方法，其中，所述输入区域提供虚拟作为键盘或键区起作用的虚拟接口，所述虚拟接口被划分为多个按键区域，其中每个按键区域的位置被动态地设置，并且与相应的参照物对象成固定的关系。

4.根据权利要求1或2所述的方法，其中，所述输入区域提供虚拟作为键盘或键区起作用的虚拟接口，所述虚拟接口的特性可基于参照物的特性的改变而动态改变。

5.根据权利要求1所述的方法，其中，所述输入区域包括多个，其中每个输入区域的位置被动态地设定，并且与参照物对象成固定的关系。

6.根据权利要求5所述的方法，其中，所述参照物对象包括以下任一项：

-用户的脸；

-用户的肩膀；

-用户的胸部；

-用户的手指的指关节；

-用户的手掌。

7.根据权利要求1所述的方法，其中，所述输入区域包括多个，其中至少部分输入区域位于不同平面内。

8.根据权利要求1所述的方法，其中，所述输入区域包括多个，其中每个输入区域被分配给不同用户。

9.根据权利要求8所述的方法，其中，该方法还包括：

-将所述每个输入区域分配给一个呈现设备；

-将为所述每个输入区域确定的输入符号或功能输出至其已分配的呈现设备中。

10.根据权利要求1所述的方法，其中，所述输入对象集包括一个或多个手指。

11.根据权利要求1所述的方法，其中，所述执行远程数据采集的步骤利用单独的视频捕获设备。

12.根据权利要求1所述的方法，其中，所述执行远程数据采集的步骤利用两个视频捕获设备，包括：

-利用其中一个视频捕获设备执行远程数据采集以用于确定所述输入区域的致动事件；以及

-利用其中另一个视频捕获设备或者利用两个视频捕获设备来执行远程数据采集以至少用于识别引起所述致动事件的输入对象集。

13.根据权利要求1所述的方法，其中，所述执行远程数据采集的步骤利用配置来采集深度信息的非接触式传感器。

14.根据权利要求1所述的方法，其中，所述输入区域的致动事件包括停止事件及其对应的输入对象集的特征包括停止手势；

其中，所述确定相应的输入符号或功能的步骤进一步包括：

-根据所识别的输入对象集及其停止手势，为所述输入区域确定停止输入功能。

15.根据权利要求1所述的方法，其中，所述输入区域的致动事件包括输入模式切换事件及其对应的输入对象集的特征包括切换手势；

其中，所述确定相应的输入符号或功能的步骤进一步包括：

-根据所识别的输入对象集及其切换手势，为所述输入区域确定切换输入模式。

16.根据权利要求15所述的方法，其中，所述确定相应的输入符号或功能的步骤进一步包括：

-根据所识别的输入对象集及其切换手势与致动位置，为所述输入区域确定切换输入模式。

17.根据权利要求1所述的方法，其中，该方法还包括：

-初始化所述数据输入设备的所述输入区域。

18.根据权利要求17所述的方法，其中，所述输入区域提供虚拟接口，所述虚拟接口的位置在初始化所述输入区域的过程中被建立。

19.一种在数据输入设备中确定虚拟输入的装置，其中，该装置包括：

用于将每个输入符号或功能分配给一组输入对象中相应的输入对象集的模块；其中，所述每个输入符号或功能还与相应输入对象集的以下至少任一项特征相关联：

-其中输入对象间的相对位置；

-输入对象集的姿势；

-输入对象集的致动轨迹；

用于对所述数据输入设备的至少一个输入区域执行远程数据采集的输入模块；

处理器，用于：

-根据所述数据采集，确定所述输入区域的致动事件；

-根据所述数据采集，从所述一组输入对象中识别引起所述致动事件的输入对象集并确定所识别的输入对象集的相应特征；

-根据所识别的输入对象集及其相应特征，为所述输入区域确定相应的输入符号或功能。