CN107918481A - 基于手势识别的人机交互方法与*** - Google Patents

Abstract

公开了基于手势识别的人机交互方法与***。所公开的基于手势识别的人机交互方法，其中控件基于用户的手势信息识别用户的命令，所述控件包括入口区域与导轨区域，入口区域将用户界面分为第一部分与第二部分，第一部分不包括导轨区域，第二部分包括导轨区域；所述方法包括：响应于光标从用户界面的第一部分通过入口区域移动到用户界面的第二部分，控件进入激活态，并在控件的导轨区域显示滑块；响应于滑块从导轨区域的第一端移出导轨区域，所述控件生成第一事件。

Description

基于手势识别的人机交互方法与***

技术领域

本发明涉及人机交互领域。具体地，本发明涉及利用基于手势识别的控件进行人机交互的方法与***。

背景技术

人机交互技术中，控件是用于构建图形用户界面的可重用软件组件。通常，一个控件对应一种功能。例如，图1展示了二维图形用户界面中的“确认”控件。“确认”控件包括提示窗，提示窗中包括“确认”按钮与“取消”按钮。在“确认”控件被调用时，弹出如图1所示的提示窗，识别用户对“确认”按钮或“取消”按钮的点击来获得用户的操作意图，并实现人机交互。现有技术中的滑动解锁技术，通过手部在触摸屏上的滑动向信息处理设备告知用户的输入意图。

新型人机交互技术也在不断发展，基于手势识别的人机交互技术是热点之一。对手部运动的识别，可以通过多种方法实现。来自微软公司的US20100199228A1(公开日：2010年8月5日)提供了利用深度摄像头捕获并分析用户的身体姿态，并将其解释为计算机命令的方案。来自Nintendo公司的US20080291160A1(公开日：2008年11月27日)提供了利用红外传感器和加速度传感器捕获用户手部位置的方案。来自松下电器产业株式会社的CN1276572A提供了使用摄像头对手部进行拍照，然后对图像进行归一化分析，并将归一化得到的图像进行空间投影，并将所得的投影坐标与预先存储的图像的投影坐标进行比较。图2示出了来自天津锋时互动科技有限公司的专利申请CN201110100532.9提供的手势识别与空间位置的感知***与方法。如图2所示，手势识别***包含：计算机主机101、多摄像头***的控制电路102、多个摄像头103、使用者手部104、运行于计算机主机101的应用程序105、应用程序105中的***作对象106与虚拟手光标107。手势识别***还包括在图2中未示出的用于照明使用者手部104的红外照明光源以及放置于每个摄像头前的红外滤光片。多个摄像头103捕获使用者手部104的图像，控制电路102对摄像头103采集的手部图像进行处理，并识别手部的姿态和/或位置。此外，现有技术中还有利用数据手套来辅助对手部姿态的识别的方案。

发明内容

在基于手势识别的人机交互过程中，需要设计控件来促进应用程序的开发。控件以手势作为输入，而产生事件或消息作为输出。事件或消息可指示用户的“确认”或“取消”的操作目的，或指示多种不同含义的用户意图。而且由于人的生物特征决定了用户的手在交互空间的轨迹无法实现上笔直或者规范的问题，从而已有的人机交互技术难以有效地理解手势输入的意图。

根据本发明的第一方面，提供了基于手势识别的第一人机交互方法，其中控件基于用户的手势信息识别用户的命令，所述控件包括入口区域与导轨区域，入口区域将用户界面分为第一部分与第二部分，第一部分不包括导轨区域，第二部分包括导轨区域；所述方法包括：响应于光标从用户界面的第一部分通过入口区域移动到用户界面的第二部分，控件进入激活态，并在控件的导轨区域显示滑块；响应于滑块从导轨区域的第一端移出导轨区域，所述控件生成第一事件。

根据本发明的第一方面的基于手势识别的第一人机交互方式，提供了根据本发明第一方面的基于手势识别的第二人机交互方法，其中包括：响应于滑块从导轨区域的第二端移出导轨区域，所述控件生成第二事件。

根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的基于手势识别的第三人机交互方法，其中包括：响应于滑块从导轨区域的第一端或第二端移出导轨区域，所述控件进入未激活态。

根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第四人机交互方法，其中包括：初始化所述控件，所述控件进入未激活状态。

根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第五人机交互方法，其中所述第一端是导轨区域靠近入口区域的部分。

根据本发明的第一方面的基于手势识别的第二人机交互方式，提供了根据本发明第一方面的基于手势识别的第六人机交互方法，其中所述第二端是导轨区域远离入口区域的部分。

根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第七人机交互方法，其中包括：在用户界面上依据手势信息显示光标，以及所述手势信息指示由图像采集设备捕捉的用户手部图像提取的用户手部的位置和/或姿态。

根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第八人机交互方法，其中包括：依据光标在导轨区域的中线上的投影位置，在导轨区域中绘制滑块。

根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第九人机交互方法，其中包括：响应于控件进入激活态，在用户界面上隐藏光标，以及改变控件的外观，以向用户提示控件进入激活态。

根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第十人机交互方法，其中包括：响应于控件进入未激活态，在用户界面上依据手势信息支持的位置显示光标。

根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第十一人机交互方法，其中包括：响应于滑块移出导轨区域，隐藏所述滑块。

根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第十二人机交互方法，其中包括：在控件的激活态下，响应于手势信息指示的“抓握”动作，使光标固定于滑块，以及依据手势信息绘制滑块。

根据本发明的第一方面的基于手势识别的第一人机交互方式，提供了根据本发明第一方面的第十三人机交互方法，其中所述导轨区域的第一端有多个。

根据本发明的第一方面的基于手势识别的第二人机交互方式，提供了根据本发明第一方面的第十四人机交互方法，其中所述导轨区域的第二端有多个。

根据本发明的第二方面，提供了根据本发明第二方面的基于手势识别的第一人机交互装置，其中控件基于用户的手势信息识别用户的命令，所述控件包括入口区域与导轨区域，入口区域将用户界面分为第一部分与第二部分，第一部分不包括导轨区域，第二部分包括导轨区域；所述装置包括：激活模块，用于响应于光标从用户界面的第一部分通过入口区域移动到用户界面的第二部分，控件进入激活态，并在控件的导轨区域显示滑块；事件生成模块，响应于滑块从导轨区域的第一端移出导轨区域，所述控件生成第一事件。

根据本发明的第二方面的基于手势识别的第一人机交互装置，提供了根据本发明第二方面的第二人机交互装置，其中包括：第二事件生成模块，用于响应于滑块从导轨区域的第二端移出导轨区域，所述控件生成第二事件。

根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第三人机交互装置，其中包括：去激活模块，响应于滑块从导轨区域的第一端或第二端移出导轨区域，所述控件进入未激活态。

根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第四人机交互装置，其中包括：初始化模块，用于初始化所述控件，所述控件进入未激活状态。

根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第五人机交互装置，其中所述第二端是导轨区域靠近入口区域的部分。

根据本发明的第二方面的第二人机交互装置，提供了根据本发明第二方面的第六人机交互装置，其中所述第一端是导轨区域远离入口区域的部分。

根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第七人机交互装置，其中还包括：在用户界面上依据手势信息显示的装置，以及所述手势信息指示由图像采集设备捕捉的用户手部图像提取的用户手部的位置和/或姿态。

根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第八人机交互装置，其中包括：滑块绘制模块，用于依据光标在导轨区域的中线上的投影位置，在导轨区域中绘制滑块。

根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第九人机交互装置，其中包括：外观改变模块，用于响应于控件进入激活态，在用户界面上隐藏光标，并播放指定的声音，显示指定的文字，和/或提供力学反馈，以向用户提示控件进入激活态。

根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第十人机交互装置，其中包括：光标显示模块，用于响应于控件进入未激活态，在用户界面上依据手势信息支持的位置显示光标，播放指定的声音，显示指定的文字，和/或提供力学反馈。

根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第十一人机交互装置，其中包括：滑块隐藏模块，用于响应于滑块移出导轨区域，隐藏所述滑块。

根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第十二人机交互装置，其中包括：光标固定模块，用于在控件的激活态下，响应于手势信息指示的“抓握”动作，使光标固定于滑块，以及依据手势信息绘制滑块。

根据本发明的第二方面的第一人机交互装置，提供了根据本发明第二方面的第十三人机交互装置，其中所述导轨区域的第一端有多个。

根据本发明的第二方面的第二人机交互装置，提供了根据本发明第二方面的第十四人机交互装置，其中所述导轨区域的第二端有多个。

根据本发明的第三方面，提供了一种信息处理设备，其中所述信息处理设备包括处理器、存储器以及显示装置，所述信息处理设备还耦合到手势识别设备并接收手势识别设备提供的手势信息；所述存储器存储程序，所述处理器运行所述程序使所述信息处理设备执行根据本发明的第一方面的前述人机交互方法。

根据本发明的第四方面，提供了一种计算机程序，其使得当由信息处理设备的处理器运行所述程序时，使所述信息处理设备执行根据本发明的第一方面的前述多种人机交互方法之一。

附图说明

当连同附图阅读时，通过参考后面对示出性的实施例的详细描述，将最佳地理解本发明以及优选的使用模式和其进一步的目的和优点，其中附图包括：

图1展示了现有技术中二维图形用户界面的“确认”控件；

图2是现有技术中的手势识别***结构示意图；

图3是根据本发明实施例的基于手势识别的人机交互***的框图；

图4是根据本发明实施例的二维用户界面中基于手势识别的控件的示意图；

图5A-5D是根据本发明实施例的二维用户界面中基于手势识别的控件的多种状态的示意图；

图6是根据本发明实施例的二维用户界面中基于手势识别的人机交互方法的流程图；

图7是根据本发明实施例的三维用户界面中基于手势识别的控件的示意图；

图8A-8D是根据本发明实施例的三维用户界面中基于手势识别的控件的多种状态的示意图；以及

图9是实现本发明实施例的信息处理设备的框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

图3是根据本发明实施例的基于手势识别的人机交互***的框图。根据本发明实施例的人机交互***包括彼此耦合的手势输入设备310、信息处理设备320以及显示设备330。在一个例子中，手势输入设备310，用于捕获用户手部的图像，并将获取的图像发送给信息处理设备进行处理。信息处理设备320，用于接收手势输入设备发送的手部图像，识别图像中用户手部的手势信息。信息处理设备320还通过显示设备330向用户展示图形和/或图像，例如在显示设备330上绘制用户手部的虚拟图像。信息处理设备可以是诸如计算机、手机或专用的手势识别设备。显示设备330可以是诸如平面显示器、投影仪、头戴式显示器。

在另一个例子中，手势输入设备310感知用户手部的位置和/或姿态，识别用户手部的手势信息，并将用户手部信息发送给信息处理设备320。信息处理设备320识别手势输入设备310提供的用户手部信息作为用户提供的输入，并通过显示设备330向用户提供输出，以实现人机交互。显然，信息处理设备320还可通过声音、力学作用等形式与用户进行交互。

作为依然另一个例子，手势输入设备310还是可以是例如深度传感器、距离传感器、VR控制器(如Oculus Rift Touch)、游戏手柄、数据手套(如CyberGlove)、动作捕捉***(如OptiTracker)、陀螺仪等，用于感知用户手部的位置和/或姿态。

从用户在现实世界中所做的手势和/或动作，提取出基于虚拟坐标系的手势信息(i)。手势信息(i)可以是一个向量，并形式化表示为i＝{C,palm,thumb,index,mid,ring,little}。其中，c表示整个手的手型，例如，握拳、五指张开、胜利手势等，palm代表指示手掌的位置信息，thumb、index、mid、ring和little分别代表拇指、食指、中指、无名指和小指的位置信息和/或朝向信息。以及其中，虚拟坐标系用以展示由信息处理设备320所构建的虚拟世界中的位置信息。而用现实坐标系展示现实世界中物体或空间的位置信息。信息处理设备320所构建的虚拟世界可以是例如二维图形用户界面的二维空间、三维空间或融合了用户的虚拟现实场景。现实坐标系与虚拟坐标系，可以是二维坐标系或三维坐标系。可按一定的频率或时间间隔更新手势信息(i)，或者在用户的手部位置和/或姿态发生变化时，更新手势信息(i)。

在用户界面上，可以依据手势信息(i)显示光标，用来向用户提供视觉响应。光标在图形界面上的位置可表示为手势信息(i)的函数，例如func_a(i)。本领域技术人员可以理解，函数func_a根据不同的应用场景或设置而不同。

例如，在一个二维用户界面中，通过公式(1)计算要绘制光标的位置：

Func_a(i)＝C*0+palm*0+index.position*0.5+mid*0+little*0 (1)

(1)式中，index.position指用户食指的位置，因而从(1)式中可知，光标在用户界面上的位置，仅依赖于用户食指位置，且光标在用户界面上移动的距离，是用户食指移动距离的一半。

光标可具有单一样式，例如手的形状。光标也可具有对应于不同手型的多种样式。

下面结合图4-图6来说明，在二维用户界面中如何通过手势来操作控件。

图4是根据本发明实施例的二维用户界面中基于手势识别的控件的示意图。参看图4，根据本发明实施例的二维用户界面中基于手势识别的控件包括：入口区域与导轨区域。图4中的入口区域是一条线段。在另一个例子中，入口区域可以是曲线。入口区域将用户界面的二维平面分为两部分，将包括导轨区域的一侧，称为导轨侧，而将另一侧称为自由侧。图4中，导轨区域是矩形。显然，在其他例子中，导轨区域可具有其他形状，例如线段、三角形、椭圆形等。入口区域与导轨区域可以被绘制在二维用户界面上，以提示用户控件所在的位置。在另一个例子中，入口区域和/或导轨区域可以被隐藏，以不影响用户界面上展示的内容。导轨区域临近或邻接于入口区域。导轨区域靠近入口区域的部分称为入口端，而导轨区域远离入口区域的部分称为出口端。在另一个例子中，为了让用户用手部的悬空操作更易于被识别，控件的入口区域与导轨区域呈现为豁口状或喇叭口状，从而易于引导用户通过手势使光标进入导轨区域。

在图4的例子中，导轨区域还包括滑块。滑块可沿导轨区域移动。

图5A-5D是根据本发明实施例的二维用户界面中基于手势识别控件的多种状态的示意图。

基于手势识别的控件具有激活态与非激活态。非激活态为控件的初始状态。图5A展示了处于非激活态的控件，以及关联于手势信息(i)的光标。注意到在图5A中，导轨区域上未绘制滑块，或者将滑块隐藏。导轨区域中不包括滑块，可以是给用户的提示，告知用户控件处于非激活态。

当用户的手势使得光标从自由侧通过入口区域进入导轨侧时，控件由非激活态转换为激活态。控件接收指示手势信息(i)的事件，并识别手势信息(i)使光标位置发生的变化。当手势信息(i)使光标位置从控件的自由侧经由入口区域进入导轨侧，将控件状态改变为激活态。以及绘制激活态的控件。

可选地，当用户的手势使得光标从自由侧通过入口区域进入导轨侧时，在导轨区域上绘制滑块，以及也显示光标；用户通过手势将光标移动到滑块上，并通过“抓握”动作，使光标固定于滑块，以及接下来，滑块将跟随光标移动。“抓握”动作不是必须的，在一个实施例中，控件处于激活态时，滑块跟随光标移动，或者控件基于手势信息(i)使滑块位置发生变化。依然可选地，随着滑块的移动，还播放指定声音、改变视觉展示和/或向用户提供力学反馈。例如，随着滑块向出口端移动，播放的声音逐渐增加和/或频率逐渐升高，而随着滑块向出口端移动，播放的声音逐渐减弱和/或频率逐渐降低。

图5B展示了处于激活态的控件。在激活态的控件中，导轨区域包括滑块。滑块关联于手势信息(i)用以给用户其手部位置的提示，并且隐藏光标。作为举例，依照确定绘制光标位置的规则，确定绘制滑块的位置。进一步地，绘制滑块的位置被限定在导轨区域，使得呈现出滑块沿导轨移动。在图5B的例子中，导轨区域包括中线。光标(未绘制出)的位置在中线上的投影位置，为在导轨区域中绘制滑块的位置。可选地，改变控件的外观，以向用户提示控件被激活并进入激活态。例如，沿控件的边缘绘制阴影，和/或改变控件区域的颜色，和/或显示指定的文字。依然可选地，通过向用户提供力学反馈，和/或播放指定的声音，以向用户提示控件被激活并进入激活。

若用户的手势使得光标从导轨侧进入导轨区域，或者用户的手势使光标绕过入口区域而进入导轨侧，则不会使处于非激活态的控件变为激活态。以及滑块不会被显示，而依然显示光标。

在根据本发明的实施例中，若用户通过手势使滑块从导轨区域的出口端移出导轨，代表用户向控件指示“确认”命令，以及若用户通过手势使滑块从导轨区域的入口端移出导轨，代表用户向控件指示“取消”命令。

图5C展示了收到“确认”命令的控件。对于激活态的控件，作为举例，用户向右侧移动食指，滑块的位置(图5C中展示为虚线样式的滑块)相应沿导轨区域向右移动，以及时向用户提供视觉反馈，使用户知晓控件是否正确识别了自己的意图。当随着用户食指的移动，控件检测到滑块从导轨区域的出口端移出导轨区域，控件生成代表“确认”命令的事件。通过处理代表“确认”命令的事件，同控件所关联的操作被确认。随着滑块移出导轨区域，隐藏滑块，例如，仅在导轨区域内绘制滑块，而隐藏滑块在导轨区域以外的部分。可选地，改变控件的外观，以向用户提示控件识别了用户的意图并产生了“确认”事件。例如，使控件区域闪烁，和/或改变控件区域的颜色，和/或显示指定的文字。依然可选地，向用户提供力学反馈，和/或播放指定的声音，以向用户提示控件识别了用户的意图。进一步地，随着滑块移出导轨区域，控件的状态转换为非激活态，以及绘制光标以跟踪用户的手势。

图5D展示了收到“取消”命令的控件。对于激活态的控件，作为举例，用户向左侧移动食指，滑块的位置(图5D中展示为虚线样式的滑块)相应沿导轨区域向左移动，以及时向用户提供视觉反馈，使用户知晓控件是否正确识别了自己的意图。当随着用户食指的移动，控件检测到滑块从导轨区域的入口端移出导轨区域，控件生成代表“取消”命令的事件，或者不产生事件，来指示用户没有做出“确认”指示，或者指示用户放弃或取消了原有的企图。通过处理代表“取消”命令的事件，同控件所关联的操作被取消或忽略。随着滑块移出导轨区域，隐藏滑块。可选地，改变控件的外观，和/或向用户提供力学反馈，以向用户提示控件识别了用户的意图并产生了“取消”事件。进一步地，随着滑块移出导轨区域，控件的状态转换为非激活态，以及绘制光标以跟踪用户的手势。

在根据本发明的另一实施例中，导轨区域具有十字形状。在激活态，当滑块从右侧或上方移出导轨时，控件产生“确认”事件；而当滑块从左侧或下方移出导轨时，控件产生“取消”事件。

所属领域技术人员将意识到，导轨区域可以有多个出口。当滑块从一些出口移出时，控件产生“确认”事件，而滑块从另一些出口移出时，控件产生“取消”事件。为提示用户出口的不同含义，在各个出口方向，可通过视频、音频和/或力学反馈向用户就出口的含义提供不同的指示。

在依据本发明的依然有一个实施例中，导轨区域具有十字形状，以及有多个出口，十字区域的每个分支对应一个出口，以及每个出口指示不同的含义或者多个出口指示多种含义。例如，当滑块从上方出口移出时，控件产生“取消”事件，指示用户放弃了对播放音乐的企图；当滑块从右侧出口移出时，控件产生“静音”事件，指示用户希望立即使来自某应用程序的音频输出的音量下降为0；当滑块从上方出口移出时，控件产生“设置为高采样率”事件；以及当滑块从下方出口移出时，控件产生“设置为低采样率”事件。响应于收到控件所输出的指示不同含义或不同命令的事件，应用程序进行相应的处理。

图6是根据本发明实施例的二维用户界面中基于手势识别的人机交互方法的流程图。为使用根据本发明实施例的控件，初始化控件(610)。控件初始化过程，包括在用户界面上绘制控件，例如，在用户界面中绘制如图5A所示的控件。以及使控件接收手势信息(i)。可选地，还在用户界面上绘制光标，绘制光标的位置关联于手势信息(i)。在另一例子中，由控件所应用于的程序或其他程序在用户界面上绘制光标。控件接收手势信息(i)，从手势信息(i)中获取光标的位置。响应于光标从自由侧通过入口区域移动到导轨侧，控件进入激活态(620)。图5B展示了激活态的控件。可选地，控件进入激活态时，还改变控件的外观，产生指定的声音，和/或提供力学反馈，以向用户提示控件进入激活态。控件还在导轨区域绘制滑块。绘制滑块的位置被限定在导轨区域，使得呈现出滑块沿导轨移动。以及使滑块跟随用户的手势而移动。作为举例，依照确定绘制光标位置的规则，确定绘制滑块的位置。进一步地，将光标位置在导轨区域中线的投影，作为绘制滑块的位置。

控件手势信息(i)中获取滑块的位置。控件检测滑块是否从导轨区域的一侧移出导轨区域(640)。参看图5C，当控件检测到滑块从导轨区域的出口端移出导轨区域，控件产生第一事件(650).作为举例，第一事件可以是“确认”事件、“静音”事件等。以及参看图5D，当控件检测到滑块从导轨区域的入口端移出导轨区域，控件产生第二事件(650)。第二事件可以是“取消”事件、“设置为高采用率”等事件。

在步骤650，随着产生第一事件，控件进入未激活态。可选地，改变控件的外观，产生指定的声音，和/或提供力学反馈，以向用户提示控件识别了用户的意图并产生了第一事件。以及可选地，绘制光标以跟踪用户的手势。

在步骤660，随着产生第二事件，控件进入未激活态。可选地，改变控件的外观，产生指定的声音，和/或提供力学反馈，以向用户提示控件识别了用户的意图并产生了第二事件。以及可选地，绘制光标以跟踪用户的手势。

在进一步的实施例中，用户在虚拟世界中创建根据本发明实施例的空间，和/或设置或改变控制的位置。用户可将控件设置在便于操作的位置。例如，用户手臂向侧方充分伸展开时，光标所在的位置。从而既便于用户指示“确认”/“取消”等命令，又不影响对虚拟世界中其他对象的操作。

下面结合图7-8来具体说明，在三维用户界面中根据本发明的基于手势识别控件的实施例。图7是根据本发明实施例的三维用户界面中基于手势识别的控件的示意图。参看图7，根据本发明实施例的三维用户界面中基于手势识别的控件包括：入口区域与导轨区域。图7中的入口区域是一有限矩形平面。在另一个例子中，入口区域可以是曲面或平面上由封闭曲线围住的区域。图7中，入口区域所在的平面将用户界面的三维空间分为两部分，将包括导轨区域的一侧，称为导轨侧，而将另一侧称为自由侧。图7中，导轨区域是长方体。显然，在其他例子中，导轨区域可具有其他形状，例如圆柱体、球体、椭球体等。入口区域与导轨区域可以被绘制在三维用户界面上，以提示用户控件所在的位置。导轨区域可以与三维用户界面的物体相融合，例如，用户界面的花瓶、邮筒等。在另一个例子中，入口区域和/或导轨区域可以被隐藏，以不影响用户界面上展示的内容。导轨区域临近或邻接于入口区域。导轨区域靠近入口区域的部分称为入口端，而导轨区域远离入口区域的部分称为出口端。

在图7的例子中，导轨区域还包括滑块。滑块可沿导轨区域移动。可选地，控件中还包括导轨线，在图7中，导轨线是沿导轨区域的长方体的长轴方向的中线。导轨线的一个端点在入口区域上。滑块沿导轨线移动。

图8A-8D是根据本发明实施例的三维用户界面中基于手势识别的控件的多种状态的示意图。

图8A展示了处于非激活态的控件，以及关联于手势信息(i)的光标。在非激活态的控件上，导轨区域上未绘制滑块，或者将滑块隐藏。导轨区域中不包括滑块，是给用户的提示，告知用户控件处于非激活态。

当用户的手势使得光标从自由侧通过入口区域进入导轨侧时，控件由非激活态转换为激活态。控件接收指示手势信息(i)的事件，并识别手势信息(i)使光标位置发生的变化。当手势信息(i)使光标位置从控件的自由侧经由入口区域进入导轨侧，将控件状态改变为激活态。以及绘制激活态的控件。

可选地，当用户的手势使得光标从自由侧通过入口区域进入导轨侧时，在导轨区域上绘制滑块，以及也显示光标；用户通过手势将光标移动到滑块上，并通过“抓握”动作，使光标固定于滑块；以及接下来，滑块将跟随光标移动。

图8B展示了处于激活态的控件。在激活态的控件中，导轨区域包括滑块。滑块关联于手势信息(i)用以给用户其手部位置的提示，并且隐藏光标。作为举例，依照确定绘制光标位置的规则，确定绘制滑块的位置。进一步地，绘制滑块的位置被限定在导轨区域，使得呈现出滑块沿导轨移动。在图7B的例子中，导轨区域包括导轨线。光标(未绘制出)的位置在导轨线上的投影位置，为在导轨区域中绘制滑块的位置。可选地，改变控件的外观，以向用户提示控件被激活并进入激活态。例如，沿控件的边缘绘制阴影，和/或改变控件区域的颜色，和/或播放指定的声音，和/或显示指定的文字。

若用户的手势使得光标从导轨侧进入导轨区域，或者用户的手势使光标绕过入口区域而进入导轨侧，则不会使处于非激活态的控件变为激活态。以及滑块不会被显示，而依然显示光标。

在根据本发明的实施例中，若用户通过手势使滑块从导轨区域的出口端移出导轨，代表用户向控件指示“确认”命令，以及若用户通过手势使滑块从导轨区域的入口端移出导轨，代表用户向控件指示“取消”命令。以及可选地，若用户的手势尝试使滑块从入口端或出口端以外的区域移出导轨区域，滑块被限制在导轨区域中，控件依然处于非激活态。

图8C展示了收到“确认”命令的控件。对于激活态的控件，作为举例，用户向右侧移动食指，滑块的位置(图7C中展示为虚线样式的滑块)相应沿导轨区域向右移动，以及时向用户提供视觉反馈，使用户知晓控件是否正确识别了自己的意图。当随着用户食指的移动，控件检测到滑块从导轨区域的出口端移出导轨区域，控件生成代表“确认”命令的事件。通过处理代表“确认”命令的事件，同控件所关联的操作被确认。随着滑块移出导轨区域，隐藏滑块。进一步地，随着滑块移出导轨区域，控件的状态转换为非激活态，以及绘制光标以跟踪用户的手势。

图8D展示了收到“取消”命令的控件。对于激活态的控件，作为举例，用户向左侧移动食指，滑块的位置(图8D中展示为虚线样式的滑块)相应沿导轨区域向左移动，以及时向用户提供视觉反馈，使用户知晓控件是否正确识别了自己的意图。当随着用户食指的移动，控件检测到滑块从导轨区域的入口端移出导轨区域，控件生成代表“取消”命令的事件，或者不产生事件，来指示用户没有做出“确认”指示，或者指示用户放弃或取消了原有的企图。通过处理代表“取消”命令的事件，同控件所关联的操作被取消或忽略。随着滑块移出导轨区域，隐藏滑块。进一步地，随着滑块移出导轨区域，控件的状态转换为非激活态，以及绘制光标以跟踪用户的手势。

所属领域技术人员将意识到，导轨区域可以有多个出口。当滑块从一些出口移出时，控件产生“确认”事件，而滑块从另一些出口移出时，控件产生“取消”事件。为提示用户出口的不同含义，在各个出口方向，可通过视频、音频和/或力学反馈向用户就出口的含义提供不同的指示。

在依据本发明的依然有一个实施例中，导轨区域具有多个出口每个出口指示不同的含义或者多个出口指示多种含义。例如，当滑块从第一出口移出时，控件产生“取消”事件；当滑块从第二出口移出时，控件产生“静音”事件；当滑块从第三出口移出时，控件产生“设置为高采样率”事件；以及当滑块从第四出口移出时，控件产生“设置为低采样率”事件。响应于收到控件所输出的指示不同含义或不同命令的事件，应用程序进行相应的处理。

在本发明的另一个实施例中，在三维用户界面按如下方式显示控件。初始时，控件处于非激活状态时，显示光标，隐藏入口区域，显示导轨区域；控件由非激活状态转化为激活状态时，弱化手势光标，在导轨区域上显示滑块，并显示导轨区域和/或导轨线。控件在进入激活状态的瞬间，触发特效，包括：逐渐弱化光标，以及显示导轨区域和/或导轨线。在用户通过控件，确认或取消当前控件所关联的操作时，触发另一特效，包括：滑块在高亮显示之后逐渐弱化并消失，逐渐恢复对光标的显示，将导轨区域和/或导轨线段逐步恢复为控件处于非激活态时的样式。

在根据本发明的另一实施例中，展示了在应用中如何利用手势来操作根据本发明实施例提供的控件。(1)在显示设备的用户界面上显示非激活状态的控件以及关联于手势信息(i)的光标；(2)用户改变手势或移动手部位置，观察显示设备上控件与光标的变化；用户通过改变手势或移动手部位置来控制光标从自由侧通过入口区域进入导轨区域，控件被激活。在激活控件时，用户界面提示用户控件被激活。(3)当控件处于激活状态后，用户通过改变手势或移动手部位置来控制滑块，使得滑块沿导轨区域移动。如果用户要执行确认操作，则使得滑块从导轨区域的出口端移出；如果要执行取消操作，则使得滑块从导轨区域的入口端移出。可选地，在执行确认操作和取消操作时，用户界面提示用户所执行的操作。

图9是实现本发明实施例的信息处理设备的框图。在根据本发明的实施例中，信息处理设备900在用户界面上生成控件，并识别用户手势信息(i)或接收手势输入/手势识别设备提供的手势信息(i)，识别用户的指示，并向用户提供反馈以同用户交互。图9中展示的信息处理设备900是计算机。计算机仅仅是适当的计算环境的一个例子，而不意图暗示关于本发明的使用或功能范围的任何限制。图9所展示的信息处理设备也不应当被解释为在所示出的任何组件或组件组合方面有任何依赖性或要求。

信息处理设备900包括直接或间接地耦合到总线910的存储器912、一个或更多处理器914、一个或更多呈现组件916、I/O组件920以及电源922。总线910所代表的可以是一种或更多种总线(比如地址总线、数据总线或其组合)。是在实际情况中各个组件的界定并不是必然如图9中的方式。举例来说，可以把诸如显示设备之类的呈现组件视为I/O组件920。此外，处理器可具有存储器。本发明的发明人认识到这正是本领域的性质，并且重申图9的图示仅仅是为了说明可以与本发明的一个或多个实施例相结合地使用的示例性计算机***。

信息处理设备900通常包括多种存储器912。作为举例而非限制，存储器912可以包括：随机存取存储器(RAM)、只读存储器(ROM)、电子可擦写可编程只读存储器(EEPROM)、闪存、压缩盘只读存储器(CDROM)、数字通用盘(DVD)或其他光学或全息介质、磁盒、磁带、磁盘存储或其他磁性存储设备。计算机存储介质可以是非易失性的。

信息处理设备900包括一个或更多处理器914，其从诸如总线910、存储器912或者I/O组件920之类的各种实体读取数据。一个或多个呈现组件916向用户或其他设备呈现数据指示。示例性的呈现组件916包括显示设备、扬声器、打印组件、振动组件、平面显示器、投影仪、头戴式显示器等。呈现组件916也可以是用于耦合显示设备、扬声器、打印组件、振动组件、平面显示器、投影仪、头戴式显示器等的I/O端口。说明性的I/O组件920包括摄像头、麦克风、操纵杆、游戏手柄、碟形卫星信号收发天线、扫描仪、打印机、无线设备等。

根据本发明的基于手势识别的控件也可在手势识别设备或手势输入设备中实施。手势识别设备或手势输入设备可以集成到键盘、鼠标、遥控器等输入设备中。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种基于手势识别的人机交互方法，其中控件基于用户的手势信息识别用户的命令，所述控件包括入口区域与导轨区域，入口区域将用户界面分为第一部分与第二部分，第一部分不包括导轨区域，第二部分包括导轨区域；所述方法包括：

响应于光标从用户界面的第一部分通过入口区域移动到用户界面的第二部分，控件进入激活态，并在控件的导轨区域显示滑块；

响应于滑块从导轨区域的第一端移出导轨区域，所述控件生成第一事件。

2.根据权利要求1所述的方法，还包括：

响应于滑块从导轨区域的第二端移出导轨区域，所述控件生成第二事件。

3.根据权利要求1-2之一所述的方法，还包括：

响应于滑块从导轨区域的第一端或第二端移出导轨区域，所述控件进入未激活态。

4.根据权利要求1-3之一所述的方法，其中

在用户界面上依据手势信息显示光标，以及所述手势信息指示由图像采集设备捕捉的用户手部图像提取的用户手部的位置和/或姿态。

5.根据权利要求1-4之一所述的方法，还包括：

响应于控件进入激活态，在用户界面上隐藏光标并改变控件的外观，播放指定的声音，显示指定的文字，和/或提供力学反馈，以向用户提示控件进入激活态。

6.根据权利要求1-5之一所述的方法，还包括：

响应于控件进入未激活态，在用户界面上依据手势信息支持的位置显示光标，播放指定的声音，显示指定的文字，和/或提供力学反馈。

7.根据权利要求1-6所述的方法，还包括：

在控件的激活态下，响应于手势信息指示的“抓握”动作，使光标固定于滑块，以及依据手势信息绘制滑块。

8.根据权利要求1-7之一所述的方法，其中导轨区域的第一端有多个。

9.一种基于手势识别的人机交互装置，其中控件基于用户的手势信息识别用户的命令，所述控件包括入口区域与导轨区域，入口区域将用户界面分为第一部分与第二部分，第一部分不包括导轨区域，第二部分包括导轨区域；所述装置包括：

激活模块，用于响应于光标从用户界面的第一部分通过入口区域移动到用户界面的第二部分，控件进入激活态，并在控件的导轨区域显示滑块；

事件产生模块，响应于滑块从导轨区域的第一端移出导轨区域，所述控件生成第一事件。

10.一种信息处理设备，包括处理器、存储器以及显示装置，所述信息处理设备还耦合到手势识别设备并接收手势识别设备提供的手势信息；

所述存储器存储程序，所述处理器运行所述程序使所述信息处理设备执行权利要求1-8之一所述的方法。