CN103282858B - 用于检测姿势输入的方法和装置 - Google Patents

Abstract

提供用于响应于在检测装置前的连续往复移动而检测姿势输入的方法，其中，所述连续往复移动由第一类姿势和第二类姿势构成，每一类姿势都能够被所述检测装置识别以输出不同控制信号，所述方法包括如下步骤：接收随着两类中的第一类姿势开始的连续往复移动，其中，所述第一类姿势和第二类姿势交替出现；并且以与在所述连续往复移动内获得的第一类姿势的数量相等的次数输出与所述第一类姿势对应的控制信号。

Description

用于检测姿势输入的方法和装置

技术领域

本发明涉及用户接口，并且更具体地涉及用于检测姿势输入的方法。

背景技术

姿势识别，特别是手势识别使得人类能够与机器交互并且不利用任何机械装置自然地交互。姿势识别可以利用来自计算机视觉和图像处理的技术进行。使用姿势识别的概念，能够将手指指向计算机屏幕，从而光标将相应地移动。姿势包括静态姿势、例如胜利标志(食指和中指伸展并分开而拇指和剩余手指攥紧的手势)，和动态姿势，即，在单个有效姿势输入的时段内，改变用户手部形状(例如，伸展一些手指或攥紧一些手指)和或用户手部位置以形成有效姿势输入。并且有时，连续手部形状改变和/或手部移动可以解译为对装置的两个或多个指令。

姿势输入已被应用于很多领域。手势输入的一个应用是书本阅读应用。例如，一旦在相机前用户手部的水平滑动(手部移动的轨迹基本水平且移动距离超出特定值，例如15厘米)，装置就解译此姿势输入为翻动书本页面的指令。书本的向后或向前翻动取决于移动方向。图1是图示根据现有技术的信令(signaling)书本的向后翻动的向右姿势的示图。如从图1可见，为了做出向右姿势，用户必须首先将他的右手放在相机前方，随后向右移动特定距离。当姿势完成时(即，手部到达如图1示出的停止位置)，用户需要在相机前快速缩回他的手部。考虑用户想要翻动若干页面的情形，假定每次5页，他需要进行抬起他手部、移动、停止和缩回5次。这对于用户来说真的不方便，因而降低了用户体验。

期待连续姿势输入的新方式。

发明内容

根据本发明的一个方面，提供用于响应于连续往复移动而检测姿势输入的方法，其中，连续往复移动包括至少一个第一类姿势和至少一个第二类姿 势，每一类姿势都能够被检测装置识别以输出不同控制信号，所述方法包括步骤：接收随着两类中的第一类姿势开始的连续往复移动，其中，所述第一类姿势和第二类姿势交替出现；和以与在连续往复移动内获得的第一类姿势的数量相等的次数输出与所述第一类姿势对应的控制信号。

根据本发明的另一方面，提供用于响应于连续往复移动而检测姿势输入的装置，其中，所述连续往复移动包括至少一个第一类姿势和至少一个第二类姿势，每一类姿势都能够被识别以输出不同控制信号，所述装置包括：捕获模块，用于捕获随着两类中的第一类姿势开始的连续往复移动，其中，所述第一类姿势和第二类姿势交替出现；和处理模块，基于所捕获的连续往复移动以与在连续往复移动内获得的第一类姿势的数量相等的次数输出与所述第一类姿势对应的控制信号。

应当明白，将在本发明的以下详细描述中找到本发明的更多方面和优势。

附图说明

将它们包括以提供本发明的进一步理解的附图与描述一起图示了本发明的实施例，所述描述用来说明本发明的原理。因而，本发明不限于实施例。在附图中：

图1是示出根据现有技术的在相机前的手部移动的示图；

图2A、2B是示出根据本发明的实施例的单一手部挥动的轨迹的示图；

图3是示出根据本发明实施例的、对应于两个相邻图像帧的两点的示图；

图4是示出根据本发明实施例的、从开始起的手部轨迹的示图；

图5是示出根据本发明实施例的、从开始起的另一手部轨迹的示图；

图6是示出根据本发明实施例的、用于根据连续往复移动检测姿势输入的方法的流程图；

图7是示出根据本发明实施例的、用于根据连续往复移动检测姿势输入的装置的方框图。

具体实施方式

现在将结合附图详细描述本发明的实施例。在以下描述中，可以出于清晰和简明目的而省略已知功能和配置的一些详细描述。

本发明的目的在于提供一种简单的方式来给出连续往复手部移动的重复指令。可以通过装置来识别连续往复移动为一组连续子移动，并且任何相邻两个子移动具有相反的朝向方向。从连续往复移动得出的指令的类型由该组连续子移动内的第一个决定，并且得出的指令的数量与具有与该组内第一个移动(包括第一个移动)的朝向方向相同的朝向方向的子移动的数量相同。

依据本发明的实施例的详细示例在以下描述。***包括用来捕获姿势输入的连续图像的相机和连接到相机的处理装置。处理装置使用连续图像来生成对应指令。在实施例中，用于姿势识别的基础姿势的轨迹基本上等同直线(实际姿势移动不可能与线条一样直)。在此示例中，将水平手部挥动姿势用来图示本发明的原理。然而，应当注意到本发明的原理还可以应用于其他连续往复移动，例如，在深度可检测相机之前的垂直手部挥动、倾斜手部挥动以及甚至伸展和缩回手部的移动。

姿势识别技术涉及图像处理，并且因而，可以基于实时图像帧以实时的方式进行姿势识别，或者不以实时方式(即，使用捕获一组图像帧的相机)进行，并且随后分析该组图像帧。

实际上，全部静态姿势识别(姿态识别)可以基于实时图像帧以实时方式进行。例如，当检测胜利标志姿态时，装置仅需要基于手部形状的凸起轮廓的分析来判断姿态是否是胜利标志。对于动态姿势识别，装置需要捕获一组图像帧，找到每一帧中的手部的面心(centroid)，并且在此系列的手部面心形成的曲线的分析之后判断它是哪种姿势。

图2是根据本发明的实施例的、示出单一手部挥动的轨迹的示图，其中，图2A示出向右手部移动而图2B示出向左手部移动。在此示例中，我们假定相机是左上坐标***。应当注意，在姿势识别中，实线(或者我们称之为基本直线)不存在。对于每一帧中的质心等同于曲线上的点。因而，当对于任一方向移动的全部图像帧例如向左手部移动时，我们将记录一系列连续点，为了便于描述，我们使用线条连起全部这些点。离散点的数量取决于帧捕获速率。

图3是示出根据本发明的实施例的、与两个相邻图像帧对应的两点的示图。点A对应于两个图像帧的前一个，而点B对应于两个图像帧的后一个。这里，我们称点A为之前一位置点而点B为当前位置点。

在此示例中，使用四个运动方向，包括上下左右。如图3示出，点B放 置在点A的右侧。因为两个点都具有相同坐标系中的坐标值，所以装置可以轻易地确定。

在本实施例中，使用两个数据阵列来存储手部轨迹用于用户姿势的分析。如果运动趋势未反向，例如如图2A示出的，则我们在第一阵列中存储手部轨迹数据。在检测到运动趋势被反向之后，我们在第二阵列中存储从运动趋势的反向起的手部轨迹数据，并且随后我们使用第一阵列中的数据来确定发生了什么姿势并且输出对应的指令。另外，反向阈值和四个方向计数器被用来确定反向运动的发生。因为用户的连续姿势(诸如水平手部波动之类)具有特定的规律，例如当人们在做挥动动作时，如果向左挥动，则必须首先向左移动一段距离然后向右移动一段距离，并且重复若干次；如果是向右波动，则必须首先向右移动一段距离然后向左移动一段距离，并且也重复若干次，所以我们可以基于之前的子姿势来选择方向计数器。此外，在此实施例中，我们总是使用数据的第一阵列作为判断姿势的基础。

以下根据本发明的实施例描述对多个位置点中的一个位置点进行的处理步骤，所述多个位置点从手部移动中产生。

步骤1，在连续姿势输入期间的时间点，装置确定手部的前一位置点和当前位置点的坐标值。伪代码如下所示：

前一位置x坐标(old_x)＝(手部追踪趋势反向发生)？获得在第二阵列中之前存储的数据(pPointBuf1.x):获得在第一阵列中之前存储的数据(pPointBuf0.x)；

前一位置y坐标(old_y)＝(手部追踪趋势反向发生)？获得在第二阵列中之前存储的数据(pPointBuf1.y):获得在第一阵列中之前存储的数据(pPointBuf0.y)；

当前位置x坐标(cur_x)＝获得当前帧中手部x坐标；

当前位置y坐标(cur_y)＝获得当前帧中手部y坐标；

可以从以上伪代码中看到，与时间点对应的当前帧被用来确定当前位置点的坐标值。至于与该时间点紧邻的前一图像帧对应的前一位置点，装置需要首先确定运动趋势的反向是否已经发生。如果发生，则第二阵列中的数据将被用来确定该前一位置点的坐标值，或者相反，第一阵列中的数据将被用来确定该前一位置点的坐标值。

步骤2，基于当前位置点和前一位置点的位置关系来更新用于确定手部 移动的运动趋势的四个朝向计数器。在此实施例中，我们使用四个朝向计数器来分别记录向上方向、向下方向、向左方向和向右方向。但是根据变型，如果在装置中不存在规定的垂直姿势，则向上和向下朝向计数器是冗余的。

与相反方向对应的两个朝向计数器在一组内工作。例如，如果与前一位置点相关的当前位置点的位置是在左侧方向上，则向左朝向计数器将加一，并且同时，如果向右朝向计数器不是零，则此计数器将减一。并且同样的原理应用于向上和向下朝向计数器。在下面示出用于基于X轴值确定向左和向右计数器(orientation_l和orientation_r)的相关伪代码。类似原理可以应用于基于Y轴值确定向上和向下计数器。

图4是示出根据本实施例的、从开始起的手部轨迹的示图。如从图4可见，在反向点(将在下面描述确定反向点的方法)之前存在14个点。反向点可被视为反向姿势的开始点。因而，根据用于Orientation_l和Orientation_r的以上操纵方法(在此示例中，我们省略了对向上和向下朝向计数器的操纵)，在反向点之前的点处(即，最右点)，Orientation_l是0而Orientation_r是13。当移动到cur_X<old_X的反向点时，Orientation_l加一并且变为1，而Orientation_r减一并且变为12。

步骤3，每次装置在姿势输入期间捕获到图像帧，装置就确定运动趋势是否反向。在姿势输入期间，装置以特定捕获速率捕获姿势作为一组图像帧。对于每一个图像帧，装置首先确定用户的手部在图像帧中的位置点，并且使 用该位置点及其之前的位置点来更新相关朝向计数器。在更新朝向计数器之后，装置使用朝向计数器和朝向阈值来确定运动趋势的反向是否发生。朝向阈值是预定值，在此示例中，我们设置它为6。下面示出用于确定运动趋势是否反向的伪代码。这里，将一组子姿势朝向指示器(即，gesture_l,gesture_r,gesture_u和gesture_d)用来记录连续姿势输入或连续往复手部移动中前一姿势的姿势朝向。在用户输入连续姿势之前，这些参数被设置为假。并且在装置在连续姿势输入中检测到第一子姿势之后，对应参数将被设置为真。

在检测到第一子姿势之前，四个计数器中的最大计数器被选择以与朝向阈值比较。如果最大计数器大于该阈值并且具有与最大计数器相反朝向的朝向计数器等于1，则确定反向发生，并且设置与第一子姿势的相反朝向对应的子姿势朝向指示器为真。根据变型，具有4值选择的单一指示器可以用来取代四真假指示器。

这里，我们仍使用图4用于说明。在最右点处，Orientation_l是0而Orientation_r是13。尽管作为最大计数器的Orientation_r大于朝向阈值6，但是相反朝向计数器(即，Orientation_l)是0。因此，确定反向未发生。但是在反向点，两个条件都达到。因此，装置可以确定反向发生。

至于在第一子姿势朝向指示器之后的反向的确定，装置确定以下两个条件是否都达到：1)具有与前一子姿势朝向指示器相同朝向的朝向计数器超出阈值；并且2)具有与前一子姿势朝向指示器相反朝向的朝向计数器等于1。如果它们都达到，则确定反向发生。这将减少计算的复杂度。用于在获得gesture_l之后的反向的确定的伪代码如下所示。用于其他朝向指示器的伪代码是类似的。

在找到反向之前，数据被存储在第一阵列pPointBuf0中。一旦第一反向 发生，则pPointBuf0中的数据被用来解译姿势以输出指示姿势的含义的信号。此时，我们不能仅使用相邻两个点或者只是基于对于pPointBuf0中全部点的朝向计数器的数量来确定这是什么姿势。否则，可能引起错误。图5示出此情形。如果用户正在做向右移动子姿势，则可能还伴随着向下移动，尽管在反向点，向下朝向计数器大于向右朝向计数器，但是我们不能确定此子姿势为向下姿势。如果我们整体地看这个姿势，则显然向右移动距离远大于向下移动的距离，并且此子姿势应当判为向右姿势。在第一反向发生之后，将在第二阵列pPointBuf1中存储数据。并且我们将使用相关朝向计数器来确定第二反向的发生。请注意，我们在此示例中不使用pPointBuf1数据来确定姿势。pPointBuf1中的数据仅用来确定第二反向、第四反向、第六反向等的发生。可以轻易地得出，第一阵列被用来存储具有和第一子姿势移动相同朝向的子姿势移动的数据，并且第二阵列被用来存储具有和第一子姿势移动相反朝向的子姿势移动的数据，因为姿势移动在往复。第三反向、第五反向、第七反向等的确定类似于第一反向的确定。并且第四反向、第六反向、第八反向等的确定类似于第二反向的确定。我们使用开始点和终止点的x轴和y轴坐标的差来判断发生了什么姿势(使用姿势轨迹的x轴和y轴振幅比来确定何种姿势是另一方法)。

以下伪代码示出如何确定发生了什么姿势。

可以从以上看到，将nDiffx和nDiffy的绝对值进行比较以确定在水平移动和垂直移动之间出现了什么主要移动。这是因为用户手部的移动不可能是精确的水平移动或垂直移动。尽管当试图做出水平移动时在垂直方向上的差不可避免，但是在水平方向上的绝对差值应该大于垂直方向上的绝对差值。 在确定为水平移动之后，nDiffx被用来确定左姿势和右姿势之间的是哪个姿势。

以下伪代码示出在第一反向发生之后如何处理：

以下伪代码示出在第二反向发生之后如何处理：

在往复手部移动停止之后(手部停留在空中一些时间，例如2秒，或者使用特殊姿势来指示停止，或者用户迅速地缩回他的手部)，如果在第一阵列pPointBuf0中有效数据的数量多于特定阈值(通常至少3个，否则姿势轨迹太短，并且可以忽略)，则我们将使用这些数据来确定发生了什么姿势。以下伪代码示出在一个连续姿势停止之后如何处理：

图6是描绘用于根据本实施例根据连续往复移动检测姿势输入的方法的流程图。这里，连续往复移动由两类装置可识别姿势形成，每一类发生若干次。

步骤601，装置通过使用相机捕获移动来接收连续往复移动，并且输出一系列图像帧的结果。应当注意，步骤601这里包括至少两种情形，1)装置在移动结束之前保持捕获移动，并且随后捕获模块输出该系列图像帧；和2)在移动期间捕获模块响应于图像捕获立即输出图像帧。

步骤602，装置通过使用该系列图像帧来确定至少一个反向点。具体地，此步骤进一步包括步骤6021，对每一个图像帧确定与手部位置对应的坐标值以获得一系列坐标值。至于坐标值的确定，可以例如将捕获的RGB图像转换为HSV色彩空间，并且基于皮肤色彩做背景减法(background subtraction)。如果需要的话，可以做一些形态操作，并且随后我们可以发现手部的轮廓。大量这种轮廓将是对应于该帧的首部位置的坐标值。步骤6022使用上面步骤1到步骤3基于该系列坐标值来确定反向点

步骤603，装置基于所确定的(多个)反向点而分割连续往复移动为子移动。因为确定了(多个)反向点并且该系列图像帧对应于连续往复移动，因此在该系列图像帧内由(多个)反向点隔开子移动，并且反向点是除了第一子移动之外的任何子移动的开始点。此外，应当注意到，全部分割的子移动是可识别姿势。

步骤604，装置基于所分割的子移动而输出至少一个信号。具体地，装置首先确定包括第一子移动且具有与该第一子移动相同的朝向的子移动的数量，并且随后输出具有与可识别第一子移动对应的含义的信号，且其数量等于具有与第一子移动相同的朝向的子移动的数量。

应当注意，如果装置以实时方式处理图像帧，即，对应于步骤601所述的情形2，则装置可能需要响应于图像帧的每一个输入，通过找到第一反向 点来确定第一子移动并且输出与第一子移动对应的信号。在确定第一子移动之后，装置将响应于图像帧的每一个输入，通过找到第二反向点、第三反向点、第四反向点等，以顺序方式确定第二子移动、第三子移动、第四子移动等，将第二子移动、第三子移动、第四子移动等分别与第一子移动进行比较以确定它们是否是同类姿势，并且如果它们是同类姿势，则装置将输出与第一子移动相同的信号。

根据变型，因为是连续往复移动，所以不需要比较第二子移动、第四子移动、第六子移动等。因此，装置仅需要确定第一子移动、第三子移动、第五子移动。当然，装置需要确定每一个反向点用于分隔连续往复移动为子移动。在获得第三子移动、第五子移动之后，装置将它们与第一子移动进一步比较，并且在每一次肯定的比较之后输出与第一子移动对应的信号。另外，因为移动在往复，所以可能不需要比较奇数次子移动。相反，在从第一反向点起的每隔一个反向点，装置输出与第一子移动对应的信号。

图7是示出用于检测用户输入的装置的框图。如可以从图7看到的，提供用于响应于连续往复移动而检测姿势输入的装置，其中，连续往复移动由两类可识别姿势形成，即，第一类姿势(例如，向左移动)和第二类姿势(例如，向右移动)，每一类姿势都能够被识别以输出不同控制信号，所述装置包括：捕获模块，用于捕获以两类中的第一类姿势开始的连续往复移动，其中，第一类姿势和第二类姿势交替出现；和处理模块，用于基于捕获的连续往复移动以等于在连续往复移动中包含的第一类姿势的数量相等的次数输出与第一类姿势对应的控制信号。

进一步，将处理模块配置为对连续往复移动确定反向点。

进一步，将处理模块配置为通过使用反向点来分割连续往复移动为至少两个子移动，每一个子移动对应于两类姿势的一个；对每一个子移动将其与第一子移动进行比较；并且响应于经过比较的子移动是与第一子移动相同的类型的确定，输出与第一类姿势对应的控制信号。

进一步，将处理模块配置为响应于每奇数次反向点输出与第一类姿势对应的控制信号。

已经描述了一些实现。然而，将明白可以做出各种修改。例如，可以组合、补充、修改或移除不同实现的要素以产生其他实现。另外，普通技术人员将明白其他结构和处理可以替代那些公开的结构和处理并且产生的实现 将以与公开的实现至少基本相同的(多个)方式进行至少基本相同的(多个)功能，以实现至少基本相同的(多个)结果。因此，这些和其他实现应当落入本发明的范围。

Claims (8)

1.一种用于响应于连续往复移动而检测姿势输入的方法，所述连续往复移动用于连续地输入与第一类姿势对应的多个控制信号，其特征在于，所述连续往复移动包括第一类姿势和第二类姿势，第一类姿势和第二类姿势中每类姿势都能够被检测装置识别以输出不同控制信号，所述连续往复移动以第一类姿势开始，所述方法包括：

接收以第一类姿势开始的连续往复移动，其中，所述第一类姿势和第二类姿势交替出现；

确定所述连续往复移动的反向点；

通过使用所述反向点，将所述连续往复移动划分为至少两个子移动，每个子移动与第一类姿势和第二类姿势之一对应；和

输出与第一类姿势对应的多个控制信号，与第一类姿势对应的控制信号的数量等于在所述连续往复移动中包含的第一类姿势的数量。

2.根据权利要求1所述的方法，其特征在于所述确定反向点进一步包括

接收所述连续往复移动的一系列图像帧；

对每一图像帧确定点；和

基于所述系列图像帧的点确定所述反向点。

3.根据权利要求2所述的方法，其特征在于基于所述系列图像帧的点确定所述反向点进一步包括

对于从所述系列图像帧的点中的第二个点开始的每一个点，使用两个计数器记录一个点及其相邻前一点之间关于两个相反方向的关系，其中，基于该点及其相邻前一点的位置将相应计数器增一；和

当在特定点确定一个计数器超出了预定阈值并且另一计数器等于1时，将所述特定点确定为反向点并且将两个计数器置零。

4.根据权利要求1所述的方法，其特征在于输出步骤进一步包括

通过使用所述反向点将所述连续往复移动分割为至少两个子移动，每个子移动对应于两类姿势之一；

将每个子移动与所述至少两个子移动中的第一子移动进行比较；和

响应于所比较的子移动与所述第一子移动具有相同类型的确定，输出与所述第一类姿势对应的控制信号。

5.根据权利要求1所述的方法，其特征在于输出进一步包括

响应于每奇数次反向点而输出与第一类姿势对应的控制信号。

6.一种用于响应于连续往复移动而检测姿势输入的装置，所述连续往复移动用于连续地输入与第一类姿势对应的多个控制信号，其中，所述连续往复移动包括第一类姿势和第二类姿势，第一类姿势和第二类姿势中每类姿势都能够被识别以输出不同控制信号，包括：

捕获模块，用于捕获以第一类姿势开始的所述连续往复移动，其中，所述第一类姿势和第二类姿势交替出现；和

处理模块，用于确定所述连续往复移动的反向点；通过使用所述反向点，将所述连续往复移动划分为至少两个子移动，每个子移动与第一类姿势和第二类姿势之一对应；以及输出与第一类姿势对应的多个控制信号，与第一类姿势对应的控制信号的数量等于在所述连续往复移动中包含的第一类姿势的数量。

7.根据权利要求6所述的装置，其特征在于，所述处理模块被进一步配置为：对每个子移动，将其与所述至少两个子移动中的第一子移动进行比较；和响应于所比较的子移动与所述第一子移动具有相同类型的确定，输出与第一类姿势对应的控制信号。

8.根据权利要求6所述的装置，其特征在于，所述处理模块被进一步配置为响应于每奇数次反向点而输出与所述第一类姿势对应的控制信号。