CN103513759A - 手势轨迹识别方法和装置 - Google Patents

Abstract

提供了一种手势轨迹识别方法和装置。该手势轨迹识别方法包括：预先定义16种手势轨迹模板，并各个手势轨迹模板包括的关键点的数目将16种手势轨迹模板分为三类手势轨迹模板；根据输入手势轨迹包括的关键点的数目判断输入手势轨迹归属于三类手势轨迹模板中的哪一类手势轨迹模板；以及利用不同的方法来识别归属于不同类手势轨迹模板的输入手势轨迹。其中，对于16种手势轨迹模板中的任意一个手势轨迹模板或者输入手势轨迹，其起始点和结束点均为关键点，并且对于一个手势轨迹模板或者输入手势轨迹中的任意一个当前点，如果所述当前点与前一关键点处在同一象限中，则判定当前点为一般点，否则判定当前点为关键点。

Description

手势轨迹识别方法和装置

技术领域

本发明涉及图形处理领域，尤其涉及一种手势轨迹识别方法和装置。

背景技术

目前，存在很多识别手势轨迹的方法，其中大多数方法遵循以下的处理流程：首先通过训练手势得到具有预先定义的特征的手势轨迹模板；然后通过比较手势轨迹模板的特征和从输入图像中提取的特征来判断实际的手势轨迹。这些方法需要很多计算时间来训练手势进而得到手势轨迹模板，并且实时提取输入图像中的特征并将其与手势轨迹模板的特征相比较也需要花费很多计算时间。

涉及手势轨迹识别处理的低功耗应用包括智能家用设备、移动设备、以及其他类型的手持设备。低功耗应用中的手势轨迹识别处理需要在保证可接受的精确度的条件下，使用尽可能简单的算法和特征来实现手势轨迹识别。所以，不需要训练手势的模板获取处理和简单的特征提取和比较处理将更加适用。

发明内容

鉴于以上所述的一个或多个问题，本发明提供了一种新颖的手势轨迹识别方法和装置。

根据本发明实施例的手势轨迹识别方法包括：预先定义16种手势轨迹模板，并且根据该16种手势轨迹模板中各个手势轨迹模板包括的关键点的数目将该16种手势轨迹模板分为三类手势轨迹模板；根据输入手势轨迹包括的关键点的数目判断输入手势轨迹归属于该三类手势轨迹模板中的哪一类手势轨迹模板；以及利用不同的方法来识别归属于不同类手势轨迹模板的输入手势轨迹。其中，对于该16种手势轨迹模板中的任意一个手势轨迹模板或者该输入手势轨迹，其起始点和结束点均为关键点，并且对于该一个手势轨迹模板或者该输入手势轨迹中的任意一个当前点，如果该当前点与前一关键点处在同一象限中，则判定该当前点为一般点，否则判定该当前点为关键点。

根据本发明实施例的手势轨迹识别装置包括：模板定义单元，用于预先定义16种手势轨迹模板，并根据该16种手势轨迹模板中各个手势轨迹模板包括的关键点的数目将该16种手势轨迹模板分为三类手势轨迹模板；类别判断单元，用于根据输入手势轨迹包括的关键点的数目判断输入手势轨迹归属于该三类手势轨迹模板中的哪一类手势轨迹模板；轨迹识别单元，用于利用不同的方法来识别归属于不同类手势轨迹模板的输入手势轨迹。其中，对于该16种手势轨迹模板中的任意一个手势轨迹模板或者对于输入手势轨迹，其起始点和结束点均为关键点，并且对于该一个手势轨迹模板或者该输入手势轨迹中的任意一个当前点，如果该当前点与前一关键点处在同一象限中，则判定该当前点为一般点，否则判定该当前点为关键点。

在根据本发明实施例的手势轨迹识别方法和装置中，不需要训练模板即可以简单定义出16种手势轨迹模板并可以很容易地将其划分为三类，所以其计算负担轻，适用于低功耗应用。

附图说明

从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明，其中：

图1示出了根据本发明实施例的手势轨迹识别装置的框图；

图2示出了根据本发明实施例的手势轨迹识别方法的流程图；

图3示出了根据本发明实施例的手势轨迹识别方法和装置中用到的直角坐标系中的各个1/8象限、及代表各个1/8象限中的数字编号；

图4示出了根据图3中所示的数字编号得出的数字2的特征的示例；

图5示出了数字1至9的符号曲线及各符号曲线的链码。

具体实施方式

下面将详细描述本发明各个方面的特征和示例性实施例。下面的描述涵盖了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说显而易见的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更清楚的理解。本发明绝不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了相关元素、部件和算法的任何修改、替换和改进。

图1示出了根据本发明实施例的手势轨迹识别装置的框图。图2示出了根据本发明实施例的手势轨迹识别方法的流程图。下面，结合图1和图2，详细说明根据本发明实施例的手势轨迹识别装置和方法。

如图1中所示，根据本发明实施例的手势轨迹识别装置包括模板定义单元102、类别判断单元104、以及轨迹识别单元106。其中，模板定义单元102用于预先定义16种手势轨迹模板，并根据该16种手势轨迹模板中的各个手势轨迹模板包括的关键点的数目将该16种手势轨迹模板分为三类(即，执行步骤S202)；类别判断单元104用于根据输入手势轨迹包括的关键点的数目判断输入手势轨迹归属于该三类手势轨迹模板中的哪一类手势轨迹模板(即，执行步骤S204)；轨迹识别单元106用于利用不同的方法来识别归属于不同类手势轨迹模板的输入手势轨迹(即，执行步骤S206)。

具体地，模板定义单元102利用链码来预先定义手势轨迹模板，然后轨迹识别单元106在进行手势轨迹识别的过程中利用从实际的输入手势轨迹提取的链码和预先定义的手势轨迹模板的链码来对实际的输入手势轨迹进行识别。下面，将详细说明根据本发明实施例的手势轨迹识别方法和装置的具体处理。

这里，假设形成手势轨迹的起始帧和终止帧是已知的，每帧中手区域的方框已经被正确检测出来，并且处于起始帧和终止帧之间(包括起始帧和终止帧在内)的图像帧中的手区域的方框的中心点被当作是组成手势轨迹的离散点。

S202，定义手势轨迹模板，并对手势轨迹模板进行分类。

图3示出了根据本发明实施例的手势轨迹识别方法和装置中用到的直角坐标系中的各个1/8象限、及代表各个1/8象限中的数字编号。具体地，如图3中所示，坐标系被划分为八个1/8象限，并且该八个1/8象限分别由利用从0到7的按照逆时针计数的数字编号表示。其中，0表示对应于[0°，45°)的第一个1/8象限，1表示对应于[45°，90°)的第二个1/8象限，2表示对应于[90°，135°)的第三个1/8象限，3表示对应于[135°，180°)的第四个1/8象限，4表示对应于[180°，225°)的第五个1/8象限，5表示对应于[225°，270°)的第六个1/8象限，6表示对应于[270°，315°)的第七个1/8象限，并且7表示对应于[310°，360°)的第八个1/8象限。

在定义手势轨迹模板之前，首先需要区分符号曲线(即，手势轨迹)中的各个离散点是一般点还是关键点。具体地，在组成符号曲线的多个离散点中，符号曲线的起始点和结束点均被认为是关键点，与前一关键点处于同一象限中的离散点被认为是一般点，并且与前一关键点处于不同象限的离散点被认为是关键点。

需要说明的是，对于组成手势轨迹(即，符号曲线)的多个离散点中的除起始点和结束点之外的任意一个离散点P1，离散点P1所处的象限是指在以离散点P1之前的一个离散点P0为原点的直角坐标系中从离散点P0指向离散点P1的矢量所在的1/8象限。在本发明的实施例中，可以利用表示符号曲线的关键点所在的1/8象限的数字编号组成的链码来代表该符号曲线(这里，可以将链码作为符号曲线的一个特征)。

另外，如果某个符号曲线的相邻关键点之间的方向以逆时针方向改变(即，该符号曲线的相邻关键点所在的1/8象限以逆时针方向改变，例如，该符号曲线的链码为01234)，则该符号曲线的链码中的数字之间的差分将为正的(例如，2-1，3-2，4-3)。如果某个符号曲线的相邻关键点之间的方向以顺时针改变(即，该符号曲线的相邻关键点所在的1/8象限以顺时针方向改变，例如，该符号曲线的链码为07654)，则该符号曲线的链码中的数字之间的差分将为负的(例如，7-0，6-7，5-6，等)。

可以利用符号曲线的链码、链码中的差分模式、以及链码中的关键点的数目来定义符号曲线。图4示出了示例性数字“2”的符号曲线、该符号曲线上的关键点、以及该符号曲线上的关键点的方向。如图4所示，数字“2”的符号曲线包括7个关键点，该符号曲线的链码为1076540(其中的每个数字是表示该符号曲线上的关键点所在的1/8象限的数字)，并且该符号曲线的链码中的差分模式为-1-1-1-1-113(即，链码中的后一个数字与前一个数字之差组成的数字串)。

以上所述的确定关键点的规则对于手势轨迹模板和输入手势轨迹均适用。在本发明的实施例中，链码被定义为手势轨迹模板的基本特征。由于实际的手势轨迹有可能并不完全遵循所定义的手势轨迹模板的符号曲线，所以除了链码之外还需要用手势轨迹中的关键点的数目、以及链码中的差分模式来限定手势轨迹模板。其中，手势轨迹中的关键点的数目示出了手势轨迹中的关键点的象限变化频率和手势轨迹的曲线长度。链码中的差分模式示出了手势轨迹(即，符号曲线)的变化趋势(即，示出了手势轨迹中的各个关键点所在的1/8象限的变化趋势)。

具体地，链码中的差分模式是通过用链码中的后一数字减去前一数字得到的，例如，对于链码10765450，可以得到差分模式(0-1)(7-0)(6-7)(5-6)(4-5)(5-4)(0-5)，即-1-1-1-1-113。需要说明的是，差分模式中的的差分值是以1/8象限变化的最短路径计算的，并且绝对差分值应该等于或者小于4。所以，如果象限变化是逆时针的，则差分值为正，否则差分值将为负。例如，如果前一数字为0，并且后一数字为7，则符号曲线的方向是顺时针变化的，并且差分值为-1。尽管7-0＝7，但是其应该为-1，因为这里的0可以被看作8。对于例如，链码10765450中的两个数字5和0是同样的道理。由于符号曲线是以逆时针变化的，所以0和5之间的差分值将为3。尽管0-5＝-5，但是其应该被看为+3，因为0可以被看作8。

在本发明的实施例中，定义了下表中的16种手势轨迹模板(左、右、上、下、顺时针、逆时针、挥手、零、1、2、3、4、5、6、7、8、9)。这16种手势轨迹模板对于低功耗应用的指令接口来说足够了。

在上表中，根据关键点数目的不同，可以将手势轨迹模板划分为3类。第一类手势轨迹模板是关键点数目等于或小于4的手势轨迹模板，包括左、右、上、下、挥手、1、4、7。第二类手势轨迹模板是关键点数目在4至10之间的手势轨迹模板，包括顺时针、逆时针、0、2、5。第三类手势轨迹模板是关键点数目大于10的手势轨迹模板，包括3、6、8、9。

对于第一类手势轨迹模板，链码栏中的表示手势轨迹模板的第一个链码是该手势轨迹模板的标准链码。由于实际的手势轨迹有可能并不是完全遵循手势轨迹模板的轨迹，所以定义了一些其他链码。例如，“向右移动”的标准轨迹是从左向右水平移动，即“→”，所以其标准链码为0。“向右移动”的实际手势有可能是从左下向右上移动，或者从左上向右下移动。所以，向右移动的链码并不仅仅为0，也可以是7。对于第一类手势轨迹，不需要计算链码中的差分模式。对于第二类和第三类手势轨迹模板，链码栏中只示出了它们的标准链码。

图5中示出了0至9的符号曲线的标准链码。除了标准链码以外，符号2和5还具有一些其他链码(这将影响链码中的差分模式)。例如，符号曲线“2”的差分模式可以为-1-1-1-1-112；符号曲线“5”的差分模式可以为2-4-1-1-1-1-1-1-1。

S204，判断输入手势轨迹归属于三类手势轨迹模板中的哪一类手势轨迹模板。

首先，提取输入手势轨迹中的关键点。这里，输入手势轨迹的起始点和终止点均被认为是关键点。这里，输入手势轨迹的起始点为输入手势轨迹的第一个关键点，并且第一个关键点的象限被定义为在以输入手势轨迹上的处于起始点之后的第一个离散点为原点的直角坐标系中从输入手势轨迹的起始点指向该第一个离散点的矢量所处的1/8象限。

然后，对于输入手势轨迹上的除起始点、终止点、以及第一离散点之外的任意一个离散点P1，离散点P1所处的象限是指在以离散点P1之前的一个离散点P0为原点的直角坐标系中从离散点P0指向离散点P1的矢量所在的1/8象限。如果离散点P1所处的象限与离散点P1之前的最近的一个关键点所处的象限是同一个1/8象限，则认为离散点P1是一般点，否则认为离散点P1是关键点。

在遍历输入手势轨迹上的所有离散点进行以上处理之后，可以确定输入手势轨迹上包括的关键点的数目，然后可以根据关键点的数目确定输入手势轨迹归属于以上所述的三个手势轨迹模板中的哪一类手势轨迹模板。

S206，利用不同的方法来识别归属于不同类手势轨迹模板的输入手势轨迹。

对于归属于第一类手势轨迹模板的输入手势轨迹，只需要将输入手势轨迹的链码与第一类手势轨迹模板中的每个手势轨迹模板的链码相比较，即可识别出输入手势轨迹应该被认为是第一类手势轨迹模板中的哪一个手势轨迹模板(即，可以识别出输入手势轨迹的含义)。

对于归属于第二类或第三类手势轨迹模板的输入手势轨迹，仅需要将输入手势轨迹的链码中的差分模式与第二类或第三类手势轨迹模板中的每个手势轨迹模板的链码中的差分模式相比较，即可识别出输入手势轨迹应该被认为是第二类或第三类手势轨迹模板中的哪一个手势轨迹模板(即，可以识别出输入手势轨迹的含义)。为了改善实际的手势轨迹的容差，输入手势轨迹的链码的差分模式中包含的差分值的数目可以比手势轨迹模板的标准链码的差分模式中包含的差分值的数目大1或者小1。例如，符号0的标准链码为-1-1-1-1-1-1-1。如果实际差分为-1-1-1-1-1-1或者-1-1-1-1-1-1-1-1，仍然认为与该差分模式对应的符号为0。

从以上所述可以看出，根据本发明实施例的手势轨迹识别方法和装置可以在不训练模板的条件下，简单定义16种手势轨迹模板并将这些手势轨迹模板划分为三类，并且仅通过在这三类手势轨迹模板之间进行切换即可得出输入手势轨迹的含义。所以，根据本发明实施例的手势轨迹识别方法和装置的计算负担轻，适用于低功耗应用。

以上已经参考本发明的具体实施例来描述了本发明，但是本领域技术人员均了解，可以对这些具体实施例进行各种修改、组合和变更，而不会脱离由所附权利要求或其等同物限定的本发明的精神和范围。

根据需要可以用硬件或软件来执行步骤。注意，在不脱离本发明范围的前提下，可向本说明书中给出的流程图添加步骤、从中去除步骤或修改其中的步骤。一般来说，流程图只是用来指示用于实现功能的基本操作的一种可能的序列。

本发明的实施例可利用编程的通用数字计算机、利用专用集成电路、可编程逻辑器件、现场可编程门阵列、光的、化学的、生物的、量子的或纳米工程的***、组件和机构来实现。一般来说，本发明的功能可由本领域已知的任何手段来实现。可以使用分布式或联网***、组件和电路。数据的通信或传送可以是有线的、无线的或者通过任何其他手段。

还将意识到，根据特定应用的需要，附图中示出的要素中的一个或多个可以按更分离或更集成的方式来实现，或者甚至在某些情况下被去除或被停用。实现可存储在机器可读介质中的程序或代码以允许计算机执行上述任何方法，也在本发明的精神和范围之内。

此外，附图中的任何信号箭头应当被认为仅是示例性的，而不是限制性的，除非另有具体指示。当术语被预见为使分离或组合的能力不清楚时，组件或者步骤的组合也将被认为是已经记载了。

Claims (10)

1.一种手势轨迹识别方法，包括：

预先定义16种手势轨迹模板，并根据所述16种手势轨迹模板中的各个手势轨迹模板包括的关键点的数目将所述16种手势轨迹模板分为三类手势轨迹模板；

根据输入手势轨迹包括的关键点的数目判断所述输入手势轨迹归属于所述三类手势轨迹模板中的哪一类手势轨迹模板；以及

利用不同的方法来识别归属于不同类手势轨迹模板的输入手势轨迹，

其中，对于所述16种手势轨迹模板中的任意一个手势轨迹模板或者所述输入手势轨迹，其起始点和结束点均为关键点，并且对于所述一个手势轨迹模板或者所述输入手势轨迹中的任意一个当前点，如果所述当前点与前一关键点处在同一象限中，则判定所述当前点为一般点，否则判定所述当前点为关键点。

2.根据权利要求1所述的手势轨迹识别方法，其特征在于，将所包括的关键点的数目小于或者等于4的手势轨迹模板称为第一类手势轨迹模板，将所包括的关键点的数目在4至10之间的手势轨迹模板称为第二类手势轨迹模板，并且将所包括的关键点的数目大于10的手势轨迹模板称为第三类手势轨迹模板。

3.根据权利要求2所述的手势轨迹识别方法，其特征在于，当所述输入手势轨迹归属于所述第一类手势轨迹模板时，通过将所述输入手势轨迹的链码与所述第一类手势轨迹模板中的每种手势轨迹模板的链码相比较来判断所述输入手势轨迹应当被看作所述第一类手势轨迹模板中的哪一种手势轨迹模板。

4.根据权利要求2所述的手势轨迹识别方法，其特征在于，当所述输入手势轨迹归属于所述第二或第三类手势轨迹模板时，通过将所述输入手势轨迹的链码中的差分模式与所述第二或第三类手势轨迹模板的链码中的差分模式相比较来判断所述输入手势轨迹应当被看作所述第二或第三类手势轨迹模板中的哪一种手势轨迹模板。

5.根据权利要求1所述的手势轨迹识别方法，其特征在于，利用分别与所述16种手势轨迹模板相对应的链码来表示所述16种手势轨迹模板。

6.一种手势轨迹识别装置，包括：

模板定义单元，用于预先定义16种手势轨迹模板，并根据所述16种手势轨迹模板中的各个手势轨迹模板包括的关键点的数目将所述16种手势轨迹模板分为三类手势轨迹模板；

类别判断单元，用于根据输入手势轨迹包括的关键点的数目判断所述输入手势轨迹归属于所述三类手势轨迹模板中的哪一类手势轨迹模板；

轨迹识别单元，用于利用不同的方法来识别归属于不同类手势轨迹模板的输入手势轨迹，

其中，对于所述16种手势轨迹模板中的任意一个手势轨迹模板或者所述输入手势轨迹，其起始点和结束点均为关键点，并且对于所述一个手势轨迹模板或者所述输入手势轨迹中的任意一个当前点，如果所述当前点与前一关键点处在同一象限中，则判定所述当前点为一般点，否则判定所述当前点为关键点。

7.根据权利要求6所述的手势轨迹识别装置，其特征在于，所述类别判断单元将所包括的关键点的数目小于或者等于4的手势轨迹模板称为第一类手势轨迹模板，将所包括的关键点的数目在4至10之间的手势轨迹模板称为第二类手势轨迹模板，并且将所包括的关键点的数目大于10的手势轨迹模板称为第三类手势轨迹模板。

8.根据权利要求7所述的手势轨迹识别装置，其特征在于，在所述输入手势轨迹归属于所述第一类手势轨迹模板的情况下，所述轨迹识别单元通过将所述输入手势轨迹的链码与所述第一类手势轨迹模板中每种手势轨迹模板的链码相比较来判断所述输入手势轨迹应当被看作所述第一类手势轨迹模板中的哪一种手势轨迹模板。

9.根据权利要求7所述的手势轨迹识别装置，其特征在于，在所述输入手势轨迹归属于所述第二或第三类手势轨迹模板的情况下，所述轨迹识别单元通过将所述输入手势轨迹的链码中的差分模式与所述第二或第三类手势轨迹模板的链码中的差分模式相比较来判断所述输入手势轨迹应当被看作所述第二或第三类手势轨迹模板中的哪一种手势轨迹模板。

10.根据权利要求6所述的手势轨迹识别装置，其特征在于，所述模板定义单元利用分别与所述16种手势轨迹模板相对应的链码来表示所述16种手势轨迹模板。

Images