CN104731323B - 一种基于hog特征的多旋转方向svm模型的手势跟踪方法 - Google Patents

Abstract

本发明是一种基于HOG特征的多旋转方向SVM模型的手势跟踪方法。本方法利用Web摄像头连续抓取的图像作为输入图像，对各帧图像进行既定手势的初始检测定位和后序的跟踪定位。本发明利用基于HOG+Multi‑SVM检测模块从Web摄像头获取手势前几帧图像检测定位到规定手势；在确定这些图像帧含有既定手势情况下启动基于HOG特征的多旋转方向SVM模型的手势跟踪模块进行跟踪定位；一旦跟踪模块对既定手势跟踪丢失或手势移出Web摄像头的拍摄范围，则重新启动基于HOG+Multi‑SVM检测模块直到能够成功地连续检测定位到规定手势。本发明能够有效地提高对既定手势定位的速度；同时，也提升了对既定手势的定位精度。

Description

一种基于HOG特征的多旋转方向SVM模型的手势跟踪方法

技术领域

本发明涉及一种基于HOG特征的多旋转方向SVM模型的手势跟踪方法，属于图像处理以及模式识别技术领域。

背景技术

现如今，计算机的普及和迅速发展使得人们的生活越来越依赖计算机，计算机无处不在。在以往的人和计算机交互技术中，特定的输入输出设备，如有键盘、鼠标、手写笔、扫描仪等，被广泛采用。近几年，随着计算机性能的大幅度提高，个人计算机(PC)已具有语音处理、图形图像处理等多种通信媒体的能力。为提高计算机的易用性和人机交互的自然性，新型输入技术已俨然成为一个备受广大用户和科研工作者关注的研究热点领域。人工智能的飞跃发展和新式输入输出设备如雨后春笋般的不断涌现，使得计算机变得越来越智能化，人机交互也变得更加的自然。人机交互技术的研究历经以计算机为中心的传统交互，现在已逐步转移到以人为中心的多种通道、多种媒体的新型交互技术上来。体势识别、人脸识别、表情识别、头部跟踪、眼球跟踪以及手势识别等新式技术都是为符合人的习惯而出现的新型人机交互技术。生活中，我们总是使用某些固定手势来表达某种特定的意图，例如表示OK，为路人指示方向，表示数字等等。这些现象均说明了手势操作的频繁性和直观自然性，同时也使得人们希望将手势可以用来与自己的计算机进行交互中。例如，用户可以定义适当的手势来对设备进行控制等。

手势识别作为多模式人机接口技术重要部分，涉及了多个学科的研究领域，例如计算机视觉、人工智能、模式识别等。基于视觉的手势跟踪是手势识别方法的重要环节，特别是动态手势识别。人手的运动幅度较大、光照条件的变化、背景差异、在图像中所占区域较小以及形状不断改变，这些均为手势跟踪带来了极大的挑战。此外，手势跟踪算法还要求达到实时性和具有低耗性。方向梯度直方图(Histogram of Oriented Gradient，简称HOG)是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。支持向量机(SupportVector Machine，简称SVM)是一种可用作特征空间分类的机器学习方法。

手势跟踪的方法可以利用不同的方法实现，主要包括基于轮廓的方法、基于区域的方法、基于模板的方法、基于特征的方法以及基于运动信息的方法等。但这些方法很大一部分不能够处理复杂背景下手势的跟踪任务以及兼顾实时性和准确性。

发明内容

本发明的目的是解决平面内规定手势旋转问题，提高利用基于HOG特征的多旋转方向SVM模型对规定手势的定位。

本发明提供了一种基于HOG特征的多旋转方向SVM模型的手势跟踪方法，具体是：

步骤1：获取图像帧，并进行预处理，具体是：

(1)利用摄像头实时抓取镜头前各个图像帧，并对当前帧的图像进行双线性插值处理以得到设定尺寸的图像；

(2)加载HOG特征的相关参数、梯度投值空间对应的字典以及基于HOG特征的各个方向子区间的SVM模型。

步骤2：判断成功定位帧数是否到达预设的帧数阈值T；

设定一个变量x，用于记录到当前帧前连续成功地检测或跟踪到含有手势的帧数，初始x的值为0。

比较成功定位帧数变量x和预设的帧数阈值T，按如下进行：

(1)如果成功定位帧数变量x未达到预设阈值T，那么，调用基于HOG+Multi-SVM的检测模块，进入步骤3执行；

(2)否则，调用基于HOG+Multi-SVM的跟踪模块，进入步骤4执行。

步骤3：基于HOG+Multi-SVM的检测；

对步骤1得到的图像进行各个尺度空间中的HOG特征提取，利用滑动窗口对所有有效窗口进行遍历，并与预先训练的各方向子区间的SVM模型进行匹配，记录匹配的结果，并在匹配成功时记录手势在图像帧的位置和SVM模型的索引号，然后转到步骤5执行。

步骤4：基于HOG+Multi-SVM的跟踪；

对步骤1得到的图像按照设定的尺度空间遍历顺序对HOG特征进行提取，并利用特定方式进行固定窗口的移动，接着，以一定顺序与预先训练的各方向子区间的SVM模型进行匹配。记录匹配的结果，并在匹配成功时记录手势在图像帧的位置和SVM模型的索引号。进入步骤5执行。

步骤5：判定既定手势是否在图像上，并做出相应处理，具体是：

(1)当未在图像中定位到既定手势时，对成功定位的帧数变量x进行清零处理，从而保证下次调用步骤3的检测子模块；

(2)否则，将成功定位的帧数变量x的值增1，并记录既定手势在图像中的位置大小和匹配的SVM模型的索引号。

本发明的优点在于：

(1)在复杂背景和光线条件不稳定情况下，本发明提出的方法能够很好地工作，即具有一定的鲁棒性和健壮性。

(2)通过大量实验表明，本发明提出的方法能够将平均跟踪定位速度降低到15毫秒/帧，能够满足实时的要求；

(3)通过实验表明，本发明提出的方法还在一定程度上提高了对既定手势定位的精准度，保证了跟踪的质量。

附图说明

图1为本发明的手势跟踪方法的整体流程示意图；

图2为本发明中基于HOG+Multi-SVM检测的流程示意图；

图3为本发明中基于HOG+Multi-SVM跟踪的流程示意图；

图4为本发明中利用本发明运行的实际结果与不使用跟踪模块的结果对比。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明研究了一种基于HOG特征的多旋转方向SVM模型的手势跟踪方法，本方法利用Web摄像头不间断的抓取镜前的图像帧，然后通过基于HOG+Multi-SVM的跟踪定位框架进行判断帧内是否包含规定手势、找出其方向子区间索引号以及定位其在帧内的位置。本发明有效地提高了利用基于HOG特征的多旋转方向SVM模型对规定手势的定位。Multi-SVM是指多元支持向量机(Multi.SupportVectorMachine,Multi-SVM)，本发明是指在平面空间内的多个方向子区间的SVM模型。

本发明中提出的方法总体而言主要包括两个过程：既定手势的初始检测定位和后序的跟踪定位。本发明利用基于HOG+Multi-SVM检测模块能够对从Web摄像头获取手势前几帧图像检测定位到规定手势；并在确定这些图像帧含有既定手势情况下启动基于HOG特征的多旋转方向SVM模型的手势跟踪模块进行跟踪定位；一旦跟踪模块对既定手势跟踪丢失或手势移出Web摄像头的拍摄范围，则重新启动基于HOG+Multi-SVM检测模块直到能够成功地连续检测定位到规定手势。

本发明通过研究基于HOG+Multi-SVM检测框架中检测图像的尺度空间、窗口的遍历方式及多旋转方向模型的匹配顺序结合手势的时空就近特性，提出了一种新型的基于HOG和多SVM模型的手势跟踪方法。

本发明提出的基于HOG特征的多旋转方向SVM模型的手势跟踪方法的具体实现步骤如图1，包括以下几个步骤：

步骤1：获取图像帧，并进行预处理；

利用摄像头实时抓取镜头前各个图像帧，并对图像进行双线性插值得到合适尺寸的图像。合适尺寸的大小可由用户设定。加载HOG特征的相关参数和梯度投值空间对应的字典以及基于HOG特征的各个方向子区间的SVM模型。

其中，HOG特征主要的相关参数包括：

(1)SVM模型检测窗口的大小(Window Size)；

(2)梯度投值空间分区数(Bins)；

(3)窗口中块的大小(Block Size)；

(4)块中细胞单元的大小(Cell Size)。

需要注意的是，(2)中Bins需要设定为偶数。

加载FIVE手势的SVM模型的各个方向子区间为：

(1)Mod1:[-3,33]； (2)Mod2:[27,63]； (3)Mod3:[57,93]；

(4)Mod4:[87,123]； (5)Mod5:[117,153]； (6)Mod6:[147,183]。

平面空间内的多个方向子区间的线性SVM模型是预先训练得到的，并对SVM模型进行了索引编号。

步骤2：判断成功定位帧数是否到达预定值；

设定一个变量x，用于记录到当前帧前连续成功地检测或跟踪到含有手势的帧数，并在本发明方法程序运行之初，将该变量初始化为0。

比较成功定位帧数变量x的值和预设的帧数阈值T，按如下进行：

(1)如果成功定位帧数变量x未达到预设阈值T，那么，调用基于HOG+Multi-SVM的检测模块，进入步骤3执行；

(2)否则，如果成功定位帧数变量x达到预设阈值T，调用基于HOG+Multi-SVM的跟踪模块，进入步骤4执行。

步骤3：基于HOG+Multi-SVM的检测；

对经过步骤1处理后的图像进行各个尺度空间中的HOG特征提取，利用滑动窗口对所有有效窗口进行遍历，并与预先训练的各方向子区间的线性SVM模型进行匹配。记录匹配的结果，并在匹配成功时记录手势在图像帧的位置和线性SVM模型的索引号。转到步骤5执行。

基于HOG+Multi-SVM的检测处理的具体步骤，如图2所示：

步骤3.1：对输入图像进行尺度缩放，在各尺度空间相应的RGB图像上提取HOG特征；

步骤3.2：遍历各尺度空间下各个滑动窗口相应的HOG特征，利用线性SVM对HOG特征与各个方向范围上的SVM模型进行匹配；并在匹配成功时保留该滑动窗口的各项信息，包括尺度空间，SVM模型索引号，窗口的左上角坐标点以及SVM模型的方向子区间；

步骤3.3：重复步骤3.2直到所有规定尺度空间全部遍历完成；

步骤3.4：跳转到步骤5。

步骤4：基于HOG+Multi-SVM的跟踪；

对经过步骤1处理后的图像按照设定的尺度空间遍历方式对HOG特征进行提取，并利用特定方式进行固定窗口的移动，接着，以一定顺序与预先训练的各方向子区间的线性SVM模型进行匹配。记录匹配的结果，并在匹配成功时记录手势在图像帧的位置和线性SVM模型的索引号。转到步骤5执行。

基于HOG+Multi-SVM的跟踪处理的具体步骤，如图3所示，实现步骤为：

步骤4.1：确保加载相关字典，包括以下三个部分：

a、所有既定手势的方向子分区的SVM模型相互出现的后验概率表；

b、所有可能的图像尺度大小和所对应的尺度缩放值；

c、图像各个尺度下对应的水平和垂直方向上分别可能容纳的窗口数。

步骤4.2：根据前一帧中既定手势所在尺度空间，生成当前帧的尺度遍历顺序。此时，若前一帧中既定手势所在尺度空间不是规定的尺度缩放值，则取该尺度空间的下一级尺度。

设前一帧中既定手势所在尺度空间为K，则当前帧的尺度遍历顺序按照最接近尺度空间K的原则来排序。根据尺度缩放值的大小将尺度空间顺序排序，两个尺度空间的距离就是序列中的排序号的距离。

步骤4.3：利用双线性插值法将图像缩放到指定大小。

步骤4.4：对缩放后的图像提取HOG特征。

步骤4.5：根据前一帧中所含既定手势的窗口左上角坐标，生成一条螺旋式的窗口遍历顺序。其中，若左上角坐标不能落在合适的位置，则需要利用取整方法对该坐标进行调整后再进行本步骤。

步骤4.6：根据前一帧中所含既定手势的SVM模型所属方向子区间，利用后验概率表查找该方向子区间依赖前一帧定位结果的概率，并按概率值降序排列SVM模型匹配顺序。

步骤4.7：基于步骤4.5和步骤4.6进行窗口的遍历和SVM模型的匹配。一旦匹配成功则进行记录窗口的各项信息，包括尺度空间，SVM模型索引号，窗口的左上角坐标点和SVM模型的方向子区间。如果匹配成功且到达规定的窗口数阈值，那么就结束跟踪过程，跳转到步骤5。如果当前尺度空间下匹配未成功或者未到达规定的窗口数阈值，那么根据尺度空间遍历顺序进行下一个尺度空间的遍历，转步骤4.2执行。

步骤5：判定既定手势是否在图像上，并做出相应处理；

对步骤3和步骤4调用的检测和跟踪模块的结果进行判别，并做出如下动作：

(1)当未在图像中定位到既定手势，那么，对成功定位的帧数变量x进行清零处理，从而保证下次调用步骤3的HOG+Multi-SVM的检测模块；

(2)否则，将成功定位的帧数变量x进行自增1，并记录既定手势在图像中的位置大小和匹配的旋转方向所在子区间的SVM模型索引号。

在本发明中，通过对500个FIVE手势的视频文件进行检测FIVE手势的旋转方向子分区并记录其结果到一个当地文件中。然后，经过对这500个结果文件中每一帧出现的手势所属方向子分区的出现规律进行统计，并生成其后验概率统计表，如表1所示：

表1：旋转方向子分区SVM模型的后验概率表

	Mod1	Mod2	Mod3	Mod4	Mod5	Mod6
							Mod1	0.12	0.012	0.034	0.021	0.02	0.01
Mod2	0.005	0.058	0.003	0.0001	0.0001	0.0001
							Mod3	0.001	0.004	0.236	0.015	0.001	0.001
Mod4	0.001	0.0001	0.015	0.183	0.009	0.0001
							Mod5	0.0002	0.0001	0.001	0.008	0.167	0.004
Mod6	0.0001	0.0001	0.001	0.0002	0.003	0.075

首先，采集100个含有既定手势的测试视频序列，每个视频序列包括5000帧左右。在此数据集上，进行了本发明提出的手势跟踪方法和基于HOG+Multi-SVM检测方法的对比，如表2所示。

表2：两种方法的性能对比表

	AMR(％)	AFPR(％)	ACLE(px)	AOR	ATPF(ms)
						检测方法	2.3	0.9	9.8	0.86	62.13
跟踪方法	0.02	0.01	9.1	0.91	12.3

其中，参数含义如下：

(1)AMR，平均丢失率，表现了既定手势在图像帧中丢失的情况；

(2)AFPR，平均误检率，表达了将其他情况错误地匹配成既定手势的情况；

(3)ACLE，窗口中心点平均误差，指示了既定手势的定位误差；

(4)AOR，平均窗口覆盖率，表明了所在尺度和精度的情况；

(5)ATPF，每帧平均定位时间，显示了定位的速度。

从上表中，不难可以得到，如下结论：

(1)本发明提出的跟踪方法在速度上比单纯的检测方法快将近5倍，即可以达到15ms/frame。这使得本发明提出的方法能够满足手势跟踪所需求的实时性。

(2)本发明提出的跟踪方法，与简单的检测方法相比，无论在判别的准确率上，还是在定位的精度上都有所提高，其中将判别的准确率降低了一个量级。

图4是利用本发明提出的方法与基于HOG+Multi-SVM的检测方法以及跟踪方法TLD(Tracking-Learning-Detection)的实际运行效果图。其中，数据集为从上述数据集中抽取的一个。该数据集考虑到光照条件，快速移动，FIVE手势的平面内旋转以及手势从摄像头摄取范围内移出等情况。图中分别用三种线条框来表示三种方法，在各子图中为了表示清除，三种线条框均为白色。图4的子图分别表明：

(1)在子图(a)中，三种定位方法均产生很好结果的情形。其中，大的两个分别为本发明提出的方法和基于HOG+Multi-SVM的检测方法的结果。中间小框为TLD跟踪的结果。

(2)子图(b)为考察光照条件受到影响时三种定位方法的情形。其中，基于TLD的跟踪方法跟踪丢失；另两种方法得到相似的情况。

(3)在子图(c)中，基于HOG+Multi-SVM的检测方法定位失败，如图中小矩形框所示。本发明提出的方法定位比较精确，如图中大矩形框所示。而基于TLD的跟踪方法跟踪丢失。

(4)子图(d)表示了既定手势平面内旋转的情况。其中，基于TLD的跟踪方法跟踪丢失，基于HOG+Multi-SVM的检测方法和本发明提出的方法得到的表现性能相似如图中矩形框所示。

Claims (4)

1.一种基于HOG特征的多旋转方向SVM模型的手势跟踪方法，其特征在于，包括以下步骤：

步骤1：获取图像帧，并进行预处理，具体是：

(1)利用摄像头实时抓取镜头前各个图像帧，对当前帧的图像进行双线性插值处理以获取设定尺寸的图像；

(2)加载HOG特征的相关参数、梯度投值空间对应的字典以及基于HOG特征的各个方向子区间的SVM模型；

步骤2：判断成功定位帧数是否到达预设的帧数阈值T；

设定一个变量x，用于记录到当前帧前连续成功地检测或跟踪到含有手势的帧数；初始x值为0；

如果x未达到帧数阈值T，进入步骤3执行；否则，进入步骤4执行；

步骤3：基于HOG+Multi-SVM的检测；

对步骤1获取的图像进行各个尺度空间中的HOG特征提取，利用滑动窗口对所有有效窗口进行遍历，并与预先训练的各方向子区间的SVM模型进行匹配，记录匹配的结果，并在匹配成功时记录手势在图像帧的位置和SVM模型的索引号，然后转到步骤5；

步骤4：基于HOG+Multi-SVM的跟踪；

对步骤1获取的图像按照设定的尺度空间遍历顺序提取HOG特征，利用特定方式进行固定窗口的移动，并以一定顺序与预先训练的各方向子区间的SVM模型进行匹配，记录匹配的结果，并在匹配成功时记录手势在图像帧的位置和SVM模型的索引号，然后进入步骤5执行；

步骤5：判定既定手势是否在图像上，并做出相应处理，具体是：

(1)当未在图像中定位到既定手势时，对变量x进行清零处理；

(2)否则，将变量x的值增1，并记录既定手势在图像中的位置大小和匹配的SVM模型的索引号。

2.根据权利要求1所述的一种基于HOG特征的多旋转方向SVM模型的手势跟踪方法，其特征在于，步骤1中所述的HOG特征的相关参数包括：

(1)SVM模型检测窗口的大小；

(2)梯度投值空间分区数，要求设定为偶数；

(3)窗口中块的大小；

(4)块中细胞单元的大小；

加载的SVM模型分为六个方向子区间：

(1)[-3,33]； (2)[27,63]； (3)[57,93]；

(4)[87,123]； (5)[117,153]； (6)[147,183]。

3.根据权利要求1所述的一种基于HOG特征的多旋转方向SVM模型的手势跟踪方法，其特征在于，所述的步骤3的具体实现步骤为：

步骤3.1：对输入图像进行尺度缩放，在各尺度空间相应的RGB图像上提取HOG特征；

步骤3.2：遍历各尺度空间下各个滑动窗口相应的HOG特征，对HOG特征与各个方向范围上的SVM模型进行匹配；并在匹配成功时保留该滑动窗口的各项信息，包括尺度空间、SVM模型索引号、窗口的左上角坐标点以及SVM模型的方向子区间；

步骤3.3：重复步骤3.2直到所有规定尺度空间全部遍历完成；

步骤3.4：跳转到步骤5执行。

4.根据权利要求1所述的一种基于HOG特征的多旋转方向SVM模型的手势跟踪方法，其特征在于，所述的步骤4的具体实现步骤为：

步骤4.1：确保加载相关字典，包括以下三个部分：

a、所有既定手势的方向子分区的SVM模型相互出现的后验概率表；

b、所有的图像尺度大小和所对应的尺度缩放值；

c、图像各个尺度下对应的水平和垂直方向上分别能容纳的窗口数；

步骤4.2：根据前一帧中既定手势所在尺度空间，生成当前帧的尺度遍历顺序；若前一帧手势所在尺度空间不是规定的尺度缩放值，则取该尺度空间的下一级尺度空间；当前帧的尺度遍历顺序是按照最接近前一帧中既定手势所在尺度空间的原则来排序的；

步骤4.3：利用双线性插值法将图像缩放到指定大小；

步骤4.4：对缩放后的图像提取HOG特征；

步骤4.5：根据前一帧中所含既定手势的窗口左上角坐标，生成一条螺旋式的窗口遍历顺序；

步骤4.6：根据前一帧中所含既定手势的SVM模型所属方向子区间，利用后验概率表查找该方向子区间依赖前一帧定位结果的概率，并按概率值降序排列SVM模型匹配顺序；

步骤4.7：基于步骤4.5和步骤4.6进行窗口的遍历和SVM模型的匹配；一旦匹配成功则记录窗口的各项信息，包括尺度空间、SVM模型索引号、窗口的左上角坐标点和SVM模型的方向子区间；如果匹配未成功且到达规定的窗口数阈值，那么就结束跟踪过程，跳转到步骤5，否则进行下一个尺度空间的遍历，转步骤4.2执行。