CN102968618A - 一种融合BoF模型和谱聚类算法的静态手势识别方法 - Google Patents

Abstract

本发明涉及静态图像中的对象识别技术，尤其涉及一种融合BoF模型和谱聚类算法的静态手势识别方法，包括识别训练方法和识别应用方法，构建层次化BoF模型用于快速准确地捕捉复杂背景下的手势特征分布，再通过谱聚类算法过滤掉属于背景的特征点，保证识别的效率和准确性。本发明的有益效果在于：1、层次化BoF模型在保持了传统BoF模型运行效率高、相对准确的优点基础上，同时又修正了传统BoF模型中不包含特征点空间分布信息的缺陷；2、提出了一种基于谱和HIK的过滤算法(Spectral-HIK)，该算法在尽量保存前景特征点的基础上过滤掉大部分的背景特征点，可以有效的提高整个算法的识别效率及准确率。

Description

一种融合BoF模型和谱聚类算法的静态手势识别方法

技术领域

本发明涉及静态图像中的对象识别技术，尤其涉及一种融合BoF模型和谱聚类算法的静态手势识别方法。

背景技术

目前手势识别方法大致可以分为两类。第一类方法是利用辅助设备进行手势识别，比如数据手套(Data Gloves)，磁传感器(Magnetic Sensors)和惯性传感器(Inertial Sensors)等；第二类方法是基于计算机视觉的手势识别算法。相对于基于附加设备的手势识别算法，该类方法仅仅采用摄像头进行数据采集，不需要在用户身上附加任何其他设备。但是基于计算机视觉的手势识别算法面临着亟待解决的问题，主要有两点：1)人手本身的结构复杂性：人的一只手就有大概14个关节，这就使得手部异常灵活，对于人手这种非刚性对象，如何准确、高效的区分不同手势是手势识别的难点之一；2)背景的复杂性：人手这种非刚性对象很容易受到环境的影响，尤其是当背景环境具有跟人手具有相似的颜色，对手势的识别影响更加严重。为了克服以上两个面临的问题，当前出现的一些方法对背景进行严格限制，采用肤色模型检测手部区域。很明显这类方法无法应用在复杂背景下的手势识别。另一类方法是对背景进行建模，通过对手势本身的特点进行分析检测手指的位置，最终实现手势识别。该方法针对已知背景条件下的手势识别有着较好的识别结果，但无法应用在未知背景条件下的手势识别。

发明内容

本发明为克服上述的不足之处，目的在于提供一种融合BoF模型和谱聚类算法的静态手势识别方法，构建层次化BoF模型用于快速准确地捕捉复杂背景下的手势特征分布，再通过谱聚类算法过滤掉属于背景的特征点，保证识别的效率和准确性。

本发明是通过以下技术方案达到上述目的：一种融合BoF模型和谱聚类算法的静态手势识别方法，包括识别训练方法和识别应用方法，识别训练方法包括以下步骤：

1)输入正、负训练样本；

2)提取正、负训练样本的特征点；

3)采用基于谱聚类的过滤算法对提取的特征点进行过滤，得到属于前景的特征点；

4)采用基于HIK聚类算法对所有样本的前景特征点进行聚类；

5)根据所有特征点相对于手部中心的空间分布情况进行划分：以手部中心为圆心，划分出若干同心区域，针对不同的区域对特征点进行分组；

6)把所有分组的特征点分别向水平和垂直轴进行投影计算，构建每个投影方向上的直方图数据结构，计算保存特征点的空间分布信息；

7)把每个特征点的空间划分信息和投影信息综合，构建层层次化BoF模型；

8)每个类别的训练样本通过层次化BoF模型化，分别得到其直方图数据，通过标准化最终构建分类器；

9)调用构建的分类器，采用投票机制对样本进行分类识别：样本的直方图数据与分类器的直方图数据进行相似度对比，直方图数据中相同位置的子结构中包含数据数目越多，样本就与该分类器越相似，在跟所有类别的BoF模型比较后，选择最为接近的作为识别结果；

10)输出分类结果；

识别应用方法包括以下步骤：

1)输入待识别的手势图像；

2)提取输入的手势图像特征点；

3)采用基于谱聚类的过滤算法对提取的特征点进行过滤，得到属于前景的特征点；

4)调用基于HIK的聚类算法对前景特征点进行聚类；

5)根据所有特征点相对于手部中心的空间分布情况进行划分：以手部中心为圆心，划分出若干同心区域，针对不同的区域对特征点进行分组；

6)把所有分组的特征点分别向水平和垂直轴进行投影计算，构建每个投影方向上的直方图数据结构，计算保存特征点的空间分布信息；

7)把每个特征点的空间划分信息和投影信息综合，构建出次化BoF模型；

8)调用识别训练方法得到的分类器，采用投票机制对样本进行分类识别：样本的直方图数据与分类器的直方图数据进行相似度对比，直方图数据中相同位置的子结构中包含数据数目越多，样本就与该分类器越相似，在跟所有类别的BoF模型比较后，选择最为接近的作为识别结果；

9)输出分类结果。

作为优选，识别训练方法中步骤2)所述的提取正、负训练样本的特征点和识别应用方法中步骤2)所述的提取输入的手势图像特征点均采用ASIFT算法。

本发明的有益效果在于：1、层次化BoF模型在保持了传统BoF模型运行效率高、相对准确的优点基础上，同时又修正了传统BoF模型中不包含特征点空间分布信息的缺陷；2、为了进一步提高整个算法的识别效率和准确率，提出了一种基于谱和HIK的过滤算法(Spectral-HIK)，该算法在尽量保存前景特征点的基础上过滤掉大部分的背景特征点，可以有效的提高整个算法的识别效率及准确率。

附图说明

图1是本发明的步骤流程图；

图2采用基于谱聚类的过滤算法对提取的特征点进行过滤的步骤流程图；

图3是分类器分类识别的步骤流程图；

图4a是识别训练方法中输入的正、负样本；

图4b是识别应用方法中输入的待识别的手势图像；

图5a是识别训练方法中正、负样本特征点空间分布及投影示意图；

图5b是识别应用方法中手势图像特征点空间分布及投影示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例1：如图1所示，一种融合BoF模型和谱聚类算法的静态手势识别方法，包括识别训练方法和识别应用方法；

(一)识别训练方法，步骤如下：

步骤110：输入正、负训练样本，输入的正、负样本表示如图4a所示；

步骤120：提取正、负训练样本的特征点：特征点越多，则识别效率就越高，本发明采用ASIFT算法作为提取正、负训练样本的特征点的方法，正、负训练样本中的手势所在图像范围作为特征点的选取区域，通过特征点对手势的形状进行描述；

步骤130：采用基于谱聚类的过滤算法对提取的特征点进行过滤，得到属于前景的特征点，步骤如图2所示：

步骤131：输入特征点集合；

步骤132：输入的特征点集合构建仿射矩阵A(A∈R_n×n)，其中A_ij表示两个点P_i和P_j的相似度；输入的特征点集合构建对角矩阵D，D_ij表示仿射矩阵A第i行的累加；

步骤133：计算对角矩阵D与仿射矩阵A的差矩阵L＝D-A；

步骤134：计算差矩阵L的特征向量构建矩阵U(U∈R_n×k)，

其中{u₁，…u_k}为矩阵U的列向量集合，{y₁，…y_n}为矩阵U的行向量集合；

步骤135：根据HIK聚类算法： $K_{\mathrm{HI}}(h_p,h_q)=\underset{i}{\mathrm{\Σ}}\min (h_p^i,h_q^i)---\left(1\right)$

和聚类相似度算法：

||p-q||²＝||φ(h_p)-φ(h_q)||＝K_HI(h_p-h_p)+K_HI(h_q-h_q)-2K_HI(h_p-h_q) (2)

对矩阵U的所有行向量进行聚类，得到k个聚类结果：C₁…C_k，

其中，h_p和h_q表示直方图数据，i表示直方图每个子区域的序号；

步骤136：调用空间分布判断对聚类结果进行判别，定义平均距离最大的子集判断为背景子集，判别公式如下：

g_background＝arg max{average_Euc(g)}，g∈G            (3)

其中，G表示所有特征点子集，average_Euc()表示某个子集中两个点间的平均欧式距离；

步骤137：输出最终的过滤结果：属于前景的特征点共23个；

步骤140：调用公式(1)对步骤137输出的前景特征点进行聚类，聚类结果为：三角形的特征点有11个，五角星形状的特征点有7个，圆形的特征点有5个；

步骤150：根据所有特征点相对于手部中心的空间分布情况进行划分：以手部中心为圆心，划分为内部区域、中间区域、外部区域，根据不同的区域对特征点进行分组，其中，内部区域有特征点6个，包括三角形特征点5个、五角星特征点1个；中间区域有特征点8个，包括三角形特征点4个、五角星特征点3个、圆形特征点1个；外部区域有特征点9个，包括三角形特征点2个、五角星特征点3个，圆形特征点4个；

步骤160：如图5a所示，把所有分组的特征点分别向水平和垂直轴进行投影计算，构建每个投影方向上的直方图数据结构，计算保存特征点的空间分布信息；

步骤170：把每个特征点的空间划分信息和投影信息综合，构建出次化BoF模型；

步骤180：每个类别的训练样本通过层次化BoF模型化，分别得到每个类别的直方图数据，通过标准化最终构建分类器；

步骤190：调用识别训练方法得到的分类器，采用投票机制对样本进行分类识别：样本的直方图数据与分类器的直方图数据进行相似度对比，直方图数据中相同位置的子结构中包含数据数目越多，样本就与该分类器越相似，在跟所有类别的BoF模型比较后，选择最为接近的作为识别结果，如图3所示：

步骤191：待分类的图像通过层次化BoF模型处理后得到层次化直方图数据集H_s；

步骤192：每个手势得到一个数据集H_m，将H_s和H_m进行相似度比较，相似度值最大的相应的数据集为分类结果：

$H_m<H_m,H_s>=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{w}_i\left(\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}\mathrm{Sim}(h_{\mathrm{ij}}^m,h_{\mathrm{ij}}^s)\right)---\left(4\right)$

$\mathrm{Sim}(h_1,h_2)=K_{\mathrm{HI}}(h_1,h_2)$

$=\underset{i}{\mathrm{\&Sigma;}}\mathrm{Min}(h_{1i},h_{2i})---\left(5\right)$

式中：H_m表示训练得到的直方图数据模型，H_s表示输入图像的直方图数据集；w_i为手势子区域的权值；手势子区域的数量由N表示；K表示特征点集聚类数目；Sim(.，.)是基于HIK的相似函数；h₁和h₂表示直方图数据；

步骤200：输出分类结果。

(二)识别应用方法包括以下步骤：

步骤310：输入待识别的手势图像，如图4b所示；

步骤320：提取输入的手势图像特征点；

步骤330：采用基于谱聚类的过滤算法对提取的特征点进行过滤，得到属于前景的特征点，属于前景的特征点共23个；

步骤340：调用基于HIK的聚类算法对前景特征点进行聚类，聚类结果为：三角形的特征点有11个，五角星形状的特征点有7个，圆形的特征点有5个；

步骤350：根据所有特征点相对于手部中心的空间分布情况进行划分：以手部中心为圆心，划分为内部区域、中间区域、外部区域，根据不同的区域对特征点进行分组，其中，内部区域有特征点6个，包括三角形特征点5个、五角星特征点1个；中间区域有特征点8个，包括三角形特征点4个、五角星特征点3个、圆形特征点1个；外部区域有特征点9个，包括三角形特征点2个、五角星特征点3个，圆形特征点4个；

步骤360：如图5b所示，把所有分组的特征点分别向水平和垂直轴进行投影计算，构建每个投影方向上的直方图数据结构，计算保存特征点的空间分布信息；

步骤370：把每个特征点的空间划分信息和投影信息综合，构建出层次化BoF模型；

步骤380：样本的直方图数据与分类器的直方图数据进行相似度对比，样本的直方图数据与分类器的直方图数据在相同位置的子结构中包含数据数目相同，则选择此分类器为识别结果；

步骤390：输出识别结果。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (2)

1.一种融合BoF模型和谱聚类算法的静态手势识别方法，其特征在于包括识别训练方法和识别应用方法，识别训练方法包括以下步骤：

1)输入正、负训练样本；

2)提取正、负训练样本的特征点；

3)采用基于谱聚类的过滤算法对提取的特征点进行过滤，得到属于前景的特征点；

4)采用基于HIK聚类算法对所有样本的前景特征点进行聚类；

5)根据所有特征点相对于手部中心的空间分布情况进行划分：以手部中心为圆心，划分出若干同心区域，针对不同的区域对特征点进行分组；

6)把所有分组的特征点分别向水平和垂直轴进行投影计算，构建每个投影方向上的直方图数据结构，计算保存特征点的空间分布信息；

7)把每个特征点的空间划分信息和投影信息综合，构建层次化BoF模型；

8)每个类别的训练样本通过层次化BoF模型化，分别得到每个类别的直方图数据，通过标准化最终构建分类器；

9)调用构建的分类器，采用投票机制对样本进行分类识别：样本的直方图数据与分类器的直方图数据进行相似度对比，直方图数据中相同位置的子结构中包含数据数目越多，样本就与该分类器越相似，在跟所有类别的BoF模型比较后，选择最为接近的作为识别结果；

10)输出分类结果；

识别应用方法包括以下步骤：

1)输入待识别的手势图像；

2)提取输入的手势图像特征点；

3)采用基于谱聚类的过滤算法对提取的特征点进行过滤，得到属于前景的特征点；

4)调用基于HIK的聚类算法对前景特征点进行聚类；

5)根据所有特征点相对于手部中心的空间分布情况进行划分：以手部中心为圆心，划分出若干同心区域，针对不同的区域对特征点进行分组；

6)把所有分组的特征点分别向水平和垂直轴进行投影计算，构建每个投影方向上的直方图数据结构，计算保存特征点的空间分布信息；

7)把每个特征点的空间划分信息和投影信息综合，构建出次化BoF模型；

8)调用识别训练方法得到的分类器，采用投票机制对样本进行分类识别：样本的直方图数据与分类器的直方图数据进行相似度对比，直方图数据中相同位置的子结构中包含数据数目越多，样本就与该分类器越相似，在跟所有类别的BoF模型比较后，选择最为接近的作为识别结果；

9)输出分类结果。

2.根据权利要求1所述的一种融合BoF模型和谱聚类算法的静态手势识别方法，其特征在于，识别训练方法中步骤2)所述的提取正、负训练样本的特征点和识别应用方法中步骤2)所述的提取输入的手势图像特征点均采用ASIFT算法。

Images