CN108446601A - 一种基于动静特征融合的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于动静特征融合的人脸识别方法，尤其是基于综合的静态特征和动态特征的人脸识别方法；静态特征侧重全局轮廓，将人脸图像特征看做高维特征，通过线性和非线性变换映射到低维的子空间中，从而在低维空间中得到该原始样本的特征进行分类，动态特征侧重局部变化，主要根据人脸的表情，如微笑，沮丧等，通过提取人脸肌肉变化的动态特征，得到一组肌肉变化与时间的特征函数，从而进行精确识别和分类，实现人脸识别精度的提高。

Description

一种基于动静特征融合的人脸识别方法

技术领域

本发明涉及一种基于动静特征融合的人脸识别方法，属于人脸识别技术领域。

背景技术

目前,传统的身份识别方法存在不便于携带、易丢失、易损坏和易被破解或窃取的风险。因此人脸识别得到了广泛的关注,由于其具有较强的稳固性、隐蔽以及个体间差别性,安全性得到了保障,应用领域也愈加广泛,例如安全、民用、军用等领域。人脸识别作为生物特征识别的典型应用,在国防、金融、司法、商业等领域有着广阔的前景，受到了社会的密切关注与认可。与此同时，人脸识别的准确度也成为制约人脸识别发展的重要因素。

人脸识别通常遇到小样本数据集问题,即所拥有的训练样本数目远小于待测人脸样本的大小，小样本数据集的问题会使得传统的特征提取方法和分类识别方法在人脸识别上很难获得较强的鲁棒性和较好的识别率。本专利通过综合的静态特征和动态特征的人脸识别方法，能够大大提高人脸识别的准确度。

相似专利中，专利CN201010522281.9，基于多级分类的稀疏表征人脸识别方法是一种静态特征识别方法，与本专利所强调的静态特征和动态特征结合的方法不同；专利CN201510102708.2，一种动态人脸识别方法及***提出了一种动态人脸识别方法，其所指的动态是人在运动时进行抓取跟踪，本质上是一种静态特征识别，其动态指的是人本身的运动。人体的肌肉运动特征与人长时间的运动积累直接相关，具有明显的个体特征。肌肉特征是人长期习惯所形成的特征，不易模仿且特征明显。本发明通过提出结合静态与动态特征的方法，可以在不影响速度的前提下有效提高人脸识别的精度。

发明内容

本发明提供一种基于动静特征融合的人脸识别方法，通过静态特征和动态特征两部分，将全局轮廓和局部动态特征相结合，可以在不影响识别速度的前提下大大提高人脸识别精度，解决了目前人脸识别精度低的问题。

本发明解决其技术问题所采用的技术方案是：

一种基于动静特征融合的人脸识别方法，通过静态特征和动态特征相结合的方法实现人脸识别精度的提高；

作为本发明的进一步优选，前述的静态特征为提取人脸的整体轮廓特征，前述的动态特征为提取人脸表情变化时的肌肉特征；

作为本发明的进一步优选，包括以下步骤：

步骤A，采用静态特征提取，具体还包括以下子步骤：

步骤A1，通过摄像头或提前存储的视频文件中获取视频流，

步骤A2，从获得的视频流中截取关键帧，

步骤A3，利用主成分分析法、独立成分分析法和线性判别方法相结合，从所得的关键帧的图像信息中获取人脸的轮廓特征，

步骤A4，利用梯度图像算法处理前述的人脸的轮廓特征，从而得到高维特征数据，利用二值、直方图线性或者非线性处理前述的人脸的轮廓特征，变换得到低维特征数据，

步骤A5，将高维特征数据与低维特征数据进行相似度度量，即特征匹配，得到静态特征匹配的一个或者多个相似结果；

步骤B，采用动态特征提取，具体还包括以下子步骤：

步骤B1，通过摄像头或提前存储的视频文件中获取视频流，

步骤B2，利用光流、差分的方法提取视频流中的动态特征，确定目标区域，

步骤B3，从目标区域中选取所需要的脸部窗口，建立局部窗口，

步骤B4，将局部窗口的图像进行二值化，提取动态的轮廓特征，采用金字塔匹配核或滑动窗算法将所得到的轮廓特征信息变换为动作序列，从而构建表情动作序列，

步骤B5，将前述的表情动作序列生成用于匹配的动作向量信息，动态特征提取人脸表情变化，通过指定表情，提取人脸对应的肌肉动态变化，建立动作模型，将前述的动作向量与动作模型进行匹配，最终；

步骤C，将静态特征匹配得到的一个或者多个相似结果与动态匹配得到的动作向量进行结果集融合，利用动态结果集对静态结果集进行校验，将错误结果进行剔除，得出最终识别结果并给出识别的置信度，完成识别操作；

步骤D，若置信度不满足要求，重新开始整个识别过程；

作为本发明的进一步优选，前述利用光流、差分的方法提取视频流中的动态特征，光流即为光流信息法，动态特征的提取方法还包括时空特征点法或局部描述算子；

作为本发明的进一步优选，静态特征提取方法包括但不限于主成分分析法、独立成分分析法或线性判别方法。

通过以上技术方案，相对于现有技术，本发明具有以下有益效果：

提高了人脸识别的精度，将全局轮廓和局部动态特征相结合，从而可以大大增加人脸识别的可信度，也因此可以将人脸识别引入到工业领域，从而提高生产效率

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明的人脸识别算法的流程图，

图2 为本发明的人脸识别动态特征捕捉示意图，

图3 为本发明构建的表情系列示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

人体的肌肉运动特征与人长时间的运动积累直接相关，具有明显的个体特征，肌肉特征是人长期习惯所形成的特征，不易模仿且特征明显。

本发明提供一种基于动静特征融合的人脸识别方法，通过静态特征和动态特征相结合的方法实现人脸识别精度的提高；

作为本发明的进一步优选，前述的静态特征为提取人脸的整体轮廓特征，前述的动态特征为提取人脸表情变化时的肌肉特征；

本发明所述的基于动静特征融合的人脸识别方法，在应用时分为学习过程和识别过程；

其中，学习过程为了提高人脸识别***的实时性和准确性，可以采用ELM算法，学习过程也分为静态特征和动态特征两部分；其中静态部分包括从获得的视频流中截取关键帧，随后利用静态分析方法如主成分分析法、独立成分分析法、线性判别方法等方法从所得到的图像信息中获取人脸的轮廓特征，通过梯度图像等算法得到高维特征数据，随后利用二值、直方图等线性或非线性变换得到低维特征数据并进行存储；

动态特征学习包括从获得的视频流中利用光流、差分等方法提取视频的动态特征，并从中选取所需要的脸部窗口，将图像进行二值化，提取轮廓特征，通过金字塔匹配核或滑动窗等算法将所得的动态轮廓信息构建动作序列，最后转化为动作向量并进行存储；在转化为动作向量的学习过程中，可以采用RBM（限制玻尔兹曼机）、DBN（深度信念网络）等方法加快收敛速度。

如图1所示，识别过程包括以下步骤：

步骤A，采用静态特征提取，具体还包括以下子步骤：

步骤A1，通过摄像头或提前存储的视频文件中获取视频流，

步骤A2，从获得的视频流中截取关键帧，

步骤A3，利用主成分分析法、独立成分分析法和线性判别方法相结合，从所得的关键帧的图像信息中获取人脸的轮廓特征，

步骤A4，利用梯度图像算法处理前述的人脸的轮廓特征，从而得到高维特征数据，利用二值、直方图线性或者非线性处理前述的人脸的轮廓特征，变换得到低维特征数据，

步骤A5，将高维特征数据与低维特征数据进行相似度度量，即特征匹配，得到静态特征匹配的一个或者多个相似结果；

步骤B，采用动态特征提取，具体还包括以下子步骤：

步骤B1，通过摄像头或提前存储的视频文件中获取视频流，

步骤B2，利用光流、差分的方法提取视频流中的动态特征，确定目标区域，

步骤B3，从目标区域中选取所需要的脸部窗口，建立局部窗口，

步骤B4，将局部窗口的图像进行二值化，提取动态的轮廓特征，采用金字塔匹配核或滑动窗算法将所得到的轮廓特征信息变换为动作序列，从而构建表情动作序列，

步骤B5，将前述的表情动作序列生成用于匹配的动作向量信息，图3所示，动态特征提取人脸表情变化，通过指定表情，提取人脸对应的肌肉动态变化，建立动作模型，将前述的动作向量与动作模型进行匹配，最终；

步骤C，将静态特征匹配得到的一个或者多个相似结果与动态匹配得到的动作向量进行结果集融合，利用动态结果集对静态结果集进行校验，将错误结果进行剔除，得出最终识别结果并给出识别的置信度，完成识别操作；

步骤D，若置信度不满足要求，重新开始整个识别过程；

静态特征主要包含人脸的整体轮廓，动态特征主要包含人脸表情变化时的肌肉特征。图2所示，静态特征主要提取人脸的整体轮廓，并通过轮廓特征进行人脸匹配，前述利用光流、差分的方法提取视频流中的动态特征，光流即为光流信息法，动态特征的提取方法动态特征提取方法包括但不限于光流信息法、时空特征点法、局部描述算子等方法；

作为本发明的进一步优选，静态特征提取方法包括但不限于主成分分析法、独立成分分析法或线性判别方法。

本发明所提出的基于动静特征融合的人脸识别方法，是一种结合空间和时间提出的新的人脸识别方法，在空间维度上，将所得图像用人脸轮廓进行表达，在时间维度上，把人的表情抽象成向量信息，对这两组信息进行匹配与计算，可以大大提高人脸识别的准确率。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本申请中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。

本申请中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (5)

1.一种基于动静特征融合的人脸识别方法，其特征在于：通过静态特征和动态特征相结合的方法实现人脸识别精度的提高。

2.根据权利要求1所述的基于动静特征融合的人脸识别方法，其特征在于：前述的静态特征为提取人脸的整体轮廓特征，前述的动态特征为提取人脸表情变化时的肌肉特征。

3.根据权利要求2所述的基于动静特征融合的人脸识别方法，其特征在于：包括以下步骤：

步骤A，采用静态特征提取，具体还包括以下子步骤：

步骤A1，通过摄像头或提前存储的视频文件中获取视频流，

步骤A2，从获得的视频流中截取关键帧，

步骤A3，利用主成分分析法、独立成分分析法和线性判别方法相结合，从所得的关键帧的图像信息中获取人脸的轮廓特征，

步骤A4，利用梯度图像算法处理前述的人脸的轮廓特征，从而得到高维特征数据，利用二值、直方图线性或者非线性处理前述的人脸的轮廓特征，变换得到低维特征数据，

步骤A5，将高维特征数据与低维特征数据进行相似度度量，即特征匹配，得到静态特征匹配的一个或者多个相似结果；

步骤B，采用动态特征提取，具体还包括以下子步骤：

步骤B1，通过摄像头或提前存储的视频文件中获取视频流，

步骤B2，利用光流、差分的方法提取视频流中的动态特征，确定目标区域，

步骤B3，从目标区域中选取所需要的脸部窗口，建立局部窗口，

步骤B4，将局部窗口的图像进行二值化，提取动态的轮廓特征，采用金字塔匹配核或滑动窗算法将所得到的轮廓特征信息变换为动作序列，从而构建表情动作序列，

步骤B5，将前述的表情动作序列生成用于匹配的动作向量信息，动态特征提取人脸表情变化，通过指定表情，提取人脸对应的肌肉动态变化，建立动作模型，将前述的动作向量与动作模型进行匹配，最终；

步骤C，将静态特征匹配得到的一个或者多个相似结果与动态匹配得到的动作向量进行结果集融合，利用动态结果集对静态结果集进行校验，将错误结果进行剔除，得出最终识别结果并给出识别的置信度，完成识别操作；

步骤D，若置信度不满足要求，重新开始整个识别过程。

4.根据权利要求3所述的基于动静特征融合的人脸识别方法，其特征在于：前述利用光流、差分的方法提取视频流中的动态特征，光流即为光流信息法，动态特征的提取方法还包括时空特征点法或局部描述算子。

5.根据权利要求3所述的基于动静特征融合的人脸识别方法，其特征在于：静态特征提取方法包括但不限于主成分分析法、独立成分分析法或线性判别方法。