CN103927518A - 一种用于人脸分析***的人脸特征提取方法 - Google Patents

Abstract

本发明涉及一种用于人脸分析***的人脸特征提取方法，包括以下步骤：读取视频数据流；检测人脸；人脸图像处理；生成Gabor脸；生成一阶、二阶差分Gabor脸；将所有Gabor脸分别进行邻域二值化并加权相加，得到特征脸；获取原始特征描述向量；获取特征描述向量；将特征描述向量在人脸特征数据库中进行比对和分类；显示分类结果。本发明的有益效果为：本发明基于Gabor变换、主元分析、线性判别分析和局部特征描述相结合的方法，一定程度上过滤掉光照、遮挡等影响，降维的同时，不损失有效的信息，依旧保持极高的比对正确率；获取人脸图像后，进行原始特征提取时，选取比对的重要区域，在保证鲁棒性的同时也减小了数据处理量。

Description

一种用于人脸分析***的人脸特征提取方法

技术领域

本发明涉及一种用于人脸分析***的人脸特征提取方法。

背景技术

随着社会经济的高速发展，城市规模不断扩大，人口快速增加等原因，城市治安管理面临的压力越来越大，传统的以人力防范和事后处理为主的安防管理模式已经开始制约城市治安管理水平的进一步提高。例如，宾馆、饭店和娱乐场所是社会人员活动的重要地区，经常会有可疑人员出入，因此需要进行可疑人员实时监测和预警。而传统的监控***基本只能用于事后证据呈现，不能够实时监测、对可疑人员进行预警。人脸检测***主要可以分为人脸监测和人脸分析两部分，而在人脸分析过程中要经过人脸特征的提取和人脸特征的分类两个步骤，目前主流的特征提取方法有Fisher方法和局部特征提取等方法,但现有算法多数存在鲁棒性差，难以实际应用的特点。

在已有的特征提取方法中，Fisher方法基于整个脸进行特征提取，然后进行主元分析和线性判别分析降维，将特征描述符的维度控制在可接受的范围内。但是如果提取的人脸照片有部分被遮挡时，该方法仍将被遮挡部分计在图片特征中，对正确人脸特征的提取造成干扰，从而影响到最终的分析结果。局部特征提取方法只选取重要部位，如眼睛、鼻子和嘴等部分的特征进行提取，当其他非重要区域被遮挡时仍然可以正确的提取人脸特征。但是，由于每个部分的人脸特征是单独提取和进行描述的，所以特征描述符的维数往往很大，带来了巨大的计算量。

发明内容

本发明的目的是提供一种用于人脸分析***的人脸特征提取方法，以克服目前现有技术存在的上述不足。

本发明的目的是通过以下技术方案来实现：

一种用于人脸分析***的人脸特征提取方法，包括以下步骤：

1）读取视频数据流，并对读取到的视频数据流进行预处理；

2）检测人脸，对经过步骤1）处理后的视频数据流进行人脸检测：如果检测到人脸，精确定位人脸五官区域，将人脸图像单独截取出来；如果未检测到人脸，回到步骤1）；

3）人脸图像处理，对步骤2）中截取的人脸图像进行归一化处理；

4）生成Gabor脸，归一化处理后的人脸图像送入人脸分析服务器，人脸图像经过Gabor变换过滤得到Gabor脸；

5）生成一阶差分Gabor脸和二阶差分Gabor脸，将Gabor脸进行差分分析，得到一阶差分Gabor脸和二阶差分Gabor脸；

6）将Gabor脸、一阶差分Gabor脸和二阶差分Gabor脸分别进行邻域二值化并加权相加，得到特征脸；

7）获取原始特征描述向量，对特征脸的五官区域进行分析，对每个区域单独进行直方图分析，得到局部特征描述向量，将每个局部特征描述向量连接起来，得到原始特征描述向量；

8）获取特征描述向量，对原始特征描述向量进行主元分析、线性判别分析、降维得到特征描述向量；

9）将特征描述向量在人脸特征数据库中进行比对和分类；以及

10）显示分类结果。

进一步的，所述步骤1）中，视频数据流的预处理包括降噪处理、视频格式归一化处理。

所述步骤3）中，人脸图像处理包括抗光照处理、格式、大小归一化处理。

所述步骤6）中，邻域二值化的方法公式为：

所述步骤7）中，获取特征描述向量步骤包括：

a）在特征脸上使用不同大小的矩形框提取人脸的五官区域，并配以较大权值，其他脸部区域配以较小权值；及

b）对每一个区域进行不同尺度和方向的Gabor变换，接着做该区域的直方图统计，并将每一个区域的直方图统计结果拼接起来，得到原始的特征描述符。

本发明的有益效果为：本发明基于Gabor变换、主元分析、线性判别分析和局部特征描述相结合的方法，能够在一定程度上过滤掉光照、遮挡等情况的影响，在降维的同时，原有的数据在加权融合后不损失有效的信息，依旧能够保持极高的比对正确率；获取人脸图像后，进行原始特征提取时，巧妙的选取用于比对的重要区域，在保证鲁棒性的同时也减小了数据处理量。

附图说明

下面根据附图对本发明作进一步详细说明。

图1是本发明实施例所述的用于人脸分析***的人脸特征提取方法的流程图；

图2是本发明实施例所述的用于人脸分析***的人脸特征提取方法的邻域二值化方法示意图。

具体实施方式

如图1-2所示，本发明实施例所述的一种用于人脸分析***的人脸特征提取方法，包括以下步骤：

1）读取视频序列，并对原始数据进行简单的预处理，包括但并不限于降噪处理、视频格式归一化处理等。

2）对于获取到的标准视频数据流，监测是否有人脸存在，如果有，精确定位人脸，并将人脸图像单独截取出来。

3）人脸图像图像处理，包括但并不限于抗光照处理、格式、大小归一化处理等。

4）归一化后的人脸图像被送入人脸分析服务器，人脸图像经过Gabor变换过滤得到Gabor脸。Gabor变换是一种窗口式的Fourier变换，是一个时间和频域的局域变换，能有效地从信号中提取信息，通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析。经过Gabor过滤后的Gabor脸，可以加强脸部局部特征，并且使特征可以适应不同尺度的要求，增加识别算法的鲁棒性。

5）将Gabor脸进行差分分析，得到一阶差分Gabor脸和二阶差分Gabor脸。假设Gabor脸的大小为M×N，那么在x方向的一阶差分Gabor脸：

       (1)

在公式(1)中，是Gabor脸矩阵(i,j)位置上数值，是X方向一阶差分Gabor脸矩阵(i,j)位置上数值

在y方向的一阶差分Gabor脸：

       (2)

在公式(2)中，是Gabor脸矩阵(i,j)位置上数值，是Y方向一阶差分Gabor脸矩阵(i,j)位置上数值

在x方向的二阶差分Gaobr脸：

    (3)

在公式(3)中，是X方向一阶差分Gabor脸矩阵(i,j)位置上数值，是X方向二阶差分Gabor脸矩阵(i,j)位置上数值

在y方向的二阶差分Gabor脸：

     (4)

在公式(4)中，是Y方向一阶差分Gabor脸矩阵(i,j)位置上数值，是Y方向二阶差分Gabor脸矩阵(i,j)位置上数值。

6）将Gabor脸、一阶差分Gabor脸和二阶差分Gabor脸分别进行二值化并加权相加，得到最终的特征脸。一般的二值化方法是求出图像的平均值，然后比较每一个成员与平均值的大小。以Gabor脸二值化为例，假设Gabor脸的大小为M×N，的每个单原的值为，它们的平均值为：

                                       (5)

           (6)

在公式(6)中，是Gabor脸矩阵(i,j)位置上二值化后的数值，是Gabor脸矩阵(i,j)位置上二值化前的数值，是Gabor脸矩阵所有点二值化前数值的平均值。这种平均二值化的方法损失了太多图像信息，在此，本发明采用的是一种邻域二值化的方法如图2所示：

a）本发明以图中的一个非0点为基准点，本发明设该点的值为1；

b）将此点的值和该点的8个邻居点比较，如果邻居点大于等于此点，则邻居点等于1，否则为0；

c）已被二值化的邻域点称作邻域基准点,观察邻域基准点周围所有未被二值化的子邻域点，如果子邻居点的值大于等于邻域基准点未被二值化之前的值，子邻居点的值为1，否则为0；

d）以此类推，直到所有的点被二值化。 

        (7)

如上面公式所示，这种邻域二值化的方法可以有效的描述图像像素点的变化趋势，对于保留图像中有效信息有很好的效果。

使用同样的方法，本发明可以把和依次二值化，并根据实际情况，使用不同的参数加权相加，得到特征脸：

                         (8)

如果使用上面的加权方法，特征脸是一个的矩阵，每一个单元是一个[0,32]之间的整数。

7）在步骤2中，人脸照片上的左眼、右眼、鼻子和嘴等重要区域被精确定位，将每个重要区域单独进行直方图分析，得到局部特征描述向量。将每个局部特征描述向量连接起来，得到原始特征描述向量。在实际操作中，本发明在特征脸上使用不同大小的矩形框提取人的左眼和右眼、左眉毛和右眉毛、鼻子以及嘴巴等重点区域，并配以较大权值，其他脸部区域配以较小权值。对于每一个区域，在不同尺度和方向的Gabor波变换下，做该区域的直方图统计，并将每一个区域的直方图统计结果拼接起来，得到原始的特征描述符。

8）将原始特征描述符进行主元分析、线性判别分析降维得到最终的特征描述向量。

9）将提取后的特征在人脸特征数据库中进行比对和分类。

10）显示最终的分类结果。

在宾馆、饭店以及娱乐场所入口或大厅等处安装一个固定的摄像机。选择好视频监控场景后，连接到摄像机后可以获取到实时视频流数据。前端处理器监控视频中是否有人脸出现，如果有人脸出现，将人脸图像截取和归一化，并将人脸上重要器官的位置信息一起发往分析服务器。分析服务器解析人脸图像，并根据需要选择重要人脸区域进行人脸特征提取。接下来将提取出的特征与人脸数据库中的人脸数据进行比对和分类。最后将比对的结果输出。

本发明应用场景属于智能视频监控领域，针对公共场合下可疑人员的人脸检测或者针对有关部门对未知人员身份确认使用。现有特征提取方法的不足主要是由于提取特征区域选择的不足，从而导致最终的特征分类误差加大；或者提取的特征维数过高，导致数据量过大等。本发明提出了一种用于人脸分析***的人脸特征提取方法，该方法基于Gabor变换，主元分析、线性判别分析和局部特征描述相结合的方法。该特征描述方法能够在一定程度上过滤掉光照、遮挡等情况的影响，在保证更加精确的特征分类结果的前提下，将特征描述符控制在可接受的维度以内。

在步骤6中，Gabor脸、一阶差分Gabor脸和二阶差分Gabor脸二值化的方法，在降维的同时，原有的数据在加权融合后不损失有效的信息，依旧能够保持极高的比对正确率。在步骤7中，获取人脸图像后，进行原始特征提取时，巧妙的选取用于比对的重要区域，在保证鲁棒性的同时也减小了数据处理量。

本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。 

Claims (5)

1.一种用于人脸分析***的人脸特征提取方法，其特征在于，包括以下步骤：

1）读取视频数据流，并对读取到的视频数据流进行预处理；

2）检测人脸，对经过步骤1）处理后的视频数据流进行人脸检测：如果检测到人脸，精确定位人脸五官区域，将人脸图像单独截取出来；如果未检测到人脸，回到步骤1）；

3）人脸图像处理，对步骤2）中截取的人脸图像进行归一化处理；

4）生成Gabor脸，归一化处理后的人脸图像送入人脸分析服务器，人脸图像经过Gabor变换过滤得到Gabor脸；

5）生成一阶差分Gabor脸和二阶差分Gabor脸，将Gabor脸进行差分分析，得到一阶差分Gabor脸和二阶差分Gabor脸；

6）将Gabor脸、一阶差分Gabor脸和二阶差分Gabor脸分别进行邻域二值化并加权相加，得到特征脸；

7）获取原始特征描述向量，对特征脸的五官区域进行分析，对每个区域单独进行直方图分析，得到局部特征描述向量，将每个局部特征描述向量连接起来，得到原始特征描述向量；

8）获取特征描述向量，对原始特征描述向量进行主元分析、线性判别分析、降维得到特征描述向量；

9）将特征描述向量在人脸特征数据库中进行比对和分类；以及

10）显示分类结果。

2.根据权利要求1所述的用于人脸分析***的人脸特征提取方法，其特征在于：步骤1）中视频数据流的预处理包括降噪处理、视频格式归一化处理。

3.根据权利要求2所述的用于人脸分析***的人脸特征提取方法，其特征在于：步骤3）中人脸图像处理包括抗光照处理、格式、大小归一化处理。

4.根据权利要求3所述的用于人脸分析***的人脸特征提取方法，其特征在于：步骤6）中的邻域二值化的公式为：

。

5.根据权利要求4所述的用于人脸分析***的人脸特征提取方法，其特征在于：步骤7）中获取特征描述向量步骤包括：

a）在特征脸上使用不同大小的矩形框提取人脸的五官区域，并配以较大权值，其他脸部区域配以较小权值；及

b）对每一个区域进行不同尺度和方向的Gabor变换，接着做该区域的直方图统计，并将每一个区域的直方图统计结果拼接起来，得到原始的特征描述符。