CN108563999A - 一种面向低质量视频图像的人物身份识别方法与装置 - Google Patents

Abstract

本发明涉及一种面向低质量视频图像的人物身份识别方法与装置。本发明包括将视频图像经过摄像头采样、量化、重计算以后转换为数字图像并输入、存储到帧存储器中；对数字图像进行基于几何和统计特征的图像分类，获取目标图像；平移并截取目标图像的矩形区域；对于任意一幅给定的目标图像的矩形区域，进行搜索以确定其中是否含有人脸，如果含有人脸则提取脸部的特征信息包括位置、大小和姿态信息；根据提取脸部的特征信息，判断是否为特定身份用户，并发出身份识别结果。本发明集中解决在较低分辨率的视频图像中难以快速识别较模糊人脸的问题，可以大大降低计算量，识别率得到较大的提高，适用于嵌入式开发板等计算能力不足的装置。

Description

一种面向低质量视频图像的人物身份识别方法与装置

技术领域

本发明属于图像身份识别领域，具体涉及一种面向低质量视频图像的人物身份识别方法与装置。

背景技术

基于视频图像识别目标人物的身份，是安全监控、行迹追踪、自动开门、自助取款支付等很多场景下的基础性技术。

人脸识别技术是视频图像身份识别技术的主要实现手段，人类的面部包含了足够多信息用于身份识别，每个人脸都具有其独一无二的特征，即便是双胞胎也不会具有完全一样的面容。除了面部包含足够的信息因此可靠性和准确度较好以外，相比较指纹识别和虹膜识别等其他身份识别技术，人脸识别只需要照相机和摄像头等常规设备，不需要其传感器作为采集特征的设备，成本低廉，方便部署，而且不需要人体接触就可以进行身份识别，人脸识别(Face Recognition)研究起步于上个世纪，Galton陈述了通过人脸作为特征进行身份识别的可能，但是当时还没有涉及到自动人脸识别的问题。随后的人脸识别发展迅速，可以将这个过程划分为四个阶段：

第一阶段(1964年～1990年)

在这一阶段，研究者们并没有把人脸识别作为一个单独的课题来研究，而只是把人脸识别当作一般的模式识别问题看待，此时的人脸识别研究和其他的物体识别一样，都是基于图形几何结构特征的。研究集中于对面部剪影曲线的结构特征提取和分析，该方法思路需要精确测量特征点之间的几何距离，使用最近邻法和其他方法来识别人脸。这个阶段的人脸识别方法并不智能，许多工作都是人工进行的，是非自动识别的方法。

第二阶段(1991年～1997年)

这个阶段人脸识别技术得到了飞速发展，取得了许多重要成果，美国麻省理工学院媒体实验室的Turk和Pentland提出了“特征脸”，特征脸是一种基于K-L变换的无监督的人脸识别方法，采用主成分分析技术，把目标图像投影到特征脸子空间，有效的降低了维度，并通过它的投影点在子空间的位置以及投影线的长度来进行判定和识别。特征脸方法的缺点对于光照的变化不具有鲁棒性，尽管如此，特征脸的降维思想为之后的人脸识别方法带来了很大的启发，新提出的方法都或多或少的受到特征脸方法的影响。于此同期的另一个重要研究发现是MIT的Brunelli和Poggio通过对比基于几何结构特征(也就是第一阶段主要研究内容)与基于模板匹配方法进行人脸识别的结果，得到了一个结论：基于模板匹配的方法要优于基于几何结构特征的方法。这一导向性的结论与特征脸实验结果的共同作用，导致了单纯基于及格结构特征的人脸识别方法研究的终止，随后基于统计模式识别和基于表现的低维空间建模逐渐成为主流研究方向。

Belhumeur等提出Fisher Faces方法，在Eigen Faces的PCA降维后基础上采用线性判别分析(Linear Discriminant Analysis，LDA)的方法，对得到的主成分进一步分析，寻找尽量大的类间散度和尽量小的类内散度，因此能够有效的提取出不同样本的差异之处。此后一段时间基于Fisher Face的变种方法也得到了研究发展，如零空间法、子空间判别模型、增强判别模型等。还有许多优秀的方法提出，如弹性图匹配技术(ElasticGraphMatching，EGM)不但对人类的全局特征建模，还保留了面部局部关键位置的信息。柔性模型(Flexible Models)的提出为早期人脸校准技术的发展提供铺垫。

第三阶段(1998年～2011年)

第三阶段是人脸识别发展如火如荼的阶段，针对上个阶段研究中普遍出现的对光照鲁棒性不良好的缺点，Georghiades等提出了基于光照锥的模型有效的排除了光照、姿态变化对人脸识别结果的影响。除了寻找对人面部表情、角度、光照、模糊等具有鲁棒性的特征外，越来越多的机器学习方法如支持向量机、K近邻分类、Bayes分类器等应用到人脸识别中来。2001年Viola和Jones提出了使用简单特征和层叠分类器的人脸检测框架，具有极高的检测效率，为人脸识提供了准确可靠的人脸图像区域。

第四阶段(2012年～至今)

人工神经网络(Artificial Neural Network，ANN)的概念早在上个世纪就已经提出，但是当时存在一些难以解决的问题。1986年Hinton等人提出了反向传播算法，把纠错的运算量下降到只和神经元数目本身成正比，同时也解决了人工神经网络不能处理异或门的问题，为后来的深度学习打下基础。1989年Yann Lecun使用第一个成功的卷积神经网络LeNet-5在英文手写体识别取得了重要研究成果。

2006年Hinton在Science上提出了深度学习的概念，即深层次的卷积神经网络，这种方法模拟了人脑学习的过程，通过低层特征组合，学习到目标高层次的特征，而且这个学习的过程是无需人工干预的自动学习过程。

2012年，Hinton、Alex等在Image Net比赛中使用了深度卷积神经网络Alex Net，采用了Re LU激活函数解决了梯度消失的问题，以遥遥领先传统机器学习佼佼者SVM的成绩获取Image Net冠军，深度学习在图像分类中的成功使人们意识到人脸识别也可以由深度学习解决，很大程度上刺激了深度学习在人脸识别中应用的发展，开启了深度学习的时代。随后各个大学、公司、研究机构都研究出了自己的深度卷积神经网络结构应用到人脸识别中，Face Book的Deep Face、香港中文大学的Deep ID、Google的Face Net等传统结构的CNN相继推出。Google Net、何凯明的残差网络、SU Rehman提出的无监督CNN、EM Rudd提出的混合目标优化网络也不断改进优化着深度神经网络的结构。深度学习的识别率超越了人眼的识别率97.53％，并不断地创造新的纪录。除了基于深度学习的方法外，基于人脸3d模型的方法，联合不同表示的人脸识别方法也都取得了不错的效果。

尽管经历了长期的研究，但目前在视频中进行人脸识别仍然需要开发更高的鲁棒性和更高计算效率的方法和设备。目前可以基于拍摄面部图像进行人物身份识别的技术一般都要求面部图像的图像质量比较好，这样才能够从面部图像中提取出几何结构、“特征脸”、图像纹理等标志人物身份的特征信息。但是，在某些情况下，比如拍摄的环境光线情况不好、聚焦不好、有干扰信号等，导致面部图像模糊或者存在较多的噪声，就无法准确提取标志人物身份的特征信息了。因此，如何能在图像模糊，图像存在较多的噪声等情况下实现人物身份的识别成为了目前本领域亟待解决的问题。

发明内容

本发明的目的在于提供一种面向低质量视频图像的人物身份识别方法。本发明的目的还在于提供一种面向低质量视频图像的人物身份识别装置。本发明的目的是在噪声、光照不足、失焦、镜头晃动等原因造成视频图像模糊的情况下，实现对人物身份的识别，从而可以适用于安全监控、行迹追踪、自动开门、自助取款支付等很多场景下由于各种条件所限只能拍摄低质量视频图像的情形。

本发明的目的是这样实现的：

一种面向低质量视频图像的人物身份识别方法，包括如下步骤：

(1)视频图像采集：视频图像经过摄像头采样、量化、重计算以后转换为数字图像并输入、存储到帧存储器中；

(2)目标图像检测：对数字图像进行基于几何和统计特征的图像分类，获取目标图像；

(3)平移并截取目标图像的矩形区域；

(4)人脸检测：对于任意一幅给定的目标图像的矩形区域，进行搜索以确定其中是否含有人脸，如果含有人脸则提取脸部的特征信息包括位置、大小和姿态信息；如果没有人脸则返回步骤(1)重新进行视频图像采集；

(5)人脸识别，根据提取脸部的特征信息，判断是否为特定身份用户，如果不是特定身份用户则返回步骤(1)，如果是特定身份用户则进行截取与提取脸部的特征信息，并发出身份识别结果。

优选的是，所述的视频图像经过重计算以后转换为数字图像的具体步骤包括：

(1.1)计算图像f(x，y)在各灰度级中像素值出现的概率q(r)

T为图像中的最高灰度级，e_r为灰度级r的像素数，x、y为像素在图像中的横纵坐标，E为图像像素总数；

(1.2)计算图像中各个灰度级所累计的像素概率密度u(r)，u为图像的归一化累计直方图；

i为标号；

(1.3)重新计算图像各位置的像素值O(x，y)；

O(x，y)＝(O_max-O_min)u[O(x，y)]+O_min

O_max、O_min分别为图像中最大以及最小的像素值，将重新计算后的图像表示为F(x,y)。

优选的是，所述的对数字图像进行几何和统计特征的图像分类，获得目标图像的具体步骤如下：

(2.1)采集a个数字图像数据，其中具有s个人脸图片组成的正样本集合和d个非人脸图片组成负样本集合，表示为

F＝{(α₁，β₁)，(α₂，β₂)…(α_a，β_a)}

α_i∈G_i，G_i为作为正、负样本的数字图像的特征向量，β_i∈H＝{0，1}，H为样本数据α_i的标签；0为负样本标签，1为正样本标签；

(2.2)正样本的权重初始化为

负样本的权重初始化为

(2.3)对每个样本α_i的特征值训练建模，得到样本特征的弱分类器，

c(α_i)为样本数字图像的特征值，γ为阈值；

(2.4)计算所有特征向量对应的弱分类器的权值v_i，通过对弱分类器进行选择，误差最小的弱分类器级联为强分类器δ_i，

其中v_i的初始取值为样本α_i对应的初始化权重值J(i)；

(2.5)通过选择的弱分类器权值v_i重新赋值为v_iε_i ^(1-θ)

若第i个样本α_i被正确分类，θ＝0，反之θ＝1，

(2.6)得到最后的强分类器，通过该强分类器对数字图像进行强分类；根据步骤(2.6)的强分类结果，确定数字图像中是否属于包含人脸图片的目标图像。

优选的是，所述的平移并截取目标图像的矩形区域的具体步骤包括：

采用预定大小的矩形模板计算目标图像的矩形特征，用于脸部检测；所述矩形模板由第一矩形框和第二矩形框组合而成，两个矩形框在x方向和y方向上分别具有固定的间距；利用矩形模板的每个矩形框提取目标图像中的矩形区域；计算矩形模板特征值；判断矩形模板特征值是否大于预定的阈值，如果大于该阈值则将由矩形模板提取的矩形区域进行步骤(4)的人脸检测处理，如果不大于该阈值则将所述矩形模板在x方向和y方向移动预定的距离后重新进行截取目标图像的矩形区域的计算，直至遍历整个目标图像；

其中，所述矩形模板特征值是由第一矩形框提取的矩形区域内每个像素的积分值减去第二矩形框提取的矩形区域内每个对应位置的像素的积分值所得的绝对差值的总和；其中，每个像素(x,y)的积分值A(x,y)是位于该像素左上方的所有像素的像素值之和，即

A(x，y)＝∑_{x′≤x，y′≤y}O(x′，y′)

O(x′，y′)为(x′，y′)处的像素值。

优选的是，所述的人脸检测的具体步骤包括：

(4.1)通过人脸特征数据库收集一定数量的特定人脸图像形成训练人脸图像集合，集合中每个人物需要包括一定数量的不同表情以及不同光线下的人脸图像，M张训练人脸图像的矩阵集合ζ，每张图片表示为m*n的矩阵σ_i；

(4.2)计算训练人脸集合的矩阵N，

N＝A^TA；

A＝[ρ₁，ρ₂，…，ρ_M]

ρ_i为人脸图像与平均人脸图像的差值，

ρ_i＝σ_i-τ，

遍历集合ζ中的矩阵并且进行累加，然后取其平均值，即得到平均图像τ

计算矩阵N的特征向量以及特征值，

特征向量μ_k为人脸图像与平均人脸图像的差值ρ_i的分布律，特征值

并选择其中具有最高相关性的M个特征值对应的特征向量；

(4.3)结合标准的训练图像集合产生特征脸模式向量

Ω_i＝μ_i ^T(σ_i-τ)；i＝1，2，…M；

(4.4)针对每一个已知的训练人物，依据由已知人物的原始训练图像计算得到的特征脸模式向量的均值计算人脸类向量设定阈值θ_k表示训练人脸类之间的最大可允许距离；设定阈值θ′_k，表示人脸空间的最大可允许距离；

(4.5)针对步骤3截取的矩形区域，计算其模式向量Ω_i，与各个训练人脸类的距离ε，以及到人脸空间的距离ε_k；如果与训练人脸类的最小距离ε_k＜θ_k，并且到人脸空间的距离ε＜θ′_k则认为待识别人脸属于该人脸类；如果与训练人脸类的最小距离ε_k≥θ_k，但是到人脸空间的距离ε＜θ′_k，则认为待识别人脸属于陌生人脸；

(4.6)如果待识别人脸被识别为已知的训练人物，那么这个人脸图像将被加入到该人物的原始训练图像集合中，然后重新计算其特征脸。

优选的是，所述的判断是否为特定身份用户的具体步骤包括：

对在步骤(4)中为被识别的人脸计算的每一个特征值λ_k，训练其对应的分类器h(x，λ_k，ρ，θ),

当分类器取平均值大于0.47时表示其为特定身份用户，当分类器取平均值小于等于0.47时表示其为非特定身份用户。

本发明进而提供了一种面向低质量视频图像的人物身份识别装置，包括视频图像采集模块、目标图像检测模块、矩形区域模块、人脸检测模块及人脸识别模块，

视频图像采集模块，用于将视频图像经过摄像头采样、量化、重计算以后转换为数字图像并输入、存储到帧存储器中；

目标图像检测模块，用于对数字图像进行基于几何和统计特征的图像分类，获取目标图像；

矩形区域提取模块，用于平移并截取目标图像的矩形区域；

人脸检测模块，用于对于任意一幅给定的目标图像的矩形区域，进行搜索以确定其中是否含有人脸，如果含有人脸则提取脸部的特征信息包括位置、大小和姿态信息；如果没有人脸则启动视频图像采集模块重新进行视频图像采集；

人脸识别模块，用于根据提取脸部的特征信息，判断是否为特定身份用户，如果不是特定身份用户则启动视频图像采集模块重新进行视频图像采集，如果是特定身份用户则进行截取与提取脸部的特征信息，存储并发出身份识别结果。

优选的是，所述视频图像采集模块以如下方式进行视频图像的重计算：

(1.1)计算图像f(x，y)在各灰度级中像素值出现的概率q(r)

T为图像中的最高灰度级，e_r为灰度级r的像素数，x、y为像素在图像中的横纵坐标，E为图像像素总数；

(1.2)计算图像中各个灰度级所累计的像素概率密度u(r)，u为图像的归一化累计直方图；

i为标号；

(1.3)重新计算图像各位置的像素值O(x，y)；

O(x，y)＝(O_max-O_min)u[O(x，y)]+O_min

O_max、O_min分别为图像中最大以及最小的像素值，将重新计算后的图像表示为F(x,y)。

优选的是，目标图像检测模块以如下方式对数字图像进行几何和统计特征的图像分类，获得目标图像：

(2.1)采集a个数字图像数据，其中具有s个人脸图片组成的正样本集合和d个非人脸图片组成负样本集合，表示为

F＝{(α₁，β₁)，(α₂，β₂)…(α_a，β_a)}，

α_i∈G_i，G_i为作为正、负样本的数字图像的特征向量，β_i∈H＝{0，1}，H为样本数据αi的标签；0为负样本标签，1为正样本标签；

(2.2)正样本的权重初始化为

负样本的权重初始化为

(2.3)对每个样本α_i的特征值训练建模，得到样本特征的弱分类器，

c(α_i)为样本数字图像的特征值，γ为阈值；

(2.4)计算所有特征向量对应的弱分类器的权值v_i，通过对弱分类器进行选择，误差最小的弱分类器级联为强分类器δ_i，

其中v_i的初始取值为样本α_i对应的初始化权重值J(i)；

(2.5)通过选择的弱分类器权值v_i重新赋值为v_iε_i ^(1-θ)

若第i个样本α_i被正确分类，θ＝0，反之θ＝1，

(2.6)得到最后的强分类器，通过该强分类器对数字图像进行强分类；根据步骤(2.6)的强分类结果，确定数字图像中是否属于包含人脸图片的目标图像。

优选的是，所述矩形区域提取模块以如下方式平移并截取目标图像的矩形区域：

采用预定大小的矩形模板计算目标图像的矩形特征，用于脸部检测；所述矩形模板由第一矩形框和第二矩形框组合而成，两个矩形框在x方向和y方向上分别具有固定的间距；利用矩形模板的每个矩形框提取目标图像中的矩形区域；计算矩形模板特征值；判断矩形模板特征值是否大于预定的阈值，如果大于该阈值则将由矩形模板提取的矩形区域进行步骤(4)的人脸检测处理，如果不大于该阈值则将所述矩形模板在x方向和y方向移动预定的距离后重新进行截取目标图像的矩形区域的计算，直至遍历整个目标图像；

其中，所述矩形模板特征值是由第一矩形框提取的矩形区域内每个像素的积分值减去第二矩形框提取的矩形区域内每个对应位置的像素的积分值所得的绝对差值的总和；其中，每个像素(x,y)的积分值A(x,y)是位于该像素左上方的所有像素的像素值之和，即

A(x，y)＝∑_{x′≤x，y′≤y}O(x′，y′)

O(x′，y′)为(x′，y′)处的像素值。

优选的是，人脸检测模块对矩形区域提取模块提取的矩形区域采用如下方式进行人脸检测：

(4.1)通过人脸特征数据库收集一定数量的特定人脸图像形成训练人脸图像集合，集合中每个人物需要包括一定数量的不同表情以及不同光线下的人脸图像，M张训练人脸图像的矩阵集合ζ，每张图片表示为m*n的矩阵σ_i；

(4.2)计算训练人脸集合的矩阵N，

N＝A^TA；

A＝[ρ₁，ρ₂，…，ρ_M]

ρ_i为人脸图像与平均人脸图像的差值，

ρ_i＝σ_i-τ，

遍历集合ζ中的矩阵并且进行累加，然后取其平均值，即得到平均图像τ

计算矩阵N的特征向量以及特征值，

特征向量μ_k为人脸图像与平均人脸图像的差值ρ_i的分布律，特征值

并选择其中具有最高相关性的M个特征值对应的特征向量；

(4.3)结合标准的训练图像集合产生特征脸模式向量

Ω_i＝μ_i ^T(σ_i-τ)；i＝1，2，…M；

(4.4)针对每一个已知的训练人物，依据由已知人物的原始训练图像计算得到的特征脸模式向量的均值计算人脸类向量设定阈值θ_k表示训练人脸类之间的最大可允许距离；设定阈值θ′_k，表示人脸空间的最大可允许距离；

(4.5)针对矩形区域提取模块截取的矩形区域，计算其模式向量Ω_i，与各个训练人脸类的距离ε，以及到人脸空间的距离ε_k；如果与训练人脸类的最小距离ε_k＜θ_k，并且到人脸空间的距离ε＜θ′_k则认为待识别人脸属于该人脸类；如果与训练人脸类的最小距离ε_k＜θ_k，但是到人脸空间的距离ε＜θ′_k，则认为待识别人脸属于该陌生人脸；

(4.6)如果待识别人脸被识别为已知的训练人物，那么这个人脸图像将被加入到该人物的原始训练图像集合中，然后重新计算其特征脸。

优选的是，所述人脸识别模块采用如下方式根据提取脸部的特征信息判断是否为特定身份用户：

对于人脸检测模块为被识别的人脸计算的每一个特征值λ_k，训练其对应的分类器h(x，λ_k，ρ，θ),

当分类器取平均值大于0.47时表示其为特定身份用户，当分类器取平均值小于等于0.47时表示其为非特定身份用户。

本发明的有益效果在于：

本发明提出了一种针对低质量视频图像的人脸识别方法和***，解决了在较低分辨率的视频图像中难以快速识别较模糊人脸的问题。本发明首先提取视频图像中的目标进行像素均衡；利用基于几何与统计特征的级联分类方法，通过正负样本训练获得具有人脸目标的目标图像；然后计算目标的外接矩形，通过平移和截取矩形操作，确保人脸处于矩形区域内，后续只在处理后的矩形区域图像内进行人脸检测和识别，可以大大降低人脸识别的计算量；最后，采用训练算法，综合考虑人脸区域的位置、大小和姿态信息，实现身份识别；该算法不但可以大大降低人脸识别的计算量，而且识别率也得到了较大的提高。

附图说明

图1为本发明所述面向低质量视频图像的人物身份识别方法的流程图；

图2为本发明所述面向低质量视频图像的人物身份识别***的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明经过大量实验和分析后认为，对于低质量视频中进行的人脸识别工作来说，主要存在以下难点：角度，由于摄像头角度或者人相对摄像头的位置不同，视频中人脸角度变化很大，这里说的角度不仅仅是几何上的角度变化，在不同角度观察同一个人脸的侧脸特征也有很大区别，即姿态变化。所以需要人脸识别算法对角度变化具有鲁棒性(不变性)。光照，由于视频通常是一段时间图像序列，可能因为阳光变化、开关灯导致视频的光照条件不同，产生不同的阴影，这样即便在同一位置的人脸图像也会有明显的不同，所以需要对光照变化的鲁棒性。表情，视频中，人脸有丰富的表情，表情变化会导致五官相对位置的变化，这种全局人脸特征的变化也会给人脸识别增加难度。遮挡，人们可能会佩戴眼镜、挂饰，还有胡须、刘海会遮挡住一部分的面部信息，这要求人脸识别算法可以根据不完全的人脸特征进行人脸识别。模糊，低分辨率或者视频中的快速运动会导致图像中的人脸产生模糊，此时的人脸特征不明显，要求人脸识别算法能在模糊的情况下提取到足够多的特征进行人脸识别。速度和计算量问题，视频通常一秒十几帧甚至几十帧，处理一帧的时间只有几十毫秒，这对算法的速度有很高的要求，计算量过大的算法并不适合具有实时特性的视频人脸识别。跟踪问题，跟踪指在某一帧已确定人脸位置，在其后若干帧中即使不用人脸检测算法也可以持续定位到该人脸位置。如果可以对视频中的人脸进行跟踪，可以确定连续几帧中人脸的变化并预测下一帧人脸出现的位置。前景检测，在视频中直接使用滑动窗口对整个图像进行人脸检测明显是很费时并且计算量很大的，如果我们可以通过前景检测方法，分离出图像的前景和背景，这样每次都可以只在前景中而不是整个图像中进行人脸检测，这样可以大大解决计算时间，节省计算资源。本发明能够去除像非人脸图像，提高了人脸检测的精度；最后设计了人脸规范化算法，实验表明，其能够细粒度的进行人脸重定位，大大提高了后续人脸识别的准确率。这里需要指出的下文所述的图像均为模糊或者视频质量不高的图像，由于表达简练，统一使用图像表示，没有逐一用低质量或者模糊图像来称呼。而且，如果模糊图像的识别有效的情况下，清晰图像的识别经过实验证明仍然适用且效果更好。

实施例1

针对上述问题，本发明提出一种解决图像模糊问题的面向低质量视频图像的人物身份识别方法，包括如下步骤：

(1)视频图像采集：视频图像经过摄像头采样、量化、重计算以后转换为数字图像并输入、存储到帧存储器中；

(2)目标图像检测：对数字图像进行基于几何和统计特征的图像分类，获取目标图像；

(3)平移并截取目标图像的矩形区域；

(4)人脸检测：对于任意一幅给定的目标图像的矩形区域，进行搜索以确定其中是否含有人脸，如果含有人脸则提取脸部的特征信息包括位置、大小和姿态信息；如果没有人脸则返回步骤(1)重新进行视频图像采集；

(5)人脸识别，根据提取脸部的特征信息，判断是否为特定身份用户，如果不是特定身份用户则返回步骤(1)，如果是特定身份用户则进行截取与提取脸部的特征信息，并发出身份识别结果。

所述的视频图像经过重计算以后转换为数字图像的具体步骤包括：

(1.1)计算图像f(x，y)在各灰度级中像素值出现的概率q(r)

T为图像中的最高灰度级，e_r为灰度级r的像素数，x、y为像素在图像中的横纵坐标，E为图像像素总数；

(1.2)计算图像中各个灰度级所累计的像素概率密度u(r)，u为图像的归一化累计直方图；

i为标号；

(1.3)重新计算图像各位置的像素值O(x，y)；

O(x，y)＝(O_max-O_min)u[O(x，y)]+O_min

O_max、O_min分别为图像中最大以及最小的像素值，将重新计算后的图像表示为F(x,y)。

经过对数字图像的重计算以后，图像对比度大大增强，有利于后续的图像处理。

对数字图像进行几何和统计特征的图像分类，获得目标图像的具体步骤如下：

(2.1)采集a个数字图像数据，其中具有s个人脸图片组成的正样本集合和d个非人脸图片组成负样本集合，表示为

F＝{(α₁，β₁)，(α₂，β₂)…(α_a，β_a)}，

α_i∈G_i，G_i为作为正、负样本的数字图像的特征向量，β_i∈H＝{0，1}，H为样本数据α_i的标签；0为负样本标签，1为正样本标签；

(2.2)正样本的权重初始化为

负样本的权重初始化为

(2.3)对每个样本α_i的特征值训练建模，得到样本特征的弱分类器，

c(α_i)为样本数字图像的特征值，γ为阈值；

(2.4)计算所有特征向量对应的弱分类器的权值v_i，通过对弱分类器进行选择，误差最小的弱分类器级联为强分类器δ_i，

其中v_i的初始取值为样本α_i对应的初始化权重值J(i)；

(2.5)通过选择的弱分类器权值v_i重新赋值为v_iε_i ^(1-θ)

若第i个样本α_i被正确分类，θ＝0，反之θ＝1，

(2.6)得到最后的强分类器，通过该强分类器对数字图像进行强分类；根据步骤(2.6)的强分类结果，确定数字图像中是否属于包含人脸图片的目标图像。

本发明其利用上述分类级联的算法，大大减少了对人脸图片识别所需要的采样粒子的数量，并且能够自适应的调整分类标准设置。

所述的平移并截取目标图像的矩形区域的具体步骤包括：

采用预定大小的矩形模板计算目标图像的矩形特征，用于脸部检测；所述矩形模板由第一矩形框和第二矩形框组合而成，两个矩形框在x方向和y方向上分别具有固定的间距；利用矩形模板的每个矩形框提取目标图像中的矩形区域；计算矩形模板特征值；判断矩形模板特征值是否大于预定的阈值，如果大于该阈值则将由矩形模板提取的矩形区域进行步骤(4)的人脸检测处理，如果不大于该阈值则将所述矩形模板在x方向和y方向移动预定的距离后重新进行截取目标图像的矩形区域的计算，直至遍历整个目标图像；

其中，所述矩形模板特征值是由第一矩形框提取的矩形区域内每个像素的积分值减去第二矩形框提取的矩形区域内每个对应位置的像素的积分值所得的绝对差值的总和；其中，每个像素(x,y)的积分值A(x,y)是位于该像素左上方的所有像素的像素值之和，即

A(x，y)＝∑_{x＇≤x，y＇≤y}O(x＇，y＇)

O(x＇，y＇)为(x′，y′)处的像素值。

人脸检测是指在任意一副图像中检测是否存在人脸，如果存在则标识出人脸的位置；人脸校准是指在得到图像中人脸的位置后，进一步确定人脸的各个基准点(FaceLandmarks)。这些基准点一般都是认为选择的人面部具有一定语义的位置，如瞳孔、鼻尖、嘴角等位置。所述的人脸检测的具体步骤包括：

(4.1)通过人脸特征数据库收集一定数量的特定人脸图像形成训练人脸图像集合，集合中每个人物需要包括一定数量的不同表情以及不同光线下的人脸图像，M张训练人脸图像的矩阵集合ζ，每张图片表示为m*n的矩阵σ_i；

(4.2)计算训练人脸集合的矩阵N，

N＝A^TA；

A＝[ρ₁，ρ₂，…，ρ_M]

ρ_i为人脸图像与平均人脸图像的差值，

ρ_i＝σ_i-τ，

遍历集合ζ中的矩阵并且进行累加，然后取其平均值，即得到平均图像τ

计算矩阵N的特征向量以及特征值，

特征向量μ_k为人脸图像与平均人脸图像的差值ρ_i的分布律，特征值

并选择其中具有最高相关性的M个特征值对应的特征向量；

(4.3)结合标准的训练图像集合产生特征脸模式向量

Ω_i＝μ_i ^T(σ_i-τ)；i＝1，2，…M；

(4.4)针对每一个已知的训练人物，依据由已知人物的原始训练图像计算得到的特征脸模式向量的均值计算人脸类向量设定阈值θ_k表示训练人脸类之间的最大可允许距离；设定阈值θ′_k，表示人脸空间的最大可允许距离；

(4.5)针对步骤3截取的矩形区域，计算其模式向量Ω_i，与各个训练人脸类的距离ε，以及到人脸空间的距离ε_k；如果与训练人脸类的最小距离ε_k＜θ_k，并且到人脸空间的距离ε＜θ′_k则认为待识别人脸属于该人脸类；如果与训练人脸类的最小距离ε_k≥θ_k，但是到人脸空间的距离ε＜θ′_k，则认为待识别人脸属于陌生人脸；

(4.6)如果待识别人脸被识别为已知的训练人物，那么这个人脸图像将被加入到该人物的原始训练图像集合中，然后重新计算其特征脸。

阈值的选取很大程度上影响到检测结果的好坏，阈值过大，则可能丢失运动目标的有用信息；阈值过小，则图像噪声很难被有效抑制。而且运动目标的速度也是影响检测结果的因素之一。虽然帧间差分法计算简单，实时性好，对光照等变化不敏感。但是其检测精度很难达到实际应用的要求，检测结果很大程度上受到阈值、目标本身运动情况的影响。本***后续需要对检测到的目标区域进行人脸识别，因此分割出来的运动目标越接近实际情况越好，由于该算法内存占用少、性能优越、具有较好的抗噪能力、对软硬件有很高的兼容性等众多优，应用该算法可以成功实现前景目标的分割和提取。该方法的特点是把人脸检测和校准融合到统一框架，人脸校准信息反作用于人脸检测，大大提高了人脸检测和校准的效率和准确率。

所述的判断是否为特定身份用户的具体步骤包括：

对在步骤(4)中为被识别的人脸计算的每一个特征值λ_k，训练其对应的分类器h(x，λ_k，ρ，θ),

当分类器取平均值大于0.47时表示其为特定身份用户，当分类器取平均值小于等于0.47时表示其为非特定身份用户。

实施例二

本发明进而提供了一种面向低质量视频图像的人物身份识别装置，包括视频图像采集模块、目标图像检测模块、矩形区域模块、人脸检测模块及人脸识别模块，

视频图像采集模块，用于将视频图像经过摄像头采样、量化、重计算以后转换为数字图像并输入、存储到帧存储器中；

目标图像检测模块，用于对数字图像进行基于几何和统计特征的图像分类，获取目标图像；

矩形区域提取模块，用于平移并截取目标图像的矩形区域；

人脸检测模块，用于对于任意一幅给定的目标图像的矩形区域，进行搜索以确定其中是否含有人脸，如果含有人脸则提取脸部的特征信息包括位置、大小和姿态信息；如果没有人脸则启动视频图像采集模块重新进行视频图像采集；

人脸识别模块，用于根据提取脸部的特征信息，判断是否为特定身份用户，如果不是特定身份用户则启动视频图像采集模块重新进行视频图像采集，如果是特定身份用户则进行截取与提取脸部的特征信息，存储并发出身份识别结果。

所述视频图像采集模块以如下方式进行视频图像的重计算：

(1.1)计算图像f(x，y)在各灰度级中像素值出现的概率q(r)

T为图像中的最高灰度级，e_r为灰度级r的像素数，x、y为像素在图像中的横纵坐标，E为图像像素总数；

(1.2)计算图像中各个灰度级所累计的像素概率密度u(r)，u为图像的归一化累计直方图；

i为标号；

(1.3)重新计算图像各位置的像素值O(x，y)；

O(x，y)＝(O_max-O_min)u[O(x，y)]+O_min

O_max、O_min分别为图像中最大以及最小的像素值，将重新计算后的图像表示为F(x,y)。

目标图像检测模块以如下方式对数字图像进行几何和统计特征的图像分类，获得目标图像：

(2.1)采集a个数字图像数据，其中具有s个人脸图片组成的正样本集合和d个非人脸图片组成负样本集合，表示为

F＝{(α₁，β₁)，(α₂，β₂)…(α_a，β_a)}，

α_i∈G_i，G_i为作为正、负样本的数字图像的特征向量，β_i∈H＝{0，1}，H为样本数据α_i的标签；0为负样本标签，1为正样本标签；

(2.2)正样本的权重初始化为

负样本的权重初始化为

(2.3)对每个样本α_i的特征值训练建模，得到样本特征的弱分类器，

c(α_i)为样本数字图像的特征值，γ为阈值；

(2.4)计算所有特征向量对应的弱分类器的权值v_i，通过对弱分类器进行选择，误差最小的弱分类器级联为强分类器δ_i，

其中v_i的初始取值为样本α_i对应的初始化权重值J(i)；

(2.5)通过选择的弱分类器权值v_i重新赋值为v_iε_i ^(1-θ)

若第i个样本α_i被正确分类，θ＝0，反之θ＝1，

(2.6)得到最后的强分类器，通过该强分类器对数字图像进行强分类；根据步骤(2.6)的强分类结果，确定数字图像中是否属于包含人脸图片的目标图像。

所述矩形区域提取模块以如下方式平移并截取目标图像的矩形区域：

采用预定大小的矩形模板计算目标图像的矩形特征，用于脸部检测；所述矩形模板由第一矩形框和第二矩形框组合而成，两个矩形框在x方向和y方向上分别具有固定的间距；利用矩形模板的每个矩形框提取目标图像中的矩形区域；计算矩形模板特征值；判断矩形模板特征值是否大于预定的阈值，如果大于该阈值则将由矩形模板提取的矩形区域进行步骤(4)的人脸检测处理，如果不大于该阈值则将所述矩形模板在x方向和y方向移动预定的距离后重新进行截取目标图像的矩形区域的计算，直至遍历整个目标图像；

其中，所述矩形模板特征值是由第一矩形框提取的矩形区域内每个像素的积分值减去第二矩形框提取的矩形区域内每个对应位置的像素的积分值所得的绝对差值的总和；其中，每个像素(x,y)的积分值A(x,y)是位于该像素左上方的所有像素的像素值之和，即

A(x，y)＝Σ_{x′≤x，y′≤y}O(x′，y′)

O(x′，y′)为(x′，y′)处的像素值。

人脸检测模块对矩形区域提取模块提取的矩形区域采用如下方式进行人脸检测：

(4.1)通过人脸特征数据库收集一定数量的特定人脸图像形成训练人脸图像集合，集合中每个人物需要包括一定数量的不同表情以及不同光线下的人脸图像，M张训练人脸图像的矩阵集合ζ，每张图片表示为m*n的矩阵σ_i；

(4.2)计算训练人脸集合的矩阵N，

N＝A^TA；

A＝[ρ₁，ρ₂，…，ρ_M]

ρ_i为人脸图像与平均人脸图像的差值，

ρ_i＝σ_i-τ，

遍历集合ζ中的矩阵并且进行累加，然后取其平均值，即得到平均图像τ

计算矩阵N的特征向量以及特征值，

特征向量μ_k为人脸图像与平均人脸图像的差值ρ_i的分布律，特征值

并选择其中具有最高相关性的M个特征值对应的特征向量；

(4.3)结合标准的训练图像集合产生特征脸模式向量

Ω_i＝μ_i ^T(σ_i-τ)；i＝1，2，…M；

(4.4)针对每一个已知的训练人物，依据由已知人物的原始训练图像计算得到的特征脸模式向量的均值计算人脸类向量设定阈值θ_k表示训练人脸类之间的最大可允许距离；设定阈值θ′_k，表示人脸空间的最大可允许距离；

(4.5)针对矩形区域提取模块截取的矩形区域，计算其模式向量Ω_i，与各个训练人脸类的距离ε，以及到人脸空间的距离ε_k；如果与训练人脸类的最小距离ε_k＜θ_k，并且到人脸空间的距离ε＜θ′_k则认为待识别人脸属于该人脸类；如果与训练人脸类的最小距离ε_k≥θ_k，但是到人脸空间的距离ε＜θ′_k，则认为待识别人脸属于该陌生人脸；

(4.6)如果待识别人脸被识别为已知的训练人物，那么这个人脸图像将被加入到该人物的原始训练图像集合中，然后重新计算其特征脸。

所述人脸识别模块采用如下方式根据提取脸部的特征信息判断是否为特定身份用户：

对于人脸检测模块为被识别的人脸计算的每一个特征值λ_k，训练其对应的分类器h(x，λ_k，ρ，θ),

当分类器取平均值大于0.47时表示其为特定身份用户，当分类器取平均值小于等于0.47时表示其为非特定身份用户。

本发明对于特征提取，灵活运用了二进制文件读写速度快的特性，加快***初始化时读取人脸特征的速度；人脸识别模块的可以直接通过返回值判断出人脸是否通过验证或者当前帧不存在人脸，简单明了的表现出识别结果。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种面向低质量视频图像的人物身份识别方法，其特征在于，包括如下步骤：

(1)视频图像采集：视频图像经过摄像头采样、量化、重计算以后转换为数字图像并输入、存储到帧存储器中；

(2)目标图像检测：对数字图像进行基于几何和统计特征的图像分类，获取目标图像；

(3)平移并截取目标图像的矩形区域；

(4)人脸检测：对于任意一幅给定的目标图像的矩形区域，进行搜索以确定其中是否含有人脸，如果含有人脸则提取脸部的特征信息包括位置、大小和姿态信息；如果没有人脸则返回步骤(1)重新进行视频图像采集；

(5)人脸识别，根据提取脸部的特征信息，判断是否为特定身份用户，如果不是特定身份用户则返回步骤(1)，如果是特定身份用户则进行截取与提取脸部的特征信息，并发出身份识别结果。

2.根据权利要求1所述的面向低质量视频图像的人物身份识别方法，其特征在于，所述的视频图像经过重计算以后转换为数字图像的具体步骤包括：

(1.1)计算图像f(x，y)在各灰度级中像素值出现的概率q(r)

T为图像中的最高灰度级，e_r为灰度级r的像素数，x、y为像素在图像中的横纵坐标，E为图像像素总数；

(1.2)计算图像中各个灰度级所累计的像素概率密度u(r)，u为图像的归一化累计直方图；

i为标号；

(1.3)重新计算图像各位置的像素值O(x，y)；

O(x，y)＝(O_max-O_min)u[O(x，y)]+O_min

O_max、O_min分别为图像中最大以及最小的像素值，将重新计算后的图像表示为F(x，y)。

3.根据权利要求2所述的面向低质量视频图像的人物身份识别方法，其特征在于，所述的对数字图像进行几何和统计特征的图像分类，获得目标图像的具体步骤如下：

(2.1)采集a个数字图像数据，其中具有s个人脸图片组成的正样本集合和d个非人脸图片组成负样本集合，表示为

F＝{(α₁，β₁)，(α₂，β₂)...(α_a，β_a)}，

α_i∈G_i，G_i为作为正、负样本的数字图像的特征向量，β_i∈H＝{0，1}，H为样本数据α_i的标签；0为负样本标签，1为正样本标签；

(2.2)正样本的权重初始化为

负样本的权重初始化为

(2.3)对每个样本α_i的特征值训练建模，得到样本特征的弱分类器，

c(α_i)为样本数字图像的特征值，γ为阈值；

(2.4)计算所有特征向量对应的弱分类器的权值v_i，通过对弱分类器进行选择，误差最小的弱分类器级联为强分类器δ_i，

其中v_i的初始取值为样本α_i对应的初始化权重值J(i)；

(2.5)通过选择的弱分类器权值v_i重新赋值为v_iε_i ^(1-θ)

若第i个样本α_i被正确分类，θ＝0，反之θ＝1，

(2.6)得到最后的强分类器，通过该强分类器对数字图像进行强分类；根据步骤(2.6)的强分类结果，确定数字图像中是否属于包含人脸图片的目标图像。

4.根据权利要求3所述的面向低质量视频图像的人物身份识别方法，其特征在于，所述的平移并截取目标图像的矩形区域的具体步骤包括：

采用预定大小的矩形模板计算目标图像的矩形特征，用于脸部检测；所述矩形模板由第一矩形框和第二矩形框组合而成，两个矩形框在x方向和y方向上分别具有固定的间距；利用矩形模板的每个矩形框提取目标图像中的矩形区域；计算矩形模板特征值；判断矩形模板特征值是否大于预定的阈值，如果大于该阈值则将由矩形模板提取的矩形区域进行步骤(4)的人脸检测处理，如果不大于该阈值则将所述矩形模板在x方向和y方向移动预定的距离后重新进行截取目标图像的矩形区域的计算，直至遍历整个目标图像。

5.根据权利要求4所述的面向低质量视频图像的人物身份识别方法，其特征在于，所述的人脸检测的具体步骤包括：

(4.1)通过人脸特征数据库收集一定数量的特定人脸图像形成训练人脸图像集合，集合中每个人物需要包括一定数量的不同表情以及不同光线下的人脸图像，M张训练人脸图像的矩阵集合ζ，每张图片表示为m*n的矩阵σ_i；

(4.2)计算训练人脸集合的矩阵N，

N＝A^TA；

A＝[ρ₁，ρ₂，...，ρ_M]

ρ_i为人脸图像与平均人脸图像的差值，

ρ_i＝σ_i-τ，

遍历集合ζ中的矩阵并且进行累加，然后取其平均值，即得到平均图像τ

计算矩阵N的特征向量以及特征值，

特征向量μ_k为人脸图像与平均人脸图像的差值ρ_i的分布律，特征值

并选择其中具有最高相关性的M个特征值对应的特征向量；

(4.3)结合标准的训练图像集合产生特征脸模式向量

n_i＝μ_i ^T(σ_i-τ)；i＝1，2，…M；

(4.4)针对每一个已知的训练人物，依据由已知人物的原始训练图像计算得到的特征脸模式向量的均值计算人脸类向量设定阈值θ_k表示训练人脸类之间的最大可允许距离；设定阈值θ′_k，表示人脸空间的最大可允许距离；

(4.5)针对步骤3截取的矩形区域，计算其模式向量Ω_i，与各个训练人脸类的距离ε，以及到人脸空间的距离εk；如果与训练人脸类的最小距离ε_k＜θ_k，并且到人脸空间的距离ε＜θ′_k则认为待识别人脸属于该人脸类；如果与训练人脸类的最小距离ε_k≥θ_k，但是到人脸空间的距离ε＜θ′_k，则认为待识别人脸属于陌生人脸；

(4.6)如果待识别人脸被识别为已知的训练人物，那么这个人脸图像将被加入到该人物的原始训练图像集合中，然后重新计算其特征脸。

6.一种面向低质量视频图像的人物身份识别装置，其特征在于，包括视频图像采集模块、目标图像检测模块、矩形区域模块、人脸检测模块及人脸识别模块；其中

视频图像采集模块，用于将视频图像经过摄像头采样、量化、重计算以后转换为数字图像并输入、存储到帧存储器中；

目标图像检测模块，用于对数字图像进行基于几何和统计特征的图像分类，获取目标图像；

矩形区域提取模块，用于平移并截取目标图像的矩形区域；

人脸检测模块，用于对于任意一幅给定的目标图像的矩形区域，进行搜索以确定其中是否含有人脸，如果含有人脸则提取脸部的特征信息包括位置、大小和姿态信息；如果没有人脸则启动视频图像采集模块重新进行视频图像采集；

人脸识别模块，用于根据提取脸部的特征信息，判断是否为特定身份用户，如果不是特定身份用户则启动视频图像采集模块重新进行视频图像采集，如果是特定身份用户则进行截取与提取脸部的特征信息，存储并发出身份识别结果。

7.根据权利要求6所述的面向低质量视频图像的人物身份识别装置，其特征在于，所述视频图像采集模块以如下方式进行视频图像的重计算：

(1.1)计算图像f(x，y)在各灰度级中像素值出现的概率q(r)

T为图像中的最高灰度级，e_r为灰度级r的像素数，x、y为像素在图像中的横纵坐标，E为图像像素总数；

(1.2)计算图像中各个灰度级所累计的像素概率密度u(r)，u为图像的归一化累计直方图；

i为标号；

(1.3)重新计算图像各位置的像素值O(x，y)；

O(x,y)＝(O_max-O_min)u[O(x，y)]+O_min

O_max、O_min分别为图像中最大以及最小的像素值，将重新计算后的图像表示为F(x,y)。

8.根据权利要求7所述的面向低质量视频图像的人物身份识别装置，其特征在于，目标图像检测模块以如下方式对数字图像进行几何和统计特征的图像分类，获得目标图像：

(2.1)采集a个数字图像数据，其中具有s个人脸图片组成的正样本集合和d个非人脸图片组成负样本集合，表示为

F＝{(α₁,β₁)，(α₂，β₂)...(α_a，β_a)}，

α_i∈G_i,G_i为作为正、负样本的数字图像的特征向量，β_i∈H＝{0，1}，H为样本数据α_i的标签；0为负样本标签，1为正样本标签；

(2.2)正样本的权重初始化为

负样本的权重初始化为

(2.3)对每个样本α_i的特征值训练建模，得到样本特征的弱分类器，

c(α_i)为样本数字图像的特征值，γ为阈值；

(2.4)计算所有特征向量对应的弱分类器的权值v_i，通过对弱分类器进行选择，误差最小的弱分类器级联为强分类器δ_i，

其中v_i的初始取值为样本α_i对应的初始化权重值J(i)；

(2.5)通过选择的弱分类器权值v_i重新赋值为

若第i个样本α_i被正确分类，θ＝0，反之θ＝1，

(2.6)得到最后的强分类器，通过该强分类器对数字图像进行强分类；根据步骤(2.6)的强分类结果，确定数字图像中是否属于包含人脸图片的目标图像。

9.根据权利要求8所述的面向低质量视频图像的人物身份识别装置，其特征在于，所述矩形区域提取模块以如下方式平移并截取目标图像的矩形区域：

采用预定大小的矩形模板计算目标图像的矩形特征，用于脸部检测；所述矩形模板由第一矩形框和第二矩形框组合而成，两个矩形框在x方向和y方向上分别具有固定的间距；利用矩形模板的每个矩形框提取目标图像中的矩形区域；计算矩形模板特征值；判断矩形模板特征值是否大于预定的阈值，如果大于该阈值则将由矩形模板提取的矩形区域进行步骤(4)的人脸检测处理，如果不大于该阈值则将所述矩形模板在x方向和y方向移动预定的距离后重新进行截取目标图像的矩形区域的计算，直至遍历整个目标图像。

10.根据权利要求9所述的面向低质量视频图像的人物身份识别装置，其特征在于，人脸检测模块对矩形区域提取模块提取的矩形区域采用如下方式进行人脸检测：

(4.1)通过人脸特征数据库收集一定数量的特定人脸图像形成训练人脸图像集合，集合中每个人物需要包括一定数量的不同表情以及不同光线下的人脸图像，M张训练人脸图像的矩阵集合ζ，每张图片表示为m*n的矩阵σ_i；

(4.2)计算训练人脸集合的矩阵N，

N＝A^TA；

A＝[ρ₁，ρ₂，...，ρ_M]

ρ_i为人脸图像与平均人脸图像的差值，

ρ_i＝σ_i-τ，

遍历集合ζ中的矩阵并且进行累加，然后取其平均值，即得到平均图像τ

计算矩阵N的特征向量以及特征值，

特征向量μ_k为人脸图像与平均人脸图像的差值ρ_i的分布律，特征值

并选择其中具有最高相关性的M个特征值对应的特征向量；

(4.3)结合标准的训练图像集合产生特征脸模式向量

Ω_i＝μ_i ^T(σ_i-τ)；i＝1，2，…M；

(4.4)针对每一个已知的训练人物，依据由已知人物的原始训练图像计算得到的特征脸模式向量的均值计算人脸类向量设定阈值θ_k表示训练人脸类之间的最大可允许距离；设定阈值θ′_k，表示人脸空间的最大可允许距离；

(4.5)针对矩形区域提取模块截取的矩形区域，计算其模式向量Ω_i，与各个训练人脸类的距离ε，以及到人脸空间的距离ε_k；如果与训练人脸类的最小距离ε_k＜θ_k，并且到人脸空间的距离ε＜θ′_k则认为待识别人脸属于该人脸类；如果与训练人脸类的最小距离ε_k≥θ_k，但是到人脸空间的距离ε＜θ′_k，则认为待识别人脸属于该陌生人脸；

(4.6)如果待识别人脸被识别为已知的训练人物，那么这个人脸图像将被加入到该人物的原始训练图像集合中，然后重新计算其特征脸。