CN101526997A - 嵌入式红外人脸图像识别方法及识别装置 - Google Patents

Abstract

一种嵌入式红外人脸图像识别方法与识别装置。包括：红外人脸图像的采集、显示、识别、结果输出；图像中人脸的定位；人脸特征信息的自动抽取；人脸特征信息库的自动训练，人脸自动识别算法与结果输出。本发明可利用人脸信息实现全天候条件下的人脸图像自动采集与识别，实现对个人身份的判定，从而满足商用/家用门禁、考勤、身份鉴别等应用需求。该方法可与现有的其他生物特征识别方法和安防***相互融合，形成功能更为完整的个人身份鉴定和安全防护***。也可支撑其他领域人脸识别应用***的研究，如刑侦领域人脸识别破案、医疗卫生领域人脸分析诊断、交通领域防疲劳驾驶等。

Description

嵌入式红外人脸图像识别方法及识别装置

【技术领域】：

本发明属于生物特征识别技术领域，主要涉及数字图像处理、红外人脸识别、模式识别***优化、嵌入式***设计等多个子领域。

【背景技术】：

人脸识别是近年来逐渐兴起的生物特征识别技术，可用于个人身份鉴定/认定，在很多应用领域有极为广泛的市场前景。目前的人脸识别技术主要包括基于可见光传感采集的灰度/彩色图像法，以及基于红外成像的人脸识别技术。红外成像的人脸识别技术代表了该领域的新兴方向，与可见光成像相比，红外成像人脸识别具有以下特点：

1.光照不变特性：光线强度的变化以及光源角度的变化并不影响红外成像的结果。这使得人脸识别有着更高的稳定性，据国外学者的对比实验表明，在同样的光照模型下，红外成像的人脸识别精度要比可见光成像的精度高30％。

2.抗伪装特性：人脸的血管分布是红外成像的主要热源，这种血管分布不会因化妆、整容以及伪装而改变，因热成像机理使得红外成像的人脸识别技术与可见光技术相比更具稳定性。

3.方向无关性：基于可见光的人脸识别技术对人脸成像的位置、角度有很高的要求，但是对红外成像而言，这种因素不会影响红外成像人脸识别技术的精度。

4.温度敏感性：热成像机理使得红外成像容易受到温度的影响，对人脸识别而言，不同的情绪、心态以及不同的季节都会造成红外成像的波动，克服这种波动的主要方法是及时更新训练样本，同时适当采取图像融合技术。

红外成像的人脸识别技术与基于可见光的人脸识别技术相比，具有更高的准确性和更快的处理速度。在门禁安防、视频监控、个人生物特征识别等领域有较为广泛的应用。

【发明内容】：

本发明目的是解决软硬集成一体化的红外人脸识别技术应用问题，提供一种嵌入式红外人脸图像识别方法及识别装置。

本发明提供的嵌入式红外人脸图像识别方法包括：

第1、红外人脸图像自动检测与定位

第1.1、红外人脸图像采集：利用红外热成像装置，采用被动红外成像方法，采集尺寸为宽×高＝320×240像素的256灰度红外人脸图像，图像中应包含成像背景和人的头部完整图像信息；

第1.2、人脸区域自动定位：针对所采集的红外人脸图像，使用自适应分类算法建立图像中人脸的存在性检测方法和人脸区域的自动精确定位方法，该方法能够自动剔除不包含人脸的图像，并从包含背景的红外人脸图像中自动提取出仅包含脸部信息的人脸区域图像；

第1.3、定位结果归一化：将人脸区域图像转换成尺寸为宽×高＝25×20像素的256灰度图像，用于后续的人脸识别；

第1.2步中所述的图像中人脸的存在性检测方法和人脸区域的自动精确定位方法的步骤如下：

第1.2.1、人脸图像检测与定位分类器的训练过程

第1.2.1.1、采集图像样本集(x_i，y_i)，其中x_i代表一张图像样本，y_i代表该图像样本是否为人脸图像，是则为1，不是则为0，令n为图像样本的总数。本发明选择n为5000，其中人脸图像样本3000张，非人脸图像样本2000张；手工标识人脸图像样本中的人脸区域位置，定义人脸区域为R(W，H)，其中W为人脸区域的宽度，H为人脸区域的高度，本发明中选择W为80，H为100；

第1.2.1.2、为每一幅图像样本设置初始权值W_1，i，其中下标1表示权值设置的次数，i表示图像样本在样本集中的编号。假设图像样本集中人脸图像总数为L，非人脸图像总数为M。则所有人脸图像的初始权值为1/2L，非人脸图像的初始权值为1/2M。本发明中设定L＝3000，M＝2000；

第1.2.1.3、使用Haar特征进行分类器训练，Haar特征为矩形特征，共有三类十四种，其定义如附图3所示，对每一种Haar特征，计算其所对应区域中黑像素值之和与白像素值之和的差值，该差值即为这个Haar特征的取值。对人脸区域内的每个像素，均统计其三类十四种Haar特征，从而获得整个人脸区域的所有Haar特征值。

第1.2.1.4基于Adaboost方法的分类器训练。采用迭代训练的方法进行人脸检测与定位分类器训练，建立两层分类器体系，其中第一层为强分类器，多个强分类器之间形成级联模式，每个强分类器下设14个弱分类器，每个弱分类器包含1个Haar特征，本发明使用强分类器数目为10，执行如下的迭代训练流程：

对t＝1，2，3，...10，

第1.2.1.4.1、求解每幅图像样本的归一化权值q_t，i，其中t为迭代次数，i表示图像样本在样本集中的编号；

$q_{t,i}=\frac{w_{t,i}}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{tj}}}$

第1.2.1.4.2、训练每一个弱分类器h(x，f，p，Θ)，使其可区分人脸图像特征和非人脸图像特征，计算对应所有弱分类器的加权(q_i)错误率ε_f；

${\mathrm{\ϵ}}_f=\underset{i}{\mathrm{\Σ}}{q}_i|h(x_i,f,p,\mathrm{\θ})-y_i|$

第1.2.1.4.3、将加权错误率最小的弱分类器选取为最佳弱分类器，令最小的加权错误率为ε_t，所对应的弱分类器为h_t；

第1.2.1.4.4、更新每一个图像样本的权值

$w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-\mathrm{ei}}$

其中，如果当前弱分类器能正确识别x_i，则ei＝0；否则，ei＝1且 ${\mathrm{\β}}_{\mathrm{\τ}}=\frac{{\mathrm{\Σ}}_{\mathrm{\τ}}}{1-{\mathrm{\ϵ}}_{\mathrm{\τ}}};$

第1.2.1.4.5、最终得到的强分类器如下

其中 ${\mathrm{\α}}_{\mathrm{\τ}}=\log \frac{1}{{\mathrm{\β}}_{\mathrm{\τ}}};$

第1.2.1.5、经第1.2.1.4步的迭代训练，可获得包含10个强分类器和140个弱分类器的两级分类器体系，基于该分类器体系，可实现针对本发明所采集的图像的人脸存在性检测与定位。

第1.2.2、人脸图像检测与定位算法

第1.2.2.1、对待处理的人脸图像，按照先行后列的顺序扫描图像中的每个像素，根据第1.2.1.4步中使用的Haar特征，计算当前像素所对应的Haar特征值。

第1.2.2.2、对第1.2.2.1步中获得的特征值，依次使用10个强分类器进行判别，如果某个强分类器的判别结果为0，说明该像素当前选用的Haar特征区域不是人脸区域。如果10个强分类器的判别结果全部为1，说明该像素当前选用的Haar特征区域是人脸区域。

第1.2.2.3、对图像中所有像素均进行了如第1.2.2.2步所述的判别过程后，可获得图像中所有被判别为人脸区域的像素区域，将这些像素区域进行连通，即可获得最终的人脸区域。

第2、红外人脸图像自动识别比对

第2.1、人脸特征提取：以归一化之后的人脸区域图像为基础，将25×20的图像按照行扫描，将其转换为一个500维的列向量；采用主成分分析方法，获取空间大小为500行×100列的特征变换矩阵，在此基础上计算得出空间大小为100行×1列的向量作为人脸区域图像特征信息；

采用主成份分析方法进行特征降维的算法步骤如下：

第2.1.1、将500维列向量变换为500*500的矩阵，计算均值，求出协方差；

第2.1.2、求协方差对应的特征值和对应的特征向量；

第2.1.3、对特征值从大到小排序，根据累积贡献率选取最终采用的特征值；

第2.1.4、选择选定特征值对应的特征向量，构成变换矩阵；

第2.1.5、对于新录入的数据，直接与该变换矩阵相乘，得到对应的降维后的数据；

其中，累积贡献率η_m的计算公式如下：η_m＝λ₁+λ₂+...+λ_m/(λ₁+λ₂+...+λ_p)

式中的λ为一个特征向量对应的特征值，m为选取为主成分的特征向量的个数，p为特征向量的总数；本发明选择累计贡献率阈值为99％，主成分特征向量个数为100。

第2.2、人脸特征训练：所有能够被本***自动鉴别的人脸图像都必须经过特征训练；本***提供人机交互半自动方式采集人脸训练图像，并使用第2.1步的方法提取人脸特征，该特征将作为标准特征，保存在特征信息库中，供第2.3步使用。

特征训练的具体过程如下：

假设本发明所述的嵌入式红外人脸识别方法可判别A个人的人脸图像，对其中的每一个人，采集一组人脸图像样本作为接受训练样本，令其总数为P；同时采集一组不属于这A个人的其他人脸图像样本作为拒绝训练样本，令其总数为Q；

对每一幅训练图像样本，根据协方差矩阵的计算公式计算，生成一个500×500维的一个对称矩阵；对该对称矩阵进行特征值和特征向量的求解，求出变换矩阵，生成一个500×100的变换矩阵，这就是特征变换矩阵，记该矩阵为M；当进行特征训练或识别时，首先将图像按照行扫描的方式转换为500维列向量Y，降维后的向量Y能够很容易的根据以下公式求出：

Y＝M^TX，式中T为矩阵转秩标识，X为第2.1步中所指的500维列向量，

得到一个100×1的向量，在特征训练过程中，接受训练样本的特征向量作为特征训练结果保存在特征信息库中，在特征比对识别过程中，使用这个向量进行目标匹配；

采用K均值方法建立聚类体系，将A个人的人脸图像聚为K类，本发明中K＝A；

采用迭代训练方法计算每个类的分类阈值S，该阈值能实现接受训练样本的正确接受率为99％，拒绝训练样本的正确拒绝率为99.9％。

第2.3、人脸特征比对识别：利用第2.1步描述的方法提取待处理人脸图像的特征向量，将其与第2.2步中得到的特征信息库中的每个标准特征进行距离比较，并根据第2.2步中计算得到的阈值S以判定人脸特征是否与特征信息库中的某个特征向量比中，如比中则返回被比中人脸图像所对应的个人身份信息，如未比中则返回拒绝识别信息。

第3、一种嵌入式红外人脸图像识别装置，该识别装置包括：

核心处理器组件：包括基于ARM920T内核的S3c2440主处理器和基于TMS320C6000DSP平台的TMS320DM642协处理器；

其中协处理器TMS320DM642负责接收并处理输入的视频图像，获得红外人脸图像数据，并将数据传送给主处理器S3c2440，由s3c2440完成红外人脸图像的定位和识别分类；

红外图像采集组件：包括红外热成像装置和视频编解码芯片；红外热成像装置用于捕捉视频图像，并输出模拟信号，视频编解码芯片将红外热成像装置输出的模拟信号转换为数字信号，并输出格式为ITU-R BY.656的YUV4:2:2的数字视频信号至TMS320DM642协处理器；

存储组件：：使用两片32MB 16位的SDRAM芯片与主处理器S3c2440连接，用于主处理器数据存储，使用一片64MB的NandFlash芯片与主处理器S3c2440连接，用于主处理器的程序存储。使用一片32MB16位的SDRAM芯片与协处理器TMS320DM642连接，用于协处理器数据存储，使用一片32MB的NandFlash芯片与协处理器TMS320DM642连接，用于协处理器的程序存储。

USB输出接口组件：使用主处理器S3c2440自带的USB HOST控制器实现USB输出接口。

电源组件：提供由220V交流转5V直流的变压器直接供电和电池供电两种模式，用于驱动硬件装置的运行；

微型键盘输入组件：与主处理器连接，供用户输入密码和控制指令；

LCD显示单元：与主处理器连接，用于显示人脸图像、识别比对结果；

音频输出提示组件：与主处理器连接，用于提供语音提示，指导用户的操作流程。

本发明的优点和积极效果：

本发明针对人脸识别与应用问题，设计并实现了完整的识别方法体系和硬件结构体系，建立了软硬件高度集成、自动化、智能化的红外嵌入式红外人脸识别***。

该***的识别方法体系覆盖了红外人脸图像检测、人脸区域图像定位、红外人脸图像特征提取与降维、红外人脸图像识别等完整处理流程，并将该流程集成固化到嵌入式硬件结构中，可满足各种类型红外人脸识别应用的需要，具有处理速度快、识别精度高、应用扩展性强的优点。

该***的识别方法实现了基于主成分分析方法的人脸特征降维算法，使用10*1维特征实现人脸的高精度比对，提高了人脸识别的速度。

该***的硬件体系覆盖了模拟视频信号采集与传输、语音输入输出控制、复杂电源***设计、USB接口设计、多类型数据传输机制设计、基于ARM+DSP的核心控制机制设计等内容。具有体积小、功能全、通用性好、集成度高的特点。

该***可作为嵌入式模块与其他设备相结合，形成具有红外人脸识别功能的一体化生物特征识别设备、门禁安防设备以及其他人脸识别领域的设备，具有广泛的应用前景。

【附图说明】：

图1是红外人脸定位方法流程图；

图2是红外人脸图像识别方法流程图；

图3是人脸图像检测与定位分类器的训练所用Haar特征示意图，图3(1)是4种边特征示意图，图3(2)是8种线特征示意图，图3(3)是2种中心特征示意图；

图4是以真人为实例的采集图像(图4-a)与人脸定位结果(图4-b)的对比图；

图5是嵌入式红外人脸图像识别装置结构框图。

【具体实施方式】：

实施例1：红外人脸图像识别方法

如图1、2所示，本发明提供的红外人脸图像识别方法，包括红外人脸图像采集、人脸定位、人脸识别比对三个部分，逐一说明如下：

第1、红外人脸采集方式与采集图像规格

通过红外图像采集装置采集人脸图像，人脸距采集装置距离为15～100cm，允许人脸有一定的倾斜和旋转。其中将倾斜定义为以颈部为轴，头部沿水平方向向左或者向右旋转一定角度，允许倾斜角度不超过30度；定义旋转为以颈部为轴，保持头部水平位置不变，头部向上或向下旋转，旋转角度要求不超过10度。

采集图像为灰度图像，其中灰度的分布代表着目标的热量分布。人脸温度越高的地方，图像中对应点的灰度值越大。装置采集到的图像分为256个灰度级，即目标热量被均匀离散化256个级，每个级别代表一个灰度值。采集到的图像大小为240×320，即垂直方向包含240个像素，水平方向包含320个像素。

本实例中，采集图像的方式为视频采集，即采集一段时间的视频，如20秒，然后按照固定时间间隔抽取图像帧，建立基本样本集合。

第2.人脸定位方法(见图1)

人脸存在性检测和人脸区域精确定位是红外人脸识别方法中的首要环节，其处理的问题是确认图像中是否存在人脸，如果存在则确定人脸所在的区域坐标，如果不存在人脸则终止处理过程。

本发明方法采用自适应分类的方法解决人脸定位问题，通过训练大量人脸图像样本建立具有自适应能力的人脸图像检测与定位分类器，并使用该分类器对图像进行自动处理，获取精确的人脸区域。

本实例中，共采集18个人、每人120张图片共2160张图片，对图片中的人脸区域进行手工标定，其中选取的区域必须包括双眼以及眉毛、嘴唇、脸颊，同时双耳之内、下巴以上的区域都要处于标定范围中。再随机抽取其中1000张图片，另选取430张非人脸图片进行训练，训练深度设置为10层，最终选取140个特征，在完整的2160张的样本集上，正确定位效果可达到2075/2160，另在2984张非人脸图像上进行测试，错误定位比例为95/2984。

总体定位效果：

样本	样本数目	成功定位个数	未定位个数
				Aa	120	111	9
Aaa0	120	107	13
				Aaa1	120	119	1
Aab0	120	116	4
				Aab1	120	114	6
Csy	120	120	0
				Dhs	120	120	0
Lg	120	114	6

Lkm0	120	118	2
				Lkm1	120	120	0
Ryh	120	118	2
				Tzc	120	119	1
Yp	120	119	1
				Zkd	120	120	0
Zkp	120	93	27
				Zl	120	112	8
Zqw0	120	117	3
				Zqw1	120	118	2

完成定位之后，需要将定位区域统一尺寸以进行后续处理，本实例中选取双线性插值方法将目标区域归一化到20×25尺寸上。图4-b即为经过归一化后得到的人脸区域图像。

第3、人脸识别方法

以归一化之后的人脸区域图像为基础，以其500个像素的灰度值为原始特征，采用主成份分析(Principle ComponentAnalysis，简称PCA)方法，获取空间大小为500(行数)×100(列数)的特征变换矩阵，在此基础上计算得出空间大小为100(行数)×1(列数)的向量作为人脸区域图像特征信息。其中基于PCA进行特征降维的处理流程如下：

【人脸特征提取与降维流程】

在以下的定义中，设A是n阶矩阵，x，y为n维非零向量，k为一实数。

定义协方差矩阵(covariance)为

$\mathrm{cov}(x,y)=\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y})$

其中x，y代表均值，在协方差矩阵中，对角线对应这该分量的方差，其他元素表各个分量之间的协方差。

定义方差为： $L_{\mathrm{xx}}=\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2$

若有Ax＝kx，则称k为方正A的特征值，x为特征向量。

根据人脸图像基于扫描人脸图像得到的500维*1列的特征向量，构造其对角矩阵。其特征降维的流程如下：

计算矩阵均值，求出协方差；

求协方差对应的特征值和对应的特征向量；

对特征值从大到小排序，根据累积贡献率选取最终采用的特征值；

选择选定特征值对应的特征向量，构成变换矩阵；

对于新录入的数据，直接与该变换矩阵相乘，即可得到对应的降维后的数据；

累积贡献率计算公式如下：η_m＝λ₁+λ₂+...+λ_m/(λ₁+λ₂+...+λ_p)

当η_m大于阈值S时，可认为主成分数目为m。本***选择100作为最终的特征主成份数目，S为99％。

人脸特征训练：所有能够被本***自动鉴别的人脸图像都必须经过特征训练。本***提供人机交互半自动方式采集人脸训练图像，将25×20的图像按照行扫描，将其转换维一个500维的列向量。首先选择一定数量的图像作为训练向量；根据协方差矩阵的计算公式计算，生成一个500×500维的一个对称矩阵；对该对称矩阵进行特征值和特征向量的求解，求出变换矩阵，生成一个500×100的变换矩阵。这就是特征变换矩阵，记该矩阵为M。当进行特征训练或识别时，首先将图像按照行扫描的方式转换为500维列向量X，降维后的向量Y可以很容易的根据以下公式求出：

Y＝M^TX，

得到一个100×1的向量，在特征训练过程中，该向量作为特征训练结果保存在特征信息库中，在特征比对识别过程中，使用这个向量进行目标匹配。

【人脸特征训练流程】

令本发明所述的嵌入式红外人脸识别方法可判别17个人的人脸图像，对其中的每一个人，采集一组人脸图像样本作为接受训练样本，令其总数为17×10；同时采集一组不属于这17个人的其他人脸图像样本作为拒绝训练样本，令其总数为1×10；

采用K均值方法建立聚类体系，将17个人的人脸图像聚为K类，本发明中K＝17；

采用迭代训练方法计算每个类的分类阈值S，本实例中，选取S＝515000，该阈值能实现接受训练样本的正确接受率为99％，拒绝训练样本的正确拒绝率为99.9％。该阈值将用于人脸特征比对识别。

人脸特征比对识别：针对待比对人脸区域图像，采用本***的人脸特征提取算法获取人脸区域图像特征，并计算该特征向量与人脸特征训练方法中所获得的人脸训练图像特征信息库中的每个特征向量进行距离比较，计算其欧几里德空间距离，根据特征训练得到的阈值S以判定人脸特征是否与特征信息库中的某个特征向量比中，如比中则返回被比中人脸图像所对应的个人身份信息，如未比中则返回拒绝识别信息。

以图4-a为例，采集图像为320×240大小，经过定位并进行归一化之后，得到20×25尺寸的目标人脸图像，如图4-b所示。再将该图像转换为一个500维的列向量，投影到变换矩阵，经过与已经注册的样本计算欧氏距离，其距离小于所设定阈值515000，最终将该样本通过识别。

实施例2：识别装置设计

本发明提供的嵌入式红外人脸图像识别装置包括：

核心处理器组件：包括基于ARM920T内核的S3c2440主处理器和基于TMS320C6000DSP平台的TMS320DM642协处理器；

其中协处理器TMS320DM642负责接收并处理输入的视频图像，获得红外人脸图像数据，并将数据传送给主处理器S3c2440，由s3c2440完成红外人脸图像的定位和识别分类；

红外图像采集组件：包括红外热成像装置和视频编解码芯片；红外热成像装置用于捕捉视频图像，并输出模拟信号，视频编解码芯片将红外热成像装置输出的模拟信号转换为数字信号，并输出格式为ITU-R BT.656的YUV4:2:2的数字视频信号至TMS320DM642协处理器；

存储组件：：使用两片32MB 16位的SDRAM芯片与主处理器S3c2440连接，用于主处理器数据存储，使用一片64MB的NandFlash芯片与主处理器S3c2440连接，用于主处理器的程序存储。使用一片32MB 16位的SDRAM芯片与协处理器TMS320DM642连接，用于协处理器数据存储，使用一片32MB的NandFlash芯片与协处理器TMS320DM642连接，用于协处理器的程序存储。

USB输出接口组件：使用主处理器S3c2440自带的USB HOST控制器实现USB输出接口。

电源组件：提供由220V交流转5V直流的变压器直接供电和电池供电两种模式，用于驱动硬件装置的运行；

微型键盘输入组件：与主处理器连接，供用户输入密码和控制指令；

LCD显示单元：与主处理器连接，用于显示人脸图像、识别比对结果；

音频输出提示组件：与主处理器连接，用于提供语音提示，指导用户的操作流程。

实施例3：真实应用流程

本发明的识别装置中固化了人脸定位程序和人脸识别比对程序，在现实应用环境中支持人脸信息登记和人脸识别应用，应用步骤包括：

第1、人脸信息登记

用户通过微型键盘输入组件键入指令，启动人脸信息登记流程，将人脸对准红外图像采集组件中的红外热成像装置，由视频解码芯片将采集到的图像传送给协处理器TMS320C6000，经协处理器进行见频拆分后获取红外人脸图像，传送给主处理器S3c2440。图4-a为经人脸信息登记采集到的真实人脸图像，大小为240(高)×320(宽)。

主处理器S3c2440运行人脸定位程序，实现对图像中人脸区域的精确提取，并运行人脸特征提取和降维程序，获取人脸标准特征，并保存在存储组件的NandFlash中。图4-b为经人脸区域定位、归一化后输出的人脸区域图像，大小为25(高)×20(宽)，该人脸特征经降维处理后被转化为100×1的列向量保存在NandFlash中。

在该流程中，LCD显示屏组件将显示人脸图像的采集情况，并显示处理状态。音频输出提示组件用语音方式提示用户操作步骤和登记已完成。

第2、人脸识别比对

用户通过微型键盘输入组件键入指令，启动人脸比对流程，将人脸对准红外图像采集组件中的红外热成像装置，由视频解码芯片将采集到的图像传送给协处理器TMS320C6000，经协处理器进行视频拆分后获取红外人脸图像，传送给主处理器S3c2440。主处理器S3c2440运行人脸定位程序，实现对图像中人脸区域的精确提取，并运行人脸特征提取和降维程序，获取人脸特征向量。继续运行人脸识别比对程序，将人脸特征向量与保存在NandFlash中的标准特征进行比对，如比中则通过LCD显示屏组件和音频提示输出组件提示识别比对成功，否则提示识别比对失败。

以图4为例，图4中显示的人脸已经被登记到***中，同时有其他16人的人脸信息被登记。当该用户将人脸对准红外成像装置并启动比对流程时，主处理器S3c2440将执行定位并提取人脸区域，进一步提取人脸特征，在与标准特征库中所有17名被登记的人脸特征比对时，通过计算待识别特征向量与标准特征向量的欧几里德距离，发现该人脸特征与图4对应的人脸标准特征距离最为接近，输出识别比对成功信号，同时判定该人身份。

Claims (6)

1、一种嵌入式红外人脸图像识别方法，其特征在于该方法包括：

第1、红外人脸图像自动检测与定位

第1.1、红外人脸图像采集：利用红外热成像装置，采用被动红外成像方法，采集256灰度红外人脸图像，图像中应包含成像背景和人的头部完整图像信息；

第1.2、人脸区域自动定位：针对所采集的红外人脸图像，依据Adaboost方法建立图像中人脸的存在性检测方法和人脸区域的自动精确定位机制，该机制能够自动剔除不包含人脸的图像，并从包含背景的红外人脸图像中自动提取出仅包含脸部信息的人脸区域图像；

第1.3、定位结果归一化：将人脸区域图像转换成尺寸为宽×高＝25×20像素的256灰度图像，用于后续的人脸识别；

第2、红外人脸图像自动识别比对

第2.1、人脸特征提取：以归一化之后的人脸区域图像为基础，将25×20的图像按照行扫描，将其转换为一个500维的列向量；采用主成分分析方法，获取空间大小为500行×100列的特征变换矩阵，在此基础上计算得出空间大小为100行×1列的向量作为人脸区域图像特征信息；

第2.2、人脸特征训练：为实现基于人脸图像的身份判别，所有能够被本***自动判别的人脸图像都必须经过特征训练；本***提供人机交互半自动方式采集人脸训练图像，并使用第2.1步的方法提取人脸特征，该特征将作为标准特征，保存在特征信息库中；在特征训练过程中同时确定阈值S，供第2.3步使用；

第2.3、人脸特征比对识别：将第2.1步得到的人脸区域图像特征信息与人脸训练图像特征信息库中的每个标准特征进行距离比较，计算其欧几里德空间距离，根据第2.1步中得到的阈值S以判定人脸特征是否与特征信息库中的某个特征向量比中，如比中则返回被比中人脸图像所对应的个人身份信息，如未比中则返回拒绝识别信息。

2、根据权利要求1所述的嵌入式红外人脸图像识别方法，其特征在于第1.2步中所述的图像中人脸的存在性检测方法和人脸区域的自动精确定位方法，是通过训练大量人脸图像样本建立具有自适应能力的人脸图像检测与定位分类器，并使用该分类器对图像进行自动判别，剔除不包含人脸的图像，并从人脸图像中获取精确的人脸区域，具体步骤如下：

第1.2.1、人脸图像检测与定位分类器的训练过程

第1.2.1.1、采集图像样本集(x_i，y_i)，其中x_i代表一张图像样本，y_i代表该图像样本是否为人脸图像，是则为1，不是则为0，令n为图像样本的总数。本发明选择n为5000，其中人脸图像样本3000张，非人脸图像样本2000张；手工标识人脸图像样本中的人脸区域位置，定义人脸区域为R(W，H)，其中W为人脸区域的宽度，H为人脸区域的高度，本发明中选择W为80，H为100；

第1.2.1.2、为每一幅图像样本设置初始权值W_1，j，其中下标1表示权值设置的次数，i表示图像样本在样本集中的编号。假设图像样本集中人脸图像总数为L，非人脸图像总数为M。则所有人脸图像的初始权值为1/2L，非人脸图像的初始权值为1/2M。本发明中设定L＝3000，M＝2000；

第1.2.1.3、使用Haar特征进行分类器训练，Haar特征为矩形特征，共有三类十四种，其定义如附图3所示，对每一种Haar特征，计算其所对应区域中黑像素值之和与白像素值之和的差值，该差值即为这个Haar特征的取值。对人脸区域内的每个像素，均统计其三类十四种Haar特征，从而获得整个人脸区域的所有Haar特征值；

第1.2.1.4基于Adaboost方法的分类器训练，采用迭代训练的方法进行人脸检测与定位分类器训练，建立两层分类器体系，其中第一层为强分类器，多个强分类器之间形成级联模式，每个强分类器下设14个弱分类器，每个弱分类器包含1个Haar特征，本发明使用强分类器数目为10，执行如下的迭代训练流程：

对t＝1，2，3，...10，

第1.2.1.4.1、求解每幅图像样本的归一化权值q_t，i，其中t为迭代次数，i表示图像样本在样本集中的编号；

$q_{t,i}=\frac{w_{t,i}}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{tj}}}$

第1.2.1.4.2、训练每一个弱分类器h(x，f，p，Θ)，使其可区分人脸图像特征和非人脸图像特征，计算对应所有弱分类器的加权(q_i)错误率ε_f；

${\mathrm{\ϵ}}_f=\underset{i}{\mathrm{\Σ}}{q}_i|h(x_i,f,p,\mathrm{\θ})-y_i|$

第1.2.1.4.3、将加权错误率最小的弱分类器选取为最佳弱分类器，令最小的加权错误率为ε_t，所对应的弱分类器为h_t；

第1.2.1.4.4、更新每一个图像样本的权值

$w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-\mathrm{ei}}$

其中，如果当前弱分类器能正确识别x_i，则ei＝0；否则，ei＝1且 ${\mathrm{\β}}_t=\frac{{\mathrm{\ϵ}}_t}{1-{\mathrm{\ϵ}}_t};$

第1.2.1.4.5、最终得到的强分类器如下

其中 ${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t};$

第1.2.1.5、经第1.2.1.4步的迭代训练，可获得包含10个强分类器和140个弱分类器的两级分类器体系，基于该分类器体系，可实现针对本发明所采集的图像的人脸存在性检测与定位。

第1.2.2、人脸图像检测与定位算法

第1.2.2.1、对待处理的人脸图像，按照先行后列的顺序扫描图像中的每个像素，根据第1.2.1.4步中使用的Haar特征，计算当前像素所对应的Haar特征值；

第1.2.2.2、对第1.2.2.1步中获得的特征值，依次使用10个强分类器进行判别，如果某个强分类器的判别结果为0，说明该像素当前选用的Haar特征区域不是人脸区域；如果10个强分类器的判别结果全部为1，说明该像素当前选用的Haar特征区域是人脸区域；

第1.2.2.3、对图像中所有像素均进行了如第1.2.2.2步所述的判别过程后，可获得图像中所有被判别为人脸区域的像素区域，将这些像素区域进行连通，即可获得最终的人脸区域。

3、根据权利要求1或2所述的嵌入式红外人脸图像识别方法，其特征在于第2.1步中采用主成份分析方法进行特征降维的算法步骤如下：

第2.1.1、将500维列向量变换为500*500的矩阵，计算均值，求出协方差；

第2.1.2、求协方差对应的特征值和对应的特征向量；

第2.1.3、对特征值从大到小排序，根据累积贡献率选取最终采用的特征值；

第2.1.4、选择选定特征值对应的特征向量，构成变换矩阵；

第2.1.5、对于新录入的数据，直接与该变换矩阵相乘，得到对应的降维后的数据；

其中，累积贡献率η_m的计算公式如下：η_m＝λ₁+λ₂+…+λ_m/(λ₁+λ₂+…+λ_p)

式中的λ为一个特征向量对应的特征值，m为选取为主成分的特征向量的个数，p为特征向量的总数；本发明选择累计贡献率阈值为99％，主成分特征向量个数为100。

4、根据权利要求1所述的嵌入式红外人脸图像识别方法，其特征在于第2.2步中采用的特征训练算法步骤如下：

第2.2.1、令本发明所述的嵌入式红外人脸识别方法可判别A个人的人脸图像，对其中的每一个人，采集一组人脸图像样本作为接受训练样本，令其总数为P；同时采集一组不属于这A个人的其他人脸图像样本作为拒绝训练样本，令其总数为Q；

第2.2.2、采用K均值方法建立聚类体系，将A个人的人脸图像聚为K类，本发明中K＝A；

第2.2.3、采用迭代训练方法计算每个类的分类阈值S，该阈值能实现接受训练样本的正确接受率为99％，拒绝训练样本的正确拒绝率为99.9％；该阈值将用于第2.3步中的人脸识别。

5、一种嵌入式红外人脸图像识别装置，其特征在于该识别装置包括：

核心处理器组件：包括基于ARM920T内核的S3c2440主处理器和基于TMS320C6000DSP平台的TMS320DM642协处理器；

其中协处理器TMS320DM642负责接收并处理输入的视频图像，获得红外人脸图像数据，并将数据传送给主处理器S3c2440，由s3c2440完成红外人脸图像的定位和识别分类；

红外图像采集组件：包括红外热成像装置和视频编解码芯片；红外热成像装置用于捕捉视频图像，并输出模拟信号，视频编解码芯片将红外热成像装置输出的模拟信号转换为数字信号，并输出格式为ITU-R BT.656的YUV4:2:2的数字视频信号至TMS320DM642协处理器；

存储组件：使用两片32MB16位的SDRAM芯片与主处理器S3c2440连接，用于主处理器数据存储，使用一片64MB的NandFlash芯片与主处理器S3c2440连接，用于主处理器的程序存储；使用一片32MB16位的SDRAM芯片与协处理器TMS320DM642连接，用于协处理器数据存储，使用一片32MB的NandFlash芯片与协处理器TMS320DM642连接，用于协处理器的程序存储；

USB输出接口组件：使用主处理器S3c2440自带的USB HOST控制器实现USB输出接口。

6、根据权利要求5所述的嵌入式红外人脸图像识别装置，其特征在于该识别装置还包括：

电源组件：提供由220V交流转5V直流的变压器直接供电和电池供电两种模式，用于驱动硬件装置的运行；

微型键盘输入组件：与主处理器连接，供用户输入密码和控制指令；

LCD显示单元：与主处理器连接，用于显示人脸图像、识别比对结果；

音频输出提示组件：与主处理器连接，用于提供语音提示，指导用户的操作流程。

Images