CN101236599A - 基于多摄像机信息融合的人脸识别检测装置 - Google Patents

Abstract

一种基于多摄像机信息融合的人脸识别检测装置，包括用于监控大空间范围内多目标人体的大范围视频监控摄像机、用于对被跟踪的人物的脸部进行特写抓拍的多个快速球型摄像机和用于进行信息融合和人脸检测识别处理的微处理器，控制多个预先架设好的快速球型摄像机同时对准某特定人物的人脸部位进行特写抓拍，得到多角度的人脸部位图像并对其进行粗检测，自动判断适合的正面或者正侧位人脸图像后送给人脸识别引擎进行人脸识别检测处理，最后对上述多张单个人脸图像的识别结果通过***的决策表决方式来确定***人脸识别的结果。本发明实现的大范围、实时、非配合情况下人脸识别装置，具有识别精度高、检测速度快、设备要求低、实用性好等优点。

Description

基于多摄像机信息融合的人脸识别检测装置

技术领域

本发明涉及人脸识别检测领域，尤其是一种人脸识别检测装置。

背景技术

基于人脸识别检测可用于机关单位的安全和考勤、网络安全、银行、海关边检、物业管理、军队安全、计算机登录***。比如，公安布控监控、监狱监控、司法认证、民航安检、口岸出入控制、海关身份验证、银行密押、智能身份证、智能门禁、智能视频监控、智能出入控制、司机驾照验证、各类银行卡、金融卡、***、储蓄卡的持卡人的身份验证，等等。

人脸识别检测研究，主要包括人脸识别(face recognition)技术和人脸检测(facedetection)技术的研究。最初人脸研究主要集中在人脸识别领域，而且早期的人脸识别算法都是在认为已经得到了一个正面人脸或者人脸很容易获得的前提下进行的。但是随着人脸应用范围的不断扩大和开发实际***需求的不断提高，这种假设下的研究不再能满足需求。在无约束条件情况下人脸识别检测正在作为独立的研究内容引起研究人员的更多关注和重视。

人脸识别检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回人脸的位置、大小和姿态，接着对人脸进行识别。它是一个复杂的具有挑战性的模式检测问题，其主要的难点有三方面，(一)由于人脸内在的变化所引起：(1)人脸具有相当复杂的细节变化，不同的外貌如脸形、肤色等，不同的表情如眼、嘴的开与闭等；(2)人脸的遮挡，如眼镜、头发和头部饰物以及其他外部物体等；(二)由于外在条件变化所引起：(1)由于成像角度的不同造成人脸的多姿态，如平面内旋转、深度旋转以及上下旋转，其中深度旋转影响较大；(2)光照的影响，如图像中的亮度、对比度的变化和阴影等。(3)图像的成像条件，如摄像设备的焦距、成像距离，图像获得的途径等等；(三)由于图像采集手段所引起：在非理想采集条件下，人脸识别检测装置是在摄像环境不可控、环境条件变化剧烈、用户不配合的情况下使用的，难度更大的是在大空间范围内如何快速有效的跟踪多目标人体对象、获取人脸部位的图像，尤其是正面的人脸图像。上述这些困难都为解决人脸识别检测问题造成了难度。

精度和速度是一个人脸识别检测***的两个重要方面，一般都希望一个***既能有很高的精度又能达到实时的速度。但是实际应用中这两方面又常常存在矛盾。一般是在精度不能满足的条件下，牺牲速度来满足精度。如何能在保证精度的前提下，有效地提高***的速度，对人脸识别检测的实际应用有很重要的意义。

在候机、候车、侯船大厅或者人潮拥挤的车站等大空间进行摄像监控时，最大的问题是如何架设摄像机以有效覆盖整个监控范围。光是监控几个出入口是不够的，当要监控在大空间内任意移动的人或物的行为或动向时，目前多采用架设多个固定摄像机来覆盖整个空间或采用快速球型摄像机来扫描整个空间。但是采用架设多个固定摄像机时如何有效管理这些摄像机是一个大问题，而且每个摄像机与实际环境的对应关系不容易建立，以及各摄像机的分辨率等不足等问题的存在都可能造成识别检测时的困难。即使采用快速球型摄像机来扫描整个空间，摄像机在转动过程中也会产生时间上的监控死角。尤其是在控制快速球型摄像机转动时，因为只能控制向上、向下、向左、向右等运动，往往无法很快地将快速球型摄像机转动到希望的监控对象位置，或者说不知道要控制快速球型摄像机转动到什么地方，造成监控效率的降低。

另外在大空间进行人脸识别检测时，最大的问题是如何获得人脸的正面图像。一般的人脸识别***为了提高识别率，要求被识别者以正面的角度面对摄像机，这种方式容易造成被识别者的负担。另一方面，由于被识别者意识到摄像机的存在，故意避开摄像机或者背向摄像机而造成很难应用在安全监控***上。由于上述原因，目前的这些识别检测方法在这样的情况下识别性能下降非常快很多情况下识别***正确识别率陡降至75％以下，识别检测***等错误率攀升到10％以上，这样的性能显然是应用***用户无法接受的。

中国发明专利CN1794264中提出的视频序列中人脸的实时检测与持续跟踪的方法及***，中国发明专利CN1924894中提出的多姿态人脸检测与追踪***及方法，这些发明都是基于在小范围内的人脸检测；美国专利US2007092245中提出使用多个云台摄像机(PTZ Camera)监控以实现人脸的检测与跟踪，而多摄像机的跟踪对于运动目标的定位存在着一定的难度，同时采用普通的摄像机由于可视的范围是受限的，单一角度的，而且这种人脸检测的方法需要人必须正对着摄像机或者正侧面对着摄像机。上述已有技术在大范围多目标、摄像环境不可控、环境条件变化剧烈、用户不配合的情况下的人脸识别检测是难以实现的。

一个完善的、实用的人脸识别检测装置应该是装置去适应人，而不是人来适应装置，为了达到人脸识别的目的对使用者做过多的限制和要求实际上降低了装置实际应用价值。因此需要人脸识别检测装置自动判断人的存在与否，并且始终跟随人的运动，在此过程中完成智能感知或者交互的任务，然后根据被跟踪的人体对象的各方面细节去分析与判断该对象是谁；虽然目前的许多研究者尝试用人脸跟踪的方法获得更多的人脸部位的信息，但是人不可能总是固定不动，会有转身等动作；当这类动作发生时，人脸跟踪就会出现丢失、跟踪不到人脸而无法实现智能感知等问题，同时这种人脸跟踪技术无法实现对多目标情况下的人脸检测与识别。

发明内容

为了克服现有的人脸识别检测装置在获取人脸部分视频手段上单一、受限，无法实现大范围多目标的人脸识别以及在人脸识别时必须要求被识别者以正面或者正侧面的角度面对摄像机、识别的精度与速度还达不到实际应用等问题，本发明提供一种实现大范围实时人体跟踪视频监控与多角度定点的人脸抓拍、识别精度高、速度快、实用性好的基于多摄像机信息融合的人脸识别检测装置。

本发明解决其技术问题所采用的技术方案是：

一种基于多摄像机信息融合的人脸识别检测装置，包括用于跟踪监控大空间范围内多目标人体的运动以及行为的大范围视频监控摄像机、用于对被跟踪的人物的脸部进行特写抓拍的多个快速球型摄像机和用于对多摄像机进行信息融合和人脸检测识别处理的微处理器，所述的微处理器包括：大范围监控摄像机标定模块，用于建立监控空间的图像与所获得的视频图像的对应关系；大范围监控摄像机与快速球摄像机之间的视频数据融合模块，用于控制快速球摄像机的转动与调焦，使得快速球摄像机能对准所跟踪人体对象的脸部进行特写抓拍；虚拟线定制模块，用于定制在监控领域内的检测检测线，虚拟线定制在监控领域的出入口处；

人体对象ID号和存放跟踪人体对象的脸部图像文件夹的自动生成模块，用于对刚进入大范围监控摄像机的视场最外边的虚拟线的人体对象进行命名，当活动人体对象进入监控范围时，***自动会产生一个人体对象ID号并同时生成一个以该人体对象ID号命名的文件夹，用于存放该人体对象的脸部的特写图像；

多对象人体跟踪模块，用于跟踪监控领域内的多目标人体对象，包括：

自适应背景消减单元，用于在底层特征层将监控领域背景中把前景对象目标部分的像素点提取出来，混合高斯分布模型来表征图像帧中每一个像素点的特征；设用来描述每个点颜色分布的高斯分布共有K个，分别标记为：

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…，k                  (12)

式(12)中的下标t表示时间，各高斯分布分别具有不同的权值和优先级，再将K个背景模型按照优先级从高到低的次序排序，取定适当的背景模型权值和阈值，在检测前景点时，按照优先级次序将Y_t与各高斯分布模型逐一匹配，若匹配，则判定该点可能为前景点，否则为前景点；若某个高斯分布与Y_t匹配，则对该高斯分布的权值和高斯参数按一定的更新率进行更新；

阴影抑制单元，用于通过形态学运算实现，利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔，先对消除了背景模型后的前景点集F分别进行膨胀和腐蚀处理，得到扩张集Fe和收缩集Fc，通过处理所得到的扩张集Fe和收缩集Fc是对初始前景点集F进行填补小孔和去除孤立噪声点的结果；因此有以下关系Fc＜F＜Fe成立，接着以收缩集Fc作为起始点，在扩张集Fe上检测连通区域，然后将检测结果记为{Rei，i＝1，2，3，…，n}，最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果{Ri＝Rei∩F，i＝1，2，3，…，n}；

连通区域标识单元，用于采用八连通区域提取算法提取前景目标对象；

跟踪处理单元；用于基于目标颜色特征跟踪算法，利用目标对象的颜色特征在视频图像中找到运动目标对象所在的位置和大小，在下一帧视频图像中，用运动目标当前的位置和大小初始化搜寻窗口，在连通区域标识单元处理后所得到的目标对象的方位以及大小，然后将处理结果提交给目标颜色特征跟踪算法，以实现多目标对象的自动跟踪；

人体对象的脸部特写图像定位抓拍模块，用于定位抓拍跟踪人体对象的脸部图像，对人体肤色建立一张二值图像，进行连通区域个数计算，检测人体头部在整个人体上端部位，检测连通区域高度的1/3；

人脸图像检测预处理模块，用于对存放在以人体对象ID号命名的文件夹内人体对象的脸部特写图像进行粗检测，用肤色区域的二值映射图作为人脸检测判定标准，如检测窗口A_window内皮肤区域面积A_skin所占的比例在设定范围之间，遍历整个人脸图像，并采用椭圆方法判定是否为正面人脸；

人脸检测精处理模块，用于对存放在以人体对象ID号命名的文件夹内经人脸图像检测预处理后的图像进行进一步的处理，采用离散小波分解、局部加窗得到局部冗余信号，两两配对计算局部信号相似度得到局部特征向量集，并将特征集分为两类“类内差”Ω_T和“类间差”Ω_E，利用Boosting算法从特征集中自适应选择弱分类器，最终构成强分类器，得到人脸图像IS；

人脸识别模块，用于对存放在人体对象ID号命名的文件夹中的有标记的人体对象的脸部的特写图像进行识别，经精检测后的人脸图像IS经过与训练步骤相同的特征提取得到局部信号，并与比对样本逐个计算局部相似度，然后输入集成分类器，最终识别类别由输出值最大的样本决定。

作为优选的一种方案：所述微处理器还包括：识别结果进行表决处理模块，用于对某个人体对象ID所对应的多个识别结果进行表决，评价一个人脸识别***的标准，包括识别率、错误拒绝率、错误接受率；通过混淆矩阵来定义，混淆矩阵表示属于第i类的测试特征向量被分配到第j类的概率，用矩阵表示估计值和实际输出值，对于每一张人脸图像识别是一个两类问题的四个可能的分类结果；

对于第I张人脸图像的识别率可以由以下公式(19)计算，

${\mathrm{PersonID}}_{\mathrm{accuracy}}\left(I\right)=\frac{(a+d)}{(a+b+c+d)}---\left(19\right)$

对于第I张人脸图像的拒判率(False rejection rate，FRR)或拒真率(Falsenegtive rate)可以由以下公式(20)计算，

${\mathrm{PersonID}}_{\mathrm{FRR}}\left(I\right)=\frac{b}{(a+b)}---\left(20\right)$

对于第I张人脸图像的误判率(False acceptance rate，FAR)或认假率(Falsepositive rate)可以由以下公式(21)计算，

${\mathrm{PersonID}}_{\mathrm{FAR}}\left(I\right)=\frac{c}{(c+d)}---\left(21\right)$

采用多数表决的方法来确定K/n多数表决***的PersonID_FAR(K/n)、PersonID_FRR(K/n)和PersonID_accuracy(K/n)；

${\mathrm{PersonID}}_{\mathrm{accuracy}}(K/n)=\underset{i=0}{\overset{K}{\mathrm{\Σ}}}n*C_i*{\mathrm{Accuracy}}^{n-i}*{(1-\mathrm{Accuracy})}^i---\left(22\right)$

共有n张被识别的图像，如果K张图像的人脸识别结果相同就判定为该结果，K为预设的阈值。

作为优选的另一种方案：所述微处理器采用多线程处理，将整个人脸识别检测分为以下处理线程：①多目标的人体跟踪与特写抓拍作为一个线程；②将基于YCrCb颜色模型进行粗检测作为一个线程，③将基于AdaBoost算法的组合成强分类器处理作为一个线程；④将人脸图像识别作为一个线程；⑤将表决处理作为一个线程；上述5个线程的优先级别是从线程的①到⑤顺序来确定。

进一步，所述的大范围视频监控摄像机为广角摄像机，所述广角摄像机安装在监控空间的一侧。

所述的大范围监控摄像机与快速球摄像机之间的视频数据融合模块，通过空间位置的映射将大范围视频监控摄像机和快速球型摄像机进行融合，当大范围视频监控摄像机发现人体对象目标之后，***返回一个人体对象目标的坐标信息，并利用这一信息来控制多个快速球型摄像机以定位拍人体对象头部目标，多个快速球型摄像机抓拍人体对象头部目标的图像信息保存在***所规定的文件夹内供后续人脸检测及人脸识别处理；每个快速球型摄像机安装位置不同，每个快速球型摄像机对应相应的空间对应关系标定表，当大范围视频监控摄像机检测到人体目标时，每个快速球型摄像机能根据自己与大范围视频监控摄像机的对应关系标定表进行快速定位。

所述大范围视频监控摄像机采用全方位视觉传感器，标定方法为：以全景图像中心为圆心，根据需要将全景图像分成一些圆环，然后将每个圆环划分成数个等份；一幅全景图像就被规则地分成了数个区域，每个区域有它特定的角度、方向和大小；根据全方位视觉传感器距地面的高度、快速球型摄像机空间位置和摄像头焦距等参数，依次确定各快速球型摄像机要检测的区域所需要水平、垂直旋转的角度以及焦距。

所述大范围视频监控摄像机采用广角摄像装置，标定方法为：依据广角摄像机的视场范围将所拍摄到的图像划分成数个等份，每个区域有它特定的角度、方向和大小，根据广角摄像装置距地面的高度、倾斜的角度、快速球型摄像机空间位置和摄像头焦距参数，依次确定各快速球型摄像机要检测的区域所需要水平、垂直旋转的角度以及焦距。

或者：所述的大范围视频监控摄像机为全方位摄像机，所述全方位摄像机安装在监控领域的中间，所述的全方位摄像机包括用于反射监控领域中物体的外凸折反射镜面，外凸折反射镜面朝下，用于防止光折射和光饱和的黑色圆锥体，黑色圆锥体固定在折反射镜面外凸部的中心，用于支撑外凸折反射镜面的透明圆柱体，用于拍摄外凸反射镜面上成像体的摄像头，摄像头对着外凸反射镜面朝上。

本发明的技术构思为：近年发展起来的全方位摄像机ODVS(Omni-Directional Vision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；检测环境时ODVS不用瞄准目标；检测和跟踪检测范围内的运动物体时算法更加简单；ODVS容易获得场景的实时图像并通过与快速球型摄像机之间的所建立映射关系实现多摄像机之间的信息融合。通过对360度全景范围内多目标人体对象的跟踪技术、全方位摄像机的三维空间定位技术以及多摄像机的信息融合技术，控制多个预先架设好的快速球型摄像机来同时对准某特定人物进行抓拍，然后***自动判断适合的正面人脸后送给人脸识别引擎进行后续的人脸识别处理。本发明中将多目标人体对象的跟踪、快速球型摄像机的定位抓拍、人脸的检测与识别等处理采用多线程的方法对多个模块进行并行处理，这样人脸识别检测装置能够及时把处理器资源分给不同的模块，从而在保证检测和识别精度的前提下一定程度上解决了速度问题，使人脸识别检测装置达到实时与实用。

要解决人脸识别实用化的核心问题是：1)要实现使被识别者在无意识状态下的人脸识别，识别的环境条件几乎没有任何限制；2)识别的速度和精度都必须在使用者可以接受的范围内。

通过大范围视频监控摄像机来跟踪监控大空间范围内多目标人体的运动以及行为，通过对大空间范围内多目标人体对象的跟踪技术、人脸的定位技术、全方位摄像机的三维空间定位技术以及多摄像机的位置信息融合技术，控制多个预先架设好的快速球型摄像机来同时对准某特定人物的人脸部位进行特写抓拍，得到多角度的该人物的人脸部位图像并对其进行粗检测，然后由装置自动判断适合的正面或者正侧位人脸图像后送给人脸识别引擎进行后续的人脸识别检测处理，最后对上述多张单个人脸图像(不同摄像机在不同时间所拍摄的人脸图像)的识别结果通过***的决策表决方式来确定***人脸识别的结果。

本发明的有益效果主要表现在：解决了传统的监控设备监控范围单一角度的问题，从而无论人体处在实际场景的任何位置，都可以抓拍到实际的人脸的识别，不在需要人脸正对着摄像头，实现了机器去适应人；2、采用了从宏观、中观到微观的不同层次的、从全局到局部的、从粗到细节的各种不同的图像处理方法，并将这些处理分别以多线程方式来实现，圆满的解决了人脸识别中的速度与精度两者之间的矛盾，处理无须依赖于较大型设备，提高了***的性能价格比；3、采用信息融合的手段，从时间和空间上将多个摄像机的信息进行融合，对多个人脸识别结果在决策层的信息融合，大大提高了人脸识别的正确率，减少了误判率和拒判率；4、实现的算法自动化智能化程度高，使用过程中无需人的任何干预，安装全方位摄像机以及快速球型摄像机方便、容易实现多传感器的信息融合。

附图说明

图1为全方位视觉传感器作为人体跟踪其他多个快速球型摄像机作为抓拍人体特写图像的多传感器融合的结构原理图；

图2为广角摄像机作为人体跟踪其他多个快速球型摄像机作为抓拍人体特写图像的多传感器融合的结构原理图；

图3为多视觉传感器融合的硬件组成结构图；

图4为多视觉传感器融合的人脸识别流程框图；

图5为人脸图像精检测中层叠分类器的处理流程；

图6为四个矩形的积分图的值计算的示意图；

图7为5种检测窗内的矩形特征例子；

图8为人脸识别***训练过程框架图；

图9为人脸识别***识别过程框架图；

图10为局部图像块采样扫描过程示意图；

图11为在最后的决策层中K/n多数表决***的示意图；

图12为双曲面全方位视觉光学原理图；

图13为一种双曲面全方位视觉传感器的结构图；

图14为基于多摄像机信息融合的人脸识别检测***的处理流程图；

图15为多目标人体跟踪的前期预处理流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1、图3～图15，一种基于多摄像机信息融合的人脸识别检测装置，大范围视频监控摄像机1，用于跟踪监控大空间范围内多目标人体的运动以及行为；采用多个快速球型摄像机2，用于对被跟踪的人物的脸部进行特写抓拍；采用一台微处理器5，用于对多摄像机进行信息融合和人脸检测识别处理，处理的流程参照附图14进行说明，1)大范围视频监控摄像机1跟踪大范围内多目标人体对象；2)根据被跟踪的人体对象的空间位置控制多个快速球型摄像机2对脸部进行特写抓拍；3)将特写抓拍到的脸部图像保存在某一预定的存储单元内；上述的处理是在一个线程中进行处理的，该线程的处理级别最高，如图14中的线程①所示；接着线程②对所采集到的人脸图像进行粗检测，在该线程处理中采用模式拒绝思想，对存储单元内的图像采用基于YCrCb颜色模型进行粗检测，淘汰一些不能或者难以进行人脸检测识别图像，接着判断可进行人脸检测识别图像数，如果达不到规定的可进行人脸检测识别图像数则要求多个快速球型摄像机2对继续跟踪人体脸部进行特写抓拍；粗检测后通过的图像文件被重新命名保存在文件夹内以便作下一步的精检测，线程②的优先级别略低于线程①；进一步进行人脸的精检测，精检测是在线程③中完成的，具体做法是采用基于AdaBoost算法的组合成强分类器，强分类器作为分级分类器的前面几级，对基于YCrCb颜色模型进行粗检测后的图像进行过滤，最后再用一个强分类器进行进一步过滤。通过在前几级的处理基本上过滤掉了大多数的非人脸图像以及难以识别的人脸图像，因此在最后一级强分类器的图像窗口有大幅度的减少，在提高检测速度的同时又提高检测精度；精检测后通过的图像文件被重新命名保存在文件夹内以便作下一步的人脸识别，线程③的优先级别略低于线程②；更进一步，对精检测处理后的图像进行人脸识别，人脸识别是在线程④中完成的；在该线程中采用基于局部特征人脸识别方法，与人脸检测一样，不同的是在人脸检测中使用的样本是人脸和非人脸，而在人脸识别中使用的样本各种不同人脸样本，识别的结果是找到与人脸样本中相匹配的人脸，线程④的优先级别略低于线程③；最后对多个人脸图像识别的结果进行表决处理，由于在上述的技术方案中采用了对在不同的摄像条件下某一个特定的人脸进行了多次识别，每张人脸图像识别结果是相对独立的，因此可以采用概率统计的方法对多个识别结果进行表决处理来提高整个装置的识别率(Accuracy)，减少误判率(False acceptance rate，FAR)和拒判率(False rejectionrate，FRR)；表决处理是在线程⑤中进行的，其优先级别是最低的；

下面结合上述的处理流程具体说明实现的细节与***的连接方法，所述大范围视频监控摄像机1和多个快速球型摄像机2通过视频卡连接微处理器，如图3所示；所述的微处理器包括：图像显示单元，用于显示整个监控范围内的视频图像、跟踪人体对象的人脸部位图像；所述的大范围监控摄像机1为全方位摄像机，该全方位摄像机安装在监控领域的中间，用于监视整个空间内的人体对象；所述的快速球型摄像机2，用于对进入监控领域内的人体对象的人脸部位进行特写抓拍，通过大范围监控摄像机1的跟踪得到人体对象所在的空间位置，微处理器根据该位置信息指示快速球型摄像机2朝着人体对象的人脸部位所在的空间位置的方向旋转调焦，然后进行抓拍；所述的大范围监控摄像机1与快速球型摄像机2之间的动作关系是通过映射表来实现的；所述的全方位摄像机包括用于反射监控领域中物体的外凸折反射镜面，外凸折反射镜面朝下，用于防止光折射和光饱和的黑色圆锥体，黑色圆锥体固定在折反射镜面外凸部的中心，用于支撑外凸折反射镜面的透明圆柱体，用于拍摄外凸反射镜面上成像体的摄像头，摄像头对着外凸反射镜面朝上；所述的微处理器还包括：大范围监控摄像机1标定模块，用于建立监控空间的图像与所获得的视频图像的对应关系；大范围监控摄像机1与快速球摄像机2之间的视频数据融合模块，用于控制快速球摄像机2的转动与调焦，使得快速球摄像机2能对准所跟踪人体对象的脸部进行特写抓拍；多目标跟踪模块，用于跟踪监控领域内的多目标人体对象；虚拟线定制模块，用于定制在监控领域内的检测检测线，一般虚拟线定制在监控领域的出入口处；人体对象ID号和存放跟踪人体对象的脸部图像文件夹的自动生成模块，用于对刚进入大范围监控摄像机的视场最外边的虚拟线的人体对象进行命名，当活动人体对象进入监控范围时，***自动会产生一个人体对象ID号并同时生成一个以该人体对象ID号命名的文件夹，用于存放该人体对象的脸部的特写图像；多目标人体跟踪模块，用于跟踪进入监控领域内的多目标人体对象；人体对象的脸部特写图像定位抓拍模块，用于定位抓拍跟踪人体对象的脸部图像；人脸图像检测预处理模块，用于对存放在以人体对象ID号命名的文件夹内人体对象的脸部特写图像进行粗检测，快速的淘汰一些没有人脸部位的图像，对有希望能进行人脸识别的图像的文件名上做上标记，为后续人脸检测精处理准备好图像数据；人脸检测精处理模块，用于对存放在以人体对象ID号命名的文件夹内经人脸图像检测预处理后的图像进行进一步的处理，以保证后续图像识别处理的效率，对有希望能进行人脸识别的图像的文件名上做上标记，为后续人脸识别处理准备好图像数据；人脸识别模块，用于对存放在人体对象ID号命名的文件夹中的有标记的人体对象的脸部的特写图像进行识别；识别结果进行表决处理模块，用于对某个人体对象ID所对应的多个识别结果进行表决，以提高整个装置的识别率，减少误判率和拒判率；

所述的人体对象ID号，用于产生一个能标识跟踪的人体对象、存储对该人体对象的进入监控领域的时间、走向等数据进行记录的主键，人体对象ID号的命名规则是：YYYYMMDDHHMMSS^*以14位符号命名，YYYY-表示公历的年；MM-表示月；DD-表示日；HH-表示小时；MM-表示分；SS-表示秒；均由计算机的***时间自动产生；

所述的人体对象ID号和存放跟踪人体对象的脸部图像文件夹的自动生成模块，用于保存跟踪的人体对象脸部的特写图像以及后续处理后的图像结果，当人体对象进入监控范围(最外的虚拟线)时，***自动产生一个人体对象ID号，同时在某个存放图像的文件夹内创建一个与人体对象ID号同名的文件夹，用来存放该人体对象脸部的特写图像以及后续处理后的图像结果，图像文件的命名方式是根据对快速球摄像机2的编号以及抓拍的次数来确定的，如果有5台快速球摄像机2构成，我们对这5台快速球摄像机2进行编号，分别为1号快速球摄像机，...，5号快速球摄像机；如果***抓拍了一次，那么所产生的图像文件名分别为11、21、31、41、51，图像文件名51就表示了编号为5号的快速球摄像机第1次抓拍到的人体对象脸部的特写图像；

所述的多目标人体跟踪模块，用于跟踪进入监控领域内的多目标人体对象；为计算活动人体走向、各种事件的检测以及人体对象脸部的定位抓拍提供技术基础；在实现多目标人体跟踪时，首先要在底层特征层将监控领域背景中把前景人体部分的像素点提取出来。提取人体部分的像素点的方法主要由自适应背景消减、阴影抑制和连通区域标识三个部分组成，其顺序图如附图15所示；

所述的自适应背景消减，用于实时分割人体对象目标，我们采用的是基于混合高斯分布模型的自适应背景消除算法，它的基本思想是：使用混合高斯分布模型来表征图像帧中每一个像素点的特征；当获得新的图像帧时，更新混合高斯分布模型；在每一个时间段上选择混合高斯分布模型的子集来表征当前的背景；如果当前图像的像素点与混合高斯分布模型相匹配，则判定该点为背景点，否则判定该点为前景点。

针对图像的YCrCb颜色空间中的亮度值Y分量进行检测。自适应混合高斯模型对每个图像点采用了多个高斯模型的混合表示，设用来描述每个点颜色分布的高斯分布共有K个，分别标记为

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…，k                 (1)

式(1)中的下标t表示时间。各高斯分布分别具有不同的权值和优先级，再将K个背景模型按照优先级从高到低的次序排序，取定适当的背景模型权值和阈值。在检测前景点时，按照优先级次序将Y_t与各高斯分布模型逐一匹配。若匹配，则判定该点可能为前景点，否则为前景点。若某个高斯分布与Y_t匹配，则对该高斯分布的权值和高斯参数按一定的更新率进行更新。

所述的连通区域标识，用于提取前景人体对象，连通区域标识的方法很多，本发明中采用的是八连通区域提取算法。另外连通区域标识受初始数据中的噪声影响很大，一般需要先进行去噪处理，去噪处理可以通过形态学运算实现，本文中利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔，具体做法是：先对消除了背景模型后的前景点集F分别进行膨胀和腐蚀处理，得到扩张集Fe和收缩集Fc，通过处理所得到的扩张集Fe和收缩集Fc可以认为是对初始前景点集F进行填补小孔和去除孤立噪声点的结果。因此有以下关系Fc＜F＜Fe成立，接着以收缩集Fc作为起始点，在扩张集Fe上检测连通区域，然后将检测结果记为{Rei，i＝1，2，3，...，n}，最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果{Ri＝Rei∩F，i＝1，2，3，...，n}，通过这种目标分割算法既能保持目标的完整性同时也避免了噪声前景点的影响，还保留了目标的边缘细节部分。

经过以上三个步骤就可以从静态的监控领域背景中将动态的前景人体对象提取出来，并且可以得到基于人体对象的一些初始信息，如人体对象的大小和位置等等。在监控领域背景中提取出前景人体对象后，接着的处理是对监控领域内的人体对象进行跟踪处理；本发明中采用基于目标颜色特征跟踪算法，该算法是对MEANSHIFT算法的进一步改进，在该算法中利用人体目标对象的颜色特征在视频图像中找到运动人体目标对象所在的位置和大小，在下一帧视频图像中，用运动目标当前的位置和大小初始化搜寻窗口，重复这个过程就可以实现对目标的连续跟踪。在每次搜寻前将搜寻窗口的初始值设置为运动目标当前的位置和大小，由于搜寻窗口就在运动日标可能出现的区域附近进行搜寻，这样就可以节省大量的搜寻时间，使该算法具有了良好的实时性。同时该算法是通过颜色匹配找到运动目标，在运动目标运动的过程中，颜色信息变化不大，所以该算法具有良好的鲁棒性。在连通区域标识处理后所得到的人体目标对象的方位以及大小，然后将处理结果提交给目标颜色特征跟踪算法，以实现人体对象的自动跟踪，如附图4所示。

所述的人体对象的脸部特写图像定位抓拍模块，用于定位抓拍跟踪人体对象的脸部图像；在多目标人体跟踪模块处理中获得了人体对象的大小与方位信息，我们还需要从整个人体跟踪框内快速的获得人体对象的脸部位置信息，以便能对人体对象的脸部特写抓拍；但是有时候会出现这种情况，即人体对象背朝着大范围监控摄像机1的视觉方向，因此在大范围监控摄像机1视频图像中无法获得人体对象的脸部信息；本发明中采用肤色定位以及人体模型来确定人体对象的头部位置，大量研究表明不同年龄的人的肤色看上去不同，但是这种不同主要体现在亮度上。在去除亮度的亮度空间中，不同人的肤色分布具有很好的聚类性。建立肤色聚类模型的步骤如下：

1、将人脸的皮肤区域从每区域分割出来，获取肤色样本；

2、由于大部分的图像捕捉设备采用的都是RGB格式，因此需要将肤色样本的颜色格式进行转换，从RGB空间转换到YUV色彩空间的转换矩阵如下；

$\left[\begin{array}{c}Y\\ \mathrm{Cr}\\ \mathrm{Cb}\end{array}\right]=\left[\begin{array}{ccc}0.257& 0.504& 0.098\\ 0.439& -0.368& -0.071\\ -0.148& -0.291& 0.439\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]+\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]---\left(2\right)$

3、对转换后的肤色区域的C_r和C_b的值进行统计分析，给出它们值的分布信息。根据研究成果，发现人脸肤色在YUV空间内的C_r和C_b值分布在特定的范围之内：133≤C_r≤173，77≤C_b≤127，则可判断出为人体。如果满足上述条件，即为肤色点，并对人体肤色建立一张二值图像，并进行连通区域个数计算。对于人脸肤色的检测，并不需要检测二值图中的一个连通区域的全部，因为只需要脸部肤色检测即可，人体头部在整个人体上端部位，则可设置只检测连通区域高度的1/3，能快速的将人脸部位进行定位。对于无法检测到的人脸肤色情况，考虑人体的头部占整个人体对象高度方向上的1/7左右，因此可以对所检测连通区域高度方向上端的1/6～1/7处进行定位，定位框的大小是由人体对象连通区域宽度和人体对象高度的比例来确定的。在得到定位框的大小以及方位后，就可以指示其他多个快速球摄像机2朝着定位框的方位进行抓拍人脸部位图像，所拍摄的图像按所述的人体对象ID号和存放跟踪人体对象的脸部图像文件夹的自动生成模块中所约定的方式存储，为是否含有人脸检查模块中进行粗检测提供图像数据；

上述这些处理模块都集成在线程①内；

所述的人脸检测预处理模块，用于对存放在以人体对象ID号命名的文件夹内人体对象的脸部特写图像进行粗检测，集成在线程②内，主要是对有希望能进行人脸识别的图像的文件名上做上标记，为后续人脸识别处理准备好图像数据；本发明中采用模式拒绝思想，对存储单元内的脸部特写图像采用基于YCrCb颜色模型进行粗检测，淘汰一些不能或者难以进行人脸检测识别图像，基于肤色模型的人脸检测大致上可分为两个步骤：(1)人脸区域筛选：利用肤色模型逐个检测像素是否属于皮肤或人脸区域内的像素或者评估属于皮肤或人脸区域的似然度。与模式拒绝的类似，用于减少侯选区域的范围；(2)人脸验证：对属于皮肤或人脸的区域进一步进行验证，以判断是否为人脸。人脸检测预处理算法步骤如下：

1)遍历图像的每个像素，用YCrCb空间的查找表方法为每个像素赋一个属于肤色的概率值，根据预先设置的阈值(133≤C_r≤173，77≤C_b≤127)决定该像素是否属于人脸皮肤，最后得到图像的肤色区域二值映射图，0、1分别表示皮肤区域和非皮肤区域；

2)用肤色区域的二值映射图作为人脸检测的重要线索，只有检测窗口A_window内皮肤区域面积A_skin所占的比例在某个范围之间才进行下一步的人脸验证，验证的公式如式(3)所示，

${\mathrm{\λ}}_1\≤\frac{A_{\mathrm{skin}}}{A_{\mathrm{window}}}\≤{\mathrm{\λ}}_2---\left(3\right)$

式中：A_window为二值映射图的检测窗口，A_skin为二值映射图的检测窗口A_window内皮肤区域面积，λ₁、λ₂为判断系数，分别取0.65和0.98；在计算检测窗口内皮肤区域的面积时用到积分图像的方法，对上面的二值映射图求积分图像，这样肤色区域面积可以通过积分图像的简单的加减运算得到，事实上积分图像在上一步遍历图像的同时即可计算得到，通过人脸检测预处理的筛选大部分非人脸区域以及侧位的人脸图像被排淘汰了；由于人脸在正面情况下，其外部轮廓为椭圆型，因此也可以通过椭圆拟合的方法来进行验证二值映射图是否是正面人脸；

3)对于通过人脸验证的检测窗口A_window，为了提高后续人脸识别的效率，首先我们将检测窗口A_window乘上一个数来适当的扩大窗口的面积，使得该面积能包含整个人脸部分(类似于身份证的照片)并对其进行截取，然后将所截取在原图像名的后面加上一个字符0，比如原图像名为51，经人脸检测预处理算法处理后的图像名为510，在后续人脸识别处理中只对文件名长度为3个字符的图像文件进行人脸识别检测处理；

4)在人脸检测预处理模块中需要遍历在文件夹下面的所有文件名长度为2个字符的图像文件(抓拍的图像)，在处理完这些图像文件后，需要检查可供人脸识别检测处理的图像文件数，如果检测出少于所规定的数，那么就要求快速球摄像机2继续进行抓拍。

所述的人脸检测精处理模块，用于对存放在以人体对象ID号命名的文件夹内经人脸图像检测预处理后的图像进行进一步的处理，以保证后续图像识别处理的效率，该模块集成在线程③内，主要是对有希望能进行人脸识别的图像的文件名上做上标记，为后续人脸识别处理准备好图像数据；本发明中采用基于AdaBoost算法的组合成强分类器对人脸图像检测预处理后的图像进行处理，附图5为一种层叠分类器的形式，它是由一系列强分类器的组合而成，其中每一层都是算法训练得到的一个强分类器。层叠分类器中的第一级可以只使用非常少的计算量，去除大量的非人脸窗口。接下来的一些子分类器层进一步去除剩余部分中的非人脸窗口，但是需要更多的计算量。经过几级分类器的处理，候选人脸的子窗口数量急剧下降。组成强分类器的弱分类器个数随着级数的增加而增加。每层的强分类器经过阈值调整，使得每一层都能让几乎全部的人脸样本通过，而淘汰很大一部分非人脸样本。

人脸检测精处理模块中主要包括训练器和检测器两个部分，关于检测器中的特征计算主要由学者P.Viola首先提出，该学者的重要贡献是实现了快速人脸检测，使人脸检测更趋于实用。在检测器中有三个关键问题得到了很好的解决：1)利用了“积分图”的概念，这使得检测器中特征的计算非常快；2)基于AdaBoost的学习算法。它能从一个很大的特征集中选择很小的一部分关键的特征，从而产生一个极其有效的分类器；3)在级联的检测器中不断增加更多的强分类器。这可以很快排除背景区域，从而节约出时间用于对那些更像人脸的区域进行计算。

所述的“积分图”，如附图6所示，坐标点(x，y)的积分图定义为其所对应的图中左上角的像素值之和，用公式(4)表示，

$\mathrm{ii}(x,y)=\underset{x^{\′}\≤x,y^{\′}\≤y}{\mathrm{\Σ}}i(x^{\′},y^{\′})---\left(4\right)$

式中，ii(x，y)表示像素点(x，y)的积分图，i(x，y)表示原始图像。

因此要计算得到ii(x，y)通过通过公式(5)进行迭代计算，

s(x，y)＝s(x，y-1)+i(x，y)           (5)

ii(x，y)＝ii(x-1，y)+s(x，y)

式中，s(x，y)表示行的积分和，且s(x，-1)＝0，ii(-1，y)＝0。

因此要求得一幅图像的积分和，只需遍历一次图像即可。借助于图6中使用的四个矩形，可以使用积分图计算任何矩形中所有像素的值之和。对于图6中使用的四个矩形的积分图的值计算，点“1”的积分图的值是矩形框A中所有像素的像素值之和。点“2”的积分图所对应的值为A+B，点“3”是A+C，点“4”是A+B+C+D，所以D中所有的像素值之和可以用4+1-(2+3)计算。

关于求矩形构成的特征，如图7所示的是检测窗内的矩形特征例子。特征值的求法为白色矩形框内的所有像素点的和减去灰色矩形框中的所有像素点的和。图7中的(A)(B)表示的是两个矩形框的Harr-like特征，图7中的(C)表示的是三个矩形框的Harr-like特征，图7中的(D)(E)表示的是四个矩形框的Harr-like特征，这五种对称矩形Haar-Like特征是由学者P.Viola所提出，并用来描述人脸的边缘特征信息。很明显，图7中由两个矩形构成的特征，其像素和之差可通过六个参考矩形求得；由三个矩形构成的特征可以通过八个参考矩形求得；由四个矩形构成的特征可以通过九个参考矩形求得。

所述的基于AdaBoost的学习算法，用于将一个很大的特征集中选择很小的一部分人脸关键的特征，从而产生一个极其有效的分类器；图7中所示的矩形特征在样本图像中的大小和位置都是可变的，因此在逐像素遍历的情况下特征总数目为210208个，其具体分布数目如表1所示，

          表1对称矩形特征数目统计表

特征类型	A	B	C	D	E
						数目	65472	66240	41664	31680	5152

表1中的特征总数目数远大于图像中像素的数目，由于采用了上述的“积分图”后每个特征都能很快计算出来，表2为各类对称矩形特征值的辅助计算次数表，

表2对称矩形特征值的辅助计算次数表

特征类型	A	B	C	D	E
						计算次数	6	6	8	9	16

由于正面人脸的器官布局比较固定，具有明显的对称性，考虑到后续的人脸识别中需要的是正面人脸的图像，所以本发明中采用对称矩形特征来描述人脸。接着可以通过试验选出一小部分作为特征以形成一个有效的分类器。要得到最终的强分类器，最重要的是如何找到这些特征。因此每个弱分类器的设计都是从能对正例和反例进行正确分类的所有弱分类器的集合中选择错误率最小的一个。对每个特征而言，弱学习器决定弱分类器的最佳的门限值，使其具有最小的误分样本数。因此一个弱分类器h_j(x)由一个特征f_j、一个门限值θ_j和一个指示不等式方向的校验器P_j所构成，用公式(7)表示，

$h_j\left(x\right)=\left\{\begin{array}{cc}1& \mathrm{if}{P}_j{f}_j\left(x\right)<P_j{\mathrm{\&theta;}}_j\\ 0& \mathrm{otherwise}\end{array}\right.---\left(7\right)$

式中：h_j(x)表示弱分类器的分类结果，θ_j表示弱学习算法寻找出的阈值，P_j∈{-1，1)表示不等号的偏置方向，f_j(x)表示特征值，x表示一个矩形特征，是图像中一个24×24像素大小的子窗口；由于不等号的偏置方向有两个，因而每个特征对应有两个弱分类器。弱学习的最终目的是找出使分类器具有最好分类性能的θ_j和P_j。

在AdaBoost的训练过程中，训练样本自身的各个特征值不会随着训练而改变，改变的只是样本的权重ω_j。因此对于每个正在进行弱学习的特征，将对于所有样本的该特征值都计算出来，θ_j的遍历寻优只需在样本特征值分布空间中进行，对单个特征f_j(x)而言，所有的训练样本对于该特征值可以表示为f_j(x₁)，f_j(x₂)，…，f_j(x_n)，因此只要求得

和

i＝1，2，…，n，这样得到了一个先验信息，最优阈值θ_j只需要在区间 $[\underset{i}{\min }{f}_j\left(x_i\right),\underset{i}{\max }{f}_j\left(x_i\right)]$ 内寻找，从而可以缩小遍历空间，减少训练时间。另外偏置P_j∈{-1，1}所构成的弱分类器的误差ε_t，P＝-1和ε_t，P＝1是互补的，即存在着ε_t，P＝-1＝1-ε_t，P＝1关系，所以我们只需要对其中一个偏置计算出其最大的误差率maxε_t，P＝-1或者最小的误差率minε_t，P＝-1，如果minε_t，P＝-1＜1-maxε_t，P＝-1成立，那么该弱分类器的最优偏置为-1，否则为1，通过这种判断可以减少计算量。下面是训练一个弱分类器的算法，

●给定矩形特征f(x)及训练样本(x₁，y₁)，...，(x_m，y_m)和样本权值ω₁，...，ω_m；

●error＝(lerror+rerror)表示当前弱分类器的错误里的最小值。初始时左误差lerror＝lel0，右误差rerror＝lel0；

●for i＝1 to rn＝f(x_j)

●对样本按eval从小到大排序

●for i＝1 to m-1

$1.---w1=\underset{k=l}{\overset{i}{\mathrm{\&Sigma;}}}{w}_k,\mathrm{wr}=\underset{k=i+1}{\overset{m}{\mathrm{\&Sigma;}}}{w}_k$

$2.---\mathrm{wy}1=\underset{k=1}{\overset{i}{\mathrm{\&Sigma;}}}{w}_k*y_k,\mathrm{wyr}=\underset{k=i+1}{\overset{m}{\mathrm{\&Sigma;}}}{w}_k*y_k$

3.left＝wyl/wl，right＝wyr/wr

4.if left＜right then left＝-1，right＝1else left＝1，right＝-1

$5.---\mathrm{lerror}=\underset{k=1}{\overset{i}{\mathrm{\&Sigma;}}}{w}_k*|y_k-\mathrm{left}|,\mathrm{rerror}=\underset{k=i+1}{\overset{m}{\mathrm{\&Sigma;}}}{w}_k*|y_k-\mathrm{right}|$

6.if lerror+rerror＜error then

error＝lerror+rerror

θ＝(eval[i]+eval[i+1])/2

α₁＝left，α₂＝right

从AdaBoost算法的迭代过程可以看出，AdaBoost算法的核心思想是每一次迭代过程在当前的概率分布(样本权值可以看作一种概率分布)上找到一个具有最小错误率的弱分类器，然后调整概率分布，增大当前弱分类器错分的样本的权值，降低当前弱分类器正确分类的样本的权值，以突出分类错误的样本，使得下一次迭代更加针对本次的不正确分类，即针对更“难”分类的样本，使得那些被错分的样本得到进一步的重视。最终选择最具有分类意义的t个弱分类器根据权值合成一个强分类器。

所述的AdaBoost训练强分类器算法如下，

●确定要训练的轮数T

●获取并保存训练样本

P表示人脸样本集合，叫做P集，人脸样本也叫正例；N表示非人脸样本集合，叫做N集，非人脸样本也叫负例；样本可以表示为(x₁，y₁)，...，(x_m，y_m)，当y_i＝1时，样本i是正例，y_i＝-1是负例；m是样本总个数，p为正样本个数q为负样本个数，p+q＝m。

●初始化样本权值，w_i(i)＝1/2p for正例，w_i(i)＝1/2q for负例

●f为当前强分类器的误检率，初值f＝1

●for t＝1 to T

●for每个矩形特征训练一个相应的弱分类器h_j(x)，选择分类错误最小的弱分类器做为当前分类器h_t(x)。其中，分类错误

${\mathrm{\&epsiv;}}_t=\frac{1}{2}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{w}_i*|h_t\left(x_i\right)-y_i|$

●更新每个样本的权值

$w_{t+1}\left(i\right)=\frac{w_t\left(i\right)}{Z_t}\exp (-{\mathrm{\&alpha;}}_t*y_i*h_t\left(x_i\right))$

$Z_t=2\sqrt{{\mathrm{\&epsiv;}}_t*(1-{\mathrm{\&epsiv;}}_t)}$

${\mathrm{\&alpha;}}_t=\frac{1}{2}\ln \left(\frac{1-{\mathrm{\&epsiv;}}_t}{{\mathrm{\&epsiv;}}_t}\right)>0$

●t＝t+1

$H_{\mathrm{final}}\left(x\right)=\underset{i=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t*h_t\left(x\right)-b$

上述的AdaBoost算法用于人脸与非人脸的检测，在检测并判定为是人脸的情况下，接着就需要进行人脸识别，识别出这张图像是谁；

所述的人脸识别，用于对精检测后的人脸图像进行人脸识别，该识别模块集成在线程④内，本专利中采用基于局部特征人脸识别方法，与人脸检测一样，不同的是在人脸检测中使用的样本是人脸和非人脸，而在人脸识别中使用的样本各种不同人脸样本，因此首先对精检测后的人脸图像I_S进行离散小波变换将人脸模式的差异分为类内差和类间差，通过在不同分辨率的局部区域采样构造弱分类器并用AdaBoost算法进行自适应集成。针对输入图像I_S和数据库样本I_T之间的差异d(I_S，I_T)进行建模，d(I_S，I_T)可以分为两类，“类内差”Ω_T和“类间差”Ω_E。根据Bayes决策理论，若I_S和I_T属于同类则有公式(8)，

P(Ω_T|d(I_s，I_T))＞P(Ω_E|d(I_s，I_T))         (8)

决策规则可以用公式(9)表示，

J(I_s，I_T)＝P(d(I_s，I_T)|Ω_T)P(Ω_T)-P(d(I_s，I_T)|Ω_E)P(Ω_E)    (9)

在识别过程中只有J(I_s，I_T)≥0，即当差异属于“类内差”Ω_T时，才将I_S和I_T判为同类，否则属于不同类；为了实现基于局部特征人脸识别，***构造分为训练和识别两个阶段，在***训练阶段时，人脸识别***训练过程框架如附图8所示；人脸图像样本经过预处理、离散小波分解、局部加窗采样得到局部冗余信号，然后两两配对计算局部信号相似度得到局部特征向量集，并将特征集分为两类“类内差”Ω_T和“类间差”Ω_E。然后利用Boosting算法从特征集中自适应选择弱分类器，最终构成强分类器；在***识别阶段时，人脸识别***框架如附图9所示，经精检测后的人脸图像I_S经过与训练步骤相同的特征提取得到局部信号，并与比对样本逐个计算局部相似度，然后输入集成分类器，最终识别类别由输出值最大的样本决定。在进行人脸识别时提交给识别的图像是在人脸精检测处理后的人脸图像，从而保证了在识别阶段的人脸图像的质量，同时也决定了人脸的确切位置。

在附图8、9中所示的图像预处理中，本发明中用一个椭圆模板对图像进行掩模处理，其目的是为了突出人脸部分而抑制发型衣服背景的影响，具体做法是采用模糊模板构造方法，以坐标(39.5，41)为中心的椭圆，把椭圆内部设置为1，把椭圆外部以指数形式递减至0；在掩模处理操作时只要将这个预先存储的模板与输入的图像矩阵做点对点的乘法即可；这种做法的优点是：考虑到不同的脸型在人脸识别中的重要作用的同时又能充分抑制背景、衣服等对识别的影响；

在附图8、9中所示的离散小波变换处理中，本发明采用线性变换的形式对掩模处理后的人脸图像进行离散小波变换，变换公式由(10)给出，

$y=W_{\mathrm{wavelet}}^{T}x---\left(10\right)$

式中，W_wavelet ^T为小波滤波器，y称为小波脸，x为掩模处理后的人脸图像；

由于小波脸投影方向只与单个样本有关，当人脸数据库中加入新个体时不需要考虑全部训练样本。如果我们采用4级小波分解的系数的方法，其中每级分解都是在前一级的近似系数域上进行的，同时抛弃第一、二级分解的细节系数，可以得到14个小波系数域；在低分辨率的小波域中不同个体的人脸表现出极大的相似性，因而不容易进行人脸识别；而在较高的分辨率的小波域中能显示出不同人脸间的细节差异，通过提取局部人脸特征信息为人脸识别作好特征数据准备；

在附图8、9中所示的局部区域采样处理中，为了得到鲁棒的局部分类器，对原始信号冗余化，用移动正方形窗口在小波系数域上采样，子窗口扫描方向为从左到右、从上到下，附图10表示了局部图像块采样扫描过程；窗口边长s_i和移动距离g_i在不同分辨率有所不同，表3所示的是小波分解每级的局部特征说明，

                      表3小波分解每级的局部特征

小波分解级数	对应的块的序号	分辨率(像素)	移动窗尺寸si(像素)	移动栅格gi(像素)	数目N＝280(个)
						1	1、2、3	48*40	16	8	20*3＝60
2	4、5、6	24*20	8	4	20*3＝60
						3	7、8、9、10	12*10	4	2	20*4＝80
4	11、12、13、14	6*5	2	1	20*4＝80

接着需要进行计算小波局部块特征，这些计算出来的特征值用于设计弱分类器，弱分类器的设计要求是对特征计算简单并能有效的区分“类内差”Ω_T和“类间差”Ω_E两类不同的特征，本发明中使用一对局部信号WI_l ^t、WI_l ^r的归一化相关系数作为区分两类的特征，用公式(11)来进行计算，

$x_l=d({\mathrm{WI}}_l^t,{\mathrm{WI}}_l^r)=\frac{<{\mathrm{WI}}_l^t,W_l^r>}{\left|{\mathrm{WI}}_l^t\right|\left|{\mathrm{WI}}_l^r\right|}---\left(11\right)$

式中，1为对应的局部区域，x_l的取值范围[-1，+1]，越接近1表示相关性越好，为了增加特征对人脸表情和光照等变化的鲁棒性，本发明中采用了邻域局部搜索和方差规范化这两种方法；

所述的邻域局部搜索方法，是对输入图像的局部块在参考图像对应块邻域上下左右平移计算相关值，并取最大值，由计算公式(12)给出，

$x_l=\underset{j=\mathrm{1,2},...5}{\max }{d}_j({\mathrm{WI}}_l^t,{\mathrm{WI}}_l^r)---\left(12\right)$

式中，参考图像对应块邻域上下左右平移量Δ＝s_i/8，s_i为局部块的边长；

所述的方差规范化方法，本发明中采用块内方差规范化方法来抑制光照的影响，块内方差规范化计算公式由(13)给出，

$\mathrm{WI}\text{'}=\frac{\mathrm{WI}-m}{\mathrm{\&sigma;}}---\left(13\right)$

式中，m为信号均值，σ为方差，σ的计算公式如下，

${\mathrm{\&sigma;}}^2=\frac{1}{N}\mathrm{\&Sigma;}({\mathrm{WI}}^2-m^2)$

为了提高计算速度，本发明中使用附图6所示的积分图方法，预先计算并存储样本小波系数的积分图及平方值的积分图，这样可以把局部求和的运算简化为加减运算；

在附图8、9中所示的强分类器，是从以上计算得到的弱分类器集合里选择一个子集组成有效的强分类器，并计算弱分类器权重；因此组合强分类器模型构造的关键问题是：1)如何选择弱分类器{h_t(x)}_t＝1 ^T；2)如何确定分类器权重{α_t}_t＝1 ^T，使得组合分类器的泛化误差小。

所述的弱分类器，是在小波分解系数的不同区域构造多个分类器；“类内差”Ω_T和“类间差”Ω_E分别构成训练集的正样本和负样本。分类效率是选择弱学习 $\min \underset{y_i\&NotEqual;h_j\left(x\right)}{\mathrm{\&Sigma;}}{w}_i$ 器的主要依据，本专利中使用优化阈值分类器用样本特征的加权版本训练，w_i为样本权重，优化约束条件为

，利用梯度下降法得到对应的最优阈值θ_i，这样阈值分类函数可以由公式(14)给出，

$h_j\left(x\right)=\left\{\begin{array}{cc}1& \mathrm{ifx}-{\mathrm{\&theta;}}_j>0\\ -1& \mathrm{otherwise}\end{array}\right.---\left(14\right)$

所述的确定分类器权重{α_t}_t＝1 ^T，用于将以上弱分类器集合里选择一个子集组成有效的强分类器，本发明中采用基于置信率Confidence-rated的AdaBoost分类方法组成有效的强分类器，该分类方法是一个迭代过程它的每次迭代都选择一个弱分类器h_t，使公式(15)最小化，

$Z_t=\underset{i}{\mathrm{\&Sigma;}}{w}_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_i{y}_i{h}_t\left(x_i\right))---\left(15\right)$

式中，w_t(i)是第t次迭代中样本i的权重，x_i是样本特征，y_i∈(-1，1)为类标记，h_t为弱分类器，置信率α有两种可能的取值，即

${\mathrm{\&alpha;}}_{+}=\frac{1}{2}\ln \left(\frac{W_{++}}{W_{+-}}\right),{\mathrm{\&alpha;}}_{-}=\frac{1}{2}\ln \left(\frac{W_{--}}{W_{-+}}\right)---\left(16\right)$

式中，W_+-为正样本被错分为负样本时的权重，W_-+为负样本被错分为正样本时的权重，W₊₊为正样本被分为正样本时的权重，W_--为负样本被分为负样本时的权重；

人脸识别与训练的关键算法如下，

●输入N个训练样本序列((x₁，y₁)，...，(x_N，y_N))

●初始化根据y_i＝-1或1设置训练样本初始权重 $w_i^l=\frac{1}{2m},\frac{1}{2l}$

其中i＝1，...，N，m和l分别为负样本和正样本个数，N＝m+1

●Do for t＝1，...，T其中T代表迭代次数

1.规范化权重分布 $w_i^t\&LeftArrow;w_i^t/\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{w}_i^t$

2.对于每一个特征j用权重分布w_i ^t训练弱分类器h_j，具体见上述的弱分类器训练过程，

3.计算h_j误分类损失 ${\mathrm{\&epsiv;}}_j=\underset{y_i\&NotEqual;h_j\left(x_i\right)}{\mathrm{\&Sigma;}}{w}_i^t$

4.选择弱分类器h_t，依据若 ${\mathrm{\&epsiv;}}_t=\underset{j}{\min }{\mathrm{\&epsiv;}}_j$ ε_t＞0.5，则置T＝t-1退出循环。

5.计算加权值α_t，具体见确定分类器权重的处理，公式(16)

6.设置新的权重向量为

$w_i^{t+1}=w_i^t\exp [-{\mathrm{\&alpha;}}_t{y}_t{h}_t\left(x_i\right)]$

●输出 最终的强分类器为

$H\left(x\right)=\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t{h}_t\left(x\right)$

为了提高人脸识别速度，在识别过程中增加了模式拒绝的手段来加速识别速度，具体做法是首先排除明显的样本空间中不相关样本来缩小侯选范围，由T个弱分类器组成强分类器，

$H\left(x\right)=\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t{h}_t\left(x\right)$

然而T个弱分类器不必全部计算完后才进行判断，阶段性地根据拒绝阈值Th_reject拒绝负样本，即样本相似度小于Th_reject则属于“类间差”Ω_E，用公式(17)来表示，

$x_l=d({\mathrm{WI}}^t,{\mathrm{WI}}^r)\&Element;\left\{\begin{array}{cc}{\mathrm{\&Omega;}}_E& H_i\left(x\right)<{{\mathrm{Th}}^i}_{\mathrm{reject}}\\ \mathrm{unknown}& H_i\left(x\right)\&GreaterEqual;{{\mathrm{Th}}^i}_{\mathrm{reject}}\end{array}\right.---\left(17\right)$

式中， $H_i\left(x\right)=\underset{t=1}{\overset{T_i}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t{h}_t\left(x\right),{\left\{h_t\left(x\right)\right\}}_{t=1}^{T_i}\&Element;{\left\{h_t\left(x\right)\right\}}_{t=1}^T$

T_i为弱特征子集个数，T_i＜T，拒绝阈值Th_reject通过训练样本得到；

实际中为了保证鲁棒性每增加10个特征进行一次拒绝操作，并给拒绝阈值设置一个松弛量Th_reject＝min(H(x₊)^t-Δ)，Δ的取值范围可以由下列公式计算，

Δ＝0.1*(max(H(x₊)^t)-min(H(x₊)^t))    (18)

所述的决策层表决处理模块，用于对某个人体对象ID所对应的多个识别结果进行表决，以提高整个装置的识别率，减少误判率和拒判率；该模块集成在线程⑤内；评价一个人脸识别***的标准，包括识别率、错误拒绝率、错误接受率等；可以通过混淆矩阵来定义，混淆矩阵(Confusion matrix)表示属于第i类的测试特征向量被分配到第j类的概率，用矩阵表示估计值和实际输出值，对于每一张人脸图像识别是一个两类问题的四个可能的分类结果；用表4表示一张人脸图像识别分类的混淆矩阵，

                            表4混淆矩阵

对于第I张人脸图像的识别率可以由以下公式(19)计算，

${\mathrm{PersonID}}_{\mathrm{accuracy}}\left(I\right)=\frac{(a+d)}{(a+b+c+d)}---\left(19\right)$

对于第I张人脸图像的拒判率(False rejection rate，FRR)或拒真率(Falsenegtive rate)可以由以下公式(20)计算，

${\mathrm{PersonID}}_{\mathrm{FRR}}\left(I\right)=\frac{b}{(a+b)}---\left(20\right)$

对于第I张人脸图像的误判率(False acceptance rate，FAR)或认假率(Falsepositive rate)可以由以下公式(21)计算，

${\mathrm{PersonID}}_{\mathrm{FAR}}\left(I\right)=\frac{c}{(c+d)}---\left(21\right)$

误判率是衡量一张人脸图像的识别性能好坏的重要指标，然而实际使用中更关注的是拒真率FRR和认假率FAR这两项指标。因为识别率＝100％-FAR-FRR，而由于接受阈值的作用使FAR和FRR之间是相互矛盾的，因此根据实际应用需求合理地选择平衡这两个指标是非常重要的；

在本发明中，我们采用了人体跟踪技术，并将在多个角度、多个摄像机抓拍的人脸图像经检测预处理后存放在存放跟踪人体对象的脸部图像文件夹内，因此可以采用对在不同的摄像条件下某一个特定人物的多张人脸图像进行识别；由于摄像人脸的内外部条件相对独立这时该人物的每张人脸图像识别结果是相对独立的，因此可以采用概率统计的方法对多个识别结果进行表决处理来提高整个装置的识别率(Accuracy)，减少误判率(False acceptance rate，FAR)和拒判率(Falserejection rate，FRR)；如附图4所示，下面结合图4做流程说明，图中有5个快速球型摄像机，在跟踪某一个人体对象过程中共抓拍了5次，共得到25张抓拍图像，经人脸检测检验后可用于人脸识别的图像共有5张(文件名以3个字符表示)，也就是说在人脸检测检验过程中淘汰了20张不太有希望进行人脸识别的图像，我们用表5来表示该过程，图像文件名的变迁情况，

             表5经人脸检测检验前后抓拍的图像文件的变化

为了提高人脸识别率、减少误判率和拒判率，本专利中提出了一种简单的K/n的多数表决方法，既共有n张被识别的图像，如果有K张图像的人脸识别结果相同就判定为该结果，多数表决***框图如图11所示；多数表决***的作用是将多摄像机在不同的空间和时间所获得的人脸图像识别结果在决策层进行信息融合；具体的做法是采用多数表决的方法来确定K/n多数表决***的PersonID_FAR(K/n)、PersonID_FRR(K/n)和PersonID_accuracy(K/n)；

${\mathrm{PersonID}}_{\mathrm{accuracy}}(K/n)=\underset{i=0}{\overset{K}{\mathrm{\&Sigma;}}}n*C_i*{\mathrm{Accuracy}}^{n-i}*{(1-\mathrm{Accuracy})}^i---\left(22\right)$

针对表5所示的情况，对110、150、430、520和540这5张人脸图像进行识别，为了简化计算，我们假设在人脸识别处理中在大量被测试者的人脸识别率的统计概率FAR为10％，FRR为10％，Accuracy为80％的话，并假设每张人脸图像识别的FAR、FRR和Accuracy都相同，如果我们采用3/5作为多数表决的话，那么可以通过如下计算得到***的正确识别率为，

${\mathrm{PersonID}}_{\mathrm{accuracy}}(3/5)=\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}5*C_i*{\mathrm{Accuracy}}^{5-i}*{(1-\mathrm{Accuracy})}^i$

$={\mathrm{Accuracy}}^5+5*{\mathrm{Accuracy}}^4*(1-\mathrm{Accuracy})+10*{\mathrm{Accuracy}}^3*{(1-\mathrm{Accuracy})}^2$

$=0.942$

同样道理，用以下公式计算4/7多数表决结果，可以得到***的正确识别率为，

${\mathrm{PersonID}}_{\mathrm{accuracy}}(4/7)=\underset{i=0}{\overset{4}{\mathrm{\&Sigma;}}}7*C_i*{\mathrm{Accuracy}}^{7-i}*{(1-\mathrm{Accuracy})}^i$

$={\mathrm{Accuracy}}^7+7*{\mathrm{Accuracy}}^6*(1-\mathrm{Accuracy})+21*{\mathrm{Accuracy}}^5*{(1-\mathrm{Accuracy})}^2$

$+35*{\mathrm{Accuracy}}^4*{(1-\mathrm{Accuracy})}^3+35*{\mathrm{Accuracy}}^3*{(1-\mathrm{Accuracy})}^4=0.995$

我们可以用同样方法得到各种K/n多数表决***的PersonID_FAR(K/n)、PersonID_FRR(K/n)和PersonID_accuracy(K/n)的估计值；

进一步，要实现大范围、无约束的人脸识别，第一步是大范围内的人体视频检测，为了获得更多的视频信息，本发明中的大范围监控视觉传感器1采用全方位视觉传感器，由于全方位视觉传感器能捕捉到水平方向上360°的视频图像，如附图1所示，而快速球型摄像机2的水平方向的转角范围是360°、垂直方向的转角范围是90°，通过空间位置的映射将全方位视觉传感器和快速球型摄像机进行融合，当全方位视觉传感器发现某个人体对象目标之后，***返回一个人体对象目标的坐标信息，并利用这一信息来控制多个快速球型摄像机以定位拍人体对象头部目标，多个快速球型摄像机抓拍人体对象头部目标的图像信息保存在***所规定的文件夹内供后续人脸检测及人脸识别处理。值得指出的是，由于每个快速球型摄像机安装位置不同，有多少个快速球型摄像机就需要事先设定多少张空间对应关系标定表，当全方位视觉传感器检测到人体目标时，每个快速球型摄像机能根据自己与全方位视觉传感器的对应关系标定表进行快速定位。标定方法为：以全景图像中心为圆心，根据需要将全景图像分成一些圆环，如图1所示，然后将每个圆环划分几等份，可根据实际需要划分。这样，一幅全景图像就被规则地分成了数个区域，每个区域有它特定的角度、方向和大小。然后，根据全方位视觉传感器距地面的高度、快速球型摄像机空间位置和摄像头焦距等参数，依次确定快速球型摄像机要检测的区域所需要水平、垂直旋转的角度以及焦距。如果全方位视觉传感器检测到有人体对象目标存在，***就可以根据该人体对象目标所在区域和标定表自动调节各个快速球型摄像机，对人体对象目标进行抓拍特写；在全方位视觉传感器中能实现水平方向的360°的实时监控，其核心部件是折反射镜面，如图13中的3所示；其工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)。

图12中3-双曲线面镜，4-入射光线，7-双曲面镜的焦点Om(0，0，c)，8-双曲面镜的虚焦点即相机中心Oc(0，0，-c)，9-折反射光线，10-成像平面，11-实物图像的空间坐标A(X，Y，Z)，5-入射到双曲面镜面上的图像的空间坐标，6-反射在成像平面上的点P(x，y)。

进一步，所述的折反射镜面为了能够得到与空间物体坐标的对应点，折反射镜面采用双曲面镜来进行设计：所示的双曲面镜构成的光学***可以由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1(Z＞0)              (23)

$c=\sqrt{a^2+b^2}---\left(24\right)$

β＝tan^-1(Y/X)                              (25)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ    (26)

$\mathrm{\&gamma;}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]---\left(27\right)$

式中X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角一方位角，α表示入射光线在XZ平面上的夹角一俯角，f表示成像平面到双曲面镜的虚焦点的距离；

通过公式(28)，(29)，可将空间上的点(X，Y，Z)映射到成像平面上的坐标点(x，y)，可以实现空间的信息与成像平面信息的转换，以达到空间信息标定成像平面的信息的目的。

$x=\frac{{\mathrm{Xfa}}^2}{2\mathrm{bc}\sqrt{X^2+Y^2+Z^2-(b^2+c^2)Z}}---\left(28\right)$

$y=\frac{{\mathrm{Yfa}}^2}{2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}-(b^2+c^2)Z}---\left(29\right)$

更进一步，多视觉传感器信息的融合是通过映射表来实现的，目前市场上销售的快速球型摄像机可以带80-256个预置点，为了达到快速地将快速球型摄像机转动到全方位视觉传感器所检测到的目标并迅速对焦；为了实现多视觉传感器信息的融合，在本专利中将全方位视觉传感器的视场分为128个区域，如附图1所示，每个区域对应着其他多个快速球型摄像机的一个预置点，因此只要在全方位视觉传感器所拍摄的视频图像上划分好128个区域，然后对每个区域的中心作为其他多个快速球型摄像机的预置点；在全方位视觉传感器检测到人体对象的头部在某个检测区域出现时，微处理器得到该信息后控制快速球摄像机到与该区域所对应的预置点，对人体对象的头部进行特写抓拍。

实施例2

参照图2，其余部分与实施例1相同，所不同的是大范围监控摄像机1为广角摄像机，安装在监控空间的某一侧，用于监视整个空间内的人体对象，相应的广角摄像机与多个快速球型摄像机的映射表的建立是依据广角摄像机的视场范围来确定的。

实施例3

其余部分与实施例1～2相同，所不同的是各种线程的处理分布在不同的计算机上完成，具体做法是将多台计算机组成网络，将图像文件夹作为共享，在不同的计算机上完成其不同的计算内容，并将计算结果放入约定好的文件夹内，以实现分布式计算，提高运行速度。

Claims (8)

1、一种基于多摄像机信息融合的人脸识别检测装置，其特征在于：所述人脸识别检测装置包括用于跟踪监控大空间范围内多目标人体的运动以及行为的大范围视频监控摄像机、用于对被跟踪的人物的脸部进行特写抓拍的多个快速球型摄像机和用于对多摄像机进行信息融合和人脸检测识别处理的微处理器，所述的微处理器包括：

大范围监控摄像机标定模块，用于建立监控空间的图像与所获得的视频图像的对应关系；

大范围监控摄像机与快速球摄像机之间的视频数据融合模块，用于控制快速球摄像机的转动与调焦，使得快速球摄像机能对准所跟踪人体对象的脸部进行特写抓拍；

虚拟线定制模块，用于定制在监控领域内的检测检测线，虚拟线定制在监控领域的出入口处；

人体对象ID号和存放跟踪人体对象的脸部图像文件夹的自动生成模块，用于对刚进入大范围监控摄像机的视场最外边的虚拟线的人体对象进行命名，当活动人体对象进入监控范围时，***自动会产生一个人体对象ID号并同时生成一个以该人体对象ID号命名的文件夹，用于存放该人体对象的脸部的特写图像；

多对象人体跟踪模块，用于跟踪监控领域内的多目标人体对象，包括：

自适应背景消减单元，用于在底层特征层将监控领域背景中把前景对象目标部分的像素点提取出来，混合高斯分布模型来表征图像帧中每一个像素点的特征；设用来描述每个点颜色分布的高斯分布共有K个，分别标记为：

η(Y_i，μ_t，i，∑_t，i)，i＝1，2，3…，k                   (12)

式(12)中的下标t表示时间，各高斯分布分别具有不同的权值和优先级，再将K个背景模型按照优先级从高到低的次序排序，取定适当的背景模型权值和阈值，在检测前景点时，按照优先级次序将Y_t与各高斯分布模型逐一匹配，若匹配，则判定该点可能为前景点，否则为前景点；若某个高斯分布与Y_t匹配，则对该高斯分布的权值和高斯参数按一定的更新率进行更新；

阴影抑制单元，用于通过形态学运算实现，利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔，先对消除了背景模型后的前景点集F分别进行膨胀和腐蚀处理，得到扩张集Fe和收缩集Fc，通过处理所得到的扩张集Fe和收缩集Fc是对初始前景点集F进行填补小孔和去除孤立噪声点的结果；因此有以下关系Fc＜F＜Fe成立，接着以收缩集Fc作为起始点，在扩张集Fe上检测连通区域，然后将检测结果记为{Rei，i＝1，2，3，…，n}，最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果{Ri＝Rei∩F，i＝1，2，3，…，n}；

连通区域标识单元，用于采用八连通区域提取算法提取前景目标对象；

跟踪处理单元；用于基于目标颜色特征跟踪算法，利用目标对象的颜色特征在视频图像中找到运动目标对象所在的位置和大小，在下一帧视频图像中，用运动目标当前的位置和大小初始化搜寻窗口，在连通区域标识单元处理后所得到的目标对象的方位以及大小，然后将处理结果提交给目标颜色特征跟踪算法，以实现多目标对象的自动跟踪；

人体对象的脸部特写图像定位抓拍模块，用于定位抓拍跟踪人体对象的脸部图像，对人体肤色建立一张二值图像，进行连通区域个数计算，检测人体头部在整个人体上端部位，检测连通区域高度的1/3；

人脸图像检测预处理模块，用于对存放在以人体对象ID号命名的文件夹内人体对象的脸部特写图像进行粗检测，用肤色区域的二值映射图作为人脸检测判定标准，如检测窗口A_window内皮肤区域面积A_skin所占的比例在设定范围之间，遍历整个人脸图像，并采用椭圆方法判定是否为正面人脸；

人脸检测精处理模块，用于对存放在以人体对象ID号命名的文件夹内经人脸图像检测预处理后的图像进行进一步的处理，采用离散小波分解、局部加窗得到局部冗余信号，两两配对计算局部信号相似度得到局部特征向量集，并将特征集分为两类“类内差”Ω_T和“类间差”Ω_E，利用Boosting算法从特征集中自适应选择弱分类器，最终构成强分类器，得到人脸图像I_S；

人脸识别模块，用于对存放在人体对象ID号命名的文件夹中的有标记的人体对象的脸部的特写图像进行识别，经精检测后的人脸图像I_S经过与训练步骤相同的特征提取得到局部信号，并与比对样本逐个计算局部相似度，然后输入集成分类器，最终识别类别由输出值最大的样本决定。

2、如权利要求1所述的基于多摄像机信息融合的人脸识别检测装置，其特征在于：所述微处理器还包括：

识别结果进行表决处理模块，用于对某个人体对象ID所对应的多个识别结果进行表决，评价一个人脸识别***的标准，包括识别率、错误拒绝率、错误接受率；

通过混淆矩阵来定义，混淆矩阵表示属于第i类的测试特征向量被分配到第i类的概率，用矩阵表示估计值和实际输出值，对于每一张人脸图像识别是一个两类问题的四个可能的分类结果；

对于第I张人脸图像的识别率可以由以下公式(19)计算，

${\mathrm{PersonID}}_{\mathrm{accuracy}}\left(I\right)=\frac{(a+d)}{(a+b+c+d)}---\left(19\right)$

对于第I张人脸图像的拒判率(False rejection rate，FRR)或拒真率(Falsenegtive rate)可以由以下公式(20)计算，

${\mathrm{PersonID}}_{\mathrm{FRR}}\left(I\right)=\frac{b}{(a+b)}---\left(20\right)$

对于第I张人脸图像的误判率(False acceptance rate，FAR)或认假率(Falsepositive rate)可以由以下公式(21)计算，

${\mathrm{Per}\sin \mathrm{ID}}_{\mathrm{FAR}}\left(I\right)=\frac{c}{(c+d)}---\left(21\right)$

采用多数表决的方法来确定K/n多数表决***的PersonID_FAR(K/n)、PersonID_FRR(K/n)和PersonID_accuracy(K/n)；

${\mathrm{PersonID}}_{\mathrm{accuracy}}(K/n)=\underset{i=0}{\overset{K}{\mathrm{\&Sigma;}}}n*C_i*{\mathrm{Accuracy}}^{n-i}*{(1-\mathrm{Accuracy})}^i---\left(22\right)$

共有n张被识别的图像，如果K张图像的人脸识别结果相同就判定为该结果，K为预设的阈值。

3、如权利要求2所述的基于多摄像机信息融合的人脸识别检测装置，其特征在于：所述微处理器采用多线程处理，将整个人脸识别检测分为以下处理线程：①多目标的人体跟踪与特写抓拍作为一个线程；②将基于YCrCb颜色模型进行粗检测作为一个线程，③将基于AdaBoost算法的组合成强分类器处理作为一个线程；④将人脸图像识别作为一个线程；⑤将表决处理作为一个线程；上述5个线程的优先级别是从线程的①到⑤顺序来确定。

4、如权利要求1-3之一所述的基于多摄像机信息融合的人脸识别检测装置，其特征在于：所述的大范围视频监控摄像机为广角摄像机，所述广角摄像机安装在监控空间的一侧。

5、如权利要求1-3之一所述的基于多摄像机信息融合的人脸识别检测装置，其特征在于：所述的大范围视频监控摄像机为全方位摄像机，所述全方位摄像机安装在监控领域的中间，所述的全方位摄像机包括用于反射监控领域中物体的外凸折反射镜面，外凸折反射镜面朝下，用于防止光折射和光饱和的黑色圆锥体，黑色圆锥体固定在折反射镜面外凸部的中心，用于支撑外凸折反射镜面的透明圆柱体，用于拍摄外凸反射镜面上成像体的摄像头，摄像头对着外凸反射镜面朝上。

6、如权利要求1-3之一所述的基于多摄像机信息融合的人脸识别检测装置，其特征在于：所述的大范围监控摄像机与快速球摄像机之间的视频数据融合模块，通过空间位置的映射将大范围视频监控摄像机和快速球型摄像机进行融合，当大范围视频监控摄像机发现人体对象目标之后，***返回一个人体对象目标的坐标信息，并利用这一信息来控制多个快速球型摄像机以定位拍人体对象头部目标，多个快速球型摄像机抓拍人体对象头部目标的图像信息保存在***所规定的文件夹内供后续人脸检测及人脸识别处理；每个快速球型摄像机安装位置不同，每个快速球型摄像机对应相应的空间对应关系标定表，当大范围视频监控摄像机检测到人体目标时，每个快速球型摄像机能根据自己与大范围视频监控摄像机的对应关系标定表进行快速定位。

7、如权利要求6所述的基于多摄像机信息融合的人脸识别检测装置，其特征在于：所述大范围视频监控摄像机采用全方位视觉传感器，标定方法为：以全景图像中心为圆心，根据需要将全景图像分成一些圆环，然后将每个圆环划分成数个等份；一幅全景图像就被规则地分成了数个区域，每个区域有它特定的角度、方向和大小；根据全方位视觉传感器距地面的高度、快速球型摄像机空间位置和摄像头焦距等参数，依次确定各快速球型摄像机要检测的区域所需要水平、垂直旋转的角度以及焦距。

8、如权利要求6所述的基于多摄像机信息融合的人脸识别检测装置，其特征在于：所述大范围视频监控摄像机采用广角摄像装置，标定方法为：依据广角摄像机的视场范围将所拍摄到的图像划分成数个等份，每个区域有它特定的角度、方向和大小，根据广角摄像装置距地面的高度、倾斜的角度、快速球型摄像机空间位置和摄像头焦距参数，依次确定各快速球型摄像机要检测的区域所需要水平、垂直旋转的角度以及焦距。

Images