CN102844766B - 基于人眼图像的多特征融合身份识别方法 - Google Patents

Abstract

一种基于人眼图像的多特征融合身份识别方法，包括注册和识别，其中，所述注册包括：对于给定注册的人眼图像，获得归一化人眼图像和归一化虹膜图像；对待注册用户的人眼图像抽取多模态特征，将得到人眼图像的多模态特征作为注册信息保存到注册数据库；所述识别包括：对于给定识别的人眼图像，获得归一化人眼图像和归一化虹膜图像；对待识别用户的人眼图像抽取多模态特征；将提取的多模态特征与数据库中多模态特征进行比对，以得到比对分数，通过分数级融合得到融合分数；利用分类器进行人眼图像的多特征融合身份识别。本发明融合人脸眼部区域的多种特征信息进行身份鉴别，***识别精度高，能够用于安全级别较高的应用场所。

Description

基于人眼图像的多特征融合身份识别方法

技术领域

本发明涉及模式识别和统计学习等领域，特别涉及一种基于人眼图像的多特征融合身份识别方法。

背景技术

人的身份特征是人的基本信息，其重要性不言而喻。传统的口令，密码，ID卡等基于知识和实物的身份鉴别技术难以满足大规模应用和高安全级别的需求，同时也给用户的使用带来了不便。当今社会，智能化、信息化成为发展的必然趋势，大规模的身份鉴别技术对于国土安全、公共安全、金融安全和网络安全都具有重要意义。生物特征识别技术是利用人的生理和行为特征进行身份鉴别，具有唯一性高，使用方便，安全性好等特点。现有的主流的生物特征识别模态包括人脸，虹膜，语音，指纹，掌纹，签名，步态等。相应的生物特征识别***也成功应用于社会生活的各个领域，例如访问控制、网络安全等。

现有的大多数生物特征识别技术需要用户的高度配合。例如大多数的指纹、掌纹识别设备都是接触式的，而非接触式的设备仍然需要用户以固定的方式配合。一方面给用户的使用带来了不便，降低了***的识别效率，难以满足大规模的识别场景(例如机场、海关、车站等)中低响应时间和高流通量的需求；另一方面，这种高度配合使得***只能处于被动的识别模式，也就是传感器只能被动地接受数据信息，而多数的安全场景需要主动识别，即传感器能够在用户配合较少甚至不配合的情况下主动的获取用户的信息，例如在监控场景中要对场景中的人进行实时的身份鉴别，而不需要用户的主动配合。尽管某些模态，例如人脸、步态等，可以在用户非配合情况下进行主动式身份鉴别，但是其识别精度难以满足实际需求。

人的眼部区域主要包括瞳孔、虹膜、眼皮、眼周围皮肤、眉毛、睫毛等。其中基于虹膜纹理唯一性的虹膜识别已经成为当前最有效的生物特征之一，相关的识别***不仅在银行、煤矿、海关、机场等场所成功应用，而且在福利分发、失踪儿童寻找等社会问题中发挥了重要作用。除了虹膜纹理，人眼周围的皮肤纹理也在最近的文献里被证实具有良好的区分度，能够用于身份鉴别。另外，在可见光下，虹膜和眼部皮肤区域呈现出颜色特性，能够作为辅助特征。除了表观特征，人眼区域也具有很强的语义特征，例如左右眼，单／双眼皮，眼皮轮廓等，也具有一定的分类能力。由此可见，眼部区域的这种多特征的特性，使得眼部区域能够成为最具有区分度的生物特征。

除了高区分度特性，基于眼部区域的生物特征也是最易使用和推广的生物特征。眼部区域是人脸的最为关键的一部分。人眼是感知外部世界的视觉器官，这也使得人眼区域通常是外部可见的，即使在人脸有遮挡的情况下，人眼区域也是遮挡最少的区域。因此，人眼区域是最容易被摄像机等视觉传感器获取。随着光学成像技术的飞速发展，主动成像***也已经成为可能，相关的***能够在十几米甚至几十米的距离内获取到清晰的人眼图像。这些都使得基于人眼图像的身份鉴别能够达到友好的人机交互和主动识别功能。

另外，基于人眼区域的身份鉴别，具有很强的鲁棒性。在实际应用中，单一的虹膜识别容易受到应用场景的限制。例如，有些眼部疾病影响虹膜纹理，使其不能用于虹膜识别。由于人眼区域包括多种生物特征模态，虹膜、皮肤纹理等，多模态的生物特征能够满足多种应用场景的需求。

在已有的专利中，基于虹膜唯一性的虹膜识别***是利用眼部区域信息进行身份鉴别的主要方法，而眼部的其他特征并未被使用。另外，现有的虹膜识别专利，例如英国剑桥大学的Daugman博士提出的利用Gabor滤波器进行特征编码的虹膜识别算法(U.S.Patent5291560)，中科院自动化所谭铁牛研究员等通过分析虹膜斑块特征(CN1684095)进行虹膜识别的方法等，都是通过分析人眼虹膜纹理特征的局部特性来进行身份鉴别，在实际中容易受到噪声的影响，依赖虹膜分割的准确度。本发明的方法利用虹膜的全局特征，基于稀疏编码的识别方法，能有效的克服噪声的影响，不需要额外的基于图像分割的噪声监测。另外，传统的分数级融合没有考虑到分数分布和数据噪声的影响，没有充分发挥各个模态之间的互补特性。

发明内容

本发明的目的是提供一种基于人眼图像的多特征融合身份识别方法。

为实现上述目的，一种基于人眼图像的多特征融合身份识别方法，包括注册和识别，其中，所述注册包括：

对于给定注册的人眼图像，进行图像预处理，获得归一化人眼区域图像和归一化虹膜区域图像；

对待注册用户的归一化人眼区域图像抽取多模态特征，对待注册用户的归一化虹膜区域图像抽取多模态特征，将得到归一化人眼区域图像的多模态特征和归一化虹膜区域的多模态特征作为注册信息保存到注册数据库；

所述识别包括：

对于给定识别的人眼图像，进行图像预处理，获得归一化人眼区域图像和归一化虹膜区域图像；

对待识别用户的归一化人眼区域图像抽取多模态特征，对待识别用户的归一化虹膜区域图像抽取多模态特征；

将待识别用户的归一化人眼区域图像的多模态特征和归一化虹膜区域图像的多模态特征与数据库中待注册用户的归一化人眼区域图像的多模态特征和归一化虹膜区域图像的多模态特征进行比对，以得到多个比对分数，通过分数级融合得到融合分数；

利用分类器进行人眼图像的多特征融合身份识别。

本发明融合人脸眼部区域的多种特征信息进行身份鉴别，***识别精度高，能够用于安全级别较高的应用场所。本发明减少了用户的配合度，可以用于远距离、主动式的身份认证技术。本发明不仅适用于可见光下的人眼图像，而且也适用于其他单色光下的人眼图像。

附图说明

图1(a)示出基于人眼图像的多特征融合身份识别方法的注册过程；

图1(b)示出基于人眼图像的多特征融合身份识别方法的识别过程：

图2(a)示出灰度人眼图像；

图2(b)示出彩色人眼图像；

图3示出基于人眼图像的多特征融合身份识别方法的人眼图像预处理过程；

图4示出人眼图像的虹膜区域定位结果和眼部区域定位结果；

图5(a)示出灰度归一化人眼图像；

图5(b)示出彩色归一化人眼图像；

图6(a)示出灰度归一化虹膜图像；

图6(b)示出彩色归一化虹膜图像；

图7示出虹膜颜色特征抽取中的彩色归一化虹膜图像分块结果；

图8示出眼部表观特征抽取中的彩色归一化人眼图像分块结果；

图9示出眼部语义特征抽取中感兴趣区域选取和滤波器设计结果；

图10(a)示出纹理基元训练过程；

图10(b)示出纹理基元直方图构建过程；

图11示出眼部语义特征抽取过程。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明所提出的基于人眼图像的多特征融合身份识别方法包括注册步骤和识别步骤：

注册步骤R：如图1(a)所示，首先，对获得的待注册用户的人眼图像进行预处理R0，得到能够用于特征抽取的归一化虹膜图像和归一化人眼图像。然后，采用特征抽取方法，对待归一化的图像抽取多模态特征，得到人眼图像的注册信息并保存到注册数据库。主要包括以下步骤：

步骤R0：对获得的待注册用户的人眼图像进行预处理，包括虹膜定位，虹膜归一化，眼部区域定位，眼部区域归一化。得到归一化的人眼图像和虹膜图像。

步骤R11：对待注册的人眼图像的灰度归一化虹膜图像，将其降采样后，所有像素值按行排列组成虹膜纹理特征向量v^r _texture，保存到虹膜纹理特征数据库。

步骤R12：对待注册的人眼图像的彩色归一化虹膜图像，基于颜色直方图方法对其抽取虹膜颜色特征向量v^r _color，保存到虹膜颜色特征数据库。

步骤R13：对待注册的人眼图像的彩色归一化人眼图像，基于眼部纹理基元直方图对其抽取眼部表观特征向量v^r _texton，保存到眼部表观特征数据库。

步骤R14：对待注册的人眼图像的彩色归一化人眼图像，基于差分滤波和定序测量抽取眼部语义特征向量v^r _semantic，保存到眼部语义特征数据库。

识别步骤S：如图1(b)所示，首先，对获得的待识别用户的人眼图像进行预处理，得到能够用于特征抽取的归一化虹膜图像和归一化人眼图像。然后采用特征抽取方法，分别抽取多模态的特征，然后采用匹配方法，将得到的特征与数据库中的特征比对，求得比对分数。通过分数级别融合，得到最终的匹配分数。利用最近邻分类器获得识别结果。如图1(b)所示，主要包括以下步骤：

步骤S0：对获得的待识别用户的人眼图像进行预处理，包括虹膜定位，虹膜归一化，眼部区域定位，眼部区域归一化。得到归一化的人眼图像和虹膜图像。

步骤S1：人眼图像多模态特征抽取。包括以下步骤：

步骤S11：对待识别的归一化虹膜图像，基于稀疏编码的方法，抽取虹膜纹理特征向量v^s _texture。

步骤S12：对待识别的归一化虹膜图像，基于颜色直方图方法，抽取虹膜颜色特征向量v^s _color。

步骤S13：对待识别的归一化人眼图像，基于眼部纹理基元直方图，抽取眼部表观特征向量V^s _texton。

步骤S14：对待识别的归一化人眼图像，基于差分滤波和定序测量，抽眼部语义特征向量v^s _semantic。

步骤S2：多模态特征向量比对。包括以下步骤：

步骤S21：将识别图像的虹膜纹理特征向量v^s _texture和数据库中的每类的注册图像的虹膜纹理特征向量计算重构误差作为比对分数S_texture。

步骤S22：将识别图像的虹膜颜色特征向量v^s _color和数据库中的注册图像的虹膜颜色特征向量v^r _co1or进行比对，计算欧式距离，得到比对分数S_color。

步骤S23：将识别图像的眼部表观特征向量V^s _texton和数据库中的注册图像的眼部表观特征向量v^r _texton进行比对，计算欧式距离，得到比对分数S_texton。

步骤S24：将识别图像的眼部语义特征向量v^s _semantic和数据库中的注册图像的眼部语义特征向量v^r _semantic进行比对，计算异或距离，得到比对分数S_semantic。

步骤S3：多模态比对分数融合。通过自适应分数级别融合策略，得到最终的比对分数S′_f。

步骤S4：利用最近邻分类器(Nearest Neighborhood)进行分类。

下面对本发明涉及的关键步骤进行逐一说明。本发明所述方法中各个基本步骤的具体形式如下所述：

图像预处理：

无论是注册或者识别过程，采集到的人眼原始图像(图2(b)所示)都需要经过虹膜定位(图4所示)，然后得到能够用以特征抽取的归一化人眼图像(图5所示)和归一化虹膜图像(图6所示)，如图3所示，具体步骤如下：

虹膜定位。在采集到的人眼原始图像(图2(b)所示，分辨率640×480，RGB图像)上使用两个圆分别拟合虹膜的内外圆边界，即虹膜与瞳孔的边界和虹膜与巩膜的边界(图4所示经过预处理的虹膜原始图像的虹膜定位结果图像)，虹膜定位可以采用专利U.S.Patent5291560中的积分差分算子进行。在其灰度图像上(图2(a)所示)进行积分差分算子运算，得到虹膜定位的结果。积分差分算子的数学表达如下：

其中G_σ(r)是方差为σ的高斯函数，I(x，y)是虹膜图像，(r，x₀，y₀)是圆的参数。积分差分算子是一个圆形边界检测子，其基本思想就是在圆的参数空间(r，x₀，y₀)中，寻找一个沿着该参数定义的圆形边界，先做差分运算，再做积分运算积分后，得到的值再按照圆的周长进行归一化得到在该参数上的积分差分能量值，在参数空间中具有最大的能量值的参数值作为最终检测到的圆形。在虹膜图像中，瞳孔与虹膜的边界，虹膜与巩膜的边界均为圆形，一般取积分差分值最大的两个参数，根据其半径的大小进行区分：半径小的作为瞳孔与虹膜边界的定位结果，半径大的作为虹膜与巩膜边界的定位结果(图4所示，两个红色圆形区域为虹膜定位结果)。

归一化虹膜图像获取。不同虹膜图像中的虹膜大小并不相同，另外，瞳孔也会随着光线的变化而放大或缩小，在特征抽取之前，需要将不同大小的虹膜区域进行归一化。由于虹膜的内外边界已经从虹膜定位中得到(图4所示)，虹膜归一化采用专利U.S.Patent5291560中使用的弹簧橡皮筋模型。基本思想是通过笛卡尔坐标到极坐标的变换，将原始图像上的环形虹膜区域归一化到固定大小的矩形彩色归一化虹膜图像(图6(b)所示，分辨率512×66，彩色RGB图像)，采用线性插值方式进行图像映射。以水平方向为0度角开始逆时针方向(图6(b)所示，红色圆弧箭头方向)进行角度方向采样，以瞳孔与虹膜的边界开始进行半径方向(图6(b)所示，红色半径箭头方向)的采样。然后取其红色通道作为灰度归一化虹膜图像(图6(a)所示，分辨率512×66)。

归一化人眼图像获取。在采集到的人眼原始图像(图1所示，分辨率640×480，RGB图像)上定位到虹膜中心(图4所示)，根据归一化图像上固定的人眼中心位置和虹膜半径大小R，规定一个固定大小矩形区域(图4所示，矩形中心为虹膜外边界中心，矩形长为4倍虹膜半径，宽为3倍虹膜半径)作为人眼感兴趣区域，通过双线性插值的方法将人眼感兴趣区域映射到固定大小区域，作为人眼归一化图像。取彩色归一化人眼图像(图5(b)所示，分辨率200×150)的红色通道作为灰度归一化人眼图像(图5(a)所示，分辨率200×150)。

特征抽取：

获得归一化虹膜图像和归一化人眼图像之后，需要进行特征抽取。本发明方法中采用的特征具体包括基于稀疏编码的虹膜纹理特征、基于颜色直方图的虹膜颜色特征、基于SIFT纹理基元直方图的眼部表观特征、基于差分滤波器和定序测量的眼部语义特征。其具体抽取步骤如下：

虹膜纹理特征是虹膜的基本特征，基于稀疏编码的特征表达在人脸识别中能够克服遮挡等噪声的影响，而达到很高的识别率，因此本发明中的虹膜纹理特征抽取也采用稀疏编码。稀疏编码的基本思想是，一个类别，其所有的样本都也可以由其自身有限的几个样本线性组合得到。给定m个虹膜类别，每个类别i包含n个注册样本，所有的注册样本组成集合：X：{x₁₁，x₁₂，..，x_1n，...，x_ij，...，x_m1，x_m2，...，x_mn}，给定待识别虹膜样本y，求以下优化：α^*=argmin||α||₁，约束条件是Xα=y。其中注册样本x_ij是用于注册的虹膜纹理特征向量v^r _texture，由待注册的灰度归一化虹膜图像4倍降采样后的像素灰度值组成，大小为512×66／4=8448。y是待识别的样本，由待识别的灰度归一化虹膜图像4倍降采样后的像素灰度值组成，大小为8448。求解该优化问题，得到的解α^*：{α^* ₁₁，α^* ₁₂，...α^* _1n，...α^* _ij，...α^* _ml，α^* _m2，...α^* _mn}作为用于识别的虹膜纹理特征向量V^s _texture，大小为m×n。

在可见光的照射下，虹膜呈现出颜色特性。颜色直方图是常用的刻画颜色特征的方法。虹膜的颜色特征具有局部区域特性，其不同区域在环境光的照射下呈现不同的颜色分布。因此，采用分块直方图表达能够更好地刻画虹膜的颜色特征。对于RGB彩色人眼图像，本发明将其转换为1αβ颜色空间的表达，在1αβ颜色空间抽取虹膜颜色特征。例如，将彩色的归一化虹膜图像分为3×1小块，即在垂直方向进行3等分(如图7)，每个小块大小为22×512，分别在1、α、β三个通道上，统计每个颜色值出现的频率，建立直方图，每个通道的颜色空间大小为256。然后将3个通道，3个子块的共9个直方图串接起来生成颜色直方图，作为虹膜颜色特征向量v^s _color，大小为256×3×9=6912。其中RGB颜色空间到1αβ颜色空间的转换如下：

$\left[\begin{array}{c}L\\ M\\ S\end{array}\right]=\left[\begin{array}{ccc}0.3811& 0.5783& 0.0402\\ 0.0606& 0.3804& 0.0453\\ 0.0241& 0.1228& 0.8444\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

$\left[\begin{array}{c}l\\ \mathrm{\α}\\ \mathrm{\β}\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\sqrt{3}}& 0& 0\\ 0& \frac{1}{\sqrt{6}}& 0\\ 0& 0& \frac{1}{\sqrt{2}}\end{array}\right]\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& -2\\ 1& -1& 0\end{array}\right]\left[\begin{array}{c}\log L\\ \log M\\ \log S\end{array}\right]$

除了虹膜特征以外，整个眼部区域的表观特征也具有一定的区分度。本发明将眼部纹理和皮肤纹理作为统一的眼部表观特征用于身份鉴别。纹理基元直方图是纹理分析中最有效的方法之一，其基本思想是一个纹理模式是由基本的元素(纹理基元)组成的，模式中不同的类别由于基本元素的分布不同而不同。如图10(a)所示，纹理基元的获取过程如下。通过SIFT局部描述子对所有的用于训练的归一化彩色人眼图像的每个通道的每个像素抽取特征向量，大小为128维，然后通过K均值聚类方法将得到的所有局部特征向量聚集成k个集合，将k个集合的中心作为k个纹理基元，建立纹理基元词典。在R，G，B三个通道上得到三个纹理基元词典。眼部表观特征构建过程如图10(b)所示，对于每幅彩色归一化人眼图像，等分为2×2共4个局部块，对每个块内每个颜色通道的每个像素上抽取SIFT局部特征向量，将得到的所有局部特征向量量化为离其距离最近的纹理基元，一般采用欧式距离度量局部特征向量和纹理基元的距离，然后统计每个纹理基元出现的频率，得到该区域在单通道上的纹理基元直方图。最终，将所有的纹理基元直方图(共3通道×4局部块=12)串接起来组成眼部表观特征向量v^s _texton，大小为k×12。SIFT计算过程参见美国专利U.S.Patent6，711，293。

左右眼标号特征用于刻画眼部语义特征。用0／1标识左／右眼。具体是利用上眼皮睫毛的左右分布不同来进行标识。通过比较靠近泪腺和远离泪腺两个部分的稠密程度分数，标记人眼标号。给定彩色归一化人眼图像，眼部语义特征的抽取过程如图11所示，包括眼皮拟合，感兴趣区域选取，滤波器设计，睫毛密度估计，语义特征编码。

眼皮拟合：首先在灰度归一化人眼图像上利用Canny边缘检测子得到边缘信息，然后在虹膜定位的基础上，选择虹膜外圆左上角区域和右上角区域的边界点进行直线拟合，得到上眼皮的粗略拟合(如图所示，白色线条)。

感兴趣区域选取：根据眼皮拟合的结果，选取感兴趣区域。如图所示，黑色框区域为所选取的感兴趣区域，以右侧感兴趣区域的选取为例。O_I是虹膜外圆中心，R是半径。L_R是垂直方向的直径L_RO_I与眼皮右侧拟合直线L_RE_R的交点。L_RE_R长度为R，M_R是L_RE_R的中点。选取的感兴趣区域为黑框区域，其长为R，宽为R／2。长边与L_RE_R平行。左侧感兴趣区域选取的方法类似。

滤波器设计：设计左右两个差分滤波器，分别对应左右两个感兴趣区域。以右侧滤波器为例，其大小和方向与右侧感兴趣区域一致，如图所示，红色区域全部设置为1，空白部分设置为-1。差分滤波器的方向与眼皮右边拟合的直线垂直，达到方向自适应。根据虹膜半径大小设置滤波器长度为R和宽度为R/2，R为虹膜外边界拟合得到的圆的半径，达到尺度自适应。左侧滤波器通过类似的方法得到。

睫毛密度估计：在彩色归一化人眼图像上，估计感兴趣区域的睫毛密度，以右侧为例。在每个颜色通道上，使用右侧滤波器和右侧感兴趣区域进行卷积，得到每个通道上的响应，将R、G、B三个通道上的响应结果相加，最终结果作为右侧感兴趣区域的睫毛密度估计值D_R。左侧感兴趣区域的睫毛密度估计值D_L通过类似方法得到。

语义特征编码：通过定序测量特性，生成眼部语义特征向量v^s _semantic。如果D_L＞D_R，v^s _semantic=1，否则v^s _semantic=0。

匹配策略：

在识别中，需要将待识别的特征向量和注册特征向量进行匹配，基于上述的4种特征，其中，虹膜语义特征的匹配采用逻辑异或距离，即S_semantic=XOR(V^s _semanticV^r _semantic)，虹膜颜色特征、眼部表观特征的匹配采用欧式距离，如下所示：

S=d(v₁，v₂)=||v₁-v₂||₂

对于虹膜纹理特征，给定用于识别的样本y和注册样本特征向量X：{x₁₁，x₁₂，...，x_1n，...，x_ij，...，x_m1，x_m2，...，x_mn}，采用稀疏编码方式得到用于识别的虹膜纹理特征向量v^s _texture，即α^*：{α^* ₁₁，α^* ₁₂，..，α^* _1n，...，α^* _ij，...，α^* _m1，α^* _m2，...，α^* _mn}。使用每类的重构系数α^* _i：{α^* _i1，α^* _i2，...，α^* _in}样本X_i：{x_i1，x_i2，...，x_in}得到重构的识别样本y^*，识别样本与每类的所有样本的匹配分数为重构误差，如下所示：

S_i=||y-y_i ^*||₂，y^*=α^* _iX_i

注意，以上4种比对分数的值越小，则注册特征和识别特征越相似。

在获得4种特征的匹配分数后，即S_texture，S_color，S_texton，S_semantic。采用自适应的分数级融合策略获得最终的比对分数。自适应的分数级融合策略包括：分数归一化，加权求和，自适应调整。

分数归一化：在分数融合之前，需要将原始4种比对分数归一化到同一个尺度范围[0，1]，比对分数的值越小，则注册特征和识别特征越相似。文献中有多种分数归一化方法，而最大最小归一化方法是最简单有效的方法，给定一组比对分数S：{s₁，s₂，...，s_n}，最大最小归一化如下：

$s_i^{\′}=\frac{s_i-\min \left(S\right)}{\max \left(S\right)-\min \left(S\right)}$

对原始的4个匹配分数进行归一化，得到4个归一化的分数S′_texture，S′_color，S′_texton，S′_semantic。

分数归一化后，采用加权求和策略进行分数级融合，得到融合后的比对分数，如下：

S_f=w₁S′_texture+w₂S′_color+w₃S′_texton

其中w_i，(i＝1,2,3，w₁+w₂+w₃=1)是权重，一般取相等的值，表示每个特征具有相同的重要性。

对于融合后的比对分数，为了去除噪声的影响，根据眼部语义特征匹配分数，可以对融合后的比对分数进行修正的得到修正后的融合分数S′_f，修正准则如下：

如果S′_semamtic=1并且S_f＜M₁，则S′_f=M₁

如果S′_semantic＝0并且S_f＞M₂，则S′_f＝M₂，M₁＞M₂

第一条准则的意义是，当识别人眼图像和注册人眼图像的语义特征不相同，并且融合的结果是识别人眼图像和注册人眼图像比较相似，那么则更倾向于识别人眼图像和注册人眼图像不相似，就将原始的融合分数放大到M₁。第二条准则的意义是，当两者的语义特征相似，但是另外三者融合的结果表明不相似，则更倾向于相似，缩小原始的融合分数到M₂。

本方法中采用的分类器为最近邻分类器(NearestNeighborhood)，即匹配分数最小者的类别为最终识别的身份类别。

实施案例1：基于人眼图像的多特征融合身份识别方法在网络交易平台中的应用。

本发明可广泛应用到基于网络摄像头的网上平台身份认证。电子商务技术的发展，使得网络平台的交易逐渐走入社会生活。而网上欺诈行为也随之而来。传统的基于密码和口令的身份认证模式的安全度难以满足实际需求，生物特征识别技术成为一种有效的解决方案。基于人眼图像的身份鉴别可以发挥重要作用。用户进行注册的时候，通过普通的网络摄像头将的眼部区域信息，传输到第三方认证中心。远程认证中心采用本发明中的注册算法，将用户的生物特征信息注册到***数据库。当用户进行网络平台身份认证时，网络摄像头将采集到的眼部区域信息传输到第三方认证中心。远程认证中心采用本发明中的识别算法，检索***数据库，进行身份鉴别。此方法可以方便、有效地实现身份认证，从而保障了网络平台上个人身份信息的安全性。

实施案例2：基于人眼图像的多特征融合身份识别方法在安全监控场景中的应用。

本发明可广泛应用到安全监控场景。在安全监控场景中，要求能够对场景中出现的人员进行控制，如果出现非法人员，要及时报警。例如：一犯罪分子曾经被抓捕过，为防止其以后继续作案，将其眼部区域信息注册到犯罪分子***数据库中。但该犯罪分子再次作案。当其出现在网络监控摄像头的采集范围内，其眼部区域信息通过网络传输到处理终端，处理终端通过本发明的识别算法，确定其身份，如果确认为犯罪分子，则及时报警，将其绳之以法。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此。任何熟悉该技术的本领域技术人员在本发明所公开的技术范围内，可以根据本发明公开的内容进行各种变换或替换，但这些变化和替换都应涵盖在本发明公开的范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (20)

1.一种基于人眼图像的多特征融合身份识别方法，包括注册和识别，其中，

所述注册包括：

对于给定注册的人眼图像，进行图像预处理，获得归一化人眼区域图像和归一化虹膜区域图像；

对待注册用户的归一化人眼区域图像抽取多模态特征，对待注册用户的归一化虹膜区域图像抽取多模态特征，将得到的归一化人眼区域图像的多模态特征和归一化虹膜区域的多模态特征作为注册信息保存到注册数据库；

所述识别包括：

对于给定识别的人眼图像，进行图像预处理，获得归一化人眼区域图像和归一化虹膜区域图像；

对待识别用户的归一化人眼区域图像抽取多模态特征，对待识别用户的归一化虹膜区域图像抽取多模态特征；

将待识别用户的归一化人眼区域图像的多模态特征和归一化虹膜区域图像的多模态特征与数据库中待注册用户的归一化人眼区域图像的多模态特征和归一化虹膜区域图像的多模态特征进行比对，以得到多个比对分数，通过分数级融合得到融合分数；

利用分类器进行人眼图像的多特征融合身份识别；

所述分数级融合包括：

对虹膜颜色特征向量的匹配分数S_color、虹膜纹理特征向量的匹配分数S_texture、眼部纹理基元特征向量的匹配分数S_texton，根据各自原始分数的分布进行自适应归一化，得到归一化后的分数S′_color、S′_texture、S′_texton；

对S′_color、S′_texture、S′_texton进行加权求和得到融合分数S_f＝w₁S′_texture+w₂S′_color+w₃S′_texton；

对加权求和得到的分数S_f根据眼部语义特征比对结果S′_semantic，进行修正得到S′_f，其中，w_i，(i＝1，2，3，w₁+w₂+w₃＝1)是权重。

2.根据权利要求1所述的方法，其特征在于所述多模态特征包括虹膜纹理特征、虹膜颜色特征、眼部表观特征和眼部语义特征。

3.根据权利要求l所述的方法，其特征在于所述虹膜图像预处理包括虹膜定位。

4.根据权利要求3所述的方法，其特征在于所述虹膜定位采用双圆拟合方法，用两个圆分别拟合虹膜与瞳孔的边界和虹膜与巩膜的边界。

5.根据权利要求1所述的方法，其特征在于所述归一化虹膜区域图像包括：

利用迪卡坐标系到极坐标系的转换，将原始的环形虹膜区域映射到固定大小的矩形区域。

6.根据权利要求1所述的方法，其特征在于所述人眼图像预处理包括人眼区域定位。

7.根据权利要求6所述的方法，其特征在于所述人眼区域定位包括：

所述人眼区域是一个长、宽与虹膜大小固定比例的矩形区域，矩形的中心为虹膜与巩膜边界拟合所得的圆的中心。

8.根据权利要求1所述的方法，其特征在于所述归一化人眼区域包括：

将原始人眼区域缩放为固定大小的矩形区域。

9.根据权利要求2所述的方法，其特征在于通过稀疏编码抽取虹膜纹理特征。

10.根据权利要求2所述的方法，其特征在于通过颜色直方图抽取虹膜颜色特征。

11.根据权利要求2所述的方法，其特征在于通过纹理基元直方图表达抽取眼部表观特征。

12.根据权利要求2所述的方法，其特征在于通过差分滤波器和定序测量特性抽取眼部语义特征。

13.根据权利要求10所述的方法，其特征在于在每个图像块的每个颜色通道上抽取颜色直方图，所有颜色直方图串接起来组成虹膜颜色特征向量。

14.根据权利要求10所述的方法，其特征在于在lαβ颜色空间上抽取颜色直方图。

15.根据权利要求11所述的方法，其特征在于所述通过纹理基元直方图表达抽取眼部表观特征包括步骤：

对每幅归一化人眼图像的每个像素，采用尺度不变特征变换抽取局部特征；

通过K均值聚类得到K个纹理基元，构建纹理基元词典；

对归一化人眼图像进行不重叠分块，对每一分块，根据局部扫描子与纹理基元之间的相似度，统计每个纹理基元出现的频率，构建纹理基元直方图；

将所有分块区域的纹理基元直方图串接在一起，构成眼部表观特征向量。

16.根据权利要求15所述的方法，其特征在于如果每个分块图像是彩色图像，则在每个颜色通道上统计每个纹理基元出现的频率。

17.根据权利要求12所述的方法，其特征在于所述抽取眼部语义特征包括步骤：

根据虹膜定位和眼皮定位的结果得到上眼皮睫毛区域的大概位置；

根据上眼皮睫毛区域和虹膜的位置，选取上眼皮睫毛区域的左右两部分作为感兴趣区域；

根据虹膜的半径大小和上眼皮的方向信息，生成左右两个尺度和方向自适应的差分滤波器；

将左部分自适应差分滤波器和左部分感兴趣区域进行卷积，得到左部感兴趣区域的睫毛密度的估计结果，右部分自适应差分滤波器和右部分感兴趣区域进行卷积，得到右部感兴趣区域的睫毛密度的估计结果；

根据左右两个感兴趣区域的睫毛密度估计响应，根据定序测量特性，生成眼部语义特征向量。

18.根据权利要求17所述的方法，其特征在于，当设计所述差分滤波器时，用左右两条直线拟合上眼皮，然后左右两个差分滤波器的方向分别与左右两条直线垂直，达到方向自适应；滤波器的长度和宽度根据虹膜半径大小进行设置，达到尺度自适应。

19.根据权利要求17所述的方法，其特征在于对于彩色人眼图像，所述差分滤波器在R，G，B三个通道上的图像感兴趣区域进行卷积，并将将所有通道上的卷积值相加作为最终的滤波器和彩色人眼图像感兴趣区域的响应值。

20.根据权利要求l所述的方法，其特征在于，根据以下准则进行所述修正：最终的融合分数倾向于眼部语义特征的结果，如果眼部语义特征相似而其他特征不相似，则修正融合的分数，使其向相似的方向变化，如果眼部语义特征不相似而其他特征相似，则修正融合的分数，使其向不相似的方向变化。