WO2012142756A1

WO2012142756A1 - 基于人眼图像的多特征融合身份识别方法

Info

Publication number: WO2012142756A1
Application number: PCT/CN2011/073072
Authority: WO
Inventors: 谭铁牛; 孙哲南; 张小博; 张慧
Original assignee: 中国科学院自动化研究所
Priority date: 2011-04-20
Filing date: 2011-04-20
Publication date: 2012-10-26
Also published as: US9064145B2; CN102844766A; US20140037152A1; CN102844766B

Description

基于人眼图像的多特征融合身份识别方法

技术领域

本发明涉及模式识别和统计学习等领域，特别涉及一种基于人眼图像的多特征融合身份识别方法。

背景技术

人的身份特征是人的基本信息，其重要性不言而喻。传统的口令，密码， ID 卡等基于知识和实物的身份鉴别技术难以满足大规模应用和高安全级别的需求，同时也给用户的使用带来了不便。当今社会，智能化、信息化成为发展的必然趋势，大规模的身份鉴别技术对于国土安全、公共安全、金融安全和网络安全都具有重要意义。生物特征识别技术是利用人的生理和行为特征进行身份鉴别，具有唯一性高，使用方便，安全性好等特点。现有的主流的生物特征识别模态包括人脸，虹膜，语音，指纹，掌纹，签名，步态等。相应的生物特征识别***也成功应用于社会生活的各个领域，例如访问控制、网络安全等。

现有的大多数生物特征识别技术需要用户的高度配合。例如大多数的指紋、掌纹识别设备都是接触式的，而非接触式的设备仍然需要用户以固定的方式配合。一方面给用户的使用带来了不便，降低了***的识别效率，难以满足大规模的识别场景（例如机场、海关、车站等）中低响应时间和高流通量的需求；另一方面，这种高度配合使得***只能处于被动的识别模式，也就是传感器只能被动地接受数据信息，而多数的安全场景需要主动识别，即传感器能够在用户配合较少甚至不配合的情况下主动的获取用户的信息，例如在监控场景中要对场景中的人进行实时的身份鉴别，而不需要用户的主动配合。尽管某些模态，例如人脸、步态等，可以在用户非配合情况下进行主动式身份鉴别，但是其识别精度难以满足实际需求。人的眼部区域主要包括瞳孔、虹膜、眼皮、眼周围皮肤、眉毛、睫毛等。其中基于虹膜纹理唯一性的虹膜识别已经成为当前最有效的生物特征之一，相关的识别***不仅在银行、煤矿、海关、机场等场所成功应用，而且在福利分发、失踪儿童寻找等社会问题中发挥了重要作用。除了虹膜纹理，人眼周围的皮肤纹理也在最近的文献里被证实具有良好的区分度，能够用于身份鉴别。另外，在可见光下，虹膜和眼部皮肤区域呈现出颜色特性，能够作为辅助特征。除了表观特征，人眼区域也具有很强的语义特征，例如左右眼，单 /双眼皮，眼皮轮廓等，也具有一定的分类能力。由此可见，眼部区域的这种多特征的特性，使得眼部区域能够成为最具有区分度的生物特征。

除了高区分度特性，基于眼部区域的生物特征也是最易使用和推广的生物特征。眼部区域是人脸的最为关键的一部分。人眼是感知外部世界的视觉器官，这也使得人眼区域通常是外部可见的，即使在人脸有遮挡的情况下，人眼区域也是遮挡最少的区域。因此，人眼区域是最容易被摄像机等视觉传感器获取。随着光学成像技术的飞速发展，主动成像***也己经成为可能，相关的***能够在十几米甚至几十米的距离内获取到清晰的人眼图像。这些都使得基于人眼图像的身份鉴别能够达到友好的人机交互和主动识别功能。

另外，基于人眼区域的身份鉴别，具有很强的鲁棒性。在实际应用中，单一的虹膜识别容易受到应用场景的限制。例如，有些眼部疾病影响虹膜纹理，使其不能用于虹膜识别。由于人眼区域包括多种生物特征模态，虹膜、皮肤紋理等，多模态的生物特征能够满足多种应用场景的需求。

在已有的专利中，基于虹膜唯一性的虹膜识别***是利用眼部区域信息进行身份鉴别的主要方法，而眼部的其他特征并未被使用。另外，现有的虹膜识别专利，例如英国剑桥大学的 Daugman博士提出的利用 Gabor滤波器进行特征编码的虹膜识别算法（U. S. Patent 5291560 ), 中科院自动化所谭铁牛研究员等通过分析虹膜斑块特征（CN 1684095 )进行虹膜识别的方法等，都是通过分析人眼虹膜纹理特征的局部特性来进行身份鉴别，在实际中容易受到噪声的影响，依赖虹膜分割的准确度。本发明的方法利用虹膜的全局特征，基于稀疏编码的识别方法，能有效的克服噪声的影响，不需要额外的基于图像分割的噪声监测。另外，传统的分数级融合没有考虑到分数分布和数据噪声的影响，没有充分发挥各个模态之间的互补特性。

发明内容

本发明的目的是提供一种基于人眼图像的多特征融合身份识别方法。为实现上述目的，一种基于人眼图像的多特征融合身份识别方法，包括注册和识别，其中，所述注册包括：

对于给定注册的人眼图像，获得归一化人眼图像和归一化虹膜图像；对待注册用户的人眼图像抽取多模态特征，将得到人眼图像的多模态特征作为注册信息保存到注册数据库；

所述识别包括- 对于给定识别的人眼图像，获得归一化人眼图像和归一化虹膜图像；对待识别用户的人眼图像抽取多模态特征；

将提取的多模态特征与数据库中多模态特征进行比对，以得到比对分数，通过分数级融合得到融合分数；

利用分类器进行人眼图像的多特征融合身份识别。

本发明融合人脸眼部区域的多种特征信息进行身份鉴别，***识别精度高，能够用于安全级别较高的应用场所。本发明减少了用户的配合度，可以用于远距离、主动式的身份认证技术。本发明不仅适用于可见光下的人眼图像，而且也适用于其他单色光下的人眼图像。

附图说明图 1 (a)示出基于人眼图像的多特征融合身份识别方法的注册过程；图 1 (b)示出基于人眼图像的多特征融合身份识别方法的识别过程；图 2 (a)示出灰度人眼图像；

图 2 (b)示出彩色人眼图像；

图 3示出基于人眼图像的多特征融合身份识别方法的人眼图像预处理过程；

图 4示出人眼图像的虹膜区域定位结果和眼部区域定位结果；图 5 (a)示出灰度归一化人眼图像；

图 5 (b)示出彩色归一化人眼图像；

图 6 (a)示出灰度归一化虹膜图像；

图 6 (b)示出彩色归一化虹膜图像；

图 7示出虹膜颜色特征抽取中的彩色归一化虹膜图像分块结果；图 8示出眼部表观特征抽取中的彩色归一化人眼图像分块结果；图 9示出眼部语义特征抽取中感兴趣区域选取和滤波器设计结果；图 10 (a)示出紋理基元训练过程；

图 10 (b)示出紋理基元直方图构建过程；

图 11示出眼部语义特征抽取过程；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明所提出的基于人眼图像的多特征融合身份识别方法包括注册步骤和识别步骤：

注册步骤 R: 如图 1 (a)所示，首先，对获得的待注册用户的人眼图像进行预处理 R0，得到能够用于特征抽取的归一化虹膜图像和归一化人眼图像。然后，采用特征抽取方法，对待归一化的图像抽取多模态特征，得到人眼图像的注册信息并保存到注册数据库。主要包括以下步骤：歩骤 RO : 对获得的待注册用户的人眼图像进行预处理，包括虹膜定位，虹膜归一化，眼部区域定位，眼部区域归一化。得到归一化的人眼图像和虹膜图像。

步骤 R1 1 : 对待注册的人眼图像的灰度归一化虹膜图像，将其降采样后，所有像素值按行排列组成虹膜紋理特征向量 V ' _texture，保存到虹膜紋理特征数据库。

步骤 R12: 对待注册的人眼图像的彩色归一化虹膜图像，基于颜色直方图方法对其抽取虹膜颜色特征向量，保存到虹膜颜色特征数据步骤 R13 : 对待注册的人眼图像的彩色归一化人眼图像，基于眼部纹理基元直方图对其抽取眼部表观特征向量 V ''_text。n，保存到眼部表观特征数据库。

步骤 R14: 对待注册的人眼图像的彩色归一化人眼图像，基于差分滤波和定序测量抽取眼部语义特征向量 V ¹' semantic，保存到眼部语义特征数据库。

识别步骤 S : 如图 1 (b)所示，首先，对获得的待识别用户的人眼图像进行预处理，得到能够用于特征抽取的归一化虹膜图像和归一化人眼图像。然后采用特征抽取方法，分别抽取多模态的特征，然后采用匹配方法，将得到的特征与数据库中的特征比对'，求得比对分数。通过分数级别融合，得到最终的匹配分数。利用最近邻分类器获得识别结果。如图 1 (b)所示，主要包括以下步骤：

步骤 SO : 对获得的待识别用户的人眼图像进行预处理，包括虹膜定位，虹膜归一化，眼部区域定位，眼部区域归一化。得到归一化的人眼图像和虹膜图像。

步骤 S1 : 人眼图像多模态特征抽取。包括以下步骤：步骤 Sll_: 对待识别的归一化虹膜图像，基于稀疏编码的方法，抽取

步骤 S12: 对待识别的归一化虹膜图像，基于颜色直方图方法，抽取虹膜颜色特征向量

步骤 S13_: 对待识别的归一化人眼图像，基于眼部紋理基元直方图，抽取眼部表观特征向量 v^s _text。„。

步骤 S14: 对待识别的归一化人眼图像，基于差分滤波和定序测量，抽眼部语义特征向量 v^s _semanti_C。

步骤 S2: 多模态特征向量比对。包括以下步骤：

步骤 S21:将识别图像的虹膜纹理特征向量 v^s _texture和数据库中的每类的注册图像的虹膜紋理特征向量计算重构误差作为比对分数 S_textul._e。

步骤 S22: 将识别图像的虹膜颜色特征向量 v^s _∞1。_r和数据库中的注册图像的虹膜颜色特征向量进行比对，计算欧式距离，得到比对分数

步骤 S23: 将识别图像的眼部表观特征向量 V^Stext。n和数据库中的注册图像的眼部表观特征向量 V'_teXt。n进行比对，计算欧式距离，得到比对分数步骤 S24: 将识别图像的眼部语义特征向量 v^s _semanti_c和数据库中的注册图像的眼部语义特征向量 V¹' semantic进行比对，计算异或距离，得到比对教 s semantic °

步骤 S3: 多模态比对分数融合。通过自适应分数级别融合策略，得到最终的比对分数。

步骤 S4: 利用最近邻分类器（Nearest Neighborhood) 进行分类。图像预处理：

无论是注册或者识别过程，采集到的人眼原始图像（图 2 (b)所示）都需要经过虹膜定位（图 4所示），然后得到能够用以特征抽取的归一化人眼图像（图 5所示）和归一化虹膜图像（图 6所示），如图 3所示，具体步骤如下：

虹膜定位。在采集到的人眼原始图像（图 2 (b)所示，分辨率 640 X 480， RGB 图像)上使用两个圆分别拟合虹膜的内外圆边界，即虹膜与瞳孔的边界和虹膜与巩膜的边界（图 4所示经过预处理的虹膜原始图像的虹膜定位结果图像），虹膜定位可以采用专利 U. S. Patent 5291560中的积分差分算子进行。在其灰度图像上（图 2 (a)所示)进行积分差分算子运算，得到虹膜定位的结果。积分差分算子的数学表达如下：

arg max G_CT(r) 其中 G r)是方差为 σ 的高斯函数， Ι(χ，是虹膜图像，（r,x。,_y_Q)是圆的参数。积分差分算子是一个圆形边界检测子，其基本思想就是在圆的参数空间 (r,x。,％)中，寻找一个沿着该参数定义的圆形边界，先做差分运算，再做积分运算积分后，得到的值再按照圆的周长进行归一化得到在该参数上的积分差分能量值，在参数空间中具有最大的能量值的参数值作为最终检测到的圆形。在虹膜图像中，瞳孔与虹膜的边界，虹膜与巩膜的边界均为圆形，一般取积分差分值最大的两个参数，根据其半径的大小进行区分 _: 半径小的作为瞳孔与虹膜边界的定位结果，半径大的作为虹膜与巩膜边界的定位结果（图 4所示，两个红色圆形区域为虹膜定位结果）。

归一化虹膜图像获取。不同虹膜图像中的虹膜大小并不相同，另外，瞳孔也会随着光线的变化而放大或缩小，在特征抽取之前，需要将不同大小的虹膜区域进行归一化。由于虹膜的内外边界已经从虹膜定位中得到

(图 4所 7j ，虹膜归一化采用专利 U. S. Patent 5291560中使用的弹簧橡皮筋模型。基本思想是通过笛卡尔坐标到极坐标的变换，将原始图像上的环形虹膜区域归一化到固定大小的矩形彩色归一化虹膜图像（图 6 ( b )所示，分辨率 512 X 66，彩色 RGB图像），采用线性插值方式进行图像映射。以水平方向为 0度角开始逆时针方向（图 6 (b)所示，红色圆弧箭头方向）进行角度方向采样，以瞳孔与虹膜的边界开始进行半径方向（图 6 (b)所示，红色半径箭头方向）的采样。然后取其红色通道作为灰度归一化虹膜图像 (图 6 (a)所示，分辨率 512 X 66)。

归一化人眼图像获取。在采集到的人眼原始图像（图 1所示，分辨率 640 X 480, RGB图像）上定位到虹膜中心（图 4所示），根据归一化图像上固定的人眼中心位置和虹膜半径大小^ 规定一个固定大小矩形区域（图 4 所示，矩形中心为虹膜外边界中心，矩形长为 4倍虹膜半径，宽为 3倍虹膜半径）作为人眼感兴趣区域，通过双线性插值的方法将人眼感兴趣区域映射到固定大小区域，作为人眼归一化图像。取彩色归一化人眼图像（图 5 (b) 所示，分辨率 200 X 150 ) 的红色通道作为灰度归一化人眼图像（图 5 (a) 所示，分辨率 200 X 150)。

特征抽取：

获得归一化虹膜图像和归一化人眼图像之后，需要进行特征抽取。本发明方法中采用的特征具体包括基于稀疏编码的虹膜紋理特征、基于颜色直方图的虹膜颜色特征、基于 SIFT紋理基元直方图的眼部表观特征、基于差分滤波器和定序测量的眼部语义特征。其具体抽取步骤如下：

虹膜紋理特征是虹膜的基本特征，基于稀疏编码的特征表达在人脸识别中能够克服遮挡等噪声的影响，而达到很高的识别率，因此本发明中的虹膜纹理特征抽取也采用稀疏编码。稀疏编码的基本思想是，一个类别， ¾所的样本都也可以由其自身有限的儿个样本线性组合得到。给定 W个虹膜类别，每个类别 /包含《个注册样本，所有的注册样本组成集合： (_½,._½....,._½,，...,^..， , ,...^,,}，给定待识别虹膜样本求以下优化： a =argmin||a||_i，约束条件是 ¾ = _y。其中注册样本是用于注册的虹膜纹理特征向量 v''_totore，由待注册的灰度归一化虹膜图像 4倍降采样后的像素灰度值组成，大小为 512X66/4=8448。是待识别的样本，由待识别的灰度归一化虹膜图像 4倍降采样后的像素灰度值组成，大小为 8448。求解该优化问题，得到的解：

别的虹膜紋理特征向量 v^s _to, ，大小为 mXn。在可见光的照射下，虹膜呈现出颜色特性。颜色直方图是常用的刻画颜色特征的方法。虹膜的颜色特征具有局部区域特性，其不同区域在环境光的照射下呈现不同的颜色分布。因此，采用分块直方图表达能够更好地刻画虹膜的颜色特征。对于 RGB彩色人眼图像，本发明将其转换为 1 α β 颜色空间的表达，在 1α β颜色空间抽取虹膜颜色特征。例如，将彩色的归一化虹膜图像分为 3X1小块，即在垂直方向进行 3等分（如图 7)，每个小块大小为 22X512，分别在 1、 α、 β 三个通道上，统计每个颜色值出现的频率，建立直方图，每个通道的颜色空间大小为 256。然后将 3个通道， 3个子块的共 9个直方图串接起来生成颜色直方图，作为虹膜颜色特征向量 v^s _c。i_OT，大小为 256X3X9=6912。其中 RGB颜色空间到 1 α β 颜色空间的转换如下：

L 0.3811 0.5783 0.0402 R

Μ 0.0606 0.3804 0.0453 G

S 0.0241 0.1228 0.8444 Β

除了虹膜特征以外，整个眼部区域的表观特征也具有一定的区分度。

I艮部纹理和皮肤纹理作为统一的眼部表观特征用于身份鉴别。紋理基元直方图是纹理分析中最有效的方法之一，其基本思想是一个纹理模式是由基本的元素（紋理基元）组成的，模式中不同的类别由于基本元素的分布不同而不同。如图 10 (a)所示，紋理基元的获取过程如下。通过 SIFT 局部描述子对所有的用于训练的归一化彩色人眼图像的每个通道的每个像素抽取特征向量，大小为 128维，然后通过 K均值聚类方法将得到的所有局部特征向量聚集成 k个集合，将 k个集合的中心作为 k个紋理基元，建立纹理基元词典。在^ G， B三个通道上得到三个紋理基元词典。眼部表观特征构建过程如图 10 (b)所示，对于每幅彩色归一化人眼图像，等分为 2 X 2共 4个局部块，对每个块内每个颜色通道的每个像素上抽取 SIFT 局部特征向量，将得到的所有局部特征向量量化为离其距离最近的紋理基元，一般采用欧式距离度量局部特征向量和紋理基元的距离，然后统计每个紋理基元出现的频率，得到该区域在单通道上的紋理基元直方图。最终，将所有的纹理基元直方图（共 3通道 X 4局部块 =12) 串接起来组成眼部表观特征向量 v^s _texton，大小为 kX 12。 SIFT计算过程参见美国专利 U. S. Patent 6， 711， 293。

左右眼标号特征用于刻画眼部语义特征。用 0/1标识左 /右眼。具体是利用上眼皮睫毛的左右分布不同来进行标识。通过比较靠近泪腺和远离泪腺两个部分的稠密程度分数，标记人眼标号。给定彩色归一化人眼图像，眼部语义特征的抽取过程如图所示，包括眼皮拟合，感兴趣区域选取，滤波器设计，睫毛密度估计，语义特征编码（如图 11 )。眼皮拟合：首先在灰度归一化人眼图像上利用 Canny边缘检测子得到边缘信息，然后在虹膜定位的基础上，选择虹膜外圆左上角区域和右上角区域的边界点进行直线拟合，得到上眼皮的粗略拟合（如图所示，白色线条）。

感兴趣区域选取：根据眼皮拟合的结果，选取感兴趣区域。如图所示，黑色框区域为所选取的感兴趣区域，以右侧感兴趣区域的选取为例。 0,是虹膜外圆中心， R是半径。是垂直方向的直径 0,与眼皮右侧拟合直线 L E_R的交点。 L_fiE_R程度为 R，？^是！^^^ 的中点。选取的感兴趣区域为黑框区域，其长为 R, 宽为 R/2。长边与 L E_R平行。左侧感兴趣区域选取的方法类似。

滤波器设计：设计左右两个差分滤波器，分别对应左右两个感兴趣区域。以右侧滤波器为例，其大小和方向与右侧感兴趣区域一致，如图所示，红色区域全部设置为 1，空白部分设置为 0。差分滤波器的方向与眼皮右边拟合的直线垂直，达到方向自适应。根据虹膜半径大小设置滤波器长度为 R和宽度为 R/2 R为虹膜外边界拟合得到的圆的半径，达到尺度自适应。左侧滤波器通过类似的方法得到。

睫毛密度估计：在彩色归一化人眼图像上，估计感兴趣区域的睫毛密度，以右侧为例。在每个颜色通道上，使用右侧滤波器和右侧感兴趣区域进行卷积，得到每个通道上的响应，将^ G B三个通道上的响应结果相力口，最终结果作为右侧感兴趣区域的睫毛密度估计值 ¾。左侧感兴趣区域的睫毛密度估计值 D_t通过类似方法得到。

语义特征编码：通过定序测量特性，生成眼部语义特征向量 v^s _se„ 如果 D_L> D_K V^S cmtic = 1，否贝 lj V ^S semantic =0

匹配策略- 在识别中，需要将待识别的特征向量和注册特征向量进行匹配，基于 t.述的 4 种特征，其中，虹膜语义特征的匹配采用逻辑异或距离，即

S_semailllc = XOR(v' semantic <> V se man lie

用欧式距离，如下所示: S - ά(ν,, ν₂ )二 ν, -ν

5 对于虹膜紋理特征，给定用于识别的样本和注册样本特征向量

X : {χ_η,χ_]2,...,χ_]π,...,χ^...,χ_>! ,χ_ιη2,...,χ_ι;υ1}，采用稀疏编码方式得到用于识别的虹膜纹理特征向量 v^szw ，即： {α π, 12,...,a u,,...,a ij,..., mi, α ,, ,..., a m,i}。使用每类的重构系数 α ：{α 样本： {x ,x_i2,...,x_m}得到重构的识别样本/，识 10 别样本与每类的所有样本的匹配分数为重构误差，如下所示：

y - y

注意，以上 4种比对分数的值越小，则注册特征和识别特征越相似。在获得 4种特征的匹配分数后，即 S_texture， S_color , S_text。_n， S_{sem itic}。采用自适应的分数级融合策略获得最终的比对分数。自适应的分数级融合策

-化，加权求和，自适应调整。

在分数融合之前，需要将原始 4种比对分数归一化到同一个尺度范围 [0， 1]，比对分数的值越小，则注册特征和识别特征越相似。文献中有多种分数归一化方法，而最大最小归一化方法是最简单有效的方法，给定一组比对分数8 : {3₁，3₂,..., 3₁₁}，最大最小归一化如下：

, — Sj - min(S)

0

1 max(S) - min(S) 对原始的 4个匹配分数进行归一化，得到 4个归一化的分数 S: texture color， texton， semantic ⁰

分数归一化后，采用加权求和策略进行分数级融合，得到融合后的比对分数，如下:

texture + W 2 S 'color + Wi S' texton

其中 Wi ，（i = l，2，3， wi + W2 + W3 二 1)是权重，一般取相等的值，表示每个特征具有相同的重要性。

对于融合后的比对分数，为了去除噪声的影响，根据眼部语义特征匹配分数，可以对融合后的比对分数进行修正的得到修正后的融合分数 SV ，修正准则如下：

如果 S semantic ~ 1并且 Sf < Μι,则 S'f = Μι

如果 8 隱 = 0并且 Sf > M2,则 S'f = M2 ， ^{M l} < ^M2 第一条准则的意义是，当识别人眼图像和注册人眼图像的语义特征不相同，并且融合的结果是识别人眼图像和注册人眼图像比较相似，那么则更倾向于识别人眼图像和注册人眼图像不相似，就将原始的融合分数放大到 M" 第二条准则的意义是，当两者的语义特征相似，但是另外三者融合的结果表明不相似，则更倾向于相似，缩小原始的融合分数到 M₂ 。本方法中采用的分类器为最近邻分类器（Nearest Neighborhood ), 即匹配分数最小者的类别为最终识别的身份类别。

实施案例 1 : 基于人眼图像的多特征融合身份识别方法在网络交易平台中的应用。

本发明可广泛应用到基于网络摄像头的网上平台身份认证。电子商务技术的发展，使得网络平台的交易逐渐走入社会生活。而网上欺诈行为也随之而来。传统的基于密码和口令的身份认证模式的安全度难以满足实际需求，生物特征识别技术成为一种有效的解决方案。基于人眼图像的身份鉴别可以发挥重要作用。用户进行注册的时候，通过普通的网络摄像头将的眼部区域信息，传输到第三方认证中心。远程认证中心采用本发明中的注册算法，将用户的生物特征信息注册到***数据库。当用户进行网络平台身份认证时，网络摄像头将采集到的眼部区域信息传输到第三方认证中心。远程认证中心采用本发明中的识别算法，检索***数据库，进行身份鉴别。此方法可以方便、有效地实现身份认证，从而保障了网络平台上个人身份信息的安全性。

实施案例 2 _: 基于人眼图像的多特征融合身份识别方法在安全监控场景中的应用。

本发明可广泛应用到安全监控场景。在安全监控场景中，要求能够对场景中出现的人员进行控制，如果出现非法人员，要及时报警。例如：一犯罪分子曾经被抓捕过，为防止其以后继续作案，将其眼部区域信息注册到犯罪分子***数据库中。但该犯罪分子再次作案。当其出现在网络监控摄像头的采集范围内，其眼部区域信息通过网络传输到处理终端，处理终端通过本发明的识别算法，确定其身份，如果确认为犯罪分子，则及时报警，将其绳之以法。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此。任何熟悉该技术的本领域技术人员在本发明所公开的技术范围内，可以根据本发明公开的内容进行各种变换或替换，但这些变化和替换都应涵盖在本发明公开的范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

权利要求

1.一种基于人眼图像的多特征融合身份识别方法，包括注册和识别，其中，所述注册包括：

利用分类器进行人眼图像的多特征融合身份识别。

2. 根据权利要求 1所述的方法，其特征在于所述多模态特征包括虹膜纹理特征、虹膜颜色特征、眼部表观特征和眼部语义特征。

3. 根据权利要求 1所述的方法，其特征在于还包括图像预处理，所述图像预处理包括虹膜图像预处理和人眼图像预处理。

4. 根据权利要求 3所述的方法，其特征在于所述虹膜图像预处理包括虹膜定位和虹膜图像归一化。

5. 根据权利要求 4所述的方法，其特征在于所述虹膜定位采用双圆拟合方法，用两个圆分别拟合虹膜与瞳孔的边界和虹膜与巩膜的边界。

6. 根据权利要求 4所述的方法，其特征在于所述虹膜图像归一化包括：

利用迪卡坐标系到极坐标系的转换，将原始的环形虹膜区域映射到固定大小的矩形区域。

7. 根据权利要求 3所述的方法，其特征在于所述人眼图像预处理包括人眼区域定位和人眼区域归一化。

8. 根据权利要求 7所述的方法，其特征在于所述人眼区域定位包括: 人眼区域是一个矩形区域，矩形的中心为虹膜与巩膜边界拟合所得的圆的中心。

9. 根据权利要求 7所述的方法，其特征在于所述人眼区域归一化包括：

将原始人眼区域缩放为固定大小的矩形区域。

10. 根据权利要求 2所述的方法，其特征在于通过稀疏编码抽取虹膜纹理特征。

11. 根据权利要求 2所述的方法，其特征在于通过颜色直方图抽取虹膜颜色特征。

12. 根据权利要求 2所述的方法，其特征在于通过纹理基元表达抽取眼部表观特征。

13.根据权利要求 2所述的方法，其特征在于通过差分滤波器和定序测量特性抽取眼部语义特征。

14.根据权利要求 11所述的方法，其特征在于颜色直方图在每个图像块的每个颜色通道上抽取，所有颜色直方图串接起来组成虹膜颜色特征向

- .

里。

15.根据权利要求 11所述的方法，其特征在于颜色直方图在 1 α β 颜色空间上抽取。

16. 根据权利要求 2所述的方法，其特征在于采用纹理基元直方图抽取眼部表观特征。

17.根据权利要求 16所述的方法，其特征在于所述采用紋理基元直方图抽取眼部表观特征包括步骤：

对每幅图像的每个像素采用尺度不变特征变换抽取局部特征；通过 K均值聚类得到 K个纹理基元，构建纹理基元词典；对归 ·化虹膜图像进行不重叠分块，统计每个紋理基元出现的频率，构建纹理基元直方图；

将紋理基元直方图串接在一起，构成眼部表观特征向量。

18.根据权利要求 17所述的方法，其特征在于如果每个分块图像是彩色图像，则在每个颜色通道上统计每个紋理基元出现的频率。

19.根据权利要求 2所述的方法，其特征在于眼部语义特征抽取包括步骤：

根据虹膜定位和眼皮定位的结果得到上眼皮睫毛区域的大概位置；根据上眼皮睫毛区域和虹膜的位置，选取上眼皮睫毛区域的左右两部分作为感兴趣区域；

根据虹膜的半径大小和上眼皮的方向信息，生成左右两个尺度和方向自适应的差分滤波器；

将左部分自适应差分滤波器和左部分感兴趣区域进行卷积，得到左部感兴趣区域的睫毛密度的估计结果，右部分自适应差分滤波器和右部分感兴趣区域进行卷积，得到右部感兴趣区域的睫毛密度的估计结果；

根据左右两个感兴趣区域的睫毛密度估计响应，根据定序测量特性，生成眼部语义特征向量。

20. 根据权利要求 19所述的方法，其特征在于，自适应差分滤波器的设计中，用左右两条直线拟合上眼皮，然后左右两个差分滤波器的方向分别与左右两条直线垂直，达到方向自适应。滤波器的长度和宽度根据虹膜半径大小进行设置，达到尺度自适应。

21.根据权利要求 19所述的方法，其特征在于对于彩色人眼图像，滤波器将在 R， G， B三个通道上的图像感兴趣区域进行卷积，将所有通道上的卷积值相加作为最终的滤波器和彩色人眼图像感兴趣区域的响应值。

22.根据权利要求 1所述的方法，其特征在于所述分数级融合包括：对虹膜颜色特征向量的匹配分数、虹膜纹理特征向量的匹配分数

S.cxtu,c , 眼部纹理基元特征向量的匹配分数 St 。n，根据各自原始分数的分布进行自适应归一化，得到归一化后的分数 S'e。l。_r、 S'texture , S'texton；

对 S'co r 、 S'texture 、 S'texton 进行力卩权求和得到融合分数 S f = Wl S'texture + W2S 'color + W S'texton；

对加权求和得到的分数 s f 根据眼部语义特征比对结果 s'_ ，进行修正得到 S'f ，其中， Wi , ( i = l，2，3，wi + W2 + W3 = l )是权重。

23. 根据权利要求 22所述的方法，其特征在于，修正的准则是最终的融合分数倾向与眼部语义特征的结果。如果眼部语义特征相似而其他特征不相似，则修正融合的分数，使其向相似的方向变化。反之，如果眼部语义特征不相似而其他特征相似，则修正融合的分数，使其向不相似的方向变化。