CN106326874A - 一种人眼图像中的虹膜识别方法及其装置 - Google Patents

Abstract

本发明公开了一种人眼图像中的虹膜识别方法，包括步骤：建立预设卷积神经网络；预先选择多个人眼图像，对所述多个人眼图像进行图像预处理；对预设卷积神经网络进行训练，直到使得所述预设卷积神经网络的模型收敛；将一对需进行虹膜识别的待测试人眼图像进行第二步所述图像预处理，获得对应的预设大小的待测试虹膜图像对；将所述待测试虹膜图像对分别以两通道的方式输入到已完成训练的预设卷积神经网络中，获得待测试虹膜图像对的相关性分数并判断是否类别相同。本发明还公开了一种人眼图像中的虹膜识别装置，本发明可对可控场景和非可控场景下采集的人眼图像中的虹膜进行及时、准确的识别，满足用户对虹膜识别的要求，能够提高用户的工作效率。

Description

一种人眼图像中的虹膜识别方法及其装置

技术领域

本发明涉及模式识别和计算机视觉等技术领域，特别是涉及一种人眼图像中的虹膜识别方法及其装置。

背景技术

目前，随着人类科学技术的不断发展，虹膜识别技术在人们日常生活中越来越普及，虹膜识别是利用虹膜的纹理的不变性，唯一性等鉴定身份的一种生物特征识别方法，其已经成功应用于国家安防、边境控制、银行金融、门禁考勤以及移动终端等领域。可以说，无论在人工智能研究还是公共安全应用方面，虹膜识别技术一直是一项前沿、热门技术，拥有举足轻重的地位。

对于虹膜识别技术，在实际应用中，可控场景下的虹膜识别已经被广泛研究，其技术也趋于成熟。然而在实际应用中，虹膜识别技术还有很多挑战，尤其是对于远距离场景和人们不是完全配合的场景(如运动场景)等非可控场景(即复杂的、不可控制的场景)，所采集到的人们的人眼图像由于存在光照和距离变化，因此人眼图像具有低分辨率、高噪声、斜眼、模糊和被遮挡等特性。此外，随着虹膜图像获取装置的广泛发展，多源异质虹膜识别也超越了传统算法的处理能力范围。因此为了满足实际应用的需求，亟待提出更有效的虹膜识别算法。

目前，对于传统的虹膜识别技术，其一般的工作流程包括：图像获取、图像预处理(例如虹膜分割)、特征抽取和模式分类。其中，鲁棒的虹膜特征抽取对于准确的实现虹膜识别起到关键性作用。需要说明的是，典型的虹膜特征有局部特征和相关性特征。局部特征关注一张虹膜图像的纹理细节，而相关性特征则关注两张图像的相关性，判断它们是否为同类。早期的虹膜特征抽取方法基于人工设计滤波器，不仅费时费力，还通常得不到最优结果。通过特征选择获取最佳滤波器参数的方法也存在需要产生高维度、过完备特征池的弊端。因此，当前传统的虹膜识别方法识别准确率低，很难处理的异质虹膜识别以及远距离、移动终端等等非可控应用场景。

因此，目前迫切需要开发出一种技术，其可以对可控场景和非可控场景下采集的人眼图像中的虹膜进行及时、准确的识别，满足用户对虹膜识别的要求，能够提高用户的工作效率，节约人们宝贵的时间，有效保证对人眼图像进行虹膜识别时的准确率。

发明内容

有鉴于此，本发明的目的是提供一种人眼图像中的虹膜识别方法及其装置，其可以对可控场景和非可控场景下采集的人眼图像中的虹膜进行及时、准确的识别，满足用户对虹膜识别的要求，能够提高用户的工作效率，节约人们宝贵的时间，有效保证对人眼图像进行虹膜识别时的准确率，具有重大的生产实践意义。

为此，本发明提供了一种人眼图像中的虹膜识别方法，包括步骤：

第一步：建立预设卷积神经网络，所述卷积神经网络包括依次对所输入的图像进行处理的图像对输入层、预设多个卷积层、预设多个池化层、预设全连接层；

第二步：预先选择多个人眼图像，对所述多个人眼图像进行图像预处理，获得多个预设大小的虹膜图像；

第三步：将所述多个虹膜图像，预先根据每个虹膜图像所预设的类别，选取类别相同的任意两张虹膜图像作为正样本对，以及选取类别不相同的任意两张虹膜图像作为负样本对，分别以两通道的方式输入到所述预设卷积神经网络中，对所述预设卷积神经网络进行训练，直到使得所述预设卷积神经网络的模型收敛；

第四步：将一对需要进行虹膜识别的待测试人眼图像进行第二步所述的图像预处理，获得对应的预设大小的待测试虹膜图像对；

第五步：将所述待测试虹膜图像对，分别以两通道的方式输入到第三步中已经完成训练的所述预设卷积神经网络中，获得输入的所述待测试虹膜图像对的相关性分数，并判断所述待测试虹膜图像对的相关性分数是否位于预设的同类相关性分数取值范围内，如果是，则判断所述待测试虹膜图像对为类别相同，否则，判断为类别不相同。

其中，还包括第六步：

对所述待测试虹膜图像对进行多次平移操作，获得对应的多个待测试虹膜图像对，输入到第三步已经完成训练的所述预设卷积神经网络中，得到多组输入的待测试虹膜图像对的相关性分数，然后对多组相关性分数进行分数融合处理，输出最终的虹膜识别结果。

其中，在第六步中，所述多组相关性分数的融合处理操作包括：对多组相关性分数取平均值、最小值或者最大值。

其中，在第三步中，从所述多个虹膜图像中，首先选取类别相同的任意两张虹膜图像作为正样本对，然后，在剩下的虹膜图像中，随机选取数量与正样本对相同的负样本对。

其中，在第三步中，对所述预设卷积神经网络进行训练的步骤，具体为：将构造好的正样本对和负样本对作为预设卷积神经网络的输入，逐层进行卷积、池化和全连接操作，得到最末层的输出，即匹配结果，比较其与真实标签的误差，根据误差反向传播算法训练卷积神经网络模型，直到模型收敛。

此外，本发明还提供了一种人眼图像中的虹膜识别装置，包括：

网络建立单元，用于建立预设卷积神经网络，所述卷积神经网络包括依次对所输入的图像进行处理的图像对输入层、预设多个卷积层、预设多个池化层、预设全连接层；

图像预先选择单元，用于预先选择多个人眼图像，对所述多个人眼图像进行图像预处理操作，获得多个预设大小的虹膜图像，然后发送给网络训练单元；

网络训练单元，分别与网络建立单元、图像预先选择单元相连接，用于将所述图像预先选择单元处理过的多个虹膜图像，预先根据每个虹膜图像所预设的类别，选取类别相同的任意两张虹膜图像作为正样本对，以及选取类别不相同的任意两张虹膜图像作为负样本对，分别以两通道的方式输入到所述网络建立单元建立的预设卷积神经网络中，对所述预设卷积神经网络进行训练，直到使得所述预设卷积神经网络的模型收敛；

图像预先处理单元，用于将一对需要进行虹膜识别的待测试人眼图像进行所述图像预处理操作，获得对应的预设大小的待测试虹膜图像对，然后发送给图像分类单元；

图像分类识别判断单元，分别与网络训练单元、图像预先处理单元相连接，用于将所述图像预先处理单元处理过的待测试虹膜图像对，分别以两通道的方式输入到所述网络训练单元中已经完成训练的所述预设卷积神经网络中，获得输入的所述待测试虹膜图像对的相关性分数，并判断所述待测试虹膜图像对的相关性分数是否位于预设的同类相关性分数取值范围内，如果是，则判断所述待测试虹膜图像对为类别相同，否则，判断为类别不相同。

其中，所述图像分类识别判断单元，还用于对所述待测试虹膜图像对进行多次平移操作，获得对应的多个待测试虹膜图像对，输入到网络训练单元已经完成训练的所述预设卷积神经网络中，得到多组输入的待测试虹膜图像对的相关性分数，然后对多组相关性分数进行分数融合处理，输出最终的虹膜识别结果。

其中，所述多组相关性分数的融合处理操作包括：对多组相关性分数取平均值、最小值或者最大值。

其中，所述网络训练单元，用于从所述多个虹膜图像中，首先选取类别相同的任意两张虹膜图像作为正样本对，然后在剩下的虹膜图像中，随机选取数量与正样本对相同的负样本对。

其中，所述网络训练单元，用于将构造好的正样本对和负样本对作为预设卷积神经网络的输入，逐层进行卷积、池化和全连接操作，得到最末层的输出，即匹配结果，比较其与真实标签的误差，根据误差反向传播算法训练卷积神经网络模型，直到模型收敛。

由以上本发明提供的技术方案可见，与现有技术相比较，本发明提供了一种人眼图像中的虹膜识别方法及其装置，其可以对可控场景和非可控场景下采集的人眼图像中的虹膜进行及时、准确的识别，满足用户对虹膜识别的要求，能够提高用户的工作效率，节约人们宝贵的时间，有效保证对人眼图像进行虹膜识别时的准确率，具有重大的生产实践意义。

附图说明

图1为本发明提供的一种人眼图像中的虹膜识别方法的流程图；

图2为本发明提供的一种人眼图像中的虹膜识别方法中，输入图像以成对的方式送入卷积神经网络的示意图；

图3为本发明提供的一种人眼图像中的虹膜识别方法中，类间比对的相关性示意图；

图4为本发明提供的一种人眼图像中的虹膜识别方法中，类内比对的相关性示意图；

图5为本发明提供的一种人眼图像中的虹膜识别装置的结构方框图；

图6为本发明提供的一种人眼图像中的虹膜识别方法及其装置中，预算卷积神经网络的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本发明作进一步的详细说明。

随着图形处理器GPU等硬件的不断加速，基于深度学习的方法逐渐显示出不可比拟的优势：第一，通过数据训练，深度网络模型可以自动学习到对于识别最有效的特征，无需人工参与；第二，深度学习是端到端的方法，省去了传统识别方法中特征抽取再分类的复杂流程。卷积神经网络(CNNs)作为深度学习的一个重要分支，具有权值共享和稀疏连接等特点，已经被成功应用于人脸识别、物体检测等领域。

本发明通过将卷积神经网络应用于虹膜识别中，能够进一步提升虹膜识别的准确率，尤其是能够有效地应用于当前传统方法很难处理的异质虹膜识别以及远距离、移动终端等等非可控应用场景。

图1为本发明提供的一种人眼图像中的虹膜识别方法的流程图；

参见图1，本发明提供的一种人眼图像中的虹膜识别方法，该方法通过以一对虹膜图像作为输入数据可以直接检测它们的相关性，判断是否为同类，本发明还可以解决小规模数据库训练卷积神经网络易出现的过拟合问题，从而获得比传统识别方法更高的准确率，更好的应对异质虹膜识别以及非可控场景的应用。

本发明提供的一种人眼图像中的虹膜识别方法，具体包括以下步骤：

第一步：建立预设卷积神经网络，所述卷积神经网络包括依次对所输入的图像进行处理的图像对输入层、预设多个卷积层、预设多个池化层、预设全连接层；

在本发明中，需要说明的是，在实际应用中，虹膜识别技术还有很多挑战，尤其是非可控场景，如远距离和移动终端应用等，存在光照和距离变化、高噪声、低分辨率以及模糊等干扰。此外，随着虹膜图像获取装置的泛在发展，多源异质虹膜识别也超越了传统算法的处理能力范围。传统的虹膜特征抽取方法基于人工设计滤波器，不仅费时费力，还通常得不到最优结果。通过特征选择获取最佳滤波器参数的方法也存在需要产生高维度、过完备特征池的弊端。本发明提出了一种基于卷积神经网络的虹膜识别方法，以一对虹膜图像作为输入，通过端到端的方式直接得到输入图像对的相关性分数，判断为类内或类间，同时本方法也解决了小规模数据库训练卷积神经网络容易出现的过拟合问题。

第二步：预先选择多个人眼图像，对所述多个人眼图像进行图像预处理，获得多个预设大小的虹膜图像；

第三步：将所述多个虹膜图像，预先根据每个虹膜图像所预设的类别，选取类别相同(即同类，也就是同属一只眼睛)的任意两张虹膜图像作为正样本对，以及选取类别不相同(即不同类，不同属一只眼睛)的任意两张虹膜图像作为负样本对，分别以两通道的方式(每个通道输入一张图像)输入到所述预设卷积神经网络中(如图2所示)，对所述预设卷积神经网络进行训练，直到使得所述预设卷积神经网络的模型收敛；

第四步：将一对需要进行虹膜识别的待测试人眼图像进行第二步所述的图像预处理，获得对应的预设大小的待测试虹膜图像对；

第五步：将所述待测试虹膜图像对，分别以两通道的方式输入到第三步中已经完成训练(即训练好的)的所述预设卷积神经网络中，获得输入的所述待测试虹膜图像对的相关性分数(即一对图像中，两张图像之间的相似度，百分比)，并判断所述待测试虹膜图像对的相关性分数是否位于预设的同类相关性分数取值范围内，如果是，则判断所述待测试虹膜图像对为类别相同(即同类，同属一只眼睛的虹膜图像)，否则，判断为类别不相同。

在本发明中，具体实现上，所述预设的同类相关性分数取值范围可以根据用户的需要预先进行设置，例如可以为60％～100％。

具体实现上，对于本发明，还包括第六步：对所述待测试虹膜图像对进行多次平移操作，获得对应的多个待测试虹膜图像对，输入到第三步已经完成训练(即训练好的)的所述预设卷积神经网络中，得到多组输入的待测试虹膜图像对的相关性分数，然后对多组相关性分数进行分数融合处理(例如取平均值、最小值或者最大值等方法)，输出最终的虹膜识别结果。也就是说，将经过第二步的图像预处理(含人眼检测、边缘检测和归一化等处理)多个待测试虹膜图像在进行平移处理后，输入到已经完成训练(即训练好的)的所述预设卷积神经网络中，得到多组输入的待测试虹膜图像对的相关性分数，然后对多组相关性分数进行分数融合处理(例如取平均值、最小值或者最大值等方法)，输出最终的虹膜识别结果。

需要说明的是，本发明，考虑待测试虹膜图像的旋转差异，因此，对经过第二步图像预处理(即归一化处理后)的待测试虹膜图像对进行平移，将平移后的待测试虹膜图像也输入到训练好的卷积神经网络中，可以得到多组输入的待测试虹膜图像对的相关性分数，然后，对多组相关性分数进行分数融合处理(例如取平均值、最小值或者最大值等方法)，克服旋转差异带来的不利影响，输出最终的虹膜识别结果。

在本发明中，需要说明的是，所述预设卷积神经网络包括依次对所输入的图像进行处理的图像对输入层、预设多个卷积层、预设多个池化层、预设全连接层。所述输出层是指网络的最后一层。其中，所述图像对输入层，用于将两幅虹膜图像以两通道的方式(每个通道输入一张图像)输入到所述预设卷积神经网络中，输入图像对的目的是直接测量它们的相关性。所述卷积层，用于对输入图像对进行卷积，每一个卷积滤波器共享相同参数，降低了网络模型的参数量，通过卷积层可以得到输入图像对的特征图。所述池化层，使用了最大值池化和平均值池化，可减少要处理的数据量，同时可保证所提取的特征有空间不变性。所述全连接层：把高维的特征通过全连接的方式转化为更紧凑的一维特征向量。

具体实现上，对于所述预设卷积神经网络所包含的各层，前一层的输出即为后一层的输入。

对于本发明，需要说明的是，所述预设卷积神经网络通过以两通道的方式输入一对虹膜图像，可以直接得到它们的相关性分数，判断是否为同类。通过神经网络自动学习，解决了传统方法人工设计滤波器费时费力的弊端。通过权值共享可减少网络参数。池化层可以减少数据量同时得到具有空间不变性的特征。

在第二步中，具体实现上，所述图像预处理包括以下步骤：

对于预先选择或者获取的人眼图像使用人眼检测器，检测是否有人眼出现，如果有，则给出人眼的大概位置和尺度，然后使用边缘检测子对虹膜的内外圆边界进行定位，得到内外圆心和半径，获得人眼图像中的虹膜图像，然后对虹膜图像进行归一化处理，得到相同尺寸的虹膜图像，如得到128×128像素的虹膜图像。

在本发明中，具体实现上，所述人眼检测器为现有的一种人眼检测器，例如为：Viola等人提出的基于类Haar特征及AdaBoost的人眼检测器。用于检测一张图像中是否有人眼。

在本发明中，具体实现上，所述给出人眼在图像上的大概位置和尺度，即通过人眼检测器，给出人眼的边界框。

在本发明中，具体实现上，所述边缘检测子可以为现有的一种通用边缘检测子。例如可以为：Wildes等人提出的基于梯度的通用边缘检测子检测虹膜边缘点，再基于得到的边缘点进行霍夫变换，从而得到虹膜内外边界曲线参数。

在本发明中，具体实现上，所述内外圆心和半径可以通过边缘检测子得到，用于进行虹膜归一化。

在本发明中，具体实现上，对虹膜图像进行归一化处理，即将环状的虹膜展开为矩形形状，如使用Daugman提出的橡皮胶模型。归一化的目的是将虹膜的大小调整到固定的尺寸，尽量减少虹膜形变的影响。

对于本发明，在第二步中，对于一张图像，首先使用人眼检测器得到眼睛的位置，然后使用边缘检测子从人眼图上得到虹膜的内外圆心和半径，再根据圆心和半径进行虹膜归一化，得到相同尺寸的虹膜图像。

对于本发明，在第二步中，所述构建正样本对和负样本对属于训练过程。训练数据是包含类别信息的。即在图像采集时就知道哪些图像为同一类(即同属一只眼睛)，哪些图像为不同类。具体表现在图像命名上，图像名有几位是用于标识类别信息的，来自同一类(即同一只眼睛)的所有图像的名称中标识类别信息的那几位相同。

在第三步中，具体为：选取类别相同的两张虹膜图像作为正样本对，选取类别不同的两张虹膜图像作为负样本对，由于类间(即虹膜图像不属于同一只眼睛，也就是不同类的虹膜图像之间)的比对次数要远多于类内(即虹膜图像属于同一只眼睛，也就是同类的虹膜图像之间)的比对次数，如果不加约束的选取，将会出现正样本对太少的情况，进而导致基于卷积神经网络的模型在训练时出现过拟合，因此，对于本发明，在第三步中，具体实现上，先选取类内全比对(即从所述多个虹膜图像中，首先选取类别相同的任意两张虹膜图像作为正样本对，比对即比较)，然后，在剩下的虹膜图像中，随机选取数量与正样本对(类内比对次数)相当的负样本对(类间比对)；

所构建的正负样本对以两通道的方式输入到卷积神经网络中，如图2所示，得到的输出结果可以用下式来表达：

$Y_j=\underset{i=1}{\overset{2}{\mathrm{\Σ}}}{X}_i*W_{i,j}+B_j,$

其中，(X₁,X₂)为输入图像对，W_1,j和W_2,j是第j个成对滤波器，B_j为偏置项。

对于本发明，通过选取两张图像构建正样本对和负样本对的方式，有效的扩大了样本空间，可以解决小规模数据库训练卷积神经网络容易出现的过拟合问题，例如训练图像有200类，每类有30张图像，那么共有200*30*(30-1)/2＝87000对的类内样本对(即正样本对)。

在第三步中，对所述预设卷积神经网络进行训练的步骤，具体为：将构造好的图像对(正样本对和负样本对)作为预设卷积神经网络的输入，逐层进行卷积、池化和全连接操作，得到最末层的输出，即匹配结果，比较其与真实标签的误差，根据误差反向传播算法训练卷积神经网络模型，直到模型收敛。

在第三步中，具体实现上，将构造好的图像对作为预设卷积神经网络的输入，逐层进行卷积、池化、全连接等操作，得到最末层的输出，即匹配结果，从而可以比较其与真实标签之间的误差。

需要说明的是，所述匹配结果是预设卷积神经网络最末层的输出值，此输出值为二维向量，每一维分别代表输入图像对属于同类和异类的概率值。通过预设卷积神经网络的自动学习和反向调节，可以使预设卷积神经网络的输出尽可能逼近真实标签。目的是用于验证输入的两张图像是同类还是异类。

还需要说明的是，所述真实标签是用来表征输入图像对是否为同类的标签。根据已知的输入图像的类别信息，即可比较得出两张输入图像是否属于同一类。此真实标签实际上是卷积神经网络的学习目标，用来监督卷积神经网络的学习训练过程，让神经网络的输出尽可能地逼近真实标签。

在本发明中，所述训练是一个神经网络的学习过程，即通过比较神经网络的输出与真实标签的误差来自我调节网络参数的过程。

在本发明中，所述前向传播算法即对神经网络由前至后进行逐层计算。所述反向传播算法是指根据网络输出结果与真实标签间的误差，由后往前逐层调节网络参数的过程，进行此操作是为了优化网络参数，减少输出结果与真实标签间的误差。

在本发明中，当预设卷积神经网络模型在训练集上的输出与真实标签间的误差低于某一阈值时，即可认为模型收敛。此阈值的设定可根据用户的经验和不同的训练集而定。

在第四步中，具体实现上，对需要进行虹膜识别的待测试人眼图对进行处理的所述图像预处理，同第二步的处理过程一致,具体包括以下步骤：

对一对需要进行虹膜识别的待测试人眼图像使用人眼检测器，检测是否有人眼出现，如果有，则给出人眼的大概位置和尺度，然后使用边缘检测子对虹膜的内外圆边界进行定位，得到内外圆心和半径，获得人眼图像中的虹膜图像，然后对虹膜图像进行归一化处理，得到相同尺寸的虹膜图像，如得到128×128像素的虹膜图像。

在第五步中，具体实现上，待测试虹膜图像对按照如同第二步和第三步的方式，进行图像预处理和构建样本对后，输入到第三步中已经完成训练(即训练好的)的所述预设卷积神经网络中，可以直接得到输入图像对的相关性(即输入的所述待测试虹膜图像的每个正样本对和每个负样本对的相关性分数)，如图3、图4所示，分别为类间(虹膜图像不属于同一只眼睛)和类内(虹膜图像属于同一只眼睛)比对的相关性图(需要说明的是，一个人的左右眼虹膜是不相同的，一个人的左右眼虹膜为两类)，其中深颜色(深黑色)代表低响应，意味着更高的相似性，因此，类间比对的相关性图颜色偏浅而类内比对的相关性图颜色偏深。

在第六步中，具体实现上，对所述待测试虹膜图像对进行多次平移操作，将获得对应的多个待测试虹膜图像对。如果用X₁和X₂表示输入的一个待测试的虹膜图像对，假设输入的待测试虹膜图像向左平移一个像素，记为X_1L，向右平移一个像素X_1R，同时考虑输入待测试虹膜图像对的顺序，那么一共产生六组输入图像对：X₁-X₂、X_1L-X₂、X_1R-X₂、X₂-X₁、X₂-X_1L、X₂-X_1R，之后，再对六组结果进行分数层融合，如取均值、最小值和最大值融合等方法，从而得到最终的所输入的待测试虹膜图像对的相关性分数(相似度)，获得最终的虹膜识别结果。

具体实现上，所述多组相关性分数的融合处理操作包括：对多组相关性分数取平均值、最小值或者最大值。

需要说明的是，当待测试虹膜图像对的相关性分数(相似度)达到预设值时，可以判断该待测试虹膜图像对中的两张待测试虹膜图像为属于同一个人，具有很高相关性，属于同类。反之，属于不同类。

在第六步中，需要说明的是，由于在实际使用过程中，难以对虹膜图像进行精确定位校准。为模拟这种差异，在训练时会人为加入扰动，如将图像在不同方向上平移若干像素。

基于上述本发明提供的一种人眼图像中的虹膜识别方法，参见图4，本发明提供的一种人眼图像中的虹膜识别装置，包括：

网络建立单元501，用于建立预设卷积神经网络，所述卷积神经网络包括依次对所输入的图像进行处理的图像对输入层、预设多个卷积层、预设多个池化层、预设全连接层；

图像预先选择单元502，用于预先选择多个人眼图像，对所述多个人眼图像进行图像预处理操作，获得多个预设大小的虹膜图像，然后发送给网络训练单元503；

网络训练单元503，分别与网络建立单元501、图像预先选择单元502相连接，用于将所述图像预先选择单元502处理过的多个虹膜图像，预先根据每个虹膜图像所预设的类别，选取类别相同(即同类，也就是同属一只眼睛)的任意两张虹膜图像作为正样本对，以及选取类别不相同(即不同类，不同属一只眼睛)的任意两张虹膜图像作为负样本对，分别以两通道的方式(每个通道输入一张图像)输入到所述网络建立单元501建立的预设卷积神经网络中(如图2所示)，对所述预设卷积神经网络进行训练，直到使得所述预设卷积神经网络的模型收敛；

图像预先处理单元504，用于将一对需要进行虹膜识别的待测试人眼图像进行所述图像预处理操作(同图像预先选择单元502中的图像预处理操作)，获得对应的预设大小的待测试虹膜图像对，然后发送给图像分类单元505；

图像分类识别判断单元505，分别与网络训练单元503、图像预先处理单元504相连接，用于将所述图像预先处理单元504处理过的待测试虹膜图像对，分别以两通道的方式输入到所述网络训练单元503中已经完成训练(即训练好的)的所述预设卷积神经网络中，获得输入的所述待测试虹膜图像对的相关性分数(即一对图像中，两张图像之间的相似度，百分比)，并判断所述待测试虹膜图像对的相关性分数是否位于预设的同类相关性分数取值范围内，如果是，则判断所述待测试虹膜图像对为类别相同(即同类，同属一只眼睛的虹膜图像)，否则，判断为类别不相同。

在本发明中，具体实现上，所述预设的同类相关性分数取值范围可以根据用户的需要预先进行设置，例如可以为60％～100％。

具体实现上，对于本发明，所述图像分类识别判断单元505，还用于对所述待测试虹膜图像对进行多次平移操作，获得对应的多个待测试虹膜图像对，输入到网络训练单元503已经完成训练(即训练好的)的所述预设卷积神经网络中，得到多组输入的待测试虹膜图像对的相关性分数，然后对多组相关性分数进行分数融合处理(例如取平均值、最小值或者最大值等方法)，输出最终的虹膜识别结果。也就是说，将经过图像预先处理单元504(即经过归一化)处理的多个待测试虹膜图像在进行平移处理后，输入到网络训练单元503已经完成训练(即训练好的)的所述预设卷积神经网络中，得到多组输入的待测试虹膜图像对的相关性分数，然后对多组相关性分数进行分数融合处理(例如取平均值、最小值或者最大值等方法)，输出最终的虹膜识别结果。

具体实现上，所述多组相关性分数的融合处理操作包括：对多组相关性分数取平均值、最小值或者最大值。

在本发明中，所述网络建立单元501、图像预先选择单元502、网络训练单元503、图像预先处理单元504和图像分类识别判断单元505可以分别为本发明装置主板上安装的中央处理器CPU、数字信号处理器DSP或者单片机MCU。

在本发明中，所述网络建立单元501、图像预先选择单元502、网络训练单元503、图像预先处理单元504和图像分类识别判断单元505可以为单独设置的器件，也可以集成设置在一起。

需要说明的是，本发明，考虑待测试虹膜图像的旋转差异，因此，对经过图像预先选择单元502中图像预处理(即归一化处理后)操作的待测试虹膜图像对进行平移，将平移后的待测试虹膜图像也输入到训练好的卷积神经网络中，可以得到多组输入的待测试虹膜图像对的相关性分数，然后，对多组相关性分数进行分数融合处理(例如取平均值、最小值或者最大值等方法)，克服旋转差异带来的不利影响，输出最终的虹膜识别结果。

在本发明中，需要说明的是，在实际应用中，虹膜识别技术还有很多挑战，尤其是非可控场景，如远距离和移动终端应用等，存在光照和距离变化、高噪声、低分辨率以及模糊等干扰。此外，随着虹膜图像获取装置的泛在发展，多源异质虹膜识别也超越了传统算法的处理能力范围。传统的虹膜特征抽取方法基于人工设计滤波器，不仅费时费力，还通常得不到最优结果。通过特征选择获取最佳滤波器参数的方法也存在需要产生高维度、过完备特征池的弊端。本发明提出了一种基于卷积神经网络的虹膜识别方法，以一对虹膜图像作为输入，通过端到端的方式直接得到输入图像对的相关性分数，判断为类内或类间，同时本方法也解决了小规模数据库训练卷积神经网络容易出现的过拟合问题。

在本发明中，需要说明的是，所述预设卷积神经网络包括依次对所输入的图像进行处理的图像对输入层、预设多个卷积层、预设多个池化层、预设全连接层。所述输出层是指网络的最后一层。其中，所述图像对输入层，用于将两幅虹膜图像以两通道的方式(每个通道输入一张图像)输入到所述预设卷积神经网络中，输入图像对的目的是直接测量它们的相关性。所述卷积层，用于对输入图像对进行卷积，每一个卷积滤波器共享相同参数，降低了网络模型的参数量，通过卷积层可以得到输入图像对的特征图。所述池化层，使用了最大值池化和平均值池化，可减少要处理的数据量，同时可保证所提取的特征有空间不变性。所述全连接层：把高维的特征通过全连接的方式转化为更紧凑的一维特征向量。

具体实现上，对于所述预设卷积神经网络所包含的各层，前一层的输出即为后一层的输入。

对于本发明，需要说明的是，所述预设卷积神经网络通过以两通道的方式输入一对虹膜图像，可以直接得到它们的相关性分数，判断是否为同类。通过神经网络自动学习，解决了传统方法人工设计滤波器费时费力的弊端。通过权值共享可减少网络参数。池化层可以减少数据量同时得到具有空间不变性的特征。

在图像预先选择单元502中，具体实现上，所述图像预处理包括以下步骤：

对于预先选择或者获取的人眼图像使用人眼检测器，检测是否有人眼出现，如果有，则给出人眼的大概位置和尺度，然后使用边缘检测子对虹膜的内外圆边界进行定位，得到内外圆心和半径，获得人眼图像中的虹膜图像，然后对虹膜图像进行归一化处理，得到相同尺寸的虹膜图像，如得到128×128像素的虹膜图像。

在本发明中，具体实现上，所述人眼检测器为现有的一种人眼检测器，例如为：Viola等人提出的基于类Haar特征及AdaBoost的人眼检测器。用于检测一张图像中是否有人眼。

在本发明中，具体实现上，所述给出人眼在图像上的大概位置和尺度，即通过人眼检测器，给出人眼的边界框。

在本发明中，具体实现上，所述边缘检测子可以为现有的一种通用边缘检测子。例如可以为：Wildes等人提出的基于梯度的通用边缘检测子检测虹膜边缘点，再基于得到的边缘点进行霍夫变换，从而得到虹膜内外边界曲线参数。

在本发明中，具体实现上，所述内外圆心和半径可以通过边缘检测子得到，用于进行虹膜归一化。

在本发明中，具体实现上，对虹膜图像进行归一化处理，即将环状的虹膜展开为矩形形状，如使用Daugman提出的橡皮胶模型。归一化的目的是将虹膜的大小调整到固定的尺寸，尽量减少虹膜形变的影响。

对于本发明，对于图像预先选择单元502，对于一张图像，首先使用人眼检测器得到眼睛的位置，然后使用边缘检测子从人眼图上得到虹膜的内外圆心和半径，再根据圆心和半径进行虹膜归一化，得到相同尺寸的虹膜图像。

对于本发明，对于图像预先选择单元502，所述构建正样本对和负样本对属于训练过程。训练数据是包含类别信息的。即在图像采集时就知道哪些图像为同一类(即同属一只眼睛)，哪些图像为不同类。具体表现在图像命名上，图像名有几位是用于标识类别信息的，来自同一个类(即同一只眼睛)的所有图像的名称中标识类别信息的那几位相同。

在网络训练单元503中，具体处理操作为：选取类别相同的两张虹膜图像作为正样本对，选取类别不同的两张虹膜图像作为负样本对，由于类间(即虹膜图像不属于同一只眼睛，也就是不同类的虹膜图像之间)的比对次数要远多于类内(即虹膜图像属于同一只眼睛，也就是同类的虹膜图像之间)的比对次数，如果不加约束的选取，将会出现正样本对太少的情况，进而导致基于卷积神经网络的模型在训练时出现过拟合，因此，对于本发明，对于所述网络训练单元503，具体实现上，先选取类内全比对(即从所述多个虹膜图像中，首先选取类别相同的任意两张虹膜图像作为正样本对，比对即比较)，然后，在剩下的虹膜图像中，随机选取数量与正样本对(类内比对次数)相当的负样本对(类间比对)；

所构建的正负样本对以两通道的方式输入到卷积神经网络中，如图2所示，得到的输出结果可以用下式来表达：

$Y_j=\underset{i=1}{\overset{2}{\mathrm{\Σ}}}{X}_i*W_{i,j}+B_j,$

其中，(X₁,X₂)为输入图像对，W_1,j和W_2,j是第j个成对滤波器，B_j为偏置项。

对于本发明，通过选取两张图像构建正样本对和负样本对的方式，有效的扩大了样本空间，可以解决小规模数据库训练卷积神经网络容易出现的过拟合问题，例如训练图像有200类，每类有30张图像，那么共有200*30*(30-1)/2＝87000对的类内样本对(即正样本对)。

在网络训练单元503中，对所述预设卷积神经网络进行训练的步骤，具体为：将构造好的图像对(正样本对和负样本对)作为预设卷积神经网络的输入，逐层进行卷积、池化和全连接等操作，得到最末层的输出，即匹配结果，比较其与真实标签的误差，根据误差反向传播算法训练卷积神经网络模型，直到模型收敛。

在网络训练单元503中，具体实现上，将构造好的图像对作为预设卷积神经网络的输入，逐层进行卷积、池化、全连接等操作，得到最末层的输出，即匹配结果，从而可以比较其与真实标签之间的误差。

需要说明的是，所述匹配结果是预设卷积神经网络最末层的输出值，此输出值为二维向量，每一维分别代表输入图像对属于同类和异类的概率值。通过预设卷积神经网络的自动学习和反向调节，可以使预设卷积神经网络的输出尽可能逼近真实标签。目的是用于验证输入的两张图像是同类还是异类。

还需要说明的是，所述真实标签是用来表征输入图像对是否为同类的标签。根据已知的输入图像的类别信息，即可比较得出两张输入图像是否属于同一类。此真实标签实际上是卷积神经网络的学习目标，用来监督卷积神经网络的学习训练过程，让神经网络的输出尽可能地逼近真实标签。

在本发明中，所述训练是一个神经网络的学习过程，即通过比较神经网络的输出与真实标签的误差来自我调节网络参数的过程。

在本发明中，所述前向传播算法即对神经网络由前至后进行逐层计算。所述反向传播算法是指根据网络输出结果与真实标签间的误差，由后往前逐层调节网络参数的过程，进行此操作是为了优化网络参数，减少输出结果与真实标签间的误差。

在本发明中，当预设卷积神经网络模型在训练集上的输出与真实标签间的误差低于某一阈值时，即可认为模型收敛。此阈值的设定可根据用户的经验和不同的训练集而定。

在图像预先处理单元504中，具体实现上，对需要进行虹膜识别的待测试人眼图像对进行处理的所述图像预处理，同图像预先选择单元502中的图像预处理操作，处理过程一致，具体包括以下步骤：

对一对需要进行虹膜识别的待测试人眼图像使用人眼检测器，检测是否有人眼出现，如果有，则给出人眼的大概位置和尺度，然后使用边缘检测子对虹膜的内外圆边界进行定位，得到内外圆心和半径，获得人眼图像中的虹膜图像，然后对虹膜图像进行归一化处理，得到相同尺寸的虹膜图像，如得到128×128像素的虹膜图像。

在图像分类识别判断单元505中，具体实现上，待测试虹膜图像对按照如同图像预先选择单元502和网络训练单元503的方式进行图像预处理和构建样本对后，输入到所述网络训练单元503中已经完成训练(即训练好的)的所述预设卷积神经网络中，可以直接得到输入图像对的相关性(即输入的所述待测试虹膜图像的每个正样本对和每个负样本对的相关性分数)，如图3、图4所示，分别为类间(膜图像不属于同一只眼睛)和类内(虹膜图像属于同一只眼睛)比对的相关性图(需要说明的是，一个人的左右眼虹膜是不相同的，一个人的左右眼虹膜为两类)，其中深颜色(深黑色)代表低响应，意味着更高的相似性，因此，类间比对的相关性图颜色偏浅而类内比对的相关性图颜色偏深。

在图像分类识别判断单元505中，具体实现上，对所述待测试虹膜图像对进行多次平移操作，将获得对应的多个待测试虹膜图像对。如果用X₁和X₂表示输入的一个待测试的虹膜图像对，假设输入的待测试虹膜图像向左平移一个像素，记为X_1L，向右平移一个像素X_1R，同时考虑输入待测试虹膜图像对的顺序，那么一共产生六组输入图像对：X₁-X₂、X_1L-X₂、X_1R-X₂、X₂-X₁、X₂-X_1L、X₂-X_1R，之后，再对六组结果进行分数层融合，如取均值、最小值和最大值融合等方法，从而得到最终的所输入的待测试虹膜图像对的相关性分数(相似度)，获得最终的虹膜识别结果。

需要说明的是，当待测试虹膜图像对的相关性分数(相似度)达到预设值时，可以判断该待测试虹膜图像对中的两张待测试虹膜图像为属于同一个人，具有很高相关性，属于同类。反之，属于不同类。

在第六步中，需要说明的是，由于在实际使用过程中，难以对虹膜图像进行精确定位校准。为模拟这种差异，在训练时会人为加入扰动，如将图像在不同方向上平移若干像素。

为更好地理解本发明的技术方案，下面结合具体实施例做进一步说明。

实施例1

本发明提供的一种人眼图像中的虹膜识别方法及其装置，基于卷积神经网络，在异质虹膜识别中的应用。

本发明可应用于提升异质虹膜识别的准确率。随着科学技术和图像获取装置的发展，虹膜图像呈现多源异质性，存在光源波段、传感器、图像分辨率、距离远近等方面的不同，这会造成很大的类内差异，使错误拒绝率增大，大大降低了***识别的准确率。例如一个人在注册时采用高清虹膜图像获取装置，在近距离采集，而在识别时采用便携式虹膜图像获取装置，不限定距离采集，因此用于注册和识别的虹膜图像存在分辨率、距离等异质因素。传统方法对于异质虹膜图像使用相同的滤波器模板，没有针对异质源进行特殊的设计，往往得不到最佳结果，而本发明基于卷积神经网络，可以根据不同的异质源自动学习最适合的滤波器，并且通过输入图像对的方式有效扩大了样本空间，对数据进行了充分的利用，从而能够得到比传统方法更高的准确率。

实施例2

本发明提供的一种人眼图像中的虹膜识别方法及其装置，基于卷积神经网络，在移动终端的应用。

本发明可应用于移动终端。移动设备已经广泛应用于人们的日常生活中，如手机支付，存储私人信息等，如何保证其安全性越来越受到关注。生物特征识别相比于输入密码等方法具有用户友好性好、可靠性高等优势，而虹膜又是区分性最强、防伪性最好的模态，虹膜识别已经成为保障移动设备安全的新技术。然而移动端获取的虹膜图像质量较低，存在高噪声、低分辨率、离焦和运动模糊等因素，传统识别方法很难获得较高的准确率。随着GPU等硬件的发展，深度学习方法已经能够在移动终端应用。本发明基于卷积神经网络，能够自动提取对识别最有效的特征，鲁棒性较高，并且本发明为端到端的识别方法，省去了传统方法特征提取再分类的复杂流程，因此本发明的效率较高，尤其适用于注册和识别样本数较少的移动终端应用。

因此，对于本发明提供的一种人眼图像中的虹膜识别方法及其装置，其基于多尺度全卷积神经网络，对于提高虹膜识别的准确率具有重要意义，其有益效果体现在以下几个方面：

1、本发明是首次将卷积神经网络用在虹膜识别中，能够自动学习得到对识别最有效的特征，无需人工参与。

2、本发明是端到端的方法，省去了传统虹膜识别的复杂流程，能够直接得到输入图像对的相关性分数，判断它们是否为同类。

3、与以往训练卷积神经网络需要大量有标签的数据不同，本发明通过输入图像对的方法有效的扩大了样本空间，可以解决小规模数据库训练卷积神经网络容易出现的过拟合问题。

综上所述，与现有技术相比较，本发明提供了一种人眼图像中的虹膜识别方法及其装置，其可以对可控场景和非可控场景下采集的人眼图像中的虹膜进行及时、准确的识别，满足用户对虹膜识别的要求，能够提高用户的工作效率，节约人们宝贵的时间，有效保证对人眼图像进行虹膜识别时的准确率，具有重大的生产实践意义。

通过使用本发明提供的技术，可以使得人们工作和生活的便利性得到很大的提高，极大地提高了人们的生活水平。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种人眼图像中的虹膜识别方法，其特征在于，包括步骤：

第一步：建立预设卷积神经网络，所述卷积神经网络包括依次对所输入的图像进行处理的图像对输入层、预设多个卷积层、预设多个池化层、预设全连接层；

第二步：预先选择多个人眼图像，对所述多个人眼图像进行图像预处理，获得多个预设大小的虹膜图像；

第三步：将所述多个虹膜图像，预先根据每个虹膜图像所预设的类别，选取类别相同的任意两张虹膜图像作为正样本对，以及选取类别不相同的任意两张虹膜图像作为负样本对，分别以两通道的方式输入到所述预设卷积神经网络中，对所述预设卷积神经网络进行训练，直到使得所述预设卷积神经网络的模型收敛；

第四步：将一对需要进行虹膜识别的待测试人眼图像进行第二步所述的图像预处理，获得对应的预设大小的待测试虹膜图像对；

第五步：将所述待测试虹膜图像对，分别以两通道的方式输入到第三步中已经完成训练的所述预设卷积神经网络中，获得输入的所述待测试虹膜图像对的相关性分数，并判断所述待测试虹膜图像对的相关性分数是否位于预设的同类相关性分数取值范围内，如果是，则判断所述待测试虹膜图像对为类别相同，否则，判断为类别不相同。

2.如权利要求1所述的方法，其特征在于，还包括第六步：

对所述待测试虹膜图像对进行多次平移操作，获得对应的多个待测试虹膜图像对，输入到第三步已经完成训练的所述预设卷积神经网络中，得到多组输入的待测试虹膜图像对的相关性分数，然后对多组相关性分数进行分数融合处理，输出最终的虹膜识别结果。

3.如权利要求2所述的方法，其特征在于，在第六步中，所述多组相关性分数的融合处理操作包括：对多组相关性分数取平均值、最小值或者最大值。

4.如权利要求1至3中任一项所述的方法，其特征在于，在第三步中，从所述多个虹膜图像中，首先选取类别相同的任意两张虹膜图像作为正样本对，然后，在剩下的虹膜图像中，随机选取数量与正样本对相同的负样本对。

5.如权利要求1至3中任一项所述的方法，其特征在于，在第三步中，对所述预设卷积神经网络进行训练的步骤，具体为：将构造好的正样本对和负样本对作为预设卷积神经网络的输入，逐层进行卷积、池化和全连接操作，得到最末层的输出，即匹配结果，比较其与真实标签的误差，根据误差反向传播算法训练卷积神经网络模型，直到模型收敛。

6.一种人眼图像中的虹膜识别装置，其特征在于，包括：

网络建立单元，用于建立预设卷积神经网络，所述卷积神经网络包括依次对所输入的图像进行处理的图像对输入层、预设多个卷积层、预设多个池化层、预设全连接层；

图像预先选择单元，用于预先选择多个人眼图像，对所述多个人眼图像进行图像预处理操作，获得多个预设大小的虹膜图像，然后发送给网络训练单元；

网络训练单元，分别与网络建立单元、图像预先选择单元相连接，用于将所述图像预先选择单元处理过的多个虹膜图像，预先根据每个虹膜图像所预设的类别，选取类别相同的任意两张虹膜图像作为正样本对，以及选取类别不相同的任意两张虹膜图像作为负样本对，分别以两通道的方式输入到所述网络建立单元建立的预设卷积神经网络中，对所述预设卷积神经网络进行训练，直到使得所述预设卷积神经网络的模型收敛；

图像预先处理单元，用于将一对需要进行虹膜识别的待测试人眼图像进行所述图像预处理操作，获得对应的预设大小的待测试虹膜图像对，然后发送给图像分类单元；

图像分类识别判断单元，分别与网络训练单元、图像预先处理单元相连接，用于将所述图像预先处理单元处理过的待测试虹膜图像对，分别以两通道的方式输入到所述网络训练单元中已经完成训练的所述预设卷积神经网络中，获得输入的所述待测试虹膜图像对的相关性分数，并判断所述待测试虹膜图像对的相关性分数是否位于预设的同类相关性分数取值范围内，如果是，则判断所述待测试虹膜图像对为类别相同，否则，判断为类别不相同。

7.如权利要求6所述的装置，其特征在于，所述图像分类识别判断单元，还用于对所述待测试虹膜图像对进行多次平移操作，获得对应的多个待测试虹膜图像对，输入到网络训练单元已经完成训练的所述预设卷积神经网络中，得到多组输入的待测试虹膜图像对的相关性分数，然后对多组相关性分数进行分数融合处理，输出最终的虹膜识别结果。

8.如权利要求7所述的装置，其特征在于，所述多组相关性分数的融合处理操作包括：对多组相关性分数取平均值、最小值或者最大值。

9.如权利要求6至8中任一项所述的装置，其特征在于，所述网络训练单元，用于从所述多个虹膜图像中，首先选取类别相同的任意两张虹膜图像作为正样本对，然后在剩下的虹膜图像中，随机选取数量与正样本对相同的负样本对。

10.如权利要求6至8中任一项所述的装置，其特征在于，所述网络训练单元，用于将构造好的正样本对和负样本对作为预设卷积神经网络的输入，逐层进行卷积、池化和全连接操作，得到最末层的输出，即匹配结果，比较其与真实标签的误差，根据误差反向传播算法训练卷积神经网络模型，直到模型收敛。