CN106991368A - 一种基于深度卷积神经网络的指静脉验证身份识别方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络的指静脉验证身份识别方法。本方法为：1)采集或选取多个样本图像，即指静脉近红外图像；其中，每一手指对应至少两个样本图像；2)对于每一所述近红外图像，生成一指静脉特征模板；3)利用各所述指静脉特征模板训练基于深度卷积神经网络，得到一个将同一手指的一对指静脉特征模板映射到一个相似度的基于深度卷积神经网络；4)利用训练后的基于深度卷积神经网络计算待验证指静脉近红外图像的指静脉特征模板与每一样本图像的指静脉特征模板的相似度，并据相似度判断两者是不是同一个手指的指静脉近红外图像。本发明大大提高了身份识别的准确性和识别速度。

Description

一种基于深度卷积神经网络的指静脉验证身份识别方法

技术领域

本发明属于信息安全的身份验证领域，具体涉及到一种基于深度卷积神经网络的指静脉验证身份识别方法。

背景技术

指静脉验证作为一种新兴的生物特征验证方法备受关注，因其具有诸多优势包括安全性和便利性。采集的指静脉很难被伪造和假冒。因此，指静脉的验证与广泛应用的指纹验证相比更具安全性。同时，指静脉图像采用非侵犯和非接触的采集方式，方便用户使用。

在近二十年，有许多著名的指静脉验证方法被提出。日本著名研究员Naoto Miura等人于2004年提出基于重复线跟踪的特征提取方案的指静脉验证方法。Naoto Miura等人又于2007年利用最大曲率点改进指静脉特征提取算法。黄贝宁等人于2010年提出一种基于宽线检测的算子和模式归一化的指静脉验证新方法。目前，黄贝宁等人的方法因其较高的准确率，被广泛应用在商业领域的指静脉验证***。2010年以来，生物特征验证技术发展迅速。更多的指静脉验证方法被提出。一些方法主要集中在改进特征提取方法包括细节点的频谱特征表示和改进的细节点的频谱特征表示。

然而，指静脉验证方法在实践中仍然存在许多挑战。最重要的问题仍然是个人身份验证的准确率。在第一届和第二届的指静脉识别竞赛中，本发明观察到，指静脉验证算法在被评测时，虽然该算法在实验室收集的数据库上得到一个比较低的错误率，但该算法在从实际应用收集的数据集上应用却得不到一个可接受的错误率。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提出一种基于深度卷积神经网络的指静脉验证身份识别方法。

本发明设计了一个拟合指静脉特征的训练集大小和图像大小的深度卷积神经网络，在深度卷积神经网络上进行指静脉特征匹配获得更好效果。本发明通过难分样本挖掘的DCNN训练策略能提高该方法的准确率和加速整个训练过程。

本发明的技术方案为：

一种基于深度卷积神经网络的指静脉验证身份识别方法，其步骤为：

1)采集或选取多个样本图像，即指静脉近红外图像；其中，每一手指对应至少两个样本图像；

2)对于每一所述近红外图像，生成一指静脉特征模板；

3)利用各所述指静脉特征模板训练基于深度卷积神经网络，得到一个将同一手指的一对指静脉特征模板映射到一个相似度的基于深度卷积神经网络；

4)利用训练后的基于深度卷积神经网络计算待验证指静脉近红外图像的指静脉特征模板与每一样本图像的指静脉特征模板的相似度，并据相似度判断两者是不是同一个手指的指静脉近红外图像。

进一步的，该基于深度卷积神经网络由不同类型的26层组成，第1层是输入层，第26层是输出层，第h层的输出作为第h+1层的输入；其中，第1、3层为卷积层，包括64个滤波器，第6、8层为卷积层，包括128个滤波器，第11、13、15、18、20、22为卷积层，包括256个滤波器；第5、10、17、24层为池化层；第2、4、7、9、12、14、16、19、21、23激励层；第25、26层为全连接层。

进一步的，所述卷积层用于对输入数据进行线性乘积求和得到输入数据的卷积特征；所述池化层用于对卷积特征降维，将卷积特征划分为数个n x n的不相交区域，用这些区域的最大特征来表示降维后的卷积特征；所述激励层为校正线性激活函数。

进一步的，将同一手指的两个指静脉特征模板分别重置为128x 128像素大小；然后将其为一个2通道的128x 128像素大小的图像后输入到该基于深度卷积神经网络的第一层。

进一步的，所述校正线性激活函数为ReLU函数，ReLU函数对于输入x计算f(x)＝max(0,x)，当x＜0时，f(x)＝0，当x＞0时，f(x)＝x。

进一步的，利用各所述指静脉特征模板训练基于深度卷积神经网络的方法为：

11)选取N对指静脉特征模板作为训练集；输入N对指静脉特征模板的全部像素值x和基于深度卷积神经网络的权重向量θ到该基于深度卷积神经网络进行训练；

12)计算权重向量θ的损失函数J(θ)的损失值；

13)根据损失函数J(θ)的损失值，按照梯度下降算法，每次从训练集中随机选择一个样本(x_i,y_i)进行学习，计算每个参数θ_i对应的梯度；然后朝着梯度相反方向去调整学习速率，以更新权重向量θ来达到损失函数的极小值点；其中，θ_i为权重向量θ的第i维，x_i为一个特征模板对，y_i为x_i的分类标签。

进一步的，所述梯度下降算法为：首先采用公式计算动量v_t，然后按照公式θ：＝θ-v_t计算权重向量θ；其中，α为学习速率，参数γ为动量项超。

进一步的，所述梯度下降算法为：首先按照公式 计算损失值J(θ)；然后计算梯度及更新权重向量θ；其中n是样本数，m是特征向量θ的维数。

进一步的，生成所述指静脉特征模板的方法为：首先对每个指静脉近红外图像进行归一化处理，然后利用归一化宽线检测算法从归一化的图像中提取静脉线上的所有点作为指静脉特征模板。

进一步的，利用归一化宽线检测算法从归一化的图像中提取静脉线上的所有点作为指静脉特征模板的方法为：设指静脉近红外图像为F，指静脉特征模板为V，对V中背景部分的像素值设为0、静脉区域部分的像素值设为255；然后对F中每一个点(x₀，y₀)，计算距离该点(x₀,y₀)在r个像素之内的圆形邻域，点(x,y)为邻域内的点，N_(x0,y0)是圆形邻域；然后计算V中的每一点V_(x0,y0)的像素值，同时标记出V中的线条与背景；然后提取该线条中的所有点作为指静脉特征模板；其中根据公式

计算V中的每一点V_(x0,y0)的像素值，t为设置的阈值。

与现有技术相比，本发明的积极效果为：

本发明同时遵循ICB-2016指静脉识别竞赛(以下简称FVRC2016)指定的评测协议，通过实验来评测本发明提出的方法。结果表明，本发明提出的基于DCNN的方法与商业级指静脉验证***相比获得更好的性能。由此可见，在训练集是大规模的情况下，深度卷积神经网络在指静脉图像匹配过程中获得好效果。本发明也证明了含有难分样本挖掘的DCNN的训练策略能在准确率方面提高方法的性能和加速整个训练过程，实验证明，难分样本挖掘的训练策略使整个训练过程快了近两倍的速度。

附图表说明

图1为本发明的方法流程图。

图2为宽线特征提取算法。

图3为本发明的方法在DS1，DS2，DS3测试集训练集上获得的即等错率(EER)。

具体实施方式

下面结合附图对本发明进行进行详细描述。

本发明的一种基于深度卷积神经网络的指静脉验证身份识别方法流程如图1所示，其步骤为：

1)采集：使用指静脉图像采集装置获取手指静脉的近红外图像。

2)注册：对采集的每个指静脉原始图像进行归一化处理，然后进行归一化宽线检测算法的特征提取，生成一个指静脉特征模板。

3)匹配：首先使用基于深度卷积神经网络的方法计算上述特征模板和已注册人对应手指的特征模板的相似度，并据相似度判断两者是不是同一个手指。

进一步的，所述步骤1)中，本发明所使用的指静脉原始图像来自北京大学的指静脉数据集，该数据集已有累计超过300,000多个手指的指静脉数据图像约700,000张。这些图像是使用由指静脉采集设备在室内环境中采集到的，每一手指分别采集5个指静脉图像。该数据集被分为两组，称为训练集和验证集。验证集有其中的300个手指的1500个指静脉数据图像。其余的手指的静脉图像作为训练集。FVRC2016竞赛使用的三个数据集(DS1，DS2，DS3)是评测实验采用的测试集。表1列出了这三个数据集的相关信息。

表1为DS1，DS2，DS3测试集的相关信息表

进一步的，所述步骤2)中，根据文献B.Huang,Y.Dai,R.Li,D.Tang,andW.Li.Finger-vein authentication based on wide line detector and patternnormalization.In Pattern Recognition(ICPR),2010 20th International Conferenceon,pages 1269–1272.IEEE,2010.采用如下注册方法，其步骤为：

21)归一化：该方法仅对采集的指静脉图像实现预处理，包括首先对该图像改变大小，将指静脉图像大小重置为原来的四分之一，即该图像大小从384x 512像素调整到96x128像素。然后进行正弦增强、找手指外轮廓、计算回归方程、简单降噪和几何变换等常规算法处理。

22)宽线检测：这个步骤是可选的。该方法使用宽线检测算子从归一化的图像中提取静脉线上的所有点作为指静脉特征模板其算法描述如下：

如附图2所示，设指静脉原图为F，指静脉特征模板为V，这里的F和V都是8位96x128像素的位图。定义的V中的像素值，作为背景部分是0值，作为静脉区域部分是255值。

第1步：对F中每一个点(x₀,y₀)，按(1)式计算距离在r个像素之内的圆形邻域，点(x,y)为邻域内的点，N_(x0,y0)是圆形邻域。

第2步：按(2)-(4)式计算V中的V_(x0,y0)，同时标记出V中的线条与背景。

这里设置半径r＝5，阈值t＝1和g＝41。

进一步的，所述步骤3)中，匹配任务是通过自主研发的一个深度卷积神经网络架构、来完成，该网络将一对特征模板映射到一个相似度。该网络由不同类型的26层组成。表2显示的是这些层的详细信息，其中Conv是卷积层，用于线性乘积求和。ReLU是激励层，同时是校正线性激活函数。Max Pool是最大池化层，用于非线性降采样。FC是全连接层。第1层是输入层，第26层是输出层，中间的每个层h与层h+1紧密相联，即层h的输出作为层h+1的输入。

表2为深度卷积神经网络架构表

在注册方法中创建的同一手指的两个特征模板是两个1通道的图像。本发明首先将该两个模板分别重置为128x 128像素大小。然后合并这两个模板为一个2通道的128x128像素大小的图像，并将它们直接送到学习网络的第一隐藏卷积层。

进一步的，这个研发的深度神经网络的学习策略为：

31)优化：本发明用有监督方式训练执行匹配任务的深度神经网络。

311)该网络各层描述如下：

对于一个2x 128x 128像素大小的指静脉特征模板，第1、3卷积层定义64个3x3像素大小的滤波器(Filter)，滑动的步长(Stride)为1，填充(Pad)为1。第6、8卷积层定义128个该滤波器。第11、13、15、18、20、22卷积层定义该滤波器256个。对于64个卷积特征，每个3x3像素大小的滤波器与特征模板卷积会得到每个大小为128x128像素的特征模板64个，直到第3卷积层对图像进行卷积操作提取输入图像的内在特征后，得到每个特征模板大小为128x128像素。第5、10、17、24池化层通过最大池采样方法对卷积特征降维，将卷积特征划分为数个n x n的不相交区域，用这些区域的最大特征来表示降维后的卷积特征，所用的滤波器大小为2x2像素，滑动的步长为2，填充为0。比如第3卷积层的64个特征模板经过第5池化层降采样后，得到64个大小为64x64像素的特征模板。其他层工作原理同理。

第2、4、7、9、12、14、16、19、21、23激励层使用的激活函数是ReLU，ReLU函数对于输入x计算f(x)＝max(0,x)。当x＜0时，f(x)＝0，当x＞0时，f(x)＝x。从而加速收敛。

通过以上各步骤后特征模板被降解为单像素特征模板以进行分类操作。为防止模型过拟合，训练过程中第25层使用了文献Srivastava N,Hinton G,Krizhevsky A,etal.Dropout:a simple way to prevent neural networks from overfitting[J].Journal of Machine Learning Research,2014,15(1):1929-1958.中的Dropout技术以防止训练的过拟合。同时第25层通过全连接的方式和最后一层输出层连接，输出最终分类结果。结果越接近1，表示这对特征模板有更大的可能来自同一个手指；结果越接近0，表示这对特征模板有更大的可能来自不同的两个手指。

本发明的深度神经网络的最后一层(即表2中的第26层)是逻辑回归模型的分类器，应用逻辑回归算法，解决二分类问题。在逻辑回归模型中，训练集由n个带标签的特征模板对构成：{(x₁，y₁)，(x₂，y₂),…,(x_n，y_n)}，其中输入特征模板对x_i∈R^2×128×128，分类标签为y_i∈{0,1}。在训练阶段中，h_θ(x)是由表2架构所决定的预测函数，表示结果取1的概率。g是激活函数。参数θ是本网络的权重向量，向量维数m是参数的数量。初始状态时，作为权重的参数θ被随机初始化。输入值x是特征模板的像素值。给定输入值x和参数θ，(5)式给出y＝1和y＝0的概率，它们的概率和等于1。

312)该网络的学习训练过程：

第一步：根据输入值x和参数θ，计算网络的实际输出，本发明将N对特征模板的全部像素值x和参数θ输入网络进行训练，每个批次训练n个样本(N为指静脉图像的样本总数)。

P(y＝1|x；θ)＝h_θ(x)

P(y＝0|x；θ)＝1-h_θ(x) (5)

第二步：按照(6)式计算训练模型参数θ的损失函数J(θ)的损失值。

第三步：根据损失函数J(θ)计算值，按照(7)式所示的随机梯度下降算法(SGD)，每次从训练集中随机选择n个样本(x_i，y_i)作为一个批次进行学习，计算每个参数θ_i对应的梯度(θ_i为权重向量θ的第i维)，然后朝着梯度相反方向去调整学习速率α，以更新训练模型的参数θ来达到损失函数的极小值点(收敛)。在初始状态，设置初始学习率α为0.01，n为64。

第四步：训练完毕后，在验证阶段，对未知标签值的输入值x和已知的权重向量θ，按照(5)式计算出y的值。y_i是指静脉特征模板对x_i对应的0或1标签值。y_i＝0表示指静脉特征模板对x_i不是来自同一手指。当y_i＝1表示输入值x_i是来自同一手指。

313)针对深度神经网络在训练时存在的两个现象，本发明的解决方案如下：

现象1：SGD会在局部极值点附近振荡，从而导致收敛速度慢。

本发明采用(8)(9)式所示的增加动量的梯度下降算法。首先按照(8)式计算动量。其中动量项v_t是在上一次动量项v_t-1前增加一个超参数γ的基础上加上梯度值乘学习速率。动量项在梯度指向方向相同的方向逐渐增大，对梯度指向改变的方向逐渐减小，从而得到了更快的收敛速度以及减弱的振荡。然后按照(9)式计算参数θ。

θ：＝θ-v_t (9)

其中初始学习率α为0.01。动量项超参数γ为0.9。

现象2：随着模型训练的进行，模型的特征模板数量会增加，从而模型的复杂度增加，此时模型在训练集上的训练误差会逐渐减小，但是在模型的复杂度达到一定程度时，模型在验证集上的误差反而随着模型的复杂度增加而增大。此时便发生了过拟合。

本发明采用增加L2正则项的梯度下降算法。(10)式是增加了L2范数的损失函数，其中L2权值衰减λ取0.0005。(11)式是正则化的梯度下降算法。首先按照(10)式计算损失。然后按照(11)式计算梯度及更新特征向量θ。其中n是作为一个批次训练的样本数，m是特征向量θ的维数。θ_j是指θ的第j维。

32)难分样本挖掘：为了提高执行匹配任务的网络的性能，在深度神经网络的学习训练阶段，本发明采用难分样本挖掘策略。每次迭代生成一组256个随机选择的模板对，该模板包括128个负对和128个正对，通过网络向前传播后，计算它们的损失值。其中仅保留32个最难分类的负对和32个最难分类的正对，这些最难分类的模板对通过反向传播来更新权值矩阵。

具体评测实验的结果

为了评测实验的公平和可靠，本发明使用FVRC2016竞赛的数据集。该数据集量大，其指静脉图像是在不同环境下通过几个商业级的验证***采集到的。所有图像都是8位BMP格式，256级灰阶和384x 512像素分辨率。FVRC2016竞赛使用的三个数据集(DS1，DS2，DS3)是本发明评测实验采用的测试集。

表3列出评测实验所用的方法。其中“N+DCNN”、“WLD+DCNN-HM”和“N+DCNN-HM”是本发明的方法,“N+RTM”和“WLD+RTM”被作为本发明比对的基线。

表3为评测的方法的说明

表4的前四行所列出的方法来自文献Y.Ye,L.Ni,H.Zheng,S.Liu,Y.Zhu,D.Zhang,W.Xiang,and W.Li.Fvrc2016:The 2ndfinger vein recognition competition.InBiometrics(ICB),2016International Conference on,pages 1–6.IEEE,2016.描述的FVRC2016竞赛。从表4可见，基于DCNN方法与其他方法相比达到所有测试集上的最好性能。本发明的方法“N+DCNN-HM”在DS1、DS2测试集上的EER分别为0.42％和1.41％，与其他方法相比达到最好效果。本发明的“WLD+DCNN-HM”方法在DS3测试集上的EER为2.13％，与其他方法相比达到最好效果。

表4为评测的方法在DS1、DS2和DS3数据集上获得的即等错率(EER)表

表5的结果表明，本发明的方法的册的执行时间和匹配的执行时间在可接受的范围内。

表5为评测的方法的执行时间表

表6为各评测方法的对比结果，其中粗体数字是两个方法之间的最好结果

(a)“N+RTM”vs“WLD+RTM”

(b)“WLD+RTM”vs“WLD+DCNN-HM”

(c)“N+DCNN”vs“N+DCNN-HM”

(d)“WLD+DCNN-HM”vs“N+DCNN-HM”

表6a的对比结果表明，在所有的测试集中，“WLD+RTM”方法优胜于“N+RTM”方法。从中可见在指静脉验证中宽线检测算子有能力从原始图像中提取有用的信息。

表6b的对比结果表明，在所有的测试集中，本发明的“WLD+DCNN-HM”方法优胜于“WLD+RTM”方法。从中可见，基于DCNN的匹配方法与商业***常用的鲁棒的模板匹配方法(RTM)相比效果更好。

表6c的对比结果表明，在所有的测试集中，本发明的“N+DCNN-HM”方法优胜于“N+DCNN”方法。从中可见，难分样本挖掘的训练策略是行之有效的。表7的结果表明，难分样本挖掘的训练策略使整个训练过程快了近两倍的速度。

表6d的对比结果表明，在所有的测试集中，本发明的“WLD+DCNN-HM”方法的准确率与“N+DCNN-HM”方法的非常接近。从中可见，基于DCNN的匹配方法不依赖注册阶段的特征提取。

表7为基于DCNN方法的训练时间

本发明执行的另一些实验。使用不同规模大小的训练集来研究训练数据的规模大小如何影响测试集上的准确率。为了训练，从训练集中随机选择100,000，200,000和300,000个手指类别。验证集的规模和之前评测的规模一样。本发明的“N+DCNN-HM”方法使用在上述训练集上进行学习训练，然后在DS1、DS2和DS3测试集上进行验证，并计算其即等错率(EER)。图3是实验结果。

由图3可见，当训练集规模增加，本发明的“N+DCNN+HM”方法在100,000，200,000和300,000个手指类别规模的训练集上训练的模型，在DS1、DS2和DS3测试集上测试的准确率也提升。当类别数超过200,000时，在DS1、DS2和DS3测试集上测试的准确率趋于稳定。

评测结果表明，本发明方法的准确率达到目前世界最高水平。

Claims (10)

1.一种基于深度卷积神经网络的指静脉验证身份识别方法，其步骤为：

1)采集或选取多个样本图像，即指静脉近红外图像；其中，每一手指对应至少两个样本图像；

2)对于每一所述近红外图像，生成一指静脉特征模板；

3)利用各所述指静脉特征模板训练基于深度卷积神经网络，得到一个将同一手指的一对指静脉特征模板映射到一个相似度的基于深度卷积神经网络；

4)利用训练后的基于深度卷积神经网络计算待验证指静脉近红外图像的指静脉特征模板与每一样本图像的指静脉特征模板的相似度，并据相似度判断两者是不是同一个手指的指静脉近红外图像。

2.如权利要求1所述的方法，其特征在于，该基于深度卷积神经网络由不同类型的26层组成，第1层是输入层，第26层是输出层，第h层的输出作为第h+1层的输入；其中，第1、3层为卷积层，包括64个滤波器，第6、8层为卷积层，包括128个滤波器，第11、13、15、18、20、22为卷积层，包括256个滤波器；第5、10、17、24层为池化层；第2、4、7、9、12、14、16、19、21、23激励层；第25、26层为全连接层。

3.如权利要求2所述的方法，其特征在于，所述卷积层用于对输入数据进行线性乘积求和得到输入数据的卷积特征；所述池化层用于对卷积特征降维，将卷积特征划分为数个nxn的不相交区域，用这些区域的最大特征来表示降维后的卷积特征；所述激励层为校正线性激活函数。

4.如权利要求2所述的方法，其特征在于，将同一手指的两个指静脉特征模板分别重置为128x128像素大小；然后将其为一个2通道的128x128像素大小的图像后输入到该基于深度卷积神经网络的第一层。

5.如权利要求3所述的方法，其特征在于，所述校正线性激活函数为ReLU函数，ReLU函数对于输入x计算f(x)＝max(0,x)，当x＜0时，f(x)＝0，当x＞0时，f(x)＝x。

6.如权利要求2所述的方法，其特征在于，利用各所述指静脉特征模板训练基于深度卷积神经网络的方法为：

11)选取N对指静脉特征模板作为训练集；输入N对指静脉特征模板的全部像素值x和基于深度卷积神经网络的权重向量θ到该基于深度卷积神经网络进行训练；

12)计算权重向量θ的损失函数J(θ)的损失值；

13)根据损失函数J(θ)的损失值，按照梯度下降算法，每次从训练集中随机选择一个样本进行学习，计算每个参数θ_i对应的梯度；然后朝着梯度相反方向去调整学习速率，以更新权重向量θ来达到损失函数的极小值点；其中，θ_i为权重向量θ的第i维，为一个特征模板对，为的分类标签。

7.如权利要求6所述的方法，其特征在于，所述梯度下降算法为：首先采用公式计算动量v_t，然后按照公式θ：＝θ-v_t计算权重向量θ；其中，α为学习速率，参数γ为动量项超。

8.如权利要求6所述的方法，其特征在于，所述梯度下降算法为：首先按照公式计算损失值J(θ)；然后计算梯度及更新权重向量θ；其中n是样本数，m是特征向量θ的维数。

9.如权利要求1所述的方法，其特征在于，生成所述指静脉特征模板的方法为：首先对每个指静脉近红外图像进行归一化处理，然后利用归一化宽线检测算法从归一化的图像中提取静脉线上的所有点作为指静脉特征模板。

10.如权利要求9所述的方法，其特征在于，利用归一化宽线检测算法从归一化的图像中提取静脉线上的所有点作为指静脉特征模板的方法为：设指静脉近红外图像为F，指静脉特征模板为V，对V中背景部分的像素值设为0、静脉区域部分的像素值设为255；然后对F中每一个点(x₀,y₀)，计算距离该点(x₀,y₀)在r个像素之内的圆形邻域，点(x,y)为邻域内的点，N_(x0,y0)是圆形邻域；然后计算V中的每一点V_(x0,y0)的像素值，同时标记出V中的线条与背景；然后提取该线条中的所有点作为指静脉特征模板；其中根据公式

$V(x_0,y_0)=\left\{\begin{array}{cc}0& m(x_0,y_0)>g\\ 255& otherwise\end{array}\right.$

$m(x_0,y_0)={\Σ}_{(x,y)\∈N_{(x0,y0)}}s(x,y,x_0,y_0,t)$

$s(x,y,x_0,y_0,t)=\left\{\begin{array}{cc}0& F(x,y)-F(x_0,y_0)>t\\ 1& otherwise\end{array}\right.$

计算V中的每一点V_(x0,y0)的像素值，t为设置的阈值。