CN112200159A - 一种基于改进残差网络的非接触式掌静脉识别方法 - Google Patents

一种基于改进残差网络的非接触式掌静脉识别方法 Download PDF

Info

Publication number
CN112200159A
CN112200159A CN202011379940.8A CN202011379940A CN112200159A CN 112200159 A CN112200159 A CN 112200159A CN 202011379940 A CN202011379940 A CN 202011379940A CN 112200159 A CN112200159 A CN 112200159A
Authority
CN
China
Prior art keywords
residual error
palm vein
roi
error network
palm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011379940.8A
Other languages
English (en)
Other versions
CN112200159B (zh
Inventor
赵国栋
朱晓芳
李学双
张烜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Holy Point Century Technology Co ltd
Original Assignee
Sichuan Shengdian Century Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Shengdian Century Technology Co ltd filed Critical Sichuan Shengdian Century Technology Co ltd
Priority to CN202011379940.8A priority Critical patent/CN112200159B/zh
Publication of CN112200159A publication Critical patent/CN112200159A/zh
Application granted granted Critical
Publication of CN112200159B publication Critical patent/CN112200159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于改进残差网络的非接触式掌静脉识别方法，所述的非接触式掌静脉识别方法包括以下步骤：1）采集同一手掌的两张红外图像；2）定位手掌的ROI区域；3）掌静脉注册；4）掌静脉验证；5）掌静脉验证判定：设定识别阈值T，计算特征向量和注册模板的距离，若该距离小于设定的识别阈值T，则判定为该掌静脉验证成功，反之，验证失败；本发明提出一种改进的残差网络结构，该网络结构可在训练时提取输入样本不同尺度的纹理特征，从而使训练好的模型具备提取多尺度纹理信息的能力，提取的特征向量更好地表达输入样本信息，可一定程度上解决输入样本的多种缩放和平移的问题。

Description

一种基于改进残差网络的非接触式掌静脉识别方法
技术领域
本发明属于生物特征识别与深度学习技术领域，尤其涉及一种基于改进残差网络的非接触式掌静脉识别方法。
背景技术
手掌静脉是生物体内不易被仿造的生物特征，具有丰富独特稳定的身份信息，在安全性能方面具有独特优势，有很大的市场潜力。接触式地利用掌静脉等生物特征可以容易地进行身份识别；但接触式设备的使用依赖于手掌与设备接触的使用习惯，对于初次使用者往往体验效果较差；在公共场所下使用接触式设备，会增加因接触设备而传染疾病的风险，易引起人们使用时的抗拒心理；故非接触式生物特征识别技术替代传统接触式已成为大势所趋。
现有掌静脉识别方法利用传统纹理、SIFT、多方向滤波等特征，进行身份识别，例如专利号为CN201710222874.5的中国专利公开的一种融合纹理特征和尺度不变特征的掌静脉识别方法；但对于非接触式采集的静脉图像而言，存在大角度旋转、平移和缩放的等问题，会导致识别率不理想，无法达到识别多人手掌的目的；有些掌静脉识别利用浅层的卷积神经网络来提取掌静脉特，进行身份识别，但由于提取的特征区分能力不够，导致模型的泛化能力不好，识别率不高。
发明内容
本发明所要解决的技术问题是提供一种基于改进残差网络的非接触式掌静脉识别方法，克服因非接触式采集的静脉图像存在大角度旋转、平移和缩放等情况导致的泛化能力差，致识别率不理想的问题。
为了解决上述技术问题，本发明提供的技术方案为：
本发明涉及的一种基于改进残差网络的非接触式掌静脉识别方法，其包括以下步骤：
1）使用非接触设备采集同一手掌的两张红外图像，记为pic1和pic2；
2）定位手掌的ROI区域：将两张红外图像pic1和pic2分别输入到训练好的ROI检测深度学习模型中，分别得到对应的ROI区域位置信息，根据两张红外图像pic1和pic2的ROI区域位置信息裁剪出两张红外图像的ROI图像；
3）掌静脉注册：对红外图像pic1的ROI图像进行数据增强，输入到训练好的改进的残差网络掌静脉识别模型中进行特征提取，得到特征向量并以该特征向量作为注册模板，存入模板库；
4）掌静脉验证：对红外图像pic2的ROI图像进行数据增强，输入到训练好的改进的残差网络掌静脉识别模型中进行特征提取，得到特征向量；
5）掌静脉验证判定：设定识别阈值T，计算特征向量和注册模板的距离，若该距离小于设定的识别阈值T，则判定为该掌静脉验证成功，反之，验证失败；
所述步骤3）和步骤4）中，改进的残差网络掌静脉识别模型是指修改残差模块的组成结构和修改残差网络的损失函数的掌静脉识别模型；
所述修改残差模块的组成结构是在ResNet50网络结构的基础上增加2个不同尺度的卷积映射，即增加不同尺度的掌静脉纹理和边缘信息的提取，同时减少残差单元的个数，进而获得改进后的残差模块的组成结构；
所述修改残差网络的损失函数是在ArcFace损失函数的基础上，增加对类内中心的约束项，使类内距离更小，并增加角度的倍乘系数，根据残差单元的输入与类间距离调控角度的大小，进而获得改进后的损失函数。
优选地，所述步骤2）中定位手掌的ROI区域的具体步骤包括：
2.1）对含有手掌的图像库进行ROI区域手工标注，获得标注信息；
2.2）将图像库和对应的ROI区域标注信息输入MobileNet_SSD网络中进行训练，当训练loss收敛时，选择ROI检出率最高的模型作为ROI检测深度学习模型；
2.3)将两张红外图像pic1和pic2分别输入到训练好的ROI检测深度学习模型中，并分别输出该两张红外图像中检测到的ROI区域位置信息。
优选地，所述步骤3）和4）中，ROI图像数据增强是通过高斯滤波对ROI图像数据进行去噪处理，再使用直方图均衡增强、归一化、缩放和旋转的处理。
优选地，所述修改残差模块的组成结构的计算公式为：
Figure 132465DEST_PATH_IMAGE001
其中，H(x)是该残差单元的输出，F(x) 1 、F(x) 2 和F(x) 3 分别表示3个卷积模块的输出；x表示该残差单元的输入，即一个输入到输出的恒等映射；a、b、c分别表示3个卷积模块输出的权重。
优选地，所述修改残差模块的组成结构时，残差单元个数从原来的16个减少到6个。
优选地，所述修改残差网络的计算公式包括：
Figure 950379DEST_PATH_IMAGE002
Figure 716210DEST_PATH_IMAGE003
Figure 215456DEST_PATH_IMAGE004
式中，
Figure 484763DEST_PATH_IMAGE005
表示改进后的损失函数，
Figure 145683DEST_PATH_IMAGE006
表示第i个样本的特征向量，
Figure 805334DEST_PATH_IMAGE007
表示 第i个样本所属类别的标签，i表示第i个样本，j表示第j个类别，0<i≤N，j=1或2，i、j都是整 数；N表示训练样本总数，s是网络权值和输出模的乘积，
Figure 91959DEST_PATH_IMAGE008
即
Figure 966505DEST_PATH_IMAGE007
和i的夹角；A是
Figure 313173DEST_PATH_IMAGE008
的倍乘系 数；m是为了减小类内和增大类间距离的参数；
Figure 69907DEST_PATH_IMAGE009
表示惩罚项的惩罚力度，
Figure 160223DEST_PATH_IMAGE010
表示第
Figure 889276DEST_PATH_IMAGE011
类 的中心，t表示迭代次数，
Figure 78949DEST_PATH_IMAGE012
表示类内中心更新的学习率；
Figure 41089DEST_PATH_IMAGE013
表示第j类在第t次迭代后的变 化量。
优选地，所述的基于改进残差网络的掌静脉识别模型的训练方法是：将准备好的若干掌静脉ROI图像数据进行数据增强，输入到改进的残差网络中进行训练，待网络收敛，即可获得训练好的基于改进残差网络的掌静脉识别模型；所述步骤3）和4）中，分别将增强后的红外图像pic1的ROI图像和红外图像pic2的ROI图像输入到训练好的基于改进残差网络的掌静脉识别模型中，即可获得全连接层的输出向量，输出向量即为提取获得的特征向量。
优选地，所述步骤5）中计算特征向量和注册模板的距离的公式为：
Figure 420249DEST_PATH_IMAGE014
式中，diff为特征向量和注册模板的距离，features1为特征向量，tmpl1为模板库中与特征向量features1对应的注册模板，i表示特征向量和注册模板的第i维度，i为整数且0<i<=512；n表示特征向量和注册模板的总维度。
采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：
1.本发明提出一种改进的残差网络结构，该网络结构可在训练时提取输入样本不同尺度的纹理特征，从而使训练好的模型具备提取多尺度纹理信息的能力，提取的特征向量更好地表达输入样本信息，可一定程度上解决输入样本的多种缩放和平移的问题；
2.本发明提出一种基于arcface改进的损失函数，该改进的损失函数增加对类内中心的约束项，使类内距离更小，并增加角度的倍乘系数，根据残差单元的输入与类间距离调控角度的大小，使得特征提取时同类样本更相似，不同类样本差异更大，可一定程度上解决输入同类样本旋转的问题；
3.本发明涉及一种基于改进残差网络的非接触式掌静脉识别方法，基于残差网络同时采用了改进的残差模块结构和改进的残差网络损失函数，训练后的模型用于非接触式地掌静脉识别，有较高的识别率和鲁棒性，并且可以适应多姿态的掌静脉验证。
附图说明
图1为基于改进残差网络的非接触式掌静脉识别方法的流程图；
图2为本发明采集的左右手掌红外图像；
图3为ROI检测深度学习模型训练和检测流程图；
图4为本发明数据增强后的掌静脉ROI图像；
图5为本发明方法中改进后的残差卷积网络的结构示意图；
图6为本发明方法中改进后的残差单元；
图7为基于改进残差网络的掌静脉识别模型的训练和识别流程图。
具体实施方式
为进一步了解本发明的内容，结合实施例对本发明作详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
参照附图1所示，本实施例涉及一种基于改进残差网络的非接触式掌静脉识别方法，包括以下步骤：
1）使用非接触设备采集同一手掌的两张红外图像，记为pic1和pic2，图像如附图2所示，图像大小均为：1280像素*720像素；
2）定位手掌的ROI区域：将两张红外图像pic1和pic2分别输入到训练好的ROI检测深度学习模型（记为model1）中，分别得到对应的ROI区域位置信息，根据两张红外图像pic1和pic2的ROI区域位置信息裁剪出两张红外图像的ROI图像，参照附图3所示，具体步骤包括：
2.1）使用非接触设备采集含有5000掌*10幅的图像，使用labelImage工具对含有手掌的图像库进行ROI区域手工标注，获得标注信息以及对应的5000*10个位置信息的xml文件；
2.2）将含有5000掌*10幅图像的图像库和对应的ROI区标注信息（对应的xml文件）输入MobileNet_SSD网络中进行训练，并设置合理的训练超参数，再基于TensorFlow框架进行训练，当训练loss收敛时，选择ROI检出率最高的模型作为ROI检测深度学习模型；
2.3）将两张红外图像pic1和pic2分别输入到训练好的ROI检测深度学习模型中，并分别输出该两张红外图像中检测到的ROI区域位置信息。
3）掌静脉注册：对红外图像pic1的ROI图像进行数据增强，ROI图像数据增强是通过高斯滤波对ROI图像数据进行去噪处理，再使用直方图均衡增强、归一化、缩放和旋转的处理，处理前后的ROI图像如附图4所示，其中（a）为手掌ROI原图；（b）为（a）经过直方图均衡且尺寸归一化后的图；（c）为（b）经过缩放和中心旋转后的图。将处理后的红外图像pic1的ROI图像输入到训练好的改进的残差网络掌静脉识别模型中进行特征提取，得到特征向量并以该特征向量作为注册模板tmpl1，存入模板库。
4）掌静脉验证：对红外图像pic2的ROI图像进行数据增强，即通过高斯滤波对ROI图像数据进行去噪处理，再使用直方图均衡增强、归一化、缩放和旋转的处理，输入到训练好的改进的残差网络掌静脉识别模型（记为model2）中进行特征提取，得到特征向量features1。
上述步骤3）和4）中，改进的残差网络掌静脉识别模型是指修改残差模块的组成结构和修改残差网络的损失函数的掌静脉识别模型。所述修改残差模块的组成结构是在ResNet50网络结构的基础上增加2个不同尺度的卷积映射，改进后的残差卷积网络的结构如图5所示，即增加不同尺度的掌静脉纹理和边缘信息的提取，同时减少残差单元的个数，残差单元个数从原来的16个减少到6个，获得改进后的残差模块的组成结构；所述修改残差网络的损失函数是在ArcFace损失函数的基础上，增加对类内中心的约束项，使类内距离更小，并增加角度的倍乘系数，根据残差单元的输入与类间距离调控角度的大小，进而获得改进后的损失函数。
修改残差模块的组成结构的计算公式为：
Figure 253075DEST_PATH_IMAGE015
其中，H(x)是该残差单元的输出，F(x) 1 、F(x) 2 和F(x) 3 分别表示3个卷积模块的输出；x表示该残差单元的输入，即一个输入到输出的恒等映射；a、b、c分别表示3个卷积模块输出的权重，本实施例中，a=1，b=1，c=1，使用的卷积核大小分别为3*3，5*5，7*7，具体残差结构，如附图6所示。
所述修改残差网络的计算公式包括：
Figure 489016DEST_PATH_IMAGE002
Figure 407293DEST_PATH_IMAGE003
Figure 590144DEST_PATH_IMAGE004
式中，
Figure 808636DEST_PATH_IMAGE005
表示改进后的损失函数，
Figure 684319DEST_PATH_IMAGE006
表示第i个样本的特征向量，
Figure 89892DEST_PATH_IMAGE007
表示 第i个样本所属类别的标签，i表示第i个样本，j表示第j个类别，0<i≤N，j=1或2，i、j都是整 数；N表示训练样本总数，s是网络权值和输出模的乘积，
Figure 732226DEST_PATH_IMAGE008
即
Figure 555957DEST_PATH_IMAGE007
和i的夹角；A是
Figure 320651DEST_PATH_IMAGE008
的倍乘系 数；m是为了减小类内和增大类间距离的参数；
Figure 26570DEST_PATH_IMAGE009
表示惩罚项的惩罚力度，
Figure 800491DEST_PATH_IMAGE010
表示第
Figure 744307DEST_PATH_IMAGE011
类 的中心，t表示迭代次数，
Figure 679902DEST_PATH_IMAGE012
表示类内中心更新的学习率；
Figure 732172DEST_PATH_IMAGE013
表示第j类在第t次迭代后的变 化量。
本实施例中N=6000，m=0.3，
Figure 794937DEST_PATH_IMAGE016
，
Figure 842527DEST_PATH_IMAGE017
。
基于改进残差网络的掌静脉识别模型的训练方法是：将准备好的若干掌静脉ROI图像数据进行数据增强，输入到改进的残差网络中进行训练，待网络收敛，即可获得训练好的基于改进残差网络的掌静脉识别模型。
改进的残差网络掌静脉识别模型的具体训练方法如图7所示，包括以下步骤：
1.使用非接触设备采集红外手掌图像，共6000掌*20幅；
2.将这6000掌*20幅分别输入ROI检测深度学习模型（记为model1）进行检测，根据其输出的位置信息，裁剪得到掌静脉ROI图像；
3.将ROI图像进行数据增强，具体有：高斯去噪，直方图均衡增强，均值归一化，尺度归一化，正负10pixel的随机缩放，并在[-45°，+45°]角度范围内随机旋转；增强后，共得到6000掌*100幅掌静脉ROI图像数据；
4.将6000掌*100幅的图像输入改进后的残差识别网络，并设置合理的训练超参数，再基于Pytorch框架进行训练；
5.等到训练loss收敛，选择识别率最高的模型，即获得具有掌静脉识别能力的训练好的改进的残差网络掌静脉识别模型（记为model2）。
分别将增强后的红外图像pic1的ROI图像和红外图像pic2的ROI图像输入到训练好的基于改进残差网络的掌静脉识别模型中，即可获得全连接层的输出向量，输出向量即为提取获得的特征向量。
5）掌静脉验证判定：设定识别阈值T，计算特征向量和注册模板的距离，若该距离小于设定的识别阈值T，则判定为该掌静脉验证成功，反之，验证失败；计算特征向量和注册模板的距离的公式为：
Figure 762073DEST_PATH_IMAGE014
式中，diff为特征向量和注册模板的距离，features1为特征向量，tmpl1为模板库中与特征向量features1对应的注册模板，i表示特征向量和注册模板的第i维度，i为整数且0<i<=512；n表示特征向量和注册模板的总维度。
本实施例中T=0.89，pic1和pic2的距离diff=0.55；可见，diff<T，即表示该掌静脉验证成功，为同一掌静脉。
对比例1
使用基于残差网络的ResNet50网络，以ArcFace作为损失函数，使用与实施例相同的掌静脉训练数据、环境和数据增强，训练得到掌静脉识别模型（记为model3）。
实验例
实验1：本实验使用非接触式设备，在距离摄像头[90，120]mm范围内采集1000个人的红外正常手掌静脉图像，每人分别采集左、右手掌正常姿势下各10幅，共20000幅红外手掌图像，分别应用实施例1涉及的掌静脉识别方法和应用对比例1涉及的掌静脉识别模型model3进行识别验证；验证方法为：每类手掌使用第一张红外手掌静脉图像进行注册，将其余9张图像分别进行掌静脉验证，统计通过率。具体统计结果见表1。
实验2：基于实验1中注册的1000人的左右手掌注册模板，在距离摄像头[90，120]mm范围内，再采集 [-45°，+45°]角度范围内随机旋转的红外手掌图像，每掌9幅，分别应用实施例1涉及的掌静脉识别方法和对比例1涉及的掌静脉识别模型model3进行识别验证，统计验证成功率，统计结果见表1。
表1：掌静脉验证通过率统计表
Figure 629535DEST_PATH_IMAGE019
实验结论：实验1结果表明，对于非接触式设备下的掌静脉图像，本申请提出的掌静脉识别方法相比于未改进的残差识别网络模型，有更高的验证成功率。实验2结果表明，本申请提出的掌静脉识别方法对于旋转的掌静脉验证通过率更优。对比实验1和实验2的结果，可以看出，本申请提出的识别方法对于多姿态的掌静脉验证性仍能保持较高通过率。总之，可直观看出本发明所述一种基于改进残差网络的非接触式掌静脉识别方法对掌静脉正常验证和多姿态验证，都有很高的识别率和鲁棒性。
以上结合实施例对本发明进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍属于本发明的专利涵盖范围之内。

Claims (8)

1.一种基于改进残差网络的非接触式掌静脉识别方法，其特征在于：其包括以下步骤：
1）使用非接触设备采集同一手掌的两张红外图像，记为pic1和pic2；
2）定位手掌的ROI区域：将两张红外图像pic1和pic2分别输入到训练好的ROI检测深度学习模型中，分别得到对应的ROI区域位置信息，根据两张红外图像pic1和pic2的ROI区域位置信息裁剪出两张红外图像的ROI图像；
3）掌静脉注册：对红外图像pic1的ROI图像进行数据增强，输入到训练好的改进的残差网络掌静脉识别模型中进行特征提取，得到特征向量并以该特征向量作为注册模板，存入模板库；
4）掌静脉验证：对红外图像pic2的ROI图像进行数据增强，输入到训练好的改进的残差网络掌静脉识别模型中进行特征提取，得到特征向量；
5）掌静脉验证判定：设定识别阈值T，计算特征向量和注册模板的距离，若该距离小于设定的识别阈值T，则判定为该掌静脉验证成功，反之，验证失败；
所述步骤3）和步骤4）中，改进的残差网络掌静脉识别模型是指修改残差模块的组成结构和修改残差网络的损失函数的掌静脉识别模型；
所述修改残差模块的组成结构是在ResNet50网络结构的基础上增加2个不同尺度的卷积映射，即增加不同尺度的掌静脉纹理和边缘信息的提取，同时减少残差单元的个数，进而获得改进后的残差模块的组成结构；
所述修改残差网络的损失函数是在ArcFace损失函数的基础上，增加对类内中心的约束项，使类内距离更小，并增加角度的倍乘系数，根据残差单元的输入与类间距离调控角度的大小，进而获得改进后的损失函数。
2.根据权利要求1所述的基于改进残差网络的非接触式掌静脉识别方法，其特征在于：所述步骤2）中定位手掌的ROI区域的具体步骤包括：
2.1）对含有手掌的图像库进行ROI区域手工标注，获得标注信息；
2.2）将图像库和对应的ROI区标注信息输入MobileNet_SSD网络中进行训练，当训练loss收敛时，选择ROI检出率最高的模型作为ROI检测深度学习模型；
2.3)将两张红外图像pic1和pic2分别输入到训练好的ROI检测深度学习模型中，并分别输出该两张红外图像中检测到的ROI区域位置信息。
3.根据权利要求1所述的基于改进残差网络的非接触式掌静脉识别方法，其特征在于：所述步骤3）和4）中，ROI图像数据增强是通过高斯滤波对ROI图像数据进行去噪处理，再使用直方图均衡增强、归一化、缩放和旋转的处理。
4.根据权利要求1所述的基于改进残差网络的非接触式掌静脉识别方法，其特征在于：所述修改残差模块的组成结构的计算公式为：
Figure 959259DEST_PATH_IMAGE001
其中，H(x)是该残差单元的输出，F(x) 1 、F(x) 2 和F(x) 3 分别表示3个卷积模块的输出；x表示该残差单元的输入，即一个输入到输出的恒等映射；a、b、c分别表示3个卷积模块输出的权重。
5.根据权利要求4所述的基于改进残差网络的非接触式掌静脉识别方法，其特征在于：所述修改残差模块的组成结构时，残差单元个数从原来的16个减少到6个。
6.根据权利要求1所述的基于改进残差网络的非接触式掌静脉识别方法，其特征在于：所述修改残差网络的计算公式包括：
Figure 648998DEST_PATH_IMAGE002
Figure 550089DEST_PATH_IMAGE003
Figure 879439DEST_PATH_IMAGE004
式中，
Figure 891388DEST_PATH_IMAGE005
表示改进后的损失函数，
Figure 29109DEST_PATH_IMAGE006
表示第i个样本的特征向量，
Figure 350369DEST_PATH_IMAGE007
表示第 i个样本所属类别的标签，i表示第i个样本，j表示第j个类别，0<i≤N，j=1或2，i、j都是整 数；N表示训练样本总数，s是网络权值和输出模的乘积，
Figure 511223DEST_PATH_IMAGE008
即
Figure 530125DEST_PATH_IMAGE007
和i的夹角；A是
Figure 460035DEST_PATH_IMAGE008
的倍乘系 数；m是为了减小类内和增大类间距离的参数；
Figure 421038DEST_PATH_IMAGE009
表示惩罚项的惩罚力度，
Figure 514592DEST_PATH_IMAGE010
表示第
Figure 789716DEST_PATH_IMAGE011
类 的中心，t表示迭代次数，
Figure 980657DEST_PATH_IMAGE012
表示类内中心更新的学习率；
Figure 378140DEST_PATH_IMAGE013
表示第j类在第t次迭代后的 变化量。
7.根据权利要求1所述的基于改进残差网络的非接触式掌静脉识别方法，其特征在于：所述的基于改进残差网络的掌静脉识别模型的训练方法是：将准备好的若干掌静脉ROI图像数据进行数据增强，输入到改进的残差网络中进行训练，待网络收敛，即可获得训练好的基于改进残差网络的掌静脉识别模型；所述步骤3）和4）中，分别将增强后的红外图像pic1的ROI图像和红外图像pic2的ROI图像输入到训练好的基于改进残差网络的掌静脉识别模型中，即可获得全连接层的输出向量，输出向量即为提取获得的特征向量。
8.根据权利要求1所述的基于改进残差网络的非接触式掌静脉识别方法，其特征在于：所述步骤5）中计算特征向量和注册模板的距离的公式为：
Figure 716849DEST_PATH_IMAGE014
式中，diff为特征向量和注册模板的距离，features1为特征向量，tmpl1为模板库中与特征向量features1对应的注册模板，i表示特征向量和注册模板的第i维度，i为整数且0<i<=512；n表示特征向量和注册模板的总维度。
CN202011379940.8A 2020-12-01 2020-12-01 一种基于改进残差网络的非接触式掌静脉识别方法 Active CN112200159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011379940.8A CN112200159B (zh) 2020-12-01 2020-12-01 一种基于改进残差网络的非接触式掌静脉识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011379940.8A CN112200159B (zh) 2020-12-01 2020-12-01 一种基于改进残差网络的非接触式掌静脉识别方法

Publications (2)

Publication Number Publication Date
CN112200159A true CN112200159A (zh) 2021-01-08
CN112200159B CN112200159B (zh) 2021-02-19

Family

ID=74034364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011379940.8A Active CN112200159B (zh) 2020-12-01 2020-12-01 一种基于改进残差网络的非接触式掌静脉识别方法

Country Status (1)

Country Link
CN (1) CN112200159B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801066A (zh) * 2021-04-12 2021-05-14 北京圣点云信息技术有限公司 一种基于多姿态面部静脉的身份识别方法及装置
CN113673343A (zh) * 2021-07-19 2021-11-19 西安交通大学 一种基于加权元度量学习的开放集掌纹识别***及方法
CN114120381A (zh) * 2021-11-29 2022-03-01 广州新科佳都科技有限公司 掌静脉特征提取方法、装置、电子设备和介质
CN114140424A (zh) * 2021-11-29 2022-03-04 佳都科技集团股份有限公司 掌静脉数据增强方法、装置、电子设备和介质
CN116363712A (zh) * 2023-03-21 2023-06-30 中国矿业大学 一种基于模态信息度评估策略的掌纹掌静脉识别方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389539A (zh) * 2015-10-15 2016-03-09 电子科技大学 一种基于深度数据的三维手势姿态估计方法及***
CN107145829A (zh) * 2017-04-07 2017-09-08 电子科技大学 一种融合纹理特征和尺度不变特征的掌静脉识别方法
CN108875705A (zh) * 2018-07-12 2018-11-23 广州麦仑信息科技有限公司 一种基于Capsule的掌静脉特征提取方法
CN108985231A (zh) * 2018-07-12 2018-12-11 广州麦仑信息科技有限公司 一种基于多尺度卷积核的掌静脉特征提取方法
CN109241995A (zh) * 2018-08-01 2019-01-18 中国计量大学 一种基于改进型ArcFace损失函数的图像识别方法
CN110147732A (zh) * 2019-04-16 2019-08-20 平安科技（深圳）有限公司 指静脉识别方法、装置、计算机设备及存储介质
CN110197099A (zh) * 2018-02-26 2019-09-03 腾讯科技（深圳）有限公司 跨年龄人脸识别及其模型训练的方法和装置
CN111274924A (zh) * 2020-01-17 2020-06-12 厦门中控智慧信息技术有限公司 一种掌静脉检测模型建模方法、掌静脉检测方法及装置
CN111325687A (zh) * 2020-02-14 2020-06-23 上海工程技术大学 一种基于端对端深度网络的平滑滤波取证方法
CN111400535A (zh) * 2020-03-11 2020-07-10 广东宜教通教育有限公司 轻量级人脸识别方法、***、计算机设备及存储介质
CN111639557A (zh) * 2020-05-15 2020-09-08 圣点世纪科技股份有限公司 一种指静脉图像智能注册反馈方法
CN111639558A (zh) * 2020-05-15 2020-09-08 圣点世纪科技股份有限公司 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法
US20200302184A1 (en) * 2019-03-21 2020-09-24 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof
CN111931758A (zh) * 2020-10-19 2020-11-13 北京圣点云信息技术有限公司 一种结合面部静脉的人脸识别方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389539A (zh) * 2015-10-15 2016-03-09 电子科技大学 一种基于深度数据的三维手势姿态估计方法及***
CN107145829A (zh) * 2017-04-07 2017-09-08 电子科技大学 一种融合纹理特征和尺度不变特征的掌静脉识别方法
CN110197099A (zh) * 2018-02-26 2019-09-03 腾讯科技（深圳）有限公司 跨年龄人脸识别及其模型训练的方法和装置
CN108985231A (zh) * 2018-07-12 2018-12-11 广州麦仑信息科技有限公司 一种基于多尺度卷积核的掌静脉特征提取方法
CN108875705A (zh) * 2018-07-12 2018-11-23 广州麦仑信息科技有限公司 一种基于Capsule的掌静脉特征提取方法
CN109241995A (zh) * 2018-08-01 2019-01-18 中国计量大学 一种基于改进型ArcFace损失函数的图像识别方法
US20200302184A1 (en) * 2019-03-21 2020-09-24 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof
CN110147732A (zh) * 2019-04-16 2019-08-20 平安科技（深圳）有限公司 指静脉识别方法、装置、计算机设备及存储介质
CN111274924A (zh) * 2020-01-17 2020-06-12 厦门中控智慧信息技术有限公司 一种掌静脉检测模型建模方法、掌静脉检测方法及装置
CN111325687A (zh) * 2020-02-14 2020-06-23 上海工程技术大学 一种基于端对端深度网络的平滑滤波取证方法
CN111400535A (zh) * 2020-03-11 2020-07-10 广东宜教通教育有限公司 轻量级人脸识别方法、***、计算机设备及存储介质
CN111639557A (zh) * 2020-05-15 2020-09-08 圣点世纪科技股份有限公司 一种指静脉图像智能注册反馈方法
CN111639558A (zh) * 2020-05-15 2020-09-08 圣点世纪科技股份有限公司 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法
CN111931758A (zh) * 2020-10-19 2020-11-13 北京圣点云信息技术有限公司 一种结合面部静脉的人脸识别方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHEN ZHENZHOU 等: "Face recognition based on improved residual neural network", 《2019 CHINESE CONTROL AND DECISION CONFERENCE》 *
JIANKANG DENG 等: "ArcFace: Additive Angular Margin Loss for Deep Face Recognition", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
MINGXING TAN: "MixConv: Mixed Depthwise Convolutional Kernels", 《ARXIN.ORG》 *
ZHONGKAI MA 等: "A Lightweight Real-Time Semantic Segmentation Network for Equipment Images in Space Capsule", 《2020 INTERNATIONAL WORKSHOP ON ELECTRONIC COMMUNICATION AND ARTIFICIAL INTELLIGENCE》 *
张娜 等: "基于深度残差网络与离散哈希的指静脉识别方法", 《浙江理工大学学报(自然科学版)》 *
覃勇杰: "基于机载***的特定目标检测技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801066A (zh) * 2021-04-12 2021-05-14 北京圣点云信息技术有限公司 一种基于多姿态面部静脉的身份识别方法及装置
CN112801066B (zh) * 2021-04-12 2022-05-17 北京圣点云信息技术有限公司 一种基于多姿态面部静脉的身份识别方法及装置
CN113673343A (zh) * 2021-07-19 2021-11-19 西安交通大学 一种基于加权元度量学习的开放集掌纹识别***及方法
CN113673343B (zh) * 2021-07-19 2023-09-19 西安交通大学 一种基于加权元度量学习的开放集掌纹识别***及方法
CN114120381A (zh) * 2021-11-29 2022-03-01 广州新科佳都科技有限公司 掌静脉特征提取方法、装置、电子设备和介质
CN114140424A (zh) * 2021-11-29 2022-03-04 佳都科技集团股份有限公司 掌静脉数据增强方法、装置、电子设备和介质
CN116363712A (zh) * 2023-03-21 2023-06-30 中国矿业大学 一种基于模态信息度评估策略的掌纹掌静脉识别方法
CN116363712B (zh) * 2023-03-21 2023-10-31 中国矿业大学 一种基于模态信息度评估策略的掌纹掌静脉识别方法

Also Published As

Publication number Publication date
CN112200159B (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN112200159B (zh) 一种基于改进残差网络的非接触式掌静脉识别方法
US7596247B2 (en) Method and apparatus for object recognition using probability models
Ahmad et al. Non-stationary feature fusion of face and palmprint multimodal biometrics
Michael et al. A contactless biometric system using palm print and palm vein features
CN107729820B (zh) 一种基于多尺度hog的手指静脉识别方法
Ong et al. A single-sensor hand geometry and palmprint verification system
Salve et al. Iris recognition using SVM and ANN
TW201211913A (en) A method for recognizing the identity of user by palm vein biometric
Ng et al. Hybrid ageing patterns for face age estimation
Dong et al. Finger vein verification based on a personalized best patches map
CN112183504A (zh) 一种基于非接触式手掌静脉图像的视频注册方法及装置
CN111325275A (zh) 基于低秩二维局部鉴别图嵌入的鲁棒图像分类方法及装置
CN111639562A (zh) 一种手掌感兴趣区域的智能定位方法
Doroz et al. Multidimensional nearest neighbors classification based system for incomplete lip print identification
Sudhamani et al. Fusion at decision level in multimodal biometric authentication system using Iris and Finger Vein with novel feature extraction
Tahmasebi et al. Robust intra-class distance-based approach for multimodal biometric game theory-based rank-level fusion of ear, palmprint and signature
Kour et al. Palmprint recognition system
Liu et al. Palm-dorsa vein recognition based on independent principle component analysis
CN113705647B (zh) 一种基于动态间隔的双重语义特征提取方法
Angadi et al. Iris recognition: a symbolic data modeling approach using Savitzky-Golay filter energy features
George Development of efficient biometric recognition algorithms based on fingerprint and face
Nalamothu et al. A review on Palmprint Recognition system using Machine learning and Deep learning methods
CN112270287A (zh) 一种基于旋转不变的手掌静脉识别方法
Fratric et al. Real-time model-based hand localization for unsupervised palmar image acquisition
Selim et al. A Feature level Fusion of Multimodal Biometric Authentication System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210907

Address after: 030032 room 0906, floor 9, building C, qingkong innovation base, No. 529, South Central Street, Taiyuan Xuefu Park, comprehensive reform demonstration zone, Taiyuan, Shanxi Province

Patentee after: Holy Point Century Technology Co.,Ltd.

Address before: 9 / F, unit 1, building 2, no.41-5, Jinsha North 2nd Road, Jinniu District, Chengdu, Sichuan 610000

Patentee before: Sichuan ShengDian Century Technology Co.,Ltd.

TR01 Transfer of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A non-contact palmar vein recognition method based on improved residual network

Effective date of registration: 20220607

Granted publication date: 20210219

Pledgee: Sub branch directly under Shanxi Branch of China Postal Savings Bank Co.,Ltd.

Pledgor: Holy Point Century Technology Co.,Ltd.

Registration number: Y2022140000022

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230621

Granted publication date: 20210219

Pledgee: Sub branch directly under Shanxi Branch of China Postal Savings Bank Co.,Ltd.

Pledgor: Holy Point Century Technology Co.,Ltd.

Registration number: Y2022140000022

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A non-contact palmar vein recognition method based on improved residual network

Effective date of registration: 20230626

Granted publication date: 20210219

Pledgee: Sub branch directly under Shanxi Branch of China Postal Savings Bank Co.,Ltd.

Pledgor: Holy Point Century Technology Co.,Ltd.

Registration number: Y2023980045525