CN111191605A - 一种基于级联神经网络的多任务虹膜快速定位方法 - Google Patents

一种基于级联神经网络的多任务虹膜快速定位方法 Download PDF

Info

Publication number
CN111191605A
CN111191605A CN201911415847.5A CN201911415847A CN111191605A CN 111191605 A CN111191605 A CN 111191605A CN 201911415847 A CN201911415847 A CN 201911415847A CN 111191605 A CN111191605 A CN 111191605A
Authority
CN
China
Prior art keywords
neural network
iris
area
sample
cascade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911415847.5A
Other languages
English (en)
Inventor
沈文忠
滕童
毛云丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Electric Power
Shanghai Electric Power University
University of Shanghai for Science and Technology
Original Assignee
Shanghai Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Power University filed Critical Shanghai Electric Power University
Priority to CN201911415847.5A priority Critical patent/CN111191605A/zh
Publication of CN111191605A publication Critical patent/CN111191605A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种基于级联神经网络的多任务虹膜快速定位方法，该方法包括如下步骤：(1)选取虹膜区域并且标记关键特征点作为Ground Truth数据集；(2)制作训练样本集，包括正样本、中间样本和负样本；(3)制作训练样本集的标签；(4)建立级联神经网络，第一级神经网络用于虹膜区域候选框分类，第二级神经网络用于对虹膜候选框区域进行分类与区域坐标回归，第三级神经网络用于精确输出虹膜区域和关键特征点的位置信息；(5)采用有标签的训练样本对级联神经网络进行训练；(6)将待定位图像输入至训练好的级联神经网络，输出虹膜区域和关键特征点的位置信息。与现有技术相比，本发明方法定位准确可靠，泛化能力强。

Description

一种基于级联神经网络的多任务虹膜快速定位方法
技术领域
本发明涉及生物特征识别技术领域，尤其是涉及一种基于级联神经网络的多任务虹膜快速定位方法。
背景技术
在人类身份识别认证的问题上，传统的身份验证方法不方便、不安全，而基于生物学特征的生物识别技术具有普遍性、稳定性、安全性的特点，这让生物识别技术成为了该领域内近年来研究的热点。
其中虹膜识别被认为是最具开发前景的生物特征识别方法，与其他生物识别技术相比虹膜识别有着唯一性、稳定性、防伪性和非接触性的优点。
一个完整的虹膜识别***由图像的获取，虹膜定位，特征提取和识别验证四个部分组成，其中虹膜定位是非常重要的环节。虹膜区域定位的不准确会造成干扰信息的引入，像眼睑、光斑、睫毛等，还会造成虹膜纹理信息的缺失，因此虹膜区域定位是否准确对后续的虹膜特征提取和虹膜识别的准确率有很大的影响。目前的虹膜定位算法大多基于虹膜图像的某一或者某些不变特征计算得到虹膜区域的内外边界，泛化能力低，以及在处理眼睛区域以外的脸部信息时表现得并不是很稳健。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于级联神经网络的多任务虹膜快速定位方法。
本发明的目的可以通过以下技术方案来实现：
一种基于级联神经网络的多任务虹膜快速定位方法，该方法包括如下步骤：
(1)在原始图像中选取虹膜区域并且标记关键特征点作为Ground Truth数据集；
(2)基于Ground Truth数据集制作训练样本集，包括正样本、中间样本和负样本；
(3)制作训练样本集的标签；
(4)建立级联神经网络，包括依次级联的三个神经网络，第一级神经网络用于虹膜区域候选框分类，第二级神经网络用于对虹膜候选框区域进行分类与区域坐标回归，第三级神经网络用于精确输出虹膜区域和关键特征点的位置信息；
(5)采用有标签的训练样本对级联神经网络进行训练；
(6)将待定位图像输入至训练好的级联神经网络，输出虹膜区域和关键特征点的位置信息。
步骤(1)具体为：
首先，采用矩形框人工标记虹膜区域，得到虹膜区域的位置信息(x,y,width,height)，x,y表示矩形框左上角的横纵坐标，width,height表示矩形框的宽度和高度；
然后，在虹膜区域标记5个关键特征点(xi,yi)，i∈{1,2,3,4,5}，包括虹膜左右边缘点、瞳孔左右边缘点和瞳孔圆心，xi和yi表示第i个关键特征点的横坐标和纵坐标。
步骤(2)具体为：
在原始图像中随机裁剪图像块得到3个类别的样本集：
正样本：与Ground Truth的交并比大于等于0.65的图像块；
中间样本：与Ground Truth的交并比介于0.4和0.65之间的图像块；
负样本：与Ground Truth的交并比小于等于0.3的图像块。
所述的交并比通过如下方式获得：
IOU＝S(A∩B)/S(A∪B)，
其中，A表示随机裁剪的图像块，B表示Ground Truth区域，即矩形框标记的虹膜区域，S(A∩B)表示A和B相交区域的面积，S(A∪B)表示A和B相并区域的面积。
步骤(3)具体为：
采用式1归一化虹膜区域左上角坐标，采用式2归一化5个关键特征点坐标；
将正样本的标签记为1，带有归一化后的虹膜区域左上角坐标和关键特征点坐标信息；
中间样本的标签记为-1，带有归一化后的虹膜区域左上角坐标和关键特征点坐标信息；
负样本的标签记为0；
其中，
式1：
Figure BDA0002351167190000031
其中，offsetx、offsety为归一化得到的虹膜区域左上角横纵坐标，bx、by表示裁剪的图像块的左上角横纵坐标，boxwidth、boxheight表示裁剪的图像块的宽度和高度；
式2：
Figure BDA0002351167190000032
其中，offsetxi、offsetyi为归一化得到的第i个关键特征点的横纵坐标。
所述的第一级神经网络为全卷积网络，其输入数据大小为12*12*1，输出两个1x1卷积层。
所述的第二级神经网络包括依次连接的卷积层和全连接层，所述的卷积层设置多个，第二级神经网络的输入数据大小为24*24*1，输出6x1全连接层。
所述的第三级神经网络包括依次连接的卷积层和全连接层，所述的卷积层设置多层，第三级神经网络的输入数据大小为48*48*1，输出16x1全连接层。
步骤(5)训练过程中采用Softmax函数对虹膜区域进行二分类，通过欧式距离虹膜区域和关键特征点坐标偏置进行回归。
与现有技术相比，本发明具有如下优点：
(1)本发明在不受限的实际应用环境下提供一种能够快速排除干扰信息准确定位的基于卷积神经网络的区域和关键特征点回归多任务虹膜快速定位方法，用矩形框框住虹膜目标区域，在矩形框中用5个关键特征点定位虹膜区域特征点，为下一步虹膜精确分割奠定基础。
(2)本发明方法采用多个级联的神经网络能够得到精确的定位结果，且泛化能力强。
附图说明
图1为本发明基于级联神经网络的多任务虹膜快速定位方法的流程框图；
图2为交并比计算的原理示意图；
图3为本发明级联神经网络的结构示意图；
图4为本发明实施例中虹膜和关键特征点定位结果图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。
实施例
如图1所示，一种基于级联神经网络的多任务虹膜快速定位方法，该方法包括如下步骤：
(1)在原始图像中选取虹膜区域并且标记关键特征点作为Ground Truth数据集；
(2)基于Ground Truth数据集制作训练样本集，包括正样本、中间样本和负样本；
(3)制作训练样本集的标签；
(4)建立级联神经网络，包括依次级联的三个神经网络，第一级神经网络用于虹膜区域候选框分类，第二级神经网络用于对虹膜候选框区域进行分类与区域坐标回归，第三级神经网络用于精确输出虹膜区域和关键特征点的位置信息；
(5)采用有标签的训练样本对级联神经网络进行训练；
(6)将待定位图像输入至训练好的级联神经网络，输出虹膜区域和关键特征点的位置信息。
步骤(1)具体为：
首先，人工标记虹膜区域，得到虹膜区域的位置信息(x,y,width,height)，x,y表示矩形框左上角的横纵坐标，width,height表示矩形框的宽度和高度；
然后，在虹膜区域标记5个关键特征点(xi,yi)，i∈{1,2,3,4,5}，包括虹膜左右边缘点、瞳孔左右边缘点和瞳孔圆心，xi和yi表示第i个关键特征点的横坐标和纵坐标。
步骤(2)具体为：
在原始图像中随机裁剪图像块得到3个类别的样本集：
正样本：与Ground Truth的交并比大于等于0.65的图像块；
中间样本：与Ground Truth的交并比介于0.4和0.65之间的图像块；
负样本：与Ground Truth的交并比小于等于0.3的图像块。
其中，交并比通过如下方式获得：
IOU＝S(A∩B)/S(A∪B)，
其中，A表示随机裁剪的图像块，B表示Ground Truth区域，即矩形框标记的虹膜区域，S(A∩B)表示A和B相交区域的面积，S(A∪B)表示A和B相并区域的面积。具体如图2所示，斜线部分为A和B相交区域的。
步骤(3)具体为：
采用式1归一化虹膜区域左上角坐标，采用式2归一化5个关键特征点坐标；
将正样本的标签记为1，带有归一化后的虹膜区域左上角坐标和关键特征点坐标信息；
中间样本的标签记为-1，带有归一化后的虹膜区域左上角坐标和关键特征点坐标信息；
负样本的标签记为0；
其中，
式1：
Figure BDA0002351167190000051
其中，offsetx、offsety为归一化得到的虹膜区域左上角横纵坐标，bx、by表示裁剪的图像块的左上角横纵坐标，boxwidth、boxheight表示裁剪的图像块的宽度和高度；
式2：
Figure BDA0002351167190000052
其中，offsetxi、offsetyi为归一化得到的第i个关键特征点的横纵坐标。
第一级神经网络为全卷积网络，其输入数据大小为12*12*1，输出两个1x1卷积层，目的是为了输出检测目标的候选区域，网络结构图如图3的(a)所示。
第二级神经网络包括依次连接的卷积层和全连接层，卷积层设置多个，第二级神经网络的输入数据大小为24*24*1，输出6x1全连接层。第二级神经网络的目的是为了进一步去除类别得分概率低和重叠较多的目标候选框，结构如图3的(b)所示。
第三级神经网络包括依次连接的卷积层和全连接层，卷积层设置多层，第三级神经网络的输入数据大小为48*48*1，输出16x1全连接层。第三级神经网络的目的是完成对目标的精确定位和5个关键特征点的检测，网络结构图如图3的(c)所示。
步骤(5)训练过程中具体为：
将输入数据大小设置成12*12*1送入第一级网络进行训练，生成虹膜区域候选框；将输入数据大小设置成24*24*1送入第二级网络进行训练，进一步对虹膜候选框区域进行分类与区域坐标回归；将输入数据大小设置成48*48*1送入第三级网络进行训练，精确输出虹膜区域和关键特征点的位置信息；网络采用Softmax函数对虹膜区域进行二分类，通过欧式距离虹膜区域和关键特征点坐标偏置进行回归。
本实施例步骤(6)测试时在单张图像的几个缩放尺度上运行级联神经网络，最终通过不同尺度在该图像上进行预测得到虹膜区域的边界框和虹膜区域的5个特征点，定位结果如图4所示。
上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (9)

1.一种基于级联神经网络的多任务虹膜快速定位方法，其特征在于，该方法包括如下步骤：
(1)在原始图像中选取虹膜区域并且标记关键特征点作为Ground Truth数据集；
(2)基于Ground Truth数据集制作训练样本集，包括正样本、中间样本和负样本；
(3)制作训练样本集的标签；
(4)建立级联神经网络，包括依次级联的三个神经网络，第一级神经网络用于虹膜区域候选框分类，第二级神经网络用于对虹膜候选框区域进行分类与区域坐标回归，第三级神经网络用于精确输出虹膜区域和关键特征点的位置信息；
(5)采用有标签的训练样本对级联神经网络进行训练；
(6)将待定位图像输入至训练好的级联神经网络，输出虹膜区域和关键特征点的位置信息。
2.根据权利要求1所述的一种基于级联神经网络的多任务虹膜快速定位方法，其特征在于，步骤(1)具体为：
首先，采用矩形框人工标记虹膜区域，得到虹膜区域的位置信息(x,y,width,height)，x,y表示矩形框左上角的横纵坐标，width,height表示矩形框的宽度和高度；
然后，在虹膜区域标记5个关键特征点(xi,yi)，i∈{1,2,3,4,5}，包括虹膜左右边缘点、瞳孔左右边缘点和瞳孔圆心，xi和yi表示第i个关键特征点的横坐标和纵坐标。
3.根据权利要求2所述的一种基于级联神经网络的多任务虹膜快速定位方法，其特征在于，步骤(2)具体为：
在原始图像中随机裁剪图像块得到3个类别的样本集：
正样本：与Ground Truth的交并比大于等于0.65的图像块；
中间样本：与Ground Truth的交并比介于0.4和0.65之间的图像块；
负样本：与Ground Truth的交并比小于等于0.3的图像块。
4.根据权利要求3所述的一种基于级联神经网络的多任务虹膜快速定位方法，其特征在于，所述的交并比通过如下方式获得：
IOU＝S(A∩B)/S(A∪B)，
其中，A表示随机裁剪的图像块，B表示Ground Truth区域，即矩形框标记的虹膜区域，S(A∩B)表示A和B相交区域的面积，S(A∪B)表示A和B相并区域的面积。
5.根据权利要求3所述的一种基于级联神经网络的多任务虹膜快速定位方法，其特征在于，步骤(3)具体为：
采用式1归一化虹膜区域左上角坐标，采用式2归一化5个关键特征点坐标；
将正样本的标签记为1，带有归一化后的虹膜区域左上角坐标和关键特征点坐标信息；
中间样本的标签记为-1，带有归一化后的虹膜区域左上角坐标和关键特征点坐标信息；
负样本的标签记为0；
其中，
式1：
Figure FDA0002351167180000021
其中，offsetx、offsety为归一化得到的虹膜区域左上角横纵坐标，bx、by表示裁剪的图像块的左上角横纵坐标，boxwidth、boxheight表示裁剪的图像块的宽度和高度；
式2：
Figure FDA0002351167180000022
其中，offsetxi、offsetyi为归一化得到的第i个关键特征点的横纵坐标。
6.根据权利要求1所述的一种基于级联神经网络的多任务虹膜快速定位方法，其特征在于，所述的第一级神经网络为全卷积网络，其输入数据大小为12*12*1，输出两个1x1卷积层。
7.根据权利要求1所述的一种基于级联神经网络的多任务虹膜快速定位方法，其特征在于，所述的第二级神经网络包括依次连接的卷积层和全连接层，所述的卷积层设置多个，第二级神经网络的输入数据大小为24*24*1，输出6x1全连接层。
8.根据权利要求1所述的一种基于级联神经网络的多任务虹膜快速定位方法，其特征在于，所述的第三级神经网络包括依次连接的卷积层和全连接层，所述的卷积层设置多层，第三级神经网络的输入数据大小为48*48*1，输出16x1全连接层。
9.根据权利要求1所述的一种基于级联神经网络的多任务虹膜快速定位方法，其特征在于，步骤(5)训练过程中采用Softmax函数对虹膜区域进行二分类，通过欧式距离虹膜区域和关键特征点坐标偏置进行回归。
CN201911415847.5A 2019-12-31 2019-12-31 一种基于级联神经网络的多任务虹膜快速定位方法 Pending CN111191605A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911415847.5A CN111191605A (zh) 2019-12-31 2019-12-31 一种基于级联神经网络的多任务虹膜快速定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911415847.5A CN111191605A (zh) 2019-12-31 2019-12-31 一种基于级联神经网络的多任务虹膜快速定位方法

Publications (1)

Publication Number Publication Date
CN111191605A true CN111191605A (zh) 2020-05-22

Family

ID=70709622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911415847.5A Pending CN111191605A (zh) 2019-12-31 2019-12-31 一种基于级联神经网络的多任务虹膜快速定位方法

Country Status (1)

Country Link
CN (1) CN111191605A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287872A (zh) * 2020-11-12 2021-01-29 北京建筑大学 基于多任务神经网络的虹膜图像分割、定位和归一化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089834A1 (en) * 2016-09-29 2018-03-29 Magic Leap, Inc. Neural network for eye image segmentation and image quality estimation
CN109389105A (zh) * 2018-12-20 2019-02-26 北京万里红科技股份有限公司 一种基于多任务的虹膜检测和视角分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089834A1 (en) * 2016-09-29 2018-03-29 Magic Leap, Inc. Neural network for eye image segmentation and image quality estimation
CN109389105A (zh) * 2018-12-20 2019-02-26 北京万里红科技股份有限公司 一种基于多任务的虹膜检测和视角分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
縢童: ""基于级联神经网络的多任务虹膜快速定位方法"" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287872A (zh) * 2020-11-12 2021-01-29 北京建筑大学 基于多任务神经网络的虹膜图像分割、定位和归一化方法
CN112287872B (zh) * 2020-11-12 2022-03-25 北京建筑大学 基于多任务神经网络的虹膜图像分割、定位和归一化方法

Similar Documents

Publication Publication Date Title
Valdes-Ramirez et al. A Review of Fingerprint Feature Representations and Their Applications for Latent Fingerprint Identification: Trends and Evaluation.
EP3091479B1 (en) Method and apparatus for fingerprint identification
CN111414862B (zh) 基于神经网络融合关键点角度变化的表情识别方法
Zhang et al. Core-based structure matching algorithm of fingerprint verification
US20210034840A1 (en) Method for Recognzing Face from Monitoring Video Data
CN104778470B (zh) 基于组件树和霍夫森林的文字检测和识别方法
CN112036383B (zh) 一种基于手静脉的身份识别方法及装置
CN108960342B (zh) 基于改进Soft-Max损失函数的图像相似度计算方法
CN109711384A (zh) 一种基于深度卷积神经网络的人脸识别方法
CN111914761A (zh) 一种热红外人脸识别的方法及***
Fan et al. Improving robustness of license plates automatic recognition in natural scenes
CN109145704B (zh) 一种基于人脸属性的人脸画像识别方法
CN105930792A (zh) 一种基于视频局部特征字典的人体动作分类方法
CN110263726B (zh) 一种基于深度相关性特征学习的指静脉识别方法及装置
WO2020167655A1 (en) Fixed length fingerprint representation
CN110619280A (zh) 一种基于深度联合判别学习的车辆重识别方法及装置
CN111191605A (zh) 一种基于级联神经网络的多任务虹膜快速定位方法
CN103207993B (zh) 基于核的判别随机近邻嵌入分析的人脸识别方法
CN112364687A (zh) 一种基于改进的Faster R-CNN加油站静电标志识别方法及***
CN111950556A (zh) 一种基于深度学习的号牌印刷质量检测方法
Zhu et al. Siamese network based on CNN for fingerprint recognition
CN115795394A (zh) 层级多模态和高级增量学习的生物特征融合身份识别方法
Agarwal et al. A utility of ridge contour points in minutiae-based fingerprint matching
Jeon et al. Object detection in artworks using data augmentation
Peng et al. Deformation Feature Extraction and Double Attention Feature Pyramid Network for Bearing Surface Defects Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200522