CN106778664B - 一种虹膜图像中虹膜区域的分割方法及其装置 - Google Patents
一种虹膜图像中虹膜区域的分割方法及其装置 Download PDFInfo
- Publication number
- CN106778664B CN106778664B CN201611242734.6A CN201611242734A CN106778664B CN 106778664 B CN106778664 B CN 106778664B CN 201611242734 A CN201611242734 A CN 201611242734A CN 106778664 B CN106778664 B CN 106778664B
- Authority
- CN
- China
- Prior art keywords
- iris
- image
- neural network
- convolutional neural
- iris image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000011218 segmentation Effects 0.000 title claims abstract description 57
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 88
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000002372 labelling Methods 0.000 claims abstract description 18
- 238000005070 sampling Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 210000000744 eyelid Anatomy 0.000 claims description 11
- 210000000720 eyelash Anatomy 0.000 claims description 10
- 210000004209 hair Anatomy 0.000 claims description 10
- 210000001747 pupil Anatomy 0.000 claims description 9
- 210000003786 sclera Anatomy 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000011478 gradient descent method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 210000000554 iris Anatomy 0.000 description 233
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000005457 optimization Methods 0.000 description 6
- 210000002265 sensory receptor cell Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Ophthalmology & Optometry (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种虹膜图像中虹膜区域的分割方法，包括步骤：第一步：建立多尺度的卷积神经网络；第二步：预先对一个预先选择的虹膜图像中的预设关键点进行标注；第三步：将已标注预设关键点的所述虹膜图像输入到所述卷积神经网络中，对所述卷积神经网络进行训练，使得卷积神经网络的模型收敛；第四步：将需要进行虹膜区域分割的待测试虹膜图像，输入到完成训练的所述卷积神经网络中，获得所述待测试虹膜图像的二值编码图，即为最终分割好的虹膜区域。本发明公开的虹膜图像中虹膜区域的分割方法及其装置，其可以对非可控场景下采集的虹膜图像中的虹膜区域进行及时、准确的分割，满足用户对虹膜分割的要求，能够提高用户的工作效率。
Description
技术领域
本发明涉及模式识别和计算机视觉等技术领域，特别是涉及一种虹膜图像中虹膜区域的分割方法及其装置。
背景技术
目前，随着人类科学技术的不断发展，虹膜识别技术在人们日常生活中越来越普及，虹膜识别是利用虹膜的纹理的不变性，唯一性等鉴定身份的一种生物特征识别方法，其已经成功应用于国家安防、边境控制、银行金融、门禁考勤以及移动终端等领域。可以说，无论在人工智能研究还是公共安全应用方面，虹膜识别技术一直是一项前沿、热门技术，拥有举足轻重的地位。
对于虹膜识别技术，在实际应用中，遇到许多技术挑战。特别是对于远距离场景和人们不是完全配合的场景(如运动场景)等非可控场景(即复杂的、不可控制的场景)下，参见图1所示，所采集到的人们的虹膜图像由于存在光照和距离变化，因此虹膜图像具有低分辨率、高噪声、斜眼、模糊和被遮挡等特性，因此使得将虹膜图像中的虹膜区域精确地分割出来尤为困难，因此影响了对人们进行虹膜识别的准确率和及时性。需要说明的是，虹膜分割的目的是为了将位于眼球的黑色瞳孔和白色巩膜之间且不被各种噪声遮挡的虹膜区域有效的分割出来，其作为虹膜识别的预处理步骤，对虹膜识别的准确率具有着直接的影响。
目前，为了分割虹膜图像中的虹膜区域，典型的虹膜分割方法可以分为两大类：基于边缘检测的方法以及基于像素点的方法。其中，基于边缘检测的方法，需要分别将虹膜内外边缘，上下眼皮等边缘分别检测出来，从而确定虹膜的有效区域，该方法的步骤不仅繁琐，而且这类方法往往基于虹膜区域是标准的圆形以及虹膜和眼皮的边缘清晰可见。但在非可控的场景下，虹膜边界更加模糊，或者虹膜已经扭曲变形不再是一个圆形，因此这类方法不能有效解决非可控场景下的虹膜分割。另一类虹膜分割方法为基于像素点的方法，这类方法利用了虹膜的纹理，颜色等表观特征对每一个像素点进行判断是否属于有效的虹膜区域，从而有效的避免了上述缺陷。但是这类方法往往需要优先对光照，模糊等进行预处理，而且往往难以设计出有效特征来对像素点进行分类。
因此，目前迫切需要开发出一种技术，其可以对非可控场景下采集的虹膜图像中的虹膜区域进行及时、准确的分割，满足用户对虹膜分割的要求，能够提高用户的工作效率，节约人们宝贵的时间，有效保证对虹膜图像进行虹膜识别时的准确率。
发明内容
有鉴于此，本发明的目的是提供一种虹膜图像中虹膜区域的分割方法及其装置，其可以对非可控场景下采集的虹膜图像中的虹膜区域进行及时、准确的分割，满足用户对虹膜分割的要求，能够提高用户的工作效率，节约人们宝贵的时间，有效保证对虹膜图像进行虹膜识别时的准确率，具有重大的生产实践意义。
为此，本发明提供了一种虹膜图像中虹膜区域的分割方法，包括步骤：
第一步：建立多尺度的卷积神经网络，所述卷积神经网络包括依次对所输入的图像进行处理的卷积层和采样层；
第二步：预先对一个预先选择的虹膜图像中的预设关键点进行标注；
第三步：将已标注预设关键点的所述虹膜图像输入到所述卷积神经网络中，对所述卷积神经网络进行训练，使得卷积神经网络的模型收敛；
第四步：将需要进行虹膜区域分割的待测试虹膜图像，输入到完成训练的所述卷积神经网络中，获得所述待测试虹膜图像的二值编码图，该二值编码图即为最终分割好的虹膜区域。
其中，所述第二步具体为：将所述预先选择的虹膜图像中分别属于虹膜的像素和非虹膜像素的预设关键点分别进行标注。
其中，所述虹膜图像中属于虹膜的像素的预设关键点包括黑色瞳孔和白色巩膜；所述非虹膜像素的预设关键点包括头发，眼皮，睫毛和光斑。
其中，所述虹膜的像素与非虹膜像素分别标注为二进制码0和1。
其中，所述第三步具体为：
将已标注预设关键点的所述虹膜图像输入到所述卷积神经网络中，使用随机梯度下降法对所述卷积神经网络进行训练，并通过前向传播算法计算输入虹膜图像的每个像素的类别，通过计算其与所述虹膜图像预先标注好的真实类别之间的误差，使用反向传播方法进行卷积层参数的更替，对所述卷积神经网络的模型进行训练，直至模型收敛，完成训练过程。
此外，本发明还提供了一种虹膜图像中虹膜区域的分割装置，包括：
网络建立单元，用于建立多尺度的卷积神经网络，所述卷积神经网络包括依次对所输入的图像进行处理的卷积层和采样层；
预先关键点标注单元，用于预先对一个预先选择的虹膜图像中的预设关键点进行标注，然后输出给网络训练单元；
网络训练单元，分别与网络建立单元、预先关键点标注单元相连接，用于将已标注预设关键点的所述虹膜图像输入到所述网络建立单元建立的卷积神经网络中，对所述卷积神经网络进行训练，使得卷积神经网络的模型收敛；
分割执行单元：与网络训练单元相连接，将需要进行虹膜区域分割的待测试虹膜图像，输入到所述网络训练单元所完成训练的所述卷积神经网络中，获得所述待测试虹膜图像的二值编码图，该二值编码图即为最终分割好的虹膜区域。
其中，所述预先关键点标注单元具体为：用于将所述预先选择的虹膜图像中分别属于虹膜的像素和非虹膜像素的预设关键点分别进行标注。
其中，所述虹膜图像中属于虹膜的像素的预设关键点包括黑色瞳孔和白色巩膜；所述非虹膜像素的预设关键点包括头发，眼皮，睫毛和光斑。
其中，所述虹膜的像素与非虹膜像素分别标注为二进制码0和1。
其中，所述网络训练单元具体为：用于将已标注预设关键点的所述虹膜图像输入到所述卷积神经网络中，使用随机梯度下降法对所述卷积神经网络进行训练，并通过前向传播算法计算输入虹膜图像的每个像素的类别，通过计算其与所述虹膜图像预先标注好的真实类别之间的误差，使用反向传播方法进行卷积层参数的更替，对所述卷积神经网络的模型进行训练，直至模型收敛，完成训练过程。
由以上本发明提供的技术方案可见，与现有技术相比较，本发明提供了一种虹膜图像中虹膜区域的分割方法及其装置，其可以对非可控场景下采集的虹膜图像中的虹膜区域进行及时、准确的分割，满足用户对虹膜分割的要求，能够提高用户的工作效率，节约人们宝贵的时间，有效保证对虹膜图像进行虹膜识别时的准确率，具有重大的生产实践意义。
附图说明
图1为非可控场景下采集的虹膜图像的示意图；
图2为本发明提供的一种虹膜图像中虹膜区域的分割方法的流程图；
图3为本发明提供的一种虹膜图像中虹膜区域的分割方法中，所构建的卷积神经网络各个组成部分的结构示意图；
图4为本发明提供的一种虹膜图像中虹膜区域的分割方法中，所构建的卷积神经网络具有的一种典型实施例的各个组成部分的结构示意图；
图5为多个虹膜图像利用本发明提供的一种虹膜图像中虹膜区域的分割方法进行分割后，分割后获得的虹膜区域与原虹膜图像的对比示意图；
图6为本发明提供的一种虹膜图像中虹膜区域的分割装置的结构方框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本发明作进一步的详细说明。
图2为本发明提供的一种虹膜图像中虹膜区域的分割方法的流程图。
参见图2，本发明提供的一种虹膜图像中虹膜区域的分割方法，该方法在进行虹膜区域分割时，能够融合局部的细节信息以及全局的结构信息，使得虹膜像素被精准定位，该方法具体包括以下步骤：
第一步：建立多尺度的卷积神经网络，所述卷积神经网络包括依次对所输入的图像进行处理的卷积层和采样层；
第二步：预先对一个预先选择的虹膜图像中的预设关键点进行标注；
第三步：将已标注预设关键点的所述虹膜图像输入到所述卷积神经网络中，对所述卷积神经网络进行训练，使得卷积神经网络的模型收敛；
第四步：将需要进行虹膜区域分割的待测试虹膜图像，输入到完成训练的所述卷积神经网络中，获得所述待测试虹膜图像的二值编码图，该二值编码图即为最终分割好的虹膜区域。
需要说明的是，在实际应用中，虹膜分割技术还有很多挑战，尤其是非可控场景，如远距离及运动中采集的虹膜图像等，存在光照和距离变化，高噪声，低分辨率，遮挡以及模糊等噪声干扰。如图1所示的虹膜图像，由于在非可控场景下采集，其图像质量使得虹膜分割变得困难，进而直接影响虹膜识别的准确率。
传统的两类虹膜分割方法分别基于边缘检测的方法以及基于像素点的方法。这两类方法在处理非可控场景下采集到的虹膜图像均有各自的局限性。本发明基于多尺度全卷积神经网络，用于虹膜分割，该模型融合了局部的细节信息以及全局的结构信息，使得虹膜像素被精准定位。
对于本发明，在第一步中，所述卷积神经网络由卷积层和采样层组成，为了融合所输入图像的全局信息和局部信息，可以从卷积神经网络中接出若干输出结果和最后一层的输出结果进行融合，如图3所示。由于网络越深的层所输出的神经元的感受野逐渐变大，因此，后层的神经元感受野表达的是更加全局的信息，而在较前的层表达局部的信息。因此，对于本发明，为了使得卷积神经网络建立的图像模型更加鲁棒，本发明使用了多尺度的融合模型，将浅层局部的信息以及深层全局的信息融合起来优化。
在本发明中，所述卷积神经网络只有两种类型的层组成：卷积层和采样层。其中，卷积层用于对相应的数据(如输入的虹膜图像)进行卷积操作，采样层(网络中只用到下采样层)用于对输入的数据进行降采样，具体对像素值进行间隔采样。
其中，所述卷积层公式如下：
(Yk)ij＝(Wk*x)i,j+bk；
其中，Y为输出图像，x为输入图像，w为权重，b为偏置项，(i，j)像素点的坐标，k为图像的索引(第k张图像)，其中w和b的使用范围为0到1的随机数进行初始化。
具体实现上，对于所述卷积神经网络所包含的卷积层和采样层，前一层的输出即为后一层的输入。
具体实现上，本发明通过设计多尺度的全卷积神经网络，对输入的虹膜图像和标注图像(即已标注预设关键点的所述虹膜图像)对进行自动学习，通过多次的卷积操作，目的是将输入的虹膜图像尽量去拟合标注图像(即已标注预设关键点的所述虹膜图像)。
参见图3，在本发明中，所述卷积神经网络的一个典型的网络结构为：以现有的VGG-19 layers的模型为基础，只由卷积层和下采样层组合而成，然后从前至后分别将图像输入层，pool3、pool6、pool9、pool12、pool16这五个下采样层的五个输出结果，在图像融合输出层进行融合后输出，如图4所示，为所述卷积神经网络的详细的网络连接的具体实现。
对于本发明，在第二步中，所述第二步具体为：对所述预先选择的虹膜图像进行手工标注，将所述预先选择的虹膜图像中分别属于虹膜的像素和非虹膜像素的预设关键点(包括头发，眼皮，睫毛，光斑等)分别进行标注。
具体实现上，所述预先选择的虹膜图像，可以是本发明用户手工预先选择的一张清晰度高、容易进行图像识别(预设关键点清晰)的虹膜图像。对于本发明，所述预先选择的图片，需要更加多样化的数据，保持丰富性。
具体实现上，所述虹膜图像中属于虹膜的像素的预设关键点包括黑色瞳孔和白色巩膜；所述非虹膜像素的预设关键点包括头发，眼皮，睫毛和光斑；所述虹膜的像素与非虹膜像素例如可以分别标注为0和1，即实现二进制码标注。
对于本发明，在第三步中，所述第三步具体为：将已标注预设关键点的所述虹膜图像输入到所述卷积神经网络中，使用随机梯度下降法对所述卷积神经网络进行训练，并通过前向传播算法计算输入虹膜图像的每个像素的类别，通过计算其与所述虹膜图像预先标注好的真实类别(其中，所述虹膜的像素与非虹膜像素例如可以分别标注为0和1，二进制码标注)之间的误差(即通过对一张输入图像进行一系列的卷积，采样操作得到的结果)，使用反向传播方法进行卷积层参数的更替，对所述卷积神经网络的模型进行训练，直至模型收敛，完成训练过程(训练过程即卷积层参数的优化过程)。
在本发明中，需要说明的是，所述卷积神经网络的模型收敛的标准即为损失函数计算的损失，不再随着迭代次数而下降。
在本发明中，对于已经标注好的虹膜图像，其具有的类别为真实类别，具体类别标注可以为虹膜像素(包括黑色瞳孔和白色巩膜)标注为1，其余的非虹膜像素(包括头发，眼皮，睫毛和光斑)标注为0，真实结果为人工标注结果。
对于本发明，所述卷积神经网络的训练过程即为卷积层参数的优化过程，训练的目的是优化卷积层参数，目的是对一张输入的虹膜图像而言，经过卷积神经网络处理后，可以直接得到所输入虹膜图像的每个像素的类别的二值化标注结果。
对于本发明，所述卷积神经网络的图像融合输出层(fusion层)的输出图像，需要与原输入的图像大小一致，在第三步中，需要针对所述多个下采样层的每一个输出图像与已标注关键点的虹膜图像进行误差计算，其损失函数loss如下：
其中，x(p，q)为图像中每个像素的坐标，在像素(p,q)点的损失计算为J。θ为模型的参数。1{y(p,q)＝j}表示当y(p,q)＝j的时候，该表达式等于1，否则为0。
对于本发明，在第四步中，具体图像分割的结果，可以如图5所示。
基于上述本发明提供的一种虹膜图像中虹膜区域的分割方法，参见图6，本发明提供的一种虹膜图像中虹膜区域的分割装置，包括：
网络建立单元601，用于建立多尺度的卷积神经网络，所述卷积神经网络包括依次对所输入的图像进行处理的卷积层和采样层；
预先关键点标注单元602，用于预先对一个预先选择的虹膜图像中的预设关键点进行标注，然后输出给网络训练单元603；
网络训练单元603，分别与网络建立单元601、预先关键点标注单元602相连接，用于将已标注预设关键点的所述虹膜图像输入到所述网络建立单元601建立的卷积神经网络中，对所述卷积神经网络进行训练，使得卷积神经网络的模型收敛；
分割执行单元604：与网络训练单元603相连接，将需要进行虹膜区域分割的待测试虹膜图像，输入到所述网络训练单元603所完成训练的所述卷积神经网络中，获得所述待测试虹膜图像的二值编码图，该二值编码图即为最终分割好的虹膜区域。
在本发明中，所述网络建立单元601、预先关键点标注单元602、网络训练单元603和分割执行单元604可以分别为本发明装置主板上安装的中央处理器CPU、数字信号处理器DSP或者单片机MCU。
在本发明中，所述网络建立单元601、预先关键点标注单元602、网络训练单元603和分割执行单元604可以为单独设置的器件，也可以集成设置在一起。
需要说明的是，在实际应用中，虹膜分割技术还有很多挑战，尤其是非可控场景，如远距离及运动中采集的虹膜图像等，存在光照和距离变化，高噪声，低分辨率，遮挡以及模糊等噪声干扰。如图1所示的虹膜图像，由于在非可控场景下采集，其图像质量使得虹膜分割变得困难，进而直接影响虹膜识别的准确率。
传统的两类虹膜分割方法分别基于边缘检测的方法以及基于像素点的方法。这两类方法在处理非可控场景下采集到的虹膜图像均有各自的局限性。本发明基于多尺度全卷积神经网络，用于虹膜分割，该模型融合了局部的细节信息以及全局的结构信息，使得虹膜像素被精准定位。
对于本发明，在网络建立单元601中，所述卷积神经网络由卷积层和采样层组成，为了融合所输入图像的全局信息和局部信息，可以从卷积神经网络中接出若干输出结果和最后一层的输出结果进行融合，如图3所示。由于网络越深的层所输出的神经元的感受野逐渐变大，因此，后层的神经元感受野表达的是更加全局的信息，而在较前的层表达局部的信息。因此，对于本发明，为了使得卷积神经网络建立的图像模型更加鲁棒，本发明使用了多尺度的融合模型，将浅层局部的信息以及深层全局的信息融合起来优化。
在本发明中，所述卷积神经网络只有两种类型的层组成：卷积层和采样层。其中，卷积层用于对相应的数据(如输入的虹膜图像)进行卷积操作，采样层(网络中只用到下采样层)用于对输入的数据进行降采样，具体对像素值进行间隔采样。
其中，所述卷积层公式如下：
(Yk)ij＝(Wk*x)i,j+bk；
其中，Y为输出图像，x为输入图像，w为权重，b为偏置项，(i，j)像素点的坐标，k为图像的索引(第k张图像)，其中w和b的使用范围为0到1的随机数进行初始化。
具体实现上，对于所述卷积神经网络所包含的卷积层和采样层，前一层的输出即为后一层的输入。
具体实现上，本发明通过设计多尺度的全卷积神经网络，对输入的虹膜图像和标注图像(即已标注预设关键点的所述虹膜图像)对进行自动学习，通过多次的卷积操作，目的是将输入的虹膜图像尽量去拟合标注图像(即已标注预设关键点的所述虹膜图像)。
参见图3，在本发明中，所述卷积神经网络的一个典型的网络结构为：以现有的VGG-19 layers的模型为基础，只由卷积层和下采样层组合而成，然后从前至后分别将图像输入层，pool3、pool6、pool9、pool12、pool16这五个下采样层的五个输出结果，在图像融合输出层进行融合后输出，如图4所示，为所述卷积神经网络的详细的网络连接的具体实现。
对于本发明，在预先关键点标注单元602中，所述预先关键点标注单元602具体为：用于对所述预先选择的虹膜图像进行标注(具体可以让用户通过该预先关键点标注单元602进行手工标注)，将所述预先选择的虹膜图像中分别属于虹膜的像素和非虹膜像素的预设关键点(包括头发，眼皮，睫毛，光斑等)分别进行标注。
具体实现上，所述预先选择的虹膜图像，可以是本发明用户手工预先选择的一张清晰度高、容易进行图像识别(预设关键点清晰)的虹膜图像。对于本发明，所述预先选择的图片，需要更加多样化的数据，保持丰富性。
具体实现上，所述虹膜图像中属于虹膜的像素的预设关键点包括黑色瞳孔和白色巩膜；所述非虹膜像素的预设关键点包括头发，眼皮，睫毛和光斑；所述虹膜的像素与非虹膜像素例如可以分别标注为0和1，即实现二进制码标注。
对于本发明，在网络训练单元603中，所述网络训练单元603具体为：用于将已标注预设关键点的所述虹膜图像输入到所述卷积神经网络中，使用随机梯度下降法对所述卷积神经网络进行训练，并通过前向传播算法计算输入虹膜图像的每个像素的类别，通过计算其与所述虹膜图像预先标注好的真实类别(其中，所述虹膜的像素与非虹膜像素例如可以分别标注为0和1，二进制码标注)之间的误差(即通过对一张输入图像进行一系列的卷积，采样操作得到的结果)，使用反向传播方法进行卷积层参数的更替，对所述卷积神经网络的模型进行训练，直至模型收敛，完成训练过程(训练过程即卷积层参数的优化过程)。
在本发明中，需要说明的是，所述卷积神经网络的模型收敛的标准即为损失函数计算的损失，不再随着迭代次数而下降。
在本发明中，对于已经标注好的虹膜图像，其具有的类别为真实类别，具体类别标注可以为虹膜像素(包括黑色瞳孔和白色巩膜)标注为1，其余的非虹膜像素(包括头发，眼皮，睫毛和光斑)标注为0，真实结果为人工标注结果。
对于本发明，所述卷积神经网络的训练过程即为卷积层参数的优化过程，训练的目的是优化卷积层参数，目的是对一张输入的虹膜图像而言，经过卷积神经网络处理后，可以直接得到所输入虹膜图像的每个像素的类别的二值化标注结果。
对于本发明，所述卷积神经网络的图像融合输出层(fusion层)的输出图像，需要与原输入的图像大小一致，在第三步中，需要针对所述多个下采样层的每一个输出图像与已标注关键点的虹膜图像进行误差计算，其损失函数loss如下：
其中，x(p，q)为图像中每个像素的坐标，在像素(p,q)点的损失计算为J。θ为模型的参数。1{y(p,q)＝j}表示当y(p,q)＝j的时候，该表达式等于1，否则为0。
对于本发明，所述分割执行单元604的具体图像分割的结果，可以如图5所示。
为更好地理解本发明的技术方案，下面结合具体实施例做进一步说明。
实施例1
基于本发明提供的一种基于多尺度全卷积神经网络的虹膜图像中虹膜区域的分割方法及其装置，其可以在远距离虹膜识别的机场出入境管理***中的应用。
本发明可应用于远距离识别场景。随着虹膜识别技术的广泛应用，远距离虹膜识别***的需求越来越广泛。远距离的虹膜识别***，不要求用户过多的配合采集，只需要走近采集区域，利用本发明提供的技术方案，机场出入境管理***即可自动采集用户的虹膜照片。由于距离较远，用户往往又在移动中，因此采集到的虹膜图像不仅成像质量较差，而且往往会有斜眼，遮挡等情况存在。机场出入境管理***使用本发明提供的基于多尺度全卷积神经网络的虹膜图像中虹膜区域的分割方法，可以有效的分割出虹膜区域，进而与***中注册的虹膜图像进行比对，实现快速通关的流程。该***可以大大提升机场的流量，减少人员开支以及人工误识误判的情况。
实施例2
基于本发明提供的一种基于多尺度全卷积神经网络的虹膜图像中虹膜区域的分割方法及其装置，其可以在基于虹膜识别安防***中的应用。
本发明可广泛应用于使用虹膜进行身份认证和识别的场景。例如，在某市发生蒙面盗窃案件，犯罪分子被监控***录下作案现场。由于犯罪嫌疑人虽然蒙面，但是其眼睛区域仍然漏出。警方通过本发明的多尺度全卷积神经网络的虹膜分割方法，有效的分割出虹膜区域。通过对有效的虹膜区域进行特征提取，与警方数据库中的虹膜进行对比，马上查找到了该犯罪嫌疑人。由于基于虹膜识别的安防***的协助，警方在数小时内即将犯罪嫌疑人锁定。
因此，对于本发明提供的一种虹膜图像中虹膜区域的分割方法及其装置，其基于多尺度全卷积神经网络，对于提高虹膜分割的准确率具有重要意义，其有益效果体现在以下几个方面：
1、本发明是首次将深度卷积神经网络用在虹膜分割中，能够自动学习得到对虹膜分割最有效的特征，无需人工参与；
2、本发明是端到端的方法，省去了传统虹膜分割的预处理过程，能够直接得到输入图像的有效虹膜区域；
3、与通常的深度卷积神经网络相比，本发明通过使用全卷积网络，有效的减少了运算次数，使得分割速度有了显著的提升；
4、本发明使用多尺度的网络结构，融合全局信息和局部信息，其分割结果更加鲁棒和准确；
得益于上述优点，本发明可以对非可控场景下采集的低质量虹膜图像进行分割，有效提高了虹膜分割的准确率、鲁棒性和易用性。
综上所述，与现有技术相比较，本发明提供了一种虹膜图像中虹膜区域的分割方法及其装置，其可以对非可控场景下采集的虹膜图像中的虹膜区域进行及时、准确的分割，满足用户对虹膜分割的要求，能够提高用户的工作效率，节约人们宝贵的时间，有效保证对虹膜图像进行虹膜识别时的准确率，具有重大的生产实践意义。
通过使用本发明提供的技术，可以使得人们工作和生活的便利性得到很大的提高，极大地提高了人们的生活水平。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种虹膜图像中虹膜区域的分割方法，其特征在于，包括步骤：
第一步：建立多尺度的卷积神经网络，所述卷积神经网络包括依次对所输入的图像进行处理的卷积层和采样层；
第二步：预先对一个预先选择的虹膜图像中的预设关键点进行标注；
第三步：将已标注预设关键点的所述虹膜图像输入到所述卷积神经网络中，对所述卷积神经网络进行训练，使得卷积神经网络的模型收敛；
第四步：将需要进行虹膜区域分割的待测试虹膜图像，输入到完成训练的所述卷积神经网络中，获得所述待测试虹膜图像的二值编码图，该二值编码图即为最终分割好的虹膜区域；
卷积神经网络的网络结构为：以现有的VGG-19 layers的模型为基础，只由卷积层和下采样层组合而成，然后从前至后分别将图像输入层，pool3、pool6、pool9、pool12、pool16这五个下采样层的五个输出结果，在图像融合输出层进行融合后输出；
所述第二步具体为：将所述预先选择的虹膜图像中分别属于虹膜的像素和非虹膜像素的预设关键点分别进行标注；
所述虹膜图像中属于虹膜的像素的预设关键点包括黑色瞳孔和白色巩膜；所述非虹膜像素的预设关键点包括头发，眼皮，睫毛和光斑；
所述第三步具体为：
将已标注预设关键点的所述虹膜图像输入到所述卷积神经网络中，使用随机梯度下降法对所述卷积神经网络进行训练，并通过前向传播算法计算输入虹膜图像的每个像素的类别，通过计算其与所述虹膜图像预先标注好的真实类别之间的误差，使用反向传播方法进行卷积层参数的更替，对所述卷积神经网络的模型进行训练，直至模型收敛，完成训练过程；
卷积神经网络的图像融合输出层的输出图像，与原输入的图像大小一致，在第三步中，针对所述多个下采样层的每一个输出图像与已标注关键点的虹膜图像进行误差计算，其损失函数loss如下：
其中，x(p，q)为图像中每个像素的坐标，在像素(p,q)点的损失计算为J；θ为模型的参数；1{y(p,q)＝j}表示当y(p,q)＝j的时候，该表达式等于1，否则为0。
2.如权利要求1所述的方法，其特征在于，所述虹膜的像素与非虹膜像素分别标注为二进制码0和1。
3.一种虹膜图像中虹膜区域的分割装置，其特征在于，包括：
网络建立单元，用于建立多尺度的卷积神经网络，所述卷积神经网络包括依次对所输入的图像进行处理的卷积层和采样层；
预先关键点标注单元，用于预先对一个预先选择的虹膜图像中的预设关键点进行标注，然后输出给网络训练单元；
网络训练单元，分别与网络建立单元、预先关键点标注单元相连接，用于将已标注预设关键点的所述虹膜图像输入到所述网络建立单元建立的卷积神经网络中，对所述卷积神经网络进行训练，使得卷积神经网络的模型收敛；
分割执行单元：与网络训练单元相连接，将需要进行虹膜区域分割的待测试虹膜图像，输入到所述网络训练单元所完成训练的所述卷积神经网络中，获得所述待测试虹膜图像的二值编码图，该二值编码图即为最终分割好的虹膜区域；
卷积神经网络的网络结构为：以现有的VGG-19layers的模型为基础，只由卷积层和下采样层组合而成，然后从前至后分别将图像输入层，pool3、pool6、pool9、pool12、pool16这五个下采样层的五个输出结果，在图像融合输出层进行融合后输出；
所述预先关键点标注单元具体为：用于将所述预先选择的虹膜图像中分别属于虹膜的像素和非虹膜像素的预设关键点分别进行标注；
所述虹膜图像中属于虹膜的像素的预设关键点包括黑色瞳孔和白色巩膜；所述非虹膜像素的预设关键点包括头发，眼皮，睫毛和光斑；
所述网络训练单元具体为：用于将已标注预设关键点的所述虹膜图像输入到所述卷积神经网络中，使用随机梯度下降法对所述卷积神经网络进行训练，并通过前向传播算法计算输入虹膜图像的每个像素的类别，通过计算其与所述虹膜图像预先标注好的真实类别之间的误差，使用反向传播方法进行卷积层参数的更替，对所述卷积神经网络的模型进行训练，直至模型收敛，完成训练过程；
卷积神经网络的图像融合输出层的输出图像，与原输入的图像大小一致，在第三步中，针对所述多个下采样层的每一个输出图像与已标注关键点的虹膜图像进行误差计算，其损失函数loss如下：
其中，x(p，q)为图像中每个像素的坐标，在像素(p,q)点的损失计算为J；θ为模型的参数；1{y(p,q)＝j}表示当y(p,q)＝j的时候，该表达式等于1，否则为0。
4.如权利要求3所述的装置，其特征在于，所述虹膜的像素与非虹膜像素分别标注为二进制码0和1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611242734.6A CN106778664B (zh) | 2016-12-29 | 2016-12-29 | 一种虹膜图像中虹膜区域的分割方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611242734.6A CN106778664B (zh) | 2016-12-29 | 2016-12-29 | 一种虹膜图像中虹膜区域的分割方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106778664A CN106778664A (zh) | 2017-05-31 |
| CN106778664B true CN106778664B (zh) | 2020-12-15 |
Family
ID=58923725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611242734.6A Active CN106778664B (zh) | 2016-12-29 | 2016-12-29 | 一种虹膜图像中虹膜区域的分割方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106778664B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801067A (zh) * | 2021-04-13 | 2021-05-14 | 北京万里红科技股份有限公司 | 一种检测虹膜光斑的方法及计算设备 |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10628919B2 (en) * | 2017-08-31 | 2020-04-21 | Htc Corporation | Image segmentation method and apparatus |
| CN108230335B (zh) * | 2017-12-29 | 2020-12-01 | 北京数字精准医疗科技有限公司 | 多光谱荧光分割方法及装置 |
| CN108335303B (zh) * | 2018-01-28 | 2021-01-08 | 浙江大学 | 一种应用于手掌x光片的多尺度手掌骨骼分割方法 |
| CN108765422A (zh) * | 2018-06-13 | 2018-11-06 | 云南大学 | 一种视网膜图像血管自动分割方法 |
| CN109087327B (zh) * | 2018-07-13 | 2021-07-06 | 天津大学 | 一种级联全卷积神经网络的甲状腺结节超声图像分割方法 |
| CN110738212B (zh) * | 2018-07-19 | 2022-11-08 | 北京四维图新科技股份有限公司 | 一种卷积网络模型的获取方法、装置及处理设备 |
| US10957048B2 (en) * | 2018-09-05 | 2021-03-23 | Htc Corporation | Image segmentation method, apparatus and non-transitory computer readable medium of the same |
| CN109815850B (zh) * | 2019-01-02 | 2020-11-10 | 中国科学院自动化研究所 | 基于深度学习的虹膜图像分割及定位方法、***、装置 |
| CN111507334B (zh) * | 2019-01-30 | 2024-03-12 | 中国科学院宁波材料技术与工程研究所 | 一种基于关键点的实例分割方法 |
| CN110008851B (zh) * | 2019-03-15 | 2021-11-19 | 深兰科技（上海）有限公司 | 一种车道线检测的方法及设备 |
| CN110059589B (zh) * | 2019-03-21 | 2020-12-29 | 昆山杜克大学 | 一种基于Mask R-CNN神经网络的虹膜图像中虹膜区域的分割方法 |
| CN110321844B (zh) * | 2019-07-04 | 2021-09-03 | 北京万里红科技股份有限公司 | 一种基于卷积神经网络的快速虹膜检测方法 |
| CN110688951B (zh) * | 2019-09-26 | 2022-05-31 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110866507A (zh) * | 2019-11-20 | 2020-03-06 | 北京工业大学 | 基于虹膜识别进行手机聊天内容保护的方法 |
| CN111161276B (zh) * | 2019-11-27 | 2023-04-18 | 天津中科智能识别产业技术研究院有限公司 | 一种虹膜归一化图像的形成方法 |
| CN111027464B (zh) * | 2019-12-09 | 2023-07-18 | 大连理工大学 | 对卷积神经网络和序特征编码联合优化的虹膜识别方法 |
| CN111507208B (zh) * | 2020-03-30 | 2021-06-25 | 中国科学院上海微***与信息技术研究所 | 一种基于巩膜识别的身份验证方法、装置、设备和介质 |
| CN112287872B (zh) * | 2020-11-12 | 2022-03-25 | 北京建筑大学 | 基于多任务神经网络的虹膜图像分割、定位和归一化方法 |
| CN112651328B (zh) * | 2020-12-23 | 2022-09-13 | 浙江中正智能科技有限公司 | 一种基于几何位置关系损失函数的虹膜分割方法 |
| CN113689385B (zh) * | 2021-07-29 | 2023-10-20 | 天津中科智能识别产业技术研究院有限公司 | 虹膜内外圆边界自动分割方法、装置、设备及存储介质 |
| CN113688874B (zh) * | 2021-07-29 | 2024-05-31 | 天津中科智能识别产业技术研究院有限公司 | 一种人眼虹膜图像中虹膜区域自动分割方法和*** |
| CN113706469B (zh) * | 2021-07-29 | 2024-04-05 | 天津中科智能识别产业技术研究院有限公司 | 一种基于多模型投票机制的虹膜自动分割方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105303185A (zh) * | 2015-11-27 | 2016-02-03 | 中国科学院深圳先进技术研究院 | 虹膜定位方法及装置 |
| CN105512624A (zh) * | 2015-12-01 | 2016-04-20 | 天津中科智能识别产业技术研究院有限公司 | 一种人脸图像的笑脸识别方法及其装置 |
| CN105608450A (zh) * | 2016-03-01 | 2016-05-25 | 天津中科智能识别产业技术研究院有限公司 | 基于深度卷积神经网络的异质人脸识别方法 |
-
2016
- 2016-12-29 CN CN201611242734.6A patent/CN106778664B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105303185A (zh) * | 2015-11-27 | 2016-02-03 | 中国科学院深圳先进技术研究院 | 虹膜定位方法及装置 |
| CN105512624A (zh) * | 2015-12-01 | 2016-04-20 | 天津中科智能识别产业技术研究院有限公司 | 一种人脸图像的笑脸识别方法及其装置 |
| CN105608450A (zh) * | 2016-03-01 | 2016-05-25 | 天津中科智能识别产业技术研究院有限公司 | 基于深度卷积神经网络的异质人脸识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度反卷积网络的虹膜定位方法研究;徐霄等;《集成技术》;20160131;第57-67页 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801067A (zh) * | 2021-04-13 | 2021-05-14 | 北京万里红科技股份有限公司 | 一种检测虹膜光斑的方法及计算设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106778664A (zh) | 2017-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106778664B (zh) | 一种虹膜图像中虹膜区域的分割方法及其装置 | |
| CN111460962B (zh) | 一种口罩人脸识别方法及*** | |
| CN101142584B (zh) | 面部特征检测的方法 | |
| CN109815850A (zh) | 基于深度学习的虹膜图像分割及定位方法、***、装置 | |
| CN109145742B (zh) | 一种行人识别方法及*** | |
| CN110210276A (zh) | 一种移动轨迹获取方法及其设备、存储介质、终端 | |
| US20210034840A1 (en) | Method for Recognzing Face from Monitoring Video Data | |
| CN105608450A (zh) | 基于深度卷积神经网络的异质人脸识别方法 | |
| CN105117692A (zh) | 一种基于深度学习的实时人脸识别方法及*** | |
| WO2016010721A1 (en) | Multispectral eye analysis for identity authentication | |
| CN102324025A (zh) | 基于高斯肤色模型和特征分析的人脸检测与跟踪方法 | |
| KR20080025610A (ko) | 홍채 검출 방법 및 이를 위한 장치 | |
| CN108537143B (zh) | 一种基于重点区域特征比对的人脸识别方法与*** | |
| CN107066969A (zh) | 一种人脸识别方法 | |
| CN103902962A (zh) | 一种遮挡或光源自适应人脸识别方法和装置 | |
| CN107169479A (zh) | 基于指纹验证的智能移动设备敏感数据防护方法 | |
| CN105022999A (zh) | 一种人码伴随实时采集*** | |
| CN111259757B (zh) | 一种基于图像的活体识别方法、装置及设备 | |
| Reddy et al. | A robust scheme for iris segmentation in mobile environment | |
| CN103034851A (zh) | 自学习的基于肤色模型的手部跟踪装置及方法 | |
| CN113920591B (zh) | 基于多模态生物特征识别的中远距离身份认证方法及装置 | |
| CN106156739B (zh) | 一种基于脸部轮廓分析的证件照耳朵检测与提取方法 | |
| CN108520529A (zh) | 基于卷积神经网络的可见光和红外视频目标跟踪方法 | |
| Chen et al. | Illumination processing in face recognition | |
| CN108564020A (zh) | 基于全景3d图像的微手势识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 300457 unit 1001, block 1, msd-g1, TEDA, No.57, 2nd Street, Binhai New Area Economic and Technological Development Zone, Tianjin Patentee after: Tianjin Zhongke intelligent identification Co.,Ltd. Address before: 300457 No. 57, Second Avenue, Economic and Technological Development Zone, Binhai New Area, Tianjin Patentee before: TIANJIN ZHONGKE INTELLIGENT IDENTIFICATION INDUSTRY TECHNOLOGY RESEARCH INSTITUTE Co.,Ltd. |
|
| CP03 | Change of name, title or address |