CN115205956A - 左右眼检测模型训练方法、识别左右眼的方法及装置 - Google Patents

左右眼检测模型训练方法、识别左右眼的方法及装置 Download PDF

Info

Publication number
CN115205956A
CN115205956A CN202210967146.8A CN202210967146A CN115205956A CN 115205956 A CN115205956 A CN 115205956A CN 202210967146 A CN202210967146 A CN 202210967146A CN 115205956 A CN115205956 A CN 115205956A
Authority
CN
China
Prior art keywords
eye
right eye
eye image
iris
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210967146.8A
Other languages
English (en)
Other versions
CN115205956B (zh
Inventor
贾福昌
李茂林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Superred Technology Co Ltd
Original Assignee
Beijing Superred Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Superred Technology Co Ltd filed Critical Beijing Superred Technology Co Ltd
Priority to CN202210967146.8A priority Critical patent/CN115205956B/zh
Publication of CN115205956A publication Critical patent/CN115205956A/zh
Application granted granted Critical
Publication of CN115205956B publication Critical patent/CN115205956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种左右眼检测模型训练方法、识别左右眼的方法及装置，应用于虹膜识别技术领域，所述训练方法将获取的眼部图像输入到卷积神经网络中处理得到眼部热力图，然后使用所述眼部热力图训练左右眼识别模型。其中，所述眼部图像包括虹膜区域和眼周区域，且眼周区域的特征相比于虹膜区域的特征，更容易用来区分左右眼，基于此得到的左右眼识别模型可以在进行虹膜识别之前使用，先识别左右眼后再与预存的左眼虹膜图像或右眼虹膜图像中的一个进行匹配即可完成虹膜的识别，从而提高虹膜识别的效率。

Description

左右眼检测模型训练方法、识别左右眼的方法及装置
技术领域
本发明涉及虹膜识别技术领域，尤其涉及一种左右眼检测模型训练方法、识别左右眼的方法及装置。
背景技术
虹膜识别技术是基于生物特征的身份鉴别技术，图像的模式匹配是虹膜识别技术的关键。
在进行虹膜识别时，因为无法确定采集的虹膜图像是左眼虹膜还是右眼虹膜，可能需要将采集的虹膜图像分别与预存的左眼虹膜图像和右眼虹膜图像进行两次匹配才能确认身份，从而导致虹膜识别速率慢，身份鉴别效率低下。
发明内容
本发明提供了一种左右眼检测模型训练方法、识别左右眼的方法、装置、电子设备及存储介质；训练得到的左右眼识别模型可以在进行虹膜识别之前使用，先识别左右眼后再与预存的左眼虹膜图像或右眼虹膜图像中的一个进行匹配即可完成虹膜的识别，从而提高虹膜识别的效率。
第一方面，本发明实施例提供了一种左右眼检测模型训练方法，所述左右眼检测模型训练方法包括：
获取眼部图像，所述眼部图像包括虹膜区域和眼周区域；
将所述眼部图像输入到卷积神经网络中进行特征处理，得到眼部热力图，所述眼部热力图包括所述虹膜区域的热力图，以及所述眼周区域的热力图；
使用所述眼部热力图训练左右眼识别模型。
可选地，所述眼部热力图中所述眼周区域的特征权重高于所述虹膜区域的特征权重。
可选地，所述虹膜区域包括：瞳孔和虹膜；
所述眼周区域包括如下一项或多项：眼角、眼睑、眉毛、巩膜、或睫毛。
可选地，所述眼部热力图还包括眼角热力图关键点，所述眼角热力图关键点用于生成左右眼辅助标签，所述左右眼辅助标签用于训练所述左右眼识别模型。
可选地，所述眼部图像包括左眼眼部图像和右眼眼部图像。
第二方面，本发明实施例提供了一种识别左右眼的方法，所述识别左右眼的方法包括：
获取待识别眼部图像，所述待识别眼部图像包括虹膜区域和眼周区域；
将所述待识别眼部图像输入到左右眼识别模型中，确定所述待识别眼部图像的类型，所述类型包括：左眼和右眼。
第三方面，本发明实施例提供了一种左右眼检测模型训练装置，所述左右眼识别模型训练装置包括：
获取模块，用于获取眼部图像，所述眼部图像包括虹膜区域和眼周区域；
处理模块，用于将所述眼部图像输入到卷积神经网络中进行特征处理，得到眼部热力图，所述眼部热力图包括所述虹膜区域的热力图，以及所述眼周区域的热力图；
训练模块，使用所述眼部热力图训练左右眼识别模型。
可选地，所述眼部热力图中所述眼周区域的特征权重高于所述虹膜区域的特征权重。
第四方面，本发明实施例提供了一种识别左右眼的装置，所述识别左右眼的装置包括：
获取模块，用于获取待识别眼部图像，所述待识别眼部图像包括虹膜区域和眼周区域；
确定模块，用于将所述待识别眼部图像输入到左右眼识别模型中，确定所述待识别眼部图像的类型，所述类型包括：左眼和右眼。
第五方面，本发明的实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第一方面或第二方面中任一实现方式所述的方法。
第六方面，本发明的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第二方面中任一实现方式所述的方法。
有益效果
本发明提供了一种左右眼检测模型训练方法、识别左右眼的方法、装置、电子设备及存储介质，所述训练方法将获取的眼部图像输入到卷积神经网络中处理得到眼部热力图，然后使用所述眼部热力图训练左右眼识别模型。其中，所述眼部图像包括虹膜区域和眼周区域，且眼周区域的特征相比于虹膜区域的特征，更容易用来区分左右眼，基于此得到的左右眼识别模型可以在进行虹膜识别之前使用，先识别左右眼后再与预存的左眼虹膜图像或右眼虹膜图像中的一个进行匹配即可完成虹膜的识别，从而提高虹膜识别的效率。
应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素。
图1为本发明实施例的一种左右眼检测模型训练方法的流程图；
图2为本发明实施例的一种眼部示意图；
图3为本发明实施例的一种卷积神经网络的结构图；
图4为本发明实施例的一种骨干网络的结构图；
图5为本发明实施例的一种特征拓展网络的结构图；
图6为本发明实施例的一种平行卷积网络的结构图；
图7为本发明实施例的一种指导分类网络和分类网络的结构图；
图8为本发明实施例的一种关键点生成模块中关键点生成的流程图；
图9为本发明实施例的一种逻辑判断模块中逻辑判断的流程图；
图10为本发明实施例的一种在二维坐标系下的眼部示意图；
图11为本发明实施例的一种识别左右眼的方法的流程图；
图12为本发明实施例的一种左右眼检测模型训练装置的结构示意图；
图13为本发明实施例的一种识别左右眼的装置的结构示意图；
图14为本发明实施例的一种电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
需要说明的是，本发明实施例描述的仅仅是为了更加清楚的说明本发明实施例的技术方案，并不构成对本发明实施例提供的技术方案的限定。
图1为本发明实施例的一种左右眼检测模型训练方法的流程图。如图1所示，所述左右眼检测模型训练方法包括：
S101、获取眼部图像。
所述眼部图像包括左眼眼部图像和右眼眼部图像，所述眼部图像包括虹膜区域和眼周区域。下面结合图2说明。
示例性地，图2为本发明实施例的一种眼部示意图。如图2所示：所述虹膜区域包括瞳孔201和虹膜202。
所述眼周区域包括如下一项或多项：巩膜203、眼睑204、内眼角2051、外眼角2052、睫毛206、或眉毛207。
S102、将所述眼部图像输入到卷积神经网络中进行特征处理，得到眼部热力图。
由于在区分左右眼的过程中，眼周区域的特征比虹膜区域更为明显，因此，本发明实施例中，可以优先考虑将所述眼部热力图中所述眼周区域的特征权重设置为高于所述虹膜区域的特征权重。
可选地，图3为本发明实施例的一种卷积神经网络的结构图。如图3所示，所述卷积神经网络包括骨干网络。
可选地，图4为本发明实施例的一种骨干网络的结构图；如图4所示，所述骨干网络包括输入层、特征拓展网络、多个平行卷积网络和多个最大池化层。
示例性地，训练过程中眼部图像通过输入层输入，然后依次经过特征拓展网络、最大池化层、平行卷积网络、最大池化层、平行卷积网络、最大池化层、平行卷积网络和最大池化层得到输出；输入特征拓展网络的图像的宽*高*输入通道为224*224*1,输入第一个平行卷积层的图像的宽*高*输入通道为112*112*64，输入第二个平行卷积网络的图像的宽*高*输入通道为56*56*96，输入第三个平行卷积网络的图像的宽*高*输入通道为28*28*192，最终输出的图像的宽*高*输入通道为14*14*192。其中，图4中B表示批量数。
可选地，图5为本发明实施例的一种特征拓展网络的结构图。如图5所示，在将所述眼部图像输入到平行卷积网络之前可以先输入到所述特征拓展网络中处理。所述特征拓展网络包括输入层、多个卷积层和特征合并层。
示例性地，处理步骤如下：
将所述眼部图像从输入层输入，输入的眼部图像首先经过1*1的卷积层(c＝3)，然后将这一卷积层的输出复制两份，其中一份输入到3*3的卷积层(stride＝1，c＝32)中，另一份输入到5*5的卷积层(stride＝1，c＝32)中，然后将这两个卷积层的输出结果输入到特征合并层中进行特征合并。其中，c为卷积层的通道数，stride为卷积层的步长。
示例性地，图6为本发明实施例的一种平行卷积网络的结构图。如图6所示，可以将由所述特征拓展网络处理后的眼部图像输入到所述平行卷积网络中处理。所述平行卷积网络包括输入层、卷积层、空洞卷积层、特征相加层和特征合并层。
示例性地，处理步骤如下：
将由所述特征拓展网络处理后的眼部图像从输入层输入，再分别进行四组卷积操作，第一组包括一个1*1的普通卷积层(c＝128)、一个3*3的普通卷积层(c＝128)和一个1*1的普通卷积层(c＝128，设置有relu函数)；第二组包括一个1*1的普通卷积层(c＝64)、一个3*3的空洞卷积层(rate＝3,c＝64)和一个1*1的普通卷积层(c＝128，设置有relu函数)；第三组包括一个1*1的普通卷积层(c＝64)、一个3*3的空洞卷积层(rate＝2,c＝64)和一个1*1的普通卷积层(c＝128，设置有relu函数)组成；第四组包括一个1*1的普通卷积层(c＝64)、一个5*5的空洞卷积层(rate＝2,c＝64)和一个1*1的普通卷积层(c＝128，设置有relu函数)。其中，c为卷积层的通道数，stride为卷积层的步长，rate为空洞卷积层的空洞间隔跨度。
将第二、第三和第四组输出的特征图输入到特征相加层进行特征相加，再将特征相加后得到的特征图与第一组输出的特征图输入到特征合并层进行特征合并和一次1*1的卷积操作。
可选地，可以再对平行卷积网络输出的特征图进行最大池化操作。
可选地，眼部图像经过所述平行卷积网络处理得到的是眼部热力图，且所述眼部热力图中所述眼周区域的特征权重高于所述虹膜区域的特征权重，利用眼周区域的特征可以更好的区分左眼和右眼。
需要说明的是，在对眼部图像进行处理的时候并不限定输入特征拓展网络和输入平行卷积网络的次数。
需要说明的是，所述平行卷积网络的结构、所述特征拓展网络的结构、步长、通道数、空洞间隔跨度和relu函数在本实施例中不做限定。
S103、使用所述眼部热力图训练左右眼识别模型。
可选地，图3为本发明实施例的一种卷积神经网络的结构图。如图3所示，所述卷积神经网络还包括指导分类网络、分类网络和关键点生成分支。
可选地，训练可以分为三个阶段：
第一阶段使用指导分类网络得到指导特征图和指导标签，使用关键点生成分支得到左右眼辅助标签(左右眼辅助标签包括左眼辅助标签和右眼辅助标签)，并利用指导特征图和指导标签训练分类网络。
需要说明的是，指导分类网络是使用眼部图像和左右眼标签(左眼标签或右眼标签)训练得到的；其中，左右眼标签是根据眼部图像的类型设置的标签。
进一步地，在第一阶段中还可以使用smooth_L1函数计算关键点生成分支中得到的关键点的第一损失值，当第一损失值小于或等于第一阈值时结束使用指导特征图和指导标签训练分类网络。
示例性地，第一阶段时，关键点生成分支中关键点生成步骤如下：
通过关键点生成模块生成内眼角热力图关键点和外眼角热力图关键点(也可以合称为眼角热力图关键点)，然后使用逻辑判断模块判断内眼角热力图关键点和外眼角热力图关键点是否都在眼部图像内，根据判断结果生成左右眼辅助标签或标识左右眼辅助标签为空；之后判断左右眼辅助标签是否为空，若不为空，则使用左右眼辅助标签训练分类网络。
第二阶段时，使用左右眼辅助标签训练分类网络，使用余弦距离函数根据左右眼辅助标签和分类网络得到的分类结果计算第二损失值，当第二损失值小于或等于第二阈值时结束使用辅助标签训练分类网络。
第三阶段时，可以使用左右眼标签训练分类网络，也可以使用关键点生成分支生成的左右眼辅助标签训练分类网络，使用设置的损失函数计算第三损失值，当满足结束条件时，结束训练，得到左右眼识别模型。其中，结束条件可以包括第三损失值小于或等于第三阈值，和/或,训练次数达到次数阈值。
示例性地，图7为本发明实施例的一种指导分类网络和分类网络的结构图。如图7所示，将经过骨干网络处理的眼部图像输入到所述指导分类网络和分类网络中训练分类网络，得到左右眼识别模型。
请参考图7，fg1、fg2、f1和f2用于计算损失值；Ldis1根据fg1和f1，使用余弦(cosine)距离函数计算得到；Ldis2根据fg2和f2，使用余弦距离函数计算得到；Ldis3根据指导分类网络的输出和分类网络的输出，使用余弦距离函数计算得到。
可选地，所述指导分类网络包括输入层、5个卷积层、全局平均池化层、全连接层和输出层。
当经过骨干网络处理的眼部图像输入到所述指导分类网络时，经过骨干网络处理的眼部图像依次经过一个1*1的卷积层(c＝64)、一个3*3的卷积层(stride＝1，c＝64)、一个3*3的卷积层(stride＝1，c＝64)、一个3*3的卷积层(stride＝1，c＝128)、一个3*3的卷积层(stride＝1，c＝128)、全局平均池化层、全连接层和输出层。其中，所述全连接层设有softmax激活函数，所述输出层的输出为左眼概率(L_Prob)和右眼概率(R_Prob)，c为卷积层的通道数，stride为卷积层的步长。
可选地，所述分类网络包括输入层、3个卷积层、全局平均池化层、全连接层和输出层。
当经过骨干网络处理的眼部图像输入到所述分类网络时，所述经过骨干网络处理的眼部图像依次经过一个1*1的卷积层(c＝64)、一个3*3的卷积层(stride＝1，c＝64)、一个3*3的卷积层(stride＝1，c＝128)、全局平均池化层、全连接层和输出层。其中，所述全连接层设有softmax激活函数，所述输出层的输出为左眼概率(L_Prob)和右眼概率(R_Prob)，c为卷积层的通道数，stride为卷积层的步长。
示例性地，图8为本发明实施例的一种关键点生成模块中关键点生成的流程图。
示例性地，具体流程可以如下：
获取眼部热力图；
获取眼部热力图中的极大值点和相应的坐标；
根据极大值点的坐标确定内眼角热力图关键点坐标和外眼角热力图关键点坐标。
需要说明的是，泪腺一侧的眼角为内眼角，另外一侧的眼角为外眼角。
示例性地，图9为本发明实施例的一种逻辑判断模块中逻辑判断的流程图。
示例性地，具体流程可以如下：
输入内眼角热力图关键点坐标和外眼角热力图关键点坐标；
判断内眼角热力图关键点和外眼角热力图关键点是否都在眼部图像内，若是，则通过比较内眼角热力图关键点和外眼角热力图关键点水平坐标的大小确定左右眼辅助标签的类型，并生成相对应的左右眼辅助标签，所述类型包括左眼辅助标签和右眼辅助标签；若否，则标识左右眼辅助标签为空。
以图10所示的坐标系为例，内眼角坐标为(x1，y1)，外眼角坐标为(x2，y2)，此时x1<x2，则说明该眼部图像为左眼眼部图像，生成左眼辅助标签；
在相同坐标系下，内眼角坐标为(x1，y1)，外眼角坐标为(x2，y2)时，若x1＞x2，该眼部图像为右眼眼部图像，生成右眼辅助标签。
需要说明的是，图10所示的坐标系是以观察者视角建立的坐标系。
可选地，所述损失函数为：
Figure BDA0003794132100000111
式中，f(p；ω)为左右眼检测模型预测函数，p为眼部图像，q为眼部图像的左右眼标签(左眼标签或右眼标签)，
Figure BDA0003794132100000112
为眼部图像的预测左右眼标签(指导标签)，(xj，yj)为眼部图像的第j个眼角的实际坐标，
Figure BDA0003794132100000113
为眼部图像的第j个眼角的预测坐标，j的取值范围是(1，k)，k为眼部图像中眼角的个数，ω为神经网络的参数，fg1和fg2为所述指导分类网络中两次不同的预测函数值，f1和f2为所述分类网络中的两次不同的预测函数值，L_Probg为所述指导分类网络中得到的左眼概率，R_Probg为所述指导分类网络中得到的右眼概率，L_Probldm是关键点生成分支生成的左眼辅助标签，R_Probldm是关键点生成分支生成的右眼辅助标签，L_Prob为所述分类网络中得到的左眼概率，R_Prob为所述分类网络中得到的右眼概率，Ldis1、Ldis2、Ldis3和Ldis4为余弦距离函数，所述余弦距离函数为：
Figure BDA0003794132100000114
Figure BDA0003794132100000115
Figure BDA0003794132100000116
Figure BDA0003794132100000117
需要说明的是，
Figure BDA0003794132100000118
是根据交叉熵损失函数改进得到，使用该公式计算损失函数可以提高训练的速度和训练得到的左右眼检测模型的准确率。
smooth_L1函数为关键点回归损失函数，具体地，
Figure BDA0003794132100000121
式中，变量z为实际眼角坐标和预测眼角坐标之间的偏差值。
其中，
Figure BDA0003794132100000122
可选地，所述左右眼检测模型训练方法，还包括：设置目标函数，该目标函数可以为：
Figure BDA0003794132100000123
式中，pi为第i个眼部图像，qi为第i个眼部图像的左右眼标签，ω为神经网络的参数，L(qi，f(pi；ω))为损失函数；f(pi；ω)为左右眼检测模型预测函数，i的取值范围是(1，n)，n为眼部图像的个数，Ω(ω)为L2正则函数，λ为超参数。
所述目标函数由损失函数和正则函数构成，使用所述目标函数可以确定一个最优解，以得到最优的神经网络参数ω，可以优化损失函数，避免模型欠拟合，还可以使损失函数最小化、优化正则函数，避免模型过拟合。
需要说明的是，卷积层的个数、步长、通道数和激活函数类型在本实施例中不做限定。
本发明提供了一种左右眼检测模型训练方法，所述左右眼检测模型训练方法将获取的眼部图像输入到卷积神经网络中处理得到眼部热力图，然后使用所述眼部热力图训练左右眼识别模型。其中，所述眼部图像包括虹膜区域和眼周区域，且眼周区域的特征相比于虹膜区域的特征，更容易用来区分左右眼，基于此得到的左右眼识别模型可以在进行虹膜识别之前使用，先识别左右眼后再与预存的左眼虹膜图像或右眼虹膜图像中的一个进行匹配即可完成虹膜的识别，从而提高虹膜识别的效率。
以上结合图1-图10详细说明了本发明实施例提供的左右眼检测模型训练方法。以下结合图11详细说明本发明实施例提供的识别左右眼的方法。
图11为本发明实施例的一种识别左右眼的方法的流程图。如图11所示，所述识别左右眼的方法包括：
S1101、获取待识别眼部图像。
其中，所述待识别眼部图像包括虹膜区域和眼周区域；
示例性地，图2为本发明实施例的一种眼部示意图。如图2所示：所述虹膜区域包括瞳孔201和虹膜202。
所述眼周区域包括如下一项或多项：巩膜203、眼睑204、内眼角2051、外眼角2052、睫毛206、或眉毛207。
S1102、将所述待识别眼部图像输入到左右眼识别模型中，确定所述待识别眼部图像的类型，所述类型包括：左眼和右眼。
可选地，所述左右眼检测模型主要是通过眼周区域的特征来对所述眼部图像进行检测的，最终左右眼识别模型会给出所述眼部图像的类型，确定眼部图像中的眼睛是左眼还是右眼。
需要说明的是，本实施例中使用的左右眼识别模型是根据上述实施例中的左右眼检测模型训练方法训练得到的，有关模型的介绍可以参考步骤S101、S102和S103，此处不再赘述。
本发明提供了一种识别左右眼的方法，所述识别方法先获取待识别眼部图像，再将所述待识别眼部图像输入到左右眼识别模型中，确定所述待识别眼部图像的类型，所述类型包括：左眼和右眼。其中，所述眼部图像包括虹膜区域和眼周区域，且眼周区域的特征相比于虹膜区域的特征，更容易用来区分左右眼，基于此训练得到的左右眼识别模型可以在进行虹膜识别之前使用，先识别左右眼后再与预存的左眼虹膜图像或右眼虹膜图像中的一个进行匹配即可完成虹膜的识别，从而提高虹膜识别的效率。
以下结合图12详细说明本申请实施例提供的可以执行上述左右眼检测模型训练方法的装置。
示例性地，图12为本发明实施例的一种左右眼检测模型训练装置的结构示意图；如图12所示，所述训练装置120包括：
获取模块1201，用于获取眼部图像，所述眼部图像包括虹膜区域和眼周区域；
处理模块1202，用于将所述眼部图像输入到卷积神经网络中进行特征处理，得到眼部热力图，所述眼部热力图包括所述虹膜区域的热力图，以及所述眼周区域的热力图；
训练模块1203，使用所述眼部热力图训练左右眼识别模型。
可选地，所述眼部图像包括左眼眼部图像和右眼眼部图像，所述眼部图像中的虹膜区域包括瞳孔201和虹膜202，眼周区域包括如下一项或多项：巩膜203、眼睑204、内眼角2051、外眼角2052、睫毛206、或眉毛207。
可选地，所述眼部热力图中所述眼周区域的特征权重高于所述虹膜区域的特征权重。
可选地，所述眼部热力图还包括眼角热力图关键点，所述眼角热力图关键点用于生成左右眼辅助标签，所述左右眼辅助标签用于训练所述左右眼识别模型。
以下结合图13详细说明本申请实施例提供的可以执行上述识别左右眼的方法的装置。
示例性地，图13为本发明实施例的一种识别左右眼的装置的结构示意图；如13所示，所述识别装置130包括：
获取模块1301，用于获取待识别眼部图像，所述待识别眼部图像包括虹膜区域和眼周区域。
确定模块1302，用于将所述待识别眼部图像输入到左右眼识别模型中，确定所述待识别眼部图像的类型，所述类型包括：左眼和右眼。
可选地，所述眼部图像中的虹膜区域包括瞳孔201和虹膜202，眼周区域包括如下一项或多项：巩膜203、眼睑204、内眼角2051、外眼角2052、睫毛206、或眉毛207。
需要说明的是，确定模块1302中使用的左右眼识别模型是根据上述实施例中的左右眼检测模型训练方法训练得到的，有关模型的介绍可以参考步骤S101、S102和S103，此处不再赘述。
本发明实施例还提供了一种计算机电子设备，图14示出了可以应用本发明实施例的电子设备的结构示意图，如图14所示，该计算机电子设备包括，中央处理模块(CPU)1401，其可以根据存储在只读存储器(ROM)1402中的程序或者从存储部分1408加载到随机访问存储器(RAM)1403中的程序而执行各种适当的动作和处理。在RAM 1403中，还存储有***操作所需的各种程序和数据。CPU 1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出(I/O)接口1405也连接至总线1404。
以下部件连接至I/O接口1405：包括键盘、鼠标等的输入部分1406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1407；包括硬盘等的存储部分1408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至I/O接口1405。可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等，根据需要安装在驱动器1410上，以便于从其上读出的计算机程序根据需要被安装入存储部分1408。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块1201、处理模块1202和训练模块1203，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，训练模块1203还可以被描述为“用于将所述眼部热力图输入到卷积神经网络中训练，得到左右眼识别模型的训练模块1203”。
作为另一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述一种左右眼检测模型训练装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入电子设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本发明的一种左右眼检测模型训练方法或一种识别左右眼的方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种左右眼检测模型训练方法，其特征在于，所述左右眼检测模型训练方法包括：
获取眼部图像，所述眼部图像包括虹膜区域和眼周区域；
将所述眼部图像输入到卷积神经网络中进行特征处理，得到眼部热力图，所述眼部热力图包括所述虹膜区域的热力图，以及所述眼周区域的热力图；
使用所述眼部热力图训练左右眼识别模型。
2.根据权利要求1所述的左右眼检测模型训练方法，其特征在于，所述眼部热力图中所述眼周区域的特征权重高于所述虹膜区域的特征权重。
3.根据权利要求1所述的左右眼检测模型训练方法，其特征在于，所述虹膜区域包括：瞳孔和虹膜；
所述眼周区域包括如下一项或多项：眼角、眼睑、眉毛、巩膜、或睫毛。
4.根据权利要求1所述的左右眼检测模型训练方法，其特征在于，所述眼部热力图还包括眼角热力图关键点，所述眼角热力图关键点用于生成左右眼辅助标签，所述左右眼辅助标签用于训练所述左右眼识别模型。
5.根据权利要求1-4中任一项所述的左右眼检测模型训练方法，其特征在于，所述眼部图像包括左眼眼部图像和右眼眼部图像。
6.一种识别左右眼的方法，其特征在于，所述识别左右眼的方法包括：
获取待识别眼部图像，所述待识别眼部图像包括虹膜区域和眼周区域；
将所述待识别眼部图像输入到左右眼识别模型中，确定所述待识别眼部图像的类型，所述类型包括，左眼和右眼。
7.一种左右眼识别模型训练装置，其特征在于，所述左右眼识别模型训练装置包括：
获取模块，用于获取眼部图像，所述眼部图像包括虹膜区域和眼周区域；
处理模块，用于将所述眼部图像输入到卷积神经网络中进行特征处理，得到眼部热力图，所述眼部热力图包括所述虹膜区域的热力图，以及所述眼周区域的热力图；
训练模块，使用所述眼部热力图训练左右眼识别模型。
8.一种识别左右眼的装置，其特征在于，所述识别左右眼的装置包括：
获取模块，用于获取待识别眼部图像，所述待识别眼部图像包括虹膜区域和眼周区域；
确定模块，用于将所述待识别眼部图像输入到左右眼识别模型中，确定所述待识别眼部图像的类型，所述类型包括：左眼和右眼。
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
CN202210967146.8A 2022-08-11 2022-08-11 左右眼检测模型训练方法、识别左右眼的方法及装置 Active CN115205956B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210967146.8A CN115205956B (zh) 2022-08-11 2022-08-11 左右眼检测模型训练方法、识别左右眼的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210967146.8A CN115205956B (zh) 2022-08-11 2022-08-11 左右眼检测模型训练方法、识别左右眼的方法及装置

Publications (2)

Publication Number Publication Date
CN115205956A true CN115205956A (zh) 2022-10-18
CN115205956B CN115205956B (zh) 2023-04-07

Family

ID=83586217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210967146.8A Active CN115205956B (zh) 2022-08-11 2022-08-11 左右眼检测模型训练方法、识别左右眼的方法及装置

Country Status (1)

Country Link
CN (1) CN115205956B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824681A (zh) * 2023-08-24 2023-09-29 北京集联网络技术有限公司 基于深度卷积神经网络的眼检测方法、***及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9846807B1 (en) * 2014-12-31 2017-12-19 Morphotrust Usa, Llc Detecting eye corners
US10089525B1 (en) * 2014-12-31 2018-10-02 Morphotrust Usa, Llc Differentiating left and right eye images
CN110223294A (zh) * 2019-06-21 2019-09-10 北京万里红科技股份有限公司 一种基于多层卷积神经网络的人体左/右眼图像判断方法
CN112101438A (zh) * 2020-09-08 2020-12-18 南方科技大学 一种左右眼分类方法、装置、服务器和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9846807B1 (en) * 2014-12-31 2017-12-19 Morphotrust Usa, Llc Detecting eye corners
US10089525B1 (en) * 2014-12-31 2018-10-02 Morphotrust Usa, Llc Differentiating left and right eye images
CN110223294A (zh) * 2019-06-21 2019-09-10 北京万里红科技股份有限公司 一种基于多层卷积神经网络的人体左/右眼图像判断方法
CN112101438A (zh) * 2020-09-08 2020-12-18 南方科技大学 一种左右眼分类方法、装置、服务器和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824681A (zh) * 2023-08-24 2023-09-29 北京集联网络技术有限公司 基于深度卷积神经网络的眼检测方法、***及设备
CN116824681B (zh) * 2023-08-24 2023-11-24 北京集联网络技术有限公司 基于深度卷积神经网络的眼检测方法、***及设备

Also Published As

Publication number Publication date
CN115205956B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US11487995B2 (en) Method and apparatus for determining image quality
CN111241989B (zh) 图像识别方法及装置、电子设备
CN110659723B (zh) 基于人工智能的数据处理方法、装置、介质及电子设备
CN112800903B (zh) 一种基于时空图卷积神经网络的动态表情识别方法及***
CN112419327B (zh) 一种基于生成对抗网络的图像分割方法、***和装置
CN112016464A (zh) 检测人脸遮挡的方法、装置、电子设备及存储介质
CN110288513B (zh) 用于改变人脸属性的方法、装置、设备和存储介质
WO2020258981A1 (zh) 基于眼底图像的身份信息处理方法及设备
CN110689043A (zh) 一种基于多重注意力机制的车辆细粒度识别方法及装置
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN113593661B (zh) 临床术语标准化方法、装置、电子设备及存储介质
CN111612100B (zh) 对象再识别方法、装置、存储介质及计算机设备
CN112446322B (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN113255561B (zh) 头发信息识别方法、装置、设备及存储介质
CN114037838A (zh) 神经网络的训练方法、电子设备及计算机程序产品
CN115205956B (zh) 左右眼检测模型训练方法、识别左右眼的方法及装置
CN115984930A (zh) 微表情识别方法、装置、微表情识别模型的训练方法
CN114764870A (zh) 对象定位模型处理、对象定位方法、装置及计算机设备
CN114372926A (zh) 一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法
CN112101438A (zh) 一种左右眼分类方法、装置、服务器和存储介质
CN115795355A (zh) 一种分类模型训练方法、装置及设备
CN116311472A (zh) 基于多层次图卷积网络的微表情识别方法及装置
CN116543437A (zh) 一种基于遮挡-特征映射关系的遮挡人脸识别方法
CN116805522A (zh) 诊断报告输出方法、装置、终端及存储介质
CN116959123A (zh) 一种人脸活体检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant