CN115953819A - 人脸识别模型的训练方法、装置、设备和存储介质 - Google Patents

人脸识别模型的训练方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN115953819A
CN115953819A CN202211702258.7A CN202211702258A CN115953819A CN 115953819 A CN115953819 A CN 115953819A CN 202211702258 A CN202211702258 A CN 202211702258A CN 115953819 A CN115953819 A CN 115953819A
Authority
CN
China
Prior art keywords
face
recognition model
face recognition
image
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211702258.7A
Other languages
English (en)
Other versions
CN115953819B (zh
Inventor
赵朝阳
王金桥
郭海云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202211702258.7A priority Critical patent/CN115953819B/zh
Publication of CN115953819A publication Critical patent/CN115953819A/zh
Application granted granted Critical
Publication of CN115953819B publication Critical patent/CN115953819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种人脸识别模型的训练方法、装置、设备和存储介质，涉及图像处理技术领域，该方法包括：获取多张第一人脸样本图像；提取每张第一人脸样本图像的图像特征，并基于所述每张第一人脸样本图像的图像特征，确定每张第一人脸样本图像的质量分数；基于每张所述第一人脸样本图像的标签信息和所述质量分数，对初始人脸识别模型进行训练，得到人脸识别模型，所述标签信息用于表征所述第一人脸样本图像对应的用户信息。本发明提供的人脸识别模型的训练方法、装置、设备和存储介质可以提高人脸识别模型训练的准确度，得到更加准确的人脸识别模型，从而提高了人脸识别的准确性。

Description

人脸识别模型的训练方法、装置、设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸识别模型的训练方法、装置、设备和存储介质。
背景技术
随着科学技术的飞速发展，人脸识别技术早已被广泛应用于金融***身份验证、考勤签到***以及安防监控等诸多领域，其准确识别人脸的重要性不言而喻。其中，人脸识别模型中训练集的正确选取是准确识别人脸的重要前提之一。
然而，在目前公开的人脸数据集中，基本上都是一些名人图像，且该类名人图像数量众多，导致训练集选取的人脸图像类型过于单一，使得训练的人脸识别模型，在实际场景中的人脸识别性能差强人意，难以满足业务需求。
为提高模型训练的准确性，在实际模型训练的过程中，训练人员还会通过网络图片搜集的方式，收集更多其他类型人脸图像，以弥补上述训练集的不足。但由于实际业务中的图片较难搜集，并且大多数图片的质量较差，使得该种图片数据与公开的人脸数据集合并训练的人脸识别模型容易陷入过拟合的情况。此外，两种图像数据的域相差较大，也严重影响着模型的泛化性，使得训练得到的人脸识别模型的准确度较差，从而降低了人脸识别的准确性。
发明内容
本发明提供一种人脸识别模型的训练方法、装置、设备和存储介质，用以解决现有技术中受低质量图像影响而导致的训练出的人脸识别模型不准确的缺陷，实现了提高人脸识别模型准确性，以更为准确的进行人脸识别的目的。
本发明提供一种人脸识别模型的训练方法，包括：
获取多张第一人脸样本图像；
提取每张第一人脸样本图像的图像特征，并基于所述每张第一人脸样本图像的图像特征，确定每张第一人脸样本图像的质量分数；
基于每张所述第一人脸样本图像的标签信息和所述质量分数，对初始人脸识别模型进行训练，得到人脸识别模型，所述标签信息用于表征所述第一人脸样本图像对应的用户信息。
根据本发明提供的一种人脸识别模型的训练方法，所述基于所述每张第一人脸样本图像的图像特征，确定每张第一人脸样本图像的质量分数，包括：
针对每张第一人脸样本图像，确定所述第一人脸样本图像的正样本集合和负样本集合，其中，所述正样本集合中的正样本图像对应的用户与所述第一人脸样本图像对应的用户相同，所述负样本集合中的负样本图像对应的用户与所述第一人脸样本图像对应的用户不同；
基于所述每张第一人脸样本图像的图像特征，分别确定所述第一人脸样本图像与所述正样本集合中的各正样本图像之间的第一距离，以及所述第一人脸样本图像与所述负样本集合中的各负样本图像之间的第二距离；
基于所述第一距离和所述第二距离，确定所述第一人脸样本图像的质量分数。
根据本发明提供的一种人脸识别模型的训练方法，所述基于所述每张第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型，包括：
将所述每张第一人脸样本图像输入所述初始人脸识别模型，基于所述标签信息和通过所述初始人脸识别模型提取的特征信息，确定所述每张第一人脸样本图像对应的识别概率值；
基于所述识别概率值和所述质量分数，确定所述每张第一人脸样本图像对应的新的识别概率值；
基于所述新的识别概率值，对初始人脸识别模型进行训练，得到所述人脸识别模型。
根据本发明提供的一种人脸识别模型的训练方法，所述基于所述每张第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型，包括：
基于所述每张第一人脸样本图像的质量分数，将质量分数小于预设值的第一人脸样本图像剔除，得到剔除后的第一人脸样本图像；
基于所述剔除后的第一人脸样本图像的标签信息和质量分数，对所述初始人脸识别模型进行训练，得到人脸识别模型。
根据本发明提供的一种人脸识别模型的训练方法，所述方法还包括：
获取多张第二人脸样本图像，所述第二人脸样本图像的图像质量大于所述第一人脸样本图像；
基于所述第二人脸样本图像，对第一人脸识别模型进行预训练，得到第二人脸识别模型；
确定属于同一用户的第一人脸样本图像；
基于属于同一用户的第一人脸样本图像的数量大于预设值的第一人脸样本图像，微调所述第二人脸识别模型的模型参数，得到所述初始人脸识别模型。
本发明还提供的一种人脸识别方法，包括：
获取待识别人脸图像；
将所述待识别人脸图像输入人脸识别模型中，得到所述待识别人脸图像的人脸识别结果，所述人脸识别模型为根据上述任一种所述的人脸识别模型的训练方法训练得到的。
本发明还提供一种人脸识别模型的训练装置，包括：
获取模块，用于获取多张第一人脸样本图像；
提取模块，用于提取每张第一人脸样本图像的图像特征；
确定模块，用于基于所述每张第一人脸样本图像的图像特征，确定每张第一人脸样本图像的质量分数；
训练模块，用于基于所述每张第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型，所述标签信息用于表征所述第一人脸样本图像对应的用户信息。
本发明还提供一种人脸识别装置，包括：
获取模块，用于获取待识别人脸图像；
识别模块，用于将所述待识别人脸图像输入人脸识别模型中，得到所述待识别人脸图像的人脸识别结果，所述人脸识别模型为上述任一种所述的人脸识别模型的训练方法训练得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述人脸识别模型的训练方法，以及实现如上述人脸识别方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述人脸识别模型的训练方法，以及实现如上述人脸识别方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述人脸识别模型的训练方法，以及实现如上述人脸识别方法。
本发明提供的人脸识别模型的训练方法、装置、设备和存储介质，通过对获取的多张第一人脸样本图像进行图像特征提取，以提取出每张第一人脸样本图像的图像特征，并基于该第一人脸样本图像的图像特征，确定出每张第一人脸样本图像的质量分数。在此基础上，通过每张第一人脸样本图像对应的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型。由于在进行人脸识别模型训练时，可以将质量分数作为伪标签，结合标签信息一起对人脸识别模型的网络参数进行调整，这样，因为考虑了每张第一人脸样本图像的图像质量，可以避免将图像质量好的样本图像与图像质量差的样本图像采用相同的方式进行训练而导致的模型泛化性差的问题，提高了人脸识别模型训练的准确度和鲁棒性，得到更加准确的人脸识别模型，从而提高了人脸识别的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的人脸识别模型的训练方法的流程示意图之一；
图2是本发明实施例提供的图像预处理的流程示意图；
图3是本发明实施例提供的人脸识别模型的训练方法中质量分数的确定示意图；
图4为本发明实施例提供的人脸识别模型的训练方法的流程示意图之二；
图5是本发明实施例提供的人脸识别方法的流程示意图；
图6是本发明实施例提供的人脸识别模型的训练装置的结构示意图；
图7是本发明实施例提供的人脸识别装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
作为一种新的身份识别技术，人脸识别被广泛应用于各行各业，但在某些特殊场景下，其仍然不能取得满意的效果。
为了提高人脸识别的准确性，现有技术中通常将公开的人脸数据集和实际应用中采集的人脸图像进行结合，以增加不同类别人脸图像的数量，使得训练得到的人脸识别模型更为准确，从而提高人脸识别的准确性，其中，实际应用中采集的人脸图像包括在进行身份识别时采集的人脸图像，安防监控中采集的人脸图像包括在进行身份识别时采集的人脸图像等。但该种选取方式不可避免地引入了一些质量较差的人脸图像，如清晰度不足或者有细节噪声的人脸图像，即标签样本中也可能存在噪声，由此导致人脸识别模型在某些场景中识别性能泛化，从而降低了人脸识别的准确性。
针对上述训练集中人脸图像质量较差，以及标签样本存在噪声而导致的人脸识别模型在某些场景下的识别能力欠缺的问题，本发明实施例提出了一种人脸识别模型的训练方法，该方法利用数据挖掘的方法对人脸识别模型进行训练，使得人脸识别模型在各种场景下的性能有明显提升。具体地，在提取出每张人脸样本图像对应的图像特征的基础上，计算出每张人脸样本图像的质量分数，可以将质量分数作为伪标签，结合标签信息一起对人脸识别模型的网络参数进行调整，这样，因为考虑了每张第一人脸样本图像的图像质量，可以避免将图像质量好的样本图像与图像质量差的样本图像采用相同的方式进行训练而导致的模型泛化性差的问题，从而避免了低质量图像对人脸识别模型的负面影响，由此提高了人脸识别模型的准确性和鲁棒性，即解决了多种场景下的人脸识别性能泛化问题。
下面结合图1-图4对本发明实施例提供的人脸识别模型的训练方法进行描述。该方法可应用于人脸识别场景中，执行该方法的主体可以是任何与摄像头通信连接的终端设备，例如手机、电脑、计算机或者其他任何人脸识别装置等。
图1为本发明实施例提供的人脸识别模型的训练方法的流程示意图之一，如图1所示，该方法包括：
步骤101：获取多张第一人脸样本图像。
其中，多张第一人脸样本图像可以包括多个用户的人脸样本图像，其中，为了提高模型训练的准确性，每个用户可以对应多张人脸样本图像。应理解，此处多张第一人脸样本图像为不同图像质量的人脸样本图像。
具体地，可以通过网络爬虫方法在公开网站上搜集多张样本图像，为了方便后续的人脸识别模型的训练以及实际场景的应用，在获取到多张样本图像后，通常还需要对该样本图像进行预处理，以得到多张第一人脸样本图像。
示例性的，图2为本发明实施例提供的图像预处理的流程示意图，如图2所示，该预处理过程包括：
步骤201：输入样本图像。
步骤202：对样本图像进行人脸检测。
具体地，在获取到样本图像后，可以通过网络模型检测的方式，对输入的样本图像进行人脸检测。若样本图像中没有人脸，则丢弃该样本图像，并重新执行步骤201，以对其他样本图像进行人脸检测；若样本图像中有人脸，则执行步骤203。
步骤203：判断人脸是否符合要求。
具体地，在检测到样本图像中包括人脸后，对该人脸的置信度或者尺寸进行计算，以将其与预设的阈值进行比对。若比对结果为小于预设阈值，如60*60，则将该人脸图像进行过滤，也即丢弃上述样本图像，并重新执行步骤201；反之，则执行如下步骤204。
步骤204：对人脸图像进行人脸关键点检测。
其中，人脸关键点至少包括左眼、右眼、鼻尖、左嘴角和右嘴角在内的25个人脸关键点，此处可以通过网络模型的方式进行人脸的关键点的检测，对此不做具体限制。
步骤205：根据人脸图像中左眼、右眼、鼻尖、左嘴角和右嘴角5个关键点坐标进行放射变换对齐人脸。
具体地，可以按照上述5个关键点坐标通过平移、旋转、缩放等操作将人脸图像对齐为正脸，便于人脸识别任务的执行。
步骤206：将对齐后的人脸图像裁剪为固定大小的人脸样本图像。
具体地，在获取到对齐后的人脸图像后，再对对齐后的人脸图像进行裁剪，以得到对齐人脸且固定大小的人脸图像，例如可以得到112*112大小的人脸图像，即第一人脸样本图像。
进一步地，在通过上述方式获取到多张第一人脸样本图像后，将执行如下步骤102。
步骤102：提取每张第一人脸样本图像的图像特征，并基于每张第一人脸样本图像的图像特征，确定每张第一人脸样本图像的质量分数。
其中，质量分数，可理解为是用于评价每张人脸样本图像质量好坏的量化分数。
具体地，在通过步骤101获取到多张第一人脸样本图像后，可以基于初始人脸识别模型，对第一人脸样本图像进行图像特征提取，以得到每张第一人脸样本图像的图像特征。
其中，可以通过爬虫的方式在公开网站上搜集名人的图片，为了提高初始人脸识别模型的准确性，可以将每个名人的图片都搜集预设数量以上，其中，该预设数量可以为5。在搜集到名人的图片之后，可以使用卷积神经网络训练出初始人脸识别模型。为了使得该初始人脸识别模型在各种场景下都具备一定的识别能力，可以通过cosface或者arcface等其他分类损失函数进行训练，当然，在实际应用中，还可以通过其他的损失函数进行训练，对损失函数的具体方式，本实施例中不做具体限制。
进一步地，在获取到每张第一人脸样本图像的图像特征后，可以利用多张第一人脸样本图像之间的图像特征相似度，以得到每张第一人脸样本图像的质量分数。
步骤103：基于每张第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型，标签信息用于表征第一人脸样本图像对应的用户信息。
其中，每张第一人脸样本图像的标签信息可以用于表征用户信息，其可以是人为标注的，也可以是通过预先训练的网络模型进行标注的。
示例性的，可以先利用公开的数据集训练一个初始人脸识别模型，然后，再利用步骤102计算出的每张第一人脸样本图像的质量分数，对每张第一人脸样本图像的标签信息进行清洗，并将清洗后的标签信息作为有监督学习的标签信息，以及将质量分数作为伪标签，对初始人脸识别模型进行有监督训练，得到人脸识别模型。
进一步地，还可以通过迭代的方式，对步骤102中每张第一人脸样本图像的图像特征以及质量分数进行更新，以使模型对于训练集中标签信息的噪声和第一人脸样本图像质量都有良好的鲁棒能力，从而得到更加准确的人脸识别模型。
本发明实施例提供的人脸识别模型的训练方法，通过对获取的多张第一人脸样本图像进行图像特征提取，以提取出每张第一人脸样本图像的图像特征，并基于该第一人脸样本图像的图像特征，确定出每张第一人脸样本图像的质量分数。在此基础上，通过每张第一人脸样本图像对应的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型。由于在进行人脸识别模型训练时，可以将质量分数作为伪标签，结合标签信息一起对人脸识别模型的网络参数进行调整，这样，因为考虑了每张第一人脸样本图像的图像质量，可以避免将图像质量好的样本图像与图像质量差的样本图像采用相同的方式进行训练而导致的模型泛化性差的问题，提高了人脸识别模型训练的准确度和鲁棒性，得到更加准确的人脸识别模型，从而提高了人脸识别的准确性。
在一种可能的实现方式中，在步骤102中基于每张第一人脸样本图像的图像特征，确定每张第一人脸样本图像的质量分数时，可通过如下方式进行确定：针对每张第一人脸样本图像，确定第一人脸样本图像的正样本集合和负样本集合，其中，正样本集合中的正样本图像对应的用户与第一人脸样本图像对应的用户相同，负样本集合中的负样本图像对应的用户与第一人脸样本图像对应的用户不同；基于每张第一人脸样本图像的图像特征，分别确定第一人脸样本图像与正样本集合中的各正样本图像之间的第一距离，以及第一人脸样本图像与负样本集合中的各负样本图像之间的第二距离；基于第一距离和第二距离，确定第一人脸样本图像的质量分数。
为了提高第一人脸样本图像的质量分数的可靠性，在获取到多张第一人脸样本图像后，可以先对每张第一人脸样本图像进行遍历，以挑选出同一用户对应的人脸样本图像组成正样本集合，示例的，同一用户对应的人脸样本图像的数量大于第一预设值，例如该数量至少为5张，另外，还需要挑选出不同用户对应的人脸样本图像组成负样本集合，示例的，不同用户对应的人脸样本图像的数量大于第二预设值，例如该数量至少为10张。示例性的，可以提前将每一张人脸样本图像进行分类标记或者存储，以提高每张第一人脸样本图像对应的正样本集合和负样本集合的确定速度。
图3为本发明实施例提供的人脸识别模型的训练方法中质量分数的确定示意图，如图3所示，针对每张第一人脸样本图像，确定出该第一人脸样本图像的正样本集合和负样本集合后，可以通过初始人脸识别模型对所有人脸样本图像的图像特征进行提取，以得到每张人脸样本图像的图像特征xi∈{x1,x2,…,xm1+m2+1}，正样本集合中各正样本图像的图像特征
Figure BDA0004024329810000111
以及负样本集合中各负样本图像的图像特征
Figure BDA0004024329810000112
然后，利用上述获取到的图像特征，计算出每张人脸样本图像的图像特征与正样本集合中各正样本图像的图像特征之间的余弦距离，即第一距离
Figure BDA0004024329810000113
以及计算出每张人脸样本图像的图像特征与负样本集合中各负样本图像的图像特征之间的余弦距离，即第二距离
Figure BDA0004024329810000114
并将该第一距离和第二距离，代入如下公式(1)，计算出每张人脸样本图像的质量分数
Figure BDA0004024329810000115
Figure BDA0004024329810000116
其中，
Figure BDA0004024329810000117
表示Wasserstein距离，
Figure BDA0004024329810000118
表示边缘分布分别为
Figure BDA0004024329810000119
的所有联合分布γ的集合,
Figure BDA00040243298100001110
表示
Figure BDA00040243298100001111
与
Figure BDA00040243298100001112
之间的欧式距离，
Figure BDA00040243298100001113
表示在联合分布γ下，
Figure BDA00040243298100001114
对
Figure BDA00040243298100001115
距离的期望值，inf表示对期望
Figure BDA00040243298100001116
取下界。
在本实施例中，针对每张第一人脸样本图像，确定出同一用户对应的正样本集合和不同用户对应的负样本集合，并基于每张第一人脸样本图像的图像特征，得到第一人脸样本图像与正样本集合中的各正样本图像之间的第一距离，以及第一人脸样本图像与负样本集合中的各负样本图像之间的第二距离；然后，通过该第一距离和第二距离，得到每张第一人脸样本图像的质量分数，为后续人脸样本图像的质量评价和标签信息的清洗提供了基准信息，使得训练出的人脸识别模型更为准确，提高了人脸识别的准确性。
在上述任一实施例的基础上，在基于每张第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型时，还可以通过如下方式进行：基于每张第一人脸样本图像的质量分数，将质量分数小于预设值的第一人脸样本图像剔除，得到剔除后的第一人脸样本图像；基于剔除后的第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型。
其中，为了防止太多人脸样本图像被剔除而间接导致模型训练集无法使用或者样本图像数较少，预设值可设为较小的值，如0.1。
具体地，在获取到每张第一人脸样本图像的质量分数后，可将质量分数进行归一化，并以该质量分数清洗同一人脸样本图像中质量过低的第一人脸样本图像，将清洗后的第一人脸样本图像的标签信息作为最终的标签信息。在实际应用中，可以将同一个用户的样本图像放在一个文件夹中，这样有多少文件夹就有多少个用户，基于质量分数清洗每一个文件夹中的同类图片，其中，若质量分数小于预设值，则认为该第一人脸样本图像质量很差，不适合作为人脸识别模型的训练样本，因此，会将其剔除掉，以得到剔除后的第一人脸样本图像。
然后，利用剔除并清洗后的第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，以得到更加准确的人脸识别模型。
在本实施例中，将每张第一人脸样本图像的质量分数与预设值进行比对，以剔除质量较差的第一人脸样本图像，并利用剔除后的第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，以避免了低质量图像对人脸识别模型的负面影响，由此提高了人脸识别模型的准确性。
图4为本发明实施例提供的人脸识别模型的训练方法的流程示意图之二，如图4所示，在图1所示实施例的基础上，所述步骤103中基于每张第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型，可以通过如下方式进行实现：将每张第一人脸样本图像输入初始人脸识别模型，基于标签信息和通过初始人脸识别模型提取的特征信息，确定每张第一人脸样本图像对应的识别概率值；基于识别概率值和质量分数，确定每张第一人脸样本图像对应的新的识别概率值；基于新的识别概率值，对初始人脸识别模型进行训练，得到人脸识别模型。
具体地，在将每张第一人脸样本图像输入初始人脸识别模型中，提取出每张第一人脸样本图像的特征信息后，可以基于该特征信息和每张第一人脸样本图像的标签信息对初始人脸识别模型进行训练，以在分类层(Fully Connected Layers，FC)得到每张第一人脸样本图像对应的识别概率值。
为了减少低质量人脸样本图像对模型训练的负面影响，在获取到每张第一人脸样本图像对应的识别概率值后，可以将该识别概率值与质量分数进行结合，如将识别概率值与质量分数相乘，得到新的识别概率值，再将该新的识别概率值送入损失函数层(LossFunction Layers，LF)对初始人脸识别模型进行训练，以得到更加准确的人脸识别模型。
进一步地，还可以将新的人脸识别模型应用在步骤102中，以对每张人脸样本图像的质量分数以及标签信息进行更新，并通过迭代的方式不断重复更新训练的人脸识别模型，以训练出对特定场景下会有良好识别性能，且对图像质量更加鲁棒的人脸识别模型。
在本实施例中，通过标签信息和初始人脸识别模型提取的特征信息来获取每张第一人脸样本图像对应的识别概率值，并基于该识别概率值和质量分数，计算得到新的识别概率值，即将图像质量对模型所产生的不良影响也考虑在内，从而基于该新的识别概率值，对模型进行训练，由此降低了低质量人脸样本图像对人脸识别模型的负面影响，提高了人脸识别模型的准确性。
在上述任一实施例的基础上，为了提高模型训练的效率，可以预先采用能够搜集到的图像训练初始人脸识别模型，这样，在具体的应用场景中，即可使用该场景中采集的人脸图像对该预先训练的初始人脸识别模型的模型参数进行微调即可。其中，初始人脸识别模型可以通过如下方式得到：获取多张第二人脸样本图像，第二人脸样本图像的图像质量大于第一人脸样本图像；基于第二人脸样本图像，对第一人脸识别模型进行预训练，得到第二人脸识别模型；确定属于同一用户的第一人脸样本图像；基于属于同一用户的第一人脸样本图像的数量大于预设值的第一人脸样本图像，微调第二人脸识别模型的模型参数，得到初始人脸识别模型。
示例性的，第二人脸样本图像是指通过爬虫的方法在公开网站上搜集的人脸图像，为了提高模型训练的准确性，可以将每个用户的人脸图像至少搜集5张以上。其中，第二人脸样本图像的图像质量大于第一人脸样本图像。
具体地，在获取到多张第二人脸样本图像后，可以先通过卷积神经网络对第一人脸识别模型进行预训练，得到第二人脸识别模型。为了获取更加准确的初始人脸识别模型，这里可以先将第一人脸样本图像按照同一用户对应的人脸样本图像的数量进行分类，将数量多于或者等于预设值的视为正常类，即模型的正常训练集，反之，则视为弱相关类；其中，预设值可以为5或10等。
在此基础上，在通过分类得到正常训练集的情况下，对第二人脸识别模型的模型参数进行微调，以得到一个性能较高、且识别准确度大于预设准确度的初始人脸识别模型。
在本实施例中，通过获取图像质量更佳的多张第二人脸样本图像，对第一人脸识别模型进行预训练，以得到第二人脸识别模型。在此基础上，进一步通过数量大于预设值的同一用户的第一人脸样本图像，对第二人脸识别模型的模型参数进行微调，使得获取的初始人脸识别模型更加准确，为后续获取更加准确的人脸识别模型奠定了基础，从而不仅可以得到在特定场景下有明显性能提升的域迁移模型，而且可以提高人脸识别模型训练的效率。
进一步地，本发明实施例还提供一种人脸识别方法，图5为本发明实施例提供的人脸识别方法的流程示意图，如图5所示，该方法包括：
步骤501：获取待识别人脸图像。
其中，在采集到初始待识别人脸图像后，可以采用如图2中所述的预处理方式，对初始待识别人脸图像进行人脸关键点检测以及裁剪，从而可以得到待识别人脸图像。
步骤502：将待识别人脸图像输入人脸识别模型中，得到待识别人脸图像的人脸识别结果，人脸识别模型为如上任一方式所述人脸识别模型的训练方法训练得到的。
在本实施例中，通过将待识别人脸图像输入至更为准确的人脸识别模型，提高了人脸识别的准确率。其中，上述人脸识别模型为如上任一方式所述人脸识别模型的训练方法训练得到的，具体的内容可以参照前述实施例中的描述，此处不再赘述。
下面对本发明提供的人脸识别模型的训练装置进行描述，下文描述的人脸识别模型的训练装置与上文描述的人脸识别模型的训练方法可相互对应参照。
图6为本发明实施例提供的人脸识别模型的训练装置的结构示意图，如图6所示，该装置包括：
获取模块610，用于获取多张第一人脸样本图像；
提取模块620，用于提取每张第一人脸样本图像的图像特征；
确定模块630，用于基于每张第一人脸样本图像的图像特征，确定每张第一人脸样本图像的质量分数；
训练模块640，用于基于每张第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型，标签信息用于表征第一人脸样本图像对应的用户信息。
本发明实施例提供的人脸识别模型的训练装置，首先，通过获取模块610对多张第一人脸样本图像进行获取；然后，通过提取模块620对获取的多张第一人脸样本图像进行图像特征提取，以提取出每张第一人脸样本图像的图像特征，并基于该第一人脸样本图像的图像特征，通过确定模型630确定出每张第一人脸样本图像的质量分数；在此基础上，结合每张第一人脸样本图像对应的标签信息和质量分数，通过训练模块640对初始人脸识别模型进行训练，得到人脸识别模型。由于在进行人脸识别模型训练时，可以将质量分数作为伪标签，结合标签信息一起对人脸识别模型的网络参数进行调整，这样，因为考虑了每张第一人脸样本图像的图像质量，可以避免将图像质量好的样本图像与图像质量差的样本图像采用相同的方式进行训练而导致的模型泛化性差的问题，提高了人脸识别模型训练的准确度和鲁棒性，得到更加准确的人脸识别模型，从而提高了人脸识别的准确性。
可选地，确定模块630，具体用于：
针对每张第一人脸样本图像，确定第一人脸样本图像的正样本集合和负样本集合，其中，正样本集合中的正样本图像对应的用户与第一人脸样本图像对应的用户相同，负样本集合中的负样本图像对应的用户与第一人脸样本图像对应的用户不同；
基于每张第一人脸样本图像的图像特征，分别确定第一人脸样本图像与正样本集合中的各正样本图像之间的第一距离，以及第一人脸样本图像与负样本集合中的各负样本图像之间的第二距离；
基于第一距离和第二距离，确定第一人脸样本图像的质量分数。
可选地，训练模块640，具体用于：
将每张第一人脸样本图像输入初始人脸识别模型，基于标签信息和通过初始人脸识别模型提取的特征信息，确定每张第一人脸样本图像对应的识别概率值；
基于识别概率值和质量分数，确定每张第一人脸样本图像对应的新的识别概率值；
基于新的识别概率值，对初始人脸识别模型进行训练，得到人脸识别模型。
可选地，训练模块640，具体用于：
基于每张第一人脸样本图像的质量分数，将质量分数小于预设值的第一人脸样本图像剔除，得到剔除后的第一人脸样本图像；
基于剔除后的第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型。
可选地，该装置还包括：
获取模块，用于获取多张第二人脸样本图像，第二人脸样本图像的图像质量大于第一人脸样本图像；
预训练模块，用于基于第二人脸样本图像，对第一人脸识别模型进行预训练，得到第二人脸识别模型；
确定模块，还用于确定属于同一用户的第一人脸样本图像；
微调模块，用于基于属于同一用户的第一人脸样本图像的数量大于预设值的第一人脸样本图像，微调第二人脸识别模型的模型参数，得到初始人脸识别模型。
本实施例的装置，可以用于执行人脸识别模型的训练装置侧方法实施例中任一实施例的方法，其具体实现过程与技术效果与人脸识别模型的训练装置侧方法实施例中类似，具体可以参见人脸识别模型的训练装置侧方法实施例中的详细介绍，此处不再赘述。
下面对本发明提供的人脸识别装置进行描述，下文描述的人脸识别装置与上文描述的人脸识别方法可相互对应参照。
进一步地，图7为本发明实施例提供的人脸识别装置的结构示意图，如图7所示，该装置包括：
获取模块710，用于获取待识别人脸图像；
识别模块720，用于将待识别人脸图像输入至人脸识别模型中，得到待识别人脸图像的人脸识别结果，人脸识别模型为基于如上任一实施例中所述的人脸识别模型的训练方法训练得到的。
在本实施例中，通过获取模块710对待识别人脸图像进行获取，并将该待识别人脸图像输入至更为准确的人脸识别模型，以通过识别模块720对该待识别人脸图像进行识别，得到更为准确的待识别人脸图像的人脸识别结果，从而提高了人脸识别的准确率。
本实施例的装置，可以用于执行人脸识别装置侧方法实施例中任一实施例的方法，其具体实现过程与技术效果与人脸识别装置侧方法实施例中类似，具体可以参见人脸识别装置侧方法实施例中的详细介绍，此处不再赘述。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行人脸识别模型的训练方法，该方法包括：获取多张第一人脸样本图像；提取每张第一人脸样本图像的图像特征，并基于每张第一人脸样本图像的图像特征，确定每张第一人脸样本图像的质量分数；基于每张第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型，标签信息用于表征第一人脸样本图像对应的用户信息。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的人脸识别模型的训练方法，该方法包括：获取多张第一人脸样本图像；提取每张第一人脸样本图像的图像特征，并基于每张第一人脸样本图像的图像特征，确定每张第一人脸样本图像的质量分数；基于每张第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型，标签信息用于表征第一人脸样本图像对应的用户信息。
又一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的人脸识别模型的训练方法，该方法包括：获取多张第一人脸样本图像；提取每张第一人脸样本图像的图像特征，并基于每张第一人脸样本图像的图像特征，确定每张第一人脸样本图像的质量分数；基于每张第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型，标签信息用于表征第一人脸样本图像对应的用户信息。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸识别模型的训练方法，其特征在于，包括：
获取多张第一人脸样本图像；
提取每张第一人脸样本图像的图像特征，并基于所述每张第一人5脸样本图像的图像特征，确定每张第一人脸样本图像的质量分数；
基于每张所述第一人脸样本图像的标签信息和所述质量分数，对初始人脸识别模型进行训练，得到人脸识别模型，所述标签信息用于表征所述第一人脸样本图像对应的用户信息。
2.根据权利要求1所述的人脸识别模型的训练方法，其特征在0于，所述基于所述每张第一人脸样本图像的图像特征，确定每张第一人脸样本图像的质量分数，包括：
针对每张第一人脸样本图像，确定所述第一人脸样本图像的正样本集合和负样本集合，其中，所述正样本集合中的正样本图像对应的用户与所述第一人脸样本图像对应的用户相同，所述负样本集合中的5负样本图像对应的用户与所述第一人脸样本图像对应的用户不同；
基于所述每张第一人脸样本图像的图像特征，分别确定所述第一人脸样本图像与所述正样本集合中的各正样本图像之间的第一距离，以及所述第一人脸样本图像与所述负样本集合中的各负样本图像之间的第二距离；
0基于所述第一距离和所述第二距离，确定所述第一人脸样本图像的质量分数。
3.根据权利要求1所述的人脸识别模型的训练方法，其特征在于，所述基于所述每张第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型，包括：5将所述每张第一人脸样本图像输入所述初始人脸识别模型，基于所述标签信息和通过所述初始人脸识别模型提取的特征信息，确定所述每张第一人脸样本图像对应的识别概率值；
基于所述识别概率值和所述质量分数，确定所述每张第一人脸样本图像对应的新的识别概率值；
基于所述新的识别概率值，对初始人脸识别模型进行训练，得到所述人脸识别模型。
4.根据权利要求1-3任一项所述的人脸识别模型的训练方法，其特征在于，所述基于所述每张第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型，包括：
基于所述每张第一人脸样本图像的质量分数，将质量分数小于预设值的第一人脸样本图像剔除，得到剔除后的第一人脸样本图像；
基于所述剔除后的第一人脸样本图像的标签信息和质量分数，对所述初始人脸识别模型进行训练，得到人脸识别模型。
5.根据权利要求1-3任一项所述的人脸识别模型的训练方法，其特征在于，所述方法还包括：
获取多张第二人脸样本图像，所述第二人脸样本图像的图像质量大于所述第一人脸样本图像；
基于所述第二人脸样本图像，对第一人脸识别模型进行预训练，得到第二人脸识别模型；
确定属于同一用户的第一人脸样本图像；
基于属于同一用户的第一人脸样本图像的数量大于预设值的第一人脸样本图像，微调所述第二人脸识别模型的模型参数，得到所述初始人脸识别模型。
6.一种人脸识别方法，其特征在于，包括：
获取待识别人脸图像；
将所述待识别人脸图像输入人脸识别模型中，得到所述待识别人脸图像的人脸识别结果，所述人脸识别模型为根据权利要求1-5任一项所述的人脸识别模型的训练方法训练得到的。
7.一种人脸识别模型的训练装置，其特征在于，包括：
获取模块，用于获取多张第一人脸样本图像；
提取模块，用于提取每张第一人脸样本图像的图像特征；
确定模块，用于基于所述每张第一人脸样本图像的图像特征，确定每张第一人脸样本图像的质量分数；
训练模块，用于基于所述每张第一人脸样本图像的标签信息和质量分数，对初始人脸识别模型进行训练，得到人脸识别模型，所述标签信息用于表征所述第一人脸样本图像对应的用户信息。
8.一种人脸识别装置，其特征在于，包括：
获取模块，用于获取待识别人脸图像；
识别模块，用于将所述待识别人脸图像输入人脸识别模型中，得到所述待识别人脸图像的人脸识别结果，所述人脸识别模型为根据权利要求1-5任一项所述的人脸识别模型的训练方法训练得到的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述人脸识别模型的训练方法，以及实现如权利要求6所述人脸识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述人脸识别模型的训练方法，以及实现如权利要求6所述人脸识别方法。
CN202211702258.7A 2022-12-28 2022-12-28 人脸识别模型的训练方法、装置、设备和存储介质 Active CN115953819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211702258.7A CN115953819B (zh) 2022-12-28 2022-12-28 人脸识别模型的训练方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211702258.7A CN115953819B (zh) 2022-12-28 2022-12-28 人脸识别模型的训练方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN115953819A true CN115953819A (zh) 2023-04-11
CN115953819B CN115953819B (zh) 2023-08-15

Family

ID=87288785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211702258.7A Active CN115953819B (zh) 2022-12-28 2022-12-28 人脸识别模型的训练方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN115953819B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及***
CN111738243A (zh) * 2020-08-25 2020-10-02 腾讯科技（深圳）有限公司 人脸图像的选择方法、装置、设备及存储介质
CN112381782A (zh) * 2020-11-11 2021-02-19 腾讯科技（深圳）有限公司 人脸图像质量评估方法、装置、计算机设备及存储介质
CN113139462A (zh) * 2021-04-23 2021-07-20 杭州魔点科技有限公司 无监督的人脸图像质量评估方法、电子设备和存储介质
CN113449704A (zh) * 2021-08-31 2021-09-28 北京的卢深视科技有限公司 人脸识别模型训练方法、装置、电子设备及存储介质
CN114399491A (zh) * 2022-01-13 2022-04-26 云从科技集团股份有限公司 人脸图像质量评估方法、装置以及计算机可读存储介质
CN115496715A (zh) * 2022-09-02 2022-12-20 盛视科技股份有限公司 人脸图像质量评分方法及人脸图像质量评估模型获取方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及***
CN111738243A (zh) * 2020-08-25 2020-10-02 腾讯科技（深圳）有限公司 人脸图像的选择方法、装置、设备及存储介质
CN112381782A (zh) * 2020-11-11 2021-02-19 腾讯科技（深圳）有限公司 人脸图像质量评估方法、装置、计算机设备及存储介质
CN113139462A (zh) * 2021-04-23 2021-07-20 杭州魔点科技有限公司 无监督的人脸图像质量评估方法、电子设备和存储介质
CN113449704A (zh) * 2021-08-31 2021-09-28 北京的卢深视科技有限公司 人脸识别模型训练方法、装置、电子设备及存储介质
CN114399491A (zh) * 2022-01-13 2022-04-26 云从科技集团股份有限公司 人脸图像质量评估方法、装置以及计算机可读存储介质
CN115496715A (zh) * 2022-09-02 2022-12-20 盛视科技股份有限公司 人脸图像质量评分方法及人脸图像质量评估模型获取方法

Also Published As

Publication number Publication date
CN115953819B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN111353395B (zh) 一种基于长短期记忆网络的换脸视频检测方法
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN109410026A (zh) 基于人脸识别的身份认证方法、装置、设备和存储介质
EP3229171A1 (en) Method and device for determining identity identifier of human face in human face image, and terminal
CN111626371B (zh) 一种图像分类方法、装置、设备及可读存储介质
US10423817B2 (en) Latent fingerprint ridge flow map improvement
EP2360619A1 (en) Fast fingerprint searching method and fast fingerprint searching system
CN110287813A (zh) 身份识别方法及***
CN113221086B (zh) 离线人脸认证方法、装置、电子设备及存储介质
CN109635625B (zh) 智能身份核验方法、设备、存储介质及装置
Hilles et al. Latent fingerprint enhancement and segmentation technique based on hybrid edge adaptive dtv model
US20230147685A1 (en) Generalized anomaly detection
CN110705428A (zh) 一种基于脉冲神经网络的脸部年龄识别***及方法
CN111652117A (zh) 一种对多文档图像分割的方法及介质
KR20150093453A (ko) 차량 번호판 이중 검출 방법 및 장치
US10755074B2 (en) Latent fingerprint pattern estimation
CN117237757A (zh) 一种人脸识别模型训练方法、装置、电子设备及介质
CN111163332A (zh) 视频色情度检测方法、终端及介质
US20230069960A1 (en) Generalized anomaly detection
CN116229528A (zh) 一种活体掌静脉检测方法、装置、设备及存储介质
Li et al. Face detection technology based on combining skin color model with improved adaboost algorithm
CN115953819A (zh) 人脸识别模型的训练方法、装置、设备和存储介质
CN115565097A (zh) 交易场景人员行为是否合规检测方法及装置
CN114067394A (zh) 人脸活体检测方法、装置、电子设备及存储介质
KR20210031444A (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant