CN113158777A - 质量评分方法、质量评分模型的训练方法及相关装置 - Google Patents

质量评分方法、质量评分模型的训练方法及相关装置 Download PDF

Info

Publication number
CN113158777A
CN113158777A CN202110252100.3A CN202110252100A CN113158777A CN 113158777 A CN113158777 A CN 113158777A CN 202110252100 A CN202110252100 A CN 202110252100A CN 113158777 A CN113158777 A CN 113158777A
Authority
CN
China
Prior art keywords
face
feature
quality
layer
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110252100.3A
Other languages
English (en)
Inventor
吴志伟
李德紘
张少文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PCI Suntek Technology Co Ltd
Original Assignee
PCI Suntek Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PCI Suntek Technology Co Ltd filed Critical PCI Suntek Technology Co Ltd
Priority to CN202110252100.3A priority Critical patent/CN113158777A/zh
Publication of CN113158777A publication Critical patent/CN113158777A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种质量评分方法、质量评分模型的训练方法及相关装置，该质量评分方法包括：获取人脸数据；确定质量评分模型，质量评分模型包括骨干网络和全连接层；将人脸数据输入骨干网络中进行处理，得到目标特征；将目标特征输入全连接层中进行处理，以在人脸属性标签的约束下、输出人脸质量等级；根据人脸质量等级计算目标特征的质量分值。该方法通过已经训练好的质量评分模型来判断人脸数据所属的人脸质量等级，更为有效和可靠，基于人脸质量等级计算人脸数据的质量分值，能够提高人脸数据评价结果的准确性。

Description

质量评分方法、质量评分模型的训练方法及相关装置
技术领域
本发明实施例涉及人脸识别技术，尤其涉及一种质量评分方法、质量评分模型的训练方法及相关装置。
背景技术
目前，人脸识别技术在安防、金融、支付等领域广泛应用，为了判断采集到的人脸图像是否适合提取特征用于人脸识别的任务，需要预先对采集到的人脸图像进行质量评价，对于质量不满足一定条件的人脸图像进行拒识，可以有效地降低人脸识别的误识率。
从主观来说，图像清晰度、光照变化、人脸姿态、面部遮挡等因素都会影响人脸识别的精度，所以针对人脸图像的质量评价方法必须有效地评估这些变化带来的影响，对人脸图像给出合适的质量分。然而，传统的人脸图像的质量评价方法一般采用人工标注的方式，根据人的经验标准，对人脸图像进行打分，该方法存在如下缺陷：一是人工标注存在着较强的主观性，每个人的判断标准不一；二是人的经验标准并不一定适用于对人脸图像进行特征提取的特征提取模型，往往有些人为认定的质量较差的图像，在经过特征提取的比对之后，该图像的质量得分更高。由此可知，传统的人脸图像的质量评价方法不够客观，评价结果的准确性较低。
发明内容
本发明实施例提出了一种质量评分方法、质量评分模型的训练方法及相关装置，以解决现有方法针对人脸数据进行质量评价、评价结果准确性较低的问题。
第一方面，本发明实施例提供了一种质量评分方法，该方法包括：
获取人脸数据；
确定质量评分模型，所述质量评分模型包括骨干网络和全连接层；
将所述人脸数据输入所述骨干网络中进行处理，得到目标特征；
将所述目标特征输入所述全连接层中进行处理，以在人脸属性标签的约束下、输出人脸质量等级；
根据所述人脸质量等级计算所述目标特征的质量分值。
第二方面，本发明实施例还提供了一种质量评分模型的训练方法，该方法包括：
获取人脸样本；
将所述人脸样本输入预设的骨干网络中进行处理，得到目标样本特征；
将所述目标样本特征分别输入第一全连接层和第二全连接层中进行处理，所述第一全连接层用于将所述目标样本特征划分至预设的人脸质量等级、生成第一预测特征，所述第二全连接层用于将所述目标样本特征划分至预设的人脸属性标签、生成第二预测特征；
以对齐所述第一预测特征与所述人脸质量等级、所述第二预测特征与所述人脸属性标签作为监督，训练所述骨干网络、所述第一全连接层和所述第二全连接层；
在所述骨干网络、所述第一全连接层、所述第二全连接层训练完成时，锁定所述骨干网络和所述第一全连接层中的参数，以根据所述骨干网络和所述第一全连接层生成质量评分模型。
第三方面，本发明实施例还提供了一种质量评分装置，该装置包括：
数据获取模块，用于获取人脸数据；
模型确定模块，用于确定质量评分模型，所述质量评分模型包括骨干网络和全连接层；
第一处理模块，用于将所述人脸数据输入所述骨干网络中进行处理，得到目标特征；
第二处理模块，用于将所述目标特征输入所述全连接层中进行处理，以在人脸属性标签的约束下、输出人脸质量等级；
分值计算模块，用于根据所述人脸质量等级计算所述目标特征的质量分值。
第四方面，本发明实施例还提供了一种质量评分模型的训练装置，其特征在于，包括：
样本获取模块，用于获取人脸样本；
骨干网络处理模块，用于将所述人脸样本输入预设的骨干网络中进行处理，得到目标样本特征；
全连接层处理模块，用于将所述目标样本特征分别输入第一全连接层和第二全连接层中进行处理，所述第一全连接层用于将所述目标样本特征划分至预设的人脸质量等级、生成第一预测特征，所述第二全连接层用于将所述目标样本特征划分至预设的人脸属性标签、生成第二预测特征；
模型训练模块，用于以对齐所述第一预测特征与所述人脸质量等级、所述第二预测特征与所述人脸属性标签作为监督，训练所述骨干网络、所述第一全连接层和所述第二全连接层；
模型确定模块，用于在所述骨干网络、所述第一全连接层、所述第二全连接层训练完成时，锁定所述骨干网络和所述第一全连接层中的参数，以根据所述骨干网络和所述第一全连接层生成质量评分模型。
第五方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的质量评分方法或者如第二方面所述的质量评分模型的训练方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的质量评分方法或者如第二方面所述的质量评分模型的训练方法。
本发明通过获取人脸数据，确定质量评分模型，质量评分模型包括骨干网络和全连接层，将人脸数据输入骨干网络中进行处理，得到目标特征，将目标特征输入全连接层中进行处理，以在人脸属性标签的约束下、输出人脸质量等级，根据人脸质量等级计算目标特征的质量分值。通过已经训练好的质量评分模型来判断人脸数据所属的人脸质量等级，质量评分模型的输出融合了人脸数据在多个尺度下的特征，其输出的人脸质量等级的可信度更高，相比传统的人脸质量评价方法，本发明更为客观可靠，同时，根据人脸质量等级计算人脸数据的质量分值，无需人工标注人脸数据的质量分值，减少了人力耗费，避免了人工标注人脸数据的质量分值引入的主观性误差，提高了人脸数据评价结果的准确性。
附图说明
图1为本发明实施例一提供的一种质量评分方法的流程图；
图2为本发明实施例二提供的一种质量评分模型的训练方法的流程图；
图3为本发明实施例二提供的一种骨干网络的架构示意图；
图4为本发明实施例二提供的一种质量评分模型的训练网络架构的示意图；
图5为本发明实施例三提供的一种质量评分装置的结构示意图；
图6为本发明实施例四提供的一种质量评分模型的训练装置的结构示意图；
图7为本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
应注意到：在本发明实施例的描述中，术语“第一”、“第二”、“第三”、“第四”、“第五”等次序词仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例一
图1为本发明实施例一提供的一种质量评分方法的流程图，本实施例可适用于在人脸识别应用场景中对人脸数据进行质量评价的情况，该方法可以由质量评分装置来执行，该质量评分装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，服务器、工作站、个人电脑，等等，该方法具体包括如下步骤：
S110、获取人脸数据。
在本实施例中，可以预先采集包含人脸数据的图像数据，基于图像数据使用图像分割方法获取人脸数据。获取包含人脸数据的图像数据的方式有很多，图像数据可以是用户实时拍摄采集的图像数据，也可以是用户指定的本地图像数据，或者还可以是对视频中某一帧图像进行截取得到的图像数据等；人脸数据可以是真实人脸数据，也可以是虚拟人脸数据。本发明实施例对获取人脸数据的方式不作任何限定。
S120、确定质量评分模型。
其中，质量评分模型包括骨干网络和全连接层。
本实施例中的骨干网络可以由卷积神经网络、残差神经网络、循环神经网络、深度神经网络等多种网络中任一一种改进得到。
在一种具体实现方式中，本实施例的骨干网络包括第一卷积层、第一卷积块、第二卷积块、第三卷积块、第四卷积块、第一全局池化、第二全局池化、第三全局池化、连接层；每个卷积块可以选用残差块或其改进版本(如增加SE操作等)。
在本实施例中，可以预先训练质量评分模型，将训练完成后的质量评分模型用于对人脸数据进行人脸质量等级的分类。
训练质量评分模型的具体方法包括：获取人脸样本；将人脸样本输入预设的骨干网络中进行处理，得到目标样本特征；将目标样本特征分别输入第一全连接层和第二全连接层中进行处理，第一全连接层用于将目标样本特征划分至预设的人脸质量等级、生成第一预测特征，第二全连接层用于将目标样本特征划分至预设的人脸属性标签、生成第二预测特征；以对齐第一预测特征与人脸质量等级、第二预测特征与人脸属性标签作为监督，训练骨干网络、第一全连接层和第二全连接层；在骨干网络、第一全连接层、第二全连接层训练完成时，锁定骨干网络和第一全连接层中的参数，以根据骨干网络和第一全连接层生成质量评分模型。其中，第一全连接层与第二全连接层的实质均为全连接层，全连接层在质量评分模型的训练过程中能够起到维度变换的作用，可以将原始特征映射到各个节点中，作为分类的显示表达。
需要说明的是，该质量评分模型的训练方法与本发明实施例二中任一实施例的训练方法基本相同，本实施例在此不加以详述。
S130、将人脸数据输入骨干网络中进行处理，得到目标特征。
在本实施例的一种实现方式中，以对卷积神经网络进行改进作为骨干网络为例，S130可以包括如下具体步骤：
S1301、将人脸数据输入骨干网络中。
其中，骨干网络中设置有第一卷积层、多个卷积块、多个全局池化层、连接层。
S1302、在第一卷积层中，对人脸数据进行卷积操作，得到初始特征。
S1303、在多个卷积块中，对初始特征进行n次卷积操作，得到多个中间特征。
在本实施例的一个示例中，骨干网络中所设置的多个卷积块均为残差块，每个残差块都包括第二卷积层、第三卷积层和一个残差连接；针对每个卷积块，依次调用第二卷积层、第三卷积层对初始特征执行卷积操作，得到候选特征；在残差连接中，对候选特征与初始特征进行卷积操作，得到中间特征。
在S1303的具体实现中，骨干网络中的多个卷积块包括第一卷积块、第二卷积块、第三卷积块、第四卷积块；输出得到的多个中间特征包括第一中间特征、第二中间特征、第三中间特征、第四中间特征。
在第一卷积块中，对初始特征执行卷积操作，得到第一中间特征；
在第二卷积块中，对第一中间特征执行卷积操作，得到第二中间特征；
在第三卷积块中，对第二中间特征执行卷积操作，得到第三中间特征；
在第四卷积块中，对第三中间特征执行卷积操作，得到第四中间特征。
需要说明的是，第一中间特征、第二中间特征、第三中间特征、第四中间特征的实质均为各个卷积块处理得到的特征，为了便于区分多个卷积块单独输出的特征，故以次序词“第一”、“第二”、“第三”、“第四”作为前缀。
S1304、在多个全局池化层中，分别对多个中间特征进行下采样，得到多个采样特征。
在具体实现中，多个全局池化层包括第一全局池化层、第二全局池化层、第三全局池化层；输出得到的多个采样特征包括第一采样特征、第二采样特征、第三采样特征。
在第一全局池化层中，对第四中间特征进行下采样，得到第一采样特征；
在第二全局池化层中，对第三中间特征进行下采样，得到第二采样特征；
在第三全局池化层中，对第二中间特征进行下采样，得到第三采样特征。
需要说明的是，第一采样特征、第二采样特征、第三采样特征的实质均为各个不同的中间特征单独输入各个不同的全局池化层后输出的特征，为了便于区分多个输出的特征，故以次序词“第一”、“第二”、“第三”作为前缀。
S1305、将多个采样特征输入连接层中进行融合，得到目标特征。
在一个具体示例中，可以将第一采样特征、第二采样特征、第三采样特征输入连接层中进行拼接，得到目标特征。
S140、将目标特征输入全连接层中进行处理，以在人脸属性标签的约束下、输出人脸质量等级。
由于全连接层(Fully Connected Layers,FC)的核心操作为矩阵向量乘积，相当于一个特征空间变换，可以把有用的信息提取整合并保留，因此，全连接层在整个卷积神经网络中通常起到“分类器”的作用。
在本实施例中，将目标特征输入全连接层中进行处理，全连接层可以将不同的目标特征划分至不同的人脸质量等级，针对不同的目标特征输出预测特征，该预测特征通过激活函数 (例如Softmax)处理可以用于表达目标特征归属于人脸质量等级的概率。其中，人脸质量等级是指质量评分模型在训练过程中对人脸数据按照质量进行分类所划分的数量等级，该人脸质量等级可以通过对训练样本进行预处理获取得到，例如可以通过图像处理方法对训练样本计算相似度、以相似度所归属的数量等级为依据对训练样本预先划分人脸质量等级，以划分好的人脸质量等级来训练质量评分模型；当质量评分模型训练完成后，将目标特征输入质量评分模型的全连接层中进行处理，全连接层即可输出与该目标特征匹配的人脸质量等级。
为了充分挖掘不同个体的特征来提升人脸质量评价的准确性，本发明实施例在训练质量评分模型的过程中增加了人脸属性标签的约束条件，本实施例中的人脸属性标签是指预先标记在人脸数据上、代表多个人脸属性的标签，人脸属性是指人脸的特性，例如性别、是否戴口罩、是否戴眼镜、发型等等。
在具体实现中，以人脸属性标签作为质量评分模型训练时的约束条件，例如，可以将处于训练过程中的骨干网络所输出的特征分别输入两个全连接层(第一全连接层、第二全连接层)中进行处理，以预设的人脸质量等级作为第一全连接层输出特征的对齐标签，同步地，以预设的人脸属性标签作为第二全连接层输出特征的对齐标签，在以对齐人脸质量等级与第一全连接层输出特征的监督下，辅助以对齐人脸属性标签与第二全连接层输出特征的约束条件，同时训练第一全连接层、第二全连接层，借助第二全连接层的输出、反向调节第一全连接层和骨干网络中的参数，当整个训练过程完成时，锁定第一全连接层和骨干网络中的参数，以得到质量评分模型；其中，第一全连接层为质量评分模型中用到的全连接层。
可以理解的是，在人脸属性标签的约束下，质量评分模型中的全连接层可以进一步提高人脸特征的表达能力，强化个体差异。本发明实施例对以人脸属性标签作为约束条件、输出人脸质量等级的具体方式不作限定。
在本实施例中，还可以预先确定人脸数据在多个维度下的质量评价标准，该维度可以包括完整性、分辨率、清晰度、信噪比中的至少一项；可以将该质量评价标准与人脸属性标签一同作为约束条件，训练质量评分模型。
在实际应用的一个示例中，将目标特征输入质量评分模型的全连接层中进行处理，查询与该全连接层匹配的质量评价标准，确定与该质量评价标准对应的维度，在人脸属性标签的约束下、输出人脸数据在不同维度下的人脸质量等级，该维度可以包括完整性、分辨率、清晰度、信噪比中的至少一项。
在本实施例中，可以理解的是，全连接层针对目标特征输出的是划分至多个人脸质量等级下的预测特征、以及与预测特征相对应的人脸质量等级，每个预测特征与一个目标特征相对应，全连接层的通道数是按照训练时预先设置的人脸质量等级划分的，每一个通道代表一个人脸质量等级的类别。
S150、根据人脸质量等级计算目标特征的质量分值。
在将目标特征输入全连接层中进行处理，输出该目标特征所归属的人脸质量等级之后，可以基于人脸质量等级将目标特征进行归一化，得到第一候选值，计算目标特征与第一候选值的乘积、作为第二候选值；求取全部第二候选值的和值与1之间的最大值、作为目标特征的质量分值。
在具体实现方式中，目标特征的质量分值可以按照如下公式进行计算：
Figure BDA0002966481880000051
其中，由质量评分模型中的全连接层的输出为X∈RD，RD是D维实数域， D为全连接层的通道数，X即划分的人脸质量等级，Xi为其第i个值，q为质量分值。
由上述计算方式得到的质量分值相比较使用传统的激活函数(例如Softmax)所得到的计算结果更加平稳、鲁棒。
本发明实施例通过获取人脸数据，确定质量评分模型，质量评分模型包括骨干网络和全连接层，将人脸数据输入骨干网络中进行处理，得到目标特征，将目标特征输入全连接层中进行处理，以在人脸属性标签的约束下、输出人脸质量等级，根据人脸质量等级计算目标特征的质量分值。通过已经训练好的质量评分模型来判断人脸数据所属的人脸质量等级，质量评分模型的输出融合了人脸数据在多个尺度下的特征，其输出的人脸质量等级的可信度更高，相比传统的人脸质量评价方法，本发明更为客观可靠，同时，根据人脸质量等级计算人脸数据的质量分值，无需人工标注人脸数据的质量分值，减少了人力耗费，避免了人工标注人脸数据的质量分值引入的主观性误差，提高了人脸数据评价结果的准确性。
实施例二
图2为本发明实施例二提供的一种质量评分模型的训练方法的流程图，本实施例可适用于对包含人脸数据的图像样本自动标注质量分值，从而训练用于对人脸数据进行质量评价的质量评分模型的情况，该方法可以由质量评分模型的训练装置来执行，该质量评分模型的训练装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，服务器、工作站、个人电脑，等等，该方法具体包括如下步骤：
S210、获取人脸样本。
本实施例中的人脸样本可以是包含人脸数据的图像数据，获取人脸样本的途径有很多，例如，可以从录入有人脸信息的图像数据库中获取包含人脸数据的图像数据，又例如，可以从安防的监控视频中截取包含人脸数据的图像帧，将单帧图像作为一个人脸样本；本实施例对获取人脸样本的方式不作任何限定。
在本发明中，可选的，在获取到人脸样本之后，还包括：
S211、将人脸样本按照预设的人脸ID进行分类。
S212、计算属于同一个人脸ID下的人脸样本之间的相似度、作为预测分值。
在一种实现方式中，可以在同一个人脸ID下，确定一个已知质量的人脸样本作为标准人脸样本；计算标准人脸样本的特征、作为标准特征；计算同一个人脸ID下、除标准人脸样本之外的所有人脸样本的特征、作为参考特征；计算参考特征与标准特征之间的相似度；对相似度进行归一化操作，得到属于同一个人脸ID下的人脸样本的预测分值。
S213、将预测分值划分至多个数量等级。
本实施例对将预测分值划分至多个数量等级的具体方式不作任何限定。例如，可以对所有的预测分值进行统计，将每个预测分值进行取整操作，再均匀划分全部预测分值，得到多个数量等级；又例如，可以统计所有预测分值中的最大值、最小值、均值，分别计算最大值与均值、最小值与均值之间的差值，基于差值将全部预测分值划分至多个数量等级。
S214、遍历所有的人脸ID，得到与所有人脸样本分别对应的数量等级、作为预设的人脸质量等级。
在本实施例的一个示例中，假设获取到大量的人脸样本，构成人脸样本集合，该人脸样本集合为S＝{s0,s1,s2…}，si＝{x0,x1,x2…}，其中si为每个人脸ID的人脸样本集合(实质可以理解为人脸图片集合)，xi为归属于某个人脸ID下的人脸样本，预设的特征提取模型为F。
在本示例中，任意选择一个人脸ID下的人脸样本集合si，根据ISO/IEC 29794-1人工标准挑选出质量最高的人脸样本作为注册样本xi，将注册样本xi输入特征提取模型F中得到特征fi＝F(xi)、作为标准特征，然后遍历该ID下除注册样本之外的所有其它人脸样本xj，将其它人脸样本xj输入特征提取模型F中得到特征fj＝F(xj)、作为参考特征，利用余弦距离计算参考特征与标准特征之间的相似度，并将该相似度归一化到[0,1]之间，例如，score_j＝(1+cos(fi*fj))/2，将score_j作为其它人脸样本xj的预测分值，统计同一个人脸ID下的所有人脸样本的预测分值，将所有的预测分值划分为N个数量等级(经验值取200)，每个人脸样本的数量等级可以作为该人脸样本的人脸质量等级，记为qr_j＝ ceil(score_j*N)，将当前人脸ID下的所有人脸质量等级记为集合QRi＝{qr_0,qr_1,qr_2…}。依次遍历所有的人脸ID，得到整个人脸样本集合S的人脸图像质量等级，记为集合 QR＝{QR0,QR1,QR2…}。该集合QR可用于质量评分模型的训练与测试。
S220、将人脸样本输入预设的骨干网络中进行处理，得到目标样本特征。
在本实施例中，将人脸样本输入预设的骨干网络中，如图3所示，该骨干网络包括第一卷积层、第一卷积块、第二卷积块、第三卷积块、第四卷积块、第一全局池化层、第二全局池化层、第三全局池化层、连接层；其中，第一卷积层后接第一卷积块、第一卷积块后接第二卷积块，第二卷积块后接第三卷积块，第三卷积块后接第四卷积块、第四卷积块后接第一全局池化层、第三卷积块后接第二全局池化层、第二卷积块后接第三全局池化层，第一全局池化层、第二全局池化层、第三全局池化层后接连接层(通道维拼接)。该骨干网络中的卷积块可选用残差块或其改进版本(如增加SE操作等)。
在第一卷积层中，对人脸样本进行卷积操作，得到第一样本特征；
在第一卷积块中，对第一样本特征执行卷积操作，得到第二样本特征；
在第二卷积块中，对第二样本特征执行卷积操作，得到第三样本特征；
在第三卷积块中，对第三样本特征执行卷积操作，得到第四样本特征；
在第四卷积块中，对第四样本特征执行卷积操作，得到第五样本特征；
在第一全局池化层中，对第五样本特征进行下采样，得到第一映射特征；
在第二全局池化层中，对第四样本特征进行下采样，得到第二映射特征；
在第三全局池化层中，对第三样本特征进行下采样，得到第三映射特征；
将第一映射特征、第二映射特征、第三映射特征输入连接层中进行拼接，得到目标样本特征。
本实施例中的骨干网络通过多个全局池化层融合了低层到高层特征，在少量增加计算量的情况下，有效地增强了骨干网络结构的表达能力。
以骨干网络中的卷积块为残差块为例，对预设的骨干网络作进一步的设计说明。假设卷积核的宽为kh、高为kw、步长为s、通道数为c；在预设的骨干网络中，第一卷积层中使用的卷积核参数为kh＝3、kw＝3，s＝2，c＝32；第一卷积块包括两个卷积层(第二卷积层、第三卷积层)和一个残差连接，其中第一卷积块中的第二卷积层中使用的卷积核参数为kh＝3、kw＝3、 s＝2、c＝64，第一卷积块中的第三卷积层中使用的卷积核参数为kh＝3、kw＝3、s＝1，c＝64，残差连接中使用的卷积核参数为kh＝1、kw＝1、s＝1，c＝64；第二卷积块包括两个卷积层(第二卷积层、第三卷积层)和一个残差连接，其中第二卷积块中的第二卷积层中使用的卷积核参数为kh＝3、kw＝3、s＝2、c＝64，第二卷积块中的第三卷积层中使用的卷积核参数为kh＝3、kw＝3、 s＝1，c＝64，残差连接中使用的卷积核参数为kh＝1、kw＝1、s＝1，c＝64；第三卷积块包括两个卷积层(第二卷积层、第三卷积层)和一个残差连接，其中第三卷积块中的第二卷积层中使用的卷积核参数为kh＝3、kw＝3、s＝2、c＝64，第三卷积块中的第三卷积层中使用的卷积核参数为kh＝3、kw＝3、s＝1，c＝64，残差连接中使用的卷积核参数为kh＝1、kw＝1、s＝1，c＝64；第四卷积块包括两个卷积层(第二卷积层、第三卷积层)和一个残差连接，其中第四卷积块中的第二卷积层中使用的卷积核参数为kh＝3、kw＝3、s＝2、c＝64，第四卷积块中的第三卷积层中使用的卷积核参数为kh＝3、kw＝3、s＝1，c＝64，残差连接中使用的卷积核参数为kh＝1、 kw＝1、s＝1，c＝64。其中，采用不同大小的卷积核意味着不同大小的感受视野，将每次卷积操作后得到的特征进行拼接意味着将不同尺度的特征进行融合。需要说明的是，本实施例中的“第一”、“第二”、“第三”、“第四”等次序词仅用于区分描述，不作任何限定。
S230、将目标样本特征分别输入第一全连接层和第二全连接层中进行处理。
本实施例中，在将人脸样本输入预设的骨干网络中进行处理之后，骨干网络输出包含多个目标样本特征的特征层，如图4所示，骨干网络输出的特征层分别后接第一全连接层和第二全连接层，第一全连接层后接第一交叉熵损失函数，第二全连接层后接第二交叉熵损失函数；其中，第一全连接层用于将目标样本特征划分至预设的人脸质量等级、生成第一预测特征，第二全连接层用于将目标样本特征划分至预设的人脸属性标签、生成第二预测特征。
S240、以对齐第一预测特征与人脸质量等级、第二预测特征与人脸属性标签作为监督，训练骨干网络、第一全连接层和第二全连接层。
对齐第一预测特征与人脸质量等级，可以是指使第一全连接层所输出的预测特征不断接近与人脸质量等级所匹配的特征，也即第一全连接层所输出的预测特征所对应的实际人脸质量等级，不断接近人脸样本预设的人脸质量等级；同理，对齐第二预测特征与人脸属性标签，可以是指使第二全连接层所输出的预测特征不断接近与人脸属性标签所匹配的特征，也即第二全连接层所输出的预测特征所对应的实际人脸属性标签，不断接近人脸样本预设的人脸属性标签。
在本实施例中，S240可以包括如下具体步骤：
S2401、计算第一预测特征的概率、作为第一概率；
S2402、计算第二预测特征的概率、作为第二概率；
在一种实现方式中，可以采用激活函数计算第一概率和第二概率；本实施例对此不作限定。
S2403、基于人脸质量等级计算第一概率的第一损失值。
在一个示例中，计算第一损失值的具体方式如下：确定预先在人脸样本中标记的人脸质量等级，作为人脸样本匹配的标准人脸质量等级；选取具有最大值的第一概率作为预测人脸质量等级；计算标准人脸质量等级与预测人脸质量等级之间的差异，作为第一损失值。例如，可以直接采用第一交叉熵损失函数计算第一概率的损失值、作为第一损失值。
S2404、基于人脸属性标签计算第二概率的第二损失值。
计算第二损失值的具体方式与计算第一损失值的具体方式大同小异，在一个示例中，可以确定预先在人脸样本中标记的人脸属性标签，作为人脸样本匹配的标准人脸属性标签；选取具有最大值的第二概率作为预测人脸属性标签；比较标准人脸属性标签与预测人脸属性标签之间的差异，作为第二损失值。例如，可以直接采用第二交叉熵损失函数计算第二概率的损失值、作为第二损失值。
需要说明的是，第一交叉熵损失函数与第二交叉熵损失函数的实质均为交叉熵损失函数，交叉熵是用来判定实际的输出与期望的输出的接近程度，因此交叉熵损失函数通常是用于分类的损失函数，交叉熵越低，概率越相似。
在本实施例中，可以采用交叉熵损失函数来计算第一全连接层的实际输出与期望输出的第一损失值，以及计算第二全连接层的实际输出与期望输出的第二损失值，使用第一损失值和第二损失值进行反向传播，以优化骨干网络、第一全连接层和第二全连接层中的参数(例如权重、阈值等)。
S2405、结合第一损失值与第二损失值，得到总损失值。
为了加快反向传播的速度，以及利用人脸属性标签训练更高精度的质量评分模型，进一步优化模型中的参数，可以采用加权和的方式结合第一损失值与第二损失值，得到总损失值，将该总损失值进行反向传播，调节和优化参与训练的网络参数。
例如，假设调节因子η，第一交叉熵损失函数输出的损失值为L1，第二交叉熵损失函数输出的损失值为L2，总损失值为L，则L＝L1+η*L2。在一个具体示例中，第一全连接层的通道数为N＝200(人脸质量等级数量)，第二全连接层所针对训练的人脸属性标签为男女性别，则第二全连接层的通道数为2(男/女)，调节因子η可以设置为0.5，则第一全连接层与第二全连接层输出的总损失值为L＝L1+0.5*L2。
S2406、基于总损失值训练骨干网络、第一全连接层和第二全连接层。
在本实施例所述的整个训练过程中，包含骨干网络、第一全连接层和第二全连接层的整个网络架构采用双损失函数设计，第一损失函数用于训练人脸质量等级，第二损失函数用于训练人脸属性标签，双损失函数的训练过程可以充分挖掘人脸个体之间的特征，为输出人脸质量提供一个更加合理的标准。
在本实施例中，可以基于总损失值来判断整个网络架构是否训练完成，比如，判断总损失值是否小于预设的阈值；若是，则确定骨干网络、第一全连接层、第二全连接层训练完成；若否，则更新骨干网络、第一全连接层、第二全连接层中的参数，返回执行将人脸样本输入预设的骨干网络中进行处理，得到目标样本特征。
S250、在骨干网络、第一全连接层、第二全连接层训练完成时，锁定骨干网络和第一全连接层中的参数，以根据骨干网络和第一全连接层生成质量评分模型。
当总损失值收敛时，可以确定骨干网络、第一全连接层、第二全连接层训练完成，此时锁定骨干网络和第一全连接层中的参数，以保证在之后的测试和训练过程中，骨干网络和第一全连接层中的参数不会更新，从而保持由骨干网络和第一全连接层所构成的质量评分模型可以在对人脸数据进行质量评估的测试中、获取更具有代表性的人脸特征。
本发明实施例通过获取人脸样本，将人脸样本输入预设的骨干网络中进行处理，得到目标样本特征，骨干网络融合了低层到高层的特征，增强了特征的表达；将目标样本特征分别输入第一全连接层和第二全连接层中进行处理，第一全连接层用于将目标样本特征划分至预设的人脸质量等级、生成第一预测特征，第二全连接层用于将目标样本特征划分至预设的人脸属性标签、生成第二预测特征；以对齐第一预测特征与人脸质量等级、第二预测特征与人脸属性标签作为监督，训练骨干网络、第一全连接层和第二全连接层，以人脸属性标签作为人脸质量等级的约束、反向训练骨干网络和第一全连接层，增强了鲁棒性和稳定性，同时融合多个尺度的输出来充分挖掘不同个体的特征，进一步扩大了对人脸样本进行检测的多样性；在骨干网络、第一全连接层、第二全连接层训练完成时，锁定骨干网络和第一全连接层中的参数，以根据骨干网络和第一全连接层生成质量评分模型，整个训练过程避免了人工标注人脸数据的质量分值引入的主观性误差，引入人脸属性来辅助训练质量评分模型，提高了对人脸数据进行质量检测的准确性。
实施例三
图5为本发明实施例三提供的一种质量评分装置的结构示意图，该装置具体可以包括如下模块：
数据获取模块501，用于获取人脸数据；
模型确定模块502，用于确定质量评分模型，所述质量评分模型包括骨干网络和全连接层；
第一处理模块503，用于将所述人脸数据输入所述骨干网络中进行处理，得到目标特征；
第二处理模块504，用于将所述目标特征输入所述全连接层中进行处理，以在人脸属性标签的约束下、输出人脸质量等级；
分值计算模块505，用于根据所述人脸质量等级计算所述目标特征的质量分值。
在本发明的一个实施例中，所述第一处理模块503包括：
数据输入子模块，用于将所述人脸数据输入所述骨干网络中，所述骨干网络中设置有第一卷积层、多个卷积块、多个全局池化层、连接层；
初始特征获取子模块，用于在所述第一卷积层中，对所述人脸数据进行卷积操作，得到初始特征；
中间特征获取子模块，用于在多个所述卷积块中，对所述初始特征进行n次卷积操作，得到多个中间特征；
采样特征获取子模块，用于在多个所述全局池化层中，分别对多个所述中间特征进行下采样，得到多个采样特征；
目标特征获取子模块，用于将多个所述采样特征输入所述连接层中进行融合，得到目标特征。
在本发明的一个实施例中，所述卷积块包括第二卷积层、第三卷积层和一个残差连接；所述中间特征获取子模块包括：
候选特征获取单元，用于针对每个所述卷积块，依次调用所述第二卷积层、所述第三卷积层对所述初始特征执行卷积操作，得到候选特征；
中间特征获取单元，用于在所述残差连接中，对所述候选特征与所述初始特征进行卷积操作，得到中间特征。
在本发明的一个实施例中，多个所述卷积块包括第一卷积块、第二卷积块、第三卷积块、第四卷积块；所述中间特征获取子模块包括：
第一中间特征确定单元，用于在所述第一卷积块中，对所述初始特征执行卷积操作，得到第一中间特征；
第二中间特征确定单元，用于在所述第二卷积块中，对所述第一中间特征执行卷积操作，得到第二中间特征；
第三中间特征确定单元，用于在所述第三卷积块中，对所述第二中间特征执行卷积操作，得到第三中间特征；
第四中间特征确定单元，用于在所述第四卷积块中，对所述第三中间特征执行卷积操作，得到第四中间特征。
在本发明的一个实施例中，多个所述全局池化层包括第一全局池化层、第二全局池化层、第三全局池化层；所述采样特征获取子模块包括：
第一采样特征确定单元，用于在所述第一全局池化层中，对所述第四中间特征进行下采样，得到第一采样特征；
第二采样特征确定单元，用于在所述第二全局池化层中，对所述第三中间特征进行下采样，得到第二采样特征；
第三采样特征确定单元，用于在所述第三全局池化层中，对所述第二中间特征进行下采样，得到第三采样特征；
在本发明的一个实施例中，所述目标特征获取子模块包括：
目标特征确定单元，用于将所述第一采样特征、所述第二采样特征、所述第三采样特征输入所述连接层中进行拼接，得到目标特征。
在本发明的一个实施例中，所述分值计算模块505包括：
第一候选值确定子模块，用于基于所述人脸质量等级将所述目标特征进行归一化，得到第一候选值；
第二候选值确定子模块，用于计算所述目标特征与所述第一候选值的乘积、作为第二候选值；
质量分值确定子模块，用于求取全部所述第二候选值的和值与1之间的最大值、作为所述目标特征的质量分值。
本发明实施例所提供的质量评分装置可执行本发明任意实施例所提供的质量评分方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四提供的一种质量评分模型的训练装置的结构示意图，该装置具体可以包括如下模块：
样本获取模块601，用于获取人脸样本；
骨干网络处理模块602，用于将所述人脸样本输入预设的骨干网络中进行处理，得到目标样本特征；
全连接层处理模块603，用于将所述目标样本特征分别输入第一全连接层和第二全连接层中进行处理，所述第一全连接层用于将所述目标样本特征划分至预设的人脸质量等级、生成第一预测特征，所述第二全连接层用于将所述目标样本特征划分至预设的人脸属性标签、生成第二预测特征；
模型训练模块604，用于以对齐所述第一预测特征与所述人脸质量等级、所述第二预测特征与所述人脸属性标签作为监督，训练所述骨干网络、所述第一全连接层和所述第二全连接层；
模型确定模块605，用于在所述骨干网络、所述第一全连接层、所述第二全连接层训练完成时，锁定所述骨干网络和所述第一全连接层中的参数，以根据所述骨干网络和所述第一全连接层生成质量评分模型。
在本发明的一个实施例中，在所述获取人脸样本之后，所述质量评分模型的训练装置还包括：
人脸分类模块，用于将所述人脸样本按照预设的人脸ID进行分类；
相似度计算模块，用于计算属于同一个所述人脸ID下的人脸样本之间的相似度、作为预测分值；
数量等级划分模块，用于将所述预测分值划分至多个数量等级；
质量等级预设模块，用于遍历所有的所述人脸ID，得到与所有所述人脸样本分别对应的所述数量等级、作为预设的人脸质量等级。
在本发明的一个实施例中，所述相似度计算模块包括：
标准人脸样本确定子模块，用于在同一个所述人脸ID下，确定一个已知质量的人脸样本作为标准人脸样本；
标准特征计算子模块，用于计算所述标准人脸样本的特征、作为标准特征；
参考特征计算子模块，用于计算同一个所述人脸ID下、除所述标准人脸样本之外的所有人脸样本的特征、作为参考特征；
相似度计算子模块，用于计算所述参考特征与所述标准特征之间的相似度；
预测分值确定子模块，用于对所述相似度进行归一化操作，得到属于同一个所述人脸ID 下的人脸样本的预测分值。
在本发明的一个实施例中，所述骨干网络处理模块602包括：
骨干网络确定子模块，用于将所述人脸样本输入预设的骨干网络中，所述骨干网络包括第一卷积层、第一卷积块、第二卷积块、第三卷积块、第四卷积块、第一全局池化层、第二全局池化层、第三全局池化层、连接层；
第一样本特征获取子模块，用于在所述第一卷积层中，对所述人脸样本进行卷积操作，得到第一样本特征；
第二样本特征获取子模块，用于在所述第一卷积块中，对所述第一样本特征执行卷积操作，得到第二样本特征；
第三样本特征获取子模块，用于在所述第二卷积块中，对所述第二样本特征执行卷积操作，得到第三样本特征；
第四样本特征获取子模块，用于在所述第三卷积块中，对所述第三样本特征执行卷积操作，得到第四样本特征；
第五样本特征获取子模块，用于在所述第四卷积块中，对所述第四样本特征执行卷积操作，得到第五样本特征；
第一映射特征确定子模块，用于在所述第一全局池化层中，对所述第五样本特征进行下采样，得到第一映射特征；
第二映射特征确定子模块，用于在所述第二全局池化层中，对所述第四样本特征进行下采样，得到第二映射特征；
第三映射特征确定子模块，用于在所述第三全局池化层中，对所述第三样本特征进行下采样，得到第三映射特征；
目标样本特征确定子模块，用于将所述第一映射特征、所述第二映射特征、所述第三映射特征输入所述连接层中进行拼接，得到目标样本特征。
在本发明的一个实施例中，所述模型训练模块604包括：
第一概率计算子模块，用于计算所述第一预测特征的概率、作为第一概率；
第二概率计算子模块，用于计算所述第二预测特征的概率、作为第二概率；
第一损失值确定子模块，用于基于所述人脸质量等级计算所述第一概率的第一损失值；
第二损失值确定子模块，用于基于所述人脸属性标签计算所述第二概率的第二损失值；
总损失值确定子模块，用于结合所述第一损失值与所述第二损失值，得到总损失值；
训练子模块，用于基于所述总损失值训练所述骨干网络、所述第一全连接层和所述第二全连接层。
在本发明的一个实施例中，所述第一损失值确定子模块包括：
标准人脸质量等级确定单元，用于确定预先在所述人脸样本中标记的人脸质量等级，作为所述人脸样本匹配的标准人脸质量等级；
预测人脸质量等级确定单元，用于选取具有最大值的所述第一概率作为预测人脸质量等级；
第一损失值计算单元，用于计算所述标准人脸质量等级与所述预测人脸质量等级之间的差异，作为第一损失值。
在本发明的一个实施例中，所述第二损失值确定子模块包括：
标准人脸属性标签确定单元，用于确定预先在所述人脸样本中标记的人脸属性标签，作为所述人脸样本匹配的标准人脸属性标签；
预测人脸属性标签确定单元，用于选取具有最大值的所述第二概率作为预测人脸属性标签；
第二损失值计算单元，用于比较所述标准人脸属性标签与所述预测人脸属性标签之间的差异，作为第二损失值。
在本发明的一个实施例中，所述训练子模块包括：
判断单元，用于判断所述总损失值是否小于预设的阈值，若是，则调用训练完成确认单元，若否，则调用返回执行单元；
训练完成确认单元，用于确定所述骨干网络、所述第一全连接层、所述第二全连接层训练完成；
返回执行单元，用于更新所述骨干网络、所述第一全连接层、所述第二全连接层中的参数，返回执行所述将所述人脸样本输入预设的骨干网络中进行处理，得到目标样本特征。
本发明实施例所提供的质量评分模型的训练装置可执行本发明任意实施例所提供的质量评分模型的训练方法，具备执行方法相应的功能模块和有益效果。
实施例五
图7为本发明实施例五提供的一种计算机设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图7显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，***存储器28，连接不同***组件(包括***存储器28和处理单元16)的总线18。计算机设备12可以是挂接在总线上的设备。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture， ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及***组件互连(PerIPheral Component Interconnect，PCI)总线。
计算机设备12典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。***存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如***存储器 28中，这样的程序模块42包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42 通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等) 通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网(Wide Area Network，WAN)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图7中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列(Redundant Arrays of Inexpensive Disks，RAID)***、磁带驱动器以及数据备份存储***等。
处理单元16通过运行存储在***存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的质量评分方法、质量评分模型的训练方法。
实施例六
本发明实施例六还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例的质量评分方法或质量评分模型的训练方法。
该质量评分方法包括：
获取人脸数据；
确定质量评分模型，所述质量评分模型包括骨干网络和全连接层；
将所述人脸数据输入所述骨干网络中进行处理，得到目标特征；
将所述目标特征输入所述全连接层中进行处理，以在人脸属性标签的约束下、输出人脸质量等级；
根据所述人脸质量等级计算所述目标特征的质量分值。
该质量评分模型的训练方法包括：
获取人脸样本；
将所述人脸样本输入预设的骨干网络中进行处理，得到目标样本特征；
将所述目标样本特征分别输入第一全连接层和第二全连接层中进行处理，所述第一全连接层用于将所述目标样本特征划分至预设的人脸质量等级、生成第一预测特征，所述第二全连接层用于将所述目标样本特征划分至预设的人脸属性标签、生成第二预测特征；
以对齐所述第一预测特征与所述人脸质量等级、所述第二预测特征与所述人脸属性标签作为监督，训练所述骨干网络、所述第一全连接层和所述第二全连接层；
在所述骨干网络、所述第一全连接层、所述第二全连接层训练完成时，锁定所述骨干网络和所述第一全连接层中的参数，以根据所述骨干网络和所述第一全连接层生成质量评分模型。
当然,本发明实施例所提供的计算机可读存储介质,其计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的质量评分方法或质量评分模型的训练方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory, RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述质量评分装置和质量评分模型的训练装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (18)

1.一种质量评分方法，其特征在于，包括：
获取人脸数据；
确定质量评分模型，所述质量评分模型包括骨干网络和全连接层；
将所述人脸数据输入所述骨干网络中进行处理，得到目标特征；
将所述目标特征输入所述全连接层中进行处理，以在人脸属性标签的约束下、输出人脸质量等级；
根据所述人脸质量等级计算所述目标特征的质量分值。
2.根据权利要求1所述的方法，其特征在于，所述将所述人脸数据输入所述骨干网络中进行处理，得到目标特征，包括：
将所述人脸数据输入所述骨干网络中，所述骨干网络中设置有第一卷积层、多个卷积块、多个全局池化层、连接层；
在所述第一卷积层中，对所述人脸数据进行卷积操作，得到初始特征；
在多个所述卷积块中，对所述初始特征进行n次卷积操作，得到多个中间特征；
在多个所述全局池化层中，分别对多个所述中间特征进行下采样，得到多个采样特征；
将多个所述采样特征输入所述连接层中进行融合，得到目标特征。
3.根据权利要求2所述的方法，其特征在于，所述卷积块包括第二卷积层、第三卷积层和一个残差连接；
所述在多个所述卷积块中，对所述初始特征进行n次卷积操作，得到多个中间特征，包括：
针对每个所述卷积块，依次调用所述第二卷积层、所述第三卷积层对所述初始特征执行卷积操作，得到候选特征；
在所述残差连接中，对所述候选特征与所述初始特征进行卷积操作，得到中间特征。
4.根据权利要求2所述的方法，其特征在于，多个所述卷积块包括第一卷积块、第二卷积块、第三卷积块、第四卷积块；
所述在多个所述卷积块中，对所述初始特征进行n次卷积操作，得到多个中间特征，包括：
在所述第一卷积块中，对所述初始特征执行卷积操作，得到第一中间特征；
在所述第二卷积块中，对所述第一中间特征执行卷积操作，得到第二中间特征；
在所述第三卷积块中，对所述第二中间特征执行卷积操作，得到第三中间特征；
在所述第四卷积块中，对所述第三中间特征执行卷积操作，得到第四中间特征。
5.根据权利要求4所述的方法，其特征在于，多个所述全局池化层包括第一全局池化层、第二全局池化层、第三全局池化层；
所述在多个所述全局池化层中，分别对多个所述中间特征进行下采样，得到多个采样特征，包括：
在所述第一全局池化层中，对所述第四中间特征进行下采样，得到第一采样特征；
在所述第二全局池化层中，对所述第三中间特征进行下采样，得到第二采样特征；
在所述第三全局池化层中，对所述第二中间特征进行下采样，得到第三采样特征；
所述将多个所述采样特征输入所述连接层中进行融合，得到目标特征，包括：
将所述第一采样特征、所述第二采样特征、所述第三采样特征输入所述连接层中进行拼接，得到目标特征。
6.根据权利要求1-5任一所述的方法，其特征在于，所述根据所述人脸质量等级计算所述目标特征的质量分值，包括：
基于所述人脸质量等级将所述目标特征进行归一化，得到第一候选值；
计算所述目标特征与所述第一候选值的乘积、作为第二候选值；
求取全部所述第二候选值的和值与1之间的最大值、作为所述目标特征的质量分值。
7.一种质量评分模型的训练方法，其特征在于，包括：
获取人脸样本；
将所述人脸样本输入预设的骨干网络中进行处理，得到目标样本特征；
将所述目标样本特征分别输入第一全连接层和第二全连接层中进行处理，所述第一全连接层用于将所述目标样本特征划分至预设的人脸质量等级、生成第一预测特征，所述第二全连接层用于将所述目标样本特征划分至预设的人脸属性标签、生成第二预测特征；
以对齐所述第一预测特征与所述人脸质量等级、所述第二预测特征与所述人脸属性标签作为监督，训练所述骨干网络、所述第一全连接层和所述第二全连接层；
在所述骨干网络、所述第一全连接层、所述第二全连接层训练完成时，锁定所述骨干网络和所述第一全连接层中的参数，以根据所述骨干网络和所述第一全连接层生成质量评分模型。
8.根据权利要求7所述的方法，其特征在于，在所述获取人脸样本之后，还包括：
将所述人脸样本按照预设的人脸ID进行分类；
计算属于同一个所述人脸ID下的人脸样本之间的相似度、作为预测分值；
将所述预测分值划分至多个数量等级；
遍历所有的所述人脸ID，得到与所有所述人脸样本分别对应的所述数量等级、作为预设的人脸质量等级。
9.根据权利要求8所述的方法，其特征在于，所述计算属于同一个所述人脸ID下的人脸样本之间的相似度、作为预测分值，包括：
在同一个所述人脸ID下，确定一个已知质量的人脸样本作为标准人脸样本；
计算所述标准人脸样本的特征、作为标准特征；
计算同一个所述人脸ID下、除所述标准人脸样本之外的所有人脸样本的特征、作为参考特征；
计算所述参考特征与所述标准特征之间的相似度；
对所述相似度进行归一化操作，得到属于同一个所述人脸ID下的人脸样本的预测分值。
10.根据权利要求7-9任一所述的方法，其特征在于，所述将所述人脸样本输入预设的骨干网络中进行处理，得到目标样本特征，包括：
将所述人脸样本输入预设的骨干网络中，所述骨干网络包括第一卷积层、第一卷积块、第二卷积块、第三卷积块、第四卷积块、第一全局池化层、第二全局池化层、第三全局池化层、连接层；
在所述第一卷积层中，对所述人脸样本进行卷积操作，得到第一样本特征；
在所述第一卷积块中，对所述第一样本特征执行卷积操作，得到第二样本特征；
在所述第二卷积块中，对所述第二样本特征执行卷积操作，得到第三样本特征；
在所述第三卷积块中，对所述第三样本特征执行卷积操作，得到第四样本特征；
在所述第四卷积块中，对所述第四样本特征执行卷积操作，得到第五样本特征；
在所述第一全局池化层中，对所述第五样本特征进行下采样，得到第一映射特征；
在所述第二全局池化层中，对所述第四样本特征进行下采样，得到第二映射特征；
在所述第三全局池化层中，对所述第三样本特征进行下采样，得到第三映射特征；
将所述第一映射特征、所述第二映射特征、所述第三映射特征输入所述连接层中进行拼接，得到目标样本特征。
11.根据权利要求7-9任一所述的方法，其特征在于，所述以对齐所述第一预测特征与所述人脸质量等级、所述第二预测特征与所述人脸属性标签作为监督，训练所述骨干网络、所述第一全连接层和所述第二全连接层，包括：
计算所述第一预测特征的概率、作为第一概率；
计算所述第二预测特征的概率、作为第二概率；
基于所述人脸质量等级计算所述第一概率的第一损失值；
基于所述人脸属性标签计算所述第二概率的第二损失值；
结合所述第一损失值与所述第二损失值，得到总损失值；
基于所述总损失值训练所述骨干网络、所述第一全连接层和所述第二全连接层。
12.根据权利要求11所述的方法，其特征在于，所述基于所述人脸质量等级计算所述第一概率的第一损失值，包括：
确定预先在所述人脸样本中标记的人脸质量等级，作为所述人脸样本匹配的标准人脸质量等级；
选取具有最大值的所述第一概率作为预测人脸质量等级；
计算所述标准人脸质量等级与所述预测人脸质量等级之间的差异，作为第一损失值。
13.根据权利要求11所述的方法，其特征在于，所述基于所述人脸属性标签计算所述第二概率的第二损失值，包括：
确定预先在所述人脸样本中标记的人脸属性标签，作为所述人脸样本匹配的标准人脸属性标签；
选取具有最大值的所述第二概率作为预测人脸属性标签；
比较所述标准人脸属性标签与所述预测人脸属性标签之间的差异，作为第二损失值。
14.根据权利要求11所述的方法，其特征在于，所述基于所述总损失值训练所述骨干网络、所述第一全连接层和所述第二全连接层，包括：
判断所述总损失值是否小于预设的阈值；
若是，则确定所述骨干网络、所述第一全连接层、所述第二全连接层训练完成；
若否，则更新所述骨干网络、所述第一全连接层、所述第二全连接层中的参数，返回执行所述将所述人脸样本输入预设的骨干网络中进行处理，得到目标样本特征。
15.一种质量评分装置，其特征在于，包括：
数据获取模块，用于获取人脸数据；
模型确定模块，用于确定质量评分模型，所述质量评分模型包括骨干网络和全连接层；
第一处理模块，用于将所述人脸数据输入所述骨干网络中进行处理，得到目标特征；
第二处理模块，用于将所述目标特征输入所述全连接层中进行处理，以在人脸属性标签的约束下、输出人脸质量等级；
分值计算模块，用于根据所述人脸质量等级计算所述目标特征的质量分值。
16.一种质量评分模型的训练装置，其特征在于，包括：
样本获取模块，用于获取人脸样本；
骨干网络处理模块，用于将所述人脸样本输入预设的骨干网络中进行处理，得到目标样本特征；
全连接层处理模块，用于将所述目标样本特征分别输入第一全连接层和第二全连接层中进行处理，所述第一全连接层用于将所述目标样本特征划分至预设的人脸质量等级、生成第一预测特征，所述第二全连接层用于将所述目标样本特征划分至预设的人脸属性标签、生成第二预测特征；
模型训练模块，用于以对齐所述第一预测特征与所述人脸质量等级、所述第二预测特征与所述人脸属性标签作为监督，训练所述骨干网络、所述第一全连接层和所述第二全连接层；
模型确定模块，用于在所述骨干网络、所述第一全连接层、所述第二全连接层训练完成时，锁定所述骨干网络和所述第一全连接层中的参数，以根据所述骨干网络和所述第一全连接层生成质量评分模型。
17.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的质量评分方法或者如权利要求7-14中任一所述的质量评分模型的训练方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的质量评分方法或者如权利要求7-14中任一所述的质量评分模型的训练方法。
CN202110252100.3A 2021-03-08 2021-03-08 质量评分方法、质量评分模型的训练方法及相关装置 Pending CN113158777A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110252100.3A CN113158777A (zh) 2021-03-08 2021-03-08 质量评分方法、质量评分模型的训练方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110252100.3A CN113158777A (zh) 2021-03-08 2021-03-08 质量评分方法、质量评分模型的训练方法及相关装置

Publications (1)

Publication Number Publication Date
CN113158777A true CN113158777A (zh) 2021-07-23

Family

ID=76884543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110252100.3A Pending CN113158777A (zh) 2021-03-08 2021-03-08 质量评分方法、质量评分模型的训练方法及相关装置

Country Status (1)

Country Link
CN (1) CN113158777A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591818A (zh) * 2021-09-30 2021-11-02 广州思林杰科技股份有限公司 一种人脸等级分类器的构建方法及装置
CN113673448A (zh) * 2021-08-24 2021-11-19 厦门立林科技有限公司 一种云和端集成的人脸图像质量动态检测方法及***
CN114386794A (zh) * 2021-12-28 2022-04-22 中国电子技术标准化研究院华东分院 一种工业互联网服务商资源池分类分级的评估评价方法
CN113673448B (zh) * 2021-08-24 2024-06-28 厦门立林科技有限公司 一种云和端集成的人脸图像质量动态检测方法及***

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150011046A (ko) * 2013-07-18 2015-01-30 삼성전자주식회사 생체인식 기반 인증 방법 및 장치
CN106682628A (zh) * 2016-12-30 2017-05-17 佳都新太科技股份有限公司 一种基于多层深度特征信息的人脸属性分类方法
CN106951825A (zh) * 2017-02-13 2017-07-14 北京飞搜科技有限公司 一种人脸图像质量评估***以及实现方法
US20170270653A1 (en) * 2016-03-15 2017-09-21 International Business Machines Corporation Retinal image quality assessment, error identification and automatic quality correction
CN107832802A (zh) * 2017-11-23 2018-03-23 北京智芯原动科技有限公司 基于人脸比对的人脸图像质量评价方法及装置
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及***
CN109146856A (zh) * 2018-08-02 2019-01-04 深圳市华付信息技术有限公司 图像质量评定方法、装置、计算机设备及存储介质
CN109308696A (zh) * 2018-09-14 2019-02-05 西安电子科技大学 基于层级特征融合网络的无参考图像质量评价方法
CN109360183A (zh) * 2018-08-20 2019-02-19 中国电子进出口有限公司 一种基于卷积神经网络的人脸图像质量评估方法和***
CN109615627A (zh) * 2018-12-14 2019-04-12 国网山东省电力公司信息通信公司 一种输变电巡检图像质量评价方法及***
US20200019784A1 (en) * 2018-07-13 2020-01-16 Futurewei Technologies, Inc. Portrait Image Evaluation Based on Aesthetics
CN110738160A (zh) * 2019-10-12 2020-01-31 成都考拉悠然科技有限公司 一种结合人脸检测的人脸质量评估方法
CN110866471A (zh) * 2019-10-31 2020-03-06 Oppo广东移动通信有限公司 人脸图像质量评价方法及装置、计算机可读介质、通信终端
CN111199541A (zh) * 2019-12-27 2020-05-26 Oppo广东移动通信有限公司 图像质量评价方法、装置、电子设备及存储介质
CN111241925A (zh) * 2019-12-30 2020-06-05 新大陆数字技术股份有限公司 人脸质量评定方法、***、电子设备及可读存储介质
US20200184627A1 (en) * 2019-02-14 2020-06-11 Sharif University Of Technology Quality assessment of an image
CN112418150A (zh) * 2020-12-03 2021-02-26 佳都新太科技股份有限公司 掌静脉图像评估方法、装置、计算机设备及存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150011046A (ko) * 2013-07-18 2015-01-30 삼성전자주식회사 생체인식 기반 인증 방법 및 장치
US20170270653A1 (en) * 2016-03-15 2017-09-21 International Business Machines Corporation Retinal image quality assessment, error identification and automatic quality correction
CN106682628A (zh) * 2016-12-30 2017-05-17 佳都新太科技股份有限公司 一种基于多层深度特征信息的人脸属性分类方法
CN106951825A (zh) * 2017-02-13 2017-07-14 北京飞搜科技有限公司 一种人脸图像质量评估***以及实现方法
CN107832802A (zh) * 2017-11-23 2018-03-23 北京智芯原动科技有限公司 基于人脸比对的人脸图像质量评价方法及装置
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及***
US20200019784A1 (en) * 2018-07-13 2020-01-16 Futurewei Technologies, Inc. Portrait Image Evaluation Based on Aesthetics
CN109146856A (zh) * 2018-08-02 2019-01-04 深圳市华付信息技术有限公司 图像质量评定方法、装置、计算机设备及存储介质
CN109360183A (zh) * 2018-08-20 2019-02-19 中国电子进出口有限公司 一种基于卷积神经网络的人脸图像质量评估方法和***
CN109308696A (zh) * 2018-09-14 2019-02-05 西安电子科技大学 基于层级特征融合网络的无参考图像质量评价方法
CN109615627A (zh) * 2018-12-14 2019-04-12 国网山东省电力公司信息通信公司 一种输变电巡检图像质量评价方法及***
US20200184627A1 (en) * 2019-02-14 2020-06-11 Sharif University Of Technology Quality assessment of an image
CN110738160A (zh) * 2019-10-12 2020-01-31 成都考拉悠然科技有限公司 一种结合人脸检测的人脸质量评估方法
CN110866471A (zh) * 2019-10-31 2020-03-06 Oppo广东移动通信有限公司 人脸图像质量评价方法及装置、计算机可读介质、通信终端
CN111199541A (zh) * 2019-12-27 2020-05-26 Oppo广东移动通信有限公司 图像质量评价方法、装置、电子设备及存储介质
CN111241925A (zh) * 2019-12-30 2020-06-05 新大陆数字技术股份有限公司 人脸质量评定方法、***、电子设备及可读存储介质
CN112418150A (zh) * 2020-12-03 2021-02-26 佳都新太科技股份有限公司 掌静脉图像评估方法、装置、计算机设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LACEY BEST-ROWDEN等: "Learning Face Image Quality From Human Assessments", IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY, vol. 13, no. 12, pages 3064 - 3077, XP011684656, DOI: 10.1109/TIFS.2018.2799585 *
王亚等: "基于CNN的监控视频中人脸图像质量评估", 计算机***应用, vol. 27, no. 11, pages 71 - 77 *
范业昭: "基于深度学习的质量评价与人脸属性的研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 6, pages 138 - 793 *
黄法秀等: "基于CNN的人脸图像亮度和清晰度质量评价", 计算机工程与设计, no. 7, pages 212 - 218 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673448A (zh) * 2021-08-24 2021-11-19 厦门立林科技有限公司 一种云和端集成的人脸图像质量动态检测方法及***
CN113673448B (zh) * 2021-08-24 2024-06-28 厦门立林科技有限公司 一种云和端集成的人脸图像质量动态检测方法及***
CN113591818A (zh) * 2021-09-30 2021-11-02 广州思林杰科技股份有限公司 一种人脸等级分类器的构建方法及装置
CN114386794A (zh) * 2021-12-28 2022-04-22 中国电子技术标准化研究院华东分院 一种工业互联网服务商资源池分类分级的评估评价方法

Similar Documents

Publication Publication Date Title
US7447338B2 (en) Method and system for face detection using pattern classifier
CN112132119B (zh) 客流统计方法、装置、电子设备和存储介质
CN111126482B (zh) 一种基于多分类器级联模型的遥感影像自动分类方法
CN110659665B (zh) 一种异维特征的模型构建方法及图像识别方法、装置
CN109145745B (zh) 一种遮挡情况下的人脸识别方法
CN107784288B (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN105243374A (zh) 三维人脸识别方法、***及应用其的数据处理装置
JP2014232533A (ja) Ｏｃｒ出力検証システム及び方法
CN111738120B (zh) 人物识别方法、装置、电子设备及存储介质
CN109376717A (zh) 人脸对比的身份识别方法、装置、电子设备及存储介质
CN111738319B (zh) 一种基于大规模样本的聚类结果评价方法及装置
CN113158777A (zh) 质量评分方法、质量评分模型的训练方法及相关装置
CN115131580B (zh) 基于注意力机制的空间目标小样本识别方法
CN114329034A (zh) 基于细粒度语义特征差异的图像文本匹配判别方法及***
CN113780145A (zh) ***形态检测方法、装置、计算机设备和存储介质
CN111221960A (zh) 文本检测方法、相似度计算方法、模型训练方法及装置
CN113674862A (zh) 一种基于机器学习的急性肾功能损伤发病预测方法
CN114971294A (zh) 数据采集方法、装置、设备及存储介质
Mondal et al. Secure and hassle-free EVM through deep learning based face recognition
Xie et al. Writer-independent online signature verification based on 2D representation of time series data using triplet supervised network
CN117217807B (zh) 一种基于多模态高维特征的不良资产估值方法
CN114529552A (zh) 一种基于几何轮廓顶点预测的遥感影像建筑物分割方法
CN117435603A (zh) 数据一致性确定模型的训练方法、装置和计算机设备
CN113762005A (zh) 特征选择模型的训练、对象分类方法、装置、设备及介质
Lim et al. More powerful selective kernel tests for feature selection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: Room 306, zone 2, building 1, Fanshan entrepreneurship center, Panyu energy saving technology park, No. 832 Yingbin Road, Donghuan street, Panyu District, Guangzhou City, Guangdong Province

Applicant after: Jiadu Technology Group Co.,Ltd.

Address before: Room 306, zone 2, building 1, Fanshan entrepreneurship center, Panyu energy saving technology park, No. 832 Yingbin Road, Donghuan street, Panyu District, Guangzhou City, Guangdong Province

Applicant before: PCI-SUNTEKTECH Co.,Ltd.

Country or region before: China