CN113361384A - 人脸识别模型压缩方法、设备、介质及计算机程序产品 - Google Patents

人脸识别模型压缩方法、设备、介质及计算机程序产品 Download PDF

Info

Publication number
CN113361384A
CN113361384A CN202110617959.XA CN202110617959A CN113361384A CN 113361384 A CN113361384 A CN 113361384A CN 202110617959 A CN202110617959 A CN 202110617959A CN 113361384 A CN113361384 A CN 113361384A
Authority
CN
China
Prior art keywords
face
face recognition
model
training
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110617959.XA
Other languages
English (en)
Inventor
朱振文
吴泽衡
周古月
徐倩
杨强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202110617959.XA priority Critical patent/CN113361384A/zh
Publication of CN113361384A publication Critical patent/CN113361384A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸识别模型压缩方法、设备、介质及计算机程序产品，所述人脸识别模型压缩方法包括：获取训练人脸样本和训练人脸样本对应的样本类别标签，并基于人脸识别教师模型和待训练人脸识别学生模型，分别对训练人脸样本进行特征提取，获得第一训练人脸特征表示和第二训练人脸特征表示；在人脸识别教师模型中提取各人脸类别中心表示，并依据各人脸类别中心表示、样本类别标签、第一训练人脸特征表示和第二训练人脸特征表示，生成待训练人脸识别学生模型对应的目标模型损失；基于目标模型损失，优化待训练人脸识别学生模型，获得人脸识别教师模型对应的人脸识别压缩模型。本申请解决了人脸识别模型压缩效果差的技术问题。

Description

人脸识别模型压缩方法、设备、介质及计算机程序产品
技术领域
本申请涉及金融科技(Fintech)的人工智能技术领域，尤其涉及一种人脸识别模型压缩方法、设备、介质及计算机程序产品。
背景技术
随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。
随着计算机技术的不断发展，人工智能的应用也越来越广泛，近年来，人脸识别技术愈发成熟，对识别精度的要求越来越高，但同时也使得人脸识别模型愈加复杂，而随着人脸识别模型的复杂度的增高，部署人脸识别模型所需求的硬件要求和内存要求也越来越高，进而导致部署人脸识别模型的难度较高，目前，通常通过对训练好的人脸识别模型进行剪枝，对人脸识别模型进行压缩，当剪枝比例较高时，将影响剪枝后的压缩后的人脸识别模型的精度，而当剪枝比例较低时，压缩后的人脸识别模型仍然比较复杂，不便于模型部署，所以，当前的模型压缩方式对人脸识别模型进行压缩的效果较差。
发明内容
本申请的主要目的在于提供一种人脸识别模型压缩方法、设备、介质及计算机程序产品，旨在解决现有技术中人脸识别模型压缩效果差的技术问题。
为实现上述目的，本申请提供一种人脸识别模型压缩方法，所述人脸识别模型压缩方法应用于人脸识别模型压缩设备，所述人脸识别模型压缩方法包括：
获取训练人脸样本和所述训练人脸样本对应的样本类别标签，并基于人脸识别教师模型和待训练人脸识别学生模型，分别对所述训练人脸样本进行特征提取，获得第一训练人脸特征表示和第二训练人脸特征表示；
在所述人脸识别教师模型中提取各人脸类别中心表示，并依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述待训练人脸识别学生模型对应的目标模型损失；
基于所述目标模型损失，优化所述待训练人脸识别学生模型，获得所述人脸识别教师模型对应的人脸识别压缩模型。
为实现上述目的，本申请提供一种人脸识别方法，所述人脸识别方法应用于人脸识别设备，所述人脸识别方法包括：
获取待识别人脸图像，并基于人脸识别教师模型的各人脸类别中心表示优化的人脸识别压缩模型，对所述待识别人脸图像进行特征提取，获得目标人脸特征表示；
通过计算所述目标人脸特征表示与各预录入人脸对应的人脸特征表示之间的相似度，生成所述待识别人脸图像对应的人脸识别结果。
本申请还提供一种人脸识别模型压缩装置，所述人脸识别模型压缩装置为虚拟装置，且所述人脸识别模型压缩装置应用于人脸识别模型压缩设备，所述人脸识别模型压缩装置包括：
特征提取模块，用于获取训练人脸样本和所述训练人脸样本对应的样本类别标签，并基于人脸识别教师模型和待训练人脸识别学生模型，分别对所述训练人脸样本进行特征提取，获得第一训练人脸特征表示和第二训练人脸特征表示；
损失计算模块，用于在所述人脸识别教师模型中提取各人脸类别中心表示，并依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述待训练人脸识别学生模型对应的目标模型损失；
模型优化模块，用于基于所述目标模型损失，优化所述待训练人脸识别学生模型，获得所述人脸识别教师模型对应的人脸识别压缩模型。
本申请还提供一种人脸识别装置，所述人脸识别模型为虚拟装置，且所述人脸识别装置应用于人脸识别设备，所述人脸识别装置包括：
特征提取模块，用于获取待识别人脸图像，并基于人脸识别教师模型的各人脸类别中心表示优化的人脸识别压缩模型，对所述待识别人脸图像进行特征提取，获得目标人脸特征表示；
生成模块，用于通过计算所述目标人脸特征表示与各预录入人脸对应的人脸特征表示之间的相似度，生成所述待识别人脸图像对应的人脸识别结果。
本申请还提供一种人脸识别模型压缩设备，所述人脸识别模型压缩设备为实体设备，所述人脸识别模型压缩设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述人脸识别模型压缩方法的程序，所述人脸识别模型压缩方法的程序被处理器执行时可实现如上述的人脸识别模型压缩方法的步骤。
本申请还提供一种人脸识别设备，所述人脸识别设备为实体设备，所述人脸识别设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述人脸识别方法的程序，所述人脸识别方法的程序被处理器执行时可实现如上述的人脸识别方法的步骤。
本申请还提供一种介质，所述介质为可读存储介质，所述可读存储介质上存储有实现人脸识别模型压缩方法的程序，所述人脸识别模型压缩方法的程序被处理器执行时实现如上述的人脸识别模型压缩方法的步骤。
本申请还提供一种介质，所述介质为可读存储介质，所述可读存储介质上存储有实现人脸识别方法的程序，所述人脸识别方法的程序被处理器执行时实现如上述的人脸识别方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的人脸识别模型压缩方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的人脸识别方法的步骤。
本申请提供了一种人脸识别模型压缩方法、设备、介质及计算机程序产品，相比于现有技术采用的通过对训练好的人脸识别模型进行剪枝，对人脸识别模型进行压缩的技术手段，本申请首先获取训练人脸样本和所述训练人脸样本对应的样本类别标签，并基于人脸识别教师模型和待训练人脸识别学生模型，分别对所述训练人脸样本进行特征提取，获得第一训练人脸特征表示和第二训练人脸特征表示，进而在所述人脸识别教师模型中提取各人脸类别中心表示，并依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成目标模型损失，进而实现了将人脸识别教师模型的类别中心表示直接共享给待训练人脸识别学生模型的目的，而由于人脸识别教师模型为复杂型模型，进而基于人脸识别教师模型的类别中心表示生成的损失，直接优化待训练人脸识别学生模型，实现了待训练人脸识别学生模型直接在人脸识别教师模型的类别中心表示基础上学习人脸识别教师模型的特征分布的目的，使得在待训练人脸识别学习模型为轻量型模型的前提下，提升了待训练人脸识别学生模型学习人脸识别教师模型的知识的学习效率和准确性，进而获得所述人脸识别教师模型对应的人脸识别压缩模型，提升了作为轻量型模型的人脸识别压缩模型的精度，所以，克服了当剪枝比例较高时，将影响剪枝后的压缩后的人脸识别模型的精度，而当剪枝比例较低时，压缩后的人脸识别模型仍然比较复杂，不便于模型部署，而导致人脸识别模型进行压缩的效果差的技术缺陷，提升了人脸识别模型的压缩效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请人脸识别模型压缩方法实施例的流程示意图；
图2为本申请人脸识别模型压缩方法中迭代训练待训练人脸识别学生模型的流程示意图；
图3为本申请人脸识别方法实施例的流程示意图；
图4为本申请实施例中人脸识别模型压缩方法涉及的硬件运行环境的设备结构示意图；
图5为本申请实施例中人脸识别方法涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种人脸识别模型压缩方法，在本申请人脸识别模型压缩方法的第一实施例中，参照图1，所述人脸识别模型压缩方法应用于人脸识别模型压缩设备，所述人脸识别模型压缩方法包括：
步骤S10，获取训练人脸样本和所述训练人脸样本对应的样本类别标签，并基于人脸识别教师模型和待训练人脸识别学生模型，分别对所述训练人脸样本进行特征提取，获得第一训练人脸特征表示和第二训练人脸特征表示；
在本实施例中，需要说明的是，所述训练人脸样本为表示人脸图像的样本数据，例如表示人脸图像的像素矩阵等，所述样本类别标签为所述训练人脸样本所属的样本类别的标识，所述人脸识别教师模型为训练好的复杂型网络结构的人脸识别模型，其中，复杂型网络结构的人脸识别模型在模型精度较高的同时，对硬件资源的需求也较高，所述复杂型网络结构包括Resnet101、Inception-v4以及densenet等网络结构，所述待训练人脸识别学生模型为未训练好的轻量型网络结构的人脸识别模型，其中，轻量型网络结构的人脸识别模型在对硬件资源需求较低的同时，轻量型网络结构的人脸识别模型的精度低于复杂型网络结构的人脸识别模型的精度，所述轻量型网络结构包括mobilefacenet、vargfacenet和shufflenet等网络结构，所述第一训练人脸特征表示为所述人脸识别教师模型生成的表示所述训练人脸样本的人脸特征的预设维数的向量，所述第二训练人脸特征表示为所述待训练人脸识别学生模型生成的表示所述训练人脸样本的人脸特征的预设维数的向量，其中，所述预设维数可设置为512维以及1024维等。
获取训练人脸样本和所述训练人脸样本对应的样本类别标签，并基于人脸识别教师模型和待训练人脸识别学生模型，分别对所述训练人脸样本进行特征提取，获得第一训练人脸特征表示和第二训练人脸特征表示，具体地，获取训练人脸样本和所述训练人脸样本对应的样本类别标签，其中，所述训练人脸样本为表示人脸图像的人脸图像像素矩阵，进而基于人脸识别教师模型，对所述人脸图像像素矩阵进行特征提取，以将所述人脸图像像素矩阵映射为预设维数的向量，获得第一训练人脸特征表示，并基于待训练人脸识别学生模型，对所述人脸图像像素矩阵进行特征提取，以将所述人脸图像像素矩阵映射为预设维数的向量，获得第二训练人脸特征表示。
步骤S20，在所述人脸识别教师模型中提取各人脸类别中心表示，并依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述待训练人脸识别学生模型对应的目标模型损失；
在本实施例中，需要说明的是，所述人脸类别中心表示为所述人脸识别教师模型中分类层的模型参数，用于表示人脸类别中心，例如，假设所述人脸识别教师模型中分类层的模型参数为矩阵(A，B，C),则向量A为人脸类别a的人脸类别中心表示，向量B为人脸类别b的人脸类别中心表示，向量C为人脸类别c的人脸类别中心表示。
在所述人脸识别教师模型中提取各人脸类别中心表示，并依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述待训练人脸识别学生模型对应的目标模型损失，具体地，提取所述人脸识别教师模型中分类层的模型参数作为各人脸类别中心表示，进而依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成人脸识别损失、类别分布相似度损失和特征表示相似度损失，其中，所述人脸识别损失为用于指导待训练人脸识别学生模型提升模型辨识能力的模型损失，使得待训练人脸识别学习模型输出的特征表示的类间相似度小于第一预设相似度阈值，且类内相似度大于第二预设相似度阈值，其中，所述类间相似度为不属于同一人脸类别的特征表示之间的相似度，所述类内相似度为属于同一人脸类别的特征表示之间的相似度，所述第一预设相似度阈值不大于所述第二预设相似度阈值，所述类别分布相似度损失为用于指导待训练人脸识别学生模型学习人脸识别教师模型输出的特征表示与各人脸类别中心表示的相似度分布的模型损失，其中，所述类别分布相似度损失包括KL散度损失等，所述特征表示相似度损失为用于指导待训练人脸识别学生模型学习人脸识别教师模型输出的特征表示的模型损失，使得对于同一人脸图像，所述待训练人脸识别学生模型输出的特征表示和人脸识别教师模型输出的特征表示的相似度大于第三预设相似度阈值。
其中，所述依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述待训练人脸识别学生模型对应的目标模型损失的步骤包括：
步骤S21，基于所述第二训练人脸特征表示与各所述人脸类别中心表示之间的第一相似度以及所述样本类别标签，生成所述人脸识别损失；
在本实施例中，基于所述第二训练人脸特征表示与各所述人脸类别中心表示之间的第一相似度以及所述样本类别标签，生成所述人脸识别损失，具体地，计算所述第二训练人脸特征表示与各所述人脸类别中心表示之间的余弦相似度，获得各第一相似度，进而在各所述第一相似度中选取所述样本类别标签对应的相似度作为类内相似度，并将不为类内相似度的第一相似度作为类间相似度，进而基于各所述类间相似度与所述类内相似度，计算人脸识别损失。
其中，所述第一相似度包括类内相似度和类间相似度，
所述基于所述第二训练人脸特征表示与各所述人脸类别中心表示之间的第一相似度以及所述样本类别标签的步骤包括：
步骤S211，基于所述样本类别标签，在各所述人脸类别中心表示中确定所述第二训练人脸特征表示对应的所属类别中心表示以及对应的各非所属类别中心表示；
在本实施例中，需要说明的是，所述样本类别标签为训练人脸样本所属的样本类别的标识，其中，一所述样本类别对应一人脸类别中心表示。
基于所述样本类别标签，在各所述人脸类别中心表示中确定所述第二训练人脸特征表示对应的所属类别中心表示以及对应的各非所属类别中心表示，具体地，基于样本类别与人脸类别中心表示之间的对应关系，将所述样本类别标签对应的人脸类别中心表示作为所属类别中心表示，并将不与所述样本类别标签对应的其他各人脸类别中心表示作为非所属类别中心表示。
步骤S212，计算所述第二训练人脸特征表示与所述所属类别中心表示之间的相似度，获得所述类内相似度；
在本实施例中，计算所述第二训练人脸特征表示与所述所属类别中心表示之间的相似度，获得所述类内相似度，具体地，通过计算所述第二训练人脸特征表示与所述所属类别中心表示之间的余弦值，生成所述类内相似度，其中，需要说明的是，优选地，在计算所述第二训练人脸特征表示与所述所属类别中心表示之间的余弦值之前，需要对所述第二训练人脸特征表示与所述所属类别中心表示进行归一化处理。
步骤S213，分别计算所述第二训练人脸特征表示与各所述非所属类别中心表示之间的相似度，获得各所述类间相似度；
在本实施例中，分别计算所述第二训练人脸特征表示与各所述非所属类别中心表示之间的相似度，获得各所述类间相似度，具体地，通过分别计算所述第二训练人脸特征表示与各所述非所属类别中心表示之间的余弦值，生成各所述类间相似度，其中，需要说明的是，优选地，在分别计算所述第二训练人脸特征表示与各所述非所属类别中心表示之间的相似度之前，需要对所述第二训练人脸特征表示与各所述非所属类别中心表示进行归一化处理。
步骤S214，基于所述类内相似度和各所述类间相似度，生成所述人脸识别损失。
在本实施例中，基于所述类内相似度和各所述类间相似度，计算所述人脸识别损失的计算公式如下：
Figure BDA0003098403290000091
其中，Lreg为所述人脸识别损失，N为迭代训练待训练人脸识别学生模型时一轮迭代中训练人脸样本的数量，s表示尺度，可选取s＝64，m1、m2和m3表示三个维度上的margin(边缘)，可选取m1＝1，m2＝0.5，m3＝0，cos(m1θyi+m2)为所述类内相似度，cos(θj)为所述类间相似度，θyi为所述第二训练人脸特征表示与其所属样本类别对应的人脸类别中心表示之间的夹角，θj为所述第二训练人脸特征表示与其非所属样本类别对应的人脸类别中心表示之间的夹角，其中，所述所属样本类别为所述训练人脸样本所属的样本类别，所述非所属样本类别为所述训练人脸样本不所属的样本类别。
步骤S22，基于各所述第一相似度和所述第一训练人脸特征表示与各所述人脸类别中心之间的第二相似度，生成所述类别分布相似度损失；
在本实施例中，基于各所述第一相似度和所述第一训练人脸特征表示与各所述人脸类别中心之间的第二相似度，生成所述类别分布相似度损失，具体地，分别计算所述第一训练特征表示与各所述人脸类别中心之间的余弦值，获得各第二相似度，进而基于各所述第一相似度和各所述第二相似度，计算KL散度损失，并将所述KL散度损失作为所述类别分布相似度损失，其中，计算所述KL散度损失的计算公式如下：
Figure BDA0003098403290000092
其中，Lkl为所述KL散度损失，N为迭代训练待训练人脸识别学生模型时一轮迭代中训练人脸样本的数量，C为所述人脸类别中心表示的数量，tij为所述第二相似度，sij为所述第一相似度，T为温度变量，用于将第一相似度和第二相似度映射至预设取值范围内。
步骤S23，基于所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述特征表示相似度损失；
在本实施例中，基于所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述特征表示相似度损失，具体地，将所述第一训练人脸特征表示与所述第二训练人脸特征表示输入预设特征表示相似度损失计算公式，计算特征表示相似度损失，其中，所述预设特征表示相似度损失计算公式如下：
Figure BDA0003098403290000101
其中，Lcos为所述特征表示相似度损失，N为迭代训练待训练人脸识别学生模型时一轮迭代中训练人脸样本的数量，feat_t为所述第一训练人脸特征表示，feat_s为所述第二训练人脸特征表示。
步骤S24，基于所述人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失，生成所述目标模型损失。
在本实施例中，基于所述人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失，生成所述目标模型损失，具体地，对所述人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失进行加权求和，获得所述目标模型损失，其中，对所述人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失进行加权求和的计算公式如下所示：
Loss＝αLreg+βLkl+γLcos
其中，Loss为所述目标模型损失，Lreg为所述人脸识别损失，Lkl为所述类别分布相似度损失，Lcos为所述特征表示相似度损失，α、β和γ均为加权权重。
其中，所述依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述待训练人脸识别学生模型对应的目标模型损失的步骤还包括：
步骤A10，基于所述第二训练人脸特征表示与各所述人脸类别中心表示之间的第一相似度以及所述样本类别标签，生成所述人脸识别损失；
在本实施例中，基于所述第二训练人脸特征表示与各所述人脸类别中心表示之间的第一相似度以及所述样本类别标签，生成所述人脸识别损失，具体地，计算所述第二训练人脸特征表示与各所述人脸类别中心表示之间的余弦相似度，获得各第一相似度，进而在各所述第一相似度中选取所述样本类别标签对应的相似度作为类内相似度，并将不为类内相似度的第一相似度作为类间相似度，进而基于各所述类间相似度与所述类内相似度，计算人脸识别损失，其中，计算人脸识别损失具体可参照步骤S211至步骤S214的内容，在此不在赘述。
步骤A20，基于各所述第一相似度和所述第一训练人脸特征表示与各所述人脸类别中心之间的第二相似度，生成所述类别分布相似度损失；
在本实施例中，基于各所述第一相似度和所述第一训练人脸特征表示与各所述人脸类别中心之间的第二相似度，生成所述类别分布相似度损失，具体地，分别计算所述第一训练特征表示与各所述人脸类别中心之间的余弦值，获得各第二相似度，进而基于各所述第一相似度和各所述第二相似度，计算KL散度损失，并将所述KL散度损失作为所述类别分布相似度损失，其中，计算KL散度损失的方式具体可参数步骤S22中的内容，在此不再赘述。
步骤A30，基于所述人脸识别损失和所述类别分布相似度损失，生成所述目标模型损失。
在本实施例中，基于所述人脸识别损失和所述类别分布相似度损失，生成所述目标模型损失，具体地，对所述人脸识别损失和所述类别分布相似度损失进行加权求和，获得目标模型损失，进而基于所述目标模型损失，优化待训练人脸识别学生模型，即可实现结合人脸识别教师模型的人脸类别中心表示，基于人脸识别损失和所述类别分布相似度损失，对人脸识别教师模型进行组合蒸馏的目的，相比于直接模型蒸馏的模型压缩方式，待训练人脸识别学生模型可更高效且更多地学习到人脸识别教师模型的知识，进而迭代训练完成后获得的人脸识别压缩模型的人脸识别准确性将更高，所以，提升了压缩人脸识别模型的效果。
步骤S30，基于所述目标模型损失，优化所述待训练人脸识别学生模型，获得所述人脸识别教师模型对应的人脸识别压缩模型。
在本实施例中，基于所述目标模型损失，优化所述待训练人脸识别学生模型，获得所述人脸识别教师模型对应的人脸识别压缩模型，具体地，基于所述目标模型损失对应的模型梯度，优化所述待训练人脸识别学生模型，并判断优化后的待训练人脸识别学生模型是否满足预设迭代训练结束条件，若满足，则将所述待训练人脸识别学生模型作为所述人脸识别教师模型对应的人脸识别压缩模型，若不满足，则则返回所述获取训练人脸样本和所述训练人脸样本对应的样本类别标签的步骤，其中，所述预设迭代训练结束条件包括迭代最大迭代次数阈值和模型损失收敛等。
其中，需要说明的是，由于人脸识别模型涉及的分类类别的数量极高，若仅仅基于所述类别分布相似度损失优化待训练人脸识别学生模型，则待训练人脸识别学习模型难以全面性地学习人脸识别教师模型的知识，进而将导致待训练人脸识别学习模型在迭代训练过程中难以收敛，而本申请实施例通过组合所述人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失生成的目标模型损失，优化待训练人脸识别学生模型，使得待训练人脸识别学习模型在迭代训练过程中可更快地收敛，且能全面性地学习到人脸识别教师模型的知识，进而实现了基于人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失，对人脸识别教师模型进行组合蒸馏的目的，相比于直接进行模型蒸馏的方式，待训练人脸识别学生模型可更高效且更多地学习到人脸识别教师模型的知识，进而迭代训练完成后获得的人脸识别压缩模型的人脸识别准确性将更高，所以，提升了压缩人脸识别模型的效果，如图2所示为本申请实施例中迭代训练待训练人脸识别学生模型的流程示意图，其中，I为所述训练人脸样本，Label为所述样本类别标签，教师模型为所述人脸识别教师模型，feat_t为所述第一训练人脸特征表示，feat_s为所述第二训练人脸特征表示，学生模型为所述待训练人脸识别学生模型，类别中心class weights为各所述人脸类别中心表示，Lreg为所述人脸识别损失，Lkl为所述KL散度损失，Lcos为所述特征表示相似度损失，总的损失函数为所述目标模型损失，模型参数为所述待训练人脸识别学生模型的模型参数。
其中，所述基于所述目标模型损失，优化所述待训练人脸识别学生模型，获得所述人脸识别教师模型对应的人脸识别压缩模型的步骤包括：
步骤S31，基于所述目标模型损失对应的模型梯度，更新所述待训练人脸识别学生模型的模型参数，并判断更新后的待训练人脸识别学生模型是否满足预设迭代训练结束条件；
在本实施例中，基于所述目标模型损失对应的模型梯度，更新所述待训练人脸识别学生模型的模型参数，并判断更新后的待训练人脸识别学生模型是否满足预设迭代训练结束条件，具体地，基于目标模型损失，计算所述待训练人脸识别学生模型对应的模型梯度，进而基于所述模型梯度，通过预设模型参数更新方式，对所述待训练人脸识别学生模型的模型参数进行更新，并判断更新模型参数后的待训练人脸识别学生模型是否满足预设迭代训练结束条件，其中，所述预设模型参数更新方式包括梯度下降法和梯度上升法等。
步骤S32，若满足，则将所述待训练人脸识别学生模型作为所述人脸识别压缩模型；
步骤S33，若不满足，则返回所述获取训练人脸样本和所述训练人脸样本对应的样本类别标签的步骤。
在本实施例中，若满足，则将所述待训练人脸识别学生模型作为所述人脸识别压缩模型；若不满足，则返回所述获取训练人脸样本和所述训练人脸样本对应的样本类别标签的步骤，以继续迭代训练所述待训练人脸识别学生模型，直至待训练人脸识别学生模型是否满足预设迭代训练结束条件。
其中，在所述基于所述目标模型损失，优化所述待训练人脸识别学生模型，获得所述人脸识别教师模型对应的目标压缩模型的步骤之后，所述人脸识别模型压缩方法还包括：
步骤S40，获取待识别人脸图像，并基于所述人脸识别压缩模型，对所述待识别人脸图像进行特征提取，获得目标人脸特征表示；
在本实施例中，获取待识别人脸图像，并基于所述人脸识别压缩模型，对所述待识别人脸图像进行特征提取，获得目标人脸特征表示，具体地，获取待识别人脸图像，并将所述待识别人脸图像输入所述人脸识别压缩模型，通过对所述待识别人脸图像进行特征提取，将所述待识别人脸图像映射为预设维数的向量，获得目标人脸特征表示。
步骤S50，通过计算所述目标人脸特征表示与各预录入人脸图像对应的特征表示之间的相似度，生成所述待识别人脸图像对应的人脸识别结果。
在本实施例中，需要说明的是，所述预录入人脸为预先录入的人脸，用于与输入的待识别人脸进行比对实现人脸识别。
通过计算所述目标人脸特征表示与各预录入人脸图像对应的特征表示之间的相似度，生成所述待识别人脸图像对应的人脸识别结果，具体地，计算所述目标人脸特征表示与各预录入人脸对应的特征表示之间的余弦相似度，进而选取余弦相似度最高的预录入人脸图像的人脸身份标签作为所述待识别人脸图像对应的人脸识别结果，其中，所述人脸身份标签为表示人脸的身份的标识，例如，身份证号和手机号等，其中，由于人脸识别压缩模型是通过结合人脸识别教师模型的人脸类别中心表示，基于人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失，对人脸识别教师模型进行组合蒸馏生成的，进而使得待训练人脸识别学生模型可更高效且更多地学习到人脸识别教师模型的知识，提升了人脸识别的准确性。
本申请实施例提供了一种人脸识别模型压缩方法，相比于现有技术采用的通过对训练好的人脸识别模型进行剪枝，对人脸识别模型进行压缩的技术手段，本申请实施例首先获取训练人脸样本和所述训练人脸样本对应的样本类别标签，并基于人脸识别教师模型和待训练人脸识别学生模型，分别对所述训练人脸样本进行特征提取，获得第一训练人脸特征表示和第二训练人脸特征表示，进而在所述人脸识别教师模型中提取各人脸类别中心表示，并依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成目标模型损失，进而实现了将人脸识别教师模型的类别中心表示直接共享给待训练人脸识别学生模型的目的，而由于人脸识别教师模型为复杂型模型，进而基于人脸识别教师模型的类别中心表示生成的损失，直接优化待训练人脸识别学生模型，实现了待训练人脸识别学生模型直接在人脸识别教师模型的类别中心表示基础上学习人脸识别教师模型的特征分布的目的，使得在待训练人脸识别学习模型为轻量型模型的前提下，提升了待训练人脸识别学生模型学习人脸识别教师模型的知识的学习效率和准确性，进而获得所述人脸识别教师模型对应的人脸识别压缩模型，提升了作为轻量型模型的人脸识别压缩模型的精度，所以，克服了当剪枝比例较高时，将影响剪枝后的压缩后的人脸识别模型的精度，而当剪枝比例较低时，压缩后的人脸识别模型仍然比较复杂，不便于模型部署，而导致人脸识别模型进行压缩的效果差的技术缺陷，提升了人脸识别模型的压缩效果。
进一步地，参照图3，在本申请的另一实施例中，所述人脸识别方法应用于人脸识别设备，所述人脸识别方法包括：
步骤B10，获取待识别人脸图像，并基于人脸识别教师模型的各人脸类别中心表示优化的人脸识别压缩模型，对所述待识别人脸图像进行特征提取，获得目标人脸特征表示；
在本实施例中，需要说明的是，所述人脸识别压缩模型是基于将人脸识别教师模型的类别中心表示直接共享给待训练人脸识别学生模型生成的，而由于人脸识别教师模型为复杂型模型，进而实现了人脸识别压缩模型直接在人脸识别教师模型的类别中心表示基础上学习人脸识别教师模型的知识的目的，使得在待训练人脸识别学习模型为轻量型模型的前提下，提升了待训练人脸识别学生模型学习人脸识别教师模型的知识的学习效率和准确性。
获取待识别人脸图像，并基于人脸识别教师模型的各人脸类别中心表示优化的人脸识别压缩模型，对所述待识别人脸图像进行特征提取，获得目标人脸特征表示，具体地，获取待识别人脸图像，并基于人脸识别教师模型的各类别中心表示优化的人脸识别压缩模型，对所述待识别人脸图像进行特征提取，以将所述待识别人脸图像映射为预设维数的向量，获得人脸特征表示。
其中，在所述基于人脸识别教师模型的类别中心表示优化的人脸识别压缩模型，对所述待识别人脸图像进行特征提取，获得人脸特征表示的步骤之前，所述人脸识别方法还包括：
步骤C10，获取训练人脸样本和所述训练人脸样本对应的样本类别标签，并基于所述人脸识别教师模型和待训练人脸识别学生模型，分别对所述训练人脸样本进行特征提取，获得第一训练人脸特征表示和第二训练人脸特征表示；
在本实施例中，获取训练人脸样本和所述训练人脸样本对应的样本类别标签，并基于所述人脸识别教师模型和待训练人脸识别学生模型，分别对所述训练人脸样本进行特征提取，获得第一训练人脸特征表示和第二训练人脸特征表示，具体地，获取训练人脸样本和所述训练人脸样本对应的样本类别标签，其中，所述训练人脸样本为表示人脸图像的人脸图像像素矩阵，进而基于人脸识别教师模型，对所述人脸图像像素矩阵进行特征提取，以将所述人脸图像像素矩阵映射为预设维数的向量，获得第一训练人脸特征表示，并基于待训练人脸识别学生模型，对所述人脸图像像素矩阵进行特征提取，以将所述人脸图像像素矩阵映射为预设维数的向量，获得第二训练人脸特征表示，其中，步骤C10的具体解释可参照步骤S10中的内容，在此不在赘述。
步骤C20，依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述待训练人脸识别学生模型对应的目标模型损失；
在本实施例中，依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述待训练人脸识别学生模型对应的目标模型损失，具体地，依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成人脸识别损失、类别分布相似度损失和特征表示相似度损失，进而对所述人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失进行加权求和，获得目标模型损失，其中，生成目标模型损失的具体内容可参照步骤S20、步骤S21至步骤S24以及步骤A10至步骤A30中的内容，在此不再赘述。
其中，所述依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述待训练人脸识别学生模型对应的目标模型损失的步骤包括：
步骤C21，基于所述第二训练人脸特征表示与各所述人脸类别中心表示之间的第一相似度以及所述样本类别标签，生成所述人脸识别损失；
在本实施例中，基于所述第二训练人脸特征表示与各所述人脸类别中心表示之间的第一相似度以及所述样本类别标签，生成所述人脸识别损失，具体地，计算所述第二训练人脸特征表示与各所述人脸类别中心表示之间的余弦相似度，获得各第一相似度，进而在各所述第一相似度中选取所述样本类别标签对应的相似度作为类内相似度，并将不为类内相似度的第一相似度作为类间相似度，进而基于各所述类间相似度与所述类内相似度，计算人脸识别损失，其中，计算所述人脸识别损失的具体内容可参照步骤S21以及步骤S211至步骤S214中的内容，在此不再赘述。
步骤C22，基于各所述第一相似度和所述第一训练人脸特征表示与各所述人脸类别中心之间的第二相似度，生成所述类别分布相似度损失；
在本实施例中，基于各所述第一相似度和所述第一训练人脸特征表示与各所述人脸类别中心之间的第二相似度，生成所述类别分布相似度损失，具体地，分别计算所述第一训练特征表示与各所述人脸类别中心之间的余弦值，获得各第二相似度，进而基于各所述第一相似度和各所述第二相似度，计算KL散度损失，并将所述KL散度损失作为所述类别分布相似度损失，其中，计算KL散度损失的具体内容可参照步骤S22中的内容，在此不再赘述。
步骤C23，基于所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述特征表示相似度损失；
在本实施例中，将所述第一训练人脸特征表示与所述第二训练人脸特征表示输入预设特征表示相似度损失计算公式，计算特征表示相似度损失，其中，计算所述特征表示相似度损失的具体内容可参照步骤S23中的内容，在此不再赘述。
步骤C24，基于所述人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失，生成所述目标模型损失。
在本实施例中，基于所述人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失，生成所述目标模型损失，具体地，对所述人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失进行加权求和，获得所述目标模型损失。
步骤C30，基于所述目标模型损失，优化所述待训练人脸识别学生模型，获得所述人脸识别教师模型对应的人脸识别压缩模型。
在本实施例中，基于所述目标模型损失，优化所述待训练人脸识别学生模型，获得所述人脸识别教师模型对应的人脸识别压缩模型，具体地，基于所述目标模型损失对应的模型梯度，优化所述待训练人脸识别学生模型，并判断优化后的待训练人脸识别学生模型是否满足预设迭代训练结束条件，若满足，则将所述待训练人脸识别学生模型作为所述人脸识别教师模型对应的人脸识别压缩模型，若不满足，则则返回所述获取训练人脸样本和所述训练人脸样本对应的样本类别标签的步骤，其中，所述预设迭代训练结束条件包括迭代最大迭代次数阈值和模型损失收敛等。
步骤B20，通过计算所述目标人脸特征表示与各预录入人脸对应的人脸特征表示之间的相似度，生成所述待识别人脸图像对应的人脸识别结果。
在本实施例中，通过计算所述目标人脸特征表示与各预录入人脸对应的人脸特征表示之间的相似度，生成所述待识别人脸图像对应的人脸识别结果，具体地，计算所述目标人脸特征表示与各预录入人脸对应的特征表示之间的余弦相似度，进而选取余弦相似度最高的预录入人脸图像的人脸身份标签作为所述待识别人脸图像对应的人脸识别结果，其中，所述人脸身份标签为表示人脸的身份的标识，例如，身份证号和手机号等，其中，由于人脸识别压缩模型是通过结合人脸识别教师模型的人脸类别中心表示，基于人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失，对人脸识别教师模型进行组合蒸馏生成的，进而使得待训练人脸识别学生模型可更高效且更多地学习到人脸识别教师模型的知识，提升了人脸识别的准确性。
本申请实施例提供了一种人脸识别方法，也即，首先获取待识别人脸图像，进而基于人脸识别教师模型的各人脸类别中心表示优化的人脸识别压缩模型，对所述待识别人脸图像进行特征提取，获得目标人脸特征表示，进而通过计算所述目标人脸特征表示与各预录入人脸对应的人脸特征表示之间的相似度，生成所述待识别人脸图像对应的人脸识别结果，其中，由于人脸识别压缩模型是通过结合人脸识别教师模型的人脸类别中心表示，基于人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失，对人脸识别教师模型进行组合蒸馏生成的轻量型网络结构的模型，进而使得待训练人脸识别学生模型可更高效且更多地学习到具备复杂型网络结构的人脸识别教师模型的知识，提升了具备轻量型网络结构的人脸识别压缩模型的准确度，进而提升了人脸识别的准确度。
参照图4，图4是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图4所示，该人脸识别模型压缩设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该人脸识别模型压缩设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图4中示出的人脸识别模型压缩设备结构并不构成对人脸识别模型压缩设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图4所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块以及人脸识别模型压缩程序。操作***是管理和控制人脸识别模型压缩设备硬件和软件资源的程序，支持人脸识别模型压缩程序以及其它软件和/或，程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与人脸识别模型压缩***中其它硬件和软件之间通信。
在图4所示的人脸识别模型压缩设备中，处理器1001用于执行存储器1005中存储的人脸识别模型压缩程序，实现上述任一项所述的人脸识别模型压缩方法的步骤。
本申请人脸识别模型压缩设备具体实施方式与上述人脸识别模型压缩方法各实施例基本相同，在此不再赘述。
参照图5，图5是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图5所示，该人脸识别设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该人脸识别设备还可以包括矩形用户接口、网络接口、摄像头、RF(RadioFrequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图5中示出的人脸识别设备结构并不构成对人脸识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块以及人脸识别程序。操作***是管理和控制人脸识别设备硬件和软件资源的程序，支持人脸识别程序以及其它软件和/或，程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与人脸识别***中其它硬件和软件之间通信。
在图5所示的人脸识别设备中，处理器1001用于执行存储器1005中存储的人脸识别程序，实现上述任一项所述的人脸识别方法的步骤。
本申请人脸识别设备具体实施方式与上述人脸识别方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种人脸识别模型压缩装置，所述人脸识别模型压缩装置应用于人脸识别模型压缩设备，所述人脸识别模型压缩装置包括：
特征提取模块，用于获取训练人脸样本和所述训练人脸样本对应的样本类别标签，并基于人脸识别教师模型和待训练人脸识别学生模型，分别对所述训练人脸样本进行特征提取，获得第一训练人脸特征表示和第二训练人脸特征表示；
损失计算模块，用于在所述人脸识别教师模型中提取各人脸类别中心表示，并依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述待训练人脸识别学生模型对应的目标模型损失；
模型优化模块，用于基于所述目标模型损失，优化所述待训练人脸识别学生模型，获得所述人脸识别教师模型对应的人脸识别压缩模型。
可选地，所述损失计算模块还用于：
基于所述第二训练人脸特征表示与各所述人脸类别中心表示之间的第一相似度以及所述样本类别标签，生成所述人脸识别损失；
基于各所述第一相似度和所述第一训练人脸特征表示与各所述人脸类别中心之间的第二相似度，生成所述类别分布相似度损失；
基于所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述特征表示相似度损失；
基于所述人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失，生成所述目标模型损失。
可选地，所述损失计算模块还用于：
基于所述样本类别标签，在各所述人脸类别中心表示中确定所述第二训练人脸特征表示对应的所属类别中心表示以及对应的各非所属类别中心表示；
计算所述第二训练人脸特征表示与所述所属类别中心表示之间的相似度，获得所述类内相似度；
分别计算所述第二训练人脸特征表示与各所述非所属类别中心表示之间的相似度，获得各所述类间相似度；
基于所述类内相似度和各所述类间相似度，生成所述人脸识别损失。
可选地，所述损失计算模块还用于：
基于所述第二训练人脸特征表示与各所述人脸类别中心表示之间的第一相似度以及所述样本类别标签，生成所述人脸识别损失；
基于各所述第一相似度和所述第一训练人脸特征表示与各所述人脸类别中心之间的第二相似度，生成所述类别分布相似度损失；
基于所述人脸识别损失和所述类别分布相似度损失，生成所述目标模型损失。
可选地，所述模型优化模块还用于：
基于所述目标模型损失对应的模型梯度，更新所述待训练人脸识别学生模型的模型参数，并判断更新后的待训练人脸识别学生模型是否满足预设迭代训练结束条件；
若满足，则将所述待训练人脸识别学生模型作为所述人脸识别压缩模型；
若不满足，则返回所述获取训练人脸样本和所述训练人脸样本对应的样本类别标签的步骤。
可选地，所述人脸识别模型压缩装置还用于：
获取待识别人脸图像，并基于所述人脸识别压缩模型，对所述待识别人脸图像进行特征提取，获得目标人脸特征表示；
通过计算所述目标人脸特征表示与各预录入人脸图像对应的特征表示之间的相似度，生成所述待识别人脸图像对应的人脸识别结果。
本申请人脸识别模型压缩装置的具体实施方式与上述人脸识别模型压缩方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种人脸识别装置，所述人脸识别装置应用于人脸识别设备，所述人脸识别装置包括：
特征提取模块，用于获取待识别人脸图像，并基于人脸识别教师模型的各人脸类别中心表示优化的人脸识别压缩模型，对所述待识别人脸图像进行特征提取，获得目标人脸特征表示；
生成模块，用于通过计算所述目标人脸特征表示与各预录入人脸对应的人脸特征表示之间的相似度，生成所述待识别人脸图像对应的人脸识别结果。
可选地，所述人脸识别装置还用于：
获取训练人脸样本和所述训练人脸样本对应的样本类别标签，并基于所述人脸识别教师模型和待训练人脸识别学生模型，分别对所述训练人脸样本进行特征提取，获得第一训练人脸特征表示和第二训练人脸特征表示；
依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述待训练人脸识别学生模型对应的目标模型损失；
基于所述目标模型损失，优化所述待训练人脸识别学生模型，获得所述人脸识别教师模型对应的人脸识别压缩模型。
可选地，所述人脸识别装置还用于：
基于所述第二训练人脸特征表示与各所述人脸类别中心表示之间的第一相似度以及所述样本类别标签，生成所述人脸识别损失；
基于各所述第一相似度和所述第一训练人脸特征表示与各所述人脸类别中心之间的第二相似度，生成所述类别分布相似度损失；
基于所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述特征表示相似度损失；
基于所述人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失，生成所述目标模型损失。
本申请人脸识别装置的具体实施方式与上述人脸识别方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种介质，所述介质为可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的人脸识别模型压缩方法的步骤。
本申请可读存储介质具体实施方式与上述人脸识别模型压缩方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种介质，所述介质为可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的人脸识别方法的步骤。
本申请可读存储介质具体实施方式与上述人脸识别方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种计算机程序产品，且所述计算机程序产品包括有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的人脸识别模型压缩方法的步骤。
本申请计算机程序产品具体实施方式与上述人脸识别模型压缩方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种计算机程序产品，且所述计算机程序产品包括有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的人脸识别方法的步骤。
本申请计算机程序产品具体实施方式与上述人脸识别方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (14)

1.一种人脸识别模型压缩方法，其特征在于，所述人脸识别模型压缩方法包括：
获取训练人脸样本和所述训练人脸样本对应的样本类别标签，并基于人脸识别教师模型和待训练人脸识别学生模型，分别对所述训练人脸样本进行特征提取，获得第一训练人脸特征表示和第二训练人脸特征表示；
在所述人脸识别教师模型中提取各人脸类别中心表示，并依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述待训练人脸识别学生模型对应的目标模型损失；
基于所述目标模型损失，优化所述待训练人脸识别学生模型，获得所述人脸识别教师模型对应的人脸识别压缩模型。
2.如权利要求1所述人脸识别模型压缩方法，其特征在于，所述依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述待训练人脸识别学生模型对应的目标模型损失的步骤包括：
基于所述第二训练人脸特征表示与各所述人脸类别中心表示之间的第一相似度以及所述样本类别标签，生成所述人脸识别损失；
基于各所述第一相似度和所述第一训练人脸特征表示与各所述人脸类别中心之间的第二相似度，生成所述类别分布相似度损失；
基于所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述特征表示相似度损失；
基于所述人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失，生成所述目标模型损失。
3.如权利要求2所述人脸识别模型压缩方法，其特征在于，所述第一相似度包括类内相似度和类间相似度，
所述基于所述第二训练人脸特征表示与各所述人脸类别中心表示之间的第一相似度以及所述样本类别标签的步骤包括：
基于所述样本类别标签，在各所述人脸类别中心表示中确定所述第二训练人脸特征表示对应的所属类别中心表示以及对应的各非所属类别中心表示；
计算所述第二训练人脸特征表示与所述所属类别中心表示之间的相似度，获得所述类内相似度；
分别计算所述第二训练人脸特征表示与各所述非所属类别中心表示之间的相似度，获得各所述类间相似度；
基于所述类内相似度和各所述类间相似度，生成所述人脸识别损失。
4.如权利要求1所述人脸识别模型压缩方法，其特征在于，所述依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述待训练人脸识别学生模型对应的目标模型损失的步骤还包括：
基于所述第二训练人脸特征表示与各所述人脸类别中心表示之间的第一相似度以及所述样本类别标签，生成所述人脸识别损失；
基于各所述第一相似度和所述第一训练人脸特征表示与各所述人脸类别中心之间的第二相似度，生成所述类别分布相似度损失；
基于所述人脸识别损失和所述类别分布相似度损失，生成所述目标模型损失。
5.如权利要求1所述人脸识别模型压缩方法，其特征在于，所述基于所述目标模型损失，优化所述待训练人脸识别学生模型，获得所述人脸识别教师模型对应的人脸识别压缩模型的步骤包括：
基于所述目标模型损失对应的模型梯度，更新所述待训练人脸识别学生模型的模型参数，并判断更新后的待训练人脸识别学生模型是否满足预设迭代训练结束条件；
若满足，则将所述待训练人脸识别学生模型作为所述人脸识别压缩模型；
若不满足，则返回所述获取训练人脸样本和所述训练人脸样本对应的样本类别标签的步骤。
6.如权利要求1所述人脸识别模型压缩方法，其特征在于，在所述基于所述目标模型损失，优化所述待训练人脸识别学生模型，获得所述人脸识别教师模型对应的目标压缩模型的步骤之后，所述人脸识别模型压缩方法还包括：
获取待识别人脸图像，并基于所述人脸识别压缩模型，对所述待识别人脸图像进行特征提取，获得目标人脸特征表示；
通过计算所述目标人脸特征表示与各预录入人脸图像对应的特征表示之间的相似度，生成所述待识别人脸图像对应的人脸识别结果。
7.一种人脸识别方法，其特征在于，所述人脸识别方法包括：
获取待识别人脸图像，并基于人脸识别教师模型的各人脸类别中心表示优化的人脸识别压缩模型，对所述待识别人脸图像进行特征提取，获得目标人脸特征表示；
通过计算所述目标人脸特征表示与各预录入人脸对应的人脸特征表示之间的相似度，生成所述待识别人脸图像对应的人脸识别结果。
8.如权利要求7所述人脸识别方法，其特征在于，在所述基于人脸识别教师模型的类别中心表示优化的人脸识别压缩模型，对所述待识别人脸图像进行特征提取，获得人脸特征表示的步骤之前，所述人脸识别方法还包括：
获取训练人脸样本和所述训练人脸样本对应的样本类别标签，并基于所述人脸识别教师模型和待训练人脸识别学生模型，分别对所述训练人脸样本进行特征提取，获得第一训练人脸特征表示和第二训练人脸特征表示；
依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述待训练人脸识别学生模型对应的目标模型损失；
基于所述目标模型损失，优化所述待训练人脸识别学生模型，获得所述人脸识别教师模型对应的人脸识别压缩模型。
9.如权利要求8所述人脸识别方法，其特征在于，所述依据各所述人脸类别中心表示、所述样本类别标签、所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述待训练人脸识别学生模型对应的目标模型损失的步骤包括：
基于所述第二训练人脸特征表示与各所述人脸类别中心表示之间的第一相似度以及所述样本类别标签，生成所述人脸识别损失；
基于各所述第一相似度和所述第一训练人脸特征表示与各所述人脸类别中心之间的第二相似度，生成所述类别分布相似度损失；
基于所述第一训练人脸特征表示和所述第二训练人脸特征表示，生成所述特征表示相似度损失；
基于所述人脸识别损失、所述类别分布相似度损失和所述特征表示相似度损失，生成所述目标模型损失。
10.一种人脸识别模型压缩设备，其特征在于，所述人脸识别模型压缩设备包括：存储器、处理器以及存储在存储器上的用于实现所述人脸识别模型压缩方法的程序，
所述存储器用于存储实现人脸识别模型压缩方法的程序；
所述处理器用于执行实现所述人脸识别模型压缩方法的程序，以实现如权利要求1至6中任一项所述人脸识别模型压缩方法的步骤。
11.一种人脸识别设备，其特征在于，所述人脸识别设备包括：存储器、处理器以及存储在存储器上的用于实现所述人脸识别方法的程序，
所述存储器用于存储实现人脸识别方法的程序；
所述处理器用于执行实现所述人脸识别方法的程序，以实现如权利要求7至9中任一项所述人脸识别方法的步骤。
12.一种介质，所述介质为可读存储介质，其特征在于，所述可读存储介质上存储有实现人脸识别模型压缩方法的程序，所述实现人脸识别模型压缩方法的程序被处理器执行以实现如权利要求1至6中任一项所述人脸识别模型压缩方法的步骤。
13.一种介质，所述介质为可读存储介质，其特征在于，所述可读存储介质上存储有实现人脸识别方法的程序，所述实现人脸识别方法的程序被处理器执行以实现如权利要求7至9中任一项所述人脸识别方法的步骤。
14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述人脸识别模型压缩方法的步骤或者实现如权利要求7至9中任一项所述人脸识别方法的步骤。
CN202110617959.XA 2021-06-03 2021-06-03 人脸识别模型压缩方法、设备、介质及计算机程序产品 Pending CN113361384A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110617959.XA CN113361384A (zh) 2021-06-03 2021-06-03 人脸识别模型压缩方法、设备、介质及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110617959.XA CN113361384A (zh) 2021-06-03 2021-06-03 人脸识别模型压缩方法、设备、介质及计算机程序产品

Publications (1)

Publication Number Publication Date
CN113361384A true CN113361384A (zh) 2021-09-07

Family

ID=77531616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110617959.XA Pending CN113361384A (zh) 2021-06-03 2021-06-03 人脸识别模型压缩方法、设备、介质及计算机程序产品

Country Status (1)

Country Link
CN (1) CN113361384A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610069A (zh) * 2021-10-11 2021-11-05 北京文安智能技术股份有限公司 基于知识蒸馏的目标检测模型训练方法
CN113947801A (zh) * 2021-12-21 2022-01-18 中科视语(北京)科技有限公司 人脸识别方法、装置和电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610069A (zh) * 2021-10-11 2021-11-05 北京文安智能技术股份有限公司 基于知识蒸馏的目标检测模型训练方法
CN113947801A (zh) * 2021-12-21 2022-01-18 中科视语(北京)科技有限公司 人脸识别方法、装置和电子设备
CN113947801B (zh) * 2021-12-21 2022-07-26 中科视语(北京)科技有限公司 人脸识别方法、装置和电子设备

Similar Documents

Publication Publication Date Title
JP7185039B2 (ja) 画像分類モデルの訓練方法、画像処理方法及びその装置、並びにコンピュータプログラム
CN109961009B (zh) 基于深度学习的行人检测方法、***、装置及存储介质
TWI773189B (zh) 基於人工智慧的物體檢測方法、裝置、設備及儲存媒體
CN108898086B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN110458107B (zh) 用于图像识别的方法和装置
CN112651438A (zh) 多类别图像的分类方法、装置、终端设备和存储介质
WO2021143267A1 (zh) 基于图像检测的细粒度分类模型处理方法、及其相关设备
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN111209970A (zh) 视频分类方法、装置、存储介质及服务器
CN111753863A (zh) 一种图像分类方法、装置、电子设备及存储介质
WO2022042120A1 (zh) 目标图像提取方法、神经网络训练方法及装置
CN113361384A (zh) 人脸识别模型压缩方法、设备、介质及计算机程序产品
CN112348081A (zh) 用于图像分类的迁移学习方法、相关装置及存储介质
US10733481B2 (en) Cloud device, terminal device, and method for classifying images
WO2022111387A1 (zh) 一种数据处理方法及相关装置
CN111311480A (zh) 图像融合方法和装置
US20230021551A1 (en) Using training images and scaled training images to train an image segmentation model
CN110717405B (zh) 人脸特征点定位方法、装置、介质及电子设备
CN113065634B (zh) 一种图像处理方法、神经网络的训练方法以及相关设备
CN111476144A (zh) 行人属性识别模型确定方法、装置及计算机可读存储介质
CN116363641A (zh) 一种图像处理方法、装置及电子设备
CN117273074A (zh) 一种数据处理方法及其装置
CN113743448B (zh) 模型训练数据获取方法、模型训练方法和装置
CN115546554A (zh) 敏感图像的识别方法、装置、设备和计算机可读存储介质
CN115424060A (zh) 模型训练方法、图像分类方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination