CN112766164A - 人脸识别模型训练方法、装置、设备及可读存储介质 - Google Patents
人脸识别模型训练方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN112766164A CN112766164A CN202110076000.XA CN202110076000A CN112766164A CN 112766164 A CN112766164 A CN 112766164A CN 202110076000 A CN202110076000 A CN 202110076000A CN 112766164 A CN112766164 A CN 112766164A
- Authority
- CN
- China
- Prior art keywords
- face
- recognition model
- face recognition
- face image
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 60
- 239000013598 vector Substances 0.000 claims abstract description 46
- 230000006870 function Effects 0.000 claims description 65
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013441 quality evaluation Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 208000029152 Small face Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸识别模型训练方法、装置、设备及可读存储介质，所述方法包括：采用待训练的人脸识别模型提取得到训练数据集中各人脸图像对应的特征向量；基于各所述特征向量和各所述人脸图像对应的人脸标签计算得到各所述人脸图像对应的损失项；基于各所述人脸图像对应的质量分数对各所述损失项进行加权平均得到损失函数值；基于所述损失函数值更新所述人脸识别模型。本发明实现了提高人脸识别模型对质量低的人脸图像的识别准确率。
Description
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种人脸识别模型训练方法、装置、设备及可读存储介质。
背景技术
人脸识别(Face Recognition)是基于人的脸部特征信息进行身份识别的一种生物识别技术，目前人脸识别技术发展已比较成熟。采用人脸识别模型进行人脸识别时，一般对人脸识别模型的训练方法是基于公开或者私有数据集作为样本进行训练，这些数据集包括多个ID，每个ID有至少一张人脸照片(人脸图像)，训练时将ID信息作为监督信息。但是，目前的人脸识别模型训练方法所采用的照片中有些是属于拍摄角度偏、人脸模糊不清等质量差的照片，对于这些图片也与正常图片无差异地使用，导致训练出的人脸识别模型对质量差的人脸图像识别准确率低。
发明内容
本发明的主要目的在于提供一种人脸识别模型训练方法、装置、设备及可读存储介质，旨在解决目前的人脸识别模型训练方法训练出的人脸识别模型对质量差的人脸图像识别准确率低的问题。
为实现上述目的，本发明提供一种人脸识别模型训练方法，所述方法包括以下步骤：
采用待训练的人脸识别模型提取得到训练数据集中各人脸图像对应的特征向量；
基于各所述特征向量和各所述人脸图像对应的人脸标签计算得到各所述人脸图像对应的损失项；
基于各所述人脸图像对应的质量分数对各所述损失项进行加权平均得到损失函数值；
基于所述损失函数值更新所述人脸识别模型。
可选地，所述基于各所述人脸图像对应的质量分数对各所述损失项进行加权平均得到损失函数值的步骤包括：
将各所述人脸图像对应的质量分数按照预设转换规则进行转换，得到各所述人脸图像对应的权重，其中，各所述人脸图像的权重之间满足人脸图像的质量分数越低权重越大的关系；
采用各所述人脸图像对应的所述权重对各所述损失项进行加权平均得到损失函数值。
可选地，所述将各所述人脸图像对应的质量分数按照预设转换规则进行转换，得到各所述人脸图像对应的权重的步骤包括：
对各所述人脸图像对应的质量分数分别进行取负操作后代入指数函数，得到各所述人脸图像对应的权重。
可选地，所述对各所述人脸图像对应的质量分数分别进行取负操作后代入指数函数，得到各所述人脸图像对应的权重的步骤包括：
对各所述人脸图像对应的质量分数分别进行取负操作后乘以预设调节系数得到中间值；
将各所述中间值分别代入指数函数，得到各所述人脸图像对应的权重。
可选地，所述基于各所述特征向量和各所述人脸图像对应的人脸标签计算得到各所述人脸图像对应的损失项的步骤包括：
将各所述特征向量分别输入所述人脸识别模型中的全连接层得到对应的输出结果，其中，所述全连接层的输出维数为所述训练数据集中人脸标签的总类别数；
基于各所述人脸图像对应的人脸标签和所述输出结果，分别计算得到各所述人脸图像对应的损失项。
可选地，所述基于所述损失函数值更新所述人脸识别模型的步骤之后，还包括：
当检测到更新后的人脸识别模型满足预设模型条件时，将更新后的人脸识别模型作为目标人脸识别模型；
获取待识别人脸图像，将所述待识别人脸图像输入所述目标人脸识别模型得到所述待识别人脸图像对应的人脸识别结果。
可选地，所述基于各所述人脸图像对应的质量分数对各所述损失项进行加权平均得到损失函数值的步骤之前，还包括：
对各所述人脸图像分别进行人脸质量评估，得到各所述人脸图像对应的所述质量分数。
为实现上述目的，本发明还提供一种人脸识别模型训练装置，所述装置包括：
提取模块，用于采用待训练的人脸识别模型提取得到训练数据集中各人脸图像对应的特征向量；
第一计算模块，用于基于各所述特征向量和各所述人脸图像对应的人脸标签计算得到各所述人脸图像对应的损失项；
第二计算模块，用于基于各所述人脸图像对应质量分数对各所述损失项进行加权平均得到损失函数值；
更新模块，用于基于所述损失函数值更新所述人脸识别模型。
为实现上述目的，本发明还提供一种人脸识别模型训练设备，所述人脸识别模型训练设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸识别模型训练程序，所述人脸识别模型训练程序被所述处理器执行时实现如上所述的人脸识别模型训练方法的步骤。
此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸识别模型训练程序，所述人脸识别模型训练程序被处理器执行时实现如上所述的人脸识别模型训练方法的步骤。
本发明中，通过采用待训练的人脸识别模型提取得到训练数据集中各人脸图像对应的特征向量，基于各所述特征向量和各所述人脸图像对应的人脸标签计算得到各所述人脸图像对应的损失项，基于各所述人脸图像对应的质量分数对各所述损失项进行加权平均得到损失函数值，基于所述损失函数值更新所述人脸识别模型，实现了在人脸识别模型的训练过程中，能够通过各个人脸图像的质量分数控制其在损失函数中所占的比重，从而能够突出人脸识别模型对质量低的人脸图像的训练力度，进而使得训练得到的人脸识别模型对质量低的人脸图像也能够有较高的识别准确率。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明人脸识别模型训练方法第一实施例的流程示意图；
图3为本发明实施例涉及的一种人脸识别模型示意图；
图4为本发明实施例涉及的一种人脸识别的应用场景示意图；
图5为本发明人脸识别模型训练装置较佳实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
需要说明的是，本发明实施例人脸识别模型训练设备可以是智能手机、个人计算机和服务器等设备，在此不做具体限制。
如图1所示，该人脸识别模型训练设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对人脸识别模型训练设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及人脸识别模型训练程序。操作***是管理和控制设备硬件和软件资源的程序，支持人脸识别模型训练程序以及其它软件或程序的运行。在图1所示的设备中，用户接口1003主要用于与客户端进行数据通信；网络接口1004主要用于与服务器建立通信连接；而处理器1001可以用于调用存储器1005中存储的人脸识别模型训练程序，并执行以下操作：
采用待训练的人脸识别模型提取得到训练数据集中各人脸图像对应的特征向量；
基于各所述特征向量和各所述人脸图像对应的人脸标签计算得到各所述人脸图像对应的损失项；
基于各所述人脸图像对应的质量分数对各所述损失项进行加权平均得到损失函数值；
基于所述损失函数值更新所述人脸识别模型。
进一步地，所述基于各所述人脸图像对应的质量分数对各所述损失项进行加权平均得到损失函数值的步骤包括：
将各所述人脸图像对应的质量分数按照预设转换规则进行转换，得到各所述人脸图像对应的权重，其中，各所述人脸图像的权重之间满足人脸图像的质量分数越低权重越大的关系；
采用各所述人脸图像对应的所述权重对各所述损失项进行加权平均得到损失函数值。
进一步地，所述将各所述人脸图像对应的质量分数按照预设转换规则进行转换，得到各所述人脸图像对应的权重的步骤包括：
对各所述人脸图像对应的质量分数分别进行取负操作后代入指数函数，得到各所述人脸图像对应的权重。
进一步地，所述对各所述人脸图像对应的质量分数分别进行取负操作后代入指数函数，得到各所述人脸图像对应的权重的步骤包括：
对各所述人脸图像对应的质量分数分别进行取负操作后乘以预设调节系数得到中间值；
将各所述中间值分别代入指数函数，得到各所述人脸图像对应的权重。
进一步地，所述基于各所述特征向量和各所述人脸图像对应的人脸标签计算得到各所述人脸图像对应的损失项的步骤包括：
将各所述特征向量分别输入所述人脸识别模型中的全连接层得到对应的输出结果，其中，所述全连接层的输出维数为所述训练数据集中人脸标签的总类别数；
基于各所述人脸图像对应的人脸标签和所述输出结果，分别计算得到各所述人脸图像对应的损失项。
进一步地，所述基于所述损失函数值更新所述人脸识别模型的步骤之后，还包括：
当检测到更新后的人脸识别模型满足预设模型条件时，将更新后的人脸识别模型作为目标人脸识别模型；
获取待识别人脸图像，将所述待识别人脸图像输入所述目标人脸识别模型得到所述待识别人脸图像对应的人脸识别结果。
进一步地，所述基于各所述人脸图像对应的质量分数对各所述损失项进行加权平均得到损失函数值的步骤之前，还包括：
对各所述人脸图像分别进行人脸质量评估，得到各所述人脸图像对应的所述质量分数。
基于上述的结构，提出人脸识别模型训练方法的各个实施例。
参照图2，图2为本发明人脸识别模型训练方法第一实施例的流程示意图。
本发明实施例提供了人脸识别模型训练方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本发明人脸识别模型训练方法各个实施例的执行主体可以是智能手机、个人计算机和服务器等设备，为便于描述，以下各实施例中省略执行主体进行阐述。在本实施例中，人脸识别模型训练方法包括：
步骤S10，采用待训练的人脸识别模型提取得到训练数据集中各人脸图像对应的特征向量；
在本实施例中，可预先设置待训练的人脸识别模型，具体地，可采用常用的人脸识别模型，也即，本实施例中的训练方法适用于现有的各种人脸识别模型。人脸识别模型中包括用于提取人脸图像特征向量的网络结构，例如残差网络resnet；在该网络结构之后，根据具体的人脸识别任务可以设置不同的输出层，以输出想要的人脸识别结果，例如，人脸识别任务是识别人脸图像中是否包含预先设置的人脸库中的人脸时，输出层可以设置为全连接层+softmax的多分类器，用于输出人脸图像分别属于人脸库中各个人脸的概率。特别地，人脸识别模型也可以不设置输出层，即在某些应用场景下只需要获得人脸图像的特征向量即可。如图3所示为一种典型的人脸识别模型示意图，其中，recognition module是识别模块，fc1是一个全连接层，两个部分组合起来是特征提取网络结构，也即人脸图像输入后，经过层层处理到fc1层输出一个特征向量，fc2是输出层的全连接层，在训练阶段，在fc2层计算损失，在模型训练后的应用阶段，在fc2层后接softmax即可输出人脸图像属于人脸库中各个人脸的概率。
需要说明的是，待训练的人脸识别模型中各个模型参数在训练之前是初始化设置的，例如可以根据经验初始化或随机初始化。训练过程即是对模型参数不断更新的过程，直到找到使得模型的人脸识别准确率满足一定准确率要求的模型参数时，结束训练。
预先可采集用于训练人脸识别模型的训练数据集，训练数据集中包括多张人脸图像，各张人脸图像分别对应一个人脸标签，人脸标签可以是该人脸图像中包含的人脸的ID，可以理解的是，包含相同人脸的人脸图像所对应的人脸标签是相同的，包含不同人脸的人脸图像所对应的人脸标签是不同的。例如，一个训练数据集中包括5800000张人脸图像的训练数据集，对应有80000多个不同的ID。
在本实施例中，采用有监督的训练方法对待训练的人脸识别模型进行训练。在每一轮的迭代训练中，先采用待训练的人脸识别模型对训练数据集中的各个人脸图像分别进行特征提取，得到各个人脸图像对应的特征向量。其中，根据网络结构的不同，特征向量的维度不同，例如可以设置为输出512维的特征向量。可以理解的是，人脸识别模型是通过特征提取网络结构将高维空间的人脸图像数据映射到低维空间，得到低维的特征向量，而这个特征向量能够体现该人脸图像区别于其他人脸图像的特征，模型的训练过程相当于是要提高特征向量对特征的表现能力。
步骤S20，基于各所述特征向量和各所述人脸图像对应的人脸标签计算得到各所述人脸图像对应的损失项；
在得到各个人脸图像对应的特征向量后，可以根据各个特征向量和各个人脸图像对应的人脸标签计算各个人脸图像对应的损失项。也即，对于每个人脸图像，根据该人脸图像对应的特征向量和人脸标签来计算该人脸图像对应的损失项。损失项的计算方法可以按照人脸图像识别模型常用的损失函数计算方法来计算，例如可采用Softmax loss、Centerloss、Triplet loss或ArcFace loss等损失函数计算方法。这些损失函数计算方法都是采用一定的方法基于样本的特征向量和人脸标签来计算得到各个样本(也即各个人脸图像)分别对应的损失项，再将各个损失项进行平均得到损失函数值，区别在于不同的损失函数计算方法在损失项的计算方法上不同，在本实施例中不作详细赘述。
步骤S30，基于各所述人脸图像对应的质量分数对各所述损失项进行加权平均得到损失函数值；
在得到各个人脸图像对应的损失项后，可对各个人脸图像进行加权平均得到损失函数值。加权平均计算中各个损失项对应的权重可以根据对应人脸图像的质量分数得到。其中，质量分数表征了人脸图像的质量高低，根据具体需要不同，质量的定义可以不同，例如，可以定义为人脸图像的清晰度越高表示人脸图像的质量越高，人脸图像中人脸的角度越高表示人脸图像的质量越高，等待。质量分数可以由人工对训练数据集中的人脸图像按照质量定义进行打分得到。也可以根据质量定义制定打分规则，自动地根据打分规则来对人脸图像进行打分，例如将图像的清晰度作为质量分数，则可以自动地获取图像的清晰度，将清晰度标记为图像的质量分数。在一实施方式中，可以采用现有的人脸质量评估模型来计算各个人脸图像对应的质量分数，例如FaceQnet模型(一种开源的人脸质量评估模型)。
由于训练得到人脸识别模型对质量低的人脸图像的识别准确率较低，在本实施例中，为解决该问题，可以将质量越低的人脸图像的损失项对应的权重设置得越高，使得在训练过程中人脸识别模型能够着重提升对质量低的人脸图像的识别能力，从而提高训练得到的人脸识别模型对质量较差的人脸图像的识别准确率。具体地，当质量分数越高表示人脸图像的质量越低时，可以直接将质量分数作为人脸图像对应的权重，或者若各个人脸图像的质量分数之间差异较大，可以将质量分数进行归一化处理后作为人脸图像对应的权重。
步骤S40，基于所述损失函数值更新所述人脸识别模型。
在计算得到损失函数值后，可以基于该损失函数值更新人脸识别模型。具体地，可以按照反向传播方法，根据损失函数值计算损失函数对人脸识别模型中各个模型参数的梯度值，再根据梯度值更新各个模型参数，以实现对人脸识别模型的一轮更新，具体过程在此不进行详细赘述。
进一步地，所述步骤S40之后，还包括：
步骤S50，当检测到更新后的人脸识别模型满足预设模型条件时，将更新后的人脸识别模型作为目标人脸识别模型；
在更新人脸识别模型后，可以检测更新后的人脸识别模型是否满足预先设置的模型条件，如果不满足，则再基于更新后的人脸识别模型进行一轮迭代训练，直到满足该预设模型条件时，结束训练，将最终更新后的人脸识别模型作为目标人脸识别模型。其中，模型条件可以设置为损失函数值收敛，或达到一定的训练轮次，或达到一定的训练时长等等。
步骤S60，获取待识别人脸图像，将所述待识别人脸图像输入所述目标人脸识别模型得到所述待识别人脸图像对应的人脸识别结果。
在得到目标人脸识别模型后，可以采用目标人脸识别模型来进行人脸识别。具体地，可以获取待识别人脸图像，将待识别人脸图像输入目标人脸识别模型得到待识别人脸图像对应的人脸识别结果。具体地，当在应用场景中，需要识别人脸图像中的人脸是否属于人脸库中的人脸时，人脸识别结果是待识别人脸图像属于人脸库中的各个人脸的概率；在得到该人脸识别结果后，可以选取最大的概率所对应的人脸ID作为该待识别人脸图像中人脸的ID，并将该结果输出。当在应用场景中，需要识别两个人脸图像中的人脸是否为同一人时，可以将两个待识别人脸图像分别输入目标人脸识别模型得到两个图像对应的特征向量，再计算两个特征向量之间的相似度，将相似度作为人脸识别结果；可以将该相似度与一阈值进行比较，如0.5，大于阈值则输出两个人脸图像中人脸为同一个人的结果，不大于阈值则输出两个人脸图像中人脸不为同一个人的结果。
如图4所示为一种可行的人脸识别应用场景示意图，左边的服务器收集人脸图像训练数据集按照本实施例中的训练方法进行训练，得到人脸识别模型；右边用户通过用户终端将需要识别的人脸图像上传至服务器，由服务器采用训练得到的人脸识别模型对该人脸图像进行识别，并将识别结果返回至用户终端。
在本实施例中，通过采用待训练的人脸识别模型提取得到训练数据集中各人脸图像对应的特征向量，基于各所述特征向量和各所述人脸图像对应的人脸标签计算得到各所述人脸图像对应的损失项，基于各所述人脸图像对应的质量分数对各所述损失项进行加权平均得到损失函数值，基于所述损失函数值更新所述人脸识别模型，实现了在人脸识别模型的训练过程中，能够通过各个人脸图像的质量分数控制其在损失函数中所占的比重，从而能够突出人脸识别模型对质量低的人脸图像的训练力度，进而使得训练得到的人脸识别模型对质量低的人脸图像也能够有较高的识别准确率。
进一步地，基于上述第一实施例，提出本发明人脸识别模型训练方法第二实施例，在本实施例中，所述步骤S30包括：
步骤S301，将各所述人脸图像对应的质量分数按照预设转换规则进行转换，得到各所述人脸图像对应的权重，其中，各所述人脸图像的权重之间满足人脸图像的质量分数越低权重越大的关系；
在本实施例中，可以将各个人脸图像对应的质量分数按照预设转换规则进行转换，得到各人脸图像对应的权重。其中，预设转换规则可以是预先设置的一个转换规则，在本实施例中对预设转换规并不做限制，只需要其满足一个条件即可，即按照该规则转换后，使得各人脸图像的权重之间满足人脸图像的质量分数越低权重越大的关系。例如，在一实施方式中，当定义质量分数越高表示人脸图像的质量越高时，预设转换规则可以设置为：设置不同的质量分数段，并设置各个分数段对应的权重值，越小的质量分数段对应的权重值越小；根据该预设转换规则，可以先确定人脸图像的质量分数所处的分数段，再将该分数段对应的权重值作为该人脸图像对应的权重。
步骤S302，采用各所述人脸图像对应的所述权重对各所述损失项进行加权平均得到损失函数值。
在得到各个人脸图像对应的权重后，采用该权重对各个损失项进行加权平均得到损失函数值。也即，以人脸图像对应的权重作为该人脸图像对应的损失项在参与加权平均计算时的权重。
进一步地，所述步骤S301包括：
步骤S3011，对各所述人脸图像对应的质量分数分别进行取负操作后代入指数函数，得到各所述人脸图像对应的权重。
在一实施方式中，当定义质量分数越高表示人脸图像的质量越高时，预设转换规则可以是先将质量分数取负，再代入指数函数得到权重。按照该转换规则，对各个人脸图像对应的质量分数分别进行取负操作后代入指数函数，即可得到各个人脸图像对应的权重。其中，取指数操作的目的是各个人脸图像对应的权重不要太偏激，也即不要差别过大，取负操作的目的是使得质量分数越小的人脸图像对应的权重越大。例如，一张图像的质量分数是1，另一张图像的质量分数是0.01，两个图像的分数相差过大，按照该转换规则处理后的比重是0.36:0.99，避免了权重偏激的问题。
进一步地，所述步骤S3011包括：
步骤a，对各所述人脸图像对应的质量分数分别进行取负操作后乘以预设调节系数得到中间值；
步骤b，将各所述中间值分别代入指数函数，得到各所述人脸图像对应的权重。
在一实施方式中，可以预先设置一个调节参数，该调节参数是模型训练过程中的一个超参数，可以根据实际情况调整大小。具体地，可对人脸图像对应的质量分数进行取负操作后乘以该调节参数，得到一个中间值，再将该中间值代入指数函数，得到各个人脸图像对应的权重。通过设置该调节参数，使得用户能够通过对调节参数大小的调节，来方便地控制人脸图像对应的权重。例如，在各轮训练结束时，可以将训练结果输出，其中，训练结果可以包括当前更新后的人脸识别模型的识别准确率和损失函数值等，使得用户可以根据输出的训练结果了解训练进度，并根据训练进度来调整调节参数；训练设备根据用户输入的调节参数进行下一轮迭代训练。
在一实施方式中，当采用arcface损失函数时，损失函数值的计算公式可表示如下：
其中，N是训练数据集中人脸图像的数量，i是人脸图像的序号，λ是调节参数，Q是人脸图像的质量分数，fc是人脸图像的特征向量，label是人脸图像的人脸标签，arcface(fci，labeli)是第i个人脸图像对应的损失项，此处是采用了简略表达方式，并未写出损失项的实际计算公式。
进一步地，所述步骤S20包括：
步骤S201，将各所述特征向量分别输入所述人脸识别模型中的全连接层得到对应的输出结果，其中，所述全连接层的输出维数为所述训练数据集中人脸标签的总类别数；
在一实施方式中，人脸识别模型可以包括一个特征提取网络结构和连接在该结构之后的全连接层+softmax分类器，该全连接层的输出维数为训练数据集中人脸标签的总类别数，也即，ID数。
在计算损失项时，可将各特征向量分别输入人脸识别模型中的全连接层，得到各个特征向量对应的输出结果，也即，得到了每个人脸图像分别对应的输出结果。
步骤S202，基于各所述人脸图像对应的人脸标签和所述输出结果，分别计算得到各所述人脸图像对应的损失项。
根据各个人脸图像对应的人脸标签和输出结果，分别计算各个人脸图像对应的损失项。具体地，根据所采用的损失函数计算方法不同，根据人脸标签和输出结果计算人脸图像对应的损失项的方法不同，在本实施例中不进行详细赘述。
进一步地，基于上述第一和/或第二实施例，提出本发明人脸识别模型训练方法第三实施例，所述方法还包括：
步骤S70，对各所述人脸图像分别进行人脸质量评估，得到各所述人脸图像对应的所述质量分数。
在本实施例中，可对各个人脸图像分别进行人脸质量评估，得到各个人脸图像对应的质量分数。具体地，根据对质量的定义，可以预先设置质量分数的计算方法。例如，在某些应用场景下，影响人脸识别模型的训练效果的因素是人脸图像中人脸的角度，角度越偏人脸识别模型越难识别出，所以对应的人脸图像质量越低，对此，可以根据人脸图像中人脸的角度来计算人脸图像的质量分数。再如，在某些应用场景下，影响人脸识别模型的训练效果的因素是人脸图像的清晰度，清晰度越低的人脸识别模型越难识别出，所以对应的人脸图像质量越低，对此，可以根据人脸图像的清晰度来计算人脸图像的质量分数。在某些应用场景下，影响人脸识别模型的训练效果的因素可能有很多个，对此，可以根据各种因素综合计算人脸图像的质量分数。
在一实施方式中，可设置根据人脸图像的人脸角度、人脸偏移量和人脸占比来计算人脸图像的质量分数。其中，人脸角度可以定义为人脸图像中人脸视线方向与人脸图像所在平面的夹角，夹角范围在0-90度，角度越大，越利于人脸识别。人脸偏移量可以定义为人脸区域的左上角顶点相对于人脸图像的左上角顶点的偏移量，偏移量范围在0-人脸图像的对角线长度，偏移量越大，越不利于人脸识别。人脸占比可以定义为人脸区域的面积与人脸图像面积的比例，占比范围在0-1，占比越大，越利于人脸识别。对人脸角度、人脸偏移量和人脸占比设置对应的权重，具体可以根据需要进行设置。对于一个人脸图像，可获取该人脸图像的人脸角度、人脸偏移量和人脸占比。具体地，三个数据可以通过对人脸图像进行人脸检测得到，人脸检测可采用常用的人脸检测方法，在本实施例中不进行详细赘述。将人脸图像的人脸角度和人脸偏移量均归一化到0-1区间，其中，人脸偏移量归一化后的值满足人脸偏移量越大，归一化值越小的条件；再将归一化后的人脸角度、归一化后的人脸偏移量以及人脸占比按照上述预设的权重进行加权平均，得到人脸图像的质量分数。
在本实施例中，通过从人脸角度、人脸偏移量和人脸占比三个数据来计算人脸图像的质量分数，并根据质量分数设置人脸图像对应的损失项的权重，在人脸图像识别模型的训练过程中添加该权重作为引导，使得人脸图像识别模型能够对人脸角度偏、人脸位置偏、人脸面积占比小的人脸图像也有较高的识别准确度，从而使得训练得到的人脸识别模型能够应用于更复杂的显示场景中去识别质量参差不齐的人脸图像。
此外，此外本发明实施例还提出一种人脸识别模型训练装置，参照图4，所述装置包括：
提取模块10，用于采用待训练的人脸识别模型提取得到训练数据集中各人脸图像对应的特征向量；
第一计算模块20，用于基于各所述特征向量和各所述人脸图像对应的人脸标签计算得到各所述人脸图像对应的损失项；
第二计算模块30，用于基于各所述人脸图像对应质量分数对各所述损失项进行加权平均得到损失函数值；
更新模块40，用于基于所述损失函数值更新所述人脸识别模型。
进一步地，所述第二计算模块30包括：
转换单元，用于将各所述人脸图像对应的质量分数按照预设转换规则进行转换，得到各所述人脸图像对应的权重，其中，各所述人脸图像的权重之间满足人脸图像的质量分数越低权重越大的关系；
第一计算单元，用于采用各所述人脸图像对应的所述权重对各所述损失项进行加权平均得到损失函数值。
进一步地，所述转换单元包括：
计算子单元，用于对各所述人脸图像对应的质量分数分别进行取负操作后代入指数函数，得到各所述人脸图像对应的权重。
进一步地，所述计算子单元还用于对各所述人脸图像对应的质量分数分别进行取负操作后乘以预设调节系数得到中间值；
将各所述中间值分别代入指数函数，得到各所述人脸图像对应的权重。
进一步地，所述第一计算模块20包括：
输入单元，用于将各所述特征向量分别输入所述人脸识别模型中的全连接层得到对应的输出结果，其中，所述全连接层的输出维数为所述训练数据集中人脸标签的总类别数；
第二计算单元，用于基于各所述人脸图像对应的人脸标签和所述输出结果，分别计算得到各所述人脸图像对应的损失项。
进一步地，所述装置还包括：
确定模块，用于当检测到更新后的人脸识别模型满足预设模型条件时，将更新后的人脸识别模型作为目标人脸识别模型；
识别模块，用于获取待识别人脸图像，将所述待识别人脸图像输入所述目标人脸识别模型得到所述待识别人脸图像对应的人脸识别结果。
进一步地，所述装置还包括：
评估模块，用于对各所述人脸图像分别进行人脸质量评估，得到各所述人脸图像对应的所述质量分数。
本发明人脸识别模型训练装置的具体实施方式的拓展内容与上述人脸识别模型训练方法各实施例基本相同，在此不做赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述存储介质上存储有人脸识别模型训练程序，所述人脸识别模型训练程序被处理器执行时实现如下所述的人脸识别模型训练方法的步骤。
本发明人脸识别模型训练设备和计算机可读存储介质的各实施例，均可参照本发明人脸识别模型训练方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种人脸识别模型训练方法，其特征在于，所述方法包括以下步骤：
采用待训练的人脸识别模型提取得到训练数据集中各人脸图像对应的特征向量；
基于各所述特征向量和各所述人脸图像对应的人脸标签计算得到各所述人脸图像对应的损失项；
基于各所述人脸图像对应的质量分数对各所述损失项进行加权平均得到损失函数值；
基于所述损失函数值更新所述人脸识别模型。
2.如权利要求1所述的人脸识别模型训练方法，其特征在于，所述基于各所述人脸图像对应的质量分数对各所述损失项进行加权平均得到损失函数值的步骤包括：
将各所述人脸图像对应的质量分数按照预设转换规则进行转换，得到各所述人脸图像对应的权重，其中，各所述人脸图像的权重之间满足人脸图像的质量分数越低权重越大的关系；
采用各所述人脸图像对应的所述权重对各所述损失项进行加权平均得到损失函数值。
3.如权利要求2所述的人脸识别模型训练方法，其特征在于，所述将各所述人脸图像对应的质量分数按照预设转换规则进行转换，得到各所述人脸图像对应的权重的步骤包括：
对各所述人脸图像对应的质量分数分别进行取负操作后代入指数函数，得到各所述人脸图像对应的权重。
4.如权利要求3所述的人脸识别模型训练方法，其特征在于，所述对各所述人脸图像对应的质量分数分别进行取负操作后代入指数函数，得到各所述人脸图像对应的权重的步骤包括：
对各所述人脸图像对应的质量分数分别进行取负操作后乘以预设调节系数得到中间值；
将各所述中间值分别代入指数函数，得到各所述人脸图像对应的权重。
5.如权利要求1所述的人脸识别模型训练方法，其特征在于，所述基于各所述特征向量和各所述人脸图像对应的人脸标签计算得到各所述人脸图像对应的损失项的步骤包括：
将各所述特征向量分别输入所述人脸识别模型中的全连接层得到对应的输出结果，其中，所述全连接层的输出维数为所述训练数据集中人脸标签的总类别数；
基于各所述人脸图像对应的人脸标签和所述输出结果，分别计算得到各所述人脸图像对应的损失项。
6.如权利要求1所述的人脸识别模型训练方法，其特征在于，所述基于所述损失函数值更新所述人脸识别模型的步骤之后，还包括：
当检测到更新后的人脸识别模型满足预设模型条件时，将更新后的人脸识别模型作为目标人脸识别模型；
获取待识别人脸图像，将所述待识别人脸图像输入所述目标人脸识别模型得到所述待识别人脸图像对应的人脸识别结果。
7.如权利要求1至6任一项所述的人脸识别模型训练方法，其特征在于，所述基于各所述人脸图像对应的质量分数对各所述损失项进行加权平均得到损失函数值的步骤之前，还包括：
对各所述人脸图像分别进行人脸质量评估，得到各所述人脸图像对应的所述质量分数。
8.一种人脸识别模型训练装置，其特征在于，所述装置包括：
提取模块，用于采用待训练的人脸识别模型提取得到训练数据集中各人脸图像对应的特征向量；
第一计算模块，用于基于各所述特征向量和各所述人脸图像对应的人脸标签计算得到各所述人脸图像对应的损失项；
第二计算模块，用于基于各所述人脸图像对应质量分数对各所述损失项进行加权平均得到损失函数值；
更新模块，用于基于所述损失函数值更新所述人脸识别模型。
9.一种人脸识别模型训练设备，其特征在于，所述人脸识别模型训练设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸识别模型训练程序，所述人脸识别模型训练程序被所述处理器执行时实现如权利要求1至7中任一项所述的人脸识别模型训练方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有人脸识别模型训练程序，所述人脸识别模型训练程序被处理器执行时实现如权利要求1至7中任一项所述的人脸识别模型训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110076000.XA CN112766164A (zh) | 2021-01-20 | 2021-01-20 | 人脸识别模型训练方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110076000.XA CN112766164A (zh) | 2021-01-20 | 2021-01-20 | 人脸识别模型训练方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112766164A true CN112766164A (zh) | 2021-05-07 |
Family
ID=75703596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110076000.XA Pending CN112766164A (zh) | 2021-01-20 | 2021-01-20 | 人脸识别模型训练方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766164A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113887538A (zh) * | 2021-11-30 | 2022-01-04 | 北京的卢深视科技有限公司 | 模型训练、人脸识别方法、电子设备及存储介质 |
| CN114255354A (zh) * | 2021-12-31 | 2022-03-29 | 智慧眼科技股份有限公司 | 人脸识别模型训练方法、人脸识别方法、装置及相关设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341463A (zh) * | 2017-06-28 | 2017-11-10 | 北京飞搜科技有限公司 | 一种结合图像质量分析与度量学习的人脸特征识别方法 |
| CN109919093A (zh) * | 2019-03-07 | 2019-06-21 | 苏州科达科技股份有限公司 | 一种人脸识别方法、装置、设备及可读存储介质 |
| CN109934197A (zh) * | 2019-03-21 | 2019-06-25 | 深圳力维智联技术有限公司 | 人脸识别模型的训练方法、装置和计算机可读存储介质 |
| CN110399839A (zh) * | 2019-07-26 | 2019-11-01 | 北京达佳互联信息技术有限公司 | 人脸识别方法、装置、设备及存储介质 |
| CN110910310A (zh) * | 2019-10-25 | 2020-03-24 | 南京大学 | 一种基于身份信息的人脸图像重建方法 |
| CN111368683A (zh) * | 2020-02-27 | 2020-07-03 | 南京邮电大学 | 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法 |
| CN111401277A (zh) * | 2020-03-20 | 2020-07-10 | 深圳前海微众银行股份有限公司 | 人脸识别模型更新方法、装置、设备和介质 |
| CN111582150A (zh) * | 2020-05-07 | 2020-08-25 | 江苏日颖慧眼智能设备有限公司 | 一种人脸质量评估的方法、装置和计算机存储介质 |
| CN112052789A (zh) * | 2020-09-03 | 2020-12-08 | 腾讯科技（深圳）有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
-
2021
- 2021-01-20 CN CN202110076000.XA patent/CN112766164A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341463A (zh) * | 2017-06-28 | 2017-11-10 | 北京飞搜科技有限公司 | 一种结合图像质量分析与度量学习的人脸特征识别方法 |
| CN109919093A (zh) * | 2019-03-07 | 2019-06-21 | 苏州科达科技股份有限公司 | 一种人脸识别方法、装置、设备及可读存储介质 |
| CN109934197A (zh) * | 2019-03-21 | 2019-06-25 | 深圳力维智联技术有限公司 | 人脸识别模型的训练方法、装置和计算机可读存储介质 |
| CN110399839A (zh) * | 2019-07-26 | 2019-11-01 | 北京达佳互联信息技术有限公司 | 人脸识别方法、装置、设备及存储介质 |
| CN110910310A (zh) * | 2019-10-25 | 2020-03-24 | 南京大学 | 一种基于身份信息的人脸图像重建方法 |
| CN111368683A (zh) * | 2020-02-27 | 2020-07-03 | 南京邮电大学 | 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法 |
| CN111401277A (zh) * | 2020-03-20 | 2020-07-10 | 深圳前海微众银行股份有限公司 | 人脸识别模型更新方法、装置、设备和介质 |
| CN111582150A (zh) * | 2020-05-07 | 2020-08-25 | 江苏日颖慧眼智能设备有限公司 | 一种人脸质量评估的方法、装置和计算机存储介质 |
| CN112052789A (zh) * | 2020-09-03 | 2020-12-08 | 腾讯科技（深圳）有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| YICHUN SHI ETAL: ""Towards Universal Representation Learning for Deep Face Recognition"", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113887538A (zh) * | 2021-11-30 | 2022-01-04 | 北京的卢深视科技有限公司 | 模型训练、人脸识别方法、电子设备及存储介质 |
| CN113887538B (zh) * | 2021-11-30 | 2022-03-25 | 北京的卢深视科技有限公司 | 模型训练、人脸识别方法、电子设备及存储介质 |
| CN114255354A (zh) * | 2021-12-31 | 2022-03-29 | 智慧眼科技股份有限公司 | 人脸识别模型训练方法、人脸识别方法、装置及相关设备 |
| CN114255354B (zh) * | 2021-12-31 | 2023-04-07 | 智慧眼科技股份有限公司 | 人脸识别模型训练方法、人脸识别方法、装置及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11487995B2 (en) | Method and apparatus for determining image quality | |
| CN111709409B (zh) | 人脸活体检测方法、装置、设备及介质 | |
| US20220147822A1 (en) | Training method and apparatus for target detection model, device and storage medium | |
| EP3916627A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN110197146B (zh) | 基于深度学习的人脸图像分析方法、电子装置及存储介质 | |
| EP3968179A1 (en) | Place recognition method and apparatus, model training method and apparatus for place recognition, and electronic device | |
| JP2022505775A (ja) | 画像分類モデルの訓練方法、画像処理方法及びその装置、並びにコンピュータプログラム | |
| US20140341443A1 (en) | Joint modeling for facial recognition | |
| CN111814620A (zh) | 人脸图像质量评价模型建立方法、优选方法、介质及装置 | |
| CN111626371A (zh) | 一种图像分类方法、装置、设备及可读存储介质 | |
| CN113255557B (zh) | 一种基于深度学习的视频人群情绪分析方法及*** | |
| CN112766164A (zh) | 人脸识别模型训练方法、装置、设备及可读存储介质 | |
| CN110264093B (zh) | 信用模型的建立方法、装置、设备及可读存储介质 | |
| CN115620384B (zh) | 模型训练方法、眼底图像预测方法及装置 | |
| CN111382791B (zh) | 深度学习任务处理方法、图像识别任务处理方法和装置 | |
| CN112446322A (zh) | 眼球特征检测方法、装置、设备及计算机可读存储介质 | |
| CN111274946B (zh) | 一种人脸识别方法和***及设备 | |
| CN116453109A (zh) | 3d目标检测方法、装置、设备及存储介质 | |
| CN114612531A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN111722717B (zh) | 手势识别方法、装置及计算机可读存储介质 | |
| CN110852220B (zh) | 人脸表情的智能识别方法、终端和计算机可读存储介质 | |
| CN111582278B (zh) | 人像分割方法、装置及电子设备 | |
| CN111476144A (zh) | 行人属性识别模型确定方法、装置及计算机可读存储介质 | |
| CN115620054A (zh) | 一种缺陷分类方法、装置、电子设备及存储介质 | |
| CN114821173A (zh) | 图像分类方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |