CN113887416A - 人脸识别模型的训练方法、人脸识别方法及电子设备 - Google Patents

人脸识别模型的训练方法、人脸识别方法及电子设备 Download PDF

Info

Publication number
CN113887416A
CN113887416A CN202111160624.6A CN202111160624A CN113887416A CN 113887416 A CN113887416 A CN 113887416A CN 202111160624 A CN202111160624 A CN 202111160624A CN 113887416 A CN113887416 A CN 113887416A
Authority
CN
China
Prior art keywords
face recognition
recognition model
feature
face
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111160624.6A
Other languages
English (en)
Inventor
张震国
吴剑平
史晓丽
毛晓蛟
章勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keyuan Software Technology Development Co ltd
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keyuan Software Technology Development Co ltd
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keyuan Software Technology Development Co ltd, Suzhou Keda Technology Co Ltd filed Critical Suzhou Keyuan Software Technology Development Co ltd
Priority to CN202111160624.6A priority Critical patent/CN113887416A/zh
Publication of CN113887416A publication Critical patent/CN113887416A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及人脸识别技术领域，具体涉及人脸识别模型的训练方法、人脸识别方法及电子设备，所述训练方法包括获取人脸样本图像以及各个所述人脸样本图像的目标标签；将所述人脸样本图像输入人脸识别模型中的特征提取模块进行特征提取，得到多个特征图；将所述多个特征图输入所述人脸识别模型中的权重确定模块中进行特征处理，分别确定各个所述特征图对应的权重；基于所述多个特征图与所述对应的权重的融合结果，确定所述人脸识别模型的预测标签；根据所述目标标签以及所述预测标签的差异，对所述人脸识别模型的参数进行更新，确定目标人脸识别模型。通过赋予不同特征图不同的权重可以提高人脸识别模型的准确性。

Description

人脸识别模型的训练方法、人脸识别方法及电子设备
技术领域
本发明涉及人脸识别技术领域，具体涉及人脸识别模型的训练方法、人脸识别方法及电子设备。
背景技术
当前，人脸识别技术已经得到了广泛的应用。人脸识别模型的训练，作为人脸识别技术的核心，直接决定着人脸识别技术的准确性。现有的人脸识别模型一般是通过对输入的人脸图像进行特征提取，得到各个部位的特征，再基于提取出的特征进行人脸识别。然而，由于人脸各个部位在人脸识别中的重要程度不同，若对于各个部位均采用相同的特征处理方式进行人脸识别，势必会导致识别的准确性偏低。
发明内容
有鉴于此，本发明实施例提供了一种人脸识别模型的训练方法、人脸识别方法及电子设备，以解决人脸识别模型的识别准确性低的问题。
根据第一方面，本发明实施例提供了一种人脸识别模型的训练方法，包括：
获取人脸样本图像以及各个所述人脸样本图像的目标标签；
将所述人脸样本图像输入人脸识别模型中的特征提取模块进行特征提取，得到多个特征图；
将所述多个特征图输入所述人脸识别模型中的权重确定模块中进行特征处理，分别确定各个所述特征图对应的权重；
基于所述多个特征图与所述对应的权重的融合结果，确定所述人脸识别模型的预测标签；
根据所述目标标签以及所述预测标签的差异，对所述人脸识别模型的参数进行更新，确定目标人脸识别模型。
本发明实施例提供的人脸识别模型的训练方法，不同的特征图代表人脸的一个特征表示，而每一个特征表示应该有不同的重要程度，针对各个特征图赋予对应的权重，这个权重也就代表这个重要程度，通过赋予不同特征图不同的权重可以提高人脸识别模型的准确性。
结合第一方面，在第一方面第一实施方式中，所述将所述多个特征图输入所述人脸识别模型中的权重确定模块中进行特征处理，分别确定各个所述特征图对应的权重，包括：
利用所述权重确定模块中的分组卷积层分别对各个所述特征图进行分组卷积，得到与所述特征图一一对应的第一特征向量；
对各个所述第一特征向量进行归一化处理，确定各个所述特征图对应的权重。
本发明实施例提供的人脸识别模型的训练方法，通过对各个特征图进行分组卷积，即分别对各个特征图进行针对性处理，不仅可以保证所得到的第一特征向量与特征图的对应性，还可以提高训练效率。
结合第一方面第一实施方式，在第一方面第二实施方式中，所述对各个所述第一特征向量进行归一化处理，确定各个所述特征图对应的权重，包括：
利用所述权重确定模块中的批归一化层对所述第一特征向量进行批归一化处理，得到与所述特征图一一对应的第二特征向量；
利用所述权重确定模块中的非线性层对所述第二特征向量进行非线性处理，得到对应的第三特征向量；
利用所述权重确定模块中的维度变换层将所述第三特征向量变换为一维，确定各个所述特征图对应的权重。
本发明实施例提供的人脸识别模型的训练方法，对第一特征向量进行归一化、非线性处理以及维度变化处理，最后得到与特征图一一对应的权重值，可以保证所得到的权重值的准确性。
结合第一方面，在第一方面第三实施方式中，所述基于所述多个特征图与所述对应的权重的融合结果，确定所述人脸识别模型的预测标签，包括：
计算各个所述特征图与对应的权重的乘积，确定权重处理后的多个目标特征图；
基于所述多个目标特征图确定所述人脸识别模型的预测标签。
本发明实施例提供的人脸识别模型的训练方法，权重反应的是各个特征图在人脸识别中的重要程度，将权重与特征图相乘可以保证所得到的各个目标特征图的重要程度的差异性，提高了所得到的预测标签的准确性。
结合第一方面，在第一方面第四实施方式中，所述根据所述目标标签以及所述预测标签的差异，对所述人脸识别模型的参数进行更新，确定目标人脸识别模型，包括：
基于所述目标标签以及所述预测标签进行分类损失的计算，得到第一损失值；
基于所述目标标签以及所述预测标签进行相似度损失的计算，得到第二损失值；
基于所述第一损失值以及所述第二损失值，对所述人脸识别模型的参数进行更新，确定所述目标人脸识别模型。
本发明实施例提供的人脸识别模型的训练方法，分别进行分类损失以及相似度损失的计算，可以保证其中之一所带来的缺陷，提高了目标人脸识别模型的准确性。
结合第一方面，在第一方面第五实施方式中，所述人脸样本图像包括简单人脸样本图像以及困难人脸样本图像，所述根据所述目标标签以及所述预测标签的差异，对所述人脸识别模型的参数进行更新，确定目标人脸识别模型，包括：
获取所述简单人脸样本图像输入初始人脸识别模型后得到的对应的第一预测标签；
基于所述第一预测标签以及所述简单人脸样本图像的目标标签的差异，对所述初始人脸识别模型的参数进行更新，确定初始目标人脸识别模型；
基于所述人脸样本图像对所述初始目标人脸识别模型中的全连接分类层参数进行调整，确定中间目标人脸识别模型；
获取所述人脸样本图像输入所述中间目标人脸识别模型后得到的第二预测标签；
基于所述第二预测标签以及所述人脸样本图像的目标标签的差异，对所述中间目标人脸识别模型中的参数进行更新，确定所述目标人脸识别模型。
本发明实施例提供的人脸识别模型的训练方法，分两步进行训练，样本难度从简单到复杂，符合学习规律，有利于提高模型的准确率。
根据第二方面，本发明实施例还提供了一种人脸识别方法，包括：
获取待识别人脸图像；
将所述待识别人脸图像输入目标人脸识别模型中，确定所述待识别人脸图像对应的标签，所述目标人脸识别模型是根据本发明第一方面，或第一方面任一实施方式中所述的人脸识别模型的训练方法训练得到的。
本发明实施例提供的人脸识别方法，在训练得到目标人脸识别模型的识别准确度较高的基础上，利用该目标人脸识别模型进行人脸识别，提高了人脸识别的准确性。
根据第三方面，本发明实施例还提供了一种人脸识别模型的训练装置，包括：
第一获取模块，用于获取人脸样本图像以及各个所述人脸样本图像的目标标签；
特征提取模块，用于将所述人脸样本图像输入人脸识别模型中的特征提取模块进行特征提取，得到多个特征图；
特征处理模块，用于将所述多个特征图输入所述人脸识别模型中的权重确定模块中进行特征处理，分别确定各个所述特征图对应的权重；
融合模块，用于基于所述多个特征图与所述对应的权重的融合结果，确定所述人脸识别模型的预测标签；
更新模块，用于根据所述目标标签以及所述预测标签的差异，对所述人脸识别模型的参数进行更新，确定目标人脸识别模型。
本发明实施例提供的人脸识别模型的训练装置，不同的特征图代表人脸的一个特征表示，而每一个特征表示应该有不同的重要程度，针对各个特征图赋予对应的权重，这个权重也就代表这个重要程度，通过赋予不同特征图不同的权重可以提高人脸识别模型的准确性。
根据第四方面，本发明实施例还提供了一种人脸识别装置，包括：
第二获取模块，用于获取待识别人脸图像；
人脸识别模块，用于将所述待识别人脸图像输入目标人脸识别模型中，确定所述待识别人脸图像对应的标签，所述目标人脸识别模型是根据本发明第一方面，或第一方面任一实施方式中所述的人脸识别模型的训练方法训练得到的。
本发明实施例提供的人脸识别装置，在训练得到目标人脸识别模型的识别准确度较高的基础上，利用该目标人脸识别模型进行人脸识别，提高了人脸识别的准确性。
根据第五方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的人脸识别模型的训练方法，或执行第二方面所述的人脸识别方法。
根据第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的人脸识别模型的训练方法，或执行第二方面所述的人脸识别方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的人脸识别模型的训练方法的流程图；
图2是根据本发明实施例的人脸识别模型的训练方法的流程图；
图3a与图3b是改进前后的人脸识别模型的结构示意图；
图4是根据本发明实施例的人脸识别模型的结构示意图；
图5是根据本发明实施例的人脸识别模型的训练方法的流程图；
图6是根据本发明实施例的人脸识别方法的流程图；
图7是根据本发明实施例的人脸识别模型的训练装置的结构框图；
图8是根据本发明实施例的人脸识别装置的结构框图；
图9是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的人脸识别模型的训练方法，在对人脸识别模型进行训练时为不同的特征图确定对应的权重，以提高训练得到的目标人脸识别模型的准确性。
进一步地，在训练过程中分两步进行，先用简单人脸样本图像训练初始人脸识别模型，得到初始目标人脸识别模型，再利用简单人脸样本图像与复杂样本图像对初始目标人脸识别模型中的全连接分类层的参数进行调整，得到中间目标人脸识别模型；再利用简单人脸样本图像以及困难人脸样本图像对中间人脸识别模型进行训练，调整中间目标人脸识别模型的参数，确定目标人脸识别模型。分两步对人脸识别模型进行训练，即依据样本的难易程度进行分批次训练，提高了训练得到的目标人脸识别模型的准确性。
根据本发明实施例，提供了一种人脸识别模型的训练方法，以及人脸识别方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种人脸识别模型的训练方法，可用于电子设备，如电脑、服务器、平板电脑等，图1是根据本发明实施例的人脸识别模型的训练方法的流程图，如图1所示，该流程包括如下步骤：
S11，获取人脸样本图像以及各个人脸样本图像的目标标签。
人脸样本图像可以是通过采集不同场景下不同人脸不同年龄的图像得到的，在此对人脸图像的采集环境以及采集对象并不做任何限制，具体可以根据实际需求进行设置。在采集到人脸图像之后，利用人脸检测和关键点定位技术分别对采集到的人脸图像进行关键点定位，利用关键点对人脸图像进行对齐处理，并归一化到同一尺寸，得到人脸样本图像。其中，对于采集到的人脸图像的处理可以是电子设备处理的，也可以是其他设备处理后发送给电子设备的。
人脸样本图像可以是存储在电子设备中的，也可以是电子设备在需要进行人脸识别模型的训练是从第三方设备获得的，在此对人脸样本图像的来源并不做任何限制。其中，人脸样本图像的目标标签，可以是人员类别、人员年龄、人员性别等等，具体可以根据实际应用需求进行设置。
S12，将人脸样本图像输入人脸识别模型中的特征提取模块进行特征提取，得到多个特征图。
人脸识别模型包括特征提取模块、权重确定模块以及全连接分类层，其中，特征提取模块与权重确定模块连接，人脸识别模型中所包括的特征提取模块以及权重确定模块的具体数量可以根据实际需求进行设置。例如，人脸识别模型包括3个特征提取模块以及3个权重确定模块，每个特征提取模块之后均连接有一个权重确定模块，利用权重确定模块确定特征提取模块输出的各个特征图的权重，并将确定出的权重与对应特征图进行融合，得到融合后的目标特征图；再将目标特征图输入到下一个特征提取模块中进行特征提取，再利用下一个权重确定模块对下一个特征提取模块的输出特征图进行权重的确定等等。
电子设备将人脸样本图像输入到特征提取模块中，利用特征提取模块对人脸样本图像进行特征提取，得到多个特征图。其中，特征提取模块的具体结构可以根据实际需求进行设置，只需保证该特征提取模块能够得到人脸样本图像的多个特征图即可。
S13，将多个特征图输入人脸识别模型中的权重确定模块中进行特征处理，分别确定各个特征图对应的权重。
权重确定模块的输入为特征图，输出为特征图与对应的权重。权重确定模块可以对输入的特征图进行卷积处理，确定对应的权重；也可以是基于特征图所属的人脸特征确定对应的权重，等等。
需要说明的是，该权重确定模块可以是加入到人脸识别模型的各个特征提取模块后；也可以是加入到人脸识别模型的特定特征提取模块后。例如，若人脸识别模型是基于残差结构构建的，那么权重确定模块可以仅仅加在残差结构中的特征提取模块后。
关于该步骤具体将在下文中进行详细描述。
S14，基于多个特征图与对应的权重的融合结果，确定人脸识别模型的预测标签。
权重用于表示特征图在人脸识别中的重要程度，该特征图越重要，对应的权重就越大。因此，权重也可以理解为特征图的特征系数。电子设备将特征图与对应的权重进行融合，即可利用给权重区分各个特征图的重要程度。电子设备再在此基础上，基于调整后的特征图进行人脸样本图像的预测标签的确定。
如上文所述，若人脸识别模型包括多个特征提取模块以及多个权重确定模块，将一个特征提取模块与一个权重确定模块定义为一组。第一组处理完成，将确定的权重与特征图融合之后再输入到第二组进行处理，依次类推，直至所有组处理完成，将最后一组得到的特征图与权重进行融合之后，输入到人脸识别模型中的全连接分类层进行预测，得到预测标签。
S15，根据目标标签以及预测标签的差异，对人脸识别模型的参数进行更新，确定目标人脸识别模型。
电子设备利用损失函数计算目标标签与预测标签的差异，基于该差异对人脸识别模型的参数进行更新，进而确定出目标人脸识别模型。其中，关于损失函数的选取可以根据实际需求进行，在此对其并不做任何限定。
关于该步骤具体将在下文中进行详细描述。
本实施例提供的人脸识别模型的训练方法，不同的特征图代表人脸的一个特征表示，而每一个特征表示应该有不同的重要程度，针对各个特征图赋予对应的权重，这个权重也就代表这个重要程度，通过赋予不同特征图不同的权重可以提高人脸识别模型的准确性。
在本实施例中提供了一种人脸识别模型的训练方法，可用于电子设备，如电脑、服务器、平板电脑等，图2是根据本发明实施例的人脸识别模型的训练方法的流程图，如图2所示，该流程包括如下步骤：
S21，获取人脸样本图像以及各个人脸样本图像的目标标签。
详细请参见图1所示实施例的S11，在此不再赘述。
S22，将人脸样本图像输入人脸识别模型中的特征提取模块进行特征提取，得到多个特征图。
详细请参见图1所示实施例的S12，在此不再赘述。
S23，将多个特征图输入人脸识别模型中的权重确定模块中进行特征处理，分别确定各个特征图对应的权重。
具体地，上述S23包括：
S231，利用权重确定模块中的分组卷积层分别对各个特征图进行分组卷积，得到与特征图一一对应的第一特征向量。
分组卷积层的输入为特征图，输出为第一特征向量。具体地，分组卷积层中分组个数为特征图数量，卷积核的大小为特征图的大小。
例如，特征提取模块输出64个特征图，每个特征图的大小为64x64，即每个特征图的宽和高分别为64。基于此，分组卷积层中分组的个数为64，卷积核的尺寸为64x64。电子设备利用卷积核对各个特征图进行分组卷积，得到对应的第一特征向量。相应地，分组卷积层的输入为64x64x64，输出为64x1x1。
S232，对各个第一特征向量进行归一化处理，确定各个特征图对应的权重。
电子设备得到与特征图一一对应的第一特征向量之后，对其进行归一化处理，确定出各个特征图对应的权重。
在本实施例的一些可选实施方式中，上述S232可以包括：
(1)利用权重确定模块中的批归一化层对第一特征向量进行批归一化处理，得到与特征图一一对应的第二特征向量。
(2)利用权重确定模块中的非线性层对第二特征向量进行非线性处理，得到对应的第三特征向量。
(3)利用权重确定模块中的维度变换层将第三特征向量变换为一维，确定各个特征图对应的权重。
具体地，权重确定模块包括分组卷积层conv_x_2_group、批归一化层conv_x_2_group_bn、非线性层conv_x_2_group_sigmoid以及维度变换层conv_x_2_group_flat。关于各层的描述如表1所示：
表1各层的描述
Figure BDA0003290047610000101
对第一特征向量进行归一化、非线性处理以及维度变化处理，最后得到与特征图一一对应的权重值，可以保证所得到的权重值的准确性。
以人脸识别模型基于残差结构构建为例，图3a为改进前的残差结构。其中，conv_x_1-conv_x_2_prelu为特征提取模块，conv_x_2_prelu的输出为多个特征图。对人脸识别模型的改进在于残差结构的改进，在各个残差结构中的特征提取模块之后，新增权重确定模块，图3b为改进后的残差结构，在conv_x_2_prelu后新增了权重确定模块，该权重确定模块包括分组卷积层conv_x_2_group、批归一化层conv_x_2_group_bn、非线性层conv_x_2_group_sigmoid以及维度变换层conv_x_2_group_flat。
可选地，图4示出了人脸识别模型的一个可选的结构示意图。该人脸识别模型包括普通特征提取模块以及残差结构，具体地，普通特征提取模块包括conv_1、conv_1_prelu、conv_2、conv_2_prelu、conv_3、conv_3_prelu、conv_4、conv_4_prelu，残差结构包括resblock1-reblock4，在该人脸识别模型中通过对残差结构resblock1-reblock4进行改进，即在每个残差结构得到特征提取模块之后连接有权重确定模块。各个残差结构的具体结构细节可以参见图3b所示。其中，关于该人脸识别模型中各层的说明如表2所示：
表2各层的描述
Figure BDA0003290047610000111
Figure BDA0003290047610000121
需要说明的是，表2中对于各层的描述仅仅是一种示例，并不限定本发明的保护范围。其中，表2中所述的第一训练阶段以及第二训练阶段具体将在下文中进行详细描述，第一训练阶段为利用简单人脸样本图像进行训练，第二训练阶段为利用所有的人脸样本图像进行训练。
S24，基于多个特征图与对应的权重的融合结果，确定人脸识别模型的预测标签。
具体地，上述S24包括：
S241，计算各个特征图与对应的权重的乘积，确定权重处理后的多个目标特征图。
电子设备在确定出各个特征图对应的权重之后，将权重与特征图对应相乘，得到多个目标特征图。例如，图3b中所示的conv_x_2_group_scale层，通过该层计算各个特征图与对应的权重的乘积，输出多个目标特征图。
S242，基于多个目标特征图确定人脸识别模型的预测标签。
电子设备基于人脸识别模型的具体结构，可以将目标特征图输入到下一个特征提取模块进行处理，也可以将目标特征图输入至全连接分类层进行预测，确定出人脸识别模型的预测标签。
S25，根据目标标签以及预测标签的差异，对人脸识别模型的参数进行更新，确定目标人脸识别模型。
具体地，上述S25包括：
S251，基于目标标签以及预测标签进行分类损失的计算，得到第一损失值。
S252，基于目标标签以及预测标签进行相似度损失的计算，得到第二损失值。
电子设备分别利用两种类型的损失函数进行分类损失以及相似度损失的计算，分别得到第一损失值以及第二损失值。具体地，因为两种损失函数的作用不一样。对于分类损失函数而言其作用是分类，它的目的只要把不同类分开就可以了，而不同类图片间的相似度可能会大于同类图片间的相似度，这就造成单纯依赖该分类损失函数来训练模型是不够的，需要另外一种损失函数来弥补它的缺陷。相似度损失函数的作用是要拉近同类图片的相似度，这类损失函数包括但不限于Paircos。
S253，基于第一损失值以及第二损失值，对人脸识别模型的参数进行更新，确定目标人脸识别模型。
电子设备可以对第一损失值与第二损失值进行加权，在此基础上对人脸识别模型的参数进行更新，最终确定出目标人脸识别模型。
本实施例提供的人脸识别模型的训练方法，通过对各个特征图进行分组卷积，即分别对各个特征图进行针对性处理，不仅可以保证所得到的第一特征向量与特征图的对应性，还可以提高训练效率。进一步地，权重反应的是各个特征图在人脸识别中的重要程度，将权重与特征图相乘可以保证所得到的各个目标特征图的重要程度的差异性，提高了所得到的预测标签的准确性。分别进行分类损失以及相似度损失的计算，可以保证其中之一所带来的缺陷，提高了目标人脸识别模型的准确性。
在本实施例中提供了一种人脸识别模型的训练方法，可用于电子设备，如电脑、服务器、平板电脑等，图5是根据本发明实施例的人脸识别模型的训练方法的流程图，如图5所示，该流程包括如下步骤：
S31，获取人脸样本图像以及各个人脸样本图像的目标标签。
详细请参见图1所示实施例的S11，在此不再赘述。
S32，将人脸样本图像输入人脸识别模型中的特征提取模块进行特征提取，得到多个特征图。
详细请参见图1所示实施例的S12，在此不再赘述。
S33，将多个特征图输入人脸识别模型中的权重确定模块中进行特征处理，分别确定各个特征图对应的权重。
详细请参见图2所示实施例的S23，在此不再赘述。
S34，基于多个特征图与对应的权重的融合结果，确定人脸识别模型的预测标签。
详细请参见图2所示实施例的S24，在此不再赘述。
S35，根据目标标签以及预测标签的差异，对人脸识别模型的参数进行更新，确定目标人脸识别模型。
该人脸样本图像包括简单人脸样本图像以及复杂人脸样本图像，所述的简单样本图像为图像清晰、识别度较高的图像，所述的复杂人脸样本图像为图像模糊、识别度较差的图像。电子设备获取到这两类图像之后，分别得到用于第一训练阶段的简单人脸样本图像，以及用于第二训练阶段的简单人脸样本图像与复杂人脸样本图像的并集。
电子设备在第一训练阶段先用简单人脸样本图像对人脸识别模型进行训练，在此基础上，再利用简单人脸样本图像与复杂样本图像的并集对第一次训练得到的初始人脸识别模型进行训练，最终确定出目标人脸识别模型。
具体地，上述S35包括：
S351，获取简单人脸样本图像输入初始人脸识别模型后得到的第一预测标签。
S352，基于第一预测标签以及简单人脸样本图像的目标标签的差异，对初始人脸识别模型的参数进行更新，确定初始目标人脸识别模型。
电子设备将简单人脸样本图像输入到初始人脸识别模型中，得到第一预测标签。再利用第一预测标签与目标标签的差异，更新初始人脸识别模型的参数，得到初始目标人脸识别模型。
S353，基于人脸样本图像对初始目标人脸识别模型中的全连接分类层参数进行调整，确定中间目标人脸识别模型。
由于人脸样本图像不仅包括简单人脸样本图像，还包括有复杂人脸样本图像。因此，在进行第二训练阶段之前，需要对第一训练阶段得到的初始目标人脸识别模型的全连接层参数进行调整，以便于其能够进行第二训练阶段。
结合图4所示，第一训练阶段得到的初始目标人脸识别模型的全连接分类层，即fc6层的形状为463121x512。为了能进行第二训练阶段，需要更改fc6的形状为618462x512。
电子设备在对初始目标人脸识别模型的全连接层参数进行调整之后，得到中间目标人脸识别模型。
S354，获取人脸样本图像输入中间目标人脸识别模型后得到的第二预测标签。
S355，基于第二预测标签以及人脸样本图像的目标标签的差异，对中间目标人脸识别模型的参数进行更新，确定目标人脸识别模型。
电子设备将人脸样本图像(包括简单人脸样本图像与复杂人脸样本图像)输入到该中间目标人脸识别模型中，得到第二预测标签。再利用第二预测标签与目标标签的差异，对中间目标人脸识别模型的参数进行更新，最终确定出目标人脸识别模型。
本实施例提供的人脸识别模型的训练方法，分两步进行训练，样本难度从简单到复杂，符合学习规律，有利于提高模型的准确率。
作为本实施例的一个具体应用实例，该人脸识别模型的训练方法包括：
步骤一：对人脸样本图像进行划分，根据识别的难易程度，分成两部分，数据集A代表简单人脸样本图像，数据集B代表复杂人脸样本图像，两者之间没有交集。本实施例中，有463121类简单人脸样本图像，155341类复杂人脸样本图像。复杂人脸样本图像包含，类中图像存在年龄跨度大、低质模糊图像等等不易识别的图像。
步骤二：利用人脸检测和关键点定位技术对人脸样本图像进行关键点定位，利用关键点对人脸图像进行对齐处理，并归一化到同一尺寸；选取两个眼睛的中心，鼻尖和两个嘴角共5个关键点来进行人脸对齐操作，归一化成宽度为128像素，高度为128像素的BGR图像。数据集A归一化后的数据集为M，数据集B归一化后的数据集为N，M和N的并集为X。
步骤三：构建卷积神经网络。如图4所示，图中所提到的resblock1，resblock2，resblock3，resblock4就是改进后的残差结构，具体形式如图3b结构所示。
步骤四：第一训练阶段，使用数据集M进行训练。每个批次按图像随机采样，本实施例中batchsize为512。设置BGR三个通道的均值为[127.5，127.5，127.5]，标注差为128，将每个batch的图像进行减均值、除以标准差操作，并输入第三步构建的卷积神经网络，使用AMSoftmax损失函数，初始学习率为0.1，每隔2个epoch学习率乘以0.1，利用梯度下降法进行训练，得到第一训练阶段的初始目标人脸识别模型的参数，此时fc6层的形状为463121x512。
步骤五：为了能进行第二步训练，需要更改fc6的形状为618462x512。因此，将数据集X，减均值、除以标准差后，输入步骤四训练的模型，生成训练数据集X对应的fc6全连接分类层参数，将新的fc6参数更新到步骤四训练的网络中。
步骤六：第二训练阶段，使用数据集X进行训练。每个batch先按类随机采样，然后每个类中采样2个样本，构成一个样本对，本实例中，batchsize为512，所以按类采样时，需采样256个类，每个类随机采样2个样本，这样构成一个512的batchsize。以更新了fc6层参数的网络模型为基础，输入数据集X，设置BGR三个通道的均值为[127.5，127.5，127.5]，将每个batch的图像进行减均值、除以标准差操作，使用AMSoftmax损失函数和Paircos损失函数，学习率为0.01，每隔2个epoch学习率乘以0.1。所述Paircos损失函数如下所示，其中N为每个batch中样本对的个数，j为样本对的序号，simj为每个类样本对的余弦相似度：
Figure BDA0003290047610000171
本实施例提供的人脸识别模型的训练方法，在人脸识别模型中对残差结构进行了改进，赋予每个特征图不同的权重，有利于提高模型的准确度；且分两步进行训练，样本难度从简单到复杂，符合学习规律，有利于提高模型的准确率。
在本实施例中提供了一种人脸识别方法，可用于电子设备，如电脑、服务器、平板电脑等，图6是根据本发明实施例的人脸识别方法的流程图，如图6所示，该流程包括如下步骤：
S41，获取待识别人脸图像。
待识别人脸图像可以是第三方设备采集之后发送给电子设备，也可以是电子设备采集的，等等。在此对待识别人脸图像的具体来源并不做任何限定。
S42，将待识别人脸图像输入目标人脸识别模型中，确定待识别人脸图像对应的标签。
其中，所述目标人脸识别模型是根据本发明任一实施方式中所述的人脸识别模型的训练方法训练得到的。
关于目标人脸识别模型的确定方式，请参见上文所述，在此不再赘述。
电子设备利用目标人脸识别模型对输入的待识别人脸图像进行识别，输出待识别人脸图像对应的标签。如上文所述，标签的具体形式可以根据实际需求进行设置，在此对其并不做任何限定。
本实施例提供的人脸识别方法，在训练得到目标人脸识别模型的识别准确度较高的基础上，利用该目标人脸识别模型进行人脸识别，提高了人脸识别的准确性。
在本实施例中还提供了一种人脸识别模型的训练装置以及人脸识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种人脸识别模型的训练装置，如图7所示，包括：
第一获取模块51，用于获取人脸样本图像以及各个所述人脸样本图像的目标标签；
特征提取模块52，用于将所述人脸样本图像输入人脸识别模型中的特征提取模块进行特征提取，得到多个特征图；
特征处理模块53，用于将所述多个特征图输入所述人脸识别模型中的权重确定模块中进行特征处理，分别确定各个所述特征图对应的权重；
融合模块54，用于基于所述多个特征图与所述对应的权重的融合结果，确定所述人脸识别模型的预测标签；
更新模块55，用于根据所述目标标签以及所述预测标签的差异，对所述人脸识别模型的参数进行更新，确定目标人脸识别模型。
本实施例提供的人脸识别模型的训练装置，不同的特征图代表人脸的一个特征表示，而每一个特征表示应该有不同的重要程度，针对各个特征图赋予对应的权重，这个权重也就代表这个重要程度，通过赋予不同特征图不同的权重可以提高人脸识别模型的准确性。
本实施例还提供了一种人脸识别装置，如图8所示，包括：
第二获取模块61，用于获取待识别人脸图像；
人脸识别模块62，用于将所述待识别人脸图像输入目标人脸识别模型中，确定所述待识别人脸图像对应的标签，所述目标人脸识别模型是根据上述任一实施方式中所述的人脸识别模型的训练方法训练得到的。
本实施例提供的人脸识别装置，在训练得到目标人脸识别模型的识别准确度较高的基础上，利用该目标人脸识别模型进行人脸识别，提高了人脸识别的准确性。
本实施例中的人脸识别模型的训练装置以及人脸识别装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本发明实施例还提供一种电子设备，具有上述图7所示的人脸识别模型的训练装置，或图8所示的人脸识别装置。
请参阅图9，图9是本发明可选实施例提供的一种电子设备的结构示意图，如图9所示，该电子设备可以包括：至少一个处理器71，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口73，存储器74，至少一个通信总线72。其中，通信总线72用于实现这些组件之间的连接通信。其中，通信接口73可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口73还可以包括标准的有线接口、无线接口。存储器74可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器74可选的还可以是至少一个位于远离前述处理器71的存储装置。其中处理器71可以结合图7或8所描述的装置，存储器74中存储应用程序，且处理器71调用存储器74中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线72可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线72可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器74可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器74还可以包括上述种类的存储器的组合。
其中，处理器71可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器71还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器74还用于存储程序指令。处理器71可以调用程序指令，实现如本申请任一实施例中所示的人脸识别模型的训练方法，或任一实施例中所示的人脸识别方法。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的人脸识别模型的训练方法，或人脸识别方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种人脸识别模型的训练方法，其特征在于，包括：
获取人脸样本图像以及各个所述人脸样本图像的目标标签；
将所述人脸样本图像输入人脸识别模型中的特征提取模块进行特征提取，得到多个特征图；
将所述多个特征图输入所述人脸识别模型中的权重确定模块中进行特征处理，分别确定各个所述特征图对应的权重；
基于所述多个特征图与所述对应的权重的融合结果，确定所述人脸识别模型的预测标签；
根据所述目标标签以及所述预测标签的差异，对所述人脸识别模型的参数进行更新，确定目标人脸识别模型。
2.根据权利要求1所述的方法，其特征在于，所述将所述多个特征图输入所述人脸识别模型中的权重确定模块中进行特征处理，分别确定各个所述特征图对应的权重，包括：
利用所述权重确定模块中的分组卷积层分别对各个所述特征图进行分组卷积，得到与所述特征图一一对应的第一特征向量；
对各个所述第一特征向量进行归一化处理，确定各个所述特征图对应的权重。
3.根据权利要求2所述的方法，其特征在于，所述对各个所述第一特征向量进行归一化处理，确定各个所述特征图对应的权重，包括：
利用所述权重确定模块中的批归一化层对所述第一特征向量进行批归一化处理，得到与所述特征图一一对应的第二特征向量；
利用所述权重确定模块中的非线性层对所述第二特征向量进行非线性处理，得到对应的第三特征向量；
利用所述权重确定模块中的维度变换层将所述第三特征向量变换为一维，确定各个所述特征图对应的权重。
4.根据权利要求1所述的方法，其特征在于，所述基于所述多个特征图与所述对应的权重的融合结果，确定所述人脸识别模型的预测标签，包括：
计算各个所述特征图与对应的权重的乘积，确定权重处理后的多个目标特征图；
基于所述多个目标特征图确定所述人脸识别模型的预测标签。
5.根据权利要求1所述的方法，其特征在于，所述人脸样本图像包括简单人脸样本图像以及困难人脸样本图像，所述根据所述目标标签以及所述预测标签的差异，对所述人脸识别模型的参数进行更新，确定目标人脸识别模型，包括：
获取所述简单人脸样本图像输入初始人脸识别模型得到的第一预测标签；
基于所述第一预测标签以及所述简单人脸样本图像的目标标签的差异，对所述初始人脸识别模型的参数进行更新，确定初始目标人脸识别模型；
基于所述人脸样本图像对所述初始目标人脸识别模型中的全连接分类层参数进行调整，确定中间目标人脸识别模型；
获取所述人脸样本图像输入所述中间目标人脸识别模型后得到的第二预测标签；
基于所述第二预测标签以及所述人脸样本图像的目标标签的差异，对所述中间目标人脸识别模型的参数进行更新，确定所述目标人脸识别模型。
6.一种人脸识别方法，其特征在于，包括：
获取待识别人脸图像；
将所述待识别人脸图像输入目标人脸识别模型中，确定所述待识别人脸图像对应的标签，所述目标人脸识别模型是根据权利要求1-6中任一项所述的人脸识别模型的训练方法训练得到的。
7.一种人脸识别模型的训练装置，其特征在于，包括：
第一获取模块，用于获取人脸样本图像以及各个所述人脸样本图像的目标标签；
特征提取模块，用于将所述人脸样本图像输入人脸识别模型中的特征提取模块进行特征提取，得到多个特征图；
特征处理模块，用于将所述多个特征图输入所述人脸识别模型中的权重确定模块中进行特征处理，分别确定各个所述特征图对应的权重；
融合模块，用于基于所述多个特征图与所述对应的权重的融合结果，确定所述人脸识别模型的预测标签；
更新模块，用于根据所述目标标签以及所述预测标签的差异，对所述人脸识别模型的参数进行更新，确定目标人脸识别模型。
8.一种人脸识别装置，其特征在于，包括：
第二获取模块，用于获取待识别人脸图像；
人脸识别模块，用于将所述待识别人脸图像输入目标人脸识别模型中，确定所述待识别人脸图像对应的标签，所述目标人脸识别模型是根据权利要求1-5中任一项所述的人脸识别模型的训练方法训练得到的。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-5中任一项所述的人脸识别模型的训练方法，或者，执行权利要求6所述的人脸识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-5中任一项所述的人脸识别模型的训练方法，或者，执行权利要求6所述的人脸识别方法。
CN202111160624.6A 2021-09-30 2021-09-30 人脸识别模型的训练方法、人脸识别方法及电子设备 Pending CN113887416A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111160624.6A CN113887416A (zh) 2021-09-30 2021-09-30 人脸识别模型的训练方法、人脸识别方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111160624.6A CN113887416A (zh) 2021-09-30 2021-09-30 人脸识别模型的训练方法、人脸识别方法及电子设备

Publications (1)

Publication Number Publication Date
CN113887416A true CN113887416A (zh) 2022-01-04

Family

ID=79004743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111160624.6A Pending CN113887416A (zh) 2021-09-30 2021-09-30 人脸识别模型的训练方法、人脸识别方法及电子设备

Country Status (1)

Country Link
CN (1) CN113887416A (zh)

Similar Documents

Publication Publication Date Title
US11348249B2 (en) Training method for image semantic segmentation model and server
CN112052787B (zh) 基于人工智能的目标检测方法、装置及电子设备
CN108280477B (zh) 用于聚类图像的方法和装置
CN108073902B (zh) 基于深度学习的视频总结方法、装置及终端设备
WO2023138188A1 (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN113128419B (zh) 一种障碍物识别方法和装置、电子设备及存储介质
CN111914908B (zh) 一种图像识别模型训练方法、图像识别方法及相关设备
CN111062964A (zh) 图像分割方法及相关装置
WO2022105297A1 (zh) 表格结构的还原方法、***、计算机设备及存储介质
CN112214775A (zh) 对图数据的注入式攻击方法、装置、介质及电子设备
EP4343616A1 (en) Image classification method, model training method, device, storage medium, and computer program
CN112465141A (zh) 模型压缩方法、装置、电子设备及介质
CN113705362A (zh) 图像检测模型的训练方法、装置、电子设备及存储介质
CN114170484B (zh) 图片属性预测方法、装置、电子设备和存储介质
CN111382791A (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN115359308A (zh) 模型训练、难例识别方法、装置、设备、存储介质及程序
CN111898544A (zh) 文字图像匹配方法、装置和设备及计算机存储介质
CN114494782B (zh) 图像处理方法、模型训练方法、相关装置及电子设备
CN116977260A (zh) 目标物的缺陷检测方法、装置、电子设备及存储介质
CN115546554A (zh) 敏感图像的识别方法、装置、设备和计算机可读存储介质
CN113887416A (zh) 人脸识别模型的训练方法、人脸识别方法及电子设备
CN113780148A (zh) 交通标志图像识别模型训练方法和交通标志图像识别方法
CN113537398A (zh) 颜值评估模型训练方法及组件，颜值评估方法及组件
CN112749707A (zh) 利用神经网络进行目标分割的方法、设备和介质
CN112288748A (zh) 一种语义分割网络训练、图像语义分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination