CN109934197A - 人脸识别模型的训练方法、装置和计算机可读存储介质 - Google Patents

人脸识别模型的训练方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN109934197A
CN109934197A CN201910219576.XA CN201910219576A CN109934197A CN 109934197 A CN109934197 A CN 109934197A CN 201910219576 A CN201910219576 A CN 201910219576A CN 109934197 A CN109934197 A CN 109934197A
Authority
CN
China
Prior art keywords
human face
face recognition
recognition model
feature
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910219576.XA
Other languages
English (en)
Other versions
CN109934197B (zh
Inventor
邵新庆
宋咏君
刘强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Liwei Zhilian Technology Co Ltd
Original Assignee
Shenzhen Liwei Zhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Liwei Zhilian Technology Co Ltd filed Critical Shenzhen Liwei Zhilian Technology Co Ltd
Priority to CN201910219576.XA priority Critical patent/CN109934197B/zh
Publication of CN109934197A publication Critical patent/CN109934197A/zh
Application granted granted Critical
Publication of CN109934197B publication Critical patent/CN109934197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸识别模型的训练方法,所述人脸识别模型的训练方法包括以下步骤:采用深度卷积神经网络中各个目标网络层对各个目标人脸图像进行特征提取,以得到多个全局特征;根据所述全局特征对应的目标网络层对所述全局特征进行分割得到各个局部特征,并将所述目标人脸图像对应的各个所述全局特征进行融合得到融合特征;对所述全局特征、所述局部特征以及融合特征进行损失监督学习,以对人脸识别模型进行训练。本发明还公开一种人脸识别模型的训练装置和计算机可读存储介质。本发明提高了人脸识别的精度。

Description

人脸识别模型的训练方法、装置和计算机可读存储介质
技术领域
本发明涉及人脸识别技术领域,尤其涉及一种人脸识别模型的训练方法、装置和计算机可读存储介质。
背景技术
借力于深度卷积神经网络技术的成熟和高算力设备的推出,人脸识别算法无论是在进度和识别速度上都发生的巨大革命。人脸识别应用也成为AI技术中最成熟的最广泛的代表。无论是智慧城市建设还是视频监控领域,人脸识别成为最基础最核心的技术手段。
人脸识别技术作为一种无接触无感知的生物识别技术最大的优势在于不需要人们强制配合便可以捕捉人的身份信息。人脸识别***以能够拍摄到清洗的正面人脸作为基础,而实际的场景条件下,光照、拍摄角度、戴眼镜口罩等情况下,造成人脸识别的精度较低。
发明内容
本发明的主要目的在于提供一种人脸识别模型的训练方法、装置和计算机可读存储介质,旨在解决人脸识别的精度较低的问题。
为实现上述目的,本发明提供的一种人脸识别模型的训练方法,所述人脸识别模型的训练方法包括以下步骤:
采用深度卷积神经网络中各个目标网络层对各个目标人脸图像进行特征提取,以得到多个全局特征;
根据所述全局特征对应的目标网络层对所述全局特征进行分割得到各个局部特征,并将所述目标人脸图像对应的各个所述全局特征进行融合得到融合特征;
对所述全局特征、所述局部特征以及融合特征进行损失监督学习,以对人脸识别模型进行训练。
在一实施例中,所述对所述全局特征、所述局部特征以及融合特征进行损失监督学习的步骤包括:
确定所述全局特征、所述局部特征以及所述融合特征对应的目标损失函数以及所述目标损失函数对应的权重值;
根据所述目标损失函数以及所述目标损失函数对应的权重值,对所述目标函数对应的特征进行损失监督学习。
在一实施例中,所述确定所述全局特征、所述局部特征以及所述融合特征对应的目标损失函数以及所述目标损失函数对应的权重值的步骤包括:
将归一化指数损失函数确定为所述局部特征对应的第一目标损失函数,并将所述归一化指数损失函数以及三元组损失函数确定为所述全局特征以及所述融合特征对应的第二目标损失函数;
为所述第一目标损失函数配置第一权重值以及所述融合特征对应的第二目标损失函数中归一化指数函数配置第二权重值,并根据所述全局特征对应的目标网络层对所述全局特征对应的第二目标损失函数中归一化指数函数配置第三权重值。
在一实施例中,采用深度卷积神经网络中各个目标网络层对各个目标人脸图像进行特征提取,以得到多个全局特征的步骤包括:
在所述深度卷积神经网络的各个网络层中确定多个目标网络层,其中,所述目标网络层与所述深度卷积神经网络的输出层之间距离小于除所述目标网络层的其它网络层与所述输出层之间的距离;
将目标人脸图像输入各个所述目标网络层,以得到各个所述目标网络层对应的全局特征图;
对各个所述全局特征图进行池化,得到多个全局特征。
在一实施例中,所述对所述融合特征进行损失监督学习的步骤包括:
降低所述融合特征的维度;
对降低维度的所述融合特征进行损失监督学习。
在一实施例中,所述采用深度卷积神经网络中各个目标网络层对各个目标人脸图像进行特征提取的步骤之前,还包括:
获取各个测试人脸图像,并对各个测试人脸图像进行预处理,以得到各个目标人脸图像,其中,所述预处理包块图像归一化像素处理以及图像数据增强处理。
在一实施例中,所述在对所述全局特征、所述局部特征以及融合特征进行损失监督学习的步骤之后,还包括:
实时获取所述深度卷积神经网络对应的损失函数;
在所述深度卷积神经网络对应的损失函数收敛至设定区间时,完成所述人脸识别模型的训练,并保存完成训练的所述人脸识别模型。
在一实施例中,所述将完成训练的所述人脸识别模型保存的步骤之后,还包括:
将完成训练的所述人脸识别模型输出的融合特征作为所述人脸图像对应的预存融合特征,并保存所述预存融合特征。
为实现上述目的,本发明还提供一种人脸识别模型的训练装置,所述人脸识别模型的训练装置包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的人脸识别模型的训练程序,所述人脸识别模型的训练程序被所述处理器执行时实现如上所述的人脸识别模型的训练方法的各个步骤。
为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有人脸识别模型的训练程序,所述人脸识别模型的训练程序被所述处理器执行时实现如上所述的人脸识别模型的训练方法的各个步骤。
本发明提供的人脸识别模型的训练方法、装置和计算机可读存储介质,人脸识别模型的训练装置采用深度卷积神经网络中各个目标网络层对各个目标人脸图像进行特征提取得到多个全局特征,再根据全局特征对应的目标网络层对全局进行分割,从而得到多个局部特征,进而将对应一个人脸图像的多个局部特征以及多个全局特征进行融合得到融合特征,最后对各个全局特征、局部特征以及融合特征进行损失监督学习以进行人脸识别模型的训练;由于人脸识别模型的训练装置通过对不同网络层输出全局特征、融合特征以及全局特征分割的局部特征进行损失监督学习,使得装置挖掘出了人脸图像中的细微特征,提高了人脸识别的精度,此外,由于人脸识别模型的训练装置将全局特征分割为多个局部特征进行损失监督学习,而无需人工遮挡人脸的遮挡区域或对人脸的遮挡的特征处理,简化了人脸图像的训练流程。
附图说明
图1为本发明实施例涉及的人脸识别模型的训练装置的硬件结构示意图;
图2为本发明人脸识别模型的训练方法第一实施例的流程示意图;
图3为图2中步骤S10的细化流程示意图;
图4为图2中步骤S30的细化流程示意图;
图5为本发明人脸识别模型的训练方法第二实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:采用深度卷积神经网络中各个目标网络层对各个目标人脸图像进行特征提取,以得到多个全局特征;根据所述全局特征对应的目标网络层对所述全局特征进行分割得到各个局部特征,并将所述目标人脸图像对应的各个所述全局特征进行融合得到融合特征;对所述全局特征、所述局部特征以及融合特征进行损失监督学习,以对人脸识别模型进行训练。
由于人脸识别模型的训练装置通过对不同网络层输出全局特征、融合特征以及全局特征分割的局部特征进行损失监督学习,使得装置挖掘出了人脸图像中的细微特征,提高了人脸识别的精度,此外,由于人脸识别模型的训练装置将全局特征分割为多个局部特征进行损失监督学习,而无需人工遮挡人脸的遮挡区域或对人脸的遮挡的特征处理,简化了人脸图像的训练流程。
作为一种实现方案,人脸识别模型的训练装置可以如图1所示。
本发明实施例方案涉及的是人脸识别模型的训练装置,人脸识别模型的训练装置包括:处理器101,例如CPU,存储器102,通信总线103。其中,通信总线103用于实现这些组件之间的连接通信。此外,人脸识别模型的训练装置包括CPU,负责执行人脸识别模型的训练程序并进行数据读取以及模型的存储;另外,人脸识别模型的训练装置包括GPU(图形处理器),GPU用于模型的训练;在CPU调用存储器中存储的人脸识别模型的训练程序后,CPU从本地磁盘中读取一批训练图像文件解码成训练数据格式,拷贝到GPU显存,并在GPU中进行前向计算和后向推理,并更新模型参数,读取下一批数据,不断反复。
存储器102可以是高速RAM存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。如图1所示,作为一种计算机存储介质的存储器102中可以包括人脸识别模型的训练程序;而处理器101可以用于调用存储器102中存储的人脸识别模型的训练程序,并执行以下操作:
采用深度卷积神经网络中各个目标网络层对各个目标人脸图像进行特征提取,以得到多个全局特征;
根据所述全局特征对应的目标网络层对所述全局特征进行分割得到各个局部特征,并将所述目标人脸图像对应的各个所述全局特征进行融合得到融合特征;
对所述全局特征、所述局部特征以及融合特征进行损失监督学习,以对人脸识别模型进行训练。
在一实施例中,处理器101可以用于调用存储器102中存储的人脸识别模型的训练程序,并执行以下操作:
确定所述全局特征、所述局部特征以及所述融合特征对应的目标损失函数以及所述目标损失函数对应的权重值;
根据所述目标损失函数以及所述目标损失函数对应的权重值,对所述目标函数对应的特征进行损失监督学习。
在一实施例中,处理器101可以用于调用存储器102中存储的人脸识别模型的训练程序,并执行以下操作:
将归一化指数损失函数确定为所述局部特征对应的第一目标损失函数,并将所述归一化指数损失函数以及三元组损失函数确定为所述全局特征以及所述融合特征对应的第二目标损失函数;
为所述第一目标损失函数配置第一权重值以及所述融合特征对应的第二目标损失函数中归一化指数函数配置第二权重值,并根据所述全局特征对应的目标网络层对所述全局特征对应的第二目标损失函数中归一化指数函数配置第三权重值。
在一实施例中,处理器101可以用于调用存储器102中存储的人脸识别模型的训练程序,并执行以下操作:
在所述深度卷积神经网络的各个网络层中确定多个目标网络层,其中,所述目标网络层与所述深度卷积神经网络的输出层之间距离小于除所述目标网络层的其它网络层与所述输出层之间的距离;
将目标人脸图像输入各个所述目标网络层,以得到各个所述目标网络层对应的全局特征图;
对各个所述全局特征图进行池化,得到多个全局特征。
在一实施例中,处理器101可以用于调用存储器102中存储的人脸识别模型的训练程序,并执行以下操作:
降低所述融合特征的维度;
对降低维度的所述融合特征进行损失监督学习。
在一实施例中,处理器101可以用于调用存储器102中存储的人脸识别模型的训练程序,并执行以下操作:
获取各个测试人脸图像,并对各个测试人脸图像进行预处理,以得到各个目标人脸图像,其中,所述预处理包块图像归一化像素处理以及图像数据增强处理。
在一实施例中,处理器101可以用于调用存储器102中存储的人脸识别模型的训练程序,并执行以下操作:
实时获取所述深度卷积神经网络对应的损失函数;
在所述深度卷积神经网络对应的损失函数收敛至设定区间时,完成所述人脸识别模型的训练,并保存完成训练的所述人脸识别模型。
在一实施例中,处理器101可以用于调用存储器102中存储的人脸识别模型的训练程序,并执行以下操作:
将完成训练的所述人脸识别模型输出的融合特征作为所述人脸图像对应的预存融合特征,并保存所述预存融合特征。
本实施例根据上述方案,人脸识别模型的训练装置采用深度卷积神经网络中各个目标网络层对各个目标人脸图像进行特征提取得到多个全局特征,再根据全局特征对应的目标网络层对全局进行分割,从而得到多个局部特征,进而将对应一个人脸图像的多个局部特征以及多个全局特征进行融合得到融合特征,最后对各个全局特征、局部特征以及融合特征进行损失监督学习以进行人脸识别模型的训练;由于人脸识别模型的训练装置通过对不同网络层输出全局特征、融合特征以及全局特征分割的局部特征进行损失监督学习,使得装置挖掘出了人脸图像中的细微特征,提高了人脸识别的精度,此外,由于人脸识别模型的训练装置将全局特征分割为多个局部特征进行损失监督学习,而无需人工遮挡人脸的遮挡区域或对人脸的遮挡的特征处理,简化了人脸图像的训练流程。
基于上述人脸识别模型的训练装置的硬件构架,提出本发明人脸识别模型的训练方法的实施例。
参照图2,图2为本发明人脸识别模型的训练方法的第一实施例,所述人脸识别模型的训练方法包括以下步骤:
步骤S10,采用深度卷积神经网络中各个目标网络层对各个目标人脸图像进行特征提取,以得到多个全局特征;
在本发明中,执行主体为人脸识别模型的训练装置,人脸识别模型的训练装置包括有CPU、存储器以及GPU,存储器存储有人脸识别模型的训练程序,此外,人脸识别模型的训练装置还设有存储量较大的存储器(例如,本地磁盘),该存储器存储有大量的人脸图像,例如,存储器可存储30G甚至更大容量的用于训练的人脸图像;CPU是负责执行人脸识别模型的训练程序,而GPU则是用于模型的训练。
在对模型进行训练时,将本地磁盘中的人脸图像数据分为多个批次以进行多次的模型训练,每一批次的模型训练的流程一致,具体的,CPU调用存储器中存储的人脸识别模型的训练程序,CPU再从本地磁盘中读取一定量的用于训练的人脸图像数据,CPU再对人脸图像数据解码成训练数据格式,再将其拷贝至GPU显存中,并在GPU中进行前向计算和后向推理,并更新以及保存模型。可以理解的是,人脸识别模型的训练装置通过不同批次的人脸图像不断反复的对模型进行训练。
人脸识别模型的训练装置设有优化器,装置通过深度卷积神经网络对人脸图像进行处理,具体的,请参照图3,即步骤S10包括:
步骤S11,在所述深度卷积神经网络的各个网络层中确定多个目标网络层,其中,所述目标网络层与所述深度卷积神经网络的输出层之间距离小于除所述目标网络层的其它网络层与所述输出层之间的距离;
步骤S12,将目标人脸图像输入各个所述目标网络层,以得到各个所述目标网络层对应的全局特征图;
步骤S13,对各个所述全局特征图进行池化,得到多个全局特征。
深度卷积神经网络含有多个网络层,每一个网络层可对人脸图像进行特征提取,但与深度卷积神经网络中输入越近的网络层提取的特征越浅,因此,在本发明中,将深度卷积神经网络中输出较近的几个网络层作为目标网络层,也即装置仅需提取人脸图像在各个目标网络层的特征,可以理解的是,目标网络层与深度卷积神经网络中输出层(输出层为深度卷积神经网络向外部输出的网络层)之间的距离小于除目标网络层的其它网络层与输出层之间的距离,深度卷积神经网络可采用ResNet50作为主干网,ResNet50可主要分解成5个网络层,按照网络层与输出层距离从大到小的顺序依次为layer0、layer1、layer2、layer3、layer4,其中,可将layer2、layer3、layer4作为目标网络层,而layer0可对输入的人脸图像进行卷积、归一化、池化等操作,而layer1可作为人脸图像的特征图的提取器,需要说明的是layer1到layer4为四个stage,分别包含3,4,6,3个残差结构,此外,ResNet50在layer4之后还包括池化层以及全连接层,可以理解的是,layer2、layer3、layer4可以视为三个层次不同的网络结构,进而可提取人脸图像在这三个目标网络层对应的特征,这类特征为全局特征,不同的全局特征表征不同层次的人脸信息。需要说明的是,在当人脸图像输入目标网络层后,目标网络层输出全局特征图,装置再对全局特征图进行池化,进而得到全局特征,从layer2、layer3、layer4输出的特征图的尺寸分别为512*28*28、1024*14*14以及2048*7*7。三个全局特征的维度分别为512、1024以及2048。
需要说明的是,在对人脸图像训练之前,需要对人脸图像进行预处理,具体的,获取用于模型训练的数据集,数据集中含有多张测试人脸图像,人脸图像可从人脸图像数据源中下载得到;在将数据集中测试人脸图像进行训练时,对人脸图像进行归一化像素处理,以将人脸图像像素归一化-1到1,使得模型训练过程容易收敛;在人脸图像完成归一化像素处理后,采用随机水平翻转、随机截取和颜色抖动等操作对人脸图像进行图像数据增强,从而扩大训练数据的多样性,并防止过拟合;在测试人脸图像进行归一化像素处理以及图像数据增强处理后,即得到目标人脸图像;可以理解的是,预处理包块归一化像素处理以及图像数据增强处理。
步骤S20,根据所述全局特征对应的目标网络层对所述全局特征进行分割得到各个局部特征,并将所述目标人脸图像对应的各个所述全局特征进行融合得到融合特征;
在提取到全局特征后,可对全局特征进行分割得到局部特征,具体的,通过人工的方式多次对同一目标网络层输出的全局特征图进行分割,从而得到最为合理的分割方式,然后将该分割方式以及目标网络层关联并存储至装置中,故在当装置提取目标网络层的全局特征图后,根据该目标网络层的绑定信息来得到分割方式,进而根据分割方式对全局特征图进行分割,得到多个特征块,这些特征块被池化后,即为局部特征,需要说明的是,特征块的尺寸越小,特征块所对应的人脸特征的粒度越小,人脸的描述更为丰富,越容易表示出人脸的细微特征,从而使得装置能够容易挖掘出人脸的细微特征。例如,可对layer2输出的特征图进行2*2的尺度分割,可以获取2个28*14、2个14*28和4个14*14的局部特征块,同时对layer3以及layer4进行2*2的尺度分割,分别得到2个14*7、2个7*14和4个7*7的特征块和2个7*4、2个4*7和4个4*4的特征块;layer2获得的8个局部特征维度都为512,layer3的8个局部特征维度都为1024,layer4的8个局部特征维度都为2048。
此外,在得到同一人脸图像的多个全局特征后,对各个全局特征进行融合,从而得到融合特征,融合特征的维度为512+1024+2048=3588。
步骤S30,对所述全局特征、所述局部特征以及融合特征进行损失监督学习,以对人脸识别模型进行训练。
在得到人脸图像对应的局部特征、全局特征以及融合特征后,通过优化器对局部特征、全局特征以及融合特征进行损失监督学习,具体的,参照图4,即步骤S30包括:
步骤S31,确定所述全局特征、所述局部特征以及所述融合特征对应的目标损失函数以及所述目标损失函数对应的权重值;
步骤S32,根据所述目标损失函数以及所述目标损失函数对应的权重值,对所述目标函数对应的特征进行损失监督学习。
在本实施例中,对各个局部特征配置第一目标损失函数,第一目标损失函数为归一化指数损失函数,也即Softmax loss,而对各个全局特征以及融合特征配置第二目标损失函数,第二目标损失函数包括Softmax loss以及Triplet loss(三元组损失函数),可以理解的是,局部特征、融合特征以及全局特征均设置有Softmax loss,因此需要设置各个目标损失函数中归一化指数损失函数对应权重值,而全局特征中归一化指数损失函数需根据输出全局特征的目标网络层进行设置,例如,可将局部特征的Softmax loss权重设置为0.4,不同层次的局部特征对应的Softmax loss的权重设置为0.6、0.8以及1,而融合特征对应的Softmax loss的权重则设置为1.2。在本实施例中,优化器可为Adam,在进行训练时,将优化器的学习率设置为0.02,epoch设置为60,进而通过优化器的设置参数、损失函数以及损失函数对应的权重值对该损失函数对应的特征进行损失监督学习。
特征的Softmax loss学习是在Softmax层进行,而Triplet loss学习是在Triplet层进行,但每个Softmax层设有对应的全连接层,也即特征先输入全连接层,再输入Softmax层。
需要说明的是,在训练过程中,需实时获取深度卷积神经网络对应的损失函数,在当损失函数loss收敛到预设区间时(预设区间可为任意合适范围,例如0.6上下),可认定人脸识别模型训练完毕,当然,还可进一步进行训练,此时,更新SGD优化器,并同时将学习率设置为0.005,同时,优化器的其它参数不变,在当各个目标人脸图像全部训练后,得到的人脸识别模型为最佳的人脸识别模型,此时,人脸识别模型输出的融合特征为人脸图像对应的验证融合特征,可将验证融合特征作为识别人脸的模板以保存在装置或者数据库中,此外,由于融合特征的维度比较大,可对融合特征进行降维,例如,将融合特征降低至512维。
在当人脸识别模型进行后续的人脸识别时,将采集的人脸图像进行目标网络层的全局特征提取,进而将各个全局特征进行融合,得到融合特征,最后将该融合特征与数据库中的各个预存融合特征进行比对,进而识别出人脸。
在本发明中,通过对深度卷积神经网络的不同网络层提取全局特征,再通过全局特征分割得到局部特征,进而对局部特征、全局特征以及由各个全局特征融合的融合特征设定损失函数进行参数的监督训练,促使最后获得的局部特征以及全局特征对最终的融合特征都是有效的,进而能够更好的表示的人脸的特征。
在本实施例提供的技术方案中,人脸识别模型的训练装置采用深度卷积神经网络中各个目标网络层对各个目标人脸图像进行特征提取得到多个全局特征,再根据全局特征对应的目标网络层对全局进行分割,从而得到多个局部特征,进而将对应一个人脸图像的多个局部特征以及多个全局特征进行融合得到融合特征,最后对各个全局特征、局部特征以及融合特征进行损失监督学习以进行人脸识别模型的训练;由于人脸识别模型的训练装置通过对不同网络层输出全局特征、融合特征以及全局特征分割的局部特征进行损失监督学习,使得装置挖掘出了人脸图像中的细微特征,提高了人脸识别的精度,此外,由于人脸识别模型的训练装置将全局特征分割为多个局部特征进行损失监督学习,而无需人工遮挡人脸的遮挡区域或对人脸的遮挡的特征处理,简化了人脸图像的训练流程。
参照图5,图5为本发明人脸识别模型的训练方法的第二实施例,基于第一实施例,所述步骤S30中对所述融合特征进行损失监督学习的步骤包括:
步骤S33,降低所述融合特征的维度;
步骤S34,对降低维度的所述融合特征进行损失监督学习。
在本实施例中,由于融合特征是由人脸图像对应的多个全局特征融合得到,使得融合特征的维度比较大,在一实施例中,融合特征的维度为3588,这会使得最后输出的融合特征也会比较高,而最后输出的融合特征会作为数据库中人脸图像的特征模板,会使得人脸识别的速度增长。对此,在本实施例中,在由多个全局特征融合得到融合特征后,采用卷积的方式将融合特征进行通道缩减,这样可使得融合特征降低维度,在本实施例中,可采用1*1的卷积将融合特征降低至512维。
卷积主要在这里主要有两个方面的作用:
1、实现跨通道的信息选择,将多个特征进行信息整合;
2、对特征的通道数进行降维,提高了非线性特性,最终合并的高维特征通过学习一个卷积核参数,实现去冗余,提高识别时间,降低特征的存储。
在实施例提供的技术方案中,装置通过卷积的方式对融合特征进行维度的降低,从而使得人脸图像验证时,降低人脸识别的识别时长,进而提高了人脸识别的速率,提高了用户体验。
为实现上述目的,本发明还提供一种人脸识别模型的训练装置,所述人脸识别模型的训练装置包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的人脸识别模型的训练程序,所述人脸识别模型的训练程序被所述处理器执行时实现如上实施例所述的人脸识别模型的训练方法的各个步骤。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有人脸识别模型的训练程序,所述人脸识别模型的训练程序被所述处理器执行时实现如上实施例所述的人脸识别模型的训练方法的各个步骤。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种人脸识别模型的训练方法,其特征在于,所述人脸识别模型的训练方法包括以下步骤:
采用深度卷积神经网络中各个目标网络层对各个目标人脸图像进行特征提取,以得到多个全局特征;
根据所述全局特征对应的目标网络层对所述全局特征进行分割得到各个局部特征,并将所述目标人脸图像对应的各个所述全局特征进行融合得到融合特征;
对所述全局特征、所述局部特征以及融合特征进行损失监督学习,以对人脸识别模型进行训练。
2.如权利要求1所述的人脸识别模型的训练方法,其特征在于,所述对所述全局特征、所述局部特征以及融合特征进行损失监督学习的步骤包括:
确定所述全局特征、所述局部特征以及所述融合特征对应的目标损失函数以及所述目标损失函数对应的权重值;
根据所述目标损失函数以及所述目标损失函数对应的权重值,对所述目标函数对应的特征进行损失监督学习。
3.如权利要求2所述的人脸识别模型的训练方法,其特征在于,所述确定所述全局特征、所述局部特征以及所述融合特征对应的目标损失函数以及所述目标损失函数对应的权重值的步骤包括:
将归一化指数损失函数确定为所述局部特征对应的第一目标损失函数,并将所述归一化指数损失函数以及三元组损失函数确定为所述全局特征以及所述融合特征对应的第二目标损失函数;
为所述第一目标损失函数配置第一权重值以及所述融合特征对应的第二目标损失函数中归一化指数函数配置第二权重值,并根据所述全局特征对应的目标网络层对所述全局特征对应的第二目标损失函数中归一化指数函数配置第三权重值。
4.如权利要求1所述的人脸识别模型的训练方法,其特征在于,采用深度卷积神经网络中各个目标网络层对各个目标人脸图像进行特征提取,以得到多个全局特征的步骤包括:
在所述深度卷积神经网络的各个网络层中确定多个目标网络层,其中,所述目标网络层与所述深度卷积神经网络的输出层之间距离小于除所述目标网络层的其它网络层与所述输出层之间的距离;
将目标人脸图像输入各个所述目标网络层,以得到各个所述目标网络层对应的全局特征图;
对各个所述全局特征图进行池化,得到多个全局特征。
5.如权利要求1所述的人脸识别模型的训练方法,其特征在于,所述对所述融合特征进行损失监督学习的步骤包括:
降低所述融合特征的维度;
对降低维度的所述融合特征进行损失监督学习。
6.如权利要求1所述的人脸识别模型的训练方法,其特征在于,所述采用深度卷积神经网络中各个目标网络层对各个目标人脸图像进行特征提取的步骤之前,还包括:
获取各个测试人脸图像,并对各个测试人脸图像进行预处理,以得到各个目标人脸图像,其中,所述预处理包块图像归一化像素处理以及图像数据增强处理。
7.如权利要求1-6任一项所述的人脸识别模型的训练方法,其特征在于,所述在对所述全局特征、所述局部特征以及融合特征进行损失监督学习的步骤之后,还包括:
实时获取所述深度卷积神经网络对应的损失函数;
在所述深度卷积神经网络对应的损失函数收敛至设定区间时,完成所述人脸识别模型的训练,并保存完成训练的所述人脸识别模型。
8.如权利要求7所述人脸识别模型的训练方法,其特征在于,所述将完成训练的所述人脸识别模型保存的步骤之后,还包括:
将完成训练的所述人脸识别模型输出的融合特征作为所述人脸图像对应的预存融合特征,并保存所述预存融合特征。
9.一种人脸识别模型的训练装置,其特征在于,所述人脸识别模型的训练装置包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的人脸识别模型的训练程序,所述人脸识别模型的训练程序被所述处理器执行时实现如权利要求1-8任一项所述的人脸识别模型的训练方法的各个步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有人脸识别模型的训练程序,所述人脸识别模型的训练程序被所述处理器执行时实现如权利要求1-8任一项所述的人脸识别模型的训练方法的各个步骤。
CN201910219576.XA 2019-03-21 2019-03-21 人脸识别模型的训练方法、装置和计算机可读存储介质 Active CN109934197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910219576.XA CN109934197B (zh) 2019-03-21 2019-03-21 人脸识别模型的训练方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910219576.XA CN109934197B (zh) 2019-03-21 2019-03-21 人脸识别模型的训练方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109934197A true CN109934197A (zh) 2019-06-25
CN109934197B CN109934197B (zh) 2023-07-07

Family

ID=66987983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910219576.XA Active CN109934197B (zh) 2019-03-21 2019-03-21 人脸识别模型的训练方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109934197B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415166A (zh) * 2019-07-29 2019-11-05 腾讯科技(深圳)有限公司 融合图像处理模型的训练方法、图像处理方法、装置及存储介质
CN110533184A (zh) * 2019-08-31 2019-12-03 南京人工智能高等研究院有限公司 一种网络模型的训练方法及装置
CN110569731A (zh) * 2019-08-07 2019-12-13 北京旷视科技有限公司 一种人脸识别方法、装置及电子设备
CN110688976A (zh) * 2019-10-09 2020-01-14 创新奇智(北京)科技有限公司 基于图像识别的门店比对方法
CN110781724A (zh) * 2018-09-11 2020-02-11 开放智能机器(上海)有限公司 一种人脸识别神经网络、方法、装置、设备及存储介质
CN111177469A (zh) * 2019-12-20 2020-05-19 国久大数据有限公司 人脸检索方法及人脸检索装置
CN111339812A (zh) * 2019-06-29 2020-06-26 北京澎思科技有限公司 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质
CN111680701A (zh) * 2020-05-07 2020-09-18 北京三快在线科技有限公司 图像识别模型的训练方法、装置及图像识别方法、装置
CN111783607A (zh) * 2020-06-24 2020-10-16 北京百度网讯科技有限公司 人脸识别模型的训练方法、装置、电子设备及存储介质
CN111832669A (zh) * 2020-09-21 2020-10-27 首都师范大学 学习参与度识别网络模型的建立方法及装置
CN111898465A (zh) * 2020-07-08 2020-11-06 北京捷通华声科技股份有限公司 一种人脸识别模型的获取方法和装置
CN111898547A (zh) * 2020-07-31 2020-11-06 平安科技(深圳)有限公司 人脸识别模型的训练方法、装置、设备及存储介质
CN112036446A (zh) * 2020-08-06 2020-12-04 汇纳科技股份有限公司 目标识别特征融合的方法、***、介质及装置
CN112052792A (zh) * 2020-09-04 2020-12-08 恒睿(重庆)人工智能技术研究院有限公司 一种跨模型人脸识别方法、装置、设备及介质
CN112052789A (zh) * 2020-09-03 2020-12-08 腾讯科技(深圳)有限公司 人脸识别方法、装置、电子设备及存储介质
CN112101172A (zh) * 2020-09-08 2020-12-18 平安科技(深圳)有限公司 基于权重嫁接的模型融合的人脸识别方法及相关设备
CN112215066A (zh) * 2020-09-08 2021-01-12 北京农业信息技术研究中心 家畜脸部图像识别方法及装置
CN112348732A (zh) * 2019-08-08 2021-02-09 华为技术有限公司 基于图形渲染管线的模型推理方法、装置及存储介质
CN112766164A (zh) * 2021-01-20 2021-05-07 深圳力维智联技术有限公司 人脸识别模型训练方法、装置、设备及可读存储介质
CN112966626A (zh) * 2021-03-16 2021-06-15 三星(中国)半导体有限公司 人脸识别方法和装置
CN113128309A (zh) * 2020-01-10 2021-07-16 中移(上海)信息通信科技有限公司 人脸表情识别方法、装置、设备及介质
CN113610071A (zh) * 2021-10-11 2021-11-05 深圳市一心视觉科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN114120430A (zh) * 2022-01-26 2022-03-01 杭州魔点科技有限公司 基于双分支权重融合同源性自监督的口罩人脸识别方法
CN114909786A (zh) * 2022-04-24 2022-08-16 青岛海信日立空调***有限公司 一种空调***及其控制方法
CN117576766A (zh) * 2024-01-16 2024-02-20 杭州魔点科技有限公司 一种跨时空兼容性无监督自学习人脸识别方法和***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045618A (zh) * 2016-02-05 2017-08-15 北京陌上花科技有限公司 一种人脸表情识别方法及装置
CN107330383A (zh) * 2017-06-18 2017-11-07 天津大学 一种基于深度卷积神经网络的人脸识别方法
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109033938A (zh) * 2018-06-01 2018-12-18 上海阅面网络科技有限公司 一种基于可区分性特征融合的人脸识别方法
CN109492560A (zh) * 2018-10-26 2019-03-19 深圳力维智联技术有限公司 基于时间尺度的人脸图像特征融合方法、装置和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045618A (zh) * 2016-02-05 2017-08-15 北京陌上花科技有限公司 一种人脸表情识别方法及装置
CN107330383A (zh) * 2017-06-18 2017-11-07 天津大学 一种基于深度卷积神经网络的人脸识别方法
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109033938A (zh) * 2018-06-01 2018-12-18 上海阅面网络科技有限公司 一种基于可区分性特征融合的人脸识别方法
CN109492560A (zh) * 2018-10-26 2019-03-19 深圳力维智联技术有限公司 基于时间尺度的人脸图像特征融合方法、装置和存储介质

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781724A (zh) * 2018-09-11 2020-02-11 开放智能机器(上海)有限公司 一种人脸识别神经网络、方法、装置、设备及存储介质
CN111339812A (zh) * 2019-06-29 2020-06-26 北京澎思科技有限公司 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质
CN110415166B (zh) * 2019-07-29 2023-01-06 腾讯科技(深圳)有限公司 融合图像处理模型的训练方法、图像处理方法、装置及存储介质
CN110415166A (zh) * 2019-07-29 2019-11-05 腾讯科技(深圳)有限公司 融合图像处理模型的训练方法、图像处理方法、装置及存储介质
CN110569731A (zh) * 2019-08-07 2019-12-13 北京旷视科技有限公司 一种人脸识别方法、装置及电子设备
CN110569731B (zh) * 2019-08-07 2023-04-14 北京旷视科技有限公司 一种人脸识别方法、装置及电子设备
WO2021022962A1 (zh) * 2019-08-08 2021-02-11 华为技术有限公司 基于图形渲染管线的模型推理方法、装置及存储介质
US11941724B2 (en) 2019-08-08 2024-03-26 Huawei Technologies Co., Ltd. Model inference method and apparatus based on graphics rendering pipeline, and storage medium
CN112348732B (zh) * 2019-08-08 2023-11-17 华为技术有限公司 基于图形渲染管线的模型推理方法、装置及存储介质
CN112348732A (zh) * 2019-08-08 2021-02-09 华为技术有限公司 基于图形渲染管线的模型推理方法、装置及存储介质
CN110533184A (zh) * 2019-08-31 2019-12-03 南京人工智能高等研究院有限公司 一种网络模型的训练方法及装置
CN110688976A (zh) * 2019-10-09 2020-01-14 创新奇智(北京)科技有限公司 基于图像识别的门店比对方法
CN111177469A (zh) * 2019-12-20 2020-05-19 国久大数据有限公司 人脸检索方法及人脸检索装置
CN113128309A (zh) * 2020-01-10 2021-07-16 中移(上海)信息通信科技有限公司 人脸表情识别方法、装置、设备及介质
CN111680701A (zh) * 2020-05-07 2020-09-18 北京三快在线科技有限公司 图像识别模型的训练方法、装置及图像识别方法、装置
CN111680701B (zh) * 2020-05-07 2023-04-07 北京三快在线科技有限公司 图像识别模型的训练方法、装置及图像识别方法、装置
CN111783607A (zh) * 2020-06-24 2020-10-16 北京百度网讯科技有限公司 人脸识别模型的训练方法、装置、电子设备及存储介质
CN111783607B (zh) * 2020-06-24 2023-06-27 北京百度网讯科技有限公司 人脸识别模型的训练方法、装置、电子设备及存储介质
CN111898465A (zh) * 2020-07-08 2020-11-06 北京捷通华声科技股份有限公司 一种人脸识别模型的获取方法和装置
CN111898465B (zh) * 2020-07-08 2024-05-14 北京捷通华声科技股份有限公司 一种人脸识别模型的获取方法和装置
CN111898547B (zh) * 2020-07-31 2024-04-16 平安科技(深圳)有限公司 人脸识别模型的训练方法、装置、设备及存储介质
CN111898547A (zh) * 2020-07-31 2020-11-06 平安科技(深圳)有限公司 人脸识别模型的训练方法、装置、设备及存储介质
CN112036446A (zh) * 2020-08-06 2020-12-04 汇纳科技股份有限公司 目标识别特征融合的方法、***、介质及装置
CN112036446B (zh) * 2020-08-06 2023-12-12 汇纳科技股份有限公司 目标识别特征融合的方法、***、介质及装置
CN112052789A (zh) * 2020-09-03 2020-12-08 腾讯科技(深圳)有限公司 人脸识别方法、装置、电子设备及存储介质
CN112052789B (zh) * 2020-09-03 2024-05-14 腾讯科技(深圳)有限公司 人脸识别方法、装置、电子设备及存储介质
CN112052792B (zh) * 2020-09-04 2022-04-26 恒睿(重庆)人工智能技术研究院有限公司 一种跨模型人脸识别方法、装置、设备及介质
CN112052792A (zh) * 2020-09-04 2020-12-08 恒睿(重庆)人工智能技术研究院有限公司 一种跨模型人脸识别方法、装置、设备及介质
CN112101172B (zh) * 2020-09-08 2023-09-08 平安科技(深圳)有限公司 基于权重嫁接的模型融合的人脸识别方法及相关设备
CN112101172A (zh) * 2020-09-08 2020-12-18 平安科技(深圳)有限公司 基于权重嫁接的模型融合的人脸识别方法及相关设备
CN112215066A (zh) * 2020-09-08 2021-01-12 北京农业信息技术研究中心 家畜脸部图像识别方法及装置
CN111832669A (zh) * 2020-09-21 2020-10-27 首都师范大学 学习参与度识别网络模型的建立方法及装置
CN112766164A (zh) * 2021-01-20 2021-05-07 深圳力维智联技术有限公司 人脸识别模型训练方法、装置、设备及可读存储介质
CN112966626A (zh) * 2021-03-16 2021-06-15 三星(中国)半导体有限公司 人脸识别方法和装置
CN113610071B (zh) * 2021-10-11 2021-12-24 深圳市一心视觉科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN113610071A (zh) * 2021-10-11 2021-11-05 深圳市一心视觉科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN114120430A (zh) * 2022-01-26 2022-03-01 杭州魔点科技有限公司 基于双分支权重融合同源性自监督的口罩人脸识别方法
CN114120430B (zh) * 2022-01-26 2022-04-22 杭州魔点科技有限公司 基于双分支权重融合同源性自监督的口罩人脸识别方法
CN114909786A (zh) * 2022-04-24 2022-08-16 青岛海信日立空调***有限公司 一种空调***及其控制方法
CN117576766A (zh) * 2024-01-16 2024-02-20 杭州魔点科技有限公司 一种跨时空兼容性无监督自学习人脸识别方法和***
CN117576766B (zh) * 2024-01-16 2024-04-26 杭州魔点科技有限公司 一种跨时空兼容性无监督自学习人脸识别方法和***

Also Published As

Publication number Publication date
CN109934197B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN109934197A (zh) 人脸识别模型的训练方法、装置和计算机可读存储介质
US11487995B2 (en) Method and apparatus for determining image quality
CN109657554B (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN110728330A (zh) 基于人工智能的对象识别方法、装置、设备及存储介质
CN108961675A (zh) 基于卷积神经网络的跌倒检测方法
CN107844784A (zh) 人脸识别方法、装置、计算机设备和可读存储介质
CN109697416A (zh) 一种视频数据处理方法和相关装置
CN111738735B (zh) 一种图像数据处理方法、装置和相关设备
CN106548468B (zh) 图像清晰度的判别方法及装置
CN112446302B (zh) 一种人体姿态检测方法、***、电子设备和存储介质
CN109840467A (zh) 一种活体检测方法及***
CN112801054B (zh) 人脸识别模型的处理方法、人脸识别方法及装置
CN110232326A (zh) 一种三维物体识别方法、装置及存储介质
CN110458829A (zh) 基于人工智能的图像质控方法、装置、设备及存储介质
CN113705290A (zh) 图像处理方法、装置、计算机设备和存储介质
CN116110100B (zh) 一种人脸识别方法、装置、计算机设备及存储介质
CN110070037A (zh) 人脸识别模型的平滑升级方法、装置和可读存储介质
CN112991278A (zh) RGB空域特征与LoG时域特征结合的Deepfake视频检测方法及***
KR20210100592A (ko) 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술
CN114596608B (zh) 一种基于多线索的双流视频人脸伪造检测方法及***
CN112818899A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
US20230237630A1 (en) Image processing method and apparatus
CN116823442A (zh) 信贷业务中欺诈风险的预测方法
CN115936961B (zh) 基于少样本对比学习网络的隐写分析方法、设备及介质
CN113627404B (zh) 基于因果推断的高泛化人脸替换方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant