CN113963426A - 模型训练、戴口罩人脸识别方法、电子设备及存储介质 - Google Patents
模型训练、戴口罩人脸识别方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113963426A CN113963426A CN202111575825.2A CN202111575825A CN113963426A CN 113963426 A CN113963426 A CN 113963426A CN 202111575825 A CN202111575825 A CN 202111575825A CN 113963426 A CN113963426 A CN 113963426A
- Authority
- CN
- China
- Prior art keywords
- face
- vector
- mask
- model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 title claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 171
- 238000006243 chemical reaction Methods 0.000 claims abstract description 19
- 230000009467 reduction Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 11
- 210000000887 face Anatomy 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明实施例涉及人脸识别领域,公开了一种模型训练、戴口罩人脸识别方法、电子设备及存储介质,通过获取人脸戴口罩和未戴口罩的标准深度图像,并以同一人脸的戴口罩的标准深度图像作为图像样本、未戴口罩的标准深度图像作为所述图像样本对应的标签;对所述图像样本及其标签进行相同的格式转换,分别得到一维的样本向量和标签向量;以所述样本向量作为输入,一维的特征向量作为输出,构建加密模型;以所述加密模型输出的所述特征向量作为输入,所述样本向量对应的去口罩后的一维的还原向量作为输出,构建解密模型;对所述加密模型和所述解密模型进行联合训练。本方案训练的模型能够基于人脸的深度信息对戴口罩的人脸进行有效识别,保证识别率。
Description
技术领域
本发明涉及人脸识别领域,特别涉及一种模型训练、戴口罩人脸识别方法、电子设备及存储介质。
背景技术
人脸识别技术(Face Recognition)是基于生物特征信息进行身份识别的一种生物识别技术,主要是利用录像机或者摄像机来采集具有人脸的视频或者图像,然后利用算法对图像进行信息分析来感知人、识别人。通常被称为人脸识别或面部识别。目前人脸识别该技术主要应用到刑事侦查、监控***、打卡考勤、安全支付等领域。
现有众多的人脸识别算法主要是基于没有戴口罩的人脸进行识别,对于带上口罩的人脸,其面部特征已经遮挡了一大半,这样在对人脸特征提取过程中会导致大量特征点丢失,造成识别率严重下降。
发明内容
本发明实施方式的目的在于提供一种模型训练、戴口罩人脸识别方法、电子设备及存储介质,能够基于人脸的深度信息对戴口罩的人脸进行有效识别,保证识别率。
为解决上述技术问题,本发明的实施方式提供了一种模型训练方法,包括:
获取人脸戴口罩和未戴口罩的标准深度图像,并以同一人脸的戴口罩的标准深度图像作为图像样本、未戴口罩的标准深度图像作为所述图像样本对应的标签;
对所述图像样本及其标签进行相同的格式转换,分别得到一维的样本向量和标签向量;
以所述样本向量作为输入,一维的特征向量作为输出,构建加密模型;
以所述加密模型输出的所述特征向量作为输入,所述样本向量对应的去口罩后的一维的还原向量作为输出,构建解密模型;所述样本向量与所述还原向量的长度相同;
对所述加密模型和所述解密模型进行联合训练,所述联合训练时的损失函数基于所述解密模型输出的所述还原向量与所述标签向量之间的损失构建。
本发明的实施方式还提供了一种戴口罩人脸识别方法,包括:
获取待检测人脸戴口罩的第一标准深度图像;
对所述第一标准深度图像进行格式转换,得到一维的检测向量;
采用如上所述的模型训练方法联合训练得到的加密模型和解密模型,对所述检测向量依次进行处理,得到所述检测向量对应的第一还原向量;
将所述第一还原向量与注册库中人脸未戴口罩的第二标准深度图像所对应的经格式转换后的一维向量进行比对,确定所述待检测人脸的身份信息。
本发明的实施方式还提供了一种电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的模型训练方法,以及如上所述的戴口罩人脸识别方法。
本发明的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的模型训练方法,以及如上所述的戴口罩人脸识别方法。
本发明实施方式相对于现有技术而言,通过获取人脸戴口罩和未戴口罩的标准深度图像,并以同一人脸的戴口罩的标准深度图像作为图像样本、未戴口罩的标准深度图像作为图像样本对应的标签;对图像样本及其标签进行相同的格式转换,分别得到一维的样本向量和标签向量;以样本向量作为输入,一维的特征向量作为输出,构建加密模型;以加密模型输出的特征向量作为输入,样本向量对应的去口罩后的一维的还原向量作为输出,构建解密模型;样本向量与还原向量的长度相同;对加密模型和解密模型进行联合训练,联合训练时的损失函数基于解密模型输出的还原向量与标签向量之间的损失构建。本方案基于人脸的相对的深度信息,构建出人脸戴口罩和未戴口罩的标准深度图像依次作为图像样本和标签,并通过图像样本对模型进行训练,以学习人脸在标准状态下,从戴口罩到摘掉口罩过程的人脸深度信息变化,从而通过模型直接对戴口罩的人脸图像进行人脸识别,提高现有识别算法对戴口罩人脸识别的准确率。
附图说明
图1是根据本发明实施方式的模型训练方法的具体流程图一;
图2是根据本发明实施方式的加密模型和解密模型的结构示意图;
图3是根据本发明实施方式的模型训练方法的具体流程图二;
图4是根据本发明实施方式的戴口罩人脸识别方法的具体流程图;
图5是根据本发明实施方式的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
本发明的一实施方式涉及一种模型训练方法,如图1所示,本实施例提供的模型训练方法,包括如下步骤。
步骤101:获取人脸戴口罩和未戴口罩的标准深度图像,并以同一人脸的戴口罩的标准深度图像作为图像样本、未戴口罩的标准深度图像作为图像样本对应的标签。
具体地,可以使用深度相机采集人脸深度图像。在实际场景中,不同人拍摄深度图时的环境条件、状态不完全相同,同一人在不同时间拍摄深度图时的状态也不同。为了得到较好的图像样本及其标签的对应关系,以及使不同图像样本之间具有可比性,本实施例对原始采集的人脸深度图像进行标准化,得到统一标准状态下的深度图像,记为“标准深度图像”。
所谓标准深度图像的定义为:图像的尺寸固定、图像中人脸的面部姿态端正,表情自然,人脸区域覆盖整个图像区域。
需要说明的是,本实施例中涉及的标准深度图像中的深度信息均为相对深度信息,其作用是使得不同人脸和/或不同状态下拍摄的各深度图像能够对齐有可比性。例如,可以人脸区域中未被口罩遮挡的任一关键点(如额头中间位置)作为参考位置,将该位置的相对深度值设置为0,其他位置的相对深度值可以是该其他位置相对于参考位置的原始深度的差值。例如:参考位置的原始深度值为5、内眼角的原始深度值为4,则内眼角的相对深度值为-1。
在得到不同人脸戴口罩和未戴口罩的标准深度图像,可以同一人脸的戴口罩的标准深度图像作为图像样本、未戴口罩的标准深度图像作为该图像样本对应的标签。例如,将同一人脸在一次采集的一组戴口罩和未戴口罩的两张深度图像中,戴口罩的深度图像所对应的标准深度图像作为图像样本、未戴口罩的深度图像所对应的标准深度图像作为该图像样本对应的标签。在对获取的标准深度图像进行标注时,需将同一人的戴口罩与未戴口罩的标准深度图像标注记作同一例样本,以方便训练模型时可以使用同一例样本中的戴口罩的标准深度图像作为训练样本(图像样本),另一个未戴口罩的标准深度图像作为相应的标签进行训练。
为使后续模型训练拥有更高的泛化性能,需要采集200个人以上的深度图像来构建图像样本及其标签。被采集人员需要轻微转动头部,以采集不同姿态下的人脸深度图像。
步骤102:对图像样本及其标签进行相同的格式转换,分别得到一维的样本向量和标签向量。
具体地,由于图像样本和标签均是二维深度信息,为方便模型训练可将二维的图像样本和标签进行格式转换,分别得到一维的样本向量和标签向量。其中,本实施例对格式转换的具体方法不做限定。
在一个例子中,可通过如下过程实现格式转换,即:分别将图像样本及其标签中的深度值,按在图像中的行顺序或列顺序展开,得到一维向量;其中,图像样本展开后的一维向量为样本向量、标签展开后的一维向量为标签向量。
具体地,对于图像样本,可以图像样本中各像素点的深度值按其在图像中的行顺序或列顺序展开,得到一维的向量作为样本向量,样本向量的长度为样本图像所包含的像素点数。同理,对于标签(标签图像),可以标签中各像素点的深度值按其在图像中的行顺序或列顺序展开,得到一维的向量作为标签向量,标签向量的长度为标签图像所包含的像素点数。
其中,按行展开的一维向量形如(第一行像素点深度值,第二行像素点深度值,……,最后一行像素点深度值),按列展开的一维向量形如(第一列像素点深度值,第二列像素点深度值,……,最后一列像素点深度值)。
步骤103:以样本向量作为输入,一维的特征向量作为输出,构建加密模型。
具体地,可以采用常规的深度学习网络作为加密模型的网络结构。该加密模型的输入为上述样本向量、加密模型的输出为对样本向量压缩后得到的特征向量。在加密过程中,向量的长度被压缩,即特征向量的长度小于样本向量的长度。例如将特征向量的长度设定为固定值128位。
在一个例子中,如图2所示,该加密模型可包括:前后依次串接的卷积层、池化层、第一全连接层和第二全连接层;其中卷积层的输入为加密模型的输入,第二全连接层的输出为加密模型的输出。
具体地,样本向量依次经卷积层和池化层后被提取出图像样本中的深度信息特征,同时实现向量长度压缩;然后进入两个全连接层后输出固定长度的一维向量作为特征向量。
步骤104:以加密模型输出的特征向量作为输入,样本向量对应的去口罩后的一维的还原向量作为输出,构建解密模型;样本向量与还原向量的长度相同。
具体地,可以采用常规的深度学习网络作为解密模型的网络结构。该解密模型的输入为加密模型输出的特征向量、解密模型的输出定义为样本向量对应的去口罩后的一维向量,即:还原向量。由此可见解密模型的作用是将特征向量尽可能还原为图像样本对应的标签,即人脸未戴口罩的标准深度图像经格式转换后的标签向量。在解密过程中,向量的长度被扩充,即还原向量的长度大于特征向量的长度,且还原向量与样本向量的长度相同,也即还原向量与标签向量的长度相同,从而更方便后续对这两个向量计算损失。
在一个例子中,如图2所示,该解密模型可包括:前后依次串接的第三全连接层和第四全连接层;其中第三全连接层的输入为解密模型的输入,第四全连接层的输出为解密模型的输出。
具体地,加密模型输出的特征向量依次经第三全连接层和第四全连接层后,向量长度被扩充还原到与样本向量和标签向量相同的长度。
步骤105:对加密模型和解密模型进行联合训练,联合训练时的损失函数基于解密模型输出的还原向量与标签向量之间的损失构建。
具体地,利用图像样本对加密模型和解密模型进行联合训练,直到满足收敛条件。收敛条件可包括损失值小于某个预先设定的较小的值,或者迭代超过最大预设次数等。
其中,联合训练时的损失函数可基于解密模型输出的还原向量与标签向量之间的损失构建。
在一个例子中,基于解密模型输出的还原向量与标签向量之间的损失构建损失函数可包括:
根据如下公式(1)构建损失函数:
这里,向量中排序为i的元素值即对应标准深度图像中第i个像素点的深度值。
此外,在构建上述损失函数之前,需对还原向量和标签向量进行归一化。例如将两个向量归一化到0~1之间,以达到相似比对的效果。
与相关技术相比,本实施例通过获取人脸戴口罩和未戴口罩的标准深度图像,并以同一人脸的戴口罩的标准深度图像作为图像样本、未戴口罩的标准深度图像作为图像样本对应的标签;对图像样本及其标签进行相同的格式转换,分别得到一维的样本向量和标签向量;以样本向量作为输入,一维的特征向量作为输出,构建加密模型;以加密模型输出的特征向量作为输入,样本向量对应的去口罩后的一维的还原向量作为输出,构建解密模型;样本向量与还原向量的长度相同;对加密模型和解密模型进行联合训练,联合训练时的损失函数基于解密模型输出的还原向量与标签向量之间的损失构建。本方案基于人脸的相对的深度信息,构建出人脸戴口罩和未戴口罩的标准深度图像依次作为图像样本和标签,并通过图像样本对模型进行训练,以学习人脸在标准状态下,从戴口罩到摘掉口罩过程的人脸深度信息变化,从而通过模型直接对戴口罩的人脸图像进行人脸识别,提高现有识别算法对戴口罩人脸识别的准确率。
本发明的另一实施方式涉及一种模型训练方法,该模型训练方法是对图1所示的模型训练方法的改进,改进之处在于:对获取人脸戴口罩和未戴口罩的标准深度图像的过程进行细化。如图3所示,上述步骤101可包括如下子步骤。
子步骤1011:获取多个人脸的戴口罩和未戴口罩的原始深度图像。
具体地,可以使用深度相机采集人脸深度图像,在一次采集的人脸深度图像中将同一个人戴口罩与未戴口罩的两种状态下的两张人脸深度图像作为一组深度图像。针对每组深度图像,要求被拍摄者的人脸面部表情、姿态特征应尽可能一致,唯一的区别仅限于戴口罩与未戴口罩的区别。这样在同等的拍摄条件下,拍摄出的两张深度图像的区别,理论上仅限于口罩遮挡区域的深度信息不同,而其他区域的深度信息相同。
子步骤1012:从原始深度图像中框选出人脸区域,并将人脸区域中人脸角度调整为正脸姿态。
具体地,对原始深度图像进行人脸识别,得到人脸区域(未戴口罩状态下的人脸所在位置,戴口罩状态下的人脸+口罩所在位置),并将其用矩形框选出来。之后,将人脸区域中人脸角度调整为正脸姿态。
本实施例中对人脸区域中人脸角度的评估,以及将人脸角度调整为正脸姿态的方法不做限定。
在一个例子中,可通过如下步骤实现将人脸区域中人脸角度调整为正脸姿态。
步骤一:将预先设置的正脸深度模板旋转得到不同角度,并计算不同角度下正脸深度模板与人脸区域之间深度图的欧氏距离,取欧氏距离最小的角度作为人脸区域的欧拉角度。
具体地,可以预先采集大量的正姿态人脸深度图,对这些正姿态人脸深度图使用最小二乘法拟合形成一个正脸深度模板,取出对应人脸关键点。然后将正脸深度模板不断旋转获得不同角度,并计算不同角度下正脸深度模板与上述得到的人脸区域的深度图之间的欧氏距离,欧氏距离值最小时所对应的正脸深度模板的旋转角度即为人脸区域中人脸角度,即人脸区域的欧拉角度。其中,为了减少计算量,在计算两个深度图之间的欧氏距离时,可以选择两个深度图中对应的人脸关键点计算最小欧氏距离。对于戴口罩的人脸深度图,可以在评估出口罩遮挡的部分人脸关键点的位置之后,计算对应的人脸关键点之间的欧氏距离。
步骤二:将人脸区域中人脸角度反向旋转欧拉角度,得到正脸姿态下的人脸区域。
具体地,在得到人脸区域中人脸角度(欧拉角度)后,可以将该人脸反向旋转该欧拉角度,从而得到正脸姿态下的人脸区域。
其中,人脸旋转对应的旋转矩阵公式为:
建立坐标系将深度图横坐标设为x轴,纵坐标设为y轴,深度值作为z轴,人脸姿态表示的欧拉角为[θx,θy,θz]。将深度图像右乘相应旋转矩阵(R x (θ)、R y (θ)、R z (θ)),即可将人脸角度转换为正脸,即:
绕x轴旋转:
绕y轴旋转:
绕z轴旋转:
其中,公式(2)、(3)、(4)中的θ依次对应为θx、θy和θz。
子步骤1013:将正脸姿态下的人脸区域调整为统一预设尺寸,形成标准深度图像,并以同一人脸的戴口罩的标准深度图像作为图像样本、未戴口罩的标准深度图像作为图像样本对应的标签。
具体地,在得到正脸姿态下的人脸区域后,可将该正脸姿态下的人脸区域对应的图像尺寸进行缩放调整,以使其具有统一预设的相同尺寸,从而形成与原始深度图像相对应的标准深度图像。即人脸戴口罩和未戴口罩的标准深度图像。在得到标准深度图像后,以同一人脸的戴口罩的标准深度图像作为图像样本、未戴口罩的标准深度图像作为图像样本对应的标签。
与相关技术比较,本实施例通过获取多个人脸的戴口罩和未戴口罩的原始深度图像;从原始深度图像中框选出人脸区域,并将人脸区域中人脸角度调整为正脸姿态;将正脸姿态下的人脸区域调整为统一预设尺寸,形成标准深度图像,从而快速得到各原始深度图像对应的标准深度图像。
本发明的一实施方式涉及一种戴口罩人脸识别方法,该方法基于上述实施方式中的模型训练方法实现。如图4所示,本实施例提供的戴口罩人脸识别方法,包括如下步骤。
步骤201:获取待检测人脸戴口罩的第一标准深度图像。
具体地,针对待检测人脸,获取该人脸戴口罩状态下的原始深度图像,然后通过采用与步骤101中获取标准深度图像相同的处理过程,得到该待检测人脸戴口罩状态下的标准深度图像。本实施例中将待检测人脸戴口罩状态下的标准深度图像记为“第一标准深度图像”。
步骤202:对第一标准深度图像进行格式转换,得到一维的检测向量。
具体地,针对第一标准深度图像,通过采用与步骤102中相同的处理过程,对第一标准深度图像进行格式转换,得到一维向量,并将该一维向量记为“检测向量”。
步骤203:采用模型训练方法联合训练得到的加密模型和解密模型,对检测向量依次进行处理,得到检测向量对应的第一还原向量。
具体地,针对第一标准深度图像,通过上述实施方式中的训练方法训练得到的加密模型和解密模型,依次对检测向量进行处理,得到解密模型输出的还原向量,并将该还原向量记为“第一还原向量”。
步骤204:将第一还原向量与注册库中人脸未戴口罩的第二标准深度图像所对应的经格式转换后的一维向量进行比对,确定待检测人脸的身份信息。
其中,注册库中预先存储有多个一维向量,每个一维向量则是由人脸未戴口罩时的标准深度图像,即第二标准深度图像经上述格式转换后得到。
具体地,当待检测人脸与注册库中某一维向量对应的人脸为同一人时,那么待检测人脸对应的上述第一还原向量应与该注册库中的该一维向量相似。因此通过将第一还原向量与注册库中的每个一维向量进行相似比对,对超过相似度阈值的一维向量,则判定其中相似度值最大的一维向量对应的人脸为当前待检测的人脸,从而确定待检测人脸的身份信息。
本发明实施方式相对于现有技术而言,通过获取待检测人脸戴口罩的第一标准深度图像;对第一标准深度图像进行格式转换,得到一维的检测向量;采用上述模型训练方法联合训练得到的加密模型和解密模型,对检测向量依次进行处理,得到检测向量对应的第一还原向量;将第一还原向量与注册库中人脸未戴口罩的第二标准深度图像所对应的经格式转换后的一维向量进行比对,确定待检测人脸的身份信息,从而确保对戴口罩人脸识别的准确率。
本发明的另一实施方式涉及一种电子设备,如图5所示,包括至少一个处理器302;以及,与至少一个处理器302通信连接的存储器301;其中,存储器301存储有可被至少一个处理器302执行的指令,指令被至少一个处理器302执行,以使至少一个处理器302能够执行上述任一方法实施例。
其中,存储器301和处理器302采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器302和存储器301的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器302处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器302。
处理器302负责管理总线和通常的处理,还可以提供各种功能,包括定时,***接口,电压调节、电源管理以及其他控制功能。而存储器301可以被用于存储处理器302在执行操作时所使用的数据。
本发明的另一实施方式涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
Claims (10)
1.一种模型训练方法,其特征在于,包括:
获取人脸戴口罩和未戴口罩的标准深度图像,并以同一人脸的戴口罩的标准深度图像作为图像样本、未戴口罩的标准深度图像作为所述图像样本对应的标签;
对所述图像样本及其标签进行相同的格式转换,分别得到一维的样本向量和标签向量;
以所述样本向量作为输入,一维的特征向量作为输出,构建加密模型;
以所述加密模型输出的所述特征向量作为输入,所述样本向量对应的去口罩后的一维的还原向量作为输出,构建解密模型;所述样本向量与所述还原向量的长度相同;
对所述加密模型和所述解密模型进行联合训练,所述联合训练时的损失函数基于所述解密模型输出的所述还原向量与所述标签向量之间的损失构建。
2.根据权利要求1所述的方法,其特征在于,所述获取人脸戴口罩和未戴口罩的标准深度图像,包括:
获取多个人脸的戴口罩和未戴口罩的原始深度图像;
从所述原始深度图像中框选出人脸区域,并将所述人脸区域中人脸角度调整为正脸姿态;
将所述正脸姿态下的所述人脸区域调整为统一预设尺寸,形成所述标准深度图像。
3.根据权利要求2所述的方法,其特征在于,所述将所述人脸区域中人脸方向调整为正脸姿态,包括:
将预先设置的正脸深度模板旋转得到不同角度,并计算不同角度下所述正脸深度模板与所述人脸区域之间深度图的欧氏距离,取所述欧氏距离最小的所述角度作为所述人脸区域的欧拉角度;
将所述人脸区域中人脸角度反向旋转所述欧拉角度,得到正脸姿态下的所述人脸区域。
4.根据权利要求1所述的方法,其特征在于,所述对所述图像样本及其标签进行相同的格式转换,分别得到一维的样本向量和标签向量,包括:
分别将所述图像样本及其标签中的深度值,按在图像中的行顺序或列顺序展开,得到一维向量;其中,所述图像样本展开后的一维向量为所述样本向量、所述标签展开后的一维向量为所述标签向量。
5.根据权利要求1所述的方法,其特征在于,所述加密模型包括:前后依次串接的卷积层、池化层、第一全连接层和第二全连接层;所述卷积层的输入为所述加密模型的输入,所述第二全连接层的输出为所述加密模型的输出;
所述解密模型包括:前后依次串接的第三全连接层和第四全连接层;所述第三全连接层的输入为所述解密模型的输入,所述第四全连接层的输出为所述解密模型的输出。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在构建所述损失函数之前,对所述还原向量和所述标签向量进行归一化。
8.一种戴口罩人脸识别方法,其特征在于,包括:
获取待检测人脸戴口罩的第一标准深度图像;
对所述第一标准深度图像进行格式转换,得到一维的检测向量;
采用如权利要求1-7中任一项所述的模型训练方法联合训练得到的加密模型和解密模型,对所述检测向量依次进行处理,得到所述检测向量对应的第一还原向量;
将所述第一还原向量与注册库中人脸未戴口罩的第二标准深度图像所对应的经格式转换后的一维向量进行比对,确定所述待检测人脸的身份信息。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的模型训练方法,以及如权利要求8所述的戴口罩人脸识别方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的模型训练方法,以及如权利要求8所述的戴口罩人脸识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111575825.2A CN113963426B (zh) | 2021-12-22 | 2021-12-22 | 模型训练、戴口罩人脸识别方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111575825.2A CN113963426B (zh) | 2021-12-22 | 2021-12-22 | 模型训练、戴口罩人脸识别方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113963426A true CN113963426A (zh) | 2022-01-21 |
CN113963426B CN113963426B (zh) | 2022-08-26 |
Family
ID=79473614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111575825.2A Active CN113963426B (zh) | 2021-12-22 | 2021-12-22 | 模型训练、戴口罩人脸识别方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113963426B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115205951A (zh) * | 2022-09-16 | 2022-10-18 | 深圳天海宸光科技有限公司 | 一种戴口罩人脸关键点数据生成方法 |
CN116631019A (zh) * | 2022-03-24 | 2023-08-22 | 清华大学 | 基于面部图像的口罩适合性检测方法及装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110532979A (zh) * | 2019-09-03 | 2019-12-03 | 深圳市华芯技研科技有限公司 | 一种三维图像人脸识别方法及*** |
WO2020114118A1 (zh) * | 2018-12-07 | 2020-06-11 | 深圳光启空间技术有限公司 | 面部属性识别方法、装置、存储介质及处理器 |
CN111783605A (zh) * | 2020-06-24 | 2020-10-16 | 北京百度网讯科技有限公司 | 一种人脸图像识别方法、装置、设备及存储介质 |
CN112052781A (zh) * | 2020-09-01 | 2020-12-08 | 平安科技(深圳)有限公司 | 特征提取模型训练方法、人脸识别方法、装置、设备及介质 |
CN112257552A (zh) * | 2020-10-19 | 2021-01-22 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及存储介质 |
CN112597867A (zh) * | 2020-12-17 | 2021-04-02 | 佛山科学技术学院 | 戴口罩人脸识别方法、***、计算机设备及存储介质 |
CN112633130A (zh) * | 2020-12-18 | 2021-04-09 | 成都三零凯天通信实业有限公司 | 一种基于关键点修复图像的人脸去口罩方法 |
CN113222808A (zh) * | 2021-05-18 | 2021-08-06 | 东南大学 | 一种基于生成式对抗网络的人脸口罩移除方法 |
CN113505768A (zh) * | 2021-09-10 | 2021-10-15 | 北京的卢深视科技有限公司 | 模型训练、人脸识别方法、电子设备及存储介质 |
CN113822157A (zh) * | 2021-08-19 | 2021-12-21 | 北京工业大学 | 一种基于多分支网络和图像修复的戴口罩人脸识别方法 |
-
2021
- 2021-12-22 CN CN202111575825.2A patent/CN113963426B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020114118A1 (zh) * | 2018-12-07 | 2020-06-11 | 深圳光启空间技术有限公司 | 面部属性识别方法、装置、存储介质及处理器 |
CN110532979A (zh) * | 2019-09-03 | 2019-12-03 | 深圳市华芯技研科技有限公司 | 一种三维图像人脸识别方法及*** |
CN111783605A (zh) * | 2020-06-24 | 2020-10-16 | 北京百度网讯科技有限公司 | 一种人脸图像识别方法、装置、设备及存储介质 |
CN112052781A (zh) * | 2020-09-01 | 2020-12-08 | 平安科技(深圳)有限公司 | 特征提取模型训练方法、人脸识别方法、装置、设备及介质 |
CN112257552A (zh) * | 2020-10-19 | 2021-01-22 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及存储介质 |
CN112597867A (zh) * | 2020-12-17 | 2021-04-02 | 佛山科学技术学院 | 戴口罩人脸识别方法、***、计算机设备及存储介质 |
CN112633130A (zh) * | 2020-12-18 | 2021-04-09 | 成都三零凯天通信实业有限公司 | 一种基于关键点修复图像的人脸去口罩方法 |
CN113222808A (zh) * | 2021-05-18 | 2021-08-06 | 东南大学 | 一种基于生成式对抗网络的人脸口罩移除方法 |
CN113822157A (zh) * | 2021-08-19 | 2021-12-21 | 北京工业大学 | 一种基于多分支网络和图像修复的戴口罩人脸识别方法 |
CN113505768A (zh) * | 2021-09-10 | 2021-10-15 | 北京的卢深视科技有限公司 | 模型训练、人脸识别方法、电子设备及存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116631019A (zh) * | 2022-03-24 | 2023-08-22 | 清华大学 | 基于面部图像的口罩适合性检测方法及装置 |
CN116631019B (zh) * | 2022-03-24 | 2024-02-27 | 清华大学 | 基于面部图像的口罩适合性检测方法及装置 |
CN115205951A (zh) * | 2022-09-16 | 2022-10-18 | 深圳天海宸光科技有限公司 | 一种戴口罩人脸关键点数据生成方法 |
CN115205951B (zh) * | 2022-09-16 | 2022-12-20 | 深圳天海宸光科技有限公司 | 一种戴口罩人脸关键点数据生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113963426B (zh) | 2022-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yuan et al. | Fingerprint liveness detection using an improved CNN with image scale equalization | |
CN111310731B (zh) | 基于人工智能的视频推荐方法、装置、设备及存储介质 | |
Burl et al. | Face localization via shape statistics | |
CN113963426B (zh) | 模型训练、戴口罩人脸识别方法、电子设备及存储介质 | |
CN111191616A (zh) | 一种人脸遮挡检测方法、装置、设备及存储介质 | |
CN113963183B (zh) | 模型训练、人脸识别方法、电子设备及存储介质 | |
CN111680672B (zh) | 人脸活体检测方法、***、装置、计算机设备和存储介质 | |
CN112364827B (zh) | 人脸识别方法、装置、计算机设备和存储介质 | |
KR101781358B1 (ko) | 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 | |
US20040013286A1 (en) | Object recognition system | |
CN113963237B (zh) | 模型训练、戴口罩状态检测方法、电子设备及存储介质 | |
CN113298158B (zh) | 数据检测方法、装置、设备及存储介质 | |
CN111914643A (zh) | 一种基于骨骼关键点检测的人体动作识别方法 | |
CN110633624A (zh) | 一种基于多特征融合的机器视觉人体异常行为识别方法 | |
Kare et al. | Using bidimensional regression to assess face similarity | |
CN113947803B (zh) | 模型训练、用于人脸识别的样本数据生成方法及电子设备 | |
Deng et al. | Attention-aware dual-stream network for multimodal face anti-spoofing | |
CN111814613A (zh) | 一种人脸识别方法、设备及计算机可读存储介质 | |
CN111325252A (zh) | 图像处理方法、装置、设备、介质 | |
CN110633692A (zh) | 一种用于无人机航拍的行人识别方法和相关装置 | |
Kalsi et al. | A classification of emotion and gender using approximation image Gabor local binary pattern | |
CN110956098B (zh) | 图像处理方法及相关设备 | |
CN107742112A (zh) | 一种基于图像的人脸防伪方法及装置 | |
CN114387670A (zh) | 基于时空特征融合的步态识别方法、装置及存储介质 | |
CN114038045A (zh) | 一种跨模态人脸识别模型构建方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220629 Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province Applicant after: Hefei lushenshi Technology Co.,Ltd. Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD. Applicant before: Hefei lushenshi Technology Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |