CN109344713A - 一种姿态鲁棒的人脸识别方法 - Google Patents
一种姿态鲁棒的人脸识别方法 Download PDFInfo
- Publication number
- CN109344713A CN109344713A CN201811010502.7A CN201811010502A CN109344713A CN 109344713 A CN109344713 A CN 109344713A CN 201811010502 A CN201811010502 A CN 201811010502A CN 109344713 A CN109344713 A CN 109344713A
- Authority
- CN
- China
- Prior art keywords
- loss
- face
- network model
- network
- indicate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种姿态鲁棒的人脸识别方法,涉及计算机视觉领域。本发明针对现有的人脸识别方法在遇到人脸姿态变化时,识别精度有很大程度的下降,而相应的解决方案操作步骤复杂且实际部署困难的技术问题,提出了一种姿态鲁棒的人脸识别方法,本发明根据面部属性不随姿态变化的特性,在侧脸时加入人脸属性损失,并对原始的分类损失函数进行一定改进,提升了网络在侧脸时提取特征的有效性,提高了姿态变化时的鲁棒性。
Description
技术领域
本发明涉及计算机视觉领域,具体涉及一种姿态鲁棒的人脸识别方法。
背景技术
近两年,人脸识别问题在深度学习的基础下得到了飞速的发展,在安防领域、手机支付等方面有了广泛的应用。但是大部分的人脸识别方法在头部姿态出现变化的情况下,识别率会发生明显的下降。问题出现的原因一方面是网络训练的数据集中正脸和侧脸样本个数的不均衡;另一方面则是在人脸姿态变化比较多样的时候,网络确实很难获取到比较鲁棒的人脸身份信息。
现有的解决方案有的针对姿态矫正方面,采用生成对抗网络根据侧脸图像合成正脸图像,但合成的面部图像往往会很不自然且伴随很大不确定性,还由于其运算量巨大而增加了整个***的负担;有的工作则是针对正脸和侧脸分别训练不同的网络模型,还有的会选择在原始的网络中增加提取人脸属性信息的分支并将人脸属性信息与原本的身份信息进行融合,这些同样会增加整个***的计算成本。
现有技术需要使用生成对抗网络或需要训练多个卷积神经网络模型,导致操作复杂任务繁重,不适于实际部署。而融合属性信息的方式虽然相比前两者要稍微简单,但同样需要新的分支网络,增大了计算量。而实际上,只有在人脸姿态发生较大偏转(侧脸)时属性信息的作用才能体现出来,所以可以根据正脸和侧脸分别添加不同程度的人脸属性代价函数,让算法自适应的学习到更加鲁棒的特征。据此,本文提出一种姿态鲁棒的人脸识别方法。该方法不需要额外的网络进行辅助,也没有改动原始网络的基本结构,只需要在训练阶段修改最终的代价函数即可,操作简单更具实用性。
发明内容
本发明的发明目的在于:针对现有的人脸识别方法在遇到人脸姿态变化时,识别精度有很大程度的下降,而相应的解决方案操作步骤复杂且实际部署困难。本发明添加面部属性信息作为新的损失函数,并对原始的分类损失函数进行一定改进,提高了人脸识别的姿态鲁棒性。
首先,构建网络模型。以多组残差结构模块堆叠构建基础网络,后接一个全连接层,该全连接层分别连接身份类别损失层和属性类别损失层。
收集训练数据集,并对数据样本进行身份、属性、是否侧脸的标注,并进行尺寸归一化及减均值处理。
根据面部属性不随人脸姿态变化的性质,将该信息作为新的代价函数加入网络模型中,考虑到该信息在侧脸时对识别的帮助大,同时训练集中样本的不均衡性,所以损失函数如下:
Loss=lossid+Sng*λ*lossattr (1)
其中lossid表示身份类别的损失,lossattr表示属性类别的损失函数,而λ表示预设的损失权重,0<λ<1,取经验观测值,Sng是一个指示函数,如果是正脸则为0,如果是侧脸则为1,从而控制属性损失的添加与否。
具体的,上述损失函数中的lossid计算方法如下:
由于人脸识别的目标是令类间距离尽可能大,而类内距离尽可能小,而传统的SoftMax的目标是能够正确分类,所以约束力度不够,其函数原型如下:
其中i,j为一个批次(Batch Size)的训练样本区分符,m为一个批次的训练样本的数目,N表示总的训练样本数目,fj表示第j个训练样本在在SoftMax层(本发明的身份类别损失层)的特征向量,fyi表示第i个训练样本的人脸识别结果,e表示自然底数。
其具体表示为:
fj=Wxi+bj (3)
其中W,bj为分类层网络的权重及偏置,xi是上述网络模型的全连接层的输出。根据向量相乘的原理可以将fj修改为下式,其中的偏置项被去掉,而权重及特征向量被归一化。
fj=mcosθj (4)
通过修改成这种形式后,原本的判别样本i和j的边界条件就从
Wixi+bi=Wjxj+bj (5)
变为
mcosθi=cosθj (6)
其中,θi、θj分别表示第i,j个训练样本在全连接层的输出向量(xi、xj)与分层网络的权重(Wi、Wj)间的夹角。
由于m>1的数,所以相当于把原本的判断条件难度加大,从而令网络更专注于学习到类内距离小,类间距离大的特征,从而提升识别精度,以及对姿态的鲁棒性。
上述损失函数中的lossattr计算方法如下:
属性的识别是传统的分类任务,所以计算方式直接使用上述的SoftMax进行计算,由于面部存在多种属性,而每种属性的作用程度并不一致,所以具体公式如下
lossattr=α*(lgender+lskin)+β*lothers (7)
其中lgender和lskin分别表示性别及肤色属性的损失,lothers表示其他属性(如发色)的损失,α和β分别为其权重,此外α>β。
通过使用该方法训练网络模型,能提高网络模型在姿态变化时的识别精度,同时缓解训练数据集样本不均衡带来的问题。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
本发明所提出的姿态鲁棒的人脸识别方法,根据面部属性不随姿态变化的特性,在侧脸时加入人脸属性损失,提升了网络在侧脸时提取特征的有效性,提高了姿态变化时的鲁棒性。
本发明的框架并未使用其它网络,只是在训练阶段加入了少量计算量,而在测试阶段则完全没有变化。所以本发明相比现有解决方案,更具实用性。
附图说明
图1是本发明网络模型结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合实施方式和附图,对本发明作进一步地详细描述。
步骤1:构建网络模型:
以模块BaseNet作为基础特征提取网络,所述BaseNet模块连接全连接层FC1层,FC1层连接Loss模块,如图1所示。
其中模块BaseNet为N组残差模块的堆叠,N>=1的整数;
模块Loss包括身份损失函数和新加入的属性损失函数;
步骤2:训练所述网络模型:
步骤201:收集训练数据集,对其中的样本进行身份及属性标注,并对训练样本进行预处理,包括尺寸、像素减均值、翻转处理等;
步骤202:初始化所构建网络模型的神经网络参数,使用训练数据集对网络模型进行训练,预测身份类别及属性类别,与真实类别进行误差计算损失函数Loss。
步骤203中的身份损失采用的是退火模式,一开始是传统的SoftMax,随着迭代次数增加逐渐过渡到改进的SoftMax,即当迭代次数满足预设阈值时,
步骤203:计算损失函数的梯度采用梯度下降法更新网络参数,避免网络出现不收敛;
步骤204,重复执行步骤202~203,直到网络模型收敛,性能达到最优,将包括FC1层之前的网络模型参数保存。
步骤3:测试所述网络模型:
步骤301:对待识别图像A和B进行预处理,包括尺寸、均值归一化,作为输入送给加载好的网络;
步骤302:从上述网络模型的FC1层得到特征Va和Vb,通过计算两者的余弦距离cosθab,根据该值得大小即可判断是否为同一人。即若余弦距离小于预设阈值,则判断两者为同一人
以上所述,仅为本发明的具体实施方式,本说明书中所公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换;所公开的所有特征、或所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以任何方式组合。
Claims (1)
1.一种姿态鲁棒的人脸识别方法,其特征在于,包括下列步骤:
步骤1:构建网络模型:
以多组残差结构模块堆叠构建基础网络,在所述基础网络后接一个全连接层,所述全连接层分别连接身份类别损失层和属性类别损失层;
步骤2:训练网络模型:
步骤201:收集训练数据集,对其中的样本进行身份及属性标注,并对训练样本进行预处理;
步骤202:初始化所构建网络模型的神经网络参数,使用训练数据集对网络模型进行训练,预测身份类别及属性类别,与真实类别进行误差计算得到损失函数Loss=lossid+Sng*λ*lossattr;
其中,lossid表示身份类别的损失;
当迭代次数小于预设更换次数时,
当迭代次数大于或等于预设更换次数时,
其中i,j为一个批次的训练样本区分符,m为一个批次的训练样本的数目,N表示总的训练样本数目,fj表示第j个训练样本在身份类别损失层的特征向量,fyi表示第i个训练样本的人脸识别结果,e表示自然底数,θj表示第j个训练样本在全连接层的输出向量与分层网络的权重间的夹角;
lossattr表示属性类别的损失函数;
损失权重λ的取值为0<λ<1;
Sng表示指示函数,如果为正脸,则函数值为0;如果为侧脸,则函数值为1;
步骤203:计算损失函数的梯度采用梯度下降法更新网络参数;
步骤204,重复执行步骤202~203,直到网络模型收敛,得到训练好的网络模型;
步骤3:通过步骤2训练好的网络模型进行人脸识别处理:
步骤301:对待识别图像A和B进行预处理后,输入训练好的网络模型;
步骤302:从所述网络模型的全连接层得到特征Va和Vb,通过计算两者的余弦距离,若余弦距离小于预设阈值,则判断两者为同一人。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811010502.7A CN109344713B (zh) | 2018-08-31 | 2018-08-31 | 一种姿态鲁棒的人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811010502.7A CN109344713B (zh) | 2018-08-31 | 2018-08-31 | 一种姿态鲁棒的人脸识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109344713A true CN109344713A (zh) | 2019-02-15 |
CN109344713B CN109344713B (zh) | 2021-11-02 |
Family
ID=65291957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811010502.7A Active CN109344713B (zh) | 2018-08-31 | 2018-08-31 | 一种姿态鲁棒的人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109344713B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321778A (zh) * | 2019-04-26 | 2019-10-11 | 北京市商汤科技开发有限公司 | 一种人脸图像处理方法、装置和存储介质 |
CN110399811A (zh) * | 2019-07-08 | 2019-11-01 | 厦门市美亚柏科信息股份有限公司 | 一种人脸识别方法、装置及存储介质 |
CN110633627A (zh) * | 2019-08-01 | 2019-12-31 | 平安科技(深圳)有限公司 | 在视频中定位对象的方法、装置、计算机设备及存储介质 |
CN110751175A (zh) * | 2019-09-12 | 2020-02-04 | 上海联影智能医疗科技有限公司 | 损失函数的优化方法、装置、计算机设备和存储介质 |
CN111401456A (zh) * | 2020-03-20 | 2020-07-10 | 杭州涂鸦信息技术有限公司 | 人脸姿态识别模型的训练方法及其***和装置 |
CN112215974A (zh) * | 2020-09-27 | 2021-01-12 | 贵州永光盛安防科技有限公司 | 一种基于人像识别的考勤*** |
CN112818850A (zh) * | 2021-02-01 | 2021-05-18 | 华南理工大学 | 基于渐进式神经网络和注意力机制的跨姿态人脸识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160317A (zh) * | 2015-08-31 | 2015-12-16 | 电子科技大学 | 一种基于区域分块行人性别识别方法 |
US20170069327A1 (en) * | 2015-09-04 | 2017-03-09 | Google Inc. | Neural Networks For Speaker Verification |
CN106815566A (zh) * | 2016-12-29 | 2017-06-09 | 天津中科智能识别产业技术研究院有限公司 | 一种基于多任务卷积神经网络的人脸检索方法 |
CN107145857A (zh) * | 2017-04-29 | 2017-09-08 | 深圳市深网视界科技有限公司 | 人脸属性识别方法、装置和模型建立方法 |
CN107766850A (zh) * | 2017-11-30 | 2018-03-06 | 电子科技大学 | 基于结合人脸属性信息的人脸识别方法 |
-
2018
- 2018-08-31 CN CN201811010502.7A patent/CN109344713B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160317A (zh) * | 2015-08-31 | 2015-12-16 | 电子科技大学 | 一种基于区域分块行人性别识别方法 |
US20170069327A1 (en) * | 2015-09-04 | 2017-03-09 | Google Inc. | Neural Networks For Speaker Verification |
CN106815566A (zh) * | 2016-12-29 | 2017-06-09 | 天津中科智能识别产业技术研究院有限公司 | 一种基于多任务卷积神经网络的人脸检索方法 |
CN107145857A (zh) * | 2017-04-29 | 2017-09-08 | 深圳市深网视界科技有限公司 | 人脸属性识别方法、装置和模型建立方法 |
CN107766850A (zh) * | 2017-11-30 | 2018-03-06 | 电子科技大学 | 基于结合人脸属性信息的人脸识别方法 |
Non-Patent Citations (3)
Title |
---|
WEI SHEN等: "Learning Residual Images for Face Attribute Manipulation", 《ARXIV》 * |
刘玮: "无约束条件下的人脸识别方法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
邵蔚元等: "多任务学习及卷积神经网络在人脸识别中的应用", 《计算机工程与应用》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321778A (zh) * | 2019-04-26 | 2019-10-11 | 北京市商汤科技开发有限公司 | 一种人脸图像处理方法、装置和存储介质 |
CN110321778B (zh) * | 2019-04-26 | 2022-04-05 | 北京市商汤科技开发有限公司 | 一种人脸图像处理方法、装置和存储介质 |
CN110399811A (zh) * | 2019-07-08 | 2019-11-01 | 厦门市美亚柏科信息股份有限公司 | 一种人脸识别方法、装置及存储介质 |
CN110633627A (zh) * | 2019-08-01 | 2019-12-31 | 平安科技(深圳)有限公司 | 在视频中定位对象的方法、装置、计算机设备及存储介质 |
WO2021017289A1 (zh) * | 2019-08-01 | 2021-02-04 | 平安科技(深圳)有限公司 | 在视频中定位对象的方法、装置、计算机设备及存储介质 |
CN110751175A (zh) * | 2019-09-12 | 2020-02-04 | 上海联影智能医疗科技有限公司 | 损失函数的优化方法、装置、计算机设备和存储介质 |
CN111401456A (zh) * | 2020-03-20 | 2020-07-10 | 杭州涂鸦信息技术有限公司 | 人脸姿态识别模型的训练方法及其***和装置 |
CN111401456B (zh) * | 2020-03-20 | 2023-08-22 | 杭州涂鸦信息技术有限公司 | 人脸姿态识别模型的训练方法及其***和装置 |
CN112215974A (zh) * | 2020-09-27 | 2021-01-12 | 贵州永光盛安防科技有限公司 | 一种基于人像识别的考勤*** |
CN112818850A (zh) * | 2021-02-01 | 2021-05-18 | 华南理工大学 | 基于渐进式神经网络和注意力机制的跨姿态人脸识别方法 |
CN112818850B (zh) * | 2021-02-01 | 2023-02-10 | 华南理工大学 | 基于渐进式神经网络和注意力机制的跨姿态人脸识别方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN109344713B (zh) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109344713A (zh) | 一种姿态鲁棒的人脸识别方法 | |
CN107145842B (zh) | 结合lbp特征图与卷积神经网络的人脸识别方法 | |
CN110427867B (zh) | 基于残差注意力机制的面部表情识别方法及*** | |
CN108615010B (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
CN106920243B (zh) | 改进的全卷积神经网络的陶瓷材质件序列图像分割方法 | |
CN104239858B (zh) | 一种人脸特征验证的方法和装置 | |
CN110532920A (zh) | 基于FaceNet方法的小数量数据集人脸识别方法 | |
CN109101938B (zh) | 一种基于卷积神经网络的多标签年龄估计方法 | |
CN106022317A (zh) | 人脸识别方法及装置 | |
CN108537168B (zh) | 基于迁移学习技术的面部表情识别方法 | |
CN109117817B (zh) | 人脸识别的方法及装置 | |
CN109711283A (zh) | 一种联合双字典和误差矩阵的遮挡表情识别算法 | |
CN108256307B (zh) | 一种智能商务旅居房车的混合增强智能认知方法 | |
CN108596274A (zh) | 基于卷积神经网络的图像分类方法 | |
CN107463865A (zh) | 人脸检测模型训练方法、人脸检测方法及装置 | |
CN104834941A (zh) | 基于计算机输入下的稀疏自编码的脱机手写体识别方法 | |
CN113361636B (zh) | 一种图像分类方法、***、介质及电子设备 | |
Ocquaye et al. | Dual exclusive attentive transfer for unsupervised deep convolutional domain adaptation in speech emotion recognition | |
CN110210380B (zh) | 基于表情识别与心理学测试生成性格的分析方法 | |
CN107491729A (zh) | 基于余弦相似度激活的卷积神经网络的手写数字识别方法 | |
CN110610138A (zh) | 一种基于卷积神经网络的面部情感分析方法 | |
CN111754637A (zh) | 一种样本相似度抑制的大尺度三维人脸合成*** | |
CN114511710A (zh) | 一种基于卷积神经网络的图像目标检测方法 | |
CN111126494A (zh) | 基于各向异性卷积的图像分类方法及*** | |
Fardous et al. | Handwritten isolated Bangla compound character recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |