CN111767825B - 一种人脸属性不变鲁棒性人脸识别方法及*** - Google Patents
一种人脸属性不变鲁棒性人脸识别方法及*** Download PDFInfo
- Publication number
- CN111767825B CN111767825B CN202010586404.9A CN202010586404A CN111767825B CN 111767825 B CN111767825 B CN 111767825B CN 202010586404 A CN202010586404 A CN 202010586404A CN 111767825 B CN111767825 B CN 111767825B
- Authority
- CN
- China
- Prior art keywords
- face
- attribute
- dictionary
- sub
- invariant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000014509 gene expression Effects 0.000 claims abstract description 32
- 238000005286 illumination Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000010276 construction Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000007637 random forest analysis Methods 0.000 claims description 8
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000013398 bayesian method Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000013508 migration Methods 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 14
- 230000036544 posture Effects 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 235000014102 seafood Nutrition 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000711573 Coronaviridae Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开一种人脸属性不变鲁棒性人脸识别方法及***,包括如下步骤:S1、提取人脸特征;S2、估计人脸属性;S3、构建并选择人脸属性子字典;S4、属性不变人脸特征提取;S5、人脸分类识别;***中人脸深度特征提取模块分别与人脸属性识别模块、人脸属性字典构建模块相连,人脸属性识别模块依次连接人脸属性子字典选择模块、人脸属性不变特征提取模块、人脸分类识别模块,人脸属性子字典选择模块通过属性超完备字典与人脸属性子字典选择模块连接。本发明能够解决人脸的光照、姿态、表情、遮挡和分辨率同时变化及其组合变化等复杂环境下的人脸识别,并且保持人脸属性不变,鲁棒性高。
Description
技术领域
本发明涉及图像处理与模式识别领域,特别是涉及一种人脸属性不变鲁棒性人脸识别方法及***。
背景技术
人脸身份识别技术经过大半个世纪发展,已经取得了实质性进展,在可控环境下已经达到应用水平。但在实际应用中,特别是极其复杂环境下,发现它仍不够完善,容易受人脸光照、姿态、表情、遮挡、年龄和整形等综合因素干扰。如,在新型冠状病毒疫情防控期间,为了采用智能防控手段,在进行体温远程筛查时可以利用人脸检测和人脸识别技术排除干扰,让***只检测人脸额头部分和做身份识别,以提高测温的准确性。但是,由于此次疫情期间出门需要带口罩,对人脸检测和识别提出了更高要求。另外,利用复杂场景下的人脸识别技术和搜索技术进行确诊和疑似人员身份识别和跟踪,对重大疫情智能防控可起到关键作用。比如对武汉华南海鲜市场监控视频和周边视频进行人脸分析,利用人脸属性分析结果快速确定出入华南海鲜市场人员身份,以便进行疑似病例组织关系的分析、管控和跟踪,并进行人员属性关联大数据分析。由于上述人脸识别应用中,面临着巨大的人脸光照、姿态、遮挡、低分辨率等各种复杂变化,使得目前大部分人脸技术无法使用。
针对人脸光照、姿态、表情和分辨率等变化问题,目前出现大量的解决方案和方法。但目前方法往往只是针对某一类问题进行研究,提出的方法也只能解决其中某一个问题。如,有些方法能解决人脸光照变化问题,而有些方法能解决人脸姿态变化问题,而另一些方法能解决人脸表情变化问题。这些方法面对人脸同时具有光照、姿态、表情和分辨率变化时,却无能为力。即目前没有一种方法能同时解决人脸的光照、姿态、表情和分辨率变化及其组合变化问题。
发明内容
本发明的目的是提供一种人脸属性不变鲁棒性人脸识别方法及***,以解决上述现有技术存在的问题,能够解决人脸的光照、姿态、表情、遮挡和分辨率同时变化及其组合变化等复杂环境下的人脸识别,并且保持人脸属性不变,鲁棒性高。
为实现上述目的,本发明提供了如下方案:本发明提供一种人脸属性不变鲁棒性人脸识别方法,包括如下步骤:
S1、提取人脸特征:将采集的人脸图像利用卷积神经网络CNN进行表示学习,提取人脸高层语义特征;
S2、估计人脸属性:人脸属性包括若干类别,通过对若干种类别进行组合,得到人脸属性集;基于人脸高层语义特征,利用随机森林分类方法进行人脸属性识别,得到人脸属性估计结果;所述人脸属性类别包括分辨率、姿态、光照、表情、遮挡;
S3、构建并选择人脸属性子字典:收集多属性人脸图像作为人脸训练集,根据属性类别数对所述训练集进行分类,对每类训练集采用深度字典学习模型单独训练优化得到子字典,然后将各类子字典利用协同学习进行微调和优化,并融合组成人脸属性字典;根据步骤S2得到的人脸属性选择对应的子字典,作为属性不变人脸特征提取的稀疏表示基空间;
S4、属性不变人脸特征提取:利用步骤S1得到的人脸特征和步骤S3得到的子字典,利用深度稀疏表示模型进行属性不变人脸特征提取;
S5、人脸分类识别:对步骤S4得到的属性不变人脸特征进行分类识别。
优选的,所述CNN采用GoogleNet、RestNet50、DarkNet或EfficientNet网络模型,并使用迁移学习策略将网络模型在公开人脸数据库LFW和YTF上进行预训练。
优选的,所述的深度字典学习方法,其模型表示为:
式中,g(·)为非线性激活函数,||·||2表示2范数。
优选的,步骤S3中协同学习微调和优化的目标函数为:
式中,D为最终求解的属性字典;表示第c类中第n个人的样本;分别为第n个人的不同属性图像分别在各自类字典中的组合系数,分别为第n个人的不同属性图像分别在各自类共享子字典中的组合系数,λ1,λ2分别表示平衡因子参数,rvleo分别表示分辨率、姿态、光照、表情和遮挡类别数,N表示样本总数。
优选的,所述深度稀疏表示模型表示为:
优选的,在步骤S2中利用随机森林分类方法进行人脸属性分类识别,判定属性类别。
优选的,所述步骤S5中利用支持向量机SVM或最近邻KNN或贝叶斯方法进行分类识别。
还提供了一种人脸属性不变鲁棒性人脸识别***,包括:
人脸深度特征提取模块,用于提取人脸高层语义特征;
人脸属性字典构建模块,用于构建人脸属性超完备字典;
人脸属性识别模块,用于确定输入人脸图像的分辨率、姿态、光照、表情和遮挡的属性类别;
人脸属性子字典选择模块,用于确定输入图像所属的稀疏表示基空间;
人脸属性不变特征提取模块,用于提取具有人脸分辨率、姿态、光照、表情、遮挡不变的鲁棒性特征;
人脸分类识别模块,用于进行人脸身份识别和分类。
所述人脸深度特征提取模块分别与所述人脸属性识别模块、所述人脸属性字典构建模块相连,所述人脸属性识别模块依次连接所述人脸属性子字典选择模块、所述人脸属性不变特征提取模块、所述人脸分类识别模块,所述人脸属性子字典选择模块通过属性超完备字典与所述人脸属性子字典选择模块连接。
本发明公开了以下技术效果:能够在人脸的光照、姿态、表情、遮挡和分辨率同时变化及其组合变化等复杂环境下的进行人脸识别,并且保持人脸属性不变,鲁棒性高。具体为:
1)将目前热门的深度学习方法和经典的字典学习方法结合,提出深度字典学习方法提高字典学习的鲁棒性,并用采用协同学习策略,使得各子字典之间具有线性组合一致性,为后期的人脸属性不变特征提取创造了良好基础。
2)本发明根据输入人脸图像的属性类别选择相应的子字典构建人脸表示基空间,并进行属性不变人脸特征提取,解决了复杂环境下人脸的光照、姿态、表情、遮挡和分辨率同时变化问题。通过本发明提出的人脸特征不会随着人脸的光照、姿态、表情、遮挡和分辨率等变化而变化,为复杂场景下人脸识别问题提供了一条可行的解决方案。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明公开的复杂环境下的人脸识别技术框架示意图;
图2为本发明公开的复杂环境下的人脸识别***示意图;
图3为深度字典学习模型示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参考图2,本发明提供一种人脸属性不变鲁棒性人脸识别***,包括人脸深度特征提取模块、人脸属性字典构建模块、人脸属性识别模块、人脸属性子字典选择模块、人脸属性不变特征提取模块和人脸分类识别模块,人脸深度特征提取模块分别与人脸属性识别模块、人脸属性字典构建模块相连,人脸属性识别模块依次连接人脸属性子字典选择模块、人脸属性不变特征提取模块、人脸分类识别模块,人脸属性子字典选择模块通过属性超完备字典与人脸属性子字典选择模块连接。
参考图1,本发明公布的一种复杂环境下的人脸识别方法,包括如下步骤:
步骤S1人脸特征提取,采集的人脸图像利用CNN(Convolutional NeuralNetworks,卷积神经网络)进行表示学习,CNN采用GoogleNet、RestNet50、DarkNet或EfficientNet网络模型,本实施例中将检测到的人脸图像进行归一化处理后送入GoogleNet网络模型进行表示学习,GoogleNet通过公开人脸库LFW(Labled Faces in theWild)和YTF(YouTube Faces)进行预训练,使其更具高层语义信息表示能力,基于GoogleNet的人脸特征提取可以表示为:
y=xcw+b (1)
式中,y表示最后的高层特征输出,xc表示人脸图像在“Depthconcat”层中的特征图,w是权值项,b为偏置项。其中,深度学***台,学习率λ=0.001,epochs为4500,优化函数采用“Adam”算法。最终得到人脸高层特征表示向量y的维度为512。
步骤S2人脸属性识别:
本实施例将人脸属性分为具有3∈{正常分辨率、低分辨率、超低分辨率}种不同分辨率,5∈{左偏转、正面、右偏转、抬头、低头}种不同姿态,5∈{左强光、右强光、正常、暗光、强逆光}种不同光照,6∈{中性、高兴、愤怒、悲伤、惊讶、恐惧}种不同表情和4∈{无遮挡、口罩遮挡、墨镜遮挡、围巾遮挡}种不同遮挡,因此对上述不同类别属性进行组合可得到1800=3×5×5×6×4类人脸属性。对上步得到的人脸特征利用随机森林分类方法进行人脸属性分类识别,判定其属性类别。在训练生成属性随机森林模型时,***迭代次数为1000,树的深度为16,并采用如下不确定性测度:
其中,c表示人脸属性类别。不确定性测度引导各节点从二值测试候选库中选择最优的二值测试,以保证能不断将当前节点***为不确定性降低的两个子节点。人脸属性以高斯模型的方式储于随机森林的每个叶子节点上:
其中,lm为决策树对应的叶子节点,M为决策树的数量。
步骤S3人脸属性子字典构建与选择:
首先,本实施例收集1000个人的多属性图像作为人脸属性训练集其中512表示人脸图像特征维数(通过(1)式获得),1000表示每类样本个数,1800表示属性类别数(每个人包括3种分辨率,5种姿态,5种光照,6种表情和4种遮挡,共1800=3×5×5×6×4张人脸图像)。据此,将人脸属性分为1800类,每类包括1000个训练样本,每个训练样本的特征向量数为512维。训练集中不同的人脸姿态、表情图像通过采集获取,不同分辨率图像通过对采集的高分辨率图像进行下采样和模糊处理等图像处理方式获取,不同光照图像可以通过光照模型生成,不同遮挡图像通过图像合成的方式生成。本发明所有人脸库将来自如下两个方面:
公开库:Weizmann人脸图像数据库(可公开获取),采集了24个人,其中每个人同时包含有不同的表情、光照和姿态变化。CMUMulti-PIE人脸库(需要购买),采集了337个人,其中每个人在19种光照和15种姿态条件下采集不同的表情变化图像。
自建库:公司对在职员工和在校学生采集的Multi_GPE人脸库,库中每个人采集5种不同姿态下6种表情变化的30幅人脸图像。
然后,对上述人脸属性训练集进行字典优化训练学习。一般的,可以直接使用上述训练集A作为人脸属性字典。但这种方式构建的字典并非最优,同时可能导致字典矩阵过大。为了对字典进行优化,同时使字典具有重建性能,本发明根据深度学习的思想对属性人脸训练样本Ac进行多层次深度分解学习得到各属性类子字典Dc:
式(6)能够解释为对包括有人脸分辨率、姿态、光照、表情和遮挡等属性信息的人脸训练样本Ac进行多层次分解,找到其新的表示方式和新表示空间参照图3,假设人脸训练样本包含有姿态、表情和光照等三种属性,以3层为例表示了深度字典学习的属性人脸表示能力,其中,第一层D1可以用来表示姿态投影空间,第二层D2可以用来表示表情投影空间,第三层D3可以用来表示光照投影空间。
为了增加字典的非线性表示能力,根据深度神经网络的方法对系数矩阵进行修改:
其中,g(·)为非线性激活函数。因此,深度字典学习模型的损失函数为:
深度字典学习模型的求解采用类似于栈式自编码网络一样的训练方法,分成逐层预训练、整体微调两个阶段:
(1)预训练阶段
如此循环下去,把所有的层都进行了预训练。通过逐层贪婪分解的方法,每一层的训练变成传统的字典学习问题(只不过这里加入了一项共享字典)。根据实际需要可以在每一层的字典学习中加入稀疏约束或监督学习等。为了表达方便和清晰,上述公式没有加入非线性激活函数。
(2)整体微调阶段
通过最小化损失函数和随机梯度下降法来实现。
进一步的,通过上述的深度字典学***均得到出新的字典作为各类的共享字典,并以此对上述各类子字典进行第二轮优化学习(相当于深度学习中的fine-tune)。同时,为了使各子字典表示同一个人不同属性类人脸时其线性组合系数间具有一致性,在第二轮字典优化学习时加入组合系数一致性约束以进行字典协同学习:
其中,D为最终需要求解的总字典(包括各子字典);表示第c类中第n个人的样本;分别为第n个人的不同属性图像分别在各自类(c,c′)字典中的组合系数,分别为第n个人的不同属性图像分别在各自类共享子字典中的组合系数,λ1,λ2分别表示平衡因子参数。式(9)第1项为重建保真项,第2、3项为字典协同表示约束项。通过第2、3项约束迫使来自同一个人的不同属性人脸图像在各自子字典中的线性组合系数尽可能地一致。
步骤S4属性不变人脸特征提取:
式(10)是一个非凸优化问题,其求解可以转化为加权L1正则子求解问题。具体为:
1)令t=0,设定最大迭代次数K,初始化W0=(1,…,1)T;
3)当t<K时,转步骤2;当t=K时,输出Wt。
上述算法中,步骤S1设定了最大迭代次数K作为算法终止条件。由于在步骤1中设定了初始化解W0=(1,…,1)T,于是步骤S2第一次迭代时对应求解一个L1正则子问题,即恰好产生Lasso解;而第二次迭代时,步骤S2相当于求解一个加权L1正则子,通过简单的线性转换该问题仍然可以转换为L1正则子求解。注意到,当算法迭代第二次以后,参数xt中可能会出现0。为了保证算法可实施,在加权时,可采用替代ε为任意给定的一个正数。
步骤S5人脸分类识别:
对步骤S4得到的人脸属性不变特征利用支持向量机(SVM)或最近邻(KNN)或贝叶斯方法进行分类识别。以大型人脸检索应用为例,采用KNN的方法确定最终人脸的类别。具体的,采用余弦距离法计算两个人脸特征向量之间的相似度:
式中,W1,W2为两个匹配人脸的特征向量,其通过步骤S4得到。最后,根据相似度大小确定人脸最终类别。
本发明将目前热门的深度学习方法和经典的字典学习方法结合,提出深度字典学习方法提高字典学习的鲁棒性,并用采用协同学习策略,使得各子字典之间具有线性组合一致性,为后期的人脸属性不变特征提取创造了良好基础。
本发明根据输入人脸图像的属性类别选择相应的子字典构建人脸表示基空间,并进行属性不变人脸特征提取,解决了复杂环境下人脸的光照、姿态、表情、遮挡和分辨率同时变化问题。通过本发明提出的人脸特征不会随着人脸的光照、姿态、表情、遮挡和分辨率等变化而变化。
因此,本发明能够在人脸的光照、姿态、表情、遮挡和分辨率同时变化及其组合变化等复杂环境下的进行人脸识别,并且保持人脸属性不变,鲁棒性高。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
以上所述的实施例仅是对本发明的优选方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
Claims (6)
1.一种人脸属性不变鲁棒性人脸识别方法,其特征在于:包括如下步骤:
S1、提取人脸特征:将采集的人脸图像利用卷积神经网络CNN进行表示学习,提取人脸高层语义特征;
S2、估计人脸属性:人脸属性包括若干类别,通过对若干种类别进行组合,得到人脸属性集;基于人脸高层语义特征,利用随机森林分类方法进行人脸属性识别,得到人脸属性估计结果;所述人脸属性类别包括分辨率、姿态、光照、表情、遮挡;
S3、构建并选择人脸属性子字典:收集多属性人脸图像作为人脸训练集,根据属性类别数对所述训练集进行分类,对每类训练集利用深度字典学习模型单独训练优化得到子字典,然后将各类子字典利用协同学习进行微调和优化,并融合组成人脸属性字典,协同学习微调和优化的目标函数为:
式中,D为最终求解的属性字典;表示第c类中第n个人的样本;分别为第n个人的不同属性图像分别在各自类字典中的组合系数,分别为第n个人的不同属性图像分别在各自类共享子字典中的组合系数,λ1,λ2分别表示平衡因子参数,rvleo分别表示分辨率、姿态、光照、表情和遮挡类别数,N表示样本总数,表示所有的共享字典求平均得到的新字典;
根据步骤S2得到的人脸属性选择对应的子字典,作为属性不变人脸特征提取的稀疏表示基空间;
S4、属性不变人脸特征提取:利用步骤S1得到的人脸特征和步骤S3得到的子字典,利用深度稀疏表示模型进行属性不变人脸特征提取,所述深度稀疏表示模型表示为:
S5、人脸分类识别:对步骤S4得到的属性不变人脸特征进行分类识别。
2.根据权利要求1所述的人脸属性不变鲁棒性人脸识别方法,其特征在于:所述CNN采用GoogleNet、RestNet50、DarkNet或EfficientNet网络模型,并使用迁移学习策略将网络模型在公开人脸数据库LFW和YTF上进行预训练。
4.根据权利要求1所述的人脸属性不变鲁棒性人脸识别方法,其特征在于:在步骤S2中利用随机森林分类方法进行人脸属性分类识别,判定属性类别。
5.根据权利要求1所述的人脸属性不变鲁棒性人脸识别方法,其特征在于:步骤S5中利用支持向量机SVM或最近邻KNN或贝叶斯方法进行分类识别。
6.一种人脸属性不变鲁棒性人脸识别***,所述识别***用于实施权利要求1-5任一项所述人脸属性不变鲁棒性人脸识别方法,其特征在于:包括:
人脸深度特征提取模块,用于提取人脸高层语义特征;
人脸属性字典构建模块,用于构建人脸属性超完备字典;
人脸属性识别模块,用于确定输入人脸图像的分辨率、姿态、光照、表情和遮挡的属性类别;
人脸属性子字典选择模块,用于确定输入图像所属的稀疏表示基空间;
人脸属性不变特征提取模块,用于提取具有人脸分辨率、姿态、光照、表情、遮挡不变的鲁棒性特征;
人脸分类识别模块,用于进行人脸身份识别和分类;
所述人脸深度特征提取模块分别与所述人脸属性识别模块、所述人脸属性字典构建模块相连,所述人脸属性识别模块依次连接所述人脸属性子字典选择模块、所述人脸属性不变特征提取模块、所述人脸分类识别模块,所述人脸属性子字典选择模块通过属性超完备字典与所述人脸属性子字典选择模块连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010586404.9A CN111767825B (zh) | 2020-06-24 | 2020-06-24 | 一种人脸属性不变鲁棒性人脸识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010586404.9A CN111767825B (zh) | 2020-06-24 | 2020-06-24 | 一种人脸属性不变鲁棒性人脸识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111767825A CN111767825A (zh) | 2020-10-13 |
CN111767825B true CN111767825B (zh) | 2022-05-03 |
Family
ID=72722013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010586404.9A Expired - Fee Related CN111767825B (zh) | 2020-06-24 | 2020-06-24 | 一种人脸属性不变鲁棒性人脸识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111767825B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113657259B (zh) * | 2021-08-16 | 2023-07-21 | 西安航空学院 | 基于鲁棒特征提取的单样本人脸识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729844A (zh) * | 2017-10-19 | 2018-02-23 | 贵阳宏益房地产开发有限公司 | 人脸属性识别方法及装置 |
CN110287880A (zh) * | 2019-06-26 | 2019-09-27 | 西安电子科技大学 | 一种基于深度学习的姿态鲁棒性人脸识别方法 |
-
2020
- 2020-06-24 CN CN202010586404.9A patent/CN111767825B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729844A (zh) * | 2017-10-19 | 2018-02-23 | 贵阳宏益房地产开发有限公司 | 人脸属性识别方法及装置 |
CN110287880A (zh) * | 2019-06-26 | 2019-09-27 | 西安电子科技大学 | 一种基于深度学习的姿态鲁棒性人脸识别方法 |
Non-Patent Citations (3)
Title |
---|
A Deep Neural Network Model using Random Forest to Extract Feature Representation for Gene Expression Data Classification;Yunchuan Kong;《SCIENTIFIC REPORT》;20181107;全文 * |
基于稀疏表示的人脸姿态估计研究;廖海斌;《视频应用与工程》;20151231;全文 * |
基于非局部相似字典学习的人脸超分辨率与识别;廖海斌;《武汉大学学报》;20161031;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111767825A (zh) | 2020-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shao et al. | Feature learning for image classification via multiobjective genetic programming | |
CN107122809B (zh) | 基于图像自编码的神经网络特征学习方法 | |
CN106407889B (zh) | 基于光流图深度学习模型在视频中人体交互动作识别方法 | |
Połap | An adaptive genetic algorithm as a supporting mechanism for microscopy image analysis in a cascade of convolution neural networks | |
CN104866810B (zh) | 一种深度卷积神经网络的人脸识别方法 | |
CN107133496B (zh) | 基于流形学习与闭环深度卷积双网络模型的基因特征提取方法 | |
CN114841257B (zh) | 一种基于自监督对比约束下的小样本目标检测方法 | |
CN108304573A (zh) | 基于卷积神经网络和监督核哈希的目标检索方法 | |
CN110889865A (zh) | 一种基于局部加权稀疏特征选择的视频目标跟踪方法 | |
CN109271546A (zh) | 图像检索特征提取模型建立、数据库建立及检索方法 | |
CN110598022A (zh) | 一种基于鲁棒深度哈希网络的图像检索***与方法 | |
CN109960732A (zh) | 一种基于鲁棒监督的深度离散哈希跨模态检索方法及*** | |
Sokkhey et al. | Development and optimization of deep belief networks applied for academic performance prediction with larger datasets | |
CN110111365B (zh) | 基于深度学习的训练方法和装置以及目标跟踪方法和装置 | |
CN117690178B (zh) | 一种基于计算机视觉的人脸图像识别方法与*** | |
Chen | Image recognition technology based on neural network | |
CN111767825B (zh) | 一种人脸属性不变鲁棒性人脸识别方法及*** | |
CN116720519B (zh) | 一种苗医药命名实体识别方法 | |
CN113408721A (zh) | 神经网络结构搜索方法、装置、计算机设备和存储介质 | |
Chen et al. | Optimization of a training set for more robust face detection | |
CN116759067A (zh) | 一种基于重建和Tabular数据的肝病诊断方法 | |
CN111259176A (zh) | 融合有监督信息的基于矩阵分解的跨模态哈希检索方法 | |
Hossain et al. | Convolutional neural network based skin cancer detection (Malignant vs Benign) | |
CN114970684A (zh) | 一种结合vae的提取网络核心结构的社区检测方法 | |
Dembani et al. | UNSUPERVISED FACIAL EXPRESSION DETECTION USING GENETIC ALGORITHM. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220503 |
|
CF01 | Termination of patent right due to non-payment of annual fee |