CN111444787B - 一种性别约束的全智能化人脸表情识别方法及*** - Google Patents
一种性别约束的全智能化人脸表情识别方法及*** Download PDFInfo
- Publication number
- CN111444787B CN111444787B CN202010172458.0A CN202010172458A CN111444787B CN 111444787 B CN111444787 B CN 111444787B CN 202010172458 A CN202010172458 A CN 202010172458A CN 111444787 B CN111444787 B CN 111444787B
- Authority
- CN
- China
- Prior art keywords
- gender
- face
- facial
- random forest
- facial expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000007637 random forest analysis Methods 0.000 claims abstract description 80
- 230000001815 facial effect Effects 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000013135 deep learning Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims abstract description 3
- 238000003066 decision tree Methods 0.000 claims description 33
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 18
- 241000282414 Homo sapiens Species 0.000 claims description 15
- 230000014509 gene expression Effects 0.000 claims description 15
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 238000013136 deep learning model Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 2
- 238000009795 derivation Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000011541 reaction mixture Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种性别约束的全智能化人脸表情识别方法及***,包括人脸特征提取、人脸性别估计、条件随机森训练和基于性别条件随机森林的人脸表情识别四个步骤,对输入的人脸图像进行人脸检测和图像质量评判以后,将其送入预训练好的深度神经网络中进行学习提取深度学习特征,然基于提取的人脸特征,利用随机森林分类方法进行人脸性别估计,基于提取的人脸特征及其性别属性,利用条件随机森林进行人脸表情识别。本发明提出的基于深度学习和条件随机森林的鲁棒性人脸表情识别方法,解决了非可控环境和小样本下的人脸表情识别问题,解决了深度学习方法需要大量训练样本支持的问题,同时提高了非可控环境下的人脸表情识别准确性和有效性。
Description
技术领域
本发明属于图像处理与模式识别技术领域,具体涉及一种性别约束的全智能化人脸表情识别方法及***。
背景技术
人脸表情是人类一种最直接、自然和有效的情感表达方式,它是人工智能和计算机领域的一个重要研究方向。人脸表情识别可以广泛应用于安全驾驶、智能教室、视频监控、虚拟现实和人工机交互等场景。由于人脸表情识别是一种特殊的模式识别问题,因此一般的模式分类方法可以自然而然的应用于人脸表情识别问题。受到人脸识别和ImageNet图像识别巨大突破的启示,深度学习技术被广泛应用于人脸表情识别。如,Kim等人通过多样化CNNs设计出一种层次化的网络结构应用于人脸表情识别,在国际人脸表情竞赛(EmotiW2015)上获得第一名成绩。目前,在可控环境下,已经出现了大量的人脸表情识别方法并获得很大的成功。但是,只有少数工作去研究非可控环境下的人脸表情识别问题,非可控环境和小样本下的人脸表情识别问题仍然是一个具有挑战的问题。本发明提出基于深度学习和条件随机森林的鲁棒性人脸表情识别方法,解决深度学习方法需要大量训练样本支持的问题,同时提高非可控环境下的人脸表情识别准确性和有效性。
发明内容
本发明提出了一种性别约束的全智能化人脸表情识别方法及***,以解决上述背景技术中提出的问题。本发明的技术方案是这样实现的:
一种性别约束的全智能化人脸表情识别方法,包括人脸特征提取、人脸性别估计、条件随机森林训练和基于性别条件随机森林的人脸表情识别四个步骤,首先,对输入的人脸图像进行人脸检测和图像质量评判以后,将其送入预训练好的深度神经网络中进行学习提取深度学习特征,然后,基于提取的人脸特征,利用随机森林分类方法进行人脸性别估计,最后,基于提取的人脸特征及其性别属性,利用条件随机森林进行人脸表情识别,
步骤一:人脸特征提取
将采集的人脸图像送入卷积神经网络CNN进行表示学习,提取人脸高层语义特征,并使用迁移学习策略将选择的网络模型在LFW和YTF人脸库进行预训练,使其更具高层语义信息表示能力,人脸特征表示为y;
步骤二:人脸性别估计
使用整个训练集S去训练生成一个基于人脸性别分类的人脸性别随机森林TG,然后,训练集S根据人脸性别类别被分成N=2个子集,每一个子集被用于训练生成一组条件随机森林用于人脸表情分类,将人脸性别划分成两类{Ω1:female,Ω2:male};
步骤三:条件随机森林训练
条件随机森林中的每棵决策树Tt S(Ωn)采用相同的方法独立训练,为构建每棵决策树,从相应的数据子集中随机选取图像构成训练数据集,然后,从人脸特征y中随机提取一组子特征{yi=(ei,Ii)},其中ei为人脸表情类别,为提取的子特征集合,最后,提取的子特征集合被用于决策树节点的***以便生成最终的决策树;
步骤四:基于性别条件随机森林的人脸表情识别
首先,利用人脸性别随机森林TG对测试人脸图像进行性别估计,然后,根据性别估计结果,随机的从条件随机森林中选择相应数量的决策树动态构建人脸表情识别随机森林TE,最后,根据构建的人脸表情识别随机森林TE进行人脸表情分类识别。
在本发明的性别约束的全智能化人脸表情识别方法中,步骤一中,为了提高特征的鲁棒性,CNN采用目前效果较好的GoogleNet、VGG21或RestNet50。
在本发明的性别约束的全智能化人脸表情识别方法中,步骤一中,将检测到的人脸图像进行归一化处理后送入GoogleNet网络模型进行表示学习,GoogleNet通过LFW和YTF人脸库进行预训练,使其更具高层语义信息表示能力,基于GoogleNet的人脸特征提取可以表示为:
y=xcw+b (1)
式(1)中,其中,人脸特征y表示最后的高层特征输出,xc表示人脸图像在“Depthconcat”层中的特征图,w是权值项,b为偏置项,其中,深度学***台,学习率λ=0.005,epochs为5000,优化函数采用“Adam”算法,最终得到人脸特征y的维度为256。
在本发明的性别约束的全智能化人脸表情识别方法中,步骤二中,根据步骤一中得到的人脸特征y,采用人脸性别随机森林TG进行人脸性别分类,在训练生成人脸性别随机森林TG模型时,采用如下不确定性测度:
式(2)中,g表示人脸性别类别,不确定性测度引导各节点从二值测试候选库中选择最优的二值测试,以保证能不断将当前节点***为不确定性降低的两个子节点,人脸性别以高斯模型的方式储于人脸性别随机森林TG的每个叶子节点l上:
式(4)中,lm为决策树对应的叶子节点,M为决策树的数量。
在本发明的性别约束的全智能化人脸表情识别方法中,步骤三中,采用NCSF***模型,结合决策树的度量函数信息增益(IG)和深度学习模型中的损失函数进行深度网络增强树的节点生长,基于CNN隐藏层的联接函数fn强化人脸特征y的表示,用增强后特征表示作为网络增强森林的节点特征选择:
dn(y,K|Ωg)=σ(fn(y,K|Ωg)) (5)
式(5)中,σ(x)=(1+e-x)-1是sigmoid函数,Ωg为不同性别下的表情子森林,为增强森林中的一个***节点,K是CNN网络模型参数,通过随机梯度下降法(SGD)或Adam(Adaptive Moment Estimation)方法进行更新,当信息增益IG最大时,***生成树的左、右子节点:
在本发明的性别约束的全智能化人脸表情识别方法中,步骤四中,在人脸性别g∈Ωn已知的条件下,人脸特征y属于表情e的概率p(e|Ωn,y)由随机森林TE中所有树投票得到:
式(11)中,M为树的数量,lm为第m棵树上人脸特征y达到的叶子节点,在人脸性别g未知的条件下,人脸特征y属于表情e的概率p(e|y)可以表示为:
一种性别约束的全智能化人脸表情识别***,包括人脸特征提取、人脸性别估计和人脸表情识别三大模块,
人脸特征提取:此模块输入是人脸图像,输出是人脸特征向量,采用卷积神经网络模型进行人脸特征提取,如GoogleNet和RestNet50等;
人脸性别估计:此模块输入是人脸特征向量,输出是人脸性别类别,采用随机森林分类方法进行人脸性别分类估计;
人脸表情识别:此模块输入是人脸特征向量和人脸性别类别,输出是人脸表情类别,采用性别条件随机森林方法进行人脸表情分类识别。
实施本发明的这种性别约束的全智能化人脸表情识别方法及***,具有以下有益效果:
本发明提出的基于深度学习和条件随机森林的鲁棒性人脸表情识别方法,解决了非可控环境和小样本下的人脸表情识别问题,解决了深度学习方法需要大量训练样本支持的问题,同时提高了非可控环境下的人脸表情识别准确性和有效性。
附图说明
图1为本发明性别约束的全智能化人脸表情识别的技术框架图;
图2为本发明性别约束的全智能化人脸表情识别的***图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
实施例1:
一种性别约束的全智能化人脸表情识别方法,其技术架构及流程如图1所示,包括人脸特征提取、人脸性别估计、条件随机森林训练和基于性别条件随机森林的人脸表情识别四个步骤,首先,对输入的人脸图像进行人脸检测和图像质量评判以后,将其送入预训练好的深度神经网络中进行学习提取深度学习特征,然后,基于提取的人脸特征,利用随机森林分类方法进行人脸性别估计,最后,基于提取的人脸特征及其性别属性,利用条件随机森林进行人脸表情识别。
步骤一:人脸特征提取
将采集的人脸图像送入卷积神经网络(CNN)进行表示学习,提取人脸高层语义特征,为了提高特征的鲁棒性,CNN采用目前效果较好的GoogleNet、VGG21或RestNet50,并使用迁移学习策略将选择的网络模型在LFW和YTF人脸库进行预训练,使其更具高层语义信息表示能力,人脸特征提取表示为y。
步骤二:人脸性别估计
使用整个训练集S去训练生成一个基于人脸性别分类的人脸性别随机森林TG,然后,训练集S根据人脸性别类别被分成N=2个子集,每一个子集被用于训练生成一组条件随机森林用于人脸表情分类,将人脸性别划分成两类{Ω1:female,Ω2:male}。
优选的,根据步骤一中得到的人脸特征y,采用人脸性别随机森林TG进行人脸性别分类,在训练生成人脸性别随机森林TG模型时,采用如下不确定性测度:
式(2)中,g表示人脸性别类别,不确定性测度引导各节点从二值测试候选库中选择最优的二值测试,以保证能不断将当前节点***为不确定性降低的两个子节点,人脸性别以高斯模型的方式储于人脸性别随机森林TG的每个叶子节点l上:
式(4)中,lm为决策树对应的叶子节点,M为决策树的数量。
步骤三:条件随机森林训练
条件随机森林中的每棵决策树Tt S(Ωn)采用相同的方法独立训练,为构建每棵决策树,从相应的数据子集中随机选取图像构成训练数据集,然后,从人脸特征表示为y的每张训练样本特征{yi=(ei,Ii)},其中ei为人脸表情类别,为提取的子特征集合,最后,提取的子特征集合被用于决策树节点的***以便生成最终的决策树。
优选的,采用NCSF***模型,结合决策树的度量函数信息增益(IG)和深度学习模型中的损失函数进行深度网络增强树的节点生长,基于CNN隐藏层的联接函数fn强化人脸样本的条件特征表示y,用增强后特征表示作为网络增强森林的节点特征选择:
dn(y,K|Ωg)=σ(fn(y,K|Ωg)) (5)
式(5)中,σ(x)=(1+e-x)-1是sigmoid函数,Ωg为不同性别下的表情子森林,为增强森林中的一个***节点,K是CNN网络模型参数,通过随机梯度下降法(SGD)或Adam(Adaptive Moment Estimation)方法进行更新,当信息增益IG最大时,***生成树的左、右子节点:
步骤四:基于性别条件随机森林的人脸表情识别
首先,利用人脸性别随机森林TG对测试人脸图像进行性别估计,然后,根据性别估计结果,随机的从条件随机森林中选择相应数量的决策树动态构建人脸表情识别随机森林TE,最后,根据构建的人脸表情识别随机森林TE进行人脸表情分类识别。
优选的,在人脸性别g∈Ωn已知的条件下,人脸样本y属于表情e的概率p(e|Ωn,y)由随机森林TE中所有树投票得到:
式(11)中,M为树的数量,lm为第m棵树上人脸特征y特征达到的叶子节点,在人脸性别g未知的条件下,人脸特征y属于表情e的概率p(e|y)可以表示为:
一种性别约束的全智能化人脸表情识别***,如图2所示,包括人脸特征提取、人脸性别估计和人脸表情识别三大模块,
人脸特征提取:此模块输入是人脸图像,输出是人脸特征向量,为了提高人脸特征提取的鲁棒性,采用卷积神经网络模型进行人脸特征提取,如GoogleNet和RestNet50等;
人脸性别估计:此模块输入是人脸特征向量,输出是人脸性别类别,为了提高人脸性别估计的准确性,采用随机森林分类方法进行人脸性别分类估计;
人脸表情识别:此模块输入是人脸特征向量和人脸性别类别,输出是人脸表情类别,为了提高人脸表情识别的准确性,采用性别条件随机森林方法进行人脸表情分类识别。
实施例2:
一种性别约束的全智能化人脸表情识别方法,主要包括人脸特征提取、人脸性别估计、条件随机森林训练和基于性别条件随机森林的人脸表情识别四大部分:
①人脸特征提取
对输入的人脸图像利用人脸检测算法剪切出无背景的人脸图像。然后利用图像质量评判算法挑选出具有正面姿态和高分辨率的高质量人脸图像。最后,将挑选出的高质量人脸图像进行归一化处理后送入GoogleNet网络模型进行表示学习。GoogleNet通过LFW和YTF人脸库进行预训练,使其更具高层语义信息表示能力。基于GoogleNet的人脸特征提取可以表示为:
y=xcw+b (1)
其中,人脸特征y表示最后的高层特征输出,xc表示人脸图像在“Depthconcat”层中的特征图,w是权值项,b为偏置项。其中,深度学***台,学习率λ=0.005,epochs为5000,优化函数采用“Adam”算法。最终得到人脸特征表示为y中人脸高层特征表示向量的维度为256。
②人脸性别估计
使用整个训练集S去训练生成一个基于人脸性别分类的人脸性别随机森林TG。然后,训练集S根据人脸性别类别被分成N=2个子集,每一个子集被用于训练生成一组条件随机森林用于人脸表情分类。本文将人脸性别划分成两类{Ω1:female,Ω2:male}。
根据得到的人脸特征y,采用人脸性别随机森林TG进行人脸性别分类。在训练生成人脸性别随机森林TG模型时,采用如下不确定性测度:
其中,g表示人脸性别类别。不确定性测度引导各节点从二值测试候选库中选择最优的二值测试,以保证能不断将当前节点***为不确定性降低的两个子节点。人脸性别以高斯模型的方式储于人脸性别随机森林TG的每个叶子节点l上:
其中,lm为决策树对应的叶子节点,M为决策树的数量。
③条件随机森林训练
条件随机森林中的每棵决策树Tt S(Ωn)采用相同的方法独立训练。为构建每棵决策树,从相应的数据子集中随机选取图像构成训练数据集;然后,从人脸特征表示为y的每张训练样本特征随机提取一组子特征{yi=(ei,Ii)},其中ei为人脸表情类别,为提取的子特征集合;最后,提取的子特征集合被用于决策树节点的***以便生成最终的决策树。
为了更好的学习和生长***节点,本发明采用NCSF***模型,结合决策树的度量函数信息增益(IG)和深度学习模型中的损失函数进行深度网络增强树的节点生长。基于CNN隐藏层的联接函数fn强化人脸样本的条件特征表示y,用增强后特征表示作为网络增强森林的节点特征选择:
dn(y,K|Ωg)=σ(fn(y,K|Ωg)) (5)
其中,σ(x)=(1+e-x)-1是sigmoid函数,Ωg为不同性别下的表情子森林,为增强森林中的一个***节点,K是CNN网络模型参数,本实施例通过随机梯度下降法(SGD)更新:
其中,η为学习率,e为表情类别,B为随机抽取的特征子集(即mini-batch),L(K,e;y)为训练样本y的损失函数,定义如下:
其中,p(e|dn,K,y)为人脸表情概率。根据链式求导法对K求导:
其中,g为性别类别,第2项求导可由CNN网络参数优化得到;第1项求导根据生成树的左、右子节点特征选择得到:
④基于性别条件随机森林的人脸表情识别
在人脸性别g∈Ωn已知的条件下,人脸特征y属于表情e的概率p(e|Ωn,y)由随机森林TE中所有树投票得到:
其中,M为树的数量,lm为第m棵树上人脸特征y特征达到的叶子节点。在人脸性别g未知的条件下,人脸特征y属于表情e的概率p(e|y)可以表示为:
从上面式子可以看出,在进行人脸表情识别时:首先,根据性别估计的结果从条件随机森林TS(Ωn)中随机选取kn棵决策树动态构建随机森林TE;然后,由TE中决策树投票得出测试样本y的表情类别概率p(e|y)。
一种性别约束的全智能化人脸表情识别***,如图2所示,主要包括人脸特征提取、人脸性别估计和人脸表情识别三大模块:
人脸特征提取:此模块输入是人脸图像,输出是人脸特征向量。本发明将所有输入图像归一化到256*256大小,通过卷积神经网络后提取的人脸特征向量维数为256。为了提高人脸特征提取的鲁棒性,本发明采用目前效果较好的RestNet50残差神经网络模型进行人脸特征提取。
人脸性别估计:此模块输入是人脸特征向量,输出是人脸性别类别。其中,输入是256维的人脸特征向量,输出为1(代表女性)或-1(代表男性)。为了提高人脸性别估计的准确性,本发明采用随机森林分类方法进行人脸性别分类估计。
人脸表情识别:此模块输入是人脸特征向量和人脸性别类别,输出是人脸表情类别。其中,人脸特征向量为256维,人脸性别类别为1或-1;人脸表情类别为1(高兴)、2(悲伤)、3(惊讶)、4(愤怒)、5(厌恶)和6(害怕)中的一种。为了提高人脸表情识别的准确性,本发明采用性别条件随机森林方法进行人脸表情分类识别。
实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种性别约束的全智能化人脸表情识别方法,其特征在于,包括人脸特征提取、人脸性别估计、条件随机森林训练和基于性别条件随机森林的人脸表情识别四个步骤,首先,对输入的人脸图像进行人脸检测和图像质量评判以后,将其送入预训练好的深度神经网络中进行学习提取深度学习特征,然后,基于提取的人脸特征,利用随机森林分类方法进行人脸性别估计,最后,基于提取的人脸特征及其性别属性,利用条件随机森林进行人脸表情识别,
步骤一:人脸特征提取
将采集的人脸图像送入卷积神经网络CNN进行表示学习,提取人脸高层语义特征,并使用迁移学习策略将选择的网络模型在LFW和YTF人脸库进行预训练,使其更具高层语义信息表示能力,人脸特征表示为y;
步骤二:人脸性别估计
使用整个训练集S去训练生成一个基于人脸性别分类的人脸性别随机森林TG,然后,训练集S根据人脸性别类别被分成N=2个子集,每一个子集被用于训练生成一组条件随机森林用于人脸表情分类,将人脸性别划分成两类{Ω1:female,Ω2:male};
步骤三:条件随机森林训练
条件随机森林中的每棵决策树Tt S(Ωn)采用相同的方法独立训练,为构建每棵决策树,从相应的数据子集中随机选取图像构成训练数据集,然后,从人脸特征y中随机提取一组子特征{yi=(ei,Ii)},其中ei为人脸表情类别,为提取的子特征集合,最后,提取的子特征集合被用于决策树节点的***以便生成最终的决策树;
步骤四:基于性别条件随机森林的人脸表情识别
2.根据权利要求1所述的性别约束的全智能化人脸表情识别方法,其特征在于,步骤一中,为了提高特征的鲁棒性,CNN采用目前效果较好的GoogleNet、VGG21或RestNet50。
3.根据权利要求2所述的性别约束的全智能化人脸表情识别方法,其特征在于,步骤一中,将检测到的人脸图像进行归一化处理后送入GoogleNet网络模型进行表示学习,GoogleNet通过LFW和YTF人脸库进行预训练,使其更具高层语义信息表示能力,基于GoogleNet的人脸特征提取表示为:
y=xcw+b (1)
式(1)中,其中,人脸特征y表示最后的高层特征输出,xc表示人脸图像在“Depthconcat”层中的特征图,w是权值项,b为偏置项,其中,深度学***台,学习率λ=0.005,epochs为5000,优化函数采用“Adam”算法,最终得到人脸特征y的维度为256。
4.根据权利要求1所述的性别约束的全智能化人脸表情识别方法,其特征在于,步骤二中,根据步骤一中得到的人脸特征y,采用人脸性别随机森林TG进行人脸性别分类,在训练生成人脸性别随机森林TG模型时,采用如下不确定性测度:
式(2)中,g表示人脸性别类别,不确定性测度引导各节点从二值测试候选库中选择最优的二值测试,以保证能不断将当前节点***为不确定性降低的两个子节点,人脸性别以高斯模型的方式储于人脸性别随机森林TG的每个叶子节点l上:
式(4)中,lm为决策树对应的叶子节点,M为决策树的数量。
5.根据权利要求1所述的性别约束的全智能化人脸表情识别方法,其特征在于,步骤三中,采用NCSF***模型,结合决策树的度量函数信息增益IG和深度学习模型中的损失函数进行深度网络增强树的节点生长,基于CNN隐藏层的联接函数fn强化人脸特征y的表示,用增强后特征表示作为网络增强森林的节点特征选择:
dn(y,K|Ωg)=σ(fn(y,K|Ωg)) (5)
式(5)中,σ(x)=(1+e-x)-1是sigmoid函数,Ωg为不同性别下的表情子森林,为增强森林中的一个***节点,K是CNN网络模型参数,通过随机梯度下降法SGD或Adam方法进行更新,当度量函数信息增益IG最大时,***生成树的左、右子节点:
7.一种基于权利要求1-6任意一项所述的性别约束的全智能化人脸表情识别方法的识别***,其特征在于,包括人脸特征提取、人脸性别估计和人脸表情识别三大模块,
人脸特征提取:此模块输入是人脸图像,输出是人脸特征向量,采用卷积神经网络模型进行人脸特征提取,为GoogleNet和RestNet50;
人脸性别估计:此模块输入是人脸特征向量,输出是人脸性别类别,采用随机森林分类方法进行人脸性别分类估计;
人脸表情识别:此模块输入是人脸特征向量和人脸性别类别,输出是人脸表情类别,采用性别条件随机森林方法进行人脸表情分类识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010172458.0A CN111444787B (zh) | 2020-03-12 | 2020-03-12 | 一种性别约束的全智能化人脸表情识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010172458.0A CN111444787B (zh) | 2020-03-12 | 2020-03-12 | 一种性别约束的全智能化人脸表情识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111444787A CN111444787A (zh) | 2020-07-24 |
CN111444787B true CN111444787B (zh) | 2023-04-07 |
Family
ID=71627411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010172458.0A Active CN111444787B (zh) | 2020-03-12 | 2020-03-12 | 一种性别约束的全智能化人脸表情识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111444787B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113705333A (zh) * | 2021-07-14 | 2021-11-26 | 深圳市有为信息技术发展有限公司 | 驾驶员面部图像筛选方法、装置、电子设备和商用车辆 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104504365A (zh) * | 2014-11-24 | 2015-04-08 | 闻泰通讯股份有限公司 | 视频序列中的笑脸识别***及方法 |
CN106295507A (zh) * | 2016-07-25 | 2017-01-04 | 华南理工大学 | 一种基于集成卷积神经网络的性别识别方法 |
CN107066951A (zh) * | 2017-03-15 | 2017-08-18 | 中国地质大学(武汉) | 一种人脸自发表情的识别方法及*** |
KR101784418B1 (ko) * | 2016-04-04 | 2017-10-11 | 연세대학교 산학협력단 | 적응형 랜덤 포레스트와 피드백 모듈을 이용하여 얼굴 표정을 인식하기 위한 장치 및 그 방법 |
CN107330412A (zh) * | 2017-07-06 | 2017-11-07 | 湖北科技学院 | 一种基于深度稀疏表示的人脸年龄估计方法 |
CN107358172A (zh) * | 2017-06-22 | 2017-11-17 | 华南理工大学 | 一种基于人脸朝向分类的人脸特征点初始化方法 |
CN108108677A (zh) * | 2017-12-12 | 2018-06-01 | 重庆邮电大学 | 一种基于改进的cnn人脸表情识别方法 |
CN108446672A (zh) * | 2018-04-20 | 2018-08-24 | 武汉大学 | 一种基于由粗到细脸部形状估计的人脸对齐方法 |
CN108596011A (zh) * | 2017-12-29 | 2018-09-28 | 中国电子科技集团公司信息科学研究院 | 一种基于组合深度网络的人脸属性识别方法和装置 |
CN109389037A (zh) * | 2018-08-30 | 2019-02-26 | 中国地质大学(武汉) | 一种基于深度森林和迁移学习的情感分类方法 |
CN109492529A (zh) * | 2018-10-08 | 2019-03-19 | 中国矿业大学 | 一种多尺度特征提取及全局特征融合的人脸表情识别方法 |
CN110414483A (zh) * | 2019-08-13 | 2019-11-05 | 山东浪潮人工智能研究院有限公司 | 一种基于深度神经网络和随机森林的人脸识别方法及*** |
CN110516537A (zh) * | 2019-07-15 | 2019-11-29 | 电子科技大学 | 一种基于自步学习的人脸年龄估计方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10628985B2 (en) * | 2017-12-01 | 2020-04-21 | Affectiva, Inc. | Avatar image animation using translation vectors |
-
2020
- 2020-03-12 CN CN202010172458.0A patent/CN111444787B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104504365A (zh) * | 2014-11-24 | 2015-04-08 | 闻泰通讯股份有限公司 | 视频序列中的笑脸识别***及方法 |
KR101784418B1 (ko) * | 2016-04-04 | 2017-10-11 | 연세대학교 산학협력단 | 적응형 랜덤 포레스트와 피드백 모듈을 이용하여 얼굴 표정을 인식하기 위한 장치 및 그 방법 |
CN106295507A (zh) * | 2016-07-25 | 2017-01-04 | 华南理工大学 | 一种基于集成卷积神经网络的性别识别方法 |
CN107066951A (zh) * | 2017-03-15 | 2017-08-18 | 中国地质大学(武汉) | 一种人脸自发表情的识别方法及*** |
CN107358172A (zh) * | 2017-06-22 | 2017-11-17 | 华南理工大学 | 一种基于人脸朝向分类的人脸特征点初始化方法 |
CN107330412A (zh) * | 2017-07-06 | 2017-11-07 | 湖北科技学院 | 一种基于深度稀疏表示的人脸年龄估计方法 |
CN108108677A (zh) * | 2017-12-12 | 2018-06-01 | 重庆邮电大学 | 一种基于改进的cnn人脸表情识别方法 |
CN108596011A (zh) * | 2017-12-29 | 2018-09-28 | 中国电子科技集团公司信息科学研究院 | 一种基于组合深度网络的人脸属性识别方法和装置 |
CN108446672A (zh) * | 2018-04-20 | 2018-08-24 | 武汉大学 | 一种基于由粗到细脸部形状估计的人脸对齐方法 |
CN109389037A (zh) * | 2018-08-30 | 2019-02-26 | 中国地质大学(武汉) | 一种基于深度森林和迁移学习的情感分类方法 |
CN109492529A (zh) * | 2018-10-08 | 2019-03-19 | 中国矿业大学 | 一种多尺度特征提取及全局特征融合的人脸表情识别方法 |
CN110516537A (zh) * | 2019-07-15 | 2019-11-29 | 电子科技大学 | 一种基于自步学习的人脸年龄估计方法 |
CN110414483A (zh) * | 2019-08-13 | 2019-11-05 | 山东浪潮人工智能研究院有限公司 | 一种基于深度神经网络和随机森林的人脸识别方法及*** |
Non-Patent Citations (3)
Title |
---|
Jingying Chen.Automatic social signal analysis: Facial expression recognition using difference convolution neural network.《Journal of Parallel and Distributed Computing》.2019,第131卷97-102. * |
刘尚旺.基于深度可分卷积神经网络的实时人脸表情和性别分类.《计算机应用》.2019,第40卷(第4期),990-995. * |
邱益鸣.基于鉴别字典学习的遮挡人脸姿态识别.《武汉大学学报(信息科学版)》.2018,第43卷(第2期),275-281. * |
Also Published As
Publication number | Publication date |
---|---|
CN111444787A (zh) | 2020-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112651448B (zh) | 一种面向社交平台表情包的多模态情感分析方法 | |
Fabius et al. | Variational recurrent auto-encoders | |
CN104866810B (zh) | 一种深度卷积神经网络的人脸识别方法 | |
CN112800891B (zh) | 一种用于微表情识别的鉴别性特征学习方法与*** | |
US10853986B2 (en) | Creative GAN generating art deviating from style norms | |
CN110232341A (zh) | 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法 | |
CN112734775A (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
CN111523367B (zh) | 基于人脸属性分析的智能化人脸表情识别方法与*** | |
CN112101473B (zh) | 一种基于小样本学习的烟雾检测算法 | |
CN113127737B (zh) | 融合注意力机制的个性化搜索方法和搜索*** | |
Zhang et al. | Evolving neural network classifiers and feature subset using artificial fish swarm | |
CN111753207A (zh) | 一种基于评论的神经图协同过滤模型 | |
Borgalli et al. | Deep learning for facial emotion recognition using custom CNN architecture | |
CN114187493A (zh) | 一种基于生成对抗网络的零样本学习算法 | |
CN112633425A (zh) | 图像分类方法和装置 | |
CN112883931A (zh) | 基于长短期记忆网络的实时真假运动判断方法 | |
Oyedotun et al. | Deep learning in character recognition considering pattern invariance constraints | |
CN116561614A (zh) | 一种基于元学习的小样本数据处理*** | |
CN111444787B (zh) | 一种性别约束的全智能化人脸表情识别方法及*** | |
Yuan et al. | A novel forget-update module for few-shot domain generalization | |
CN113221683A (zh) | 教学场景下基于cnn模型的表情识别方法 | |
CN111767825B (zh) | 一种人脸属性不变鲁棒性人脸识别方法及*** | |
Lee et al. | Ensemble of binary tree structured deep convolutional network for image classification | |
Zhang | From artificial neural networks to deep learning: A research survey | |
CN113792541A (zh) | 一种引入互信息正则化器的方面级情感分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |