CN108830237A - 一种人脸表情的识别方法 - Google Patents
一种人脸表情的识别方法 Download PDFInfo
- Publication number
- CN108830237A CN108830237A CN201810645394.4A CN201810645394A CN108830237A CN 108830237 A CN108830237 A CN 108830237A CN 201810645394 A CN201810645394 A CN 201810645394A CN 108830237 A CN108830237 A CN 108830237A
- Authority
- CN
- China
- Prior art keywords
- image
- characteristic point
- face
- expression
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种人脸表情的识别方法,具体包括以下步骤:步骤1:针对人脸表情数据集中的各个图像,检测图像中的人脸及特征点;步骤2:在步骤1的基础上,生成人脸图像上各个特征点局部区域的特征向量,计算基于人脸特征点的表情特征;步骤3:进行计算人脸表情特征向量;步骤4:在步骤3的基础上,利用自编码神经网络方法进行降维;步骤5:计算并得到非线性高维分类模型;步骤6:当用户输入人脸视频后,按照步骤1~步骤4方法构造新型较低维的形状特征描述符;步骤7:将输入视频人脸图像特征描述符与分类模型进行比较,从而确定出人脸表情图像在不同分类中的概率值。本发明的有益效果是:提高表情特征的描述能力;提高了表情识别的准确率。
Description
技术领域
本发明涉及人脸识别技术领域,具体涉及一种人脸表情的识别方法。
背景技术
面部表情通过人脸不同部位的形状变化表现出来,进而表达各种不同的情绪状态,传达不同的情感。利用图像几何形状变化分析识别人脸表情具有十分广泛的应用前景。
人脸表情识别可应用于个性化定制,根据用户脸部表情识别判断其情感状态,进而推荐符合用户需求的各项服务,包括娱乐内容推荐,生活服务信息推荐等;可应用于网上在线学习,根据表情变化判断用户对所学习内容的兴趣程度,对学习内容进行自动评价及调整,引导用户进行有效性学习;可应用于自动产品或广告评价,通过用户使用及欣赏产品或广告时的表情变化,判断用户喜好程度,从而产生评价内容;可应用于智能虚拟人交互,通过用户情感识别,调整虚拟人的表情,达到自然人机交互的目的。对人脸表情的识别还可以应用于司法、安全、医疗、通信、汽车制造等领域。
人脸表情识别技术大都建立在美国心理学家保罗·艾克曼(Paul·Ekman)对表情分类的基础上,保罗·艾克曼将人脸表情分为七个分类:中性、高兴、愤怒、悲伤、惊讶、厌恶及恐惧。根据人脸表情的分类,可以通过人脸图像在不同分类上的概率值分布识别不同的表情状态,因此对表情分类的准确性直接代表了表情识别的准确性。
现有表情分类方法分为两种:
第一种方法基于神经网络技术发展,通过对大规模不同表情人脸数据直接进行多层深度网络学习,训练分类模型,达到表情分类的目的。这种方法需要有两个必要条件保证分类结果的有效性。一个是样本数据量必须足够巨大,另外要求硬件计算能力足够强大。而现有样本数据量很难满足此类算法的要求,实时计算***尤其是移动端设备无法支撑算法所需的计算量。
第二种方法的技术框架是先提取人脸表情形状特征,再用不同分类方法对高维特征进行分类。这种方法的有效性取决于准确的特征表达和分类方法。特征表达要求能够描述局部形状细节,针对小样本数据及特征的高维特性,应具有高效的非线性分类方法支持。
发明内容
针对现有技术存在的缺陷,本发明提供了一种人脸表情的识别方法。
本发明的技术方案是:一种人脸表情识别方法,具体包括以下步骤:
步骤1针对人脸表情数据集中的各个图像,检测图像中的人脸及特征点:
步骤1.1针对人脸表情训练数据集中的各图像,检测图像中的人脸并实现特征点对齐,为了准确检测不同人脸特征点的准确位置,需要利用样本人脸中手工标注的特征点对平均人脸特征点的位置进行最优化回归计算,定义优化函数为如下公式(1):
其中表示平均人脸的特征点,经过回归计算后得出人脸的68个特征点,平均人脸的特征点是对样本人脸中特征点的位置进行平均计算得到,表示当前人脸特征点。函数用来计算特征点局部区域特征;
步骤1.2在步骤1.1的基础上,为了得到最优化结果,计算平均人脸特征点到当前人脸特征点之间的一条最佳迭代路径,即计算f(x)的最小值,也就是计算从x0位置到x位置的最优下降过程,而f(x)的最小值则由f‘(x)=0计算得到,基于泰勒展开得到和Δx之间的一个线性关系为如下公式(2):
对于曲率以及偏移量无需计算,只需要利用样本人脸数据及其特征点位置对上式进行迭代回归,从而得到回归模型,即多组曲率和偏移量的下降参数值;
步骤2特征点形状描述:
步骤2.1在步骤1的基础上,生成人脸图像上各个特征点局部区域的特征向量,计算基于人脸特征点的表情特征,通过多尺度细节增强方法对人脸图像做预处理,利用层次化的梯度统计方法计算特征点局部区域特征;
步骤2.2在步骤1的基础上,对人脸图像进行旋转归一化,建立统一的人脸坐标系;
步骤2.3为了达到算法对人脸缩放的不变性,减少人脸缩放变化对于形状特征的影响,建立图像高斯尺度空间,形成图像金字塔结构,图像金字塔是多尺度计算的基础,通过对原图像进行上采样和下采样,建立图像的三层金字塔结构;
步骤2.4进行高斯模糊及图像差分计算,高斯拉普拉斯算子(LoG)能够得到图像局部细节,由于LoG算子计算成本较高,而不同尺度的高斯模糊图像差分(DoG)能够近似的表征LoG算子,因此提出基于DoG的图像局部细节计算方法;
为了计算图像细节,首先对于不同尺度下的图像,采用不同的高斯模糊核对同一尺度下的图像进行不同级别的模糊变化;模糊核计算按照以下公式(3)进行:
其中σ为平均差,r2=x2+y2决定了模糊核的大小;具体应用中利用离散的像素距离作为模糊核大小,在本方法中分别取模糊核大小为r=23和r=21,而 为平均差的计算方法,不同模糊核具有不同的平均差取值;
对根据不同模糊核得到的统一尺度下的两层图像相减即得到高斯差分图像,如公式(4)~(6):
Li,j(x,y)=Gi*I′(x,y)……(4)
D1=L2-L1……(5)
D2=L3-L2……(6)
其中I′为尺度图像,L为不同模糊核模糊后的不同层的图像;
步骤2.5通过高斯差分后得到图像在不同尺度下的局部细节描述,局部细节描述叠加在图像中后能够增加人脸图像对于细节的表达能力,将高斯差分得到的图像与金字塔尺度空间的图像进行累加,得到不同尺度下细节增强后的人脸图像,如以下公式(7):
Lj′=Lj+D1j+D2j……(7)
其中:Lj′表示细节叠加后的图像,j=1,2,3为表示不同尺度;
步骤2.6对于每个特征点选取以其为中心的16×16的局部区域,并将此16×16区域分为大小不同的四层结构,每层结构为不同数量的矩形块组成,三层结构分别是16个4×4的块,9个8×8的块,4个12×12的块以及1个16×16的块;
步骤2.7为了达到算法对于全局光照的不变性,对每一个块内所有像素计算梯度方向及幅值,对块内的像素梯度,按照不同方向分为四组并对每组的幅值进行累加统计,得到一个具有四个值的直方图,对于特征点的特征描述则由不同块直方图组合而成,从大块到小块,从左至右从上至下的顺序组合后局部特征的维数为30×4=120维,对于不同尺度下的特征点局部特征进行组合,则特征点形状描述为120×3=360维;
步骤3人脸图像的特征描述子来源与所有特征点局部区域特征的组合,脸部具有68个特征点,轮廓特征点对微表情的影响并不大,聚集于眼睛眉毛、鼻子及嘴巴周围的特征点能够更好的表达微表情变化,除去轮廓点外的剩余51个特征点,人脸图像的形状特征向量采取所述51个特征点点周边区域的特征,计算公式如以下公式(8):
至此,得到人脸表情特征向量为360×51=18360维;
步骤4步骤3中的特征计算后所生成的形状特征向量维数过大,影响了后续算法的时间复杂度采用自编码神经网络方法进行降维,自编码神经网络是一种无监督学习算法,使用了反向传播算法,尝试学习一个H(W,b)(x)≈x的函数,相对数量较少的隐藏神经元是原有神经网络的一个很好的近似,却大大降低了维度;按照步骤1~步骤4的方法计算形状特征并进行特征降维后的得到一个625维的向量;
步骤5利用人脸表情特征对已有样本数据集进行分类数据挖掘,选取100个不同人的1000副人脸表情图像,并将人脸图像按照表情分为七种类型;对于每一个样本人脸表情图像,按照步骤1~步骤4中的人脸图像特征计算方法,分别计算样本数据库中所有人脸图像的形状特征描述符,并按照预先分类分别建立标签,采用支持向量机的计算方法,同时按照分类及特征描述信息对已有数据进行分类训练,得到非线性高维分类模型;
步骤6当用户输入人脸视频后,针对输入的人脸视频帧中人脸图像,按照步骤1~步骤4方法构造新型较低维的形状特征描述符;
步骤7将输入视频人脸图像特征描述符与分类模型进行比较,从而确定出人脸表情图像在不同分类中的概率值。
本发明所述识别方法的有益效果是:利用多尺度高斯金字塔结构及形状细节增强的方法,提高表情特征的描述能力;利用基于层次机构的局部形状特征,提高局部特征点形状的细节表达能力;利用支持向量机方法处理小训练集及非线性分类;实现对视频中人脸图像的表情识别,克服了现有技术中存在的问题,进而在小样本数据前提下提高了表情识别的准确率。
附图说明
图1为本发明所述识别方法的人脸部的68个特征点分布示意图。
图2为本发明所述识别方法的人脸部的51个特征点分布示意图。
具体实施方式
下面结合说明书附图对本发明所述识别方法的具体实施方式做进一步详细说明。
如图1和图2所示,本发明所述识别方法,具体包括以下步骤:
步骤1针对人脸表情数据集中的各个图像,检测图像中的人脸及特征点:
步骤1.1针对人脸表情训练数据集中的各图像,检测图像中的人脸并实现特征点对齐,为了准确检测不同人脸特征点的准确位置,需要利用样本人脸中手工标注的特征点对平均人脸特征点的位置进行最优化回归计算,定义优化函数为如下公式(1):
其中表示平均人脸的特征点,经过回归计算后得出人脸的68个特征点,平均人脸的特征点是对样本人脸中特征点的位置进行平均计算得到,表示当前人脸特征点,函数用来计算特征点局部区域特征;
步骤1.2在步骤1.1的基础上,为了得到最优化结果,计算平均人脸特征点到当前人脸特征点之间的一条最佳迭代路径,即计算f(x)的最小值,也就是计算从x0位置到x位置的最优下降过程,而f(x)的最小值则由f′(x)=0计算得到,基于泰勒展开得到和Δx之间的一个线性关系为如下公式(2):
对于曲率以及偏移量无需计算,只需要利用样本人脸数据及其特征点位置对上式进行迭代回归,从而得到回归模型,即多组曲率和偏移量的下降参数值;
步骤2特征点形状描述:
步骤2.1在步骤1的基础上,生成人脸图像上各个特征点局部区域的特征向量,计算基于人脸特征点的表情特征,通过多尺度细节增强方法对人脸图像做预处理,利用层次化的梯度统计方法计算特征点局部区域特征;
步骤2.2在步骤1的基础上,对人脸图像进行旋转归一化,建立统一的人脸坐标系;
步骤2.3为了达到算法对人脸缩放的不变性,减少人脸缩放变化对于形状特征的影响,建立图像高斯尺度空间,形成图像金字塔结构,图像金字塔是多尺度计算的基础,通过对原图像进行上采样和下采样,建立图像的三层金字塔结构;
步骤2.4进行高斯模糊及图像差分计算,高斯拉普拉斯算子(LoG)能够得到图像局部细节,由于LoG算子计算成本较高,而不同尺度的高斯模糊图像差分(DoG)能够近似的表征LoG算子,因此提出基于DoG的图像局部细节计算方法;
为了计算图像细节,首先对于不同尺度下的图像,采用不同的高斯模糊核对同一尺度下的图像进行不同级别的模糊变化;模糊核计算按照以下公式(3)进行:
其中σ为平均差,r2=x2+y2决定了模糊核的大小;具体应用中利用离散的像素距离作为模糊核大小,在本方法中分别取模糊核大小为r=23和r=21,而 为平均差的计算方法,不同模糊核具有不同的平均差取值;
对根据不同模糊核得到的统一尺度下的两层图像相减即得到高斯差分图像,如公式(4)~(6):
Li,j(x,y)=Gi*I′(x,y)……(4)
D1=L2-L1……(5)
D2=L3-L2……(6)
其中I′为尺度图像,L为不同模糊核模糊后的不同层的图像;
步骤2.5通过高斯差分后得到图像在不同尺度下的局部细节描述,局部细节描述叠加在图像中后能够增加人脸图像对于细节的表达能力,将高斯差分得到的图像与金字塔尺度空间的图像进行累加,得到不同尺度下细节增强后的人脸图像,如以下公式(7):
Lj′=Lj+D1j+D2j……(7)
其中:Lj′表示细节叠加后的图像,j=1,2,3为表示不同尺度;
步骤2.6对于每个特征点选取以其为中心的16×16的局部区域,并将此16×16区域分为大小不同的四层结构,每层结构为不同数量的矩形块组成,三层结构分别是16个4×4的块,9个8×8的块,4个12×12的块以及1个16×16的块;
步骤2.7为了达到算法对于全局光照的不变性,对每一个块内所有像素计算梯度方向及幅值,对块内的像素梯度,按照不同方向分为四组并对每组的幅值进行累加统计,得到一个具有四个值的直方图,对于特征点的特征描述则由不同块直方图组合而成,从大块到小块,从左至右从上至下的顺序组合后局部特征的维数为30×4=120维,对于不同尺度下的特征点局部特征进行组合,则特征点形状描述为120×3=360维;
步骤3人脸图像的特征描述子来源与所有特征点局部区域特征的组合,脸部具有68个特征点,轮廓特征点对微表情的影响并不大,聚集于眼睛眉毛、鼻子及嘴巴周围的特征点能够更好的表达微表情变化,除去轮廓点外的剩余51个特征点,人脸图像的形状特征向量采取所述51个特征点点周边区域的特征,计算公式如以下公式(8):
至此,得到人脸表情特征向量为360×51=18360维;
步骤4步骤3中的特征计算后所生成的形状特征向量维数过大,影响了后续算法的时间复杂度采用自编码神经网络方法进行降维,自编码神经网络是一种无监督学习算法,使用了反向传播算法,尝试学习一个H(W,b)(x)≈x的函数,相对数量较少的隐藏神经元是原有神经网络的一个很好的近似,却大大降低了维度;按照步骤1~步骤4的方法计算形状特征并进行特征降维后的得到一个625维的向量;
步骤5利用人脸表情特征对已有样本数据集进行分类数据挖掘,选取100个不同人的1000副人脸表情图像,并将人脸图像按照表情分为七种类型;对于每一个样本人脸表情图像,按照步骤1~步骤4中的人脸图像特征计算方法,分别计算样本数据库中所有人脸图像的形状特征描述符,并按照预先分类分别建立标签,采用支持向量机的计算方法,同时按照分类及特征描述信息对已有数据进行分类训练,得到非线性高维分类模型;
步骤6当用户输入人脸视频后,针对输入的人脸视频帧中人脸图像,按照步骤1~步骤4方法构造新型较低维的形状特征描述符;
步骤7将输入视频人脸图像特征描述符与分类模型进行比较,从而确定出人脸表情图像在不同分类中的概率值。
本发明并不限于上述实施方式,在不背离本发明实质内容的情况下,本领域技术人员可以想到的任何变形、改进、替换均落入本发明的保护范围。
Claims (1)
1.一种人脸表情的识别方法,其特征在于,具体包括以下步骤:
步骤1 针对人脸表情数据集中的各个图像,检测图像中的人脸及特征点:
步骤1.1 针对人脸表情训练数据集中的各图像,检测图像中的人脸并实现特征点对齐,为了准确检测不同人脸特征点的准确位置,需要利用样本人脸中手工标注的特征点对平均人脸特征点的位置进行最优化回归计算,定义优化函数为如下公式(1):
其中,表示平均人脸的特征点,经过回归计算后得出人脸的68个特征点,平均人脸的特征点是对样本人脸中特征点的位置进行平均计算得到,表示当前人脸特征点。函数用来计算特征点局部区域特征;
步骤1.2 在步骤1.1的基础上,为了得到最优化结果,计算平均人脸特征点到当前人脸特征点之间的一条最佳迭代路径,即计算f(x)的最小值,也就是计算从x0位置到x位置的最优下降过程,而f(x)的最小值则由f‘(x)=0计算得到,基于泰勒展开得到和Δx之间的一个线性关系为如下公式(2):
对于曲率以及偏移量无需计算,只需要利用样本人脸数据及其特征点位置对上式进行迭代回归,从而得到回归模型,即多组曲率和偏移量的下降参数值;
步骤2 特征点形状描述:
步骤2.1 在步骤1的基础上,生成人脸图像上各个特征点局部区域的特征向量,计算基于人脸特征点的表情特征,通过多尺度细节增强方法对人脸图像做预处理,利用层次化的梯度统计方法计算特征点局部区域特征;
步骤2.2 在步骤1的基础上,对人脸图像进行旋转归一化,建立统一的人脸坐标系;
步骤2.3 为了达到算法对人脸缩放的不变性,减少人脸缩放变化对于形状特征的影响,建立图像高斯尺度空间,形成图像金字塔结构,图像金字塔是多尺度计算的基础,通过对原图像进行上采样和下采样,建立图像的三层金字塔结构;
步骤2.4 进行高斯模糊及图像差分计算,高斯拉普拉斯算子(LoG)能够得到图像局部细节,由于LoG算子计算成本较高,而不同尺度的高斯模糊图像差分(DoG)能够近似的表征LoG算子,因此提出基于DoG的图像局部细节计算方法;
为了计算图像细节,首先对于不同尺度下的图像,采用不同的高斯模糊核对同一尺度下的图像进行不同级别的模糊变化;模糊核计算按照以下公式(3)进行:
其中σ为平均差,r2=x2+y2决定了模糊核的大小;具体应用中利用离散的像素距离作为模糊核大小,在本方法中分别取模糊核大小为r=23和r=21,而 为平均差的计算方法,不同模糊核具有不同的平均差取值;
对根据不同模糊核得到的统一尺度下的两层图像相减即得到高斯差分图像,如公式(4)~(6):
Li,j(x,y)=Gi*I′(x,y)……(4)
D1=L2-L1……(5)
D2=L3-L2……(6)
其中I′为尺度图像,L为不同模糊核模糊后的不同层的图像;
步骤2.5 通过高斯差分后得到图像在不同尺度下的局部细节描述,局部细节描述叠加在图像中后能够增加人脸图像对于细节的表达能力,将高斯差分得到的图像与金字塔尺度空间的图像进行累加,得到不同尺度下细节增强后的人脸图像,如以下公式(7):
L′j=Lj+D1j+D2j……(7)
其中:L′j表示细节叠加后的图像,j=1,2,3为表示不同尺度;
步骤2.6 对于每个特征点选取以其为中心的16×16的局部区域,并将此16×16区域分为大小不同的四层结构,每层结构为不同数量的矩形块组成,三层结构分别是16个4×4的块,9个8×8的块,4个12×12的块以及1个16×16的块;
步骤2.7 为了达到算法对于全局光照的不变性,对每一个块内所有像素计算梯度方向及幅值,对块内的像素梯度,按照不同方向分为四组并对每组的幅值进行累加统计,得到一个具有四个值的直方图,对于特征点的特征描述则由不同块直方图组合而成,从大块到小块,从左至右从上至下的顺序组合后局部特征的维数为30×4=120维,对于不同尺度下的特征点局部特征进行组合,则特征点形状描述为120×3=360维;
步骤3 人脸图像的特征描述子来源与所有特征点局部区域特征的组合,脸部具有68个特征点,轮廓特征点对微表情的影响并不大,聚集于眼睛眉毛、鼻子及嘴巴周围的特征点能够更好的表达微表情变化,除去轮廓点外的剩余51个特征点,人脸图像的形状特征向量采取所述51个特征点点周边区域的特征,计算公式如以下公式(8):
至此,得到人脸表情特征向量为360×51=18360维;
步骤4 步骤3中的特征计算后所生成的形状特征向量维数过大,影响了后续算法的时间复杂度采用自编码神经网络方法进行降维,自编码神经网络是一种无监督学习算法,使用了反向传播算法,尝试学习一个H(W,b)(x)≈x的函数,相对数量较少的隐藏神经元是原有神经网络的一个很好的近似,却大大降低了维度;按照步骤1~步骤4的方法计算形状特征并进行特征降维后的得到一个625维的向量;
步骤5 利用人脸表情特征对已有样本数据集进行分类数据挖掘,选取100个不同人的1000副人脸表情图像,并将人脸图像按照表情分为七种类型;对于每一个样本人脸表情图像,按照步骤1~步骤4中的人脸图像特征计算方法,分别计算样本数据库中所有人脸图像的形状特征描述符,并按照预先分类分别建立标签,采用支持向量机的计算方法,同时按照分类及特征描述信息对已有数据进行分类训练,得到非线性高维分类模型;
步骤6 当用户输入人脸视频后,针对输入的人脸视频帧中人脸图像,按照步骤1~步骤4方法构造新型低维的形状特征描述符;
步骤7 将输入视频人脸图像特征描述符与分类模型进行比较,从而确定出人脸表情图像在不同分类中的概率值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810645394.4A CN108830237B (zh) | 2018-06-21 | 2018-06-21 | 一种人脸表情的识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810645394.4A CN108830237B (zh) | 2018-06-21 | 2018-06-21 | 一种人脸表情的识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108830237A true CN108830237A (zh) | 2018-11-16 |
CN108830237B CN108830237B (zh) | 2020-08-11 |
Family
ID=64142623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810645394.4A Expired - Fee Related CN108830237B (zh) | 2018-06-21 | 2018-06-21 | 一种人脸表情的识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108830237B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110826534A (zh) * | 2019-11-30 | 2020-02-21 | 杭州趣维科技有限公司 | 一种基于局部主成分分析的人脸关键点检测方法及*** |
WO2020103700A1 (zh) * | 2018-11-21 | 2020-05-28 | 腾讯科技(深圳)有限公司 | 一种基于微表情的图像识别方法、装置以及相关设备 |
CN112036382A (zh) * | 2020-11-04 | 2020-12-04 | 北京圣点云信息技术有限公司 | 一种基于地形点分类的指静脉特征提取及识别方法和装置 |
WO2021027553A1 (zh) * | 2019-08-15 | 2021-02-18 | 深圳壹账通智能科技有限公司 | 微表情分类模型生成、图像识别方法、装置、设备及介质 |
CN112488958A (zh) * | 2020-12-15 | 2021-03-12 | 西安交通大学 | 一种基于尺度空间的图像对比度增强方法 |
CN112507243A (zh) * | 2021-02-07 | 2021-03-16 | 深圳市阿卡索资讯股份有限公司 | 一种基于表情的内容推送方法与装置 |
WO2021068323A1 (zh) * | 2019-10-12 | 2021-04-15 | 平安科技(深圳)有限公司 | 多任务面部动作识别模型训练方法、多任务面部动作识别方法、装置、计算机设备和存储介质 |
CN113076813A (zh) * | 2021-03-12 | 2021-07-06 | 首都医科大学宣武医院 | 面具脸特征识别模型训练方法和装置 |
US12039454B2 (en) | 2018-11-21 | 2024-07-16 | Tencent Technology (Shenzhen) Company Limited | Microexpression-based image recognition method and apparatus, and related device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140023269A1 (en) * | 2012-07-17 | 2014-01-23 | Samsung Electronics Co., Ltd. | Feature descriptor for robust facial expression recognition |
CN105225213A (zh) * | 2015-09-29 | 2016-01-06 | 云南大学 | 一种基于s-pcnn与拉普拉斯金字塔的彩色图像融合方法 |
CN106127196A (zh) * | 2016-09-14 | 2016-11-16 | 河北工业大学 | 基于动态纹理特征的人脸表情的分类与识别方法 |
CN106599881A (zh) * | 2016-12-30 | 2017-04-26 | 首都师范大学 | 学生状态的确定方法、装置及*** |
CN106940791A (zh) * | 2017-03-09 | 2017-07-11 | 中南大学 | 一种基于低维方向梯度直方图的行人检测方法 |
-
2018
- 2018-06-21 CN CN201810645394.4A patent/CN108830237B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140023269A1 (en) * | 2012-07-17 | 2014-01-23 | Samsung Electronics Co., Ltd. | Feature descriptor for robust facial expression recognition |
CN105225213A (zh) * | 2015-09-29 | 2016-01-06 | 云南大学 | 一种基于s-pcnn与拉普拉斯金字塔的彩色图像融合方法 |
CN106127196A (zh) * | 2016-09-14 | 2016-11-16 | 河北工业大学 | 基于动态纹理特征的人脸表情的分类与识别方法 |
CN106599881A (zh) * | 2016-12-30 | 2017-04-26 | 首都师范大学 | 学生状态的确定方法、装置及*** |
CN106940791A (zh) * | 2017-03-09 | 2017-07-11 | 中南大学 | 一种基于低维方向梯度直方图的行人检测方法 |
Non-Patent Citations (2)
Title |
---|
LI XIA: "Facial Expression Recognition based on SVM", 《2014 7TH INTERNATIONAL CONFERENCE ON INTELLIGENT COMPUTATION TECHNOLOGY AND AUTOMATION》 * |
邵虹等: "基于 AAM 和光流法的动态序列表情识别", 《计算机工程与设计》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020103700A1 (zh) * | 2018-11-21 | 2020-05-28 | 腾讯科技(深圳)有限公司 | 一种基于微表情的图像识别方法、装置以及相关设备 |
US12039454B2 (en) | 2018-11-21 | 2024-07-16 | Tencent Technology (Shenzhen) Company Limited | Microexpression-based image recognition method and apparatus, and related device |
WO2021027553A1 (zh) * | 2019-08-15 | 2021-02-18 | 深圳壹账通智能科技有限公司 | 微表情分类模型生成、图像识别方法、装置、设备及介质 |
WO2021068323A1 (zh) * | 2019-10-12 | 2021-04-15 | 平安科技(深圳)有限公司 | 多任务面部动作识别模型训练方法、多任务面部动作识别方法、装置、计算机设备和存储介质 |
CN110826534A (zh) * | 2019-11-30 | 2020-02-21 | 杭州趣维科技有限公司 | 一种基于局部主成分分析的人脸关键点检测方法及*** |
CN110826534B (zh) * | 2019-11-30 | 2022-04-05 | 杭州小影创新科技股份有限公司 | 一种基于局部主成分分析的人脸关键点检测方法及*** |
CN112036382A (zh) * | 2020-11-04 | 2020-12-04 | 北京圣点云信息技术有限公司 | 一种基于地形点分类的指静脉特征提取及识别方法和装置 |
CN112488958A (zh) * | 2020-12-15 | 2021-03-12 | 西安交通大学 | 一种基于尺度空间的图像对比度增强方法 |
CN112507243A (zh) * | 2021-02-07 | 2021-03-16 | 深圳市阿卡索资讯股份有限公司 | 一种基于表情的内容推送方法与装置 |
CN112507243B (zh) * | 2021-02-07 | 2021-05-18 | 深圳市阿卡索资讯股份有限公司 | 一种基于表情的内容推送方法与装置 |
CN113076813A (zh) * | 2021-03-12 | 2021-07-06 | 首都医科大学宣武医院 | 面具脸特征识别模型训练方法和装置 |
CN113076813B (zh) * | 2021-03-12 | 2024-04-12 | 首都医科大学宣武医院 | 面具脸特征识别模型训练方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108830237B (zh) | 2020-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108830237A (zh) | 一种人脸表情的识别方法 | |
CN106960202B (zh) | 一种基于可见光与红外图像融合的笑脸识别方法 | |
CN108629338B (zh) | 一种基于lbp和卷积神经网络的人脸美丽预测方法 | |
CN108491835A (zh) | 面向面部表情识别的双通道卷积神经网络 | |
CN105869178B (zh) | 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法 | |
CN110399821B (zh) | 基于人脸表情识别的顾客满意度获取方法 | |
CN103971137B (zh) | 基于结构性稀疏特征学习的三维动态人脸表情识别方法 | |
CN107145842A (zh) | 结合lbp特征图与卷积神经网络的人脸识别方法 | |
CN107563312A (zh) | 人脸表情识别方法 | |
Jan et al. | Accurate facial parts localization and deep learning for 3D facial expression recognition | |
CN105139004A (zh) | 基于视频序列的人脸表情识别方法 | |
CN110533024B (zh) | 基于多尺度roi特征的双二次池化细粒度图像分类方法 | |
CN107180234A (zh) | 基于人脸表情识别和人脸特征提取的信用风险预测方法 | |
CN108710829A (zh) | 一种基于深度学习的表情分类及微表情检测的方法 | |
CN106682569A (zh) | 一种基于卷积神经网络的快速交通标识牌识别方法 | |
CN105913038A (zh) | 一种基于视频的动态微表情识别方法 | |
CN107785061A (zh) | 孤独症谱系障碍儿童情绪能力干预*** | |
CN109711378B (zh) | 人脸表情自动识别方法 | |
CN106897669A (zh) | 一种基于一致迭代多视角迁移学习的行人再辨识方法 | |
CN105678235A (zh) | 基于典型区域多维度特征的三维人脸表情识别方法 | |
CN109214298A (zh) | 一种基于深度卷积网络的亚洲女性颜值评分模型方法 | |
CN111666845B (zh) | 基于关键帧采样的小样本深度学习多模态手语识别方法 | |
CN110909680A (zh) | 人脸图像的表情识别方法、装置、电子设备及存储介质 | |
CN110363099A (zh) | 一种基于局部并行深度神经网络的表情识别方法 | |
CN111028319A (zh) | 一种基于面部运动单元的三维非真实感表情生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200811 Termination date: 20210621 |