CN105654049A - 人脸表情识别的方法及装置 - Google Patents
人脸表情识别的方法及装置 Download PDFInfo
- Publication number
- CN105654049A CN105654049A CN201511016827.2A CN201511016827A CN105654049A CN 105654049 A CN105654049 A CN 105654049A CN 201511016827 A CN201511016827 A CN 201511016827A CN 105654049 A CN105654049 A CN 105654049A
- Authority
- CN
- China
- Prior art keywords
- calibration
- expression
- image
- recognition
- human face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于机器学习技术领域,提供了一种人脸表情识别的方法及装置。该方法包括:获取符合预设条件的人脸图像;检测所述人脸图像中人脸N个特征点的位置,所述N为大于零的整数;根据检测到的所述N个特征点的位置,选取眼睛、鼻子和/或嘴角作为关键特征点对所述人脸图像进行校准;通过已训练完成的深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别,并输出识别结果。通过本发明,可有效提高人脸表情识别的准确率,即使针对有较多遮挡、图像分辨率小或存在侧脸的图像上的人脸,也可以达到较高的表情识别率。
Description
技术领域
本发明属于机器学习技术领域,尤其涉及人脸表情识别的方法及装置。
背景技术
人脸表情识别是指从给定的人脸图像中分析人脸的表情状态属于哪一种类别,从而推断被识别对象的心理情绪,比如高兴、悲伤、惊讶、恐惧、厌恶、生气等。人脸表情识别已经广泛应用于人机交互、机器学习等方面,是当前机器学习与模式识别等领域的热点课题。
然而,现有的一些人脸表情识别方法,例如IntraFace等方法,主要运用几何提取人脸特征点,很难检测到有遮挡人脸、图像分辨率小或存在侧脸的图像上的人脸,从而使得人脸表情识别的应用范围受到限制。
发明内容
鉴于此,本发明实施例提供一种人脸表情识别的方法及装置,以提高人脸表情识别的性能。
第一方面,本发明实施例提供了一种人脸表情识别的方法,所述方法包括:
获取符合预设条件的人脸图像;
检测所述人脸图像中人脸N个特征点的位置,所述N为大于零的整数;
根据检测到的所述N个特征点的位置,选取眼睛、鼻子和/或嘴角作为关键特征点对所述人脸图像进行校准;
通过已训练完成的深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别,并输出识别结果。
第二方面,一种人脸表情识别的装置,所述装置包括:
人脸图像获取单元,用于获取符合预设条件的人脸图像;
检测单元,用于检测所述人脸图像中人脸N个特征点的位置,所述N为大于零的整数;
校准单元,用于根据检测到的所述N个特征点的位置,选取眼睛、鼻子和/或嘴角作为关键特征点对所述人脸图像进行校准;
识别单元,用于通过已训练完成的深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别,并输出识别结果。
本发明实施例与现有技术相比存在的有益效果是:本发明实施例通过人脸图像检测、校准以及基于训练后的深度卷积神经网络的识别等过程,可有效提高人脸表情识别的准确率,即使针对有较多遮挡、图像分辨率小或存在侧脸的图像上的人脸,也可以达到较高的表情识别率,具有较强的易用性和实用性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的人脸表情识别的方法的实现流程示意图;
图2是本发明实施例提供的人脸表情的示例图;
图3是本发明实施例提供的人脸表情识别的装置的组成结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透切理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
请参阅图1,图1示出了本发明实施例提供的人脸表情识别的方法的实现流程,该方法可适用于各类终端设备,如个人计算机、平板电脑、手机等。该方法过程详述如下:
步骤S101,获取符合预设条件的人脸图像。
在本实施例中,所述符合预设条件的人脸图像包括有侧脸的人脸图像、图像分辨率小于第一预设值的人脸图像和/或人脸被遮挡的部分大于第二预设值且小于第三预设值的人脸图像。
示例性的,本实施例主要针对ICML等数据集中图像分辨率小、有较多遮挡和侧脸的人脸图像。
在步骤S102中,检测所述人脸图像中人脸N个特征点的位置,所述N为大于零的整数。
优选的是,本实施例采用多任务学习的深度卷积神经网络(即训练完成的深度卷积神经网络)检测所述人脸图像中人脸68个特征点的位置。
在步骤S103中,根据检测到的所述N个特征点的位置,选取眼睛、鼻子和/或嘴角作为关键特征点对所述人脸图像进行校准。
本实施例根据检测到的所述68个特征点的位置,选取眼睛、鼻子和/或嘴角作为关键特征点对所述人脸图像进行校准。即根据原人脸图像所述关键特征点的位置与校准后的人脸图像所述关键特征点的位置的映射关系,固定所述关键特征点在校准后的人脸图像中的位置。其中,所述校准技术可以采用基于仿射变换的相似性变换,变换后将原人脸图像上的所述关键特征点按比例对应到校准后的人脸图像上。
在步骤S104中,通过已训练完成的深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别,并输出识别结果。
具体的是,获取人脸表情数据库;
将所述人脸表情数据库中的人脸表情图像作为训练数据集,并对所述训练数据集进行所述校准处理;
对校准处理后的所述训练数据集进行数据增强处理;
通过数据增强处理后的所述训练数据集对深度卷积神经网络进行训练,获得训练后的所述深度卷积神经网络;
通过训练后的所述深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别,并输出识别结果。
即通过训练数据集对深度卷积神经网络进行训练,获得深度卷积神经网络的参数,通过获得所述参数的深度卷积神经网络(即训练后的所述深度卷积神经网络)对校准后的所述人脸图像进行识别,并输出识别结果。
在本实施例中,所述数据增强处理包括但不限于水平镜像、旋转和平移放大等处理。
所述对校准后的所述训练数据集中的人脸表情图像进行数据增强处理包括:
将校准后的所述训练数据集中的人脸表情图像水平翻转,获得水平镜像图像;和/或,
将校准后的所述训练数据集中的人脸表情图像旋转得到M张旋转图像,其中M为大于零的整数;和/或,
例如,将校准后的所述人脸表情图像旋转得到12张旋转图像,其中,旋转角度从负60度到正60度,旋转角度的步长为10度,即-60度,-50度,-40度,-30度,-20度,-10度,10度,20度,30度,40度,50度,60度。将旋转后得到的12张图像加上校准后的所述人脸表情图像(即校准后不做旋转操作的人脸表情图像)一共得到13张人脸表情图像。
将校准后的所述训练数据集中的人脸表情图像平移放大得到L张平移图像。
例如,将校准后的所述人脸表情图像平移放大得到5张平移图像。即将所述人脸表情图像往它的四个对角平移3个像素,得到平移后的4张人脸表情图像,再加上取所述人脸表情图像中间(原人脸表情图像的宽度-3)*(原人脸表情图像的高度-3)大小的图像,最后将平移得到的所述5张人脸表情图像统一放大到一个尺寸,即校准后的人脸表情图像的尺寸。
需要说明的是,现有采用深度卷积神经网络识别人脸表情的方法,在人脸图像比较少的数据库中,由于训练数据较少,使得深度卷积神经网络在进行人脸表情识别时容易出现过拟合现象。而本发明通过对所述人脸图像进行数据增强处理,使得训练数据可以扩大到原来的20倍,从而有效避免了深度卷积神经网络在人脸图像少的数据库中出现过拟合现象。
作为本发明的一个可选示例,本实施例还可以在识别阶段对所述校准后的人脸图像进行所述数据增强处理,再通过已训练完成的深度卷积神经网络对数据增强处理后的所述人脸图像进行人脸表情识别,并输出识别结果。
在本实施例中,所述人脸表情数据库选择2013年Kaggle人脸表情竞赛的数据库。将该数据库中的人脸表情作为训练数据集,此训练数据集分为8份,每次留一份(每次留下的数据集均不同)作为增强训练数据集,并将其他数据集作为训练数据集输入深度卷积神经网络进行训练,训练8次后取平均值作为人脸识别的结果。优选的是,本实施例还可以采用VGG团队在ILSVRC-2012数据集上采用的网络模型,并在此网络模型上进行调优(finetuning)。调优的学习率初始化为0.001,并将调优后的网络模型中第四层卷积和第四层池化层两层的特征输入到第五层卷积层,从而可以保留更多的池化前的深度卷积神经网络学习到的信息。
通过训练后的深度卷积神经网络对ICML数据集中的两个测试集进行人脸表情识别,并输出识别结果。需要说明的是,测试的网络与训练的网络相比,测试的网络不需要将误差回传,而是直接输出测试集人脸表情识别的结果。
为了验证本发明所述方法的可行性,在ICML数据集上进行实验。ICML数据集(如图2所示)人脸图像大小为48*48,训练集合有28709张图像,测试集合有3589张图像(图2中未全部示出)。其中存在无人脸的图像,有较多的遮挡人脸的图像,有2/3的侧脸图像。实验中,根据数据集的标准,将人脸表情分为高兴、悲伤、惊讶、恐惧、厌恶、生气和中性七种表情。
经过测试,在ICML数据集上,本发明所述方法人脸表情识别的准确率达到70.1%(如表1所示),而据Kaggle人脸表情竞赛网站说明,在该数据集上人眼观察表情的准确率是66~68%。
害怕 | 生气 | 厌恶 | 高兴 | 悲伤 | 惊讶 | 中性 | |
害怕 | 61.51 | 1.22 | 9.78 | 4.48 | 14.87 | 1.63 | 6.52 |
生气 | 27.27 | 65.45 | 1.82 | 1.82 | 0.00 | 1.82 | 1.82 |
厌恶 | 8.80 | 1.33 | 56.22 | 3.79 | 11.83 | 8.90 | 8.14 |
高兴 | 1.37 | 0.00 | 1.37 | 88.74 | 3.07 | 1.71 | 3.75 |
悲伤 | 9.09 | 0.00 | 10.61 | 5.22 | 57.07 | 0.00 | 16.67 |
惊讶 | 2.16 | 0.00 | 7.45 | 4.33 | 2.64 | 81.01 | 2.40 |
中性 | 5.11 | 0.00 | 4.63 | 5.91 | 12.62 | 1.44 | 70.29 |
表1
图2为本发明实施例提供的人脸表情识别的装置的组成结构示意图。为了便于说明,仅示出了与本发明实施例相关的部分。
所述人脸表情识别的装置可应用于各种终端设备,例如口袋计算机(PocketPersonalComputer,PPC)、掌上电脑、计算机、笔记本电脑、个人数字助理(PersonalDigitalAssistant,PDA)等,可以是运行于这些终端内的软件单元、硬件单元或者软硬件相结合的单元,也可以作为独立的挂件集成到这些终端中或者运行于这些终端的应用***中。
所述人脸表情识别的装置包括:
人脸图像获取单元31,用于获取符合预设条件的人脸图像;
检测单元32,用于检测所述人脸图像中人脸N个特征点的位置,所述N为大于零的整数;
校准单元33,用于根据检测到的所述N个特征点的位置,选取眼睛、鼻子和/或嘴角作为关键特征点对所述人脸图像进行校准;
识别单元34,用于通过已训练完成的深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别,并输出识别结果。
进一步的,所述识别单元34包括:
人脸表情获取模块341,用于获取人脸表情数据库;
校准模块342,用于将所述人脸表情数据库中的人脸表情图像作为训练数据集,并对所述训练数据集进行所述校准处理;
数据增强处理模块343,用于对校准处理后的所述训练数据集进行数据增强处理;
训练模块344,用于通过数据增强处理后的所述训练数据集对深度卷积神经网络进行训练,获得训练后的所述深度卷积神经网络;
识别模块345,用于通过训练后的所述深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别,并输出识别结果。
进一步的,所述数据增强处理模块343具体用于:
对校准后的所述训练数据集中的人脸表情图像进行水平镜像、旋转和平移放大处理。
进一步的,所述数据增强处理模块343具体用于:
将校准后的所述训练数据集中的人脸表情图像水平翻转,获得水平镜像图像;和/或,
将校准后的所述训练数据集中的人脸表情图像旋转得到M张旋转图像,其中M为大于零的整数;和/或,
将校准后的所述训练数据集中的人脸表情图像平移放大得到L张平移图像,其中L为大于零的整数。
综上所述,本发明实施例与现有技术相比存在的有益效果是:本发明实施例采用多任务学习的深度卷积神经网络检测到人脸68个特征点的优势在于即使人脸图像分辨率较小,该网络也能检测到人脸上的68个特征点。传统算法检测不到的图像,如图像分辨率较小、有较多遮挡,侧脸的人脸图像,多任务学习的深度卷积神经网络大部分检测准确。另外,相比于现有的深度卷积神经网络人脸表情识别的方法,本发明实施例对VGG团队在ILSVRC-2012数据集上采用的网络模型进行优化(finetuning),并且结合第四层卷积和第四层池化层两层的特征输入到第五层卷积层,使得人脸图像上局部的表情变化更多地保留下来,提高人脸表情识别的准确率。另外,本发明实施例在实现上述过程中,不需要增加额外的硬件,可有效降低成本,具有较强的易用性和实用性。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述装置中各单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。
Claims (9)
1.一种人脸表情识别的方法,其特征在于,所述方法包括:
获取符合预设条件的人脸图像;
检测所述人脸图像中人脸N个特征点的位置,所述N为大于零的整数;
根据检测到的所述N个特征点的位置,选取眼睛、鼻子和/或嘴角作为关键特征点对所述人脸图像进行校准;
通过已训练完成的深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别,并输出识别结果。
2.如权利要求1所述的人脸表情识别的方法,其特征在于,所述通过已训练完成的深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别,并输出识别结果包括:
获取人脸表情数据库;
将所述人脸表情数据库中的人脸表情图像作为训练数据集,并对所述训练数据集进行所述校准处理;
对校准处理后的所述训练数据集进行数据增强处理;
通过数据增强处理后的所述训练数据集对深度卷积神经网络进行训练,获得训练后的所述深度卷积神经网络;
通过训练后的所述深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别,并输出识别结果。
3.如权利要求2所述的人脸表情识别的方法,其特征在于,所述对校准后的所述训练数据集进行数据增强处理包括:
对校准后的所述训练数据集中的人脸表情图像进行水平镜像、旋转和平移放大处理。
4.如权利要求3所述的人脸表情识别的方法,其特征在于,所述对校准后的所述训练数据集中的人脸表情图像进行水平镜像、旋转和平移放大处理包括:
将校准后的所述训练数据集中的人脸表情图像水平翻转,获得水平镜像图像;和/或,
将校准后的所述训练数据集中的人脸表情图像旋转得到M张旋转图像,其中M为大于零的整数;和/或,
将校准后的所述训练数据集中的人脸表情图像平移放大得到L张平移图像,其中L为大于零的整数。
5.如权利要求1至4任一项所述的人脸表情识别的方法,其特征在于,所述深度卷积神经网络为五层卷积神经网络,学习率初始化为0.001且第四层卷积层和第四层池化层两层的特征输入到第五层卷积层。
6.一种人脸表情识别的装置,其特征在于,所述装置包括:
人脸图像获取单元,用于获取符合预设条件的人脸图像;
检测单元,用于检测所述人脸图像中人脸N个特征点的位置,所述N为大于零的整数;
校准单元,用于根据检测到的所述N个特征点的位置,选取眼睛、鼻子和/或嘴角作为关键特征点对所述人脸图像进行校准;
识别单元,用于通过已训练完成的深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别,并输出识别结果。
7.如权利要求6所述的人脸表情识别的装置,其特征在于,所述识别单元包括:
人脸表情获取模块,用于获取人脸表情数据库;
校准模块,用于将所述人脸表情数据库中的人脸表情图像作为训练数据集,并对所述训练数据集进行所述校准处理;
数据增强处理模块,用于对校准处理后的所述训练数据集进行数据增强处理;
训练模块,用于通过数据增强处理后的所述训练数据集对深度卷积神经网络进行训练,获得训练后的所述深度卷积神经网络;
识别模块,用于通过训练后的所述深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别,并输出识别结果。
8.如权利要求7所述的人脸表情识别的装置,其特征在于,所述数据增强处理模块具体用于:
对校准后的所述训练数据集中的人脸表情图像进行水平镜像、旋转和平移放大处理。
9.如权利要求8所述的人脸表情识别的装置,其特征在于,所述数据增强处理模块具体用于:
将校准后的所述训练数据集中的人脸表情图像水平翻转,获得水平镜像图像;和/或,
将校准后的所述训练数据集中的人脸表情图像旋转得到M张旋转图像,其中M为大于零的整数;和/或,
将校准后的所述训练数据集中的人脸表情图像平移放大得到L张平移图像,其中L为大于零的整数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511016827.2A CN105654049B (zh) | 2015-12-29 | 2015-12-29 | 人脸表情识别的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511016827.2A CN105654049B (zh) | 2015-12-29 | 2015-12-29 | 人脸表情识别的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105654049A true CN105654049A (zh) | 2016-06-08 |
CN105654049B CN105654049B (zh) | 2019-08-16 |
Family
ID=56478352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511016827.2A Active CN105654049B (zh) | 2015-12-29 | 2015-12-29 | 人脸表情识别的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105654049B (zh) |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106169073A (zh) * | 2016-07-11 | 2016-11-30 | 北京科技大学 | 一种表情识别方法及*** |
CN106203298A (zh) * | 2016-06-30 | 2016-12-07 | 北京集创北方科技股份有限公司 | 生物特征识别方法及装置 |
CN106203628A (zh) * | 2016-07-11 | 2016-12-07 | 深圳先进技术研究院 | 一种增强深度学习算法鲁棒性的优化方法和*** |
CN106295566A (zh) * | 2016-08-10 | 2017-01-04 | 北京小米移动软件有限公司 | 人脸表情识别方法及装置 |
CN106447604A (zh) * | 2016-09-30 | 2017-02-22 | 北京奇虎科技有限公司 | 一种变换视频中面部画面的方法和装置 |
CN106599800A (zh) * | 2016-11-25 | 2017-04-26 | 哈尔滨工程大学 | 一种基于深度学习的人脸微表情识别方法 |
CN107016370A (zh) * | 2017-04-10 | 2017-08-04 | 电子科技大学 | 一种基于数据增强的部分遮挡人脸识别方法 |
CN107463888A (zh) * | 2017-07-21 | 2017-12-12 | 竹间智能科技(上海)有限公司 | 基于多任务学习与深度学习的人脸情绪分析方法及*** |
CN107633204A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技(深圳)有限公司 | 人脸遮挡检测方法、装置及存储介质 |
CN107644158A (zh) * | 2017-09-05 | 2018-01-30 | 维沃移动通信有限公司 | 一种人脸识别方法及移动终端 |
CN107844782A (zh) * | 2017-11-29 | 2018-03-27 | 济南浪潮高新科技投资发展有限公司 | 一种基于多任务串行深度网络的人脸识别方法 |
CN108090408A (zh) * | 2016-11-21 | 2018-05-29 | 三星电子株式会社 | 用于执行脸部表情识别和训练的方法和设备 |
CN108171176A (zh) * | 2017-12-29 | 2018-06-15 | 中车工业研究院有限公司 | 一种基于深度学习的地铁司机情绪辨识方法及装置 |
CN108197593A (zh) * | 2018-01-23 | 2018-06-22 | 深圳极视角科技有限公司 | 基于三点定位方法的多尺寸人脸表情识别方法及装置 |
CN108229268A (zh) * | 2016-12-31 | 2018-06-29 | 商汤集团有限公司 | 表情识别及卷积神经网络模型训练方法、装置和电子设备 |
WO2018121777A1 (zh) * | 2016-12-31 | 2018-07-05 | 深圳市商汤科技有限公司 | 人脸检测方法、装置和电子设备 |
CN108509828A (zh) * | 2017-02-28 | 2018-09-07 | 深圳市朗驰欣创科技股份有限公司 | 一种人脸识别方法和人脸识别装置 |
CN108710829A (zh) * | 2018-04-19 | 2018-10-26 | 北京红云智胜科技有限公司 | 一种基于深度学习的表情分类及微表情检测的方法 |
CN109034079A (zh) * | 2018-08-01 | 2018-12-18 | 中国科学院合肥物质科学研究院 | 一种用于人脸非标准姿态下的面部表情识别方法 |
CN109344744A (zh) * | 2018-09-14 | 2019-02-15 | 北京师范大学 | 基于深度卷积神经网络的人脸微表情动作单元检测方法 |
CN109376625A (zh) * | 2018-10-10 | 2019-02-22 | 东北大学 | 一种基于卷积神经网络的面部表情识别方法 |
CN109447729A (zh) * | 2018-09-17 | 2019-03-08 | 平安科技(深圳)有限公司 | 一种产品的推荐方法、终端设备及计算机可读存储介质 |
CN109508654A (zh) * | 2018-10-26 | 2019-03-22 | 中国地质大学(武汉) | 融合多任务和多尺度卷积神经网络的人脸分析方法及*** |
CN109508623A (zh) * | 2018-08-31 | 2019-03-22 | 杭州千讯智能科技有限公司 | 基于图像处理的物品识别方法和装置 |
CN109522945A (zh) * | 2018-10-31 | 2019-03-26 | 中国科学院深圳先进技术研究院 | 一种群体情感识别方法、装置、智能设备及存储介质 |
CN110097107A (zh) * | 2019-04-23 | 2019-08-06 | 安徽大学 | 基于卷积神经网络的苹果树干病害识别与分类方法 |
CN110110672A (zh) * | 2019-05-10 | 2019-08-09 | 广东工业大学 | 一种人脸表情识别方法、装置及设备 |
CN110705430A (zh) * | 2019-09-26 | 2020-01-17 | 江苏科技大学 | 基于深度学习的多人面部表情识别方法和识别*** |
CN110991433A (zh) * | 2020-03-04 | 2020-04-10 | 支付宝(杭州)信息技术有限公司 | 人脸识别方法、装置、设备及存储介质 |
CN111634233A (zh) * | 2020-05-25 | 2020-09-08 | 杭州鸿泉物联网技术股份有限公司 | 一种安全驾驶***和方法 |
US10776614B2 (en) | 2018-02-09 | 2020-09-15 | National Chiao Tung University | Facial expression recognition training system and facial expression recognition training method |
CN112528978A (zh) * | 2021-02-10 | 2021-03-19 | 腾讯科技(深圳)有限公司 | 人脸关键点的检测方法、装置、电子设备及存储介质 |
CN112825117A (zh) * | 2019-11-20 | 2021-05-21 | 北京眼神智能科技有限公司 | 基于头部特征的行为属性判断方法、装置、介质及设备 |
WO2021196389A1 (zh) * | 2020-04-03 | 2021-10-07 | 平安科技(深圳)有限公司 | 面部动作单元识别方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110222724A1 (en) * | 2010-03-15 | 2011-09-15 | Nec Laboratories America, Inc. | Systems and methods for determining personal characteristics |
CN104463172A (zh) * | 2014-12-09 | 2015-03-25 | 中国科学院重庆绿色智能技术研究院 | 基于人脸特征点形状驱动深度模型的人脸特征提取方法 |
-
2015
- 2015-12-29 CN CN201511016827.2A patent/CN105654049B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110222724A1 (en) * | 2010-03-15 | 2011-09-15 | Nec Laboratories America, Inc. | Systems and methods for determining personal characteristics |
CN104463172A (zh) * | 2014-12-09 | 2015-03-25 | 中国科学院重庆绿色智能技术研究院 | 基于人脸特征点形状驱动深度模型的人脸特征提取方法 |
Non-Patent Citations (3)
Title |
---|
何孟华: "自发和人为表情分析识别研究", 《中国优秀硕士学位论文全文数据库》 * |
王凯: "人脸识别在电子商务安全认证中的应用研究", 《中国优秀硕士学位论文全文数据库》 * |
王剑云等: "一种基于深度学习的表情识别方法", 《计算机与现代化》 * |
Cited By (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203298A (zh) * | 2016-06-30 | 2016-12-07 | 北京集创北方科技股份有限公司 | 生物特征识别方法及装置 |
CN106169073A (zh) * | 2016-07-11 | 2016-11-30 | 北京科技大学 | 一种表情识别方法及*** |
CN106203628A (zh) * | 2016-07-11 | 2016-12-07 | 深圳先进技术研究院 | 一种增强深度学习算法鲁棒性的优化方法和*** |
CN106203628B (zh) * | 2016-07-11 | 2018-12-14 | 深圳先进技术研究院 | 一种增强深度学习算法鲁棒性的优化方法和*** |
CN106295566B (zh) * | 2016-08-10 | 2019-07-09 | 北京小米移动软件有限公司 | 人脸表情识别方法及装置 |
CN106295566A (zh) * | 2016-08-10 | 2017-01-04 | 北京小米移动软件有限公司 | 人脸表情识别方法及装置 |
CN106447604A (zh) * | 2016-09-30 | 2017-02-22 | 北京奇虎科技有限公司 | 一种变换视频中面部画面的方法和装置 |
CN108090408A (zh) * | 2016-11-21 | 2018-05-29 | 三星电子株式会社 | 用于执行脸部表情识别和训练的方法和设备 |
CN106599800A (zh) * | 2016-11-25 | 2017-04-26 | 哈尔滨工程大学 | 一种基于深度学习的人脸微表情识别方法 |
US11182591B2 (en) | 2016-12-31 | 2021-11-23 | Shenzhen Sensetime Technology Co, Ltd | Methods and apparatuses for detecting face, and electronic devices |
CN108229268A (zh) * | 2016-12-31 | 2018-06-29 | 商汤集团有限公司 | 表情识别及卷积神经网络模型训练方法、装置和电子设备 |
WO2018121777A1 (zh) * | 2016-12-31 | 2018-07-05 | 深圳市商汤科技有限公司 | 人脸检测方法、装置和电子设备 |
CN108509828A (zh) * | 2017-02-28 | 2018-09-07 | 深圳市朗驰欣创科技股份有限公司 | 一种人脸识别方法和人脸识别装置 |
CN107016370A (zh) * | 2017-04-10 | 2017-08-04 | 电子科技大学 | 一种基于数据增强的部分遮挡人脸识别方法 |
CN107463888B (zh) * | 2017-07-21 | 2020-05-19 | 竹间智能科技(上海)有限公司 | 基于多任务学习与深度学习的人脸情绪分析方法及*** |
CN107463888A (zh) * | 2017-07-21 | 2017-12-12 | 竹间智能科技(上海)有限公司 | 基于多任务学习与深度学习的人脸情绪分析方法及*** |
CN107633204B (zh) * | 2017-08-17 | 2019-01-29 | 平安科技(深圳)有限公司 | 人脸遮挡检测方法、装置及存储介质 |
CN107633204A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技(深圳)有限公司 | 人脸遮挡检测方法、装置及存储介质 |
CN107644158A (zh) * | 2017-09-05 | 2018-01-30 | 维沃移动通信有限公司 | 一种人脸识别方法及移动终端 |
CN107844782A (zh) * | 2017-11-29 | 2018-03-27 | 济南浪潮高新科技投资发展有限公司 | 一种基于多任务串行深度网络的人脸识别方法 |
CN108171176A (zh) * | 2017-12-29 | 2018-06-15 | 中车工业研究院有限公司 | 一种基于深度学习的地铁司机情绪辨识方法及装置 |
CN108171176B (zh) * | 2017-12-29 | 2020-04-24 | 中车工业研究院有限公司 | 一种基于深度学习的地铁司机情绪辨识方法及装置 |
CN108197593A (zh) * | 2018-01-23 | 2018-06-22 | 深圳极视角科技有限公司 | 基于三点定位方法的多尺寸人脸表情识别方法及装置 |
CN108197593B (zh) * | 2018-01-23 | 2022-02-18 | 深圳极视角科技有限公司 | 基于三点定位方法的多尺寸人脸表情识别方法及装置 |
US10776614B2 (en) | 2018-02-09 | 2020-09-15 | National Chiao Tung University | Facial expression recognition training system and facial expression recognition training method |
TWI711980B (zh) * | 2018-02-09 | 2020-12-01 | 國立交通大學 | 表情辨識訓練系統及表情辨識訓練方法 |
CN108710829A (zh) * | 2018-04-19 | 2018-10-26 | 北京红云智胜科技有限公司 | 一种基于深度学习的表情分类及微表情检测的方法 |
CN109034079A (zh) * | 2018-08-01 | 2018-12-18 | 中国科学院合肥物质科学研究院 | 一种用于人脸非标准姿态下的面部表情识别方法 |
CN109508623A (zh) * | 2018-08-31 | 2019-03-22 | 杭州千讯智能科技有限公司 | 基于图像处理的物品识别方法和装置 |
CN109344744B (zh) * | 2018-09-14 | 2021-10-29 | 北京师范大学 | 基于深度卷积神经网络的人脸微表情动作单元检测方法 |
CN109344744A (zh) * | 2018-09-14 | 2019-02-15 | 北京师范大学 | 基于深度卷积神经网络的人脸微表情动作单元检测方法 |
CN109447729A (zh) * | 2018-09-17 | 2019-03-08 | 平安科技(深圳)有限公司 | 一种产品的推荐方法、终端设备及计算机可读存储介质 |
CN109376625A (zh) * | 2018-10-10 | 2019-02-22 | 东北大学 | 一种基于卷积神经网络的面部表情识别方法 |
CN109508654A (zh) * | 2018-10-26 | 2019-03-22 | 中国地质大学(武汉) | 融合多任务和多尺度卷积神经网络的人脸分析方法及*** |
CN109522945A (zh) * | 2018-10-31 | 2019-03-26 | 中国科学院深圳先进技术研究院 | 一种群体情感识别方法、装置、智能设备及存储介质 |
CN110097107A (zh) * | 2019-04-23 | 2019-08-06 | 安徽大学 | 基于卷积神经网络的苹果树干病害识别与分类方法 |
CN110110672A (zh) * | 2019-05-10 | 2019-08-09 | 广东工业大学 | 一种人脸表情识别方法、装置及设备 |
CN110705430A (zh) * | 2019-09-26 | 2020-01-17 | 江苏科技大学 | 基于深度学习的多人面部表情识别方法和识别*** |
CN112825117A (zh) * | 2019-11-20 | 2021-05-21 | 北京眼神智能科技有限公司 | 基于头部特征的行为属性判断方法、装置、介质及设备 |
CN110991433A (zh) * | 2020-03-04 | 2020-04-10 | 支付宝(杭州)信息技术有限公司 | 人脸识别方法、装置、设备及存储介质 |
CN110991433B (zh) * | 2020-03-04 | 2020-06-23 | 支付宝(杭州)信息技术有限公司 | 人脸识别方法、装置、设备及存储介质 |
WO2021196389A1 (zh) * | 2020-04-03 | 2021-10-07 | 平安科技(深圳)有限公司 | 面部动作单元识别方法、装置、电子设备及存储介质 |
CN111634233A (zh) * | 2020-05-25 | 2020-09-08 | 杭州鸿泉物联网技术股份有限公司 | 一种安全驾驶***和方法 |
CN112528978A (zh) * | 2021-02-10 | 2021-03-19 | 腾讯科技(深圳)有限公司 | 人脸关键点的检测方法、装置、电子设备及存储介质 |
CN112528978B (zh) * | 2021-02-10 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 人脸关键点的检测方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105654049B (zh) | 2019-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105654049A (zh) | 人脸表情识别的方法及装置 | |
Lan et al. | Generative adversarial networks and its applications in biomedical informatics | |
Gupta et al. | ALMNet: Adjacent layer driven multiscale features for salient object detection | |
Li et al. | Edge detection algorithm of cancer image based on deep learning | |
Wang et al. | Image inpainting detection based on multi-task deep learning network | |
Lehmann et al. | General projective maps for multidimensional data projection | |
Yu et al. | ex-vit: A novel explainable vision transformer for weakly supervised semantic segmentation | |
Akhyar et al. | A beneficial dual transformation approach for deep learning networks used in steel surface defect detection | |
Wang et al. | PaI‐Net: A modified U‐Net of reducing semantic gap for surgical instrument segmentation | |
Zhou et al. | MaskNet++: Inlier/outlier identification for two point clouds | |
Yi et al. | Cross-stage multi-scale interaction network for RGB-D salient object detection | |
Liu et al. | Salient object detection via hybrid upsampling and hybrid loss computing | |
Wang et al. | Incremental Template Neighborhood Matching for 3D anomaly detection | |
Wang et al. | Towards optimal deep fusion of imaging and clinical data via a model‐based description of fusion quality | |
Tang et al. | A graph convolutional neural network model with Fisher vector encoding and channel‐wise spatial‐temporal aggregation for skeleton‐based action recognition | |
CN114281950B (zh) | 基于多图加权融合的数据检索方法与*** | |
Jia et al. | Sample generation of semi‐automatic pavement crack labelling and robustness in detection of pavement diseases | |
Sun et al. | Nonparametric point cloud filter | |
Huang et al. | MSSA‐Net: A novel multi‐scale feature fusion and global self‐attention network for lesion segmentation | |
Khan et al. | Active contours in the complex domain for salient object detection | |
He et al. | Multi-attention embedded network for salient object detection | |
Zhou et al. | Improved GCN framework for human motion recognition | |
Ji et al. | Augmented reality registration algorithm based on T-AKAZE features | |
Wen | Research on Modern Book Packaging Design Based on Aesthetic Evaluation Based on a Deep Learning Model | |
Chen | [Retracted] 3D Visualization Analysis of Motion Trajectory of Knee Joint in Sports Training Based on Digital Twin |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |