CN110555401B - 一种基于表情识别的自适应情感表达***及方法 - Google Patents
一种基于表情识别的自适应情感表达***及方法 Download PDFInfo
- Publication number
- CN110555401B CN110555401B CN201910790582.0A CN201910790582A CN110555401B CN 110555401 B CN110555401 B CN 110555401B CN 201910790582 A CN201910790582 A CN 201910790582A CN 110555401 B CN110555401 B CN 110555401B
- Authority
- CN
- China
- Prior art keywords
- module
- expression
- user
- behavior
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 93
- 230000008451 emotion Effects 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000006399 behavior Effects 0.000 claims abstract description 96
- 230000002996 emotional effect Effects 0.000 claims abstract description 67
- 238000013507 mapping Methods 0.000 claims abstract description 43
- 230000003993 interaction Effects 0.000 claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 230000004044 response Effects 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 230000001815 facial effect Effects 0.000 claims description 12
- 230000008921 facial expression Effects 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000006735 deficit Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 19
- 230000003997 social interaction Effects 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008909 emotion recognition Effects 0.000 description 3
- 208000013875 Heart injury Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于表情识别的自适应情感表达***及方法；***包括图像采集模块、图像处理模块、表情识别模块、“情感‑行为”映射模块、运动表达模块、灯光表达模块和存储模块。通过图像采集模块采集人脸图像，利用图像处理模块对人脸图像进行人脸检测、图像裁剪等处理，利用改进的卷积神经网络实现人脸图像的表请识别，并分析其情感状态；“情感‑行为”映射模块将用户情感映射为包含一定情感的高级行为，利用运动表达模块和灯光表达模块解析并表达出相应的高级行为，以给予用户回应；利用存储模块记录用户此时的情感状态并将其反馈给“情感‑行为”映射模块。通过本发明，可提升服务机器人的社交与情感交互能力。
Description
技术领域
本发明属于人工智能和人机交互领域，尤其是涉及一种基于表情识别的自适应情感表达***及方法。
背景技术
在服务业及零售业广泛发展的背景下，具有情感识别、互动和陪伴功能的情感机器人在智能家庭、公共服务等领域都具有广泛的商业价值。
对于情感机器人来说，识别并分析用户情感是重要的一环。然而，现有机器人的情感识别能力尚且非常有限。
例如：申请号为201310694112.7的中国发明专利文献公开了一种机器人的人脸检测及情感识别***及方法，其包括：利用视频采集装置采集大量人脸表情彩色图像帧的人脸表情库采集模块、利用人脸表情库提取表情特征并形成原始表情特征库的原始表情库构建模块、利用距离哈希算法将原始表情特征库重构为结构化哈希表的特征库重构模块、现场表情特征提取模块和利用k近邻分类算法来识别人脸表情的表情识别模块。
申请号为201310413648.7的中国专利文献公开了一种基于表情识别的人机情感交互***及方法，其包括图像采集模块、图像处理模块、表情识别模块、人机交互模块和统计与存储模块。
上述两个***中使用的表情识别算法，都没有采取神经网络训练的方式，都是通过自定义脸部特征的方式来实现表情识别模型的训练和预测，这种传统的表情识别方法对自然环境下的人脸表情识别能力非常有限，其较低的表情识别准确率也无法在后续的交互过程中，给用户带来良好的服务体验。
此外，机器人的情感表达能力也将直接影响用户的情感交互体验。如何利用机器人的多种外在形式来表达某种特定的情感状态并根据用户反馈进行自适应调整，是目前机器人情感表达的难点。目前各行业服务机器人的情感表达方式大多局限于语音、语调以及显示屏对面部表情的模拟，其情感表达能力仍较为缺乏。
发明内容
本发明提供了一种基于表情识别的自适应情感表达***及方法，能够通过自然环境中的人脸表情识别来分析人们的情感状态，并通过自身的运动表达模块与灯光表达模块对用户的情感状态进行回应。
一种基于表情识别的自适应情感表达方法，包括：
(1)实时采集用户的人脸图像，对采集的人脸图像进行预处理并进行人脸关键点的提取和方向梯度直方图特征的提取，得到预处理的人脸图像和部分人脸特征信息；
(2)将预处理的人脸图像和部分人脸特征信息输入到改进的卷积神经网络中，得到用户的人脸表情识别结果，根据表情识别结果分析得到用户情感状态；
所述改进的卷积神经网络中增加了人脸关键点和方向梯度直方图特征作为神经网络的另外一个单独的输入，这两部分信息直接输入到全连接层中，与卷积层提取到的人脸特征信息相结合，一起输入到softmax层中计算每种人脸表情的预测概率值；
(3)构建情感与行为之间的映射模型，将得到的用户情感状态输入到映射模型中，将情感状态映射为包含情感信息的高级行为，包括行为类型和行为强度；
(4)将上述映射得到的高级行为传递给智能***的交互模块，交互模块通过解析高级行为包含的动作信息实现情感动作的表达，实现智能***给予用户的回应。
步骤(1)中，所述的预处理包括灰度二值化、人脸检测、图像裁剪、仿射变换以及直方图均衡化。所述的部分人脸特征信息包括人脸五官特征、人脸轮廓特征及方向梯度直方图特征。
步骤(2)中，所述的用户情感状态包括伤心、生气、惊讶、中性、恐惧和开心。
步骤(3)中，所述的行为类型包括安慰、缓和、好奇、愉悦、鼓励和激动，分别对应于伤心、生气、惊讶、中性、恐惧和开心六种用户情感状态；每种行为类型分别对应一个行为强度的值。
步骤(4)中，所述的交互模块包括运动表达模块和灯光表达模块，其中，运动表达模块的行为类型和行为强度分别为运动形式和运动速度，灯光表达模块的行为类型和行为强度分别为灯光颜色和闪烁频率。
步骤(4)中，在给予用户回应后，再次采集用户的人脸图像并识别用户的情感状态，分析用户的情感状态是否变化，记录并存储反馈数据和分析结果；并将分析结果作为反馈输入给映射模型，结合下一帧用户反馈的情感状态，确定下一次交互动作的行为强度。
本发明还提供了一种基于表情识别的自适应情感表达***，包括：
图像采集模块，用于实时采集人脸图像并传送给图像处理模块；
图像处理模块，用于对人脸图像进行处理，得到预处理人脸图像和部分人脸特征信息；
表情识别模块，用于根据处理后的所述预处理人脸图像和所述部分人脸特征信息，利用基于改进卷积神经网络的表情识别方法识别人脸图像的表情，并分析得到其情感状态；
“情感-行为”映射模块，用于通过映射模型，将情感状态映射为所述包含一定情感信息的高级行为，所述高级行为包括行为类型和行为强度；
运动表达模块，用于解析所述包含一定情感信息的高级行为，得到智能***能够识别的运动指令，包括行为类型和行为强度两种运动控制指令，通过执行所述运动指令来表现不同的运动形式和运动速度，作为智能***给予用户的回应；
灯光表达模块，用于解析所述包含一定情感信息的高级行为，得到智能***能够识别的灯光指令，包括行为类型和行为强度两种灯光控制指令，通过执行所述灯光指令来表现不同的灯光颜色和闪烁频率，作为智能***给予用户的回应；
存储模块，用于记录用户的情感状态，并将其反馈给映射模块，并结合下一帧用户反馈的情感状态，确定下一次交互动作的行为强度。
本发明的***通过图像采集模块采集人脸图像，利用图像处理模块对人脸图像进行人脸检测、图像裁剪等处理，利用基于改进卷积神经网络的表情识别方法识别人脸图像的表情并分析其情感状态；“情感-行为”映射模块将用户情感映射为包含一定情感的高级行为，利用运动表达模块和灯光表达模块解析并表达出高级行为，以给予用户回应；利用存储模块记录用户此时的情感状态并将其反馈给“情感-行为”映射模块。通过本发明，可提升服务机器人的社交与情感交互能力。
所述图像处理模块接受图像采集模块实时采集的人脸图像并进行处理，包括灰度二值化、人脸检测、图像裁剪、仿射变换、直方图均衡化、人脸关键点提取及方向梯度直方图特征提取，使不同成像条件(包括光照强度、方向、角度、距离、姿势等差异)下拍摄的同一张人脸照片具有一致性。
所述表情识别模块将所述预处理人脸图像和所述部分人脸特征信息输入到预先训练的卷积神经网络中，提取所述预处理人脸的特征信息；结合由卷积神经网络提取得到的人脸特征信息和由人脸关键点提取及方向梯度直方图特征提取得到的所述部分人脸特征信息，将两部分人脸特征信息输入到所述预先训练好的卷积神经网络中，实现人脸图像的表情识别；通过分析表情识别结果，得到用户当前的情感状态。
“情感-行为”映射模块用于通过映射模型，将情感状态映射为所述包含一定情感信息的高级行为，所述高级行为包括行为类型和行为强度。
所述运动表达模块主要通过自身机械结构的运动与灯光表达模块相配合来辅助表达机器人***的情感。
所述灯光表达模块主要通过LED的颜色变化以及闪烁频率来表达机器人***的情感。
在给予用户回应后，再次采集用户的人脸图像并识别用户的情感状态，分析用户的情感状态是否变化，所述存储模块记录并存储反馈数据和分析结果；将所述分析结果作为反馈输入给所述映射模型，结合下一帧用户反馈的情感状态，确定下一次交互动作的行为强度。
与现有技术相比，本发明具有以下有益效果：
1、本发明对基于卷积神经网络的表情识别算法进行了改进，增加了人脸关键点和方向梯度直方图特征这两部分特征信息作为神经网络的另外一个单独的输入，这两部分信息将直接输入到全连接层中，与卷积层提取到的特征信息相结合，一起输入到softmax层中计算6种表情的预测概率值。这样的做法能够有效提升卷积神经网络模型识别自然环境下(复杂背景中)人脸表情的识别准确率。
2、本发明提出了一种映射模型，该模型能根据用户情感状态，决定智能***反馈给用户具有情感信息的高级行为的行为类型和行为强度。
3、本发明的智能情感表达***对用户情感的回应不是单一不变的，而是具有自适应能力。在给予用户回应后，再次采集用户的人脸图像并识别用户的情感状态，分析用户的情感状态是否变化，记录并存储反馈数据和分析结果；存储模块采集到的用户反馈的情感状态是映射模型的另一个输入。采用此迭代方式，可以为提供更好的人机交互情感体验。
附图说明
图1为本发明***的整体结构示意图；
图2为本发明实施例的工作流程示意图；
图3为本发明实施例的神经网络结构图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
本发明的***可以安装在智能家庭、公共服务等领域中的情感机器人中。如图1所示，该***由图像采集、处理模块，表情识别模块，“情感-行为”映射模块，运动表达模块共同组成，具体如下：
图像采集模块，用于实时采集人脸图像并传送给图像处理模块；
图像处理模块，用于对人脸图像进行处理，得到预处理人脸图像和部分人脸特征信息；
表情识别模块，用于根据处理后的所述预处理人脸灰度图像和所述部分人脸关键点和方向梯度直方图特征信息，利用基于改进的卷积神经网络的表情识别方法识别人脸图像的表情，并分析得到其情感状态；
“情感-行为”映射模块，用于通过映射模型，将所述情感状态映射为所述包含一定情感信息的高级行为，所述高级行为包括行为类型和行为强度。
运动表达模块，用于解析所述包含一定情感信息的高级行为，得到智能***能够识别的运动指令，包括行为类型和行为强度两种运动控制指令，通过执行所述运动指令来表现不同的运动形式和运动速度，作为智能***给予用户的回应；
灯光表达模块，用于解析所述包含一定情感信息的高级行为，得到智能***能够识别的灯光指令，包括行为类型和行为强度两种灯光控制指令，通过执行所述灯光指令来表现不同的灯光颜色和闪烁频率，作为智能***给予用户的回应；
存储模块，用于记录用户的情感状态，并将其反馈给映射模块，并结合下一帧用户反馈的情感状态，确定下一次交互动作的行为强度。
如图2所示，本发明***的整体工作流程如下：
第一步，图像采集模块实时采集用户的人脸图像，并将图像信息传送至图像处理模块。
第二步，图像处理模块基于图像处理技术对所述用户的人脸图像进行处理，包括：灰度二值化、人脸检测、图像裁剪、仿射变换、直方图均衡化、人脸关键点提取及方向梯度直方图特征提取，得到预处理人脸灰度图像和部分人脸特征信息，包括：人脸关键点和方向梯度直方图特征信息；
第三步，如图3所示，由图像处理模块传入表情识别模块输入层的信息除了人脸灰度图像之外，还增加了人脸关键点和方向梯度直方图特征这两部分特征信息作为单独输入。这两部分特征信息将直接输入到预先训练的卷积神经网络中的全连接层中，与卷积层提取到的人脸灰度图像特征信息相结合，一起计算6种表情的预测概率值。得到用户的人脸表情识别结果，根据所述表情识别结果分析得到用户情感状态；
第四步，将所述用户情感状态输入到一个映射模型中，所述映射模型先将情感状态映射为包含一定情感信息的高级行为；该模型能根据用户情感，决定智能***反馈给用户具有情感信息的高级行为P。高级行为P由行为类型S和行为强度T决定，定义公式如下：
P＝αS+βT，α＞＞β
其中，α为行为类型系数，β为行为强度系数，此处定义α远大于β；
第五步，运动表达模块与灯光表达模块将解析来自映射模型的高级行为信息，并根据解析指令实现情感动作的表达，作为智能***给予用户的回应；
第六步，在给予用户回应后，再次采集用户的人脸图像并识别用户的情感状态，分析用户的情感状态是否变化；
第七步，存储模块记录并存储反馈数据和分析结果。同时，将分析结果作为反馈输入给所述映射模型，结合下一帧所述预处理人脸图像和所述部分人脸特征信息，一起确定映射模型的映射结果，即所述包含一定情感信息的高级行为。
下面将对第五步中涉及的映射模型的机制进行进一步解释。
首先，映射模型将分析用户的情感状态，根据预设的“情感-行为”映射表得到行为类型S，并对S进行数字编码。一种典型的映射关系如表1所示。
表1
| 用户情感状态 | 行为类型S |
| 伤心 | 安慰 |
| 生气 | 缓和 |
| 惊讶 | 好奇 |
| 中性 | 愉悦 |
| 恐惧 | 鼓励 |
| 开心 | 激动 |
对行为类型S进行数字编码时，考虑到不同类型的行为和行为强度本身具有关联性，此处编码S的数值大小将具有实际意义。一种典型的行为类型编码如表2所示。
表2
| 行为类型S | 数字编码 |
| 安慰 | S＝1 |
| 缓和 | S＝2 |
| 好奇 | S＝3 |
| 愉悦 | S＝4 |
| 鼓励 | S＝5 |
| 激动 | S＝6 |
另外，存储模块采集到的用户反馈的情感状态是映射模型的另一个输入。映射模型根据用户反馈的情感状态，来决定行为强度T的值。
此处定义行为强度T为：
其中，R为反馈系数，N为行为强度上限系数。
用户反馈的情感状态通过反馈系数R来影响行为强度T，反馈系数R。定义规则如表3所示：
表3
| 用户反馈情感状态 | 反馈系数R |
| 生气 | -6 |
| 恐惧 | -4 |
| 伤心 | -2 |
| 开心 | 2 |
| 惊讶 | 4 |
| 中性 | 6 |
针对上述公式，行为强度上限系数N，决定了智能***在与用户交互过程中的交互动作强度上限(如动作频率上限、灯光闪烁频率上限等)；反馈系数R，代表了智能***采集到的上一次的用户情感状态，对这一次的***决策的影响(体现在对这一次的行为强度的影响)；行为类型S，代表了智能***所采取的行为类型本身对行为强度的影响。
公式分为三个部分，当T+S+R＞N时，即多次反馈以后行为强度T的值已经到达了规定的上限N，此时定义T＝N；当-N＜T+S+R＜N-N＜T+S+R＜N时，即反馈过程中行为强度T的值并未超出上限N，此时定义T＝T+S+R，此时行为强度由上一次的行为强度、本次行为类型、反馈系数三者决定；当T+S+R＜-N时，即多次反馈以后行为强度T的值已经到达了规定的下限-N，此时定义T＝-N。
进一步地，映射模型将高级行为P值，传递给运动表达模块与灯光表达模块。运动表达模块与灯光表达模块将通过以下公式解析P值，以解得对应的行为类型S和行为强度T的值：
针对上述公式，行为类型S的值等于：对P除以α的结果向下取整的值，行为强度T的值等于：对P取余α，再除以β的结果向下取整的值。
解出行为类型S和行为强度T的值之后，运动表达模块和灯光表达模块将根据S和T值表达出对应的动作。
本发明基于表情识别的自适应情感表达***交互动作定义如表4所示，其中不同交互动作的定义由不同的行为类型和不同的行为强度共同决定。
表4
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于表情识别的自适应情感表达方法，其特征在于，包括：
(1)实时采集用户的人脸图像，对采集的人脸图像进行预处理并进行人脸关键点的提取和方向梯度直方图特征的提取，得到预处理的人脸图像和部分人脸特征信息；
所述的预处理包括灰度二值化、人脸检测、图像裁剪、仿射变换以及直方图均衡化；所述的部分人脸特征信息包括人脸五官特征、人脸轮廓特征及方向梯度直方图特征；
(2)将预处理的人脸图像和部分人脸特征信息输入到改进的卷积神经网络中，得到用户的人脸表情识别结果，根据表情识别结果分析得到用户情感状态；所述的用户情感状态包括伤心、生气、惊讶、中性、恐惧和开心；
所述改进的卷积神经网络中增加了人脸关键点和方向梯度直方图特征作为神经网络的另外一个单独的输入，这两部分信息直接输入到全连接层中，与卷积层提取到的人脸特征信息相结合，一起输入到softmax层中计算每种人脸表情的预测概率值；
(3)构建情感与行为之间的映射模型，将得到的用户情感状态输入到映射模型中，将情感状态映射为包含情感信息的高级行为，包括行为类型和行为强度；
所述的行为类型包括安慰、缓和、好奇、愉悦、鼓励和激动六种类型，分别对应于伤心、生气、惊讶、中性、恐惧和开心六种用户情感状态；每种类型的行为包含不同的行为强度；
(4)将上述映射得到的高级行为传递给智能***的交互模块，智能***通过解析高级行为包含的动作信息实现情感动作的表达，给予用户回应；
所述的交互模块包括运动表达模块和灯光表达模块，其中，运动表达模块的行为类型和行为强度分别为运动形式和运动速度，灯光表达模块的行为类型和行为强度分别为灯光颜色和闪烁频率；
在给予用户回应后，还包括：再次采集用户的人脸图像并识别用户的情感状态，分析用户的情感状态是否变化，记录并存储反馈数据和分析结果；并将分析结果作为反馈输入给映射模型，结合下一帧用户反馈的情感状态，确定下一次交互动作的行为强度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910790582.0A CN110555401B (zh) | 2019-08-26 | 2019-08-26 | 一种基于表情识别的自适应情感表达***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910790582.0A CN110555401B (zh) | 2019-08-26 | 2019-08-26 | 一种基于表情识别的自适应情感表达***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110555401A CN110555401A (zh) | 2019-12-10 |
| CN110555401B true CN110555401B (zh) | 2022-05-03 |
Family
ID=68738359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910790582.0A Active CN110555401B (zh) | 2019-08-26 | 2019-08-26 | 一种基于表情识别的自适应情感表达***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110555401B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428666A (zh) * | 2020-03-31 | 2020-07-17 | 齐鲁工业大学 | 基于快速人脸检测的智能家庭陪伴机器人***及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107045618A (zh) * | 2016-02-05 | 2017-08-15 | 北京陌上花科技有限公司 | 一种人脸表情识别方法及装置 |
| CN107491726A (zh) * | 2017-07-04 | 2017-12-19 | 重庆邮电大学 | 一种基于多通道并行卷积神经网络的实时表情识别方法 |
| CN108108677A (zh) * | 2017-12-12 | 2018-06-01 | 重庆邮电大学 | 一种基于改进的cnn人脸表情识别方法 |
| CN108960114A (zh) * | 2018-06-27 | 2018-12-07 | 腾讯科技（深圳）有限公司 | 人体识别方法及装置、计算机可读存储介质及电子设备 |
| CN109684911A (zh) * | 2018-10-30 | 2019-04-26 | 百度在线网络技术（北京）有限公司 | 表情识别方法、装置、电子设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679203B (zh) * | 2013-12-18 | 2015-06-17 | 江苏久祥汽车电器集团有限公司 | 机器人的人脸检测与情感识别***及方法 |
| CN105050247B (zh) * | 2015-06-24 | 2017-06-23 | 河北工业大学 | 基于表情模型识别的灯光智能调节***及其方法 |
| CN107273845B (zh) * | 2017-06-12 | 2020-10-02 | 大连海事大学 | 一种基于置信区域和多特征加权融合的人脸表情识别方法 |
| KR102570279B1 (ko) * | 2018-01-05 | 2023-08-24 | 삼성전자주식회사 | 감정 인식을 위한 학습 방법, 감정을 인식하는 방법 및 장치 |
| CN109344693B (zh) * | 2018-08-13 | 2021-10-26 | 华南理工大学 | 一种基于深度学习的人脸多区域融合表情识别方法 |
| CN109683709A (zh) * | 2018-12-17 | 2019-04-26 | 苏州思必驰信息科技有限公司 | 基于情绪识别的人机交互方法及*** |
-
2019
- 2019-08-26 CN CN201910790582.0A patent/CN110555401B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107045618A (zh) * | 2016-02-05 | 2017-08-15 | 北京陌上花科技有限公司 | 一种人脸表情识别方法及装置 |
| CN107491726A (zh) * | 2017-07-04 | 2017-12-19 | 重庆邮电大学 | 一种基于多通道并行卷积神经网络的实时表情识别方法 |
| CN108108677A (zh) * | 2017-12-12 | 2018-06-01 | 重庆邮电大学 | 一种基于改进的cnn人脸表情识别方法 |
| CN108960114A (zh) * | 2018-06-27 | 2018-12-07 | 腾讯科技（深圳）有限公司 | 人体识别方法及装置、计算机可读存储介质及电子设备 |
| CN109684911A (zh) * | 2018-10-30 | 2019-04-26 | 百度在线网络技术（北京）有限公司 | 表情识别方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110555401A (zh) | 2019-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nirmala Sreedharan et al. | Grey wolf optimisation‐based feature selection and classification for facial emotion recognition | |
| CN110458844B (zh) | 一种低光照场景的语义分割方法 | |
| CN111652066B (zh) | 基于多自注意力机制深度学习的医疗行为识别方法 | |
| CN112508077B (zh) | 一种基于多模态特征融合的社交媒体情感分析方法及*** | |
| CN108133188A (zh) | 一种基于运动历史图像与卷积神经网络的行为识别方法 | |
| Rázuri et al. | Automatic emotion recognition through facial expression analysis in merged images based on an artificial neural network | |
| CN108416065A (zh) | 基于层级神经网络的图像-句子描述生成***及方法 | |
| CN104361316B (zh) | 一种基于多尺度时序建模的维度情感识别方法 | |
| Song et al. | Dynamic facial models for video-based dimensional affect estimation | |
| CN113947702A (zh) | 一种基于情境感知的多模态情感识别方法和*** | |
| CN117198468B (zh) | 基于行为识别和数据分析的干预方案智慧化管理*** | |
| Zhang et al. | Intelligent Facial Action and emotion recognition for humanoid robots | |
| Krishnaraj et al. | A Glove based approach to recognize Indian Sign Languages | |
| CN115410254A (zh) | 一种基于深度学习的多特征表情识别方法 | |
| Varsha et al. | Indian sign language gesture recognition using deep convolutional neural network | |
| CN113974627B (zh) | 一种基于脑机生成对抗的情绪识别方法 | |
| CN116110565A (zh) | 一种基于多模态深度神经网络对人群抑郁状态辅助检测的方法 | |
| CN112668543B (zh) | 一种手模型感知的孤立词手语识别方法 | |
| CN110555401B (zh) | 一种基于表情识别的自适应情感表达***及方法 | |
| CN111027433A (zh) | 一种基于卷积神经网络的多重风格人脸特征点检测方法 | |
| Birhala et al. | Temporal aggregation of audio-visual modalities for emotion recognition | |
| Rony et al. | An effective approach to communicate with the deaf and mute people by recognizing characters of one-hand bangla sign language using convolutional neural-network | |
| Verma et al. | Hmm-based convolutional lstm for visual scanpath prediction | |
| CN116167015A (zh) | 一种基于联合交叉注意力机制的维度情感分析方法 | |
| Guodong et al. | Multi feature fusion EEG emotion recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |