CN108664932B - 一种基于多源信息融合的学习情感状态识别方法 - Google Patents

一种基于多源信息融合的学习情感状态识别方法 Download PDF

Info

Publication number
CN108664932B
CN108664932B CN201810450003.3A CN201810450003A CN108664932B CN 108664932 B CN108664932 B CN 108664932B CN 201810450003 A CN201810450003 A CN 201810450003A CN 108664932 B CN108664932 B CN 108664932B
Authority
CN
China
Prior art keywords
learner
learning
online
expression
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810450003.3A
Other languages
English (en)
Other versions
CN108664932A (zh
Inventor
刘海
杨宗凯
刘三女牙
张昭理
舒江波
陈莹莹
刘婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Publication of CN108664932A publication Critical patent/CN108664932A/zh
Application granted granted Critical
Publication of CN108664932B publication Critical patent/CN108664932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多源信息融合的学***台收集学习者的面部表情图像和交互行为数据，根据表情识别算法获取一定时间段的系列表情图像，进行特征提取并分类；从Web日志文件中提取有用的交互行为数据，利用主观贝叶斯方法进行不确定性推理和数据的深层次分析。在判断学习者对当前学习内容的关注程度的基础上，结合表情识别结果，判断学习者的在线学习情感状态，并分为“满意”和“困惑”等情感状态。本发明适用于实施混合式学习的学科教学，可以通过表情识别，实时掌握学习者的在线学习情感状态，从而更有针对性的提供人工干预。根据情感识别的结果，也可判断学习者对当前学习内容的掌握情况和兴趣。

Description

一种基于多源信息融合的学习情感状态识别方法
技术领域
本发明涉及智能人机交互领域，尤其涉及一种基于多源信息融合的学习情感状态识别方法。
背景技术
情感是人类智能的重要组成部分,对人类情感的正确识别,有助于计算机更好的掌握人类心理状态、更好的为人类服务。人脸表情识别作为情感计算的一个研究方向，构成了情感理解的基础，是实现人机智能交互的前提。人脸表情的极度细腻化消耗了大量的计算时间，影响了人机交互的时效性和体验感，所以人脸表情特征提取成为人脸表情识别的重要研究课题。
在线学习为学习者提供了一种全新的学习方式，打破了传统教学过程中时间和空间的限制，使得学习者在任何时间、任何地点都可以进行任何内容的学习。但是这种时空分离的教育学形式拉大了人与人之间的距离，导致教学者与学习者之间缺乏互动交流，“情感缺失”现象严重。而情感是认知主体结构中一个不可或缺的重要因素，学习活动中的合理的情感交互，能引起学生积极的情感体验,激发学生的学习主动性,转化为学生内部的学习动机和认知的共鸣，从而提高学习效率。因此，在线学习中应当关注学习者的情感状态，如图1所示，立足于学习者的交互行为和面部表情特点，在学习过程中发挥学习者的主动性，实现以学习者为中心的在线学习活动。
本发明产生的有益效果是：本发明克服现有技术中在线学习的情感缺失的问题，提出了一种基于多源信息融合的方法，多源信息融合的特点是将在线学习者的人脸表情状态与交互操作行为倾向进行融合，将学习者学习当前内容的情感展现出来，促进了人机交互技术向智能化发展。
人脸表情识别注重的是一个确定面部上的细微的表情变化，所以在人脸表情识别中一般采集正面的单人面部的图片。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于多源信息融合的学习情感状态识别方法，自动分析出照片中每个人的情感状态，并给出“满意”、“困惑”等情感分析结果，促进人脸表情识别在学习行为分析、智能导师人机交互等领域的实际应用。
本发明解决其技术问题所采用的技术方案是：一种基于多源信息融合的学习情感状态识别方法，包括以下步骤：
1)建立在线表情识别和在线学***台采集在线学***台的Web日志文件收集交互行为数据获得交互操作行为序列；
2)采用大量图像的脱机训练建立对应表情特征分类的情感规则库；将在线学习平台采集的学习者的表情图像序列输入情感规则库进行对比，输出表情特征分类结果，即高兴、专注、厌烦和生气；
3)提取在线交互操作行为序列中的点击流数据，利用主观贝叶斯方法对点击流数据进行不确定性推理，然后进行深层次的分析，把握学习者行为特点和行为路径，从而判断学习者对学习内容的操作行为倾向，分为感兴趣或不关注两种；
4)以步骤3)获取的学习者在线交互操作行为倾向为基础，融合从步骤2)获取的表情特征识别结果，其中将学习者人脸表情特征中的高兴、专注划分为感兴趣，将学习者人脸表情特征中的厌烦、生气划分为不关注；
若二者融合的结果是感兴趣与感兴趣，则判断学习者情感状态为满意情绪，二者融合的结果是不关注与不关注，则判断学习者情感状态为困惑情绪，二者融合的结果是感兴趣与不关注，判断学习者情感状态为不确定情绪，将其作为学习者情感状态的最终识别结果并输出；
5)依据学习者情感状态的最终识别结果，提取典型的情感状态，进行规则扩展，存储到情感规则库中。
按上述方案，所述步骤1)中通过在线学***台采集。
按上述方案，所述步骤2)中情感规则库的建立，包含两个部分，一方面融合专业的表情识别库，另一方面对学习者在线情感状态最终识别结果中的典型情绪状态进行规则扩充。
按上述方案，所述步骤2)中表情图像序列的处理方法如下：
2.1)去除原图的复杂背景
将采集到的原始图像序列按照时间顺序进行排列，将原图中面部表情特征以外的冗杂背景信息去除，统一图片大小；
2.2)图像归一化处理；
图像归一化处理，即用d代表两眼角距离作为特征归一化因子，并采用如下(1)式的归一化方式对人脸局部的几何特征进行归一化处理，如式(1)所示
Xi＝di/d (1)
其中di是指人脸局部特征点之间的距离，Xi是指处理之后的面部表情几何特征；
2.3)参照MEPG-4标准对人脸特征点的定义，提取66个FAP参数中的52个与眉毛、眼睛、鼻子、嘴唇有关的几何点；其中FAP是一个与面部肌肉运动密切相关基于人脸细微运动研究的完整面部运动集合；
2.4)将各帧图像内相匹配的特征点进行逐帧连接，形成特征点轨迹，根据任意两个特征点轨迹在各帧图像所属特征点相对距离平均值进行聚类，对聚类后特征点轨迹进行分类；
2.5)从各轨迹分类中提取人脸局部几何特征的主运动轨迹；对所有主运动轨迹进行特征融合，然后与情感规则库进行对比，输出表情识别结果，即高兴、专注、厌烦和生气；其中所述特征融合，即采用最基本的串行特征融合方法，将同一表情样本空间的人脸局部特征归一化处理后合并为一列特征向量。
按上述方案，所述用户对学习内容的操作行为倾向的判断方法如下：
3.1)提取点击流数据，所述点击流数据包括学习者浏览的站点、网页、在网页上滞留的时间、点击的链接和图片，以及浏览页面的顺序；
3.2)提取点击流数据中主要特征的频次，包括学习者在线学习时长、论坛访问次数、点击图像链接次数、点击文字链接次数和交流工具使用偏好；
3.3)利用主观贝叶斯方法，进行不确定性推理，即通过对学习者在线操作行为的不确定性、随机性，就学习者对所学内容的关注程度和感兴趣程度作出判断。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例中的方法流程图；
图2是本发明实施例的表情图像获取与情感状态识别示意图；
图3是本发明实施例的表情图像处理流程图；
图4是发明实施例的52个人脸特征点的定义及人脸表情主运动轨迹示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1和图2所示，本发明提供一种基于多源信息融合的学习情感状态识别方法，具体流程如下：
1)建立两类模式的情感认知架构，利用在线学习平台采集在线学习者的表情图像序列和交互操作行为序列，通过Web日志文件收集交互行为数据，同时采用大量图像的脱机训练建立对应表情特征分类的情感规则库；
2)对视频输入的自然姿态人体图像进行人体区域检测，并对检测到的人体区域进行识别，提取人脸表情图像；
表情图像特征提取流程如下图3所示：
2.1)除去原图的复杂背景和图像归一化处理；
图像归一化处理，即用d代表两眼角距离作为特征归一化因子，并采用如下(1)式的归一化方式对人脸局部的几何特征进行归一化处理，如式(1)所示
Xi＝di/d (1)
其中di是指人脸局部特征点之间的距离，得到归一化处理的几何特征就可以用于之后的特征融合。
2.2)参照MEPG-4标准对人脸特征点进行定义，提取66个FAP参数中的52个与眉毛、眼睛、鼻子、嘴唇有关的几何点；其中FAP是一个与面部肌肉运动密切相关基于人脸细微运动研究的完整面部运动集合；
2.3)将各帧图像内相匹配的特征点逐帧进行连接后形成特征点轨迹，如图4所示；根据任意两个特征点轨迹在各帧图像所属特征点相对距离平均值进行聚类，对聚类后特征点轨迹进行分类；
2.4)从各轨迹分类中提取人脸局部几何特征的主运动轨迹；对所有主运动轨迹进行特征融合，然后与情感规则库进行对比，输出表情识别结果，即高兴、专注、厌烦和生气；其中所述特征融合，即采用最基本的串行特征融合方法，将同一表情样本空间的人脸局部特征归一化处理后合并为一列特征向量。
3)提取Web日志文件中的点击流数据，利用主观贝叶斯方法，对点击流数据进行不确定性推理，然后进行深层次的分析，把握用户行为特点和行为路径，从而判断用户对学习内容是否感兴趣；
Web日志记录处理流程如下：
3.1)提取有用的点击流数据，如学习者浏览的站点、网页、在网页上滞留的时间、点击的链接和图片，以及浏览页面的顺序等；
3.2)提取主要特征频次，如学习者在线学习时长、论坛访问次数、点击图像链接次数、点击文字链接次数、交流工具使用偏好等；
3.3)利用主观贝叶斯方法，进行不确定性推理，即通过对学习者在线操作行为的不确定性、随机性，来推测出对学习内容的关注程度和学习兴趣的精确判断；
主观贝叶斯方法，用产生式规则表示，具体形式为：
IF A THEN(LS,LN)B,
其中A代表学习者行为，B代表学习者对学习内容的关注程度，引入两个数值(LS,LN)表示知识规则强度，LS为规则成立的充分性，体现前提A是成立对B的支持度，LN为规则成立的必要性，体现前提A的不成立对结论B的支持度，LS和LN的具体定义为：
Figure BDA0001658215860000081
领域专家依据LS和LN的性质为其赋值时，当LS>1时，前提支持结论；当LS＝1时，前提不影响结论；当LS<1时，前提不支持结论。利用主观贝叶斯方法进行不确定性推理的过程中，事件B发生的概率计算公式为：
Figure BDA0001658215860000082
Figure BDA0001658215860000083
其中，式(2)为证据A肯定为真时，将B的先验概率更新为其后验概率的公式，式(3)为A肯定为假时，将B的先验概率更新为其后验概率的公式。
4)以步骤3获取的用户情感识别结果为基础，从步骤1获取的情感规则库查找与步骤2获取的人脸表情特征相匹配的人脸表情特征，输出对应查找的人脸表情特征分类结果；
5)依据学习者情感状态的识别结果，提取典型的情感状态，进行规则扩展，存储到情感规则库中。
实例：
在线学***台获取学习者在一堂课当中的表情数据和交互行为日志文件。分别对学习者的表情进行识别和学习行为倾向进行判断，融合二者识别结果判断学习者在线情感状态。
对视频输入的自然姿态人体图像进行人体区域检测，并对检测到的人体区域进行识别，提取人脸表情图像；对人脸图像进行预处理，将各帧图像内相匹配的特征点逐帧进行连接后形成特征点轨迹，从各轨迹分类中提取人脸局部几何特征的主运动轨迹,对所有主运动轨迹进行特征融合，与情感规则库进行对比，输出表情识别结果，即高兴、专注、厌烦和生气。
获取学习者一堂课的日志文件，提取分析所需要的学习者点击流数据，例如当前页面的停留时间、点击当前页面的图片链接次数、点击当前页面的文字链接次数。
对提取数据分析中有以下规则：学习者对当前页面的感兴趣事件(设为B)的先验概率P(B)＝0.03；如果学习者在当前页面的停留时间大于20秒而且小于600秒(设为A1)，则认为学习者对当前页面感兴趣，(LS1，LN1)为(12,1)，产生式规则为：IF A1THEN(12,1)B；如果学习者点击当前页面的图片链接超过3次(设为A2)，则认为学习者对当前页面感兴趣，(LS2，LN2)为(23,1)，产生式规则为：IF A2THEN(23,1)B；如果学习者点击当前页面的文字链接超过3次(设为A3)，则认为学习者对当前页面感兴趣，(LS3，LN3)为(76,1)，产生式规则为：IF A3THEN(76,1)B。
当证据A1，A2，A3必然发生，可求学习者对当前页面感兴趣B的概率：
由LS定义可知LS>1，LN＝1，～A1对结论B没有影响，直接引用公式(2)：
Figure BDA0001658215860000091
Figure BDA0001658215860000092
Figure BDA0001658215860000101
由此可判断学习者对当前学习内容的操作行为倾向为感兴趣。
根据数据分析结果判断学习者对当前学习内容的操作行为倾向，分为感兴趣和不关注。当概率P值大于30％，则认为学习者对当前学习内容感兴趣，当概率P值小于30％则认为学习者对当前学习内容不关注。

Claims (5)

1.一种基于多源信息融合的学习情感状态识别方法，其特征在于：包括以下步骤：
1)建立在线表情识别和在线学***台采集在线学***台的Web日志文件收集交互行为数据获得交互操作行为序列；
2)采用大量图像的脱机训练建立对应表情特征分类的情感规则库；将在线学习平台采集的学习者的表情图像序列输入情感规则库进行对比，输出表情特征分类结果，即高兴、专注、厌烦和生气；
3)提取在线交互操作行为序列中的点击流数据，利用主观贝叶斯方法对点击流数据进行不确定性推理，然后进行深层次的分析，把握学习者行为特点和行为路径，从而判断学习者对学习内容的操作行为倾向，分为感兴趣或不关注两种；
4)以步骤3)获取的学习者在线交互操作行为倾向为基础，融合从步骤2)获取的表情特征识别结果，其中将学习者人脸表情特征中的高兴、专注划分为感兴趣，将学习者人脸表情特征中的厌烦、生气划分为不关注；
若二者融合的结果是感兴趣与感兴趣，则判断学习者情感状态为满意情绪，二者融合的结果是不关注与不关注，则判断学习者情感状态为困惑情绪，二者融合的结果是感兴趣与不关注，判断学习者情感状态为不确定情绪，将其作为学习者情感状态的最终识别结果并输出；
5)依据学习者情感状态的最终识别结果，提取典型的情感状态，进行规则扩展，存储到情感规则库中。
2.根据权利要求1所述的基于多源信息融合的学***台采集在线学***台采集。
3.根据权利要求1所述的基于多源信息融合的学习情感状态识别方法，其特征在于，所述步骤2)中情感规则库的建立，包含两个部分，一方面融合专业的表情识别库，另一方面对学习者在线情感状态最终识别结果中的典型情绪状态进行规则扩充。
4.根据权利要求1所述的基于多源信息融合的学习情感状态识别方法，其特征在于，所述步骤2)中表情图像序列的处理方法如下：
2.1)去除原图的复杂背景
将采集到的原始图像序列按照时间顺序进行排列，将原图中面部表情特征以外的冗杂背景信息去除，统一图片大小；
2.2)图像归一化处理；
图像归一化处理，即用d代表两眼角距离作为特征归一化因子，并采用如下(1)式的归一化方式对人脸局部的几何特征进行归一化处理，如式(1)所示
Xi＝di/d(1)
其中di是指人脸局部特征点之间的距离，Xi是指处理之后的面部表情几何特征；
2.3)参照MEPG-4标准对人脸特征点的定义，提取66个FAP参数中的52 个与眉毛、眼睛、鼻子、嘴唇有关的几何点；其中FAP是一个与面部肌肉运动密切相关基于人脸细微运动研究的完整面部运动集合；
2.4)将各帧图像内相匹配的特征点进行逐帧连接，形成特征点轨迹，根据任意两个特征点轨迹在各帧图像所属特征点相对距离平均值进行聚类，对聚类后特征点轨迹进行分类；
2.5)从各轨迹分类中提取人脸局部几何特征的主运动轨迹；对所有主运动轨迹进行特征融合，然后与情感规则库进行对比，输出表情识别结果，即高兴、专注、厌烦和生气；其中所述特征融合，即采用最基本的串行特征融合方法，将同一表情样本空间的人脸局部特征归一化处理后合并为一列特征向量。
5.根据权利要求1所述的基于多源信息融合的学习情感状态识别方法，其特征在于，用户对学习内容的操作行为倾向的判断方法如下：
3.1)提取点击流数据，所述点击流数据包括学习者浏览的站点、网页、在网页上滞留的时间、点击的链接和图片，以及浏览页面的顺序；
3.2)提取点击流数据中主要特征的频次，包括学习者在线学习时长、论坛访问次数、点击图像链接次数、点击文字链接次数和交流工具使用偏好；
3.3)利用主观贝叶斯方法，进行不确定性推理，即通过对学习者在线操作行为的不确定性、随机性，就学习者对所学内容的关注程度和感兴趣程度作出判断。
CN201810450003.3A 2017-05-12 2018-05-11 一种基于多源信息融合的学习情感状态识别方法 Active CN108664932B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2017103354853 2017-05-12
CN201710335485 2017-05-12

Publications (2)

Publication Number Publication Date
CN108664932A CN108664932A (zh) 2018-10-16
CN108664932B true CN108664932B (zh) 2021-07-09

Family

ID=63779325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810450003.3A Active CN108664932B (zh) 2017-05-12 2018-05-11 一种基于多源信息融合的学习情感状态识别方法

Country Status (1)

Country Link
CN (1) CN108664932B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339809A (zh) * 2018-12-20 2020-06-26 深圳市鸿合创新信息技术有限责任公司 一种课堂行为分析方法及装置、电子设备
CN109816178A (zh) * 2019-02-21 2019-05-28 四川大学 心理状态预测方法、装置及电子设备
CN109885727A (zh) * 2019-02-21 2019-06-14 广州视源电子科技股份有限公司 资料推送方法、装置、电子设备及***
CN110334626B (zh) * 2019-06-26 2022-03-04 北京科技大学 一种基于情感状态的在线学习***
CN110991277B (zh) * 2019-11-20 2023-09-22 湖南检信智能科技有限公司 基于深度学习的多维度多任务学习评价***
CN111159519B (zh) * 2019-12-26 2021-07-23 北京工业大学 一种基于网站点击流的公共安全舆情分析方法
CN112507243B (zh) * 2021-02-07 2021-05-18 深圳市阿卡索资讯股份有限公司 一种基于表情的内容推送方法与装置
CN113033450B (zh) * 2021-04-02 2022-06-24 山东大学 多模态连续情感识别方法、服务推理方法及***
CN113723277B (zh) * 2021-08-27 2024-02-27 华中师范大学 一种融入多模态视觉信息的学习意图监测方法及***
CN114926837B (zh) * 2022-05-26 2023-08-04 东南大学 一种基于人-物时空交互行为的情感识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561868A (zh) * 2009-05-19 2009-10-21 华中科技大学 基于高斯特征的人体运动情感识别方法
CN103186774A (zh) * 2013-03-21 2013-07-03 北京工业大学 一种基于半监督学习的多姿态人脸表情识别方法
CN105516280A (zh) * 2015-11-30 2016-04-20 华中科技大学 一种多模态学习过程状态信息压缩记录方法
CN106295568A (zh) * 2016-08-11 2017-01-04 上海电力学院 基于表情和行为双模态结合的人类自然状态情感识别方法
CN106503646A (zh) * 2016-10-19 2017-03-15 竹间智能科技（上海）有限公司 多模态情感辨识***及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012169777A (ja) * 2011-02-10 2012-09-06 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US10776710B2 (en) * 2015-03-24 2020-09-15 International Business Machines Corporation Multimodal data fusion by hierarchical multi-view dictionary learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561868A (zh) * 2009-05-19 2009-10-21 华中科技大学 基于高斯特征的人体运动情感识别方法
CN103186774A (zh) * 2013-03-21 2013-07-03 北京工业大学 一种基于半监督学习的多姿态人脸表情识别方法
CN105516280A (zh) * 2015-11-30 2016-04-20 华中科技大学 一种多模态学习过程状态信息压缩记录方法
CN106295568A (zh) * 2016-08-11 2017-01-04 上海电力学院 基于表情和行为双模态结合的人类自然状态情感识别方法
CN106503646A (zh) * 2016-10-19 2017-03-15 竹间智能科技（上海）有限公司 多模态情感辨识***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
采用动态特征选择的中文情感识别研究;刘智，杨宗凯，刘三女牙，王泰，孟文婷，王胜明;《小型微型计算机***》;20140228;第35卷(第2期);第258-363页 *

Also Published As

Publication number Publication date
CN108664932A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
CN108664932B (zh) 一种基于多源信息融合的学习情感状态识别方法
Gupta et al. Facial emotion recognition based real-time learner engagement detection system in online learning context using deep learning models
CN111753098A (zh) 一种基于跨媒体动态知识图谱的教学方法及***
Ma et al. ElderReact: a multimodal dataset for recognizing emotional response in aging adults
CN110575663B (zh) 一种基于人工智能的体育辅助训练方法
CN111709518A (zh) 一种基于社区感知和关系注意力的增强网络表示学习的方法
CN105512687A (zh) 训练情感分类模型和文本情感极性分析的方法及***
Yang et al. Solver: Scene-object interrelated visual emotion reasoning network
Dang et al. Increasing text filtering accuracy with improved LSTM
CN112036276A (zh) 一种人工智能视频问答方法
CN111126194B (zh) 一种社交媒体视觉内容情感分类方法
Thiruthuvanathan et al. Engagement Detection through Facial Emotional Recognition Using a Shallow Residual Convolutional Neural Networks.
Zhu et al. Multimodal emotion classification with multi-level semantic reasoning network
Jing et al. Data-driven implicit design preference prediction model for product concept evaluation via BP neural network and EEG
CN109919047A (zh) 一种基于多任务、多标签的残差神经网络的情绪检测方法
CN116226410B (zh) 一种知识元联结学习者状态的教学评估与反馈方法及***
Yang [Retracted] A Deep Learning and Clustering Extraction Mechanism for Recognizing the Actions of Athletes in Sports
Jia et al. Application of digital image processing technology in online education under COVID-19 epidemic
Sonth et al. Explainable Driver Activity Recognition Using Video Transformer in Highly Automated Vehicle
Kousalya et al. Prediction of Best Optimizer for Facial Expression Detection using Convolutional Neural Network
CN114387678A (zh) 利用非词语性身体符号评价语言阅读能力的方法及设备
CN114022698A (zh) 一种基于二叉树结构的多标签行为识别方法及装置
Su et al. Multi-task Information Enhancement Recommendation model for educational Self-Directed Learning System
Shenoy et al. A Study on various Applications of Computer Vision for Teaching Learning in Classroom
Maddu et al. Online learners’ engagement detection via facial emotion recognition in online learning context using hybrid classification model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant