CN111507241A - 一种轻量级网络课堂表情监测方法 - Google Patents

一种轻量级网络课堂表情监测方法 Download PDF

Info

Publication number
CN111507241A
CN111507241A CN202010288809.4A CN202010288809A CN111507241A CN 111507241 A CN111507241 A CN 111507241A CN 202010288809 A CN202010288809 A CN 202010288809A CN 111507241 A CN111507241 A CN 111507241A
Authority
CN
China
Prior art keywords
correspond
eyebrow
action
expressions
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010288809.4A
Other languages
English (en)
Inventor
阳天瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Juyang Technology Group Co ltd
Original Assignee
Sichuan Juyang Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Juyang Technology Group Co ltd filed Critical Sichuan Juyang Technology Group Co ltd
Priority to CN202010288809.4A priority Critical patent/CN111507241A/zh
Publication of CN111507241A publication Critical patent/CN111507241A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Educational Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种轻量级网络课堂表情监测方法，采集学生面部图片，将眼睛、嘴巴和眉毛的不同动作组合对应不同的表情，得到图像训练集；使用宽度学习网络结构的图像训练集训练课堂表情监测模型；拍摄课堂中学生的面部表情，得到面部特征的静态图像；将静态图像输入到课堂表情监测模型中，获得输出值，确定在图像中学生的表情所属的表情模式。本发明表情识别结果更加有效，表情模式的识别更准确，运行成本及技术难度低。

Description

一种轻量级网络课堂表情监测方法
技术领域
本发明涉及一种表情监测方法，属于图像处理领域。
背景技术
网络课堂是近些年快速兴起的一种课程形式，在全球范围内获得了政府、高校和企业的高度重视，成为推动高等教育变革的重要力量。网络课堂利用视频传播的快速性和便捷性，实现授课过程的大规模传播，并针对视频单向传播带来的教学反馈不足的问题，引入交互式练习。但是交互式练习所提供的教学反馈能力与传统线下面授课过程相比仍显不足。线下课程中，授课者可以通过学生的面部表情和通过对学生提问获得反馈，从而做出及时的教学调整，网络课堂还无法做到这一点。
基于深度学习的神经网络是课堂表情监测的一个可行的方向，但随着网络课堂的推广，每个课堂可能存在大量的学生，那么想要设计一个识别率较高的***就需要层次更深的神经网络，这会带来计算量太过巨大、训练时间过长、消耗内存过多的困扰，另一方面，层次更深的深度结构网络涉及大量的权重、参数，这让我们不得不持续的调整网络的权重、参数以便达到网络最好的训练结果。
而采用宽度学习进行表情识别，可实现实时在线学习，训练速度快，与深度学习***在高性能GPU服务器中几十小时或几天的训练相比，宽度学习***可以在几十秒或几分钟内轻松构建，比深度学习快1000-2000倍，即使在普通计算机中也是如此。在识别过程中，也无需依赖高性能计算设备便可实现高精度识别结果，并且不需要持续的调整网络的权重、参数。所以，宽度学习***，与深度学习***相比，极大的降低了成本和技术难度，既不需要昂贵的GPU服务器，也不需要技术人员反复的调参。
发明内容
为了克服现有技术的不足，本发明提供一种轻量级网络课堂表情监测方法，表情识别结果更加快速有效，运行成本及技术难度低。
本发明解决其技术问题所采用的技术方案包括以下步骤：
S1，采集学生面部图片，对面部图片中眼睛、嘴巴、眉毛的位置进行标注，并对各个部位动作表情标注其动作模式，将眼睛、嘴巴和眉毛的不同动作组合对应不同的表情，得到图像训练集；
S2，使用步骤S1得到的图像训练集训练课堂表情监测模型；所述课堂表情监测模型为宽度学习网络结构，为两层网络，包括输入层和输出层；
S3，拍摄课堂中学生的面部表情，得到学生面部表情的实时视频；
S4，对实时视频进行分帧处理，转换为具有学生面部特征的静态图像；
S5，将步骤S4得到的静态图像输入到课堂表情监测模型中，获得输出值，确定在图像中学生的表情所属的表情模式。
所述的步骤S1中，当嘴巴无动作时，眼睛无动作和眉毛无动作对应正常表情，眼睛无动作和皱眉对应思考表情，闭眼动作和眉毛无动作对应无聊表情，闭眼动作和皱眉对应思考表情，瞪眼动作和眉毛无动作对应愤怒表情，瞪眼动作和皱眉对应愤怒表情，瞪眼动作和挑眉对应惊讶表情；当嘴巴做出偏于思考或悲伤的抿嘴动作时，眼睛无动作和眉毛无动作对应思考表情，眼睛无动作和皱眉对应思考表情，闭眼动作和眉毛无动作对应悲伤表情，闭眼动作和皱眉对应悲伤表情，瞪眼动作和皱眉对应愤怒表情，瞪眼动作和挑眉对应愤怒表情；当嘴巴做出偏于愤怒的抿嘴动作时，眼睛和眉毛的所有动作都对应愤怒表情；当嘴巴做出咧嘴动作时，眼睛无动作和眉毛无动作对应悲伤表情，眼睛无动作和皱眉或挑眉都对应高兴表情，闭眼动作和眉毛无动作对应悲伤表情，闭眼动作和皱眉或挑眉都对应高兴表情，瞪眼动作和眉毛无动作对应无聊表情，瞪眼动作和挑眉对应惊讶表情。
所述的步骤S2中，将图像训练集输入，由宽度学习***提取图像训练集中图像的特征生成特征节点和特征节点的增强节点，共同作为所述面部表情图像监测模型的输入层；
特征节点由图像训练集中的图像数据X映射得到，若产生n个特征节点，则特征节点
Figure BDA0002449607660000021
其中，
Figure BDA0002449607660000022
和
Figure BDA0002449607660000023
分别是随机产生的权重系数和偏置项；给定记号Zi≡[Z1...Zi]表示所有的图像训练集中的图像数据映射的特征节点；
增强节点通过函数
Figure BDA0002449607660000024
得到，被记为Hj，前j组所有增强节点被记为Hj≡[H1,...,Hj]，其中，
Figure BDA0002449607660000025
和
Figure BDA0002449607660000026
分别是随机产生的权重系数和偏置项，第m组增强节点
Figure BDA0002449607660000027
此时课堂表情监测模型的输出值Y＝[Zn|Hm]Wm，整个课堂表情监测模型的权重参数Wm通过伪逆得到结果，Wm＝(V3T*V3+In+m*c)-1*V3T*Y，其中，c为正则化参数，V3是特征节点与增强节点列拼接。
所述步骤S2中，提取图像训练集中图像的特征生成特征节点和特征节点的增强节点，共同作为所述面部表情监测模型的输入层的具体步骤如下：
设Tp×q为图像训练集的训练数据，每个元素都是像素里的数据，p为样本个数，q为样本图像像素总数，对Tp×q进行Z分数标准化；对Tp×q进行增广，Tp×q最后增加一列，增加的一列是矩阵相乘后等号右边的结果，变为T1(p×(q+1))；
生成(q+1)×N1随机权重矩阵We，其中N1是每个窗口特征节点的个数，We取值在(0，1)之间呈均匀分布，得到特征节点H1，H1＝T1×We，T1即T1(p×(q+1)))，之后进行归一化处理；
对H1进行稀疏表示，找到稀疏矩阵Wβ，使得T1×Wβ＝H1，则当前窗口的特征节点为V1＝normal(T1×Wβ)，normal表示归一化；
把上述生成特征节点步骤迭代N2次，得到的特征节点矩阵y为一个p×(N2×N1)的矩阵；
特征节点矩阵y增加偏置项并进行标准化，得到H2；
设N3为增强节点数，则增强节点的系数矩阵Wh为大小为(N1×N2+1)×N3且经过正交规范化的随机矩阵；
对增强节点进行激活，则
Figure BDA0002449607660000031
其中，s为增强节点的缩放尺度，tan sig是BP神经网络中常用的激活函数；
得到输入层V3＝[y V2]，每个样本的特征维度为N1×N2+N3。
本发明的有益效果是：
1)六种基本表情模式为快乐、伤心、恐惧、愤怒、惊讶和厌恶，但在课堂中出现恐惧与厌恶的表情概率较小，即使出现，大多与课程的内容无关，因此，将恐惧和厌恶从表情模式中去掉，将出现频率较高的思考、无聊和正常添加到表情识别的结果中，使表情识别结果更加有效。
2)本发明是基于宽度学习***的网络课堂面部表情监测方法，而宽度学习架构层次较浅，不需要GPU服务器和大量的训练时间，在普通计算机上几十分钟即可完成训练；也不需要持续的调整权重及参数，较为简便。因此，本发明运行成本及技术难度低，在普通学校也可部署。
3)通过对动作模式的组合得到表情模式，使表情模式的识别更准确。
基于上述理由本发明可在课堂学生行为监测领域广泛应用。
附图说明
图1是本发明的宽度学习***结构图。
图2是本发明的实施例过程示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
本发明提供一种基于宽度学习神经网络的轻量级网络课堂表情监测方法，包括如下步骤：
S1、创建宽度学习图像训练集；
通过拍摄设备，采集学生面部图片；
制作面部表情图片的标签：使用软件VGG Image Annotator对面部图片中眼睛、嘴巴、眉毛的位置进行人工标注。首先通过软件手动框选出各个部位并对各个部位动作表情添加标注，添加的标注即其动作模式。对动作模式的判定取决于标注者，眼睛及眉毛的动作模式判定可以直观的判断出来，而对于嘴巴的动作模式，尤其是偏于思考的抿嘴和偏于愤怒的抿嘴，则需要标注者对图片中整体的表情进行判断，再将判断结果反映在标注中。再根据表1对整体的面部表情模式进行标注；
表1动作模式与表情模式的映射关系表
Figure BDA0002449607660000041
Figure BDA0002449607660000051
S2、基于宽度学习训练面部表情监测模型；
使用步骤S1得到的图像训练集，即所有完成标注的图片，训练课堂表情监测模型。所述课堂表情监测模型为宽度学习网络结构，为两层网络，包括输入层和输出层；
将图像训练集输入，由宽度学习***提取图像训练集中图像的特征生成特征节点和特征节点的增强节点，共同作为所述面部表情图像监测模型的输入层；
特征节点通过函数
Figure BDA0002449607660000052
得到，即将输入的图像训练集中的图像数据X映射并产生第i组特征节点；
若产生n个特征节点，表达如下：
Figure BDA0002449607660000053
其中，X为输入的图像训练集中的图像数据，
Figure BDA0002449607660000054
是权重系数，
Figure BDA0002449607660000055
是偏置项，
Figure BDA0002449607660000056
和
Figure BDA0002449607660000057
都是随机产生的；
给定记号Zi≡[Z1...Zi]表示所有的输入的图像训练集中的图像数据映射的特征节点；
增强节点通过函数
Figure BDA0002449607660000058
得到，被记为Hj，前j组所有增强节点被记为Hj≡[H1,...,Hj]，其中，
Figure BDA0002449607660000059
是权重系数，
Figure BDA00024496076600000510
是偏置项，
Figure BDA00024496076600000511
和
Figure BDA00024496076600000512
都是随机产生的，第m组增强节点表示为：
Figure BDA00024496076600000513
此时所述图像识别模型用如下公式表示：
Figure BDA00024496076600000514
整个所述面部表情监测模型的权重参数Wm通过伪逆得到结果，设Y为所述面部表情监测模型的输出值，即：
Y＝V3×Wm；
则通过伪逆得：
Wm＝(V3T*V3+In+m*c)-1*V3T*Y，其中，c为正则化参数，V3是特征节点与增强节点列拼接，共同作为输入层，表达式为：
V3＝(ZnHm)；
在所述面部表情监测模型训练过程中，Y的值为训练集给定输出值；
求解得到Wm，所述面部表情监测模型的训练完成(Y由人工调参设定，宽度学习需要调的参数少，并不是完全不需要调参，而是只需调一次即可，训练时间短，后续的在线学习是增量学习，所以与在线学习不冲突)；
S3、通过拍摄设备对课堂中学生的面部表情进行拍摄，得到学生面部表情的实时视频；
S4、对实时视频进行分帧处理，每隔五秒取一张图像，使其转换为具有学生面部特征的t帧静态图像；
S5、基于宽度学习***的面部表情监测机制
将步骤S4得到的静态图像都输入到所述面部表情监测模型中，获得输出值，以确定在图像中学生的表情所属的表情模式。
所述步骤S2中，提取图像训练集中图像的特征生成特征节点和特征节点的增强节点，共同作为所述面部表情监测模型的输入层的具体步骤如下：
S21、建立输入数据的特征节点映射：
设Tp×q为图像训练集的训练数据，p为样本个数，q为样本图像像素总数，对Tp×q进行Z分数标准化；为了在生成特征节点时可以直接通过矩阵运算增加偏置项，对Tp×q进行增广，Tp×q最后增加一列(每个元素都是像素里的数据，增加的一列是矩阵相乘后等号右边的结果))，变为T1(p×(q+1))；
S22、生成每个窗口的特征节点：
生成随机权重矩阵We，We是一个(q+1)×N1的随机权重矩阵，其中N1是每个窗口特征节点的个数，We取值(0，1)之间呈均匀分布，得到特征节点H1，H1＝T1×We(T1即T1(p×(q+1)))，之后进行归一化处理；
对H1进行稀疏表示，采用lasso方法找到稀疏矩阵Wβ，使得T1×Wβ＝H1，则当前窗口的特征节点为V1＝normal(T1×Wβ)，normal表示归一化；
设N2为迭代次数；并把上述生成特征节点步骤迭代N2次，得到的特征节点矩阵y为一个p×(N2×N1)的矩阵；
S23、生成增强节点；
特征节点矩阵y增加偏置项并进行标准化，得到H2；
设N3为增强节点数，则增强节点的系数矩阵Wh为大小为(N1×N2+1)×N3且经过正交规范化的随机矩阵；
对增强节点进行激活，则：
Figure BDA0002449607660000071
其中，s为增强节点的缩放尺度，tan sig是BP神经网络中常用的激活函数，可以最大程度将增强节点所表达的特征进行激活；增强节点不用稀疏表示，也不用窗口迭代；
S24、得到输入层V3＝[y V2]，每个样本的特征维度为N1×N2+N3。

Claims (4)

1.一种轻量级网络课堂表情监测方法，其特征在于包括以下步骤：
S1，采集学生面部图片，对面部图片中眼睛、嘴巴、眉毛的位置进行标注，并对各个部位动作表情标注其动作模式，将眼睛、嘴巴和眉毛的不同动作组合对应不同的表情，得到图像训练集；
S2，使用步骤S1得到的图像训练集训练课堂表情监测模型；所述课堂表情监测模型为宽度学习网络结构，为两层网络，包括输入层和输出层；
S3，拍摄课堂中学生的面部表情，得到学生面部表情的实时视频；
S4，对实时视频进行分帧处理，转换为具有学生面部特征的静态图像；
S5，将步骤S4得到的静态图像输入到课堂表情监测模型中，获得输出值，确定在图像中学生的表情所属的表情模式。
2.根据权利要求1所述的轻量级网络课堂表情监测方法，其特征在于：所述的步骤S1中，当嘴巴无动作时，眼睛无动作和眉毛无动作对应正常表情，眼睛无动作和皱眉对应思考表情，闭眼动作和眉毛无动作对应无聊表情，闭眼动作和皱眉对应思考表情，瞪眼动作和眉毛无动作对应愤怒表情，瞪眼动作和皱眉对应愤怒表情，瞪眼动作和挑眉对应惊讶表情；当嘴巴做出偏于思考或悲伤的抿嘴动作时，眼睛无动作和眉毛无动作对应思考表情，眼睛无动作和皱眉对应思考表情，闭眼动作和眉毛无动作对应悲伤表情，闭眼动作和皱眉对应悲伤表情，瞪眼动作和皱眉对应愤怒表情，瞪眼动作和挑眉对应愤怒表情；当嘴巴做出偏于愤怒的抿嘴动作时，眼睛和眉毛的所有动作都对应愤怒表情；当嘴巴做出咧嘴动作时，眼睛无动作和眉毛无动作对应悲伤表情，眼睛无动作和皱眉或挑眉都对应高兴表情，闭眼动作和眉毛无动作对应悲伤表情，闭眼动作和皱眉或挑眉都对应高兴表情，瞪眼动作和眉毛无动作对应无聊表情，瞪眼动作和挑眉对应惊讶表情。
3.根据权利要求1所述的轻量级网络课堂表情监测方法，其特征在于：所述的步骤S2中，将图像训练集输入，由宽度学习***提取图像训练集中图像的特征生成特征节点和特征节点的增强节点，共同作为所述面部表情图像监测模型的输入层；
特征节点由图像训练集中的图像数据X映射得到，若产生n个特征节点，则特征节点
Figure FDA0002449607650000011
i＝1,...,n；其中，
Figure FDA0002449607650000012
和
Figure FDA0002449607650000013
分别是随机产生的权重系数和偏置项；给定记号Zi≡[Z1...Zi]表示所有的图像训练集中的图像数据映射的特征节点；
增强节点通过函数
Figure FDA0002449607650000021
得到，被记为Hj，前j组所有增强节点被记为Hj≡[H1,...,Hj]，其中，
Figure FDA0002449607650000022
和
Figure FDA0002449607650000023
分别是随机产生的权重系数和偏置项，第m组增强节点
Figure FDA0002449607650000024
此时课堂表情监测模型的输出值Y＝[Zn|Hm]Wm，整个课堂表情监测模型的权重参数Wm通过伪逆得到结果，Wm＝(V3T*V3+In+m*c)-1*V3T*Y，其中，c为正则化参数，V3是特征节点与增强节点列拼接。
4.根据权利要求3所述的轻量级网络课堂表情监测方法，其特征在于：所述步骤S2中，提取图像训练集中图像的特征生成特征节点和特征节点的增强节点，共同作为所述面部表情监测模型的输入层的具体步骤如下：
设Tp×q为图像训练集的训练数据，每个元素都是像素里的数据，p为样本个数，q为样本图像像素总数，对Tp×q进行Z分数标准化；对Tp×q进行增广，Tp×q最后增加一列，增加的一列是矩阵相乘后等号右边的结果，变为T1(p×(q+1))；
生成(q+1)×N1随机权重矩阵We，其中N1是每个窗口特征节点的个数，We取值在(0，1)之间呈均匀分布，得到特征节点H1，H1＝T1×We，T1即T1(p×(q+1)))，之后进行归一化处理；
对H1进行稀疏表示，找到稀疏矩阵Wβ，使得T1×Wβ＝H1，则当前窗口的特征节点为V1＝normal(T1×Wβ)，normal表示归一化；
把上述生成特征节点步骤迭代N2次，得到的特征节点矩阵y为一个p×(N2×N1)的矩阵；
特征节点矩阵y增加偏置项并进行标准化，得到H2；
设N3为增强节点数，则增强节点的系数矩阵Wh为大小为(N1×N2+1)×N3且经过正交规范化的随机矩阵；
对增强节点进行激活，则
Figure FDA0002449607650000025
其中，s为增强节点的缩放尺度，tan sig是BP神经网络中常用的激活函数；
得到输入层V3＝[y V2]，每个样本的特征维度为N1×N2+N3。
CN202010288809.4A 2020-04-14 2020-04-14 一种轻量级网络课堂表情监测方法 Pending CN111507241A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010288809.4A CN111507241A (zh) 2020-04-14 2020-04-14 一种轻量级网络课堂表情监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010288809.4A CN111507241A (zh) 2020-04-14 2020-04-14 一种轻量级网络课堂表情监测方法

Publications (1)

Publication Number Publication Date
CN111507241A true CN111507241A (zh) 2020-08-07

Family

ID=71874244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010288809.4A Pending CN111507241A (zh) 2020-04-14 2020-04-14 一种轻量级网络课堂表情监测方法

Country Status (1)

Country Link
CN (1) CN111507241A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117290747A (zh) * 2023-11-24 2023-12-26 中国民用航空飞行学院 基于眼动数据的飞行状态监测方法、存储介质及电子设备

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127139A (zh) * 2016-06-21 2016-11-16 东北大学 一种mooc课程中学生面部表情的动态识别方法
CN107292271A (zh) * 2017-06-23 2017-10-24 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备
CN108615010A (zh) * 2018-04-24 2018-10-02 重庆邮电大学 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN108921877A (zh) * 2018-07-25 2018-11-30 大连海事大学 一种基于宽度学习的长期目标跟踪算法
CN109117731A (zh) * 2018-07-13 2019-01-01 华中师范大学 一种课堂教学认知负荷测量***
CN109344682A (zh) * 2018-08-02 2019-02-15 平安科技（深圳）有限公司 课堂监控方法、装置、计算机设备及存储介质
CN109522838A (zh) * 2018-11-09 2019-03-26 大连海事大学 一种基于宽度学习的安全帽图像识别算法
CN109919434A (zh) * 2019-01-28 2019-06-21 华中科技大学 一种基于深度学习的教师课堂表现智能评价方法
CN110119702A (zh) * 2019-04-30 2019-08-13 西安理工大学 基于深度学习先验的人脸表情识别方法
CN110163054A (zh) * 2018-08-03 2019-08-23 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法和装置
CN110175596A (zh) * 2019-06-04 2019-08-27 重庆邮电大学 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法
CN110363124A (zh) * 2019-07-03 2019-10-22 广州多益网络股份有限公司 基于人脸关键点与几何形变的快速表情识别及应用方法
CN110472512A (zh) * 2019-07-19 2019-11-19 河海大学 一种基于深度学习的人脸状态识别方法及其装置
CN110688874A (zh) * 2018-07-04 2020-01-14 杭州海康威视数字技术股份有限公司 人脸表情识别方法及其装置、可读存储介质和电子设备
CN110705430A (zh) * 2019-09-26 2020-01-17 江苏科技大学 基于深度学习的多人面部表情识别方法和识别***
CN110728193A (zh) * 2019-09-16 2020-01-24 连尚（新昌）网络科技有限公司 一种脸部图像丰富度特征的检测方法及设备
CN110889672A (zh) * 2019-11-19 2020-03-17 哈尔滨理工大学 一种基于深度学习的学生打卡及上课状态的检测***

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127139A (zh) * 2016-06-21 2016-11-16 东北大学 一种mooc课程中学生面部表情的动态识别方法
CN107292271A (zh) * 2017-06-23 2017-10-24 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备
CN108615010A (zh) * 2018-04-24 2018-10-02 重庆邮电大学 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN110688874A (zh) * 2018-07-04 2020-01-14 杭州海康威视数字技术股份有限公司 人脸表情识别方法及其装置、可读存储介质和电子设备
CN109117731A (zh) * 2018-07-13 2019-01-01 华中师范大学 一种课堂教学认知负荷测量***
CN108921877A (zh) * 2018-07-25 2018-11-30 大连海事大学 一种基于宽度学习的长期目标跟踪算法
CN109344682A (zh) * 2018-08-02 2019-02-15 平安科技（深圳）有限公司 课堂监控方法、装置、计算机设备及存储介质
CN110163054A (zh) * 2018-08-03 2019-08-23 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法和装置
CN109522838A (zh) * 2018-11-09 2019-03-26 大连海事大学 一种基于宽度学习的安全帽图像识别算法
CN109919434A (zh) * 2019-01-28 2019-06-21 华中科技大学 一种基于深度学习的教师课堂表现智能评价方法
CN110119702A (zh) * 2019-04-30 2019-08-13 西安理工大学 基于深度学习先验的人脸表情识别方法
CN110175596A (zh) * 2019-06-04 2019-08-27 重庆邮电大学 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法
CN110363124A (zh) * 2019-07-03 2019-10-22 广州多益网络股份有限公司 基于人脸关键点与几何形变的快速表情识别及应用方法
CN110472512A (zh) * 2019-07-19 2019-11-19 河海大学 一种基于深度学习的人脸状态识别方法及其装置
CN110728193A (zh) * 2019-09-16 2020-01-24 连尚（新昌）网络科技有限公司 一种脸部图像丰富度特征的检测方法及设备
CN110705430A (zh) * 2019-09-26 2020-01-17 江苏科技大学 基于深度学习的多人面部表情识别方法和识别***
CN110889672A (zh) * 2019-11-19 2020-03-17 哈尔滨理工大学 一种基于深度学习的学生打卡及上课状态的检测***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117290747A (zh) * 2023-11-24 2023-12-26 中国民用航空飞行学院 基于眼动数据的飞行状态监测方法、存储介质及电子设备
CN117290747B (zh) * 2023-11-24 2024-03-12 中国民用航空飞行学院 基于眼动数据的飞行状态监测方法、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN107766447B (zh) 一种使用多层注意力网络机制解决视频问答的方法
CN107818306B (zh) 一种基于注意力模型的视频问答方法
CN106971414B (zh) 一种基于深度循环神经网络算法的三维动画生成方法
CN111125640B (zh) 一种知识点学习路径推荐方法和装置
Wang Online Learning Behavior Analysis Based on Image Emotion Recognition.
US12014475B2 (en) Unsupervised image-to-image translation method based on style-content separation
CN109948473A (zh) 一种基于神经网络的提升学生应用题解题能力的方法
Ma et al. A deep learning approach for online learning emotion recognition
CN111507241A (zh) 一种轻量级网络课堂表情监测方法
Bogucka et al. Projecting emotions from artworks to maps using neural style transfer
CN113989608A (zh) 基于顶部视觉的学生实验课堂行为识别方法
CN112132075B (zh) 图文内容处理方法及介质
CN116564144A (zh) 一种基于元宇宙的数字虚拟人在线教学***及方法
CN110826510A (zh) 一种基于表情情感计算的三维教学课堂实现方法
CN113723233A (zh) 一种基于分层时序多示例学习的学生学习参与度评估方法
Gu et al. Online teaching gestures recognition model based on deep learning
CN114817536A (zh) 基于融合特征的网络短文本情感分析方法
CN113688789A (zh) 一种基于深度学习的在线学习投入度识别方法及***
CN114037856A (zh) 一种基于改进MSDNet与知识蒸馏的识别方法
CN113792626A (zh) 一种基于教师非言语行为的教学过程评价方法
Du et al. Employ multimodal machine learning for content quality analysis
Nithiyasree Facial emotion recognition of students using deep convolutional neural network
Zhu et al. Emotion Recognition in Learning Scenes Supported by Smart Classroom and Its Application.
Karayaneva et al. Object recognition algorithms implemented on NAO robot for children's visual learning enhancement
Zhu Research on the evaluation of moral education effectiveness and student behavior in universities under the environment of big data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200807