CN111242049A - 一种基于面部识别的学生网课学习状态评价方法及*** - Google Patents

一种基于面部识别的学生网课学习状态评价方法及*** Download PDF

Info

Publication number
CN111242049A
CN111242049A CN202010043578.0A CN202010043578A CN111242049A CN 111242049 A CN111242049 A CN 111242049A CN 202010043578 A CN202010043578 A CN 202010043578A CN 111242049 A CN111242049 A CN 111242049A
Authority
CN
China
Prior art keywords
student
face
length
students
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010043578.0A
Other languages
English (en)
Other versions
CN111242049B (zh
Inventor
徐麟
周传辉
李冠男
赵小维
吴棒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN202010043578.0A priority Critical patent/CN111242049B/zh
Publication of CN111242049A publication Critical patent/CN111242049A/zh
Application granted granted Critical
Publication of CN111242049B publication Critical patent/CN111242049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Marketing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Educational Technology (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Operations Research (AREA)
  • Human Computer Interaction (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)

Abstract

本发明公开了一种基于面部识别的学生网课学习状态评价方法，包括：获取学生的面部图像、学生回答问题情况以及学生信息；根据学生回答问题情况与参***的对比情况，获得学生的回答问题结果；将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态；根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。本发明的方法可以提高识别效率，改善评价效果。

Description

一种基于面部识别的学生网课学习状态评价方法及***
技术领域
本发明涉及计算机技术领域，具体涉及一种基于面部识别的学生网课学习状态评价方法及***。
背景技术
目前，高校考虑到节约教学开支，节省人力物力，丰富教学内容等原因，逐渐引入网络授课的学习方式。学生可以通过电子设备和互联网来在线观看视频音频等来学习知识、技能。
本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：
网课方便师生的同时，也存在着因条件限制，对上网课学生无法监管的问题。仅仅观看视频，而没有类似课堂的师生交流互动的过程也使得部分学生在网课学习的过程中并未真正的在“听课”，学生的听课效果和专注程度不像传统的课堂教学能够及时反馈给教师，导致学生上网课的听课质量大打折扣。现有技术中的方法虽然可以通过摄像头等设备来监测学习状态，但是需要通过人工的方式来判断学生是否在认真听课，这种方法费时费力，效率不高。
由此可知，现有技术中的方法存在效率不高的技术问题。
发明内容
有鉴于此，本发明提供了一种基于面部识别的学生网课学习状态评价方法及***，用以解决或者至少部分解决现有技术中的方法存在的效率不高的技术问题。
为了解决上述技术问题，本发明第一方面提供了一种基于面部识别的学生网课学习状态评价方法，包括：
S1：获取学生的面部图像、学生回答问题情况以及学生信息；
S2：根据学生回答问题情况与参***的对比情况，获得学生的回答问题结果；
S3：将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态；
S4：对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，得到学生的面部尺寸和眼睛张开高度，其中，学生的面部尺寸包括面部长度和宽度；根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；
S5：将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。
在一种实施方式中，S3中训练好的微表情识别卷积神经网络模型的构建方法包括：
在微表情数据库中寻找分别符合愉悦、理解、困惑状态特征的人脸微表情图片，将理解程度状态对应的图片经过压缩、拉伸、锐化等过程过后，处理成统一尺寸和格式的图片信息作为训练数据，其中，将学生的网课听课理解程度状态划分三个等级：愉悦、理解、困惑，愉悦对应的面部特征包括眼睛张开、面部正对屏幕和嘴角上扬，理解对应的面部特征包括面部正对屏幕和眉毛舒展，困惑对应的面部特征包括眉头紧锁、眼睛微眯和嘴角向下；
确定微表情识别卷积神经网络模型的结构，模型的结构包括输入层，第一卷积层、第一池化层、第二卷积层、第二池化层、特征层、全连接层、分类层以及输出层；
根据预设模型参数，采用训练数据对微表情识别卷积神经网络模型进行训练，得到训练好的微表情识别卷积神经网络模型。
在一种实施方式中，S3具体包括：
S3.1：采集的面部图像对应的通过输入层进入图片信息输入第一卷积层，通过第一卷积层进行特征提取；
S3.2：通过第一池化层对S4.1得到的图像进行降维压缩处理；
S3.3：通过第二卷积层对降维压缩处理后的图像进行特征提取，再通过第二池化层进行降维压缩；
S3.4：通过特征层将S4.3得到的图像压缩为一个一维向量后输出到全连接层；
S3.5：通过由多个神经元向前连接构成的全连接层输出到分类层中；
S3.6：通过分类层将全连接层输出的结果与对应的理解程度状态进行匹配，得到图片对应的理解程度状态；
S3.7：通过输出层输出图片对应的理解程度状态。
在一种实施方式中，在S3.7之后所述方法还包括：对不同的理解程度状态赋予不同的分值。
在一种实施方式中，输出层输出图片对应的理解程度状态为学生在一时刻的理解程度状态，所述方法还包括：
根据赋予的分值得到对应的上课状态评分ui，
根据课状态评分ui获得每个阶段学生网课学习的理解程度评分Uk；
Figure BDA0002368595400000031
其中，N表示时刻的数量，K表示阶段。
在一种实施方式中，S4中根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度，包括：
S4.1：根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况对i时刻学生是否面部正对屏幕进行判定，其中，没有正对屏幕则判定为不专注，正对屏幕则进行下一步判定，正对屏幕的判定公式如下：
Figure BDA0002368595400000032
其中，Li和Wi为i时刻学生的面部的长度和宽度，Ls和Ws为学生标准的面部的长度和宽度；
S4.2：根据学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，对学生的眼睛张度进行判定，得到学生i时刻的专注程度，判定公式如下式所示：
Figure BDA0002368595400000033
其中，Hi为i时刻学生的眼睛张开高度，Hs为学生标准的眼睛张开高度，Li为i时刻学生的面部的长度，Ls为学生标准的面部的长度，如果大于，判定i时刻学生是专注的，如果小于，判定i时刻学生是不专注的；
根据学生i时刻的专注程度，连续监测预设时长内学生状态是否为不专注，如果均为不专注，则判定学生状态为不专注。
在一种实施方式中，所述方法还包括将每节网课根据学生提问作答的时间分为不同的阶段。
在一种实施方式中，在S5之后，所述方法还包括：
将学习状态评价结果上传至服务器，并根据学生信息，将获得的学习状态评价结果反馈至对应的学生终端，将所有学生的网课学习学习状态进行汇总反馈到对应的教学老师终端。
基于同样的发明构思，本发明第二方面提供了一种基于面部识别的学生网课学习状态评价***，包括：
信息获取模块，用于获取学生的面部图像、学生回答问题情况以及学生信息；
学生的回答问题评估模块，用于根据学生回答问题情况与参***的对比情况，获得学生的回答问题结果；
理解程度识别模块，用于将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态；
专注度识别模块，用于对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，得到学生的面部尺寸和眼睛张开高度，其中，学生的面部尺寸包括面部长度和宽度；根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；
评价结果模块，用于将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。
基于同样的发明构思，本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现第一方面所述的方法。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
本发明提供的一种基于面部识别的学生网课学习状态评价方法，在获取学生的面部图像、学生回答问题情况以及学生信息后，根据学生回答问题情况与参***的对比情况，获得学生的回答问题结果；将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态；对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；再将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。
相对于现有技术中通过人工方式进行判别相比，本发明通过构建微表情识别卷积神经网络模型对学生的网课听课理解程度状态进行识别，通过对学生进行微表情识别，可以捕捉其表情细微的变化及面部特征从而与专注度状态进行匹配，得到学生在网络课程学习中的实时专注度情况。根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；通过学生面部的长宽比以及眼睛张开高度可以判断学生面部是否正对屏幕，以及眼睛的张开高度是否大于阈值，从而得到学生的专注度，一方面可以提高识别的效率，还可以提高识别的准确性，另一方面，本发明从三个不同的维度：学生回答问题情况、听课理解程度状态以及专注度对学生学习状态进行评价，可以提高综合的评价效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于面部识别的学生网课学习状态评价方法的流程图；
图2为本发明实施例中学生的网课听课理解程度状态识别示意图；
图3为本发明中基于卷积神经网络的微表情识别模型的示意图；
图4为本发明实施例中学生上课专注度评价的流程图；
图5本发明实施例中判定学生在t1-t2时间段内不专注的示意图；
图6为本发明实施例中提供的一种基于面部识别的学生网课学习状态评价***的结构框图；
图7为本发明实施例中种基于面部识别的学生网课学习状态评价***的实现流程图；
图8为本发明实施例中一种计算机可读存储介质的结构框图。
具体实施方式
本发明的目的在于提供一种基于面部识别的学生网课学习状态评价方法及***，用以解决或者至少部分解决现有技术中的方法存在的效率不高的技术问题。
为了达到上述目的，本发明的主要构思如下：
首先获取学生的面部图像、学生回答问题情况以及学生信息；然后根据学生回答问题情况与参***的对比情况，获得学生的回答问题结果；接着将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态；接下来对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，得到学生的面部尺寸和眼睛张开高度，根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；再将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本实施例提供了一种基于面部识别的学生网课学习状态评价方法，请参见图1，该方法包括：
S1：获取学生的面部图像、学生回答问题情况以及学生信息；
具体来说，在学生开始网课学习的过程中，学生开启电脑的摄像头以获取学生的面部信息。采集的面部图像、学生回答问题情况和学生信息作为输入上传至服务器，相关的模块，获取这些输入信息。
其中视频流用来监测学生的听课状况，具体实施过程中，可以将每节网课根据学生提问作答的时间分为不同的阶段，例如四个阶段，将每一阶段的学生视频流、学生回答问题情况和学生信息上传至服务器。具体实施过程中，考虑到学生的学习状况在短时间内不会有较大改变，可对学生的视频资源进行低频采样(1Hz)，即每秒采集一次视频信息，用于学生此时刻上课状态的评价。
S2：根据学生回答问题情况与参***的对比情况，获得学生的回答问题结果。
具体来说，将学生上传的学生回答问题情况与参***进行对比后，可以根据对比情况进行评分，从而可以得出学生每一阶段的回答问题百分制得分Qk,k表示第K阶段。
S3：将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态。
具体来说，人脸识别是基于人的脸部特征信息进行身份识别的生物识别技术，集成了人工智能、机器识别、机器学习、模型理论、专家***、视频图像处理等多种专业技术。人脸识别***主要由四个部分组成：图像采集及检测、图像预处理、图像特征提取以及匹配与识别。
微表情识别作为人脸识别技术的一种延伸，近些年得到了广泛的关注。人脸表情是人类情绪和心理的直观反映。不同于常规的人脸表情,微表情是一种特殊的面部微小动作,可以作为判断人主观情绪的重要依据。随着机器识别和深度学习技术的发展，微表情识别的可行性和可靠性得到极大的提升。
本发明申请人通过大量的研究与实践发现，学生在网课学习的过程中，一般来说情绪不会有较大波动，因此对学生进行表情识别如开心、难过等学生的情绪特征并不能反映学生的学习状态。而对学生进行微表情识别，可以捕捉其表情细微的变化及面部特征从而与理解程度状态进行匹配，得到学生在网络课程学习中的实时理解程度状态情况，因而提出了一种微表情识别模块。
卷积神经网络是深度学***台上学生多需要处理信息量大的要求。卷积神经网络通过给定输入和对应的期望输出的训练方式将原始图像作为输入进行自动训练和特征自主提取，从而得到对应的识别模型，即微表情识别卷积神经网络模型。通过微表情识别卷积神经网络模型进行理解程度状态的识别过程如图2所示。
通过S3可以进一步减少人工预处理的时间并且适用于大规模的图片训练，从而可以提高识别效率。
S4：对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，得到学生的面部尺寸和眼睛张开高度，其中，学生的面部尺寸包括面部长度和宽度；根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；
具体来说，S4是对网课学习过程中的学生是否专注学习进行检测，并对学生的专注度进行评价，其中，标准面部的长宽比和预设标准面部眼睛张开高度可以预先获取，通过面部的长宽比的比较可以初步判断面部是否正对屏幕，然后进一步根据眼睛张开高度比较判断眼睛的张开程度，从而可以对学生的专注程度。
S5：将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。
具体来说，本步骤将前述的回答问题结果、理解程度状态以及专注度作为最终的评价结果，可以从不同的方面或维度对学生的学习状态进行评价，从而可以提高评价的客观性和准确性。
在一种实施方式中，S3中训练好的微表情识别卷积神经网络模型的构建方法包括：
在微表情数据库中寻找分别符合愉悦、理解、困惑状态特征的人脸微表情图片，将理解程度状态对应的图片经过压缩、拉伸、锐化等过程过后，处理成统一尺寸和格式的图片信息作为训练数据，其中，将学生的网课听课理解程度状态划分三个等级：愉悦、理解、困惑，愉悦对应的面部特征包括眼睛张开、面部正对屏幕和嘴角上扬，理解对应的面部特征包括面部正对屏幕和眉毛舒展，困惑对应的面部特征包括眉头紧锁、眼睛微眯和嘴角向下；
确定微表情识别卷积神经网络模型的结构，模型的结构包括输入层，第一卷积层、第一池化层、第二卷积层、第二池化层、特征层、全连接层、分类层以及输出层；
根据预设模型参数，采用训练数据对微表情识别卷积神经网络模型进行训练，得到训练好的微表情识别卷积神经网络模型。
具体来说，可以将学生的上课状态即对课堂的理解程度分为三个等级：愉悦、理解、困惑。学生进行网课学习时，愉悦对应的面部特征为：眼睛张开、面部正对屏幕、嘴角上扬等。理解对应的面部特征为：面部正对屏幕、眉毛舒展等。困惑对应的面部特征为：眉头紧锁、眼睛微眯、嘴角向下等。
采用卷积神经网络构建建立微表情识别卷积神经网络模型，其结构如图3所示。微表情识别卷积神经网络模型主要包括几个部分：输入层，卷积层1、池化层1、卷积层2、池化层2、特征层、全连接层、分类层和输出层。各层之间相互作用使得模型能够提取面部画面的特征并与学生上课时的理解程度状态进行匹配，从而实现根据学生听课时的面部画面预测此时学生上课时的理解程度状态。
在微表情数据库中寻找分别符合愉悦、理解、困惑状态特征的人脸微表情图片。将图片经过压缩、拉伸、锐化等过程过后，处理成统一尺寸和格式的图片信息。图片信息输入到卷积层1后，卷积层1对图片进行特征提取。后输入到池化层1进行降维压缩处理。再输入到卷积层2和池化层2进行重复操作。特征层将图片压缩至一个一维向量后输出到全连接层。全连接层是经典的神经网络结构，由多个神经元向前连接构成。输出到分类器中与对应的理解程度状态进行匹配。从而达到卷积神经网络微表情识别模型训练的目的。使得模型自动学习并储存图片特征和对应理解程度度状态的内在联系。
卷积神经网络模型训练完成后，微表情识别模型就得以建立。然后将学生的视频画面进行标准化处理成一致的画面信息并输入到训练好的微表情识别卷积神经网络模型中，模型输出画面对应的理解程度。
在一种实施方式中，S3具体包括：
S3.1：采集的面部图像对应的通过输入层进入图片信息输入第一卷积层，通过第一卷积层进行特征提取；
S3.2：通过第一池化层对S4.1得到的图像进行降维压缩处理；
S3.3：通过第二卷积层对降维压缩处理后的图像进行特征提取，再通过第二池化层进行降维压缩；
S3.4：通过特征层将S4.3得到的图像压缩为一个一维向量后输出到全连接层；
S3.5：通过由多个神经元向前连接构成的全连接层输出到分类层中；
S3.6：通过分类层将全连接层输出的结果与对应的理解程度状态进行匹配，得到图片对应的理解程度状态；
S3.7：通过输出层输出图片对应的理解程度状态。
具体来说，S3.1～3.7介绍了微表情识别卷积神经网络模型的处理过程，最终可以得到理解程度状态。
在一种实施方式中，在S3.7之后所述方法还包括：对不同的理解程度状态赋予不同的分值。
具体来说，将学生的上课状态即对课堂的理解程度分为三个等级：愉悦、理解、困惑，例如，每一个等级对应的理解程度评分为：100、80和40分。
在一种实施方式中，输出层输出图片对应的理解程度状态为学生在一时刻的理解程度状态，所述方法还包括：
根据赋予的分值得到对应的上课状态评分ui，
根据课状态评分ui获得每个阶段学生网课学习的理解程度评分Uk；
Figure BDA0002368595400000101
其中，N表示时刻的数量，K表示阶段。
具体来说，通过前述方法可以得到某一时刻的理解程度，然后求取平均值，可以得到该阶段的理解程度状态。
在一种实施方式中，S4中根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度，包括：
S4.1：根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况对i时刻学生是否面部正对屏幕进行判定，其中，没有正对屏幕则判定为不专注，正对屏幕则进行下一步判定，正对屏幕的判定公式如下：
Figure BDA0002368595400000102
其中，Li和Wi为i时刻学生的面部的长度和宽度，Ls和Ws为学生标准的面部的长度和宽度；
S4.2：根据学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，对学生的眼睛张度进行判定，得到学生i时刻的专注程度，判定公式如下式所示：
Figure BDA0002368595400000111
其中，Hi为i时刻学生的眼睛张开高度，Hs为学生标准的眼睛张开高度，Li为i时刻学生的面部的长度，Ls为学生标准的面部的长度，如果大于，判定i时刻学生是专注的，如果小于，判定i时刻学生是不专注的；
根据学生i时刻的专注程度，连续监测预设时长内学生状态是否为不专注，如果均为不专注，则判定学生状态为不专注。
具体来说，对网课学习过程中的学生是否专注学习进行检测，并对学生的专注度进行评价的实施过程如图4所示。
学生进行网课学习时，需要盯着电脑屏幕进行学习。鉴于网课学习的特殊性，本发明对学生进行网课学习时专注与否的评价标准是：面部是否正对屏幕，以及眼睛的张度是否大于阈值，例如50％。
学生登录后，要求采集学生的标准面部画面，即学生正对电脑屏幕，眼睛睁开，采集的标准面部画面上传至服务器进行保存。
将学生的标准面部画面进行人脸识别，提取出人脸图片并进行面部特征提取，得到标准的面部尺寸(包括长Ls×宽Ws)和该学生的眼睛张开时的高度Hs。将学生进行网课学习的实时面部画面进行监测，并进行人脸识别，提取出人脸图片并进行面部特征提取，得到i时刻学生的面部尺寸(长Li×宽Wi)和此时学生的眼睛张开时的高度Hi。
将采集到的i时刻学生的面部尺寸(长Li×宽Wi)和此时学生的眼睛张开时的高度Hi和标准的面部尺寸(长Ls×宽Ws)和学生的眼睛张开时的高度Hs共同输入到专注度识别模型中对该时刻学生的专注度状态进行判定。
首先对i时刻学生是否面部正对屏幕进行判定，没有正对屏幕则判定为不专注，正对屏幕则进行下一步判定。正对屏幕的判定公式如下：
Figure BDA0002368595400000112
式(2)中：Li和Wi为i时刻学生的面部的长和宽，Ls和Ws为学生标准的面部的长和宽。
当学生扭头或低头时，视频捕捉到学生的面部的长和宽会发生变化。但考虑到学生上网课时有可能会前后移动，此时学生的面部的长和宽也会发生变化，因此将面部的长宽比作为参考依据—当学生面部正对屏幕时前后移动，采集到的面部等比例变大变小，而面部的长宽比不变。所以当i时刻学生的面部的长宽比与标准状态下相差较大时(考虑到电脑屏幕有一定宽度、人脸会时不时转动等原因，将比例的区间定为(0.9,1.1))，判定该学生此时没有正对屏幕，为不专注。
由于如果学生正对屏幕时，有可能出现睡觉和发呆等情况，此时学生并未专注于课堂。故判定学生的面部正对屏幕后，需进一步对学生的眼睛张度进行判定，如式(3)所示：
Figure BDA0002368595400000121
式中：Hi为i时刻学生的眼睛张开高度，Hs为学生标准的眼睛张开高度，Li为i时刻学生的面部的长度，Ls为学生标准的面部的长度。
因为i时刻学生与电脑屏幕的距离有可能与标准时不一致，导致面部的大小可能不一致。当学生面部是正对屏幕，i时刻时面部的尺寸与标准的面部尺寸时等比例的关系。根据三角函数，得出缩放比例
Figure BDA0002368595400000122
再将i时刻学生的眼睛张开高度Hi乘以缩放比例
Figure BDA0002368595400000123
后与学生标准的眼睛张开高度Hs相比等到i时刻学生的眼睛张度，并判断其是否大于50％，如果大于，判定i时刻学生是专注的，如果小于，判定i时刻学生是不专注的。
通过以上方法对学生每一时刻是否专注进行判定。考虑到学生上课专注期间也会有眨眼、低头等小动作。所以对学生专注与否不能针对每一秒，应该考虑一个连续的过程。当连续监测到学生10s中的专注度状态均为不专注时(标注10s中第一个不专注的时刻为进入不专注状态的时刻t1)，直到连续监测到学生10s中的专注度状态均为专注为止(标注10s中第一个专注的时刻为离开不专注状态的时刻t2)。则学生学习不专注时间段为t1-t2，其余时间段视为学生上课专注，如图5所示。
按照上述方法得出学生的不专注的时间段，并得出不专注的时间为Ti，学生总的不专注的时间为：
Figure BDA0002368595400000131
式中Ti为总的不专注的时间，m为不专注时间段个数。
在一种实施方式中，所述方法还包括将每节网课根据学生提问作答的时间分为不同的阶段。
在一种实施方式中，在S5之后，所述方法还包括：
将学习状态评价结果上传至服务器，并根据学生信息，将获得的学习状态评价结果反馈至对应的学生终端，将所有学生的网课学习学习状态进行汇总反馈到对应的教学老师终端。
具体来说，在得出学生每个阶段的回答问题评分、学习专注度评分和不专注总时间后，上传至教务处进行保存。可以作为学生网课学习状态的反映和最终学生网课成绩评定的依据。得出学生每个阶段的回答问题评分、学习专注度评分和不专注总时间后，上传至服务器。并根据学生信息标签，将每个阶段学生学习状况的评分结果传输给对应的学生进行反馈。当每节网课结束后，将所有学生的网课学习学习状态进行汇总反馈给教学老师，可作为网课教学质量评判依据和教学改进的参考。
实施例二
基于同样的发明构思，本实施例提供了一种基于面部识别的学生网课学习状态评价***，请参见图6，该***包括：
信息获取模块201，用于获取学生的面部图像、学生回答问题情况以及学生信息；
学生的回答问题评估模块202，用于根据学生回答问题情况与参***的对比情况，获得学生的回答问题结果；
理解程度识别模块203，用于将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态；
专注度识别模块204，用于对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，得到学生的面部尺寸和眼睛张开高度，其中，学生的面部尺寸包括面部长度和宽度；根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；
评价结果模块205，用于将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。
其中，本实施例提供的***的总体实现流程如图7所示。
本发明的有点和有益技术效果如下：
1.提出了一套基于卷积神经网络的针对学生的微表情进行学习理解程度的识别方法及模块，可以提高理解程度识别效率的同时提高识别准确性。
2.提供了一套基于每个独立学生的面部特征对学生进行实时专注度识别的方法及模块，可以提高专注程度识别效率的同时提高识别准确性。
3.构建了一套学生网课学习状态评价和反馈***，可以提高综合的评价效果。
由于本发明实施例二所介绍的***，为实施本发明实施例一中基于面部识别的学生网课学习状态评价方法所采用的***，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该***的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的***都属于本发明所欲保护的范围。
实施例三
基于同样的发明构思，本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现实施例一中所述的方法。
由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中基于面部识别的学生网课学习状态评价方法所采用的计算机可读存储介质，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于面部识别的学生网课学习状态评价方法，其特征在于，包括：
S1：获取学生的面部图像、学生回答问题情况以及学生信息；
S2：根据学生回答问题情况与参***的对比情况，获得学生的回答问题结果；
S3：将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态；
S4：对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，得到学生的面部尺寸和眼睛张开高度，其中，学生的面部尺寸包括面部长度和宽度；根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；
S5：将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。
2.如权利要求1所述的方法，其特征在于，S3中训练好的微表情识别卷积神经网络模型的构建方法包括：
在微表情数据库中寻找分别符合愉悦、理解、困惑状态特征的人脸微表情图片，将理解程度状态对应的图片经过压缩、拉伸、锐化等过程过后，处理成统一尺寸和格式的图片信息作为训练数据，其中，将学生的网课听课理解程度状态划分三个等级：愉悦、理解、困惑，愉悦对应的面部特征包括眼睛张开、面部正对屏幕和嘴角上扬，理解对应的面部特征包括面部正对屏幕和眉毛舒展，困惑对应的面部特征包括眉头紧锁、眼睛微眯和嘴角向下；
确定微表情识别卷积神经网络模型的结构，模型的结构包括输入层，第一卷积层、第一池化层、第二卷积层、第二池化层、特征层、全连接层、分类层以及输出层；
根据预设模型参数，采用训练数据对微表情识别卷积神经网络模型进行训练，得到训练好的微表情识别卷积神经网络模型。
3.如权利要求2所述的方法，其特征在于，S3具体包括：
S3.1：采集的面部图像对应的通过输入层进入图片信息输入第一卷积层，通过第一卷积层进行特征提取；
S3.2：通过第一池化层对S4.1得到的图像进行降维压缩处理；
S3.3：通过第二卷积层对降维压缩处理后的图像进行特征提取，再通过第二池化层进行降维压缩；
S3.4：通过特征层将S4.3得到的图像压缩为一个一维向量后输出到全连接层；
S3.5：通过由多个神经元向前连接构成的全连接层输出到分类层中；
S3.6：通过分类层将全连接层输出的结果与对应的理解程度状态进行匹配，得到图片对应的理解程度状态；
S3.7：通过输出层输出图片对应的理解程度状态。
4.如权利要求3所述的方法，其特征在于，在S3.7之后所述方法还包括：对不同的理解程度状态赋予不同的分值。
5.如权利要求4所述的方法，其特征在于，输出层输出图片对应的理解程度状态为学生在一时刻的理解程度状态，所述方法还包括：
根据赋予的分值得到对应的上课状态评分ui，
根据课状态评分ui获得每个阶段学生网课学习的理解程度评分Uk；
Figure FDA0002368595390000021
其中，N表示时刻的数量，K表示阶段。
6.如权利要求3所述的方法，其特征在于，S4中根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度，包括：
S4.1：根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况对i时刻学生是否面部正对屏幕进行判定，其中，没有正对屏幕则判定为不专注，正对屏幕则进行下一步判定，正对屏幕的判定公式如下：
Figure FDA0002368595390000022
其中，Li和Wi为i时刻学生的面部的长度和宽度，Ls和Ws为学生标准的面部的长度和宽度；
S4.2：根据学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，对学生的眼睛张度进行判定，得到学生i时刻的专注程度，判定公式如下式所示：
Figure FDA0002368595390000023
其中，Hi为i时刻学生的眼睛张开高度，Hs为学生标准的眼睛张开高度，Li为i时刻学生的面部的长度，Ls为学生标准的面部的长度，如果大于，判定i时刻学生是专注的，如果小于，判定i时刻学生是不专注的；
根据学生i时刻的专注程度，连续监测预设时长内学生状态是否为不专注，如果均为不专注，则判定学生状态为不专注。
7.如权利要求1所述的方法，其特征在于，所述方法还包括将每节网课根据学生提问作答的时间分为不同的阶段。
8.如权利要求1所述的方法，其特征在于，在S5之后，所述方法还包括：
将学习状态评价结果上传至服务器，并根据学生信息，将获得的学习状态评价结果反馈至对应的学生终端，将所有学生的网课学习学习状态进行汇总反馈到对应的教学老师终端。
9.一种基于面部识别的学生网课学习状态评价***，其特征在于，包括：
信息获取模块，用于获取学生的面部图像、学生回答问题情况以及学生信息；
学生的回答问题评估模块，用于根据学生回答问题情况与参***的对比情况，获得学生的回答问题结果；
理解程度识别模块，用于将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态；
专注度识别模块，用于对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，得到学生的面部尺寸和眼睛张开高度，其中，学生的面部尺寸包括面部长度和宽度；根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；
评价结果模块，用于将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现如权利要求1至8中任一项权利要求所述的方法。
CN202010043578.0A 2020-01-15 2020-01-15 一种基于面部识别的学生网课学习状态评价方法及*** Active CN111242049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010043578.0A CN111242049B (zh) 2020-01-15 2020-01-15 一种基于面部识别的学生网课学习状态评价方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010043578.0A CN111242049B (zh) 2020-01-15 2020-01-15 一种基于面部识别的学生网课学习状态评价方法及***

Publications (2)

Publication Number Publication Date
CN111242049A true CN111242049A (zh) 2020-06-05
CN111242049B CN111242049B (zh) 2023-08-04

Family

ID=70865670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010043578.0A Active CN111242049B (zh) 2020-01-15 2020-01-15 一种基于面部识别的学生网课学习状态评价方法及***

Country Status (1)

Country Link
CN (1) CN111242049B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797324A (zh) * 2020-08-07 2020-10-20 广州驰兴通用技术研究有限公司 一种智慧教育用远程教育方法及***
CN112215973A (zh) * 2020-09-21 2021-01-12 彭程 数据展示方法、多媒体讲台及电子设备
CN112735213A (zh) * 2020-12-31 2021-04-30 奇点六艺教育科技股份有限公司 一种智慧教学的方法、***、终端及存储介质
CN112818754A (zh) * 2021-01-11 2021-05-18 广州番禺职业技术学院 一种基于微表情的学习专注度判断方法及装置
CN112907408A (zh) * 2021-03-01 2021-06-04 北京安博创赢教育科技有限责任公司 一种评价学生学习效果的方法、装置、介质和电子设备
CN113239841A (zh) * 2021-05-24 2021-08-10 桂林理工大学博文管理学院 基于人脸识别的课堂专注状态检测方法及相关仪器
CN113657146A (zh) * 2021-06-30 2021-11-16 北京惠朗时代科技有限公司 一种基于单幅图像的学生非专注学习低耗识别方法及装置
WO2022052084A1 (en) * 2020-09-14 2022-03-17 Huawei Technologies Co., Ltd. Methods, systems, and media for context-aware estimation of student attention in online learning
CN114493952A (zh) * 2022-04-18 2022-05-13 北京梦蓝杉科技有限公司 一种基于大数据的教育软件数据处理***及方法
CN115631074A (zh) * 2022-12-06 2023-01-20 南京熊大巨幕智能科技有限公司 一种基于信息化的网络科教方法、***及设备
CN116996722A (zh) * 2023-06-29 2023-11-03 广州慧思软件科技有限公司 一种5g网络环境下虚拟同步课堂教学***及其工作方法
CN117909587A (zh) * 2024-01-19 2024-04-19 广州铭德教育投资有限公司 基于ai的学生课后习题个性化推荐方法、***

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878677A (zh) * 2017-01-23 2017-06-20 西安电子科技大学 基于多传感器的学生课堂掌握程度评估***和方法
CN107292271A (zh) * 2017-06-23 2017-10-24 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备
CN108021893A (zh) * 2017-12-07 2018-05-11 浙江工商大学 一种用于判断学生上课专注度的算法
CN108710829A (zh) * 2018-04-19 2018-10-26 北京红云智胜科技有限公司 一种基于深度学习的表情分类及微表情检测的方法
CN108875606A (zh) * 2018-06-01 2018-11-23 重庆大学 一种基于表情识别的课堂教学评价方法及***
KR101960815B1 (ko) * 2017-11-28 2019-03-21 유엔젤주식회사 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법
CN109657529A (zh) * 2018-07-26 2019-04-19 台州学院 基于面部表情识别的课堂教学效果评价***
KR20190043513A (ko) * 2019-04-18 2019-04-26 주식회사 아이티스테이션 온라인 강의 수강 확인, 몰입도 판별, 수강 평가 및 수강 피드백 시스템
CN109815795A (zh) * 2018-12-14 2019-05-28 深圳壹账通智能科技有限公司 基于人脸监测的课堂学生状态分析方法及装置
CN110334600A (zh) * 2019-06-03 2019-10-15 武汉工程大学 一种多特征融合驾驶员异常表情识别方法
CN110334626A (zh) * 2019-06-26 2019-10-15 北京科技大学 一种基于情感状态的在线学习***
US20190362138A1 (en) * 2018-05-24 2019-11-28 Gary Shkedy System for Adaptive Teaching Using Biometrics
CN110674701A (zh) * 2019-09-02 2020-01-10 东南大学 一种基于深度学习的驾驶员疲劳状态快速检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878677A (zh) * 2017-01-23 2017-06-20 西安电子科技大学 基于多传感器的学生课堂掌握程度评估***和方法
CN107292271A (zh) * 2017-06-23 2017-10-24 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备
KR101960815B1 (ko) * 2017-11-28 2019-03-21 유엔젤주식회사 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법
CN108021893A (zh) * 2017-12-07 2018-05-11 浙江工商大学 一种用于判断学生上课专注度的算法
CN108710829A (zh) * 2018-04-19 2018-10-26 北京红云智胜科技有限公司 一种基于深度学习的表情分类及微表情检测的方法
US20190362138A1 (en) * 2018-05-24 2019-11-28 Gary Shkedy System for Adaptive Teaching Using Biometrics
CN108875606A (zh) * 2018-06-01 2018-11-23 重庆大学 一种基于表情识别的课堂教学评价方法及***
CN109657529A (zh) * 2018-07-26 2019-04-19 台州学院 基于面部表情识别的课堂教学效果评价***
CN109815795A (zh) * 2018-12-14 2019-05-28 深圳壹账通智能科技有限公司 基于人脸监测的课堂学生状态分析方法及装置
KR20190043513A (ko) * 2019-04-18 2019-04-26 주식회사 아이티스테이션 온라인 강의 수강 확인, 몰입도 판별, 수강 평가 및 수강 피드백 시스템
CN110334600A (zh) * 2019-06-03 2019-10-15 武汉工程大学 一种多特征融合驾驶员异常表情识别方法
CN110334626A (zh) * 2019-06-26 2019-10-15 北京科技大学 一种基于情感状态的在线学习***
CN110674701A (zh) * 2019-09-02 2020-01-10 东南大学 一种基于深度学习的驾驶员疲劳状态快速检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WANG XIAOHUA ET AL.: "Two-level attention with two-stage multi-task learning for facial emotion recognition", 《ELSEVIER》, pages 217 - 225 *
徐振国: "智慧学习环境中学习画面的情感识别及其应用", 《中国博士学位论文全文数据库社会科学Ⅱ辑》, pages 127 - 21 *
马添翼;成波;: "基于面部表情特征的驾驶员疲劳状态识别", 汽车安全与节能学报, no. 03, pages 38 - 42 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797324A (zh) * 2020-08-07 2020-10-20 广州驰兴通用技术研究有限公司 一种智慧教育用远程教育方法及***
CN116018789A (zh) * 2020-09-14 2023-04-25 华为技术有限公司 在线学习中用于对学生注意力进行基于上下文的评估的方法、***和介质
WO2022052084A1 (en) * 2020-09-14 2022-03-17 Huawei Technologies Co., Ltd. Methods, systems, and media for context-aware estimation of student attention in online learning
CN112215973A (zh) * 2020-09-21 2021-01-12 彭程 数据展示方法、多媒体讲台及电子设备
CN112735213A (zh) * 2020-12-31 2021-04-30 奇点六艺教育科技股份有限公司 一种智慧教学的方法、***、终端及存储介质
CN112818754A (zh) * 2021-01-11 2021-05-18 广州番禺职业技术学院 一种基于微表情的学习专注度判断方法及装置
CN112907408A (zh) * 2021-03-01 2021-06-04 北京安博创赢教育科技有限责任公司 一种评价学生学习效果的方法、装置、介质和电子设备
CN113239841A (zh) * 2021-05-24 2021-08-10 桂林理工大学博文管理学院 基于人脸识别的课堂专注状态检测方法及相关仪器
CN113239841B (zh) * 2021-05-24 2023-03-24 桂林理工大学博文管理学院 基于人脸识别的课堂专注状态检测方法及相关仪器
CN113657146A (zh) * 2021-06-30 2021-11-16 北京惠朗时代科技有限公司 一种基于单幅图像的学生非专注学习低耗识别方法及装置
CN113657146B (zh) * 2021-06-30 2024-02-06 北京惠朗时代科技有限公司 一种基于单幅图像的学生非专注学习低耗识别方法及装置
CN114493952A (zh) * 2022-04-18 2022-05-13 北京梦蓝杉科技有限公司 一种基于大数据的教育软件数据处理***及方法
CN115631074A (zh) * 2022-12-06 2023-01-20 南京熊大巨幕智能科技有限公司 一种基于信息化的网络科教方法、***及设备
CN116996722A (zh) * 2023-06-29 2023-11-03 广州慧思软件科技有限公司 一种5g网络环境下虚拟同步课堂教学***及其工作方法
CN116996722B (zh) * 2023-06-29 2024-06-04 广州慧思软件科技有限公司 一种5g网络环境下虚拟同步课堂教学***及其工作方法
CN117909587A (zh) * 2024-01-19 2024-04-19 广州铭德教育投资有限公司 基于ai的学生课后习题个性化推荐方法、***

Also Published As

Publication number Publication date
CN111242049B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN111242049B (zh) 一种基于面部识别的学生网课学习状态评价方法及***
CN109522815B (zh) 一种专注度评估方法、装置及电子设备
CN108399376B (zh) 学生课堂学习兴趣智能分析方法及***
CN110334626B (zh) 一种基于情感状态的在线学习***
CN110991381B (zh) 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒***和方法
CN110889672B (zh) 一种基于深度学习的学生打卡及上课状态的检测***
Littlewort et al. Automated measurement of children's facial expressions during problem solving tasks
CN112183238B (zh) 一种远程教育注意力检测方法及***
CN111046823A (zh) 基于课堂视频的学生课堂参与度分析***
CN113657168B (zh) 基于卷积神经网络的学生学习情绪的识别方法
CN112883867A (zh) 一种基于图像情感分析的学生在线学习评估方法及***
CN116050892A (zh) 一种基于人工智能的智能教育评价监督方法
CN109754653B (zh) 一种个性化教学的方法及***
Butko et al. Automated facial affect analysis for one-on-one tutoring applications
CN111178263B (zh) 一种实时表情分析方法及其装置
Ray et al. Design and implementation of technology enabled affective learning using fusion of bio-physical and facial expression
CN111523445A (zh) 一种基于改进的Openpose模型和面部微表情的考试行为检测方法
CN114187640A (zh) 一种基于线上课堂的学情观察方法、***、设备及介质
Jain et al. Student’s Feedback by emotion and speech recognition through Deep Learning
Jain et al. Study for emotion recognition of different age groups students during online class
Sarrafzadeh et al. See me, teach me: Facial expression and gesture recognition for intelligent tutoring systems
Saurav et al. AI Based Proctoring
CN114638988A (zh) 一种基于不同呈现方式的教学视频自动化分类方法及***
CN111950472A (zh) 教师磨课测评方法及***
Gupta et al. An adaptive system for predicting student attentiveness in online classrooms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant