CN108399376B - 学生课堂学习兴趣智能分析方法及*** - Google Patents
学生课堂学习兴趣智能分析方法及*** Download PDFInfo
- Publication number
- CN108399376B CN108399376B CN201810124929.3A CN201810124929A CN108399376B CN 108399376 B CN108399376 B CN 108399376B CN 201810124929 A CN201810124929 A CN 201810124929A CN 108399376 B CN108399376 B CN 108399376B
- Authority
- CN
- China
- Prior art keywords
- students
- classroom
- learning
- module
- student
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 33
- 230000008451 emotion Effects 0.000 claims abstract description 49
- 230000014509 gene expression Effects 0.000 claims abstract description 30
- 230000001149 cognitive effect Effects 0.000 claims abstract description 26
- 230000002452 interceptive effect Effects 0.000 claims abstract description 15
- 230000008921 facial expression Effects 0.000 claims abstract description 14
- 230000036544 posture Effects 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 18
- 238000007637 random forest analysis Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000003066 decision tree Methods 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 17
- 230000000694 effects Effects 0.000 abstract description 7
- 238000012549 training Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012567 pattern recognition method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Educational Technology (AREA)
- Game Theory and Decision Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
一种学生课堂学习兴趣智能分析方法,其特征在于,包括以下步骤:采集教室内场景图像,在场景图像中定位人脸;在人脸区域中估计头部姿态,根据头部姿态评估学生的认知注意力集中程度;在人脸区域中估计面部表情,根据表情评估学生的学习情绪;记录学生在课堂上互动答题的频率与正确率,根据答题的频率与正确率评估学生的参与度;融合学生的认知注意力、学习情绪和课堂参与度三维信息,分析学生的学习兴趣。本发明还提供了一种实现上述方法的***。应用本发明能够客观地、实时地、准确地对课堂上学生的学习兴趣进行监控与分析,为授课教师提供及实时反馈,帮助其及时调整教学方式以提高教学效果。
Description
技术领域
本发明属于教育信息化技术领域,具体涉及一种学生课堂学习兴趣智能分析方法及***。
背景技术
学习兴趣是指个人对学习活动的一种积极认识倾向和情绪状态。兴趣是好奇心的来源,具有探究的倾向,学习兴趣可以增强学习效果。研究表明,学习兴趣影响学习发生的类型或方式,学习的过程或机制以及学习目标的完成质量,是提高学习效果的重要因素。因此对学生课堂学习兴趣的分析研究是十分有必要的。
我国现阶段对学生课堂学习兴趣的研究大多采用传统的问卷调查或案例分析等方法,其评价结果较为主观,且需要经过较长时间的统计分析才能得出,不能及时反馈给教师以改善教学行为。
随着信息技术在教育领域的快速发展,教育信息化的应用不断地拓展和深入。学生课堂学习兴趣智能化分析是计算机通过一系列从观察目标获取的信息,如视觉、听觉或生理信号等,推测出相关的兴趣状态。目前学习兴趣的智能化研究侧重于对学习情绪或者认知注意力的分析,并未综合考虑认知注意力、学习情绪、课堂参与度三个方面,不能全面反映学生的学习兴趣。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供一种学生课堂学习兴趣智能分析方法及***,能够客观地、实时地、准确地对课堂上学生的学习兴趣进行监控与分析,为授课教师提供及实时反馈,帮助其及时调整教学方式以提高教学效果。
一种学生课堂学习兴趣智能分析方法,包括以下步骤:
(1)采集教室内场景图像,在场景图像中定位人脸;
(2)在人脸区域中估计头部姿态,根据头部姿态评估学生的认知注意力;
(3)在人脸区域中估计面部表情,根据表情评估学生的学习情绪;
(4)记录学生在课堂上互动答题的频率与正确率,根据答题的频率与正确率评估学生的参与度;
(5)融合学生的认知注意力、学习情绪和课堂参与度三维信息,分析学生的学习兴趣。
进一步地,所述融合学生的认知注意力、学习情绪和课堂参与度三维信息,分析学生的学习兴趣的具体实现方式为:
提取认知注意力、学习情绪和课堂参与度三个指标两两之间的重要性程度,构建判断矩阵A=[aij],1≤i,j≤3,其中,aij表示第i个指标对第j 个指标的重要程度;根据判别矩阵计算特征值和特征向量,最大特征值对应的特征向量归一化后即为三个指标所分配的权重v=[v1,v2,v3];
融合课堂参与度评分S1、注意力评分S2和学习情绪评分S3得到学生课堂学习兴趣评估值S=S1*v1+S2*v2+S3*v3。
进一步地,所述根据头部姿态评估学生的认知注意力集中程度的具体实现方式为:
根据所有参与统计的N个学生的答题频率pRn和答题频率pCn计算信息熵m∈{R,C};然后根据信息熵计算答题频率和答题正确率的融合权重wR和wC:m∈{R,C};计算课堂参与度评分S1=R×wR+C×wC。
进一步地,所述根据表情评估学生的学习情绪的具体实现方式为:
在教学时间段内统计学生注视黑板、教师和学生端手持设备的时间,将其定义为注意力集中时间;将注意力集中时间与预定注意力阈值段匹配,将匹配成功的阈值段对应的分值记为注意力评分S2。
进一步地,所述根据答题的频率与正确率评估学生的参与度的具体实现方式为:
若注意力集中且表情为笑脸,表明学习情绪正面,其所持续的时间定义为正面学习情绪时间;计算正面学习情绪时间所占教学时间的比例;将该比例与预定情绪阈值段匹配,将匹配成功的阈值段对应的分值记为学习情绪评分S3。
进一步地,所述头部姿态估计的具体实现方式为:采用vgg-face模型提取人脸图片的fc6层特征,然后送入离线训练的回归随机森林中估计头部姿态。
进一步地,所述面部表情估计的具体实现方式为:采用vgg-face模型提取人脸图片的fc6层特征,按照头部姿态划分为五个区间Ω1= {-30°≤ω≤+30°}、Ω2={-60°≤ω<-30°}、Ω3={+30°≤ω<+60°}、Ω4={-90°≤ω<-60°}和Ω5={+60°≤ω<+90°};根据估计的头部姿态在五个区间的概率分布作为条件概率,并按照此条件概率从对应的随机森林表情分类器中选择相应数量的决策树;将选择的决策树组装成新的随机森林分类器并估计面部表情。
一种学生课堂学习兴趣智能分析***,包括:
摄像头,用于采集教室内场景图像;
人脸检测与分析模块,包括:人脸检测模块、头部姿态估计模块和表情识别模块;人脸检测模块,用于在所述的场景图像中检测和定位人脸区域;头部姿态估计模块,用于在人脸区域估计所述人脸的头部姿态;表情识别模块,用于在人脸区域估计所述人脸的表情;
师生互动云平台模块,包括:教师端模块,学生端模块和平台数据分析模块;教师端模块,用于教师发布互动题目和收集学生的答题情况;学生端模块,用于学生接收互动题目和提交题目答案;平台数据分析模块用于统计学生的答题频率和正确率;
学习兴趣分析模块,包括课堂参与度评分模块、注意力评分模块、参与度评分模块和融合模块;所述课堂参与度评分模块,用于根据头部姿态评估学生的认知注意力;所述注意力评分模块,用于根据表情评估学生的学习情绪;所述参与度评分模块,用于根据答题的频率与正确率评估学生的参与度;所述融合模块,用于融合学生的认知注意力、学习情绪和课堂参与度三维信息,分析学生的学习兴趣。
进一步地,所述融合模块的具体实现方式为:提取认知注意力、学习情绪和课堂参与度三个指标两两之间的重要性程度,构建判断矩阵A=[aij],1≤i,j≤3,其中,aij表示第i个指标对第j个指标的重要程度;根据判别矩阵计算特征值和特征向量,最大特征值对应的特征向量归一化后即为三个指标所分配的权重v=[v1,v2,v3];
融合课堂参与度评分S1、注意力评分S2和学习情绪评分S3得到学生课堂学习兴趣评估值S=S1*v1+S2*v2+S3*v3。
进一步地,所有参与度评分模块的具体实现方式为:依据参与统计的N 个学生的答题频率pRn和答题频率pCn计算信息熵 m∈{R,C};然后根据信息熵计算答题频率和答题正确率的融合权重wR和wC:m∈{R,C};计算课堂参与度评分S1=R×wR+C×wC。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有以下有益效果:
本发明方法利用图像处理与模式识别获知头部姿态和面部表情,通过对认知注意力、学习情绪和课堂参与度的三维信息融合,从而实时了解学生在学习过程中的学习兴趣,便于老师了解学生的学习行为,调整教学方式,提高学习效果。
进一步地,在三维信息融合中采用主观赋权法,融合的模型能较好的度量和区分学生的学习兴趣。
进一步地,在参与度评估中采用熵权法,能够从数据样本出发,根据数据的变异性客观估计不同学习情境下的思维活跃度融合权重。
本发明视觉处理对象为大场景图像,应用本发明方法能够同时并行地观测多名学生,提高了监控效率,帮助老师瞬间掌握更多学生的课堂学习兴趣分布情况。
附图说明
图1为本发明方法流程图;
图2为本发明较佳***较佳实施例结构图;
图3为vgg-face模型的结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明学生课堂学习兴趣智能分析方法的技术思路为:采集教室内场景图像;在场景图像中定位人脸;估计头部姿态,根据头部姿态判断学生的注意力是否集中;估计面部表情,根据表情判断学生的正负情绪;记录学生在课堂上互动答题的正确率,根据答题正确率判断学生的参与度;融合学生的注意力、学习情绪和参与度三维信息,分析学生的学习兴趣。
为了实现上述技术思路,图2示出了本发明学生课堂学***台模块、学***台模块,用于师生进行课堂问答交互并统计学生答题的频率和正确率,学习兴趣分析模块用于多模态融合分析学习兴趣。下面对各模块详细说明。
(1)摄像头,根据教室空间大小布置多个安装于天花板上,每个摄像头负责某一区域的场景图像捕获,多个摄像头的拍摄场景尽量遍及整个教室场景,其采集监测区域内含有多名学生的场景图像。
(2)人脸检测与分析模块,包括:人脸检测模块(21)、头部姿态估计模块(22)和表情识别模块(23),下面详细说明。
(21)人脸检测模块,在所述的场景图像中检测人脸区域。人脸检测可采用分层级联AdaBoost、隐马尔科夫模型HMM、SVM等方法,检测所用的特征可以为Haar、Sobel、稀疏特征等。
(22)头部姿态估计模块,用于估计所述人脸的头部姿态。
头部姿态估计可采用随机森林、深度学习、深度随机森林方式中的任何一种,本发明给出如下一种优选方式,取得更好的估计正确率。
本发明优选的具体实现方式为:
(221)利用模式识别方法离线训练能够估计头部姿态的模型。训练的样本为人工标注的不同头部姿态的图片。训练模型采用的特征通过 vgg-face模型提取,vgg-face模型的结构如图3所示。训练样本经过 vgg-face逐层运算,将fc6层的输出作为训练样本的特征,特征维数为4096。训练所采用的模型回归随机森林,随机森林包含100棵CART树,每棵树的深度为15。训练得到的模型作为输出。
(222)用离线训练的模型估计输入的人脸图片的头部姿态。将需要估计的图片按照与步骤(221)相同的方法提取特征,然后送入由步骤(221) 训练的模型中估计头部姿态。
(23)表情识别
表情识别可采用随机森林、深度学习、支撑向量机中的任何一种,本发明给出一种优选方式,采用条件随机森林能够识别不同头部姿态下的自然笑脸表情。
具体的实现方式为:
(231)利用模式识别方法离线训练能够估计面部表情的模型。训练样本为人工标注的不同头部姿态不同表情的图片。训练模型采用的特征与步骤(221)所用的特征相同。按照头部姿态划分为五个区间Ω1={-30°≤ω≤ +30°}、Ω2={-60°≤ω<-30°}、Ω3={+30°≤ω<+60°}、Ω4= {-90°≤ω<-60°}和Ω5={+60°≤ω<+90°}。然后在每一个头部姿态区间内,分别训练对应的表情分类器。分类器采用随机森林,每个随机森林包含100棵CART树,每棵树的深度为15。训练得到的模型作为输出。
(232)利用离线训练的模型估计输入的人脸图片的表情。将需要估计的图片按照与步骤(221)相同的方法提取特征,采用与步骤(222)相同的方法估计出头部姿态。根据所估计的头部姿态在五个区间的概率分布作为条件概率,从步骤(223)训练的不同姿态表情分类器中选择相应数量的决策树组装成新的随机森林分类器并估计面部表情。
(3)师生互动云平台模块,包括:教师端模块(31),学生端模块(32) 和平台数据分析模块(33)。
(31)教师端模块,可以是办公电脑或笔记本电脑,需要安装云平台教师端APP,用于教师发布互动题目和收集学生的答题情况。
(32)学生端模块,可以是手机、平板电脑等移动便携设备,需要安装云平台学生端APP,用于学生接收互动题目和提交题目答案。
(33)平台数据分析模块用于统计学生的答题的频率和正确率。
(4)学习兴趣分析模块,包括课堂参与度评分模块、注意力评分模块、参与度评分模块和融合模块;所述课堂参与度评分模块,用于根据头部姿态评估学生的认知注意力集中程度;所述注意力评分模块,用于根据表情评估学生的学习情绪;所述参与度评分模块,用于根据答题的频率与正确率评估学生的参与度;所述融合模块,用于融合学生的认知注意力、学习情绪和课堂参与度三维信息,分析学生的学习兴趣。
具体的融合方式为:
(41)统计学生在相关子内容互动答题的频率和答题正确率。由于在学习的不同时间段,受课堂学习内容、情景、认知的影响,学生的答题频率和答题正确率对课堂参与度的评价会有不同的权重,权重可预先根据经验值设定,或者按照本发明的一种优选方式采用客观赋权法估计答题频率 piR和答题频率piC在课堂参与度评分时的融合权重wR和wC。具体步骤为:根据所有参与统计的N个学生的答题频率pRn和答题频率pCn计算信息熵m∈{R,C}。然后根据信息熵计算融合权重: m∈{R,C}课堂参与度评分的计算公式为S1=R×wR+C×wC,将评分结果归一化到0到100之间。
(42)根据互动问题所划分的子内容,确定对应的教学时间。在该时间段内统计注视黑板、教师和学生端手持设备的时间,定义为注意力集中时间。然后根据注意力集中时间打分S2:若注意力集中的时间大于某一阈值则为注意力集中,记为100分;若该时间小于某一阈值则为注意力不集中,记为0分;若该时间两个阈值之间则按注意力集中时间比例记分。
(43)根据学生注意力集中时的表情,对学生的学习情绪进行评分。若注意力集中且表情为笑脸,表明学习情绪正面,其所持续的时间定义为正面学习情绪时间。根据正面学习情绪时间所占比例,为学生的学习情绪进行打分S3:若注意力集中时表情为笑脸的时间大于某一阈值,记为100 分:若该时间小于某一阈值,记为0分;若该时间在两者之间,则按该时间所占比例记分。
(44)根据主观赋权值法,对认知注意力,学习情感,课堂活跃度的融合权重进行赋值。权重可预先根据经验值设定,或者按照本发明的一种优选方式,具体为:
提取认知注意力、学习情感和思维活跃度三个指标两两之间的重要性程度,构建判断矩阵A=[aij],1≤i,j≤3。其中,aij表示第i个因素对第j 个因素的重要程度。根据判别矩阵计算特征值和特征向量,最大特征值对应的特征向量经过归一化后即为三个指标所分配的权重v=[v1,v2,v3],分别为0.2534,0.1352和0.6113。融合S1,S2和S3得出学生对教学子内容的学习兴趣分数,其计算公式为:S=S1*0.6113+S2*0.2534+S3*0.1352。
本发明将所述人脸检测与分析模块、学习兴趣分析模块同时部署一台计算机或两台计算机,并无显著差别。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种学生课堂学习兴趣智能分析方法,其特征在于,包括以下步骤:
(1)采集教室内场景图像,在场景图像中定位人脸;
(2)在人脸区域中估计头部姿态,根据头部姿态评估学生的认知注意力;
(3)在人脸区域中估计面部表情,根据表情评估学生的学习情绪;
(4)记录学生在课堂上互动答题的频率与正确率,根据答题的频率与正确率评估学生的参与度;
(5)融合学生的认知注意力、学习情绪和课堂参与度三维信息,分析学生的学习兴趣;
其中步骤(3)中,所述估计面部表情的具体实现方式为:采用vgg-face模型提取人脸图片的fc6层特征,按照头部姿态划分为五个区间Ω1={-30°≤ω≤+30°}、Ω2={-60°≤ω<-30°}、Ω3={+30°≤ω<+60°}、Ω4={-90°≤ω<-60°}和Ω5={+60°≤ω<+90°};根据估计的头部姿态在五个区间的概率分布作为条件概率,并按照此条件概率从对应的随机森林表情分类器中选择相应数量的决策树;将选择的决策树组装成新的随机森林分类器并估计面部表情。
2.根据权利要求1所述的学生课堂学习兴趣智能分析方法,其特征在于,所述融合学生的认知注意力、学习情绪和课堂参与度三维信息,分析学生的学习兴趣的具体实现方式为:
提取认知注意力、学习情绪和课堂参与度三个指标两两之间的重要性程度,构建判断矩阵A=[aij],1≤i,j≤3,其中,aij表示第i个指标对第j个指标的重要程度;根据判别矩阵计算特征值和特征向量,最大特征值对应的特征向量归一化后即为三个指标所分配的权重v=[v1,v2,v3];
融合课堂参与度评分S1、注意力评分S2和学习情绪评分S3得到学生课堂学习兴趣评估值S=S1*v1+S2*v2+S3*v3。
4.根据权利要求1或2所述的学生课堂学习兴趣智能分析方法,其特征在于,所述根据头部姿态评估学生的认知注意力的具体实现方式为:
在教学时间段内统计学生注视黑板、教师和学生端手持设备的时间,将其定义为注意力集中时间;将注意力集中时间与预定注意力阈值段匹配,将匹配成功的阈值段对应的分值记为注意力评分S2。
5.根据权利要求1或2所述的学生课堂学习兴趣智能分析方法,其特征在于,所述根据表情评估学生的学习情绪的具体实现方式为:
若注意力集中且表情为笑脸,表明学习情绪正面,其所持续的时间定义为正面学习情绪时间;计算正面学习情绪时间所占教学时间的比例;将该比例与预定情绪阈值段匹配,将匹配成功的阈值段对应的分值记为学习情绪评分S3。
6.根据权利要求1或2所述的学生课堂学习兴趣智能分析方法,其特征在于,所述头部姿态估计的具体实现方式为:采用vgg-face模型提取人脸图片的fc6层特征,然后送入离线训练的回归随机森林中估计头部姿态。
7.一种学生课堂学习兴趣智能分析***,其特征在于,包括:
摄像头,用于采集教室内场景图像;
人脸检测与分析模块,包括:人脸检测模块、头部姿态估计模块和表情识别模块;人脸检测模块,用于在所述的场景图像中检测和定位人脸区域;头部姿态估计模块,用于在人脸区域估计所述人脸的头部姿态;表情识别模块,用于在人脸区域估计所述人脸的表情;
师生互动云平台模块,包括:教师端模块,学生端模块和平台数据分析模块;教师端模块,用于教师发布互动题目和收集学生的答题情况;学生端模块,用于学生接收互动题目和提交题目答案;平台数据分析模块用于统计学生的答题频率和正确率;
学习兴趣分析模块,包括课堂参与度评分模块、注意力评分模块、参与度评分模块和融合模块;所述课堂参与度评分模块,用于根据头部姿态评估学生的认知注意力;所述注意力评分模块,用于根据表情评估学生的学习情绪;所述参与度评分模块,用于根据答题的频率与正确率评估学生的参与度;所述融合模块,用于融合学生的认知注意力、学习情绪和课堂参与度三维信息,分析学生的学习兴趣;
其中表情识别模块用于:采用vgg-face模型提取人脸图片的fc6层特征,按照头部姿态划分为五个区间Ω1={-30°≤ω≤+30°}、Ω2={-60°≤ω<-30°}、Ω3={+30°≤ω<+60°}、Ω4={-90°≤ω<-60°}和Ω5={+60°≤ω<+90°};根据估计的头部姿态在五个区间的概率分布作为条件概率,并按照此条件概率从对应的随机森林表情分类器中选择相应数量的决策树;将选择的决策树组装成新的随机森林分类器并估计面部表情。
8.根据权利要求7所述的学生课堂学习兴趣智能分析***,其特征在于,所述融合模块的具体实现方式为:提取认知注意力、学习情绪和课堂参与度三个指标两两之间的重要性程度,构建判断矩阵A=[aij],1≤i,j≤3,其中,aij表示第i个指标对第j个指标的重要程度;根据判别矩阵计算特征值和特征向量,最大特征值对应的特征向量归一化后即为三个指标所分配的权重v=[v1,v2,v3];
融合课堂参与度评分S1、注意力评分S2和学习情绪评分S3得到学生课堂学习兴趣评估值S=S1*v1+S2*v2+S3*v3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810124929.3A CN108399376B (zh) | 2018-02-07 | 2018-02-07 | 学生课堂学习兴趣智能分析方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810124929.3A CN108399376B (zh) | 2018-02-07 | 2018-02-07 | 学生课堂学习兴趣智能分析方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108399376A CN108399376A (zh) | 2018-08-14 |
CN108399376B true CN108399376B (zh) | 2020-11-06 |
Family
ID=63096375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810124929.3A Active CN108399376B (zh) | 2018-02-07 | 2018-02-07 | 学生课堂学习兴趣智能分析方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108399376B (zh) |
Families Citing this family (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109770889B (zh) * | 2017-11-15 | 2022-03-11 | 深圳市理邦精密仪器股份有限公司 | 心电数据选段方法和装置 |
CN109165599A (zh) * | 2018-08-27 | 2019-01-08 | 北京洛必达科技有限公司 | 大数据教育辅助方法、***、存储介质及计算机设备 |
CN109241917A (zh) * | 2018-09-12 | 2019-01-18 | 南京交通职业技术学院 | 一种基于计算机视觉的课堂行为检测*** |
CN109165633A (zh) * | 2018-09-21 | 2019-01-08 | 上海健坤教育科技有限公司 | 一种基于摄像头感知的智能交互式学习*** |
CN109359606A (zh) * | 2018-10-24 | 2019-02-19 | 江苏君英天达人工智能研究院有限公司 | 一种课堂实时监测与评估***及其工作方法、创建方法 |
CN109214966A (zh) * | 2018-10-25 | 2019-01-15 | 重庆鲁班机器人技术研究院有限公司 | 学习效果获取方法、装置以及电子设备 |
CN109670395A (zh) * | 2018-10-29 | 2019-04-23 | 四川文轩教育科技有限公司 | 一种基于人工智能的学生专注度监测方法 |
CN109508656A (zh) * | 2018-10-29 | 2019-03-22 | 重庆中科云丛科技有限公司 | 一种舞蹈评级自动判别方法、***及计算机可读存储介质 |
CN109657553B (zh) * | 2018-11-16 | 2023-06-20 | 江苏科技大学 | 一种学生课堂注意力检测方法 |
CN111199378B (zh) * | 2018-11-20 | 2024-03-26 | 深圳云天励飞技术有限公司 | 学员管理方法、装置、电子设备及存储介质 |
CN109583351B (zh) * | 2018-11-22 | 2023-04-07 | 广州市保伦电子有限公司 | 基于视频分析的课堂学生注意力获取方法、装置及介质 |
CN109684949A (zh) * | 2018-12-12 | 2019-04-26 | 嘉兴极点科技有限公司 | 一种基于人工智能的在线教育人机交互方法与*** |
CN109614934B (zh) * | 2018-12-12 | 2023-06-06 | 易视腾科技股份有限公司 | 在线教学质量评估参数生成方法及装置 |
CN109858410A (zh) * | 2019-01-18 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 基于表情分析的服务评价方法、装置、设备及存储介质 |
CN109961047A (zh) * | 2019-03-26 | 2019-07-02 | 北京儒博科技有限公司 | 教育机器人的学习监督方法、装置、机器人及存储介质 |
CN111860033A (zh) * | 2019-04-24 | 2020-10-30 | 北京三好互动教育科技有限公司 | 一种注意力识别方法和装置 |
CN109919143B (zh) * | 2019-04-24 | 2023-08-18 | 重庆交互科技有限公司 | 基于多感官交互体验和学习注意力评估的教育方法 |
CN110276246A (zh) * | 2019-05-09 | 2019-09-24 | 威比网络科技(上海)有限公司 | 课程指数检测告警方法、装置、电子设备、存储介质 |
CN110246385A (zh) * | 2019-05-16 | 2019-09-17 | 杭州博世数据网络有限公司 | 基于关键授课点评价的互联网教学辅助教学*** |
CN110287790B (zh) * | 2019-05-23 | 2021-04-02 | 华中师范大学 | 一种面向静态多人场景的学习状态混合分析方法 |
CN110287792B (zh) * | 2019-05-23 | 2021-05-04 | 华中师范大学 | 一种处于自然教学环境的课堂中学生学习状态实时分析方法 |
JP6636670B1 (ja) * | 2019-07-19 | 2020-01-29 | 株式会社フォーサイト | 学習システム、学習講義提供方法、およびプログラム |
CN110378736B (zh) * | 2019-07-23 | 2023-01-03 | 中国科学院东北地理与农业生态研究所 | 通过人脸表情识别评价游客对自然资源体验满意度的方法 |
CN110533992A (zh) * | 2019-09-02 | 2019-12-03 | 西南大学 | 一种学习成效预测方法及*** |
CN110533335A (zh) * | 2019-09-02 | 2019-12-03 | 西南大学 | 一种课堂认知负荷测量方法及*** |
CN110660275B (zh) * | 2019-09-18 | 2021-09-21 | 武汉天喻教育科技有限公司 | 一种基于视频分析的师生课堂即时互动***和方法 |
JP2021018408A (ja) | 2019-10-18 | 2021-02-15 | 株式会社フォーサイト | 学習システム、学習講義提供方法、およびプログラム |
CN111127967A (zh) * | 2019-12-26 | 2020-05-08 | 湖北时代万新国际教育发展有限公司 | 一种中小学生智能教育学习*** |
CN111428686A (zh) * | 2020-04-14 | 2020-07-17 | 北京易华录信息技术股份有限公司 | 一种学生兴趣偏好评估方法、装置及*** |
CN111680558A (zh) * | 2020-04-29 | 2020-09-18 | 北京易华录信息技术股份有限公司 | 一种基于视频图像的学习专注力评估方法及装置 |
CN111553323A (zh) * | 2020-05-22 | 2020-08-18 | 北京市商汤科技开发有限公司 | 视频处理方法及装置、电子设备和存储介质 |
CN111722710B (zh) * | 2020-06-02 | 2024-06-25 | 广东小天才科技有限公司 | 开启增强现实ar互动学习模式的方法及电子设备 |
CN111523518A (zh) * | 2020-06-08 | 2020-08-11 | 上海乂学教育科技有限公司 | 智适应学习方法及*** |
CN111814556A (zh) * | 2020-06-09 | 2020-10-23 | 厦门大学 | 一种基于计算机视觉的教学辅助方法和*** |
CN112115601B (zh) * | 2020-09-10 | 2022-05-17 | 西北工业大学 | 一种可靠的用户注意力监测估计表示模型 |
CN112529054B (zh) * | 2020-11-27 | 2023-04-07 | 华中师范大学 | 一种多源异构数据的多维度卷积神经网络学习者建模方法 |
CN112634096A (zh) * | 2020-12-07 | 2021-04-09 | 江苏欧帝电子科技有限公司 | 一种基于智能黑板的课堂管理方法及*** |
CN112633566A (zh) * | 2020-12-14 | 2021-04-09 | 北京易华录信息技术股份有限公司 | 一种自律能力评估方法、装置及计算机设备 |
CN112735213A (zh) * | 2020-12-31 | 2021-04-30 | 奇点六艺教育科技股份有限公司 | 一种智慧教学的方法、***、终端及存储介质 |
CN112766173B (zh) * | 2021-01-21 | 2023-08-04 | 福建天泉教育科技有限公司 | 一种基于ai深度学习的多模态情感分析方法及其*** |
CN113095208B (zh) * | 2021-04-08 | 2024-01-26 | 吉林工商学院 | 应用于大学英语教学课堂的注意力观测与提醒*** |
CN113239794B (zh) * | 2021-05-11 | 2023-05-23 | 西北工业大学 | 一种面向在线学习的学习状态自动识别方法 |
CN113256129A (zh) * | 2021-06-01 | 2021-08-13 | 南京奥派信息产业股份公司 | 一种专注度分析方法、***及计算机可读存储介质 |
CN113591678B (zh) * | 2021-07-28 | 2023-06-23 | 北京百度网讯科技有限公司 | 课堂注意力确定方法、装置、设备、存储介质及程序产品 |
CN113569761B (zh) * | 2021-07-30 | 2023-10-27 | 广西师范大学 | 一种基于深度学习的学生视点估计方法 |
CN114040159A (zh) * | 2021-11-05 | 2022-02-11 | 漳州爱果冻信息科技有限公司 | 一种智能自习室 |
CN114998968B (zh) * | 2022-06-16 | 2024-05-31 | 北京理工大学 | 一种基于音视频分析课堂交互行为的方法 |
CN116453384A (zh) * | 2023-06-19 | 2023-07-18 | 江西德瑞光电技术有限责任公司 | 基于tof技术的沉浸式智能学习***及控制方法 |
CN117909587A (zh) * | 2024-01-19 | 2024-04-19 | 广州铭德教育投资有限公司 | 基于ai的学生课后习题个性化推荐方法、*** |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130108170A1 (en) * | 2011-10-28 | 2013-05-02 | Raymond William Ptucha | Image Recomposition From Face Detection And Facial Features |
CN102945624A (zh) * | 2012-11-14 | 2013-02-27 | 南京航空航天大学 | 基于云计算模型和表情信息反馈的智能化视频教学*** |
CN205334563U (zh) * | 2016-01-05 | 2016-06-22 | 华中师范大学 | 一种学生课堂参与度检测*** |
CN106875764B (zh) * | 2017-04-26 | 2020-03-31 | 北京大生在线科技有限公司 | 基于网络的虚拟现实外语学习***及控制方法 |
CN107316261A (zh) * | 2017-07-10 | 2017-11-03 | 湖北科技学院 | 一种基于人脸分析的教学质量评估*** |
-
2018
- 2018-02-07 CN CN201810124929.3A patent/CN108399376B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108399376A (zh) | 2018-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108399376B (zh) | 学生课堂学习兴趣智能分析方法及*** | |
CN108648757B (zh) | 一种基于多维度课堂信息的分析方法 | |
CN109165552B (zh) | 一种基于人体关键点的姿态识别方法、***及存储器 | |
WO2020010785A1 (zh) | 一种课堂教学认知负荷测量*** | |
Mathe et al. | Actions in the eye: Dynamic gaze datasets and learnt saliency models for visual recognition | |
CN111046823A (zh) | 基于课堂视频的学生课堂参与度分析*** | |
Hu et al. | Research on abnormal behavior detection of online examination based on image information | |
US10176365B1 (en) | Systems and methods for multi-modal performance scoring using time-series features | |
CN111046819A (zh) | 一种行为识别处理方法及装置 | |
CN114021962A (zh) | 教学评估方法、评估装置及其相关设备和存储介质 | |
Liu et al. | Student engagement study based on multi-cue detection and recognition in an intelligent learning environment | |
Xu et al. | Classroom attention analysis based on multiple euler angles constraint and head pose estimation | |
Ashwin et al. | Unobtrusive students' engagement analysis in computer science laboratory using deep learning techniques | |
CN116050892A (zh) | 一种基于人工智能的智能教育评价监督方法 | |
Nithya | Automated class attendance system based on face recognition using PCA algorithm | |
Villegas-Ch et al. | Identification of emotions from facial gestures in a teaching environment with the use of machine learning techniques | |
Meriem et al. | Determine the level of concentration of students in real time from their facial expressions | |
Yang et al. | Student in-class behaviors detection and analysis system based on CBAM-YOLOv5 | |
CN112861809B (zh) | 基于多目标视频分析的课堂抬头检测***及其工作方法 | |
Yi et al. | Real time learning evaluation based on gaze tracking | |
Saurav et al. | AI Based Proctoring | |
Tran et al. | Recognition of student behavior through actions in the classroom | |
Kaur et al. | Domain adaptation based topic modeling techniques for engagement estimation in the wild | |
US20230026929A1 (en) | Information processing apparatus, information processing method, and program | |
Verma et al. | Automated smart artificial intelligence-based proctoring system using deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |