CN114187640A - 一种基于线上课堂的学情观察方法、***、设备及介质 - Google Patents

一种基于线上课堂的学情观察方法、***、设备及介质 Download PDF

Info

Publication number
CN114187640A
CN114187640A CN202111541953.5A CN202111541953A CN114187640A CN 114187640 A CN114187640 A CN 114187640A CN 202111541953 A CN202111541953 A CN 202111541953A CN 114187640 A CN114187640 A CN 114187640A
Authority
CN
China
Prior art keywords
student
classroom
expression
students
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111541953.5A
Other languages
English (en)
Inventor
海克洪
杨俊�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Meihe Yisi Education Technology Co ltd
Original Assignee
Hubei Meihe Yisi Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Meihe Yisi Education Technology Co ltd filed Critical Hubei Meihe Yisi Education Technology Co ltd
Priority to CN202111541953.5A priority Critical patent/CN114187640A/zh
Publication of CN114187640A publication Critical patent/CN114187640A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于线上课堂的学情观察方法、***、设备及介质，每隔预设时间获取学生表情数据，采用结合HGO特征和LBP+算法的表情识别模型对所述表情数据进行分析，根据学生表情分析结果判断是否为不专注；在每个教学环节后设置课堂练习题目，对学生的课堂练习答案结合课堂练习题目难度进行灵活分析，根据学生课堂练习答案分析结果判断其对知识点的掌握情况；根据所述学生表情分析结果及练习答案分析结果生成课堂学情情况统计，反馈给学生及老师。本发明实时检测学生表情从而获知学生的专注度情况，通过课堂练习获知学生的知识点掌握程度，方便老师在线上课堂实时观察学生学情，及时根据学生学情调整课堂，有助于提升教学质量。

Description

一种基于线上课堂的学情观察方法、***、设备及介质
技术领域
本发明涉及教学技术领域，尤其涉及一种基于线上课堂的学情观察方法、***、设备及介质。
背景技术
当前的线上授课方式还是以大班教学为主，一个老师同时教授多个学生，再加上线上授课的特点，老师只能从摄像头观察学生的行为，然而多个视频画面并不方便老师观测到学生的情绪状态进而察觉到学生的不专注行为，而学生的学习成果也需要老师课后统一检查学生完成的作业来获知，这就导致老师在进行线上教育时不容易及时观察到学生的学情，难以根据学生表现来调整课堂进度。
而学生受不到老师的约束，往往无法及时意识到自己的走神行为，容易错过课堂关键教学内容而不自知，这样就导致教学质量下降，同时也不便于学生的自我行为约束。
因此，当前还没有一个普遍适用的方法，能够线上课堂无法及时观察了解到学生学情的问题。
发明内容
有鉴于此，本发明提出了一种基于线上课堂的学情观察方法，用于解决线上课堂无法及时观察了解到学生学情的问题。
本发明的技术方案是这样实现的：
本发明第一方面，公开一种基于线上课堂的学情观察方法，所述方法包括：
S1，每隔预设时间获取学生表情数据，对所述表情数据进行分析，根据学生表情分析结果判断是否为不专注；
S2，在每个教学环节后设置课堂练习题目，对学生的课堂练习答案进行分析，根据学生课堂练习答案分析结果判断其对知识点的掌握情况；
S3，根据所述学生表情分析结果及练习答案分析结果生成课堂学情情况统计，反馈给学生及老师。
本发明通过上述方法，实时检测到学生表情从而获知学生的专注度情况，通过课堂练习获知学生的知识点掌握程度情况，方便老师在线上课堂上也能实时观察学生学情，及时根据学生学情调整课堂，有助于提升教学质量。
在以上技术方案的基础上，优选的，步骤S1具体包括：
S1-1，基于HGO特征构建表情识别模型，并对所述表情识别模型进行训练；
S1-2，每隔预设时间获取学生表情数据，将所述表情数据投入训练好的表情识别模型进行分析，获取学生表情分析结果，当分析结果为不专注时，向学生发送警告信息，并记录下该次不专注行为；同时也可以老师发送该学生的不专注行为提醒；
S1-3，识别过程中，将学生表情数据存入样本数据集进行样本数据扩充。
本发明通过上述方法，定期观察学生表情，在学生注意力不集中时发出警告信息，有助于学生了解自身行为并进行自我约束，及时跟上课堂进度。
在以上技术方案的基础上，优选的，步骤S1-1具体包括：
S1-1-1，收集多张表情不同的证件照数据作为样本数据，对所述样本数据进行几何校正和归一化处的预处理，并且进行纹理特征提取，获得样本数据的LBP+特征图像；同时获取表情特征样本图片；
S1-1-2，对所述进行统一模式的像素直方图统计：将所述LBP+特征图像按照0-255的灰度划分为256个收集箱，按照灰度级的顺序，在每个收集箱中统计对应灰度级中像素的个数，获得LBP+统一模式直方图；将LBP+统一模式的直方图归一化，获得图像的LBP+统一模式的直方图特征；
S1-1-3，对样本数据进行HOG特征提取；将同类模式下的LBP+特征和HOG特征进行串联特征融合；在融合的特征空间里，随机提取训练样本，并将剩余样本作为测试样本；
S1-1-4，使用对抗生成网络进行样本扩充，从所述表情特征样本图片中提取表情，通过卷积神经网络将所述表情附着于单一人脸图像，训练生成不同表情下的人脸图像，并将其存储进所述训练样本；
S1-1-5，使用训练样本进行PCA降维计算，获得投影矩阵W，将训练样本经过投影矩阵W投影到低维子空间，获得人脸表情图像在低维子空间的特征表示，对所述表情识别模型进行训练；
S1-1-6，将测试样本通过投影矩阵W投影到低维子空间，用稀疏表示分类器对测试样本的特征进行分类，获得测试样本所属的类别，当测试样本输出结果误差值低于预设误差时，对所述表情识别模型的训练完成；反之则继续执行步骤S1-1-5。
本发明通过上述方法，构建基于HGO特征的表情识别模型，并对表情识别模型进行训练，通过LBP+统一模式直方图像素统计，将数据模式固定在256维，避免了二维图像矩阵转化成图像向量时产生的高维数据，LBP+统一模式直方图提取的特征，对整体纹理特征图像像素进行统计，提取不同表情类图像的纹理灰度信息；HOG特征提取方法可以很好的用边缘梯度方向和梯度强度来表征图像目标的外观和形状，对样本数据使用HOG方法提取特征可以有效地提取不同表情类图像中的像素梯度方向信息，获得表情形状变化特征，LBP+统一模式直方图提取的特征和HOG特征进行融合，充分利用了两种算法提取特征的互补性，再用PCA算法进行数据降维，以较低的维数表示具有纹理和形状信息的表情特征，提高了计算效率。
在以上技术方案的基础上，优选的，步骤S1-1-1具体包括：
对进行预处理后的样本数据，设定像素区域尺度大小为n×n，将设定像素区域内用邻域边缘像素分别与中心对称方向边缘像素比较，即只编码4个方向得到4位二进制数：
Figure BDA0003414555630000031
Figure BDA0003414555630000032
其中，P表示以R为半径的邻域上均匀选取像素点的个数，Ni为第i个邻域，(x,y)为像素点坐标。
本发明通过上述方法，采用改进的LBP+算法，在定义的像素区域内，用邻域边缘像素分别与中心对称方向边缘像素比较，即只编码4个方向得到4位二进制数，缩短编码长度和特征值长度，可以获得足够的特征细节，特征值越小计算速度越快，在特征值计算量上产生有益效果。
在以上技术方案的基础上，优选的，步骤S1-2具体包括：
每隔预设时间获取学生表情数据，将所述表情数据投入训练好的表情识别模型，所述表情识别模型对学生表情数据进行分类判断，确定当前学生表情类型，根据学生表情类型判断是否为不专注。
在以上技术方案的基础上，优选的，步骤S2具体包括：
S2-1，老师设置课堂练习题目时，预设课堂练习题目的难度；
S2-2，学生输入课堂练习答案，使用kmeans算法计算学生课堂练习答案与标准答案的相似度；
S2-3，根据课堂练习题目的难度以及相似度，确定学生的知识点掌握程度；
当题目难度为高难度时：相似度高于第一预设阈值的，知识点掌握程度为完全掌握；相似度低于第一预设阈值且高于第二预设阈值的，知识点掌握程度为基本掌握；相似度低于第二预设阈值的，知识点掌握程度为未掌握；
当题目难度为中等难度时：相似度高于第三预设阈值的，知识点掌握程度为完全掌握；相似度低于第三预设阈值且高于第四预设阈值的，知识点掌握程度为基本掌握；相似度低于第四预设阈值的，知识点掌握程度为未掌握；
当题目难度为低难度时：相似度高于第五预设阈值的，知识点掌握程度为完全掌握；相似度低于第五预设阈值且高于第六预设阈值的，知识点掌握程度为基本掌握；相似度低于第六预设阈值的，知识点掌握程度为未掌握。
本发明通过上述方法，根据课堂练习题目难度，结合学生作答情况，灵活判断学生对于知识点的掌握情况。
在以上技术方案的基础上，优选的，步骤S3具体包括：
所述课堂学情情况统计包括专注度报告和知识点掌握程度报告；
根据所述不专注行为记录，生成学生专注度报告反馈给学生；统计全班学生的不专注行为记录，生成班级专注度报告反馈给老师；
根据课堂练习答案分析结果，生成学生知识点掌握程度报告反馈给学生；统计全班学生的课堂练习答案分析结果，生成班级知识点掌握程度报告反馈给老师。
在以上技术方案的基础上，优选的，判断学生不专注时，课堂上向学生发送警告信息，同时也可以向老师发送该学生不专注的提醒信息；学生完成课堂练习题目后，可直接将该次练习反映的知识点掌握情况分析结果发送给学生。
本发明通过上述方法，及时反馈课堂情况给学生和老师，直观的数据统计报告便于反映课堂情况，老师可以及时了解学生及时调整课堂，学生也可以了解自身情况，便于自我约束。
本发明第二方面，公开一种基于线上课堂的学情观察***，所述***包括：
图像模块：用于每隔预设时间获取学生表情数据，通过表情识别模型对所述表情数据进行分析，根据学生表情分析结果判断是否为不专注；
答题模块：用于为教师课堂练习题目以及学生输入课堂练习***接口，同时分析学生的课堂练习答案以确定学生对知识点的掌握情况；
反馈模块，用于根据所述学生表情分析结果及练习答案分析结果生成课堂学情情况统计，反馈给学生及老师。
本发明第三方面，公开一种电子设备，所述设备包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的一种基于线上课堂的学情观察方法程序，一种基于线上课堂的学情观察方法程序配置为实现如本发明第一方面所述的一种基于线上课堂的学情观察方法。
本发明第四方面，公开一种计算机可读存储介质，所述存储介质上存储有一种基于线上课堂的学情观察方法程序，所述一种基于线上课堂的学情观察方法程序被执行时实现如本发明第一方面所述的一种基于线上课堂的学情观察方法。
本发明的一种基于线上课堂的学情观察方法相对于现有技术具有以下有益效果：
(1)通过实时检测到学生表情从而获知学生的专注度情况，通过课堂练习获知学生的知识点掌握程度情况，方便老师在线上课堂上也能实时观察学生学情，及时根据学生学情调整课堂，有助于提升教学质量；
(2)将LBP+统一模式直方图提取的特征和HOG特征进行融合，充分利用了两种算法提取特征的互补性，再用PCA算法进行数据降维，以较低的维数表示具有纹理和形状信息的表情特征，提高了计算效率；
(3)采用改进的LBP+算法，在定义的像素区域内，用邻域边缘像素分别与中心对称方向边缘像素比较，即只编码4个方向得到4位二进制数，缩短编码长度和特征值长度，可以获得足够的特征细节，特征值越小计算速度越快，在特征值计算量上在特征值计算量上产生有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于线上课堂的学情观察方法工作流程图；
图2为本发明一种基于线上课堂的学情观察方法LBP+算法进行特征提取的工作流程图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
实施例
本发明一种基于线上课堂的学情观察方法工作流程见图1，处理步骤说明如下：
第一步，每隔预设时间获取学生表情数据，对所述表情数据进行分析，根据学生表情分析结果判断是否为不专注。转第二步。
应当理解的是，在上述方案的基础上，步骤S1具体包括：
S1-1，基于HGO特征构建表情识别模型，并对所述表情识别模型进行训练；
S1-2，每隔预设时间获取学生表情数据，将所述表情数据投入训练好的表情识别模型进行分析，获取学生表情分析结果，当分析结果为不专注时，向学生发送警告信息，并记录下该次不专注行为；
S1-3，识别过程中，将学生表情数据存入样本数据集进行样本数据扩充。
应当理解的是，在上述方案的基础上，步骤S1-1具体包括：
S1-1-1，收集多张表情不同的证件照数据作为样本数据，对所述样本数据进行几何校正和归一化处的预处理，并且进行纹理特征提取，获得样本数据的LBP+特征图像；同时获取表情特征样本图片；
S1-1-2，对所述进行统一模式的像素直方图统计：将所述LBP+特征图像按照0-255的灰度划分为256个收集箱，按照灰度级的顺序，在每个收集箱中统计对应灰度级中像素的个数，获得LBP+统一模式直方图；将LBP+统一模式的直方图归一化，获得图像的LBP+统一模式的直方图特征；
S1-1-3，对样本数据进行HOG特征提取；将同类模式下的LBP+特征和HOG特征进行串联特征融合；在融合的特征空间里，随机提取训练样本，并将剩余样本作为测试样本；
S1-1-4，使用对抗生成网络进行样本扩充，从所述表情特征样本图片中提取表情，通过卷积神经网络将所述表情附着于单一人脸图像，训练生成不同表情下的人脸图像，并将其存储进所述训练样本；
S1-1-5，使用训练样本进行PCA降维计算，获得投影矩阵W，将训练样本经过投影矩阵W投影到低维子空间，获得人脸表情图像在低维子空间的特征表示，对所述表情识别模型进行训练；
S1-1-6，将测试样本通过投影矩阵W投影到低维子空间，用稀疏表示分类器对测试样本的特征进行分类，获得测试样本所属的类别，当测试样本输出结果误差值低于预设误差时，对所述表情识别模型的训练完成；反之则继续执行步骤S1-1-5。
应当理解的是，在上述方案的基础上，LBP+进行特征提取的工作流程见图2，步骤S1-1-1具体包括：
对进行预处理后的样本数据，设定像素区域尺度大小为n×n，将设定像素区域内用邻域边缘像素分别与中心对称方向边缘像素比较，即只编码4个方向得到4位二进制数：
Figure BDA0003414555630000081
Figure BDA0003414555630000082
其中，P表示以R为半径的邻域上均匀选取像素点的个数，Ni为第i个邻域，(x,y)为像素点坐标。
本发明采用了改进的LBP+算法，在定义的像素区域内，用邻域边缘像素分别与中心对称方向边缘像素比较，即只编码4个方向得到4位二进制数，缩短编码长度和特征值长度，可以获得足够的特征细节，特征值越小计算速度越快，在特征值计算量上在特征值计算量上产生有益效果；
本发明还将LBP+统一模式直方图提取的特征和HOG特征进行融合，充分利用了两种算法提取特征的互补性，有效地提取表情特征信息，提取的特征在不同类别之间具有较强的鉴别性和区分性，用归一化处理的图像像素统计直方图和图像梯度方向统计直方图进行特征串联融合，再用降维技术对融合特征数据降维，以较低的维数表示具有纹理和形状信息的表情特征，取得了较高的表情识别率，并获得较高的识别精度。
应当理解的是，在上述方案的基础上，步骤S1-2具体包括：
每隔预设时间获取学生表情数据，将所述表情数据投入训练好的表情识别模型，所述表情识别模型对学生表情数据进行分类判断，确定当前学生表情类型，根据学生表情类型判断是否为不专注。
第二步，在每个教学环节后设置课堂练习题目，对学生的课堂练习答案进行分析，根据学生课堂练习答案分析结果判断其对知识点的掌握情况。转第三步。
应当理解的是，在上述方案的基础上，步骤S2具体包括：
S2-1，老师设置课堂练习题目时，预设课堂练习题目的难度；
S2-2，学生输入课堂练习答案，使用kmeans算法计算学生课堂练习答案与标准答案的相似度；
S2-3，根据课堂练习题目的难度以及相似度，确定学生的知识点掌握程度；
当题目难度为高难度时：相似度高于第一预设阈值的，知识点掌握程度为完全掌握；相似度低于第一预设阈值且高于第二预设阈值的，知识点掌握程度为基本掌握；相似度低于第二预设阈值的，知识点掌握程度为未掌握；
当题目难度为中等难度时：相似度高于第三预设阈值的，知识点掌握程度为完全掌握；相似度低于第三预设阈值且高于第四预设阈值的，知识点掌握程度为基本掌握；相似度低于第四预设阈值的，知识点掌握程度为未掌握；
当题目难度为低难度时：相似度高于第五预设阈值的，知识点掌握程度为完全掌握；相似度低于第五预设阈值且高于第六预设阈值的，知识点掌握程度为基本掌握；相似度低于第六预设阈值的，知识点掌握程度为未掌握。
第三步，根据所述学生表情分析结果及练习答案分析结果生成课堂学情情况统计，反馈给学生及老师。
应当理解的是，在上述方案的基础上，步骤S3具体包括：
所述课堂学情情况统计包括专注度报告和知识点掌握程度报告；
根据所述不专注行为记录，生成学生专注度报告反馈给学生；统计全班学生的不专注行为记录，生成班级专注度报告反馈给老师；
根据课堂练习答案分析结果，生成学生知识点掌握程度报告反馈给学生；统计全班学生的课堂练习答案分析结果，生成班级知识点掌握程度报告反馈给老师。
本发明结合学生的专注度情况以及知识点掌握程度情况，及时提醒，方便老师在线上课堂上也能实时观察学生学情，并且生成直观的课堂学情情况统计，及时根据学生学情调整课堂，有助于提升教学质量。
本发明还公开一种基于线上课堂的学情观察***，所述***包括：
图像模块：用于每隔预设时间获取学生表情数据，通过表情识别模型对所述表情数据进行分析，根据学生表情分析结果判断是否为不专注；
答题模块：用于为教师课堂练习题目以及学生输入课堂练习***接口，同时分析学生的课堂练习答案以确定学生对知识点的掌握情况；
反馈模块，用于根据所述学生表情分析结果及练习答案分析结果生成课堂学情情况统计，反馈给学生及老师。
本发明还公开一种电子设备，所述设备包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的一种基于线上课堂的学情观察方法程序，一种基于线上课堂的学情观察方法程序配置为实现如本发明实施例所述的一种基于线上课堂的学情观察方法。
本发明还公开一种计算机可读存储介质，所述存储介质上存储有一种基于线上课堂的学情观察方法程序，所述一种基于线上课堂的学情观察方法程序被执行时实现如本发明实施例所述的一种基于线上课堂的学情观察方法。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于线上课堂的学情观察方法，其特征在于，所述一种基于线上课堂的学情观察方法包括以下步骤：
S1，每隔预设时间获取学生表情数据，对所述表情数据进行分析，根据学生表情分析结果判断是否为不专注；
S2，在每个教学环节后设置课堂练习题目，对学生的课堂练习答案进行分析，根据学生课堂练习答案分析结果判断其对知识点的掌握情况；
S3，根据所述学生表情分析结果及练习答案分析结果生成课堂学情情况统计，反馈给学生及老师。
2.如权利要求1所述的一种基于线上课堂的学情观察方法，其特征在于，所述步骤S1具体包括：
S1-1，基于HGO特征构建表情识别模型，并对所述表情识别模型进行训练；
S1-2，每隔预设时间获取学生表情数据，将所述表情数据投入训练好的表情识别模型进行分析，获取学生表情分析结果，当分析结果为不专注时，向学生发送警告信息，并记录下该次不专注行为；
S1-3，识别过程中，将学生表情数据存入样本数据集进行样本数据扩充。
3.如权利要求2所述的一种基于线上课堂的学情观察方法，其特征在于，所述步骤S1-1具体包括：
S1-1-1，收集多张表情不同的证件照数据作为样本数据，对所述样本数据进行几何校正和归一化处的预处理，并且进行纹理特征提取，获得样本数据的LBP+特征图像；同时获取表情特征样本图片；
S1-1-2，对所述进行统一模式的像素直方图统计：将所述LBP+特征图像按照0-255的灰度划分为256个收集箱，按照灰度级的顺序，在每个收集箱中统计对应灰度级中像素的个数，获得LBP+统一模式直方图；将LBP+统一模式的直方图归一化，获得图像的LBP+统一模式的直方图特征；
S1-1-3，对样本数据进行HOG特征提取；将同类模式下的LBP+特征和HOG特征进行串联特征融合；在融合的特征空间里，随机提取训练样本，并将剩余样本作为测试样本；
S1-1-4，使用对抗生成网络进行样本扩充，从所述表情特征样本图片中提取表情，通过卷积神经网络将所述表情附着于单一人脸图像，训练生成不同表情下的人脸图像，并将其存储进所述训练样本；
S1-1-5，使用训练样本进行PCA降维计算，获得投影矩阵W，将训练样本经过投影矩阵W投影到低维子空间，获得人脸表情图像在低维子空间的特征表示，对所述表情识别模型进行训练；
S1-1-6，将测试样本通过投影矩阵W投影到低维子空间，用稀疏表示分类器对测试样本的特征进行分类，获得测试样本所属的类别，当测试样本输出结果误差值低于预设误差时，对所述表情识别模型的训练完成；反之则继续执行步骤S1-1-5。
4.如权利要求3所述的一种基于线上课堂的学情观察方法，其特征在于，所述步骤S1-1-1具体包括：
对进行预处理后的样本数据，设定像素区域尺度大小为n×n，将设定像素区域内用邻域边缘像素分别与中心对称方向边缘像素比较，即只编码4个方向得到4位二进制数：
Figure FDA0003414555620000021
Figure FDA0003414555620000022
其中，P表示以R为半径的邻域上均匀选取像素点的个数，Ni为第i个邻域，(x,y)为像素点坐标。
5.如权利要求3所述的一种基于线上课堂的学情观察方法，其特征在于，所述步骤S1-2具体包括：
每隔预设时间获取学生表情数据，将所述表情数据投入训练好的表情识别模型，所述表情识别模型对学生表情数据进行分类判断，确定当前学生表情类型，根据学生表情类型判断是否为不专注。
6.如权利要求4所述的一种基于线上课堂的学情观察方法，其特征在于，所述步骤S2具体包括：
S2-1，老师设置课堂练习题目时，预设课堂练习题目的难度；
S2-2，学生输入课堂练习答案，使用kmeans算法计算学生课堂练习答案与标准答案的相似度；
S2-3，根据课堂练习题目的难度以及相似度，确定学生的知识点掌握程度；
当题目难度为高难度时：相似度高于第一预设阈值的，知识点掌握程度为完全掌握；相似度低于第一预设阈值且高于第二预设阈值的，知识点掌握程度为基本掌握；相似度低于第二预设阈值的，知识点掌握程度为未掌握；
当题目难度为中等难度时：相似度高于第三预设阈值的，知识点掌握程度为完全掌握；相似度低于第三预设阈值且高于第四预设阈值的，知识点掌握程度为基本掌握；相似度低于第四预设阈值的，知识点掌握程度为未掌握；
当题目难度为低难度时：相似度高于第五预设阈值的，知识点掌握程度为完全掌握；相似度低于第五预设阈值且高于第六预设阈值的，知识点掌握程度为基本掌握；相似度低于第六预设阈值的，知识点掌握程度为未掌握。
7.如权利要求6所述的一种基于线上课堂的学情观察方法，其特征在于，所述步骤S3具体包括：
所述课堂学情情况统计包括专注度报告和知识点掌握程度报告；
根据所述不专注行为记录，生成学生专注度报告反馈给学生；统计全班学生的不专注行为记录，生成班级专注度报告反馈给老师；
根据课堂练习答案分析结果，生成学生知识点掌握程度报告反馈给学生；统计全班学生的课堂练习答案分析结果，生成班级知识点掌握程度报告反馈给老师。
8.一种基于线上课堂的学情观察***，其特征在于，所述***包括：
图像模块：用于每隔预设时间获取学生表情数据，通过表情识别模型对所述表情数据进行分析，根据学生表情分析结果判断是否为不专注；
答题模块：用于为教师课堂练习题目以及学生输入课堂练习***接口，同时分析学生的课堂练习答案以确定学生对知识点的掌握情况；
反馈模块，用于根据所述学生表情分析结果及练习答案分析结果生成课堂学情情况统计，反馈给学生及老师。
9.一种电子设备，其特征在于，包括至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的一种基于线上课堂的学情观察方法程序，一种基于线上课堂的学情观察方法程序配置为实现如权利要求1至7任一项的一种基于线上课堂的学情观察方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有一种基于线上课堂的学情观察方法程序，所述一种基于线上课堂的学情观察方法程序被执行时实现如权利要求1至7中任一项的一种基于线上课堂的学情观察方法。
CN202111541953.5A 2021-12-16 2021-12-16 一种基于线上课堂的学情观察方法、***、设备及介质 Pending CN114187640A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111541953.5A CN114187640A (zh) 2021-12-16 2021-12-16 一种基于线上课堂的学情观察方法、***、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111541953.5A CN114187640A (zh) 2021-12-16 2021-12-16 一种基于线上课堂的学情观察方法、***、设备及介质

Publications (1)

Publication Number Publication Date
CN114187640A true CN114187640A (zh) 2022-03-15

Family

ID=80605302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111541953.5A Pending CN114187640A (zh) 2021-12-16 2021-12-16 一种基于线上课堂的学情观察方法、***、设备及介质

Country Status (1)

Country Link
CN (1) CN114187640A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937383A (zh) * 2022-06-02 2022-08-23 北京新唐思创教育科技有限公司 一种交互式在线教学方法、装置、设备及介质
CN116259004A (zh) * 2023-01-09 2023-06-13 盐城工学院 一种应用于在线教育的学生学习状态检测方法及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937383A (zh) * 2022-06-02 2022-08-23 北京新唐思创教育科技有限公司 一种交互式在线教学方法、装置、设备及介质
CN116259004A (zh) * 2023-01-09 2023-06-13 盐城工学院 一种应用于在线教育的学生学习状态检测方法及***
CN116259004B (zh) * 2023-01-09 2023-08-15 盐城工学院 一种应用于在线教育的学生学习状态检测方法及***

Similar Documents

Publication Publication Date Title
CN109522815B (zh) 一种专注度评估方法、装置及电子设备
US11790641B2 (en) Answer evaluation method, answer evaluation system, electronic device, and medium
US9666088B2 (en) Video-based teacher assistance
CN111027865B (zh) 基于行为和表情识别的教学分析与质量评估***及方法
CN112183238B (zh) 一种远程教育注意力检测方法及***
CN110175501B (zh) 基于人脸识别的多人场景专注度识别方法
CN111242049A (zh) 一种基于面部识别的学生网课学习状态评价方法及***
CN110889672A (zh) 一种基于深度学习的学生打卡及上课状态的检测***
CN113657168B (zh) 基于卷积神经网络的学生学习情绪的识别方法
CN114187640A (zh) 一种基于线上课堂的学情观察方法、***、设备及介质
CN111507227A (zh) 基于深度学习的多学生个体分割及状态自主识别方法
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、***及介质
CN112883867A (zh) 一种基于图像情感分析的学生在线学习评估方法及***
CN112686462A (zh) 基于学生画像的异常检测方法、装置、设备及存储介质
CN111178263B (zh) 一种实时表情分析方法及其装置
CN115546861A (zh) 一种在线课堂专注度识别方法、***、设备及介质
CN113762107A (zh) 对象状态评估方法、装置、电子设备及可读存储介质
CN112528777A (zh) 一种用于课堂环境下的学生面部表情识别方法及***
CN111507467A (zh) 神经网络模型的训练方法、装置、计算机设备及存储介质
CN111914801A (zh) 一种用于智慧教育的课堂分析方法
CN115546692A (zh) 一种远程教育数据采集分析方法、设备及计算机存储介质
CN115797829A (zh) 一种在线课堂学习状态分析方法
CN116071575A (zh) 一种基于多模态数据融合的学生课堂异常行为检测方法及检测***
Huang et al. Research on learning state based on students’ attitude and emotion in class learning
CN115967837A (zh) 基于网课视频进行内容互动的方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination