CN116433431A - 一种基于图像处理技术的教师教学状态自动评价方法及*** - Google Patents
一种基于图像处理技术的教师教学状态自动评价方法及*** Download PDFInfo
- Publication number
- CN116433431A CN116433431A CN202310401043.XA CN202310401043A CN116433431A CN 116433431 A CN116433431 A CN 116433431A CN 202310401043 A CN202310401043 A CN 202310401043A CN 116433431 A CN116433431 A CN 116433431A
- Authority
- CN
- China
- Prior art keywords
- teaching
- teacher
- teaching state
- evaluation
- attitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 113
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 238000005516 engineering process Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 38
- 230000000007 visual effect Effects 0.000 claims abstract description 16
- 230000009471 action Effects 0.000 claims abstract description 8
- 238000013139 quantization Methods 0.000 claims abstract description 5
- 238000002372 labelling Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims 2
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 210000003739 neck Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Educational Technology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及目标检测、图像分类领域，提供一种基于图像处理技术的教师教学状态自动评价方法及***，该方法包括以下步骤：(1)教师教学状态量化框架构建，建立教师教学状态评价指标，包括教学态度、授课方式和教学位置三个指标，确定各评价指标相关数据要素；(2)教师教学状态检测模型建立，获取教师教学状态训练样本，建立教师教学状态检测模型网络结构，通过样本训练确定教师教学状态检测模型；(3)教师教学状态评价，以可视化方式展示评价结果。本发明方法及***，通过自动识别和判断课堂实录视频资源中教师教学动作，提取教师教学状态特征，实现学生课堂教师教学状态的智能监测和精准评价。
Description
技术领域
本发明涉及目标检测、图像分类领域，具体涉及一种基于图像处理技术的教师教学状态自动评价方法及***。
背景技术
教师教学状态作为教师教学表现的主要方面，是表现性教育评价的基本依据。开展基于图像处理技术的教师教学状态评价，充分利用了深度学习在目标检测领域和图像分类领域的优势，有利于全面准确了解教师教学状态，为促进教师有效教学、建设高质量课堂提供支持。当前基于图像处理技术的教师教学状态自动评价中存在以下困难：(1)当前课堂实录视频资源受限于拍摄角度、学生分布干扰、视频质量较低，机器难以自动准确识别教师动作以及各动作差异，难以实现对教师动作细节的准确提取和识别；(2)缺乏针对教师教学状态的特征识别与指标构建，难以实现全面***的教师教学状态监测评价；(3)缺乏基于图像处理技术的教师教学评价的规范化流程和方法，致使规模化、自动化、客观化的教师教学状态监测评价难以实现。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于图像处理技术的教师教学状态自动评价方法及***，通过自动识别和判断课堂实录视频资源中教师教学动作，提取教师教学状态特征，实现学生课堂教师教学状态的智能监测和精准评价，为全面准确了解教师教学状态、促进教师高效教学、建设高质量课堂提供支持。
本发明的目的是通过以下技术措施实现的。
一种基于图像处理技术的教师教学状态自动评价方法，包括以下步骤：
(1)教师教学状态量化框架构建。建立教师教学状态评价指标，包括教学态度、授课方式和教学位置三个指标，确定各评价指标相关数据要素。
(2)教师教学状态检测模型建立。获取教师教学状态训练样本，建立教师教学状态检测模型网络结构，通过样本训练确定教师教学状态检测模型。
(3)教师教学状态评价。应用教师教学状态检测模型，分析待检测的课堂实录视频资源，得到评价指标相关数据要素检测结果，建立教师教学状态评价算法，测算教师教学状态，以可视化方式展示评价结果。
本发明还提供一种基于图像处理技术的教师教学状态自动评价***，包括以下模块：
特征标注模块，将课堂实录视频资源转换为图片，获取教师教学状态涉及的教师动作行为，对图片进行特征标注；
样本数据处理模块，将完成特征标注后的图片进行数据增强操作，得到教师教学状态训练样本；
教师教学状态检测模型网络模块，构建训练教师教学状态检测模型的网络结构；
模型训练模块，基于教师教学状态网络，训练教师教学状态检测模型；
教师教学状态检测模块，使用训练后的教师教学状态检测模型，分析待检测的课堂实录视频资源，测算教师教学状态检测结果；
教师教学状态评价指标相关数据项测算模块，处理教师教学状态的检测结果，计算评价指标相关数据项结果；
综合评价模块，基于评价指标相关数据项测算结果，利用教师教学状态评价算法，计算各评价指标得分和教师教学状态综合评价得分；
可视化展示模块，综合教师教学状态评价指标相关数据项测算结果和教师教学状态综合评价得分，利用柱状图和折线图绘制可视化结果。
本发明的有益效果在于：
应用计算机信息处理和图像识别技术，抓取课堂实录视频中教师动作信息和位置信息进行检测处理，识别教师教学状态特征，智能评价教师教学状态，并给出可视化结果展示，支持教师教学状态的实时检测与自动反馈，有利于全面准确了解教师教学状态，促进教师教学活动和高质量课堂建设。
附图说明
图1是本发明实施例的教师教学状态评价方法构建流程图；
图2是本发明实施例的教师教学状态检测模型Swin-Transformer模块结构示意图；
图3是本发明实施例的教师教学状态检测模型整体网络结构示意图；
图4是本发明实施例的教师教学状态检测中BackBone-Swin网络工作流程示意图；
图5是本发明实施例的教师教学状态检测中Neck网络工作流程示意图；
图6是本发明实施例的教师教学状态评价结果可视化示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明实施例提供一种基于图像处理技术的教师教学状态自动评价方法，包括如下步骤：
(1)教师教学状态量化框架构建。建立教师教学状态评价指标，将评价指标分为教学态度、授课方式和教学位置，确定各评价指标相关数据要素。
(1-1)建立教师教学状态评价指标。根据教师教学状态特征，确定教师教学状态评价指标，包括教学态度、授课方式和教学位置三个指标。
(1-2)确定各评价指标相关数据要素。根据评价指标含义，确定评价指标相关数据要素。各评价指标说明和相关数据要素如表1所示。
表1教师教学状态评价指标
(2)教师教学状态检测模型建立。获取教师教学状态训练样本，建立教师教学状态检测模型网络结构，通过样本训练确定教师教学状态检测模型。
(2-1)获取教师教学状态训练样本。获取训练用的课堂实录视频资源，筛选有效图片，并根据教师教学状态相关指标的要素内容标注图片内容，得到教师教学状态训练样本。
(2-1-1)视频资源获取。读取数据库的课堂实录视频资源，筛选课堂教学的有效视频片段，并将其转换为图片。
(2-1-2)样本标注。根据教师教学状态指标所包含的数据要素，对图片进行特征标注，并对得到的特征数据进行增强操作，得到教师教学状态训练样本Sample_teacher。数据增强操作如下：
A.图像随机向右或者向左旋转40度；
B.图像进行垂直或水平翻转；
C.随机设置部分像素值为0；
D.给图像随机增加噪声。
(2-2)建立教师教学状态检测模型网络结构。在YOLOV5模型网络结构的基础上增加Swin-Transformer模块，Swin-Transformer模块结构如图2所示，构建教师教学状态检测模型网络结构，新的网络结构包括输入网络、BackBone-Swin网络、Neck网络和输出网络。其中输入网络、Neck网络和输出网络均沿用YOLOV5模型网络结构，BackBone-Swin网络是在YOLOV5模型的BackBone结构的基础上，增加Swin-Transformer模块结构。整体网络结构如图3所示，具体内容如下：
(2-2-1)输入端。输入教师教学状态训练样本Sample_teacher，经过自适应缩放处理为608*608*3的数据，并输出到BackBone-Swin网络。
(2-2-2)BackBone-Swin网络。BackBone-Swin网络主要由Focus模块、CBL模块、CSP1_5模块、SPP模块和Swin-Transformer模块组成。数据在BackBone-Swin网络的处理过程为：经过Focus模块进行切片处理并融合切片结果；然后由CBL模块和CSP1_5模块进行多次特征上采样和下采样；再经过SPP模块进行最大池化，然后进行特征融合，并输出给Swin-Transformer模块，Swin-Transformer模块处理后的数据传到Neck网络。样本在BackBone-Swin的处理流程如图4所示。
a.Fcous模块接收来自输入端的教师教学状态图片数据，采用切片操作，获得304*304*12的特征数据，再经过一次64卷积核的卷积操作，最终变成304*304*64的特征数据；
b.利用CBL模块对304*304*64的特征数据进行卷积并输出得到152*152*128的特征数据，并将特征数据传入CSP1_5进行特征下采样得到76*76*128的特征数据；
c.再传入CBL进行卷积操作，获得76*76*256的特征数据，传入CSP1_5进行特征下采样得到38*38*256的特征数据，形成2个输出；其中，输出BS-feature1传入后续BackBone-Swin网络模块，输出BS-feature2传入Neck网络；
d.输出BS-feature2经过CBL获取38*38*512的特征数据，再传入CSP1_5进行特征下采样得到19*19*512的特征数据，形成2个输出；其中，输出BS-feature3传入Neck网络，输出BS-feature4传入BackBone-Swin网络的CBL得到19*19*1024的特征数据，并输入到SPP中进行最大池化，然后进行特征融合，融合后的特征输入到Swin-Transformer模块中，并输出特征BS-feature5给Neck网络，经由Swin-Transformer模块的处理可以捕捉不同的局部信息，并减少计算量。
(2-2-3)Neck网络。将经由BackBone-Swin网络处理后的数据，导入Neck网络中，并经过不同的张量拼接层Concat进行特征聚合，生成待预测的图片，并传到输出端，Neck网络具体工作流程如图5所示。
a.经过CBL接受来自Swin-Transformer模块的特征数据，并进行卷积，卷积后的数据形成2个输出，其中NS-feature1进行上采样，NS-feature2直接输送至张量拼接层Concat；
b.经过上采样的数据和CPS1_5传来的BS-feature3输入张量拼接层Concat，得到的结果利用CSP2_2进行特征融合，CBL进行卷积，并得到2个输出NS-feature3和NS-feature4，其中NS-feature3直接输送至张量拼接层Concat；
c.NS-feature4经过上采样后，与来自BackBone-Swin网络的BS-feature2同时导入张量拼接层Concat，其结果经过CSP2_2进行特征融合，形成2个输出NS-feature5和NS-feature6，其中NS-feature5输出到输出端；
d.NS-feature6输出到CBL，CBL卷积以后与NS-feature3同时导入张量拼接层Concat，然后由CSP2_2进行特征融合，形成2个输出，其中NS-feature7会输出到输出端；
e.NS-feature8输出到CBL，CBL卷积后的数据与NS-feature2同时导入张量拼接层Concat，然后由CSP2_2进行特征融合，并输出NS-feature9到输出端。
(2-2-4)输出端。输出端获取来自Neck网络的特征数据，然后利用特征数据生成预测结果，并计算预测结果的损失值，本网络采用Focal-EIOU_Loss函数计算损失值。
(2-3)模型训练与确定。设置模型训练参数，将教师教学状态训练样本用于模型训练，使用精确度P、召回率R、F1评分、平均精确度mAP评价每个模型的性能，其中mAP作为评估模型总体性能的关键指标，最后将mAP最高的模型确定为教师教学状态检测模型。各参数具体计算公式如下：
其中，P代表精确率，R代表召回率，TP指正确预测真实值的次数，FP指正确预测错误值的次数，FN指错误预测真实值的次数，mAP代表每一类指标的平均正确率。
(3)教师教学状态评价。应用教师教学状态检测模型，分析待检测的课堂实录视频资源，得到评价指标相关数据要素检测结果，建立教师教学状态评价算法，测算教师教学状态，以可视化方式展示评价结果。
(3-1)教师教学状态评价指标相关数据项测算。调用教师教学状态检测模型，分析待检测的课堂实录视频资源，测算教师教学状态相关的数据要素结果。
(3-1-1)待测资源处理。将待检测的课堂实录视频资源转换为统一规格的图片集合S，记录每个图片对应时刻。
(3-1-2)检测模型调用。调用教师教学状态检测模型检测图片集合S，得到每个图片中关于各项数据要素的检测结果，每个图片的检测结果信息包括数据要素名称、教师图像、图像坐标和对应时刻。
(3-1-3)评价指标相关数据项测算。根据评价指标与数据要素的对应关系，合并关于各项数据要素的检测结果，计算评价指标相关数据项结果。具体如下：
教学态度指标相关的持续时长测算：合并“接电话”数据要素的检测结果，将连续时刻合并为一个时间段，计算各时间段所占时间长度之和作为教学态度指标相关的持续时长Tattitude。
授课方式指标相关的持续时长测算：合并“板书、实物演示、播放PPT、教学手势”数据要素的检测结果，测算各数据要素的持续时长Tmethod和出现的种类数Nmethod，当授课方式的某个数据要素持续时长Tmethod≥1min时Nmethod才进行计数。
教学位置指标相关的时长测算：获取“教室前、教室中、教室后”数据要素的检测结果，将连续时刻合并为一个时间段，分别计算各要素所占时间长度之和Tposition-ahead、Tposition-central和Tposition-rear作为教学位置指标相关的持续时长。
(3-2)教师教学状态评价指标得分测算。建立教师教学状态评价算法，处理评价指标相关数据项测算结果，计算各评价指标得分。
(3-2-1)教学态度指标得分测算。根据教学态度指标相关的持续时长Tattitude，时长单位为分钟，测算教学态度指标得分Sattitude。若Tattitude＝0，Sattitude为100分；若Tattitude∈(0，4]，Sattitude为80分；若Tattitude∈(4，6]，Sattitude为60分；若Tattitude∈(6，8]，Sattitude为40分；若Tattitude＞8，Sattitude为0分。
(3-2-2)授课方式指标得分测算。根据授课方式指标相关数据要素出现的种类数Nmethod，测算授课方式指标得分Smethod。若Nmethod＝0，Smethod为0分；若Nmethod＝1，Smethod为60分；若Nmethod∈(1，3]，Smethod为80分；若Nmethod＞3，Smethod为100分。
(3-2-3)教学位置指标得分测算。根据教学位置指标相关的持续时长Tposition-ahead、Tposition-central和Tposition-rear，时长单位为分钟，给出教师上课类型判断结果Typeteach和教学位置指标得分Sposition。若Tposition-central＞Tposition-ahead且Tposition-central＞Tposition-rear，则Typeteach判断结果为融入学生型，Sposition为100分；若Tposition-ahead＞Tposition-central且Tposition-ahead＞Tposition-rear，则Typeteach判断结果为讲台讲授型，Sposition为80分；若Tposition-rear＞Tposition-ahead且Tposition-rear＞Tposition-central，则Typeteach判断结果为监督教学型，Sposition为60分。
(3-3)教师教学状态综合评价得分测算。综合评价得分测算公式为根据各特征得分和权重系数，应用线性加权方法计算综合评分值。
Score＝Sattitude×Wattitude+Smethod×Wmethod+Sposition×Wposition
其中，Score表示教师教学状态综合评价得分，Sattitude和Wattitude分别表示教学态度指标的得分和权重系数，Smethod和Wmethod分别表示授课方式指标的得分和权重系数，Sposition和Wposition分别表示教学位置指标的得分和权重系数。
(3—4)可视化展示。结合教师教学状态评价指标相关数据项测算结果和教师教学状态综合评价得分进行可视化绘图。其中利用折线图展示每个指标的图片和时间点，并根据图像坐标，将每个检测结果进行分割并展示到折线图的对应节点上；使用饼状图来展示教师教学位置相关的时长占比。可视化展示结果如图6所示。
本发明实施例还提供一种基于图像处理技术的教师教学状态自动评价***，用于实现上述的基于图像处理技术的教师教学状态评价方法，包括：
特征标注模块，将课堂实录视频资源转换为图片，获取教师教学状态涉及的教师动作行为，对图片进行特征标注；
样本数据处理模块，将完成特征标注后的图片进行数据增强操作，得到教师教学状态训练样本；
教师教学状态检测模型网络模块，构建训练教师教学状态检测模型的网络结构；
模型训练模块，基于教师教学状态网络，训练教师教学状态检测模型；
教师教学状态检测模块，使用训练后的教师教学状态检测模型，分析待检测的课堂实录视频资源，测算教师教学状态检测结果；
教师教学状态评价指标相关数据项测算模块，处理教师教学状态的检测结果，计算评价指标相关数据项结果；
综合评价模块，基于评价指标相关数据项测算结果，利用教师教学状态评价算法，计算各评价指标得分和教师教学状态综合评价得分；
可视化展示模块，综合教师教学状态评价指标相关数据项测算结果和教师教学状态综合评价得分，利用柱状图和折线图绘制可视化结果。
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于图像处理技术的教师教学状态自动评价方法，其特征在于该方法包括以下步骤：
(1)教师教学状态量化框架构建，建立教师教学状态评价指标，包括教学态度、授课方式和教学位置三个指标，确定各评价指标相关数据要素；
(2)教师教学状态检测模型建立，获取教师教学状态训练样本，建立教师教学状态检测模型网络结构，通过样本训练确定教师教学状态检测模型；
(3)教师教学状态评价，应用教师教学状态检测模型，分析待检测的课堂实录视频资源，得到评价指标相关数据要素检测结果，建立教师教学状态评价算法，测算教师教学状态，以可视化方式展示评价结果。
2.根据权利要求1所述的基于图像处理技术的教师教学状态自动评价方法，其特征在于步骤(1)中所述教师教学状态量化框架构建的具体过程为：
(1-1)建立教师教学状态评价指标，根据教师教学状态特征确定教师教学状态评价指标，包括教学态度、授课方式和教学位置三个指标；其中：
教学态度：用于评价教师是否专心于课堂学习活动、教师教学内容；
授课方式：用于评价教师授课方式的多样性程度；
教学位置：用于评价教师上课类型；
(1-2)确定各评价指标相关数据要素，根据各评价指标含义，确定评价指标相关数据要素，具体如下：
教学态度指标相关的数据要素包括：接电话；
授课方式指标相关的数据要素包括：板书、实物演示、播放PPT、教学手势；
教学位置指标相关的数据要素包括：教室前、教室中、教室后。
3.根据权利要求1所述的基于图像处理技术的教师教学状态自动评价方法，其特征在于步骤(2)中所述教师教学状态检测模型建立的具体过程为：
(2-1)获取教师教学状态训练样本，获取训练用的课堂实录视频资源，筛选有效图片，并根据教师教学状态评价指标相关数据要素标注图片内容，得到教师教学状态训练样本；
(2-1-1)视频资源获取，读取数据库的课堂实录视频资源，筛选课堂教学的有效视频片段，并将其转换为图片；
(2-1-2)样本标注，根据教师教学状态指标所包含的数据要素，对图片进行特征标注，并对得到的特征数据进行增强操作，得到教师教学状态训练样本；
(2-2)建立教师教学状态检测模型网络结构，在YOLOV5模型网络结构的基础上增加Swin-Transformer模块，构建教师教学状态检测模型网络结构，网络结构包括输入网络、BackBone-Swin网络、Neck网络和输出网络，其中输入网络、Neck网络和输出网络均沿用YOLOV5模型网络结构，BackBone-Swin网络是在YOLOV5模型BackBone结构的基础上，增加Swin-Transformer模块结构，具体内容如下：
(2-2-1)输入端，输入教师教学状态训练样本Sample_teacher，经过自适应缩放处理为608*608*3的数据，并输出到BackBone-Swin网络；
(2-2-2)BackBone-Swin网络，BackBone-Swin网络包括Focus模块、CBL模块、CSP1_5模块、SPP模块和Swin-Transformer模块，数据在BackBone-Swin网络的处理过程为：经过Focus模块进行切片处理，并融合切片结果；然后由CBL模块和CSP1_5模块进行多次特征上采样和下采样，在采样的过程会将特征传到Neck网络和BackBone-Swin网络的后续模块；再经过SPP模块进行最大池化，然后进行特征融合，融合后的特征输出给Swin-Transformer模块，Swin-Transformer模块处理后的数据传到Neck网络；
(2-2-3)Neck网络，Neck网络使用FPN结构加PAN结构，对数据进行上采样和下采样，然后经过不同的张量拼接层Concat进行特征聚合，生成待预测的图片数据，并传到输出端；
(2-2-4)输出端，输出端接收来自Neck网络的待预测数据，然后生成预测结果，并使用Focal-EIOU_Loss函数计算损失值；
(2-3)模型训练与确定，设置模型训练参数，将教师教学状态训练样本用于模型训练，使用精确度P、召回率R、F1评分、平均精确度mAP评价每个模型的性能，其中mAP作为评估模型总体性能的关键指标，最后将mAP最高的模型确定为教师教学状态检测模型，各参数具体计算公式如下：
其中，P代表精确率，R代表召回率，TP指正确预测真实值的次数，FP指正确预测错误值的次数，FN指错误预测真实值的次数，mAP代表每一类指标的平均正确率。
4.根据权利要求1所述的基于图像处理技术的教师教学状态自动评价方法，其特征在于步骤(3)中所述教师教学状态评价的具体过程为：
(3-1)教师教学状态评价指标相关数据项测算，调用教师教学状态检测模型，分析待检测的课堂实录视频资源，测算教师教学状态相关的数据要素结果；
(3-1-1)待测资源处理，将待检测的课堂实录视频资源转换为统一规格的图片集合S，记录每个图片对应时刻；
(3-1-2)检测模型调用，调用教师教学状态检测模型检测图片集合S，得到每个图片中关于各项数据要素的检测结果，每个图片的检测结果信息包括数据要素名称、教师图像、图像坐标、对应时刻；
(3-1-3)评价指标相关数据项测算，根据评价指标与数据要素的对应关系，合并关于各项数据要素的检测结果，计算评价指标相关数据项结果，具体如下：
教学态度指标相关的持续时长测算：合并“接电话”数据要素的检测结果，将连续时刻合并为一个时间段，计算各时间段所占时间长度之和作为教学态度指标相关的持续时长Tattitude；
授课方式指标相关的持续时长测算：合并“板书、实物演示、播放PPT、教学手势”数据要素的检测结果，测算各数据要素的持续时长Tmethod和出现种类数Nmethod，当授课方式的某个数据要素持续时长Tmethod≥1min时Nmethod才进行计数；
教学位置指标相关的时长测算：获取“教室前、教室中、教室后”数据要素的检测结果，并测算三个要素的总时长Tposition-ahead、Tposition-central和Tposition-rear；
(3-2)教师教学状态评价指标得分测算，建立教师教学状态评价算法，处理评价指标相关数据项测算结果，计算各评价指标得分；
(3-2-1)教学态度指标得分测算，根据教学态度指标相关的持续时长Tattitude，时长单位为分钟，测算教学态度指标得分Sattitude；若Tattitude＝0，Sattitude为100分；若Tattitude∈(0，4]，Sattitude为80分；若Tattitude∈(4，6]，Sattitude为60分；若Tattitude∈(6，8]，Sattitude为40分；若Tattitude＞8，Sattitude为0分；
(3-2-2)授课方式指标得分测算，根据授课方式指标相关数据要素出现的种类数Nmethod，测算授课方式指标得分Smethod；若Nmethod＝0，Smethod为0分；若Nmethod＝1，Smethod为60分；若Nmethod∈(1，3]，Smethod为80分；若Nmethod＞3，Smethod为100分；
(3-2-3)教学位置指标得分测算，根据教学位置指标相关的持续时长Tposition-ahead、Tposition-central和Tposition-rear，时长单位为分钟，给出教师上课类型判断结果Typeteach和教学位置指标得分Sposition；若Tposition-central＞Tposition-ahead且Tposition-central＞Tposition-rear，则Typeteach判断结果为融入学生型，Sposition为100分；若Tposition-ahead＞Tposition-central且Tposition-ahead＞Tposition-rear，则Typeteach判断结果为讲台讲授型，Sposition为80分；若Tposition-rear＞Tposition-ahead且Tposition-rear＞Tposition-central，则Typeteach判断结果为监督教学型，Sposition为60分；
(3-3)教师教学状态综合评价得分测算，综合评价得分测算公式为根据各特征得分和权重系数，应用线性加权方法计算综合评分值；
Score＝Sattitude×Wattitude+Smethod×Wmethod+Sposition×Wposition
其中，Score表示教师教学状态综合评价得分，Sattitude和Wattitude分别表示教学态度指标的得分和权重系数，Smethod和Wmethod分别表示授课方式指标的得分和权重系数，Sposition和Wposition分别表示教学位置指标的得分和权重系数；
(3-4)可视化展示，结合教师教学状态评价指标相关数据项测算结果和教师教学状态综合评价得分进行可视化绘图。
5.一种基于图像处理技术的教师教学状态自动评价***，其特征在于用于实现权利要求1～4任一项中所述的基于图像处理技术的教师教学状态评价方法，包括：
特征标注模块，将课堂实录视频资源转换为图片，获取教师教学状态涉及的教师动作行为，对图片进行特征标注；
样本数据处理模块，将完成特征标注后的图片进行数据增强操作，得到教师教学状态训练样本；
教师教学状态检测模型网络模块，构建训练教师教学状态检测模型的网络结构；
模型训练模块，基于教师教学状态网络，训练教师教学状态检测模型；
教师教学状态检测模块，使用训练后的教师教学状态检测模型，分析待检测的课堂实录视频资源，测算教师教学状态检测结果；
教师教学状态评价指标相关数据项测算模块，处理教师教学状态的检测结果，计算评价指标相关数据项结果；
综合评价模块，基于评价指标相关数据项测算结果，利用教师教学状态评价算法，计算各评价指标得分和教师教学状态综合评价得分；
可视化展示模块，综合教师教学状态评价指标相关数据项测算结果和教师教学状态综合评价得分，利用柱状图和折线图绘制可视化结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310401043.XA CN116433431A (zh) | 2023-04-14 | 2023-04-14 | 一种基于图像处理技术的教师教学状态自动评价方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310401043.XA CN116433431A (zh) | 2023-04-14 | 2023-04-14 | 一种基于图像处理技术的教师教学状态自动评价方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116433431A true CN116433431A (zh) | 2023-07-14 |
Family
ID=87082850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310401043.XA Pending CN116433431A (zh) | 2023-04-14 | 2023-04-14 | 一种基于图像处理技术的教师教学状态自动评价方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116433431A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117078094A (zh) * | 2023-08-22 | 2023-11-17 | 云启智慧科技有限公司 | 一种基于人工智能的教师综合能力评估方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130099381A (ko) * | 2012-02-29 | 2013-09-06 | 조용인 | 교육 평가 시스템 |
| CN109800663A (zh) * | 2018-12-28 | 2019-05-24 | 华中科技大学鄂州工业技术研究院 | 基于语音和视频特征的教师教学评估方法及设备 |
| CN112908355A (zh) * | 2021-01-18 | 2021-06-04 | 江苏师范大学 | 一种师范生教学技能量化评价***及其方法 |
| CN114241422A (zh) * | 2021-12-23 | 2022-03-25 | 长春大学 | 一种基于ESRGAN和改进YOLOv5s的学生课堂行为检测方法 |
| CN114708525A (zh) * | 2022-03-04 | 2022-07-05 | 河北工程大学 | 一种基于深度学习的学生课堂行为识别方法及*** |
| CN114882440A (zh) * | 2022-05-30 | 2022-08-09 | 联通(广东)产业互联网有限公司 | 一种人头检测方法和*** |
| CN115661932A (zh) * | 2022-10-31 | 2023-01-31 | 北京同方软件有限公司 | 一种垂钓行为检测方法 |
-
2023
- 2023-04-14 CN CN202310401043.XA patent/CN116433431A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130099381A (ko) * | 2012-02-29 | 2013-09-06 | 조용인 | 교육 평가 시스템 |
| CN109800663A (zh) * | 2018-12-28 | 2019-05-24 | 华中科技大学鄂州工业技术研究院 | 基于语音和视频特征的教师教学评估方法及设备 |
| CN112908355A (zh) * | 2021-01-18 | 2021-06-04 | 江苏师范大学 | 一种师范生教学技能量化评价***及其方法 |
| CN114241422A (zh) * | 2021-12-23 | 2022-03-25 | 长春大学 | 一种基于ESRGAN和改进YOLOv5s的学生课堂行为检测方法 |
| CN114708525A (zh) * | 2022-03-04 | 2022-07-05 | 河北工程大学 | 一种基于深度学习的学生课堂行为识别方法及*** |
| CN114882440A (zh) * | 2022-05-30 | 2022-08-09 | 联通(广东)产业互联网有限公司 | 一种人头检测方法和*** |
| CN115661932A (zh) * | 2022-10-31 | 2023-01-31 | 北京同方软件有限公司 | 一种垂钓行为检测方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117078094A (zh) * | 2023-08-22 | 2023-11-17 | 云启智慧科技有限公司 | 一种基于人工智能的教师综合能力评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108960036B (zh) | 三维人体姿态预测方法、装置、介质及设备 | |
| JP2020525965A (ja) | 教学補助方法およびその方法を採用する教学補助システム | |
| CN112183238B (zh) | 一种远程教育注意力检测方法及*** | |
| CN113239916B (zh) | 一种表情识别及课堂状态评估方法、设备及介质 | |
| CN111144321B (zh) | 专注度检测方法、装置、设备和存储介质 | |
| CN116433431A (zh) | 一种基于图像处理技术的教师教学状态自动评价方法及*** | |
| CN110969045A (zh) | 一种行为检测方法、装置、电子设备和存储介质 | |
| CN114821229B (zh) | 基于条件生成对抗网络的水下声学数据集增广方法及*** | |
| CN114332911A (zh) | 一种头部姿态检测方法、装置及计算机设备 | |
| TW202219494A (zh) | 缺陷檢測方法及檢測裝置 | |
| CN115907507A (zh) | 一种联合课堂场景的学生课堂行为检测和学情分析方法 | |
| CN112101231A (zh) | 学习行为的监控方法、终端、小程序以及服务器 | |
| CN112861809B (zh) | 基于多目标视频分析的课堂抬头检测***及其工作方法 | |
| CN114187640A (zh) | 一种基于线上课堂的学情观察方法、***、设备及介质 | |
| CN117078670A (zh) | 一种云相框的生产控制*** | |
| CN116341983A (zh) | 一种专注力评价和预警方法、***、电子设备及介质 | |
| CN116259104A (zh) | 一种智能舞蹈动作质量评估方法、装置及*** | |
| CN116311060B (zh) | 一种基于计算机视觉的学生课堂学习投入度自动评价方法及*** | |
| CN115829234A (zh) | 基于课堂检测的自动化督导***及其工作方法 | |
| CN113469001A (zh) | 一种基于深度学习的学生课堂行为检测方法 | |
| CN113536926A (zh) | 基于距离向量和多角度自适应网络的人体动作识别方法 | |
| CN116051324A (zh) | 一种基于姿态检测的学生课堂参与状态评价方法及*** | |
| CN116894978B (zh) | 一种融合面部情绪与行为多特征的线上考试防作弊*** | |
| CN115331279A (zh) | 一种人脸表情信息分析的教学反馈方法、装置和服务器 | |
| CN115512401A (zh) | 学生自习状态监测方法、装置、***、介质以及学习设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |