CN110443226A - 一种基于姿态识别的学生状态评价方法及*** - Google Patents

Abstract

本发明公开了一种基于姿态识别的学生状态评价方法及***。该方法包括:实时获取课堂上所有学生的课堂视频以及教师授课视频；间隔地从课堂视频中截取多个视频片段；每个视频片段关联一个时间标签；分割出视频片段中所有学生的单人视频片段；对于任一单人视频片段，利用人脸识别算法识别出单人视频片段中学生的个人信息，基于姿态识别模型识别出单人视频片段中学生的姿态输出每个学生的课堂表现评价，以及每个学生姿态时间集合中所有不符合课堂要求的姿态对应的时间标签。科学地综合学生所有视频片段中的姿态对学生进行课堂表现评价，记录学生不符合课堂要求姿态对应的时间标签，便于课后学生针对性复习遗漏知识点，教师也可依此改进授课方式。

Description

一种基于姿态识别的学生状态评价方法及***

技术领域

本发明涉及智能教育领域，特别是涉及一种基于姿态识别的学生状态评价方法及***。

背景技术

随着图像技术的成熟，人工智能技术广泛应用到课堂教学中。高校课程繁重而且课时有限，教师需要在较短的时间内完成教学任务。而高校课程学生逃课、上课瞌睡、走神的现象时有发生。为了保证课堂教学质量，高校教师经常互动，例如要求学生现场回答问题，维持课堂纪律，提醒瞌睡、走神的学生，记录学生课堂表现，无疑给教师增加了授课难度，也降低了课堂授课的连贯性，影响授课质量。因此，如何自动对每个学生的课堂表现进行科学准确的评价，具有重要的意义。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于姿态识别的学生状态评价方法及***。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种基于姿态识别的学生状态评价方法，包括:

步骤S1,实时获取课堂上所有学生的课堂视频以及教师授课视频，存储教师授课视频；

间隔地从所述课堂视频中截取多个视频片段；

每个视频片段关联有一个记录所述视频片段实际拍摄时间的时间标签；

步骤S2，对每个视频片段进行如下处理：

分割出视频片段中所有学生的单人视频片段；

对于任一单人视频片段，利用人脸识别算法识别出所述单人视频片段中学生的个人信息，基于姿态识别模型识别出所述单人视频片段中学生的姿态，将所述个人信息与姿态相关联；

步骤S3，利用从所有视频片段中获得的个人信息以及与所述个人信息相关联的姿态构建每个学生的姿态时间集合，设第k个学生的姿态时间集合为 U_k＝{[s_k1,s_k2,...,s_ki...,s_kN]，[T₁,T₂,...,T_i,...,T_N]}；

其中，1≤k≤n，n表示学生的总人数，为正整数；N表示视频片段的总数量，为正整数；s_ki表示第k个学生在第i个视频片段中的姿态；T_i表示第i个视频片段的时间标签，1≤i≤N；s_ki与T_i一一对应；

基于所有学生的姿态时间集合获得每个学生的课堂表现评价；

步骤S4，输出每个学生的课堂表现评价，以及每个学生姿态时间集合中所有不符合课堂要求的姿态对应的时间标签。

上述技术方案的有益效果为：该方法实时采集课堂视频以及教师授课视频，从课堂视频中识别出各学生在各视频片段的姿态，科学地综合学生所有视频片段中的姿态对学生进行课堂表现评价，同时记录学生不符合课堂要求姿态对应的时间标签，这样便于课后学生结合这些时间标签以及教师授课视频有针对性的复习遗漏的知识点，教师也可以查看较多学生未认真听讲的时间标签对应授课视频内容，改进授课方式，更好的提高教学质量。

为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种学生课堂状态评价***，包括拍摄课堂上所有学生的第一摄像头，拍摄课堂上教师授课内容的第二摄像头，以及服务器；

所述服务器接收第一摄像头输出的学生课堂视频和第二摄像头输出的教师授课视频，并按照本发明所述的基于姿态识别的学生状态评价方法获取每个学生的课堂表现评价，并保存学生的不符合课堂要求姿态对应的时间标签以及存储教师授课视频。

上述技术方案的有益效果为：该***实时采集课堂视频以及教师授课视频，保存学生的不符合课堂要求姿态对应的时间标签以及教师授课视频，从课堂视频中识别出各学生在各视频片段的姿态，科学地综合学生所有视频片段中的姿态对学生进行课堂表现评价，同时记录学生不符合课堂要求姿态对应的时间标签，这样便于课后学生结合这些时间标签以及教师授课视频有针对性的复习遗漏的知识点，教师也可以查看较多学生未认真听讲的时间标签对应授课视频内容，改进授课方式，更好的提高教学质量。

附图说明

图1是本发明一具体实施方式中基于姿态识别的学生状态评价方法的流程示意图；

图2是本发明一具体实施方式中三位姿势示意图；

图3是本发明一具体实施方式中姿态识别模型的结构示意图；

图4是本发明一具体实施方式中***布局示意图；

图5是本发明一具体实施方式中***连接示意图。

附图标记：

a头部；b颈部；c左肩；d背部；e左肘；f尾骨根部；g左手；h左臀；u左膝；v 右脚；w左脚；m右膝；z右臀；o右手；p右肘；q右肩；1第一摄像头；2第二摄像头； 3服务器；4学生终端设备。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明公开了一种基于姿态识别的学生状态评价方法，在一种优选实施方式中，该方法的流程示意图如图1所示，具体包括:

步骤S1,实时获取课堂上所有学生的课堂视频以及教师授课视频，存储教师授课视频；

间隔地从课堂视频中截取多个视频片段；

每个视频片段关联有一个记录视频片段实际拍摄时间的时间标签；

步骤S2，对每个视频片段进行如下处理：

分割出视频片段中所有学生的单人视频片段；

对于任一单人视频片段，利用人脸识别算法识别出单人视频片段中学生的个人信息，基于姿态识别模型识别出单人视频片段中学生的姿态，将个人信息与姿态相关联；

步骤S3，利用从所有视频片段中获得的个人信息以及与所述个人信息相关联的姿态构建每个学生的姿态时间集合，设第k个学生的姿态时间集合为 U_k＝{[s_k1,s_k2,...,s_ki...,s_kN]，[T₁,T₂,...,T_i,...,T_N]}；

其中，1≤k≤n，n表示学生的总人数，为正整数；N表示视频片段的总数量，为正整数；s_ki表示第k个学生在第i个视频片段中的姿态；T_i表示第i个视频片段的时间标签，1≤i≤N；s_ki与T_i一一对应；

基于所有学生的姿态时间集合获得每个学生的课堂表现评价；

步骤S4，输出每个学生的课堂表现评价，以及每个学生姿态时间集合中所有不符合课堂要求的姿态对应的时间标签。

在本实施方式中，可以相等或不相等时间间隔地从课堂视频中截取多个视频片段，相等时间间隔的间隔时间可为3-7秒，优选的，可选择为5秒。

在本实施方式中，教师授课视频优选的存储于公共服务器上，以便学生和教师查询。

在本实施方式中，一个视频片段至少包含一帧图像。从视频片段中分割出所有学生的单人视频片段，优选但不限于采用手动分割、或者根据图像中学生桌椅位置分布区域进行分割，或者采用现有视频内多目标人体区域分割方法进行分割处理，如可采用公开号为CN108648198A中公开的方法。

在本实施方式中，人脸识别算法采用现有的人脸识别算法，优选的，预先存储有课堂上所有应到学生的照片，以及与各照片关联的个人信息，将单人视频片段中的人脸图像与预存的照片一一比对，若两者的相似程度大于或等于 90％，即可认为该单人视频片段中的学生为该照片关联的学生。个人信息优选但不限于包含学生姓名和/或学号等。

在本实施方式中，输出的每个学生的课堂表现评价，以及每个学生姿态时间集合中所有不符合课堂要求的姿态对应的时间标签均可存储在公开服务器中，以便相关人员查询。优选的，定义学生集合Stu＝{Stu₁,Stu₂,Stu₃,...,Stu_n}，Stu_k表示第k个学生的课堂信息集合，Stu_k＝{p_k，class,[s_k1,s_k2,...,s_ki...,s_kN]，[T₁,T₂,...,T_N]}；class 表示课程信息；p_k表示第k个学生的个人信息；1≤k≤n；

在本发明的一种优选实施方式中，在步骤S2中，还包括对学生出席进行考勤的步骤，具体包括：

获取预存的该课堂所有应到学生的个人信息，累计每个应到学生的个人信息与所有单人视频片段经过人脸识别获得的学生个人信息相符的次数，若该次数小于等于预设的次数阈值，认为该应到学生缺勤并提醒该应到学生上课，若该次数大于预设的次数阈值，认为该应到学生出勤正常。

在本实施方式中，自动考核学生的出勤情况，无需教师参与，减轻了教师工作量。

在本实施方式中，次数阈值优选但不限于为70％N-90％N。对缺勤学生的提醒方式可采用服务器自动向缺勤学生的智能设备发送通知提醒信息，提醒学生该课程的授课时间、地点信息。

在本发明的一种优选实施方式中，如图3所示，在步骤S2中，基于姿态识别模型识别出单人视频片段中学生的姿态的步骤具体包括：

建立姿态识别模型，将单人视频片段输入姿态识别模型，姿态识别模型输出该单人视频片段中学生的姿态；

建立姿态识别模型的过程包括：

步骤S21，构建训练数据集，记为V_labled；训练数据集V_labled包括多个设置有姿态标签的单人视频片段；

步骤S22，通过视频特征提取模块提取训练数据集中单人视频片段的视频特征；

步骤S23，以训练数据集中的单人视频片段的视频特征为输入，以单人视频片段的姿态标签为分类结果，对随机森林分类器进行训练和验证，获得姿态识别模型。

在本实施方式中，采用基于深度学习的随机森林分类方法对姿态识别模型进行训练，智能化程度高，无需人工参与。

在本实施方式中，使用随机森林分类器，基决策树的数量为10，每棵树所有预测路径的长度上限为5，使用这个经过训练的分类器来分类视频的姿态。

在本发明的一种优选实施方式中，在步骤S21中，构建训练数据集的具体过程包括：

步骤S211，从已有的学生课堂视频中截取多个视频片段，分割出每个视频片段中所有学生的单人视频片段，将所有单人视频片段构建为单人视频片段集，记为V_unlabled；

步骤S212，预设多个姿态，姿态

s∈{阅读，书写，听讲，起立回答问题，举手，讲小话，玩手机，睡觉}；

将单人视频片段集中每个单人视频片段分别发送给多个受访者，由受访者对该单人视频片段与各姿态的相符程度进行打分，计算每个单人视频片段与各姿态相符程度得分的平均值：

其中，表示单人视频片段集中第i'个单人视频片段与第m个姿态s(m)相符程度得分的平均值；n_p表示对第i'个单人视频片段打分的受访者人数；i'、m、 j'均为正整数，且1≤m≤8，1≤j'≤n_p；

步骤S213，为单人视频片段设置姿态标签：

若第i'个单人视频片段与第m个姿态s(m)相符程度得分的平均值满足：则为第i'个单人视频片段设置姿态标签s_i'并将第i'个单人视频片段加入训练数据集V_labled，所述姿态标签s_i'为：其中，为预设的得分阈值；

若第i'个单人视频片段与第m个姿态s(m)相符程度得分的平均值不满足或者第i'个单人视频片段与一个以上姿态相符程度得分的平均值满足不将第i'个单人视频片段加入训练数据集V_labled。

在本实施方式中，多个受访者对每个单人视频片段分别与阅读、书写、听讲、起立回答问题、举手、讲小话、玩手机、打瞌睡这8个姿态相符程度打分，可采用5分或10分满分制，满分表示受访者认为连着完全相符，0分表示受访者认为连着完全不相符。为预设的得分阈值可为满分的70％，如采用5分满分制时，为预设的得分阈值可为3.5。

在本实施方式中，利用受访者评分制对已有数据集进行标签分类，更具人性化和准确性。

在本发明的一种优选实施方式中，如图3所示，在步骤S22中，视频特征提取模块提取训练数据集中单人视频片段的视频特征的过程包括：

步骤S221，对于第i'个单人视频片段，提取第i'个单人视频片段中每帧图像的三维姿势，获得三维姿势集合G；优选的，通过现有的OpenPose方法(Github 开源人体姿态识别项目)估计获得每帧图像中的三维姿势，三维姿势示意图如图2所示。

G＝{P₁,P₂,...,P_τ},τ为第i'个单人视频片段包含图像的总帧数，为正整数；P₁、P₂、…、P_τ分别表示第i'个单人视频片段中第1帧图像、第2帧图像、…、第τ帧图像的三维姿势；

步骤S222，通过现有的长短期记忆模型获取三维姿势集合G的深层特征 F_deep；

步骤S223，从三维姿势集合G中提取上课特征F_class，上课特征F_class包括姿态特征F_pose和运动特征F_move；

姿态特征其中，F_t,pose表示第t个图像帧的姿态特征， F_t,pose＝{f₁,f₂,...,f₁₆}，在第t个图像帧中，f₁表示人体在第t个图像帧中占据画面的大小，即人体区域像素点总和或人体区域占整个图像帧的比例；f₂表示左肩c 到颈部b连线与右肩q到颈部b连线形成的角度，如图2所示，为角度∠cbq；f₃表示左肩c到颈部b连线与头部a到颈部b连线形成的角度，如图2所示，为角度∠cba；f₄表示右肩q到颈部b连线与头部a到颈部b连线形成的角度，如图2所示，为角度∠qba；f₅表示头部a到颈部b连线与背部d到颈部b连线形成的角度，如图2所示，为角度∠abd；f₆表示颈部b到背部d连线与尾骨根部 f到背部d连线形成的角度，如图2所示，为角度∠bdf；f₇表示左肩c到左肘e 连线与左手g到左肘e连线形成的角度，如图2所示，为角度∠ceg；f₈表示右肩q到右肘p连线与右手o到右肘p连线形成的角度，如图2所示，为角度∠qpo； f₉表示左臀h部到左膝u连线与左脚到左膝u连线形成的角度，如图2所示，为角度∠huw；f₁₀表示右臀部到右膝m连线与右脚v到右膝m连线形成的角度，如图2所示，为角度∠zmv；f₁₁表示右手o与尾骨根部f的距离，如图2所示，为距离of；f₁₂表示左手g与尾骨根部f的距离，如图2所示，为距离hf；f₁₃表示右脚v与尾骨根部f的距离，如图2所示，为距离vf；f₁₄表示左脚w与尾骨根部f的距离，如图2所示，为距离wf；f₁₅表示两只手与颈部b所围成的三角形的面积，如图2所示，为三角形Δobg的面积；f₁₆表示两只脚与尾骨根部f所围成的三角形面积如图2所示，为三角形Δvfw的面积；1≤t≤τ；

运动特征其中，F_t,move表示第t个图像帧的运动特征， F_t,move＝{f₁₇,f₁₈,...,f₂₅}，在第t个图像帧中，f₁₇表示右手o速度，f₁₈表示右手o加速度，f₁₉表示右手o动作急促程度，f₂₀表示左手g速度，f₂₁表示左手g加速度， f₂₂表示左手g动作急促程度，f₂₃表示头部a速度，f₂₄表示头部a加速度，f₂₅表示头部a动作急促程度；

单人视频片段v_i的上课特征F_class＝F_pose+F_move；

步骤S224，单人视频片段v_i的视频特征为：F_total＝F_deep+F_class。

在本实施方式中，对于两只手和头部a这三个关节，记录每一帧图像中这三个关节的位置，然后单人视频片段就有了这三个关节的随时间变化的位移记录，位移记录可用位置向量表示。对某一关节的位置向量一阶求导，得到是该关节的速度，对某一关节的位置向量二阶求导，得到的是该关节运动的加速度；对某一关节的位置向量三阶求导，得到的是加速度变化的大小程度，称之为动作急促程度。

在本实施方式中，从每帧图像的三维姿势中求取多个来共建姿势特征，使得对学生姿态的识别更准确和科学。当然，由于学生坐立、运动、趴下等动作影响，在一帧图像中可能不能完全求取到f₁到f₂₅共25个特征参数，此时不能求取获得的特征参数可通过求取之前多帧图像中该特征参数(该特征参数的多个历史记录值)的平均值获得。

在本发明的一种优选实施方式中，在步骤S3中，基于所有学生的姿态时间集合获得每个学生的课堂表现评价的步骤具体包括：

步骤S31，设基于姿态识别模型识别出所述单人视频片段中学生的姿态s为：

步骤S32，求取每个学生在课堂上的听课状态、课堂互动程度、课堂活跃度和不专心程度；

第k个学生的听课状态L_k为：其中，所述L_ki为第k个学生在第i个单人视频片段v_i中的听课状态，s_ki表示第k个学生在第i个单人视频片段v_i中的姿态；

优选的，若第k个学生在第i个单人视频片段v_i中的听课状态无法识别，则将该学生的历史上课状态信息作为当前单人视频片段的听课状态，如将第i-1 或i-2单人视频片段中的听课状态作为当前单人视频片段的听课状态。

课堂互动程度由上课姿态中的举手和起立回答问题决定，第k个学生的课堂互动程度T_k为：其中，为预设的第一权重参数；Ω_{hand_k}表示第k个学生在N个视频片段中姿态为举手的占比，Ω_{stand_k}表示第k个学生在N个视频片段中姿态为起立回答问题的占比，

第k个学生的课堂活跃度B_k为：B_k＝max(0,min(1,1-ΔB_k))；其中，ΔB_k表示第 k个学生的课堂活跃度B_k的变化量，ΔB_k＝δ₁*(τ_{read_k}+τ_{write_k}+τ_{listen_k})+δ₂*(τ_{talk_k}+τ_{phone_k}+τ_{sleep_k})-δ₃*τ_{hand_k}-δ₄*τ_{stand_k}，δ₁表示预设的第一奖惩系数因子，δ₂表示预设的第二奖惩系数因子，δ₃表示预设的第三奖惩系数因子，δ₄表示预设的第四奖惩系数因子，τ_{read_k}、τ_{write_k}、τ_{listen_k}、τ_{talk_k}、τ_{phone_k}、τ_{sleep_k}、τ_{hand_k}、τ_{stand_k}分别表示第k个学生在N个视频片段中连续M个视频片段检测状态均为阅读、书写、听讲、讲小话、玩手机、睡觉、举手、起立回答问题的状态的次数，1≤M≤N；优选的，M为8次到15次，可为10次。

学生课堂活跃度B由学生是否持续长时间保持阅读、书写、听讲、讲小话、玩手机、打瞌睡的姿态和举手、起立回答问题来决定的。在课堂活跃度高的学生往往不会一直看书或听讲，而是一边听讲一边看书做笔记。B的基准值为1，范围在0到1之间。

根据上述学生持续讲小话、玩手机、睡觉的情况，定义学生的不专心程度，第k个学生的不专心程度Z_k为：Z_k＝τ_{talk_k}+τ_{phone_k}+τ_{sleep_k}；

步骤S33，基于所有学生在课堂上的听课状态、课堂互动程度、课堂活跃度和不专心程度获得每个学生的课堂表现评价，具体包括：

步骤S331，构造初始决策矩阵C；

n为学生总人数；

对初始决策矩阵C进行归一化处理，获得规范化决策矩阵C'；

步骤S332，设置权重矩阵W：

其中，η₁表示听课状态的权重，η₂表示课堂互动程度的权重，η₃表示课堂活跃度的权重，η₄表示不专心程度的权重；

步骤S333，计算加权决策矩阵D，

求解加权决策矩阵D的正理想解和负理想解

其中，j表示加权决策矩阵D的列数序号，j＝1,2,3,4；

步骤S334，计算每个学生与正负理想值之间的欧氏距离；

第k个学生与正理想解的欧式距离为：

第k个学生与负理想解的欧式距离为：

第k个学生的课堂表现评价为V_k：

在本实施方式中，从听课状态、课堂互动程度、课堂活跃度和不专心程度这四个维度去评价学生在上课的表现，依据多个维度去评价，通过决策矩阵的形式可以直接得到每个学生最接近于最优秀学生的程度，是一种更加科学合理的评价方式。根据学生的课堂表现设计一种评分机制，帮助老师对学生的课堂表现进行记录并科学地评分，有利于提高教学质量。

在本发明的一种优选实施方式中，在步骤S4中，不符合课堂要求的姿态包括讲小话、玩手机和睡觉。

在本实施方式中，优选的，还包括：

若基于姿态识别模型识别出单人视频片段中学生的姿态不符合课堂要求，对该单人视频片段中的学生进行提醒，进一步地，若该单人视频片段中的学生在之前M1个单人视频片段中的姿态均不符合课堂要求，提醒教师提醒该学生， M1为预设的正整数，1≤M1≤N。M1优选但不限于5-10。

本发明还公开了一种学生课堂状态评价***，在一种优选实施方式中，如图4和图5所示，该***包括拍摄课堂上所有学生的第一摄像头1，拍摄课堂上教师授课内容的第二摄像头2，以及服务器3；

服务器3接收第一摄像头1输出的学生课堂视频和第二摄像头2输出的教师授课视频，并按照上述基于姿态识别的学生状态评价方法获取每个学生的课堂表现评价，并保存学生的不符合课堂要求姿态对应的时间标签以及教师授课视频。

在本实施方式中，优选的，第一摄像头1位于教室前方且面朝所有学生，第二摄像头2位于教室后方且面朝教师，可以拍摄到黑板或投影仪。服务器3可位于教室或学校管理中心，其与第一摄像头1和第二摄像头2有线或无线连接。

在本发明的一种优选实施方式中，还包括与服务器3建立连接通信的多个学生终端设备4和教师终端设备。

在本实施方式中，学生终端设备4和教师终端设备与服务器3无线连接。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于姿态识别的学生状态评价方法，其特征在于，包括:

步骤S1,实时获取课堂上所有学生的课堂视频以及教师授课视频，存储教师授课视频；

间隔地从所述课堂视频中截取多个视频片段；

每个视频片段关联有一个记录所述视频片段实际拍摄时间的时间标签；

步骤S2，对每个视频片段进行如下处理：

分割出视频片段中所有学生的单人视频片段；

对于任一单人视频片段，利用人脸识别算法识别出所述单人视频片段中学生的个人信息，基于姿态识别模型识别出所述单人视频片段中学生的姿态，将所述个人信息与姿态相关联；

步骤S3，利用从所有视频片段中获得的个人信息以及与所述个人信息相关联的姿态构建每个学生的姿态时间集合，设第k个学生的姿态时间集合为U_k＝{[s_k1,s_k2,...,s_ki...,s_kN]，[T₁,T₂,...,T_i,...,T_N]}；

其中，1≤k≤n，n表示学生的总人数，为正整数；N表示视频片段的总数量，为正整数；s_ki表示第k个学生在第i个视频片段中的姿态；T_i表示第i个视频片段的时间标签，1≤i≤N；s_ki与T_i一一对应；

基于所有学生的姿态时间集合获得每个学生的课堂表现评价；

步骤S4，输出每个学生的课堂表现评价，以及每个学生姿态时间集合中所有不符合课堂要求的姿态对应的时间标签。

2.如权利要求1所述的基于姿态识别的学生状态评价方法，其特征在于，在所述步骤S2中，还包括对学生出席进行考勤的步骤，具体包括：

获取预存的该课堂所有应到学生的个人信息，累计每个应到学生的个人信息与所有单人视频片段经过人脸识别获得的学生个人信息相符的次数，若所述次数小于等于预设的次数阈值，认为该应到学生缺勤并提醒该应到学生上课，若所述次数大于预设的次数阈值，认为该应到学生出勤正常。

3.如权利要求1所述的基于姿态识别的学生状态评价方法，其特征在于，在所述步骤S2中，基于姿态识别模型识别出所述单人视频片段中学生的姿态的步骤具体包括：

建立姿态识别模型，将单人视频片段输入姿态识别模型，姿态识别模型输出所述单人视频片段中学生的姿态；

建立姿态识别模型的过程包括：

步骤S21，构建训练数据集，记为V_labled；所述训练数据集V_labled包括多个设置有姿态标签的单人视频片段；

步骤S22，通过视频特征提取模块提取训练数据集中单人视频片段的视频特征；步骤S23，以训练数据集中的单人视频片段的视频特征为输入，以单人视频片段的姿态标签为分类结果，对随机森林分类器进行训练和验证，获得姿态识别模型。

4.如权利要求3所述的基于姿态识别的学生状态评价方法，其特征在于，在所述步骤S21中，构建训练数据集的具体过程包括：

步骤S211，从已有的学生课堂视频中截取多个视频片段，分割出每个视频片段中所有学生的单人视频片段，将所有单人视频片段构建为单人视频片段集，记为V_unlabled；

步骤S212，预设多个姿态，姿态

s∈{阅读，书写，听讲，起立回答问题，举手，讲小话，玩手机，睡觉}；

将单人视频片段集中每个单人视频片段分别发送给多个受访者，由受访者对所述单人视频片段与各姿态的相符程度进行打分，计算每个单人视频片段与各姿态相符程度得分的平均值：

其中，r_i' ^s(m)表示单人视频片段集中第i'个单人视频片段与第m个姿态s(m)相符程度得分的平均值；n_p表示对第i'个单人视频片段打分的受访者人数；i'、m、j'均为正整数，且1≤m≤8，1≤j'≤n_p；

步骤S213，为单人视频片段设置姿态标签：

若第i'个单人视频片段与第m个姿态s(m)相符程度得分的平均值满足：则为第i'个单人视频片段设置姿态标签s_i'并将第i'个单人视频片段加入训练数据集V_labled，所述姿态标签s_i'为：其中，为预设的得分阈值；

若第i'个单人视频片段与第m个姿态s(m)相符程度得分的平均值不满足或者第i'个单人视频片段与一个以上姿态相符程度得分的平均值满足不将第i'个单人视频片段加入训练数据集V_labled。

5.如权利要求3所述的基于姿态识别的学生状态评价方法，其特征在于，在所述步骤S22中，视频特征提取模块提取训练数据集中单人视频片段的视频特征的过程包括：

步骤S221，对于第i'个单人视频片段，提取第i'个单人视频片段中每帧图像的三维姿势，获得三维姿势集合G；

所述G＝{P₁,P₂,...,P_τ},τ为第i'个单人视频片段包含图像的总帧数，为正整数；P₁、P₂、…、P_τ分别表示第i'个单人视频片段中第1帧图像、第2帧图像、…、第τ帧图像的三维姿势；

步骤S222，通过长短期记忆模型获取三维姿势集合G的深层特征F_deep；

步骤S223，从三维姿势集合G中提取上课特征F_class，所述上课特征F_class包括姿态特征F_pose和运动特征F_move；

所述姿态特征其中，F_t,pose表示第t个图像帧的姿态特征，F_t,pose＝{f₁,f₂,...,f₁₆}，在第t个图像帧中，f₁表示人体在第t个图像帧中占据画面的大小，f₂表示左肩到颈部连线与右肩到颈部连线形成的角度，f₃表示左肩到颈部连线与头部到颈部连线形成的角度，f₄表示右肩到颈部连线与头部到颈部连线形成的角度，f₅表示头部到颈部连线与背部到颈部连线形成的角度，f₆表示颈部到背部连线与尾骨根部到背部连线形成的角度，f₇表示左肩到左肘连线与左手到左肘连线形成的角度，f₈表示右肩到右肘连线与右手到右肘连线形成的角度，f₉表示左臀部到左膝连线与左脚到左膝连线形成的角度，f₁₀表示右臀部到右膝连线与右脚到右膝连线形成的角度，f₁₁表示右手与尾骨根部的距离，f₁₂表示左手与尾骨根部的距离，f₁₃表示右脚与尾骨根部的距离，f₁₄表示左脚与尾骨根部的距离，f₁₅表示两只手与颈部所围成的三角形的面积，f₁₆表示两只脚与尾骨根部所围成的三角形面积；1≤t≤τ；

所述运动特征其中，F_t,move表示第t个图像帧的运动特征，F_t,move＝{f₁₇,f₁₈,...,f₂₅}，在第t个图像帧中，f₁₇表示右手速度，f₁₈表示右手加速度，f₁₉表示右手动作急促程度，f₂₀表示左手速度，f₂₁表示左手加速度，f₂₂表示左手动作急促程度，f₂₃表示头部速度，f₂₄表示头部加速度，f₂₅表示头部动作急促程度；

单人视频片段v_i的上课特征F_class＝F_pose+F_move；

步骤S224，单人视频片段v_i的视频特征为：F_total＝F_deep+F_class。

6.如权利要求1所述的基于姿态识别的学生状态评价方法，其特征在于，在所述步骤S3中，基于所有学生的姿态时间集合获得每个学生的课堂表现评价的步骤具体包括：

步骤S31，设基于姿态识别模型识别出所述单人视频片段中学生的姿态s为：

步骤S32，求取每个学生在课堂上的听课状态、课堂互动程度、课堂活跃度和不专心程度；

第k个学生的听课状态L_k为：其中，所述L_ki为第k个学生在第i个单人视频片段v_i中的听课状态，s_ki表示第k个学生在第i个单人视频片段v_i中的姿态；

第k个学生的课堂互动程度T_k为：其中，为预设的第一权重参数；Ω_{hand_k}表示第k个学生在N个视频片段中姿态为举手的占比，Ω_{stand_k}表示第k个学生在N个视频片段中姿态为起立回答问题的占比，

第k个学生的课堂活跃度B_k为：B_k＝max(0,min(1,1-ΔB_k))；其中，ΔB_k表示第k个学生的课堂活跃度B_k的变化量，ΔB_k＝δ₁*(τ_{read_k}+τ_{write_k}+τ_{listen_k})+δ₂*(τ_{talk_k}+τ_{phone_k}+τ_{sleep_k})-δ₃*τ_{hand_k}-δ₄*τ_{stand_k}，δ₁表示预设的第一奖惩系数因子，δ₂表示预设的第二奖惩系数因子，δ₃表示预设的第三奖惩系数因子，δ₄表示预设的第四奖惩系数因子，τ_{read_k}、τ_{write_k}、τ_{listen_k}、τ_{talk_k}、τ_{phone_k}、τ_{sleep_k}、τ_{hand_k}、τ_{stand_k}分别表示第k个学生在N个视频片段中连续M个视频片段检测状态均为阅读、书写、听讲、讲小话、玩手机、睡觉、举手、起立回答问题的状态的次数，1≤M≤N；

第k个学生的不专心程度Z_k为：Z_k＝τ_{talk_k}+τ_{phone_k}+τ_{sleep_k}；

步骤S33，基于所有学生在课堂上的听课状态、课堂互动程度、课堂活跃度和不专心程度获得每个学生的课堂表现评价，具体包括：

步骤S331，构造初始决策矩阵C；

所述n为学生总人数；

对初始决策矩阵C进行归一化处理，获得规范化决策矩阵C'；

所述

步骤S332，设置权重矩阵W：

所述其中，η₁表示听课状态的权重，η₂表示课堂互动程度的权重，η₃表示课堂活跃度的权重，η₄表示不专心程度的权重；

步骤S333，计算加权决策矩阵D，

所述

求解加权决策矩阵D的正理想解和负理想解

所述所述

其中，j表示加权决策矩阵D的列数序号，j＝1,2,3,4；

步骤S334，计算每个学生与正负理想值之间的欧氏距离；

第k个学生与正理想解的欧式距离为：

第k个学生与负理想解的欧式距离为：

第k个学生的课堂表现评价为V_k：

7.如权利要求1所述的基于姿态识别的学生状态评价方法，其特征在于，在所述步骤S4中，不符合课堂要求的姿态包括讲小话、玩手机和睡觉。

8.如权利要求7所述的基于姿态识别的学生状态评价方法，其特征在于，还包括：

若基于姿态识别模型识别出所述单人视频片段中学生的姿态不符合课堂要求，对所述单人视频片段中的学生进行提醒，进一步地，若所述单人视频片段中的学生在之前M1个单人视频片段中的姿态均不符合课堂要求，提醒教师提醒该学生，M1为预设的正整数，1≤M1≤N。

9.一种学生课堂状态评价***，其特征在于，包括拍摄课堂上所有学生的第一摄像头，拍摄课堂上教师授课内容的第二摄像头，以及服务器；

所述服务器接收第一摄像头输出的学生课堂视频和第二摄像头输出的教师授课视频，并按照权利要求1-8之一所述的基于姿态识别的学生状态评价方法获取每个学生的课堂表现评价，并保存学生的不符合课堂要求姿态对应的时间标签以及教师授课视频。

10.如权利要求9所述的学生课堂状态评价***，其特征在于，还包括与服务器建立连接通信的多个学生终端设备和教师终端设备。