CN111738177A - 一种基于姿态信息提取的学生课堂行为识别方法 - Google Patents

Abstract

本发明公开了一种基于姿态信息提取的学生课堂行为识别方法，包括以下步骤：S1、模型训练，利用已知的学生课堂行为图像以及课堂行为图像所对应的类别标签建立局部特征识别卷积神经网络；S2、利用步骤S1建立的局部特征识别卷积神经网络对未知的学生课堂行为图像进行识别。本发明利用姿态信息和局部图像信息对学生课堂行为图像进行识别，有效减少了图像中与行为不相关的信息，如衣着颜色、人体体态大小等对识别的干扰，该方法能识别的行为包括认真听课、东张西望、睡觉、玩手机、做笔记、看书。相比于传统的基于卷积神经网络的图像识别方法，能有效提高学生课堂行为识别的泛化准确率。

Description

一种基于姿态信息提取的学生课堂行为识别方法

技术领域

本发明属于计算机视觉和行为识别技术领域，特别涉及一种基于姿态信息提取的学生课堂行为识别方法。

背景技术

在传统的教学课堂中，教师除了讲授知识以外，往往还担负着维护课堂秩序的职责，如果课堂秩序混乱，那么学生接收知识的程度往往不尽人意。随着教学信息化、智能化过程的不断深入，为了让教师更加专注于给学生传授专业知识，人们将希望寄于构建一套自动化的课堂教学管理***，如何对学生在课堂中的行为进行准确的识别便成为了一个有挑战性的课题。

常见的学生课堂行为识别方法有基于传统机器学习的方法和近年来兴起的深度学习的方法。基于传统机器学习的方法需要人工提取合适的特征并用于训练分类器进行识别，这类方法设计特征难度较大，并且识别准确率较低。今年来兴起的深度学习方法可以在大量数据的环境下进行端到端的训练，不需要人工设计特征，训练过程较为方便，如魏艳涛等人提出的基于深度学习的学生课堂行为识别方法(参考文献：魏艳涛,秦道影,胡佳敏,姚璜,师亚飞.基于深度学习的学生课堂行为识别.现代教育技术,2019,29(07):87-91.)这类方法相比于传统的机器学习方法降低了训练难度，提高了识别准确率，但在将训练好的网络用于识别没在数据集中出现的人时，其识别准确率会有较大的下降。

发明内容

本发明的目的在于克服现有技术的不足，提供一种利用姿态信息和局部图像信息对学生课堂行为图像进行识别，有效减少了图像中与行为不相关的信息，能有效提高学生课堂行为识别的泛化准确率的基于姿态信息提取的学生课堂行为识别方法

本发明的目的是通过以下技术方案来实现的：一种基于姿态信息提取的学生课堂行为识别方法，包括以下步骤：

S1、模型训练，利用已知的学生课堂行为图像以及课堂行为图像所对应的类别标签建立局部特征识别卷积神经网络；

S2、利用步骤S1建立的局部特征识别卷积神经网络对未知的学生课堂行为图像进行识别，包括以下子步骤：

S21、输入待识别的学生课堂行为图像；

S22、将图像输入Openpose姿态识别网络进行姿态信息提取；

S23、对提取出来的姿态信息使用头部姿态识别神经网络进行头部姿态识别，如果已识别出认真听课、东张西望或睡觉行为则执行步骤S25，否则执行步骤S24；

S24、提取局部图像信息，并使用局部特征识别卷积神经网络对行为做进一步识别；

S25、输出最终识别结果。

进一步地，所述步骤S1包括以下子步骤：

S11、制作学生课堂行为识别数据集：输入学生课堂行为图像以及课堂行为图像所对应的类别标签的数据集合：

其中，x为学生课堂行为图像，y为图像所对应的类别标签，R³表示三维欧氏空间，N表示自然数集；

S12、利用Openpose姿态识别网络对课堂行为识别数据集中的图像进行姿态信息提取，并将这些提取结果整合为学生课堂行为识别姿态信息数据集：

S_g＝{(p₁,p₂,...,p_n,y)|p_i∈R²(i＝1,2,...,n),y∈N}

其中，p_i表示第i个身体部位的位置，i＝1,2,...,n，n表示身体部位的总数；R²表示二维欧式空间；

S13、构造头部姿态识别神经网络，并用学生课堂行为识别姿态信息数据集中的头部姿态信息训练该网络；

S14、用学生课堂行为识别姿态信息数据集中的手部姿态信息提取学生课堂行为识别数据集中具有判别力的局部图像，设(wl_x,wl_y)、(wr_x,wr_y)分别为图像M中左手腕的坐标和右手腕的坐标，则提取方法如下：

w_xmax＝max{wl_x,wr_x}

w_xmin＝min{wl_x,wr_x}

w_ymax＝max{wl_y,wr_y}

w_ymin＝min{wl_y,wr_y}

M′_128×128＝Resize(M′)

其中，M′为提取出来的局部图像，常数a,b,c,d为图像范围修正参数；

表示对图像M进行裁剪，取出x坐标在w_xmin-a:w_xmax+b范围内，y坐标在w_ymin-c:w_ymax+d范围内的像素点；Resize(M′)表示对M′进行图像重塑；重塑后的图像表示为M′_128×128，表示图像分辨率大小为128×128；

再用这些图像制作带标签的局部图像信息数据集：

x'为局部图像，y'为局部图像所对应的类别标签；

S15、搭建局部特征识别卷积神经网络。

进一步地，所述步骤S13中的头部姿态识别神经网络的输入层有五个神经元组，每个神经元组含有X和Y两个神经元；隐藏层含有五个神经元，接受来自输入层的五个神经元组的输出；输出层含有一个神经元，接受来自隐藏层的五个神经元的输出，并输出识别结果。

进一步地，所述步骤S14的局部图像提取方法为一种图像裁剪方法，裁剪坐标以左右手手腕坐标作为参考，并且含有a,b,c,d四个参数。

进一步地，所述步骤S15的局部特征识别卷积神经网络的输出类别数为3。

本发明的有益效果是：本发明的方法利用姿态信息和局部图像信息对学生课堂行为图像进行识别，有效减少了图像中与行为不相关的信息，如衣着颜色、人体体态大小等对识别的干扰，该方法能识别的行为包括认真听课、东张西望、睡觉、玩手机、做笔记、看书。相比于传统的基于卷积神经网络的图像识别方法，该方法能有效提高学生课堂行为识别的泛化准确率，并且在训练样本较少的情况下，该方法依然能够获得较高的学生课堂行为识别泛化准确率。

附图说明

图1为本发明提出的学生课堂行为识别方法的流程图；

图2为本实施例用于进行模型训练的实例图；

图3为图2的实例图部分姿态信息可视化图像；

图4为HPRNN的结构图；

图5为ResNet18网络微调版结构图；

图6为用于训练LFRCNN的部分图像实例；

图7为待识别的学生课堂行为图像；

图8为待识别的学生课堂行为图像姿态信息；

图9为待识别的学生课堂行为图像的局部图像。

具体实施方式

下面结合附图进一步说明本发明的技术方案。

基于卷积神经网络的深度学习方法识别学生课堂行为需要大量的图像进行训练，并且由于实际因素的限制往往不能采集到样本足够丰富的学生课堂行为图像，这导致在识别样本集中没有出现的人物行为时识别准确率出现下降。而Openpose姿态识别网络经过其他大量数据集的训练，可以有效地识别图像中的人物姿态信息，再结合图像中对识别有益的手部信息可以进行进一步地课堂行为识别，有效缓解了因人物着装、体态的不同而出现的识别准确率下降的情况。基于此，本发明的提出一种基于姿态信息提取的学生课堂行为识别方法，如图1所示，其包括以下步骤：

S1、模型训练，利用已知的学生课堂行为图像以及课堂行为图像所对应的类别标签建立局部特征识别卷积神经网络；

本实施例在实验过程中收集了8201张图像用于制作课堂行为识别数据集，部分图像实例如图2所示。

本步骤包括以下子步骤：

S11、制作学生课堂行为识别数据集：输入学生课堂行为图像以及课堂行为图像所对应的类别标签的数据集合：

其中，x为学生课堂行为图像，y为图像所对应的类别标签，R³表示三维欧氏空间，N表示自然数集；

S12、利用Openpose姿态识别网络(参考文献：Cao,Zhe,et al."Realtime multi-person 2d pose estimation using part affinity fields."Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2017.)对课堂行为识别数据集中的图像进行姿态信息提取，并将这些提取结果整合为学生课堂行为识别姿态信息数据集：

S_g＝{(p₁,p₂,...,p_n,y)|p_i∈R²(i＝1,2,...,n),y∈N}

其中，p_i表示第i个身体部位的位置，i＝1,2,...,n，n表示身体部位的总数；R²表示二维欧式空间；

具体地，在实验中只用到了上半身的姿态信息，n为18，包含的身体部位有鼻部、颈部、右肩、右肘、右手腕、左肩、左肘、左手腕、右眼、左眼、右耳、左耳。部分姿态信息可视化后如图3所示。

S13、构造头部姿态识别神经网络(Head posture recognition neural network，HPRNN)，并用学生课堂行为识别姿态信息数据集中的头部姿态信息训练该网络HPRNN具体结构如图4所示；头部姿态识别神经网络的输入层有五个神经元组，每个神经元组含有X和Y两个神经元；隐藏层含有五个神经元，接受来自输入层的五个神经元组的输出；输出层含有一个神经元，接受来自隐藏层的五个神经元的输出，并输出识别结果。本实施例的输入层中的5个神经元组接受的输入分别是右耳与右眼的坐标差(u₁,v₁)、右眼与鼻部的坐标差(u₂,v₂)、颈部与鼻部的坐标差(u₃,v₃)、左耳与左眼的坐标差(u₄,v₄)、左眼与鼻部的坐标差(u₅,v₅)，输出层的输出类别数为4。

S14、用学生课堂行为识别姿态信息数据集中的手部姿态信息提取学生课堂行为识别数据集中具有判别力的局部图像，设(wl_x,wl_y)、(wr_x,wr_y)分别为图像M中左手腕的坐标和右手腕的坐标，则提取方法如下：

w_xmax＝max{wl_x,wr_x}

w_xmin＝min{wl_x,wr_x}

w_ymax＝max{wl_y,wr_y}

w_ymin＝min{wl_y,wr_y}

M′_128×128＝Resize(M′)

其中，M′为提取出来的局部图像，常数a,b,c,d为图像范围修正参数；

表示对图像M进行裁剪，取出x坐标在w_xmin-a:w_xmax+b范围内，y坐标在w_ymin-c:w_ymax+d范围内的像素点；Resize(M′)表示对M′进行图像重塑；重塑后的图像表示为M′_128×128，表示图像分辨率大小为128×128；

再用这些图像制作带标签的局部图像信息数据集：

x'为局部图像，y'为局部图像所对应的类别标签；

具体地，在实验中，图像范围修正参数取值为a＝0,b＝0,c＝10,d＝10。当左手腕坐标数据缺省时，图像裁剪公式调整为：

其中，a＝0,b＝60,c＝10,d＝10；

当右手手腕坐标数据缺省时，图像裁剪公式调整为：

其中，a＝60,b＝0,c＝10,d＝10；

当双手坐标数据均缺省时，图像裁剪公式调整为：

M′＝M_(a:b)×(c:d)

其中，a＝1,b＝128,c＝91,d＝128。

S15、搭建局部特征识别卷积神经网络(Local feature recognitionconvolutional neural network，LFRCNN)。

局部特征识别卷积神经网络为ResNet18的微调版本，即将ResNet18网络的输出层神经元个数调整为3，ResNet18网络微调版结构图如图5所示，其中in表示输入特征图的通道数，out表示输出特征图的通道数，k表示卷积核大小，s表示移动步长，p表示填充大小，具体地，用于训练LFRCNN的部分图像实例如图6所示。

S2、利用步骤S1建立的局部特征识别卷积神经网络对未知的学生课堂行为图像进行识别，包括以下子步骤：

S21、输入待识别的学生课堂行为图像M_m×n，图像大小为128*128的学生课堂行为图像，如图7所示；

S22、将图像输入Openpose姿态识别网络进行姿态信息提取，得到如图8所示的图像；

S23、对提取出来的姿态信息使用头部姿态识别神经网络进行头部姿态识别，如果已识别出认真听课、东张西望或睡觉行为则执行步骤S25，否则执行步骤S24；本实施例中该姿态信息识别结果为低头，故执行步骤S24；

S24、使用S14中描述的方法提取局部图像信息，得到如图9所示的局部图像信息；并使用局部特征识别卷积神经网络对行为做进一步识别；

S25、输出最终识别结果，得到图像的最终识别结果为“玩手机”。

进一步地，所述步骤S14的局部图像提取方法为一种图像裁剪方法，裁剪坐标以左右手手腕坐标作为参考，并且含有a,b,c,d四个参数。所述步骤S15的局部特征识别卷积神经网络的输出类别数为3。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (5)

1.一种基于姿态信息提取的学生课堂行为识别方法，其特征在于，包括以下步骤：

S1、模型训练，利用已知的学生课堂行为图像以及课堂行为图像所对应的类别标签建立局部特征识别卷积神经网络；

S2、利用步骤S1建立的局部特征识别卷积神经网络对未知的学生课堂行为图像进行识别，包括以下子步骤：

S21、输入待识别的学生课堂行为图像；

S22、将图像输入Openpose姿态识别网络进行姿态信息提取；

S23、对提取出来的姿态信息使用头部姿态识别神经网络进行头部姿态识别，如果已识别出认真听课、东张西望或睡觉行为则执行步骤S25，否则执行步骤S24；

S24、提取局部图像信息，并使用局部特征识别卷积神经网络对行为做进一步识别；

S25、输出最终识别结果。

2.根据权利要求1所述的一种基于姿态信息提取的学生课堂行为识别方法，其特征在于，所述步骤S1包括以下子步骤：

S11、制作学生课堂行为识别数据集：输入学生课堂行为图像以及课堂行为图像所对应的类别标签的数据集合：

其中，x为学生课堂行为图像，y为图像所对应的类别标签，R³表示三维欧氏空间，N表示自然数集；

S12、利用Openpose姿态识别网络对课堂行为识别数据集中的图像进行姿态信息提取，并将这些提取结果整合为学生课堂行为识别姿态信息数据集：

S_g＝{(p₁,p₂,...,p_n,y)|p_i∈R²(i＝1,2,...,n),y∈N}

其中，p_i表示第i个身体部位的位置，i＝1,2,...,n，n表示身体部位的总数；R²表示二维欧式空间；

S13、构造头部姿态识别神经网络，并用学生课堂行为识别姿态信息数据集中的头部姿态信息训练该网络；

S14、用学生课堂行为识别姿态信息数据集中的手部姿态信息提取学生课堂行为识别数据集中具有判别力的局部图像，设(wl_x,wl_y)、(wr_x,wr_y)分别为图像M中左手腕的坐标和右手腕的坐标，则提取方法如下：

w_xmax＝max{wl_x,wr_x}

w_xmin＝min{wl_x,wr_x}

w_ymax＝max{wl_y,wr_y}

w_ymin＝min{wl_y,wr_y}

M₁′_28×128＝Resize(M′)

其中，M′为提取出来的局部图像，常数a,b,c,d为图像范围修正参数；

表示对图像M进行裁剪，取出x坐标在w_xmin-a:w_xmax+b范围内，y坐标在w_ymin-c:w_ymax+d范围内的像素点；Resize(M′)表示对M′进行图像重塑；重塑后的图像表示为M₁′_28×128，表示图像分辨率大小为128×128；

再用这些图像制作带标签的局部图像信息数据集：

x'为局部图像，y'为局部图像所对应的类别标签；

S15、搭建局部特征识别卷积神经网络。

3.根据权利要求2所述的一种基于姿态信息提取的学生课堂行为识别方法，其特征在于，所述步骤S13中的头部姿态识别神经网络的输入层有五个神经元组，每个神经元组含有X和Y两个神经元；隐藏层含有五个神经元，接受来自输入层的五个神经元组的输出；输出层含有一个神经元，接受来自隐藏层的五个神经元的输出，并输出识别结果。

4.根据权利要求2所述的一种基于姿态信息提取的学生课堂行为识别方法，其特征在于，所述步骤S14的局部图像提取方法为一种图像裁剪方法，裁剪坐标以左右手手腕坐标作为参考，并且含有a,b,c,d四个参数。

5.根据权利要求2所述的一种基于姿态信息提取的学生课堂行为识别方法，其特征在于，所述步骤S15的局部特征识别卷积神经网络的输出类别数为3。

Images