CN116311554A - 基于视频目标检测的学生课堂异常行为识别方法与*** - Google Patents

Abstract

本发明涉及视频图像处理方法领域，公开了一种基于视频目标检测的学生课堂异常行为识别方法与***，包括学生身份识别、学生异常行为识别、获取发生异常行为的学生身份信息；本发明利用单个模型同时获取课堂上每个学生行为类别和行为发生轨迹，可降低计算量；本发明利用特征增强策略可提高目标行为位置和行为识别准确率，且能够感知学生行为发生轨迹，提高异常行为学生身份的识别准确率。

Description

基于视频目标检测的学生课堂异常行为识别方法与***

技术领域

本发明涉及视频图像处理方法领域，具体涉及一种基于视频目标检测的学生课堂异常行为识别方法与***。

背景技术

在课堂上时，学生的行为状态会反应出学生的学习状态，为了能够更好掌握学生的学习状态，需要对学生在课堂上的异常行为进行识别。

现有技术中对课堂上学生异常行为的识别方法包括以下两种：

一、基于单帧图像：

基于单帧图像的方案先通过目标检测算法获得感兴趣目标位置信息，再利用行为识别算法获得感兴趣目标的行为结果。

二、基于视频序列

首先要获得感兴趣目标在整个视频序列中每帧位置，根据位置构造感兴趣目标的图像集，然后将感兴趣目标图像集送入到基于视频的行为分类网络。

现有识别方法的技术缺陷如下：

基于单帧图像和基于视频序列的行为识别需要先用目标检测算法定位感兴趣目标，然后对每个感兴趣目标使用分类算法获得目标行为，计算代价较大；此外，在基于单帧图像的方法中，由于运动残影、遮挡或相机失焦等原因，基于单帧图片很难确定目标行为位置和行为类别信息。

发明内容

为解决上述技术问题，本发明提供一种基于视频目标检测的学生课堂异常行为识别方法与***。

为解决上述技术问题，本发明采用如下技术方案：

一种基于视频目标检测的学生课堂异常行为识别方法，包括以下步骤：

步骤一、实时获取学生上课视频，利用人脸检测算法获取学生上课视频中每个学生的人脸位置；利用人脸特征提取算法获取每个学生人脸的人脸特征，并与学生人脸特征库进行对比，获得每个人脸对应的身份；

步骤二、获取学生上课视频每帧图像中每个学生的行为位置、行为初始类别以及行为分数；

步骤三、对于每帧图像中的每个学生ST_j，将学生ST_j当前行为位置扩大S倍作为候选区域，在候选区域内与其他帧图像进行交并比匹配，得到学生ST_j在其他帧图像匹配的行为位置、行为初始类别、行为分数，统计所有帧图像中每种异常行为发生频率，找到发生频率最高的异常行为A，判断所有帧图像中学生异常行为A发生的次数是否超过M次；若是，则认为学生ST_j发生异常行为A，并获取异常行为A的行为位置；若否，则认为学生ST_j未发生异常行为A；1≤j≤p，p为上课的学生总数；

步骤四、对于发生异常行为A的学生ST_j，在各帧图像中，找到行为分数最高的异常行为A所对应的行为位置B；找到步骤一中与位置B存在交集的人脸，计算存在交集的各人脸和位置B的距离，距离最小的人脸对应的身份即为学生ST_j的身份。

步骤二具体包括：

从学生上课视频中每隔T秒获取2N帧图像；

将2N帧图像的数据2N*3*H₀*W₀送入到resnet50骨干网络获取2N*3*H₁*W₁的特征，第i帧图像对应的特征记为F_i,i＝1,2,....2N，大小为C₁*H₁*W₁；其中H₀、W₀分别为每帧图像的高度和宽度，H₁、W₁、C₁分别为特征F_i的高度、宽度以及通道数；i＝1,2,....2N；

对于每帧图像，利用交叉注意力方法与其他2N-1帧图像分别两两进行特征聚合，得到了2N-1个增强特征；将2N-1个增强特征进行像素级加和得到帧图像的增强特征

对于每个目标帧图像的增强特征

利用yolox解耦的分类检测头和回归检测头，获取每个目标帧图像中每个学生的行为位置/>

行为初始类别/>

行为分数/>

一种基于视频目标检测的学生课堂异常行为识别***，包括：

人脸识别模块：实时获取学生上课视频，利用人脸检测算法获取学生上课视频中每个学生的人脸位置；利用人脸特征提取算法获取每个学生人脸的人脸特征，并与学生人脸特征库进行对比，获得每个人脸对应的身份；

行为识别模块：获取学生上课视频每帧图像中每个学生的行为位置、行为初始类别以及行为分数；

异常行为识别模块：对于每帧图像中的每个学生ST_j，将学生ST_j当前行为位置扩大S倍作为候选区域，在候选区域内与其他帧图像进行交并比匹配，得到学生ST_j在其他帧图像匹配的行为位置、行为初始类别、行为分数，统计所有帧图像中每种异常行为发生频率，找到发生频率最高的异常行为A，判断所有帧图像中学生异常行为A发生的次数是否超过M次；若是，则认为学生ST_j发生异常行为A，并获取异常行为A的行为位置；若否，则认为学生ST_j未发生异常行为A；1≤j≤p，p为上课的学生总数；

身份确定模块：对于发生异常行为A的学生ST_j，在各帧图像中，找到行为分数最高的异常行为A所对应的行为位置B；找到步骤一中与位置B存在交集的人脸，计算存在交集的各人脸和位置B的距离，距离最小的人脸对应的身份即为学生ST_j的身份。

与现有技术相比，本发明的有益技术效果是：

1.本发明所提出的基于视频目标检测的课堂行为算法模型，利用单个算法模型就可同时获取课堂上每个学生行为类别和行为发生轨迹，可降低计算量。

2.对于多帧图片，本发明所提出的视频目标检测模型的骨干网络共享，可降低计算量。

3.本发明利用特征增强策略可提高目标行为位置和行为识别的准确率。

4.本发明所提出的获取目标学生行为和行为轨迹信息的方法，可以提高学生行为识别准确率同时感知学生行为发生轨迹。

5.本发明所提出的获取发生异常行为学生身份信息方法，可以提高异常行为学生身份的识别准确率。

附图说明

图1为本发明异常行为识别方法的流程图。

具体实施方式

下面结合附图对本发明的一种优选实施方式作详细的说明。

如图1所示，本发明中基于视频目标检测的学生课堂异常行为识别方法，包括以下步骤。

S1、学生身份识别：

学生上课后，实时获取学生上课视频数据，利用人脸检测算法获取课堂上每个学生的人脸位置信息。对于每个学生人脸，利用人脸特征提取算法获得人脸特征信息，并与学生人脸特征库进行对比，获得每个人脸对应的身份信息。通过该步骤，可以获取每个人脸的位置信息和身份信息。

S2、学生异常行为识别：

实际上，由于存在运动残影、遮挡或相机失焦等原因，基于单帧图片很难确定目标行为位置和行为类别信息。对于一段连续视频而言，可以通过结合上下文的语义信息，对视频中的目标帧图像进行特征增强，同时准确地识别出视频中每个目标帧图像中每个目标行为位置和类别信息。

利用本发明中的异常行为识别模型可以同时实现对课堂上每个学生玩手机、睡觉等异常行为的监测和身份的识别。本发明中的异常行为识别模型包括骨干网络模块、特征增强模块、分类检测头和回归检测头。具体步骤如下：

1、通过异常行为识别模型获取每帧图像中每个学生的行为位置和行为初始类别信息、行为分数。

1)从实时视频数据中每隔T秒获取2N帧图像。

2)将2N帧图像数据2N*3*H₀*W₀送入到resnet50骨干网络获取2N*3*H₁*W₁特征，第i个目标帧图像对应的特征记为F_i,i＝1,2,....2N，大小为C₁*H₁*W₁，其中H₀、W₀分别为每帧图像的高度和宽度，H₁、W₁、C₁分别为特征F_i的高度、宽度以及通道数；。

3)对于每帧图像，利用交叉注意力(cross-attention)方法与其他2N-1帧图像分别两两进行特征聚合，得到了2N-1个增强特征；将2N-1个增强特征进行像素级加和得到帧图像的增强特征

4)对于每个目标帧图像的增强特征

利用yolox解耦的分类检测头和回归检测头，获取每个目标帧图像中每个学生的行为位置/>

行为初始类别/>

行为分数/>

组成的集合记为/>

j＝1,2,......p，p为上课的学生总数。

2、获取目标学生行为和行为轨迹信息

课堂场景下，学生活动范围有限，因此对于每个目标帧图像中的每个目标学生，利用其当前行为位置，扩大S倍作为候选区域，在候选区域内与其他帧图像进行交并比(iou)匹配，得到当前目标学生在其他2N-1帧图像的匹配位置信息和对应的行为初始类别信息、行为分数信息，统计2N帧中每种行为发生频率，找到发生频率最高的行为A，判断在2N帧中目标学生行为A发生的次数是否超过M次，若是，则可定义当前目标学生在过去T时间内发生行为A，同时可以获取当前目标学生在过去T时间内发生行为A的轨迹信息，提高学生行为识别准确率的同时感知学生行为发生轨迹；若否，认为在过去T时间内目标学生在课堂上无异常行为。

S3、获取发生异常行为的学生身份信息：

对于发生异常行为的目标学生，在各帧图像中，找到具有最高行为分数的异常行为所对应的行为位置B，找到步骤一中与B存在交集的人脸，计算存在交集的人脸和位置B的距离，距离最小的人脸对应身份即为目标学生身份信息。这里的距离一般指的是中心距离。

本发明提出一种端到端的基于视频目标检测的课堂异常行为识别方法，能够获取目标学生行为和行为轨迹信息、获取发生异常行为学生身份，能够利用特征增强策略提高目标行为位置和行为识别准确率。

本发明的***与方法相对应，方法的优选方案同样适用于***。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.一种基于视频目标检测的学生课堂异常行为识别方法，包括以下步骤：

步骤一、实时获取学生上课视频，利用人脸检测算法获取学生上课视频中每个学生的人脸位置；利用人脸特征提取算法获取每个学生人脸的人脸特征，并与学生人脸特征库进行对比，获得每个人脸对应的身份；

步骤二、获取学生上课视频每帧图像中每个学生的行为位置、行为初始类别以及行为分数；

步骤三、对于每帧图像中的每个学生ST_j，将学生ST_j当前行为位置扩大S倍作为候选区域，在候选区域内与其他帧图像进行交并比匹配，得到学生ST_j在其他帧图像匹配的行为位置、行为初始类别、行为分数，统计所有帧图像中每种异常行为发生频率，找到发生频率最高的异常行为A，判断所有帧图像中学生异常行为A发生的次数是否超过M次；若是，则认为学生ST_j发生异常行为A，并获取异常行为A的行为位置；若否，则认为学生ST_j未发生异常行为A；1≤j≤p，p为上课的学生总数；

步骤四、对于发生异常行为A的学生ST_j，在各帧图像中，找到行为分数最高的异常行为A所对应的行为位置B；找到步骤一中与位置B存在交集的人脸，计算存在交集的各人脸和位置B的距离，距离最小的人脸对应的身份即为学生ST_j的身份。

2.根据权利要求1所述的基于视频目标检测的学生课堂异常行为识别方法，其特征在于，步骤二具体包括：

从学生上课视频中每隔T秒获取2N帧图像；

将2N帧图像的数据2N*3*H₀*W₀送入到resnet50骨干网络获取2N*3*H₁*W₁特征，第i帧图像对应的特征记为F_i，i＝1，2，....2N，大小为C₁*H₁*W₁；其中H₀、W₀分别为每帧图像的高度和宽度，H₁、W₁、C₁分别为特征F_i的高度、宽度以及通道数；i＝1，2，....2N；

对于每帧图像，利用交叉注意力方法与其他2N-1帧图像分别两两进行特征聚合，得到了2N-1个增强特征；将2N-1个增强特征进行像素级加和得到帧图像的增强特征

对于每个目标帧图像的增强特征

利用yolox解耦的分类检测头和回归检测头，获取每个目标帧图像中每个学生的行为位置/>

行为初始类别/>

行为分数

3.一种基于视频目标检测的学生课堂异常行为识别***，其特征在于，包括：

人脸识别模块：实时获取学生上课视频，利用人脸检测算法获取学生上课视频中每个学生的人脸位置；利用人脸特征提取算法获取每个学生人脸的人脸特征，并与学生人脸特征库进行对比，获得每个人脸对应的身份；

行为识别模块：获取学生上课视频每帧图像中每个学生的行为位置、行为初始类别以及行为分数；

异常行为识别模块：对于每帧图像中的每个学生ST_j，将学生ST_j当前行为位置扩大S倍作为候选区域，在候选区域内与其他帧图像进行交并比匹配，得到学生ST_j在其他帧图像匹配的行为位置、行为初始类别、行为分数，统计所有帧图像中每种异常行为发生频率，找到发生频率最高的异常行为A，判断所有帧图像中学生异常行为A发生的次数是否超过M次；若是，则认为学生ST_j发生异常行为A，并获取异常行为A的行为位置；若否，则认为学生ST_j未发生异常行为A；1≤j≤p，p为上课的学生总数；

身份确定模块：对于发生异常行为A的学生ST_j，在各帧图像中，找到行为分数最高的异常行为A所对应的行为位置B；找到步骤一中与位置B存在交集的人脸，计算存在交集的各人脸和位置B的距离，距离最小的人脸对应的身份即为学生ST_j的身份。

Images