CN116311554A - 基于视频目标检测的学生课堂异常行为识别方法与*** - Google Patents
基于视频目标检测的学生课堂异常行为识别方法与*** Download PDFInfo
- Publication number
- CN116311554A CN116311554A CN202310143918.0A CN202310143918A CN116311554A CN 116311554 A CN116311554 A CN 116311554A CN 202310143918 A CN202310143918 A CN 202310143918A CN 116311554 A CN116311554 A CN 116311554A
- Authority
- CN
- China
- Prior art keywords
- behavior
- student
- face
- abnormal
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 64
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000006399 behavior Effects 0.000 claims abstract description 88
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 230000003542 behavioural effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及视频图像处理方法领域,公开了一种基于视频目标检测的学生课堂异常行为识别方法与***,包括学生身份识别、学生异常行为识别、获取发生异常行为的学生身份信息;本发明利用单个模型同时获取课堂上每个学生行为类别和行为发生轨迹,可降低计算量;本发明利用特征增强策略可提高目标行为位置和行为识别准确率,且能够感知学生行为发生轨迹,提高异常行为学生身份的识别准确率。
Description
技术领域
本发明涉及视频图像处理方法领域,具体涉及一种基于视频目标检测的学生课堂异常行为识别方法与***。
背景技术
在课堂上时,学生的行为状态会反应出学生的学习状态,为了能够更好掌握学生的学习状态,需要对学生在课堂上的异常行为进行识别。
现有技术中对课堂上学生异常行为的识别方法包括以下两种:
一、基于单帧图像:
基于单帧图像的方案先通过目标检测算法获得感兴趣目标位置信息,再利用行为识别算法获得感兴趣目标的行为结果。
二、基于视频序列
首先要获得感兴趣目标在整个视频序列中每帧位置,根据位置构造感兴趣目标的图像集,然后将感兴趣目标图像集送入到基于视频的行为分类网络。
现有识别方法的技术缺陷如下:
基于单帧图像和基于视频序列的行为识别需要先用目标检测算法定位感兴趣目标,然后对每个感兴趣目标使用分类算法获得目标行为,计算代价较大;此外,在基于单帧图像的方法中,由于运动残影、遮挡或相机失焦等原因,基于单帧图片很难确定目标行为位置和行为类别信息。
发明内容
为解决上述技术问题,本发明提供一种基于视频目标检测的学生课堂异常行为识别方法与***。
为解决上述技术问题,本发明采用如下技术方案:
一种基于视频目标检测的学生课堂异常行为识别方法,包括以下步骤:
步骤一、实时获取学生上课视频,利用人脸检测算法获取学生上课视频中每个学生的人脸位置;利用人脸特征提取算法获取每个学生人脸的人脸特征,并与学生人脸特征库进行对比,获得每个人脸对应的身份;
步骤二、获取学生上课视频每帧图像中每个学生的行为位置、行为初始类别以及行为分数;
步骤三、对于每帧图像中的每个学生STj,将学生STj当前行为位置扩大S倍作为候选区域,在候选区域内与其他帧图像进行交并比匹配,得到学生STj在其他帧图像匹配的行为位置、行为初始类别、行为分数,统计所有帧图像中每种异常行为发生频率,找到发生频率最高的异常行为A,判断所有帧图像中学生异常行为A发生的次数是否超过M次;若是,则认为学生STj发生异常行为A,并获取异常行为A的行为位置;若否,则认为学生STj未发生异常行为A;1≤j≤p,p为上课的学生总数;
步骤四、对于发生异常行为A的学生STj,在各帧图像中,找到行为分数最高的异常行为A所对应的行为位置B;找到步骤一中与位置B存在交集的人脸,计算存在交集的各人脸和位置B的距离,距离最小的人脸对应的身份即为学生STj的身份。
步骤二具体包括:
从学生上课视频中每隔T秒获取2N帧图像;
将2N帧图像的数据2N*3*H0*W0送入到resnet50骨干网络获取2N*3*H1*W1的特征,第i帧图像对应的特征记为Fi,i=1,2,....2N,大小为C1*H1*W1;其中H0、W0分别为每帧图像的高度和宽度,H1、W1、C1分别为特征Fi的高度、宽度以及通道数;i=1,2,....2N;
一种基于视频目标检测的学生课堂异常行为识别***,包括:
人脸识别模块:实时获取学生上课视频,利用人脸检测算法获取学生上课视频中每个学生的人脸位置;利用人脸特征提取算法获取每个学生人脸的人脸特征,并与学生人脸特征库进行对比,获得每个人脸对应的身份;
行为识别模块:获取学生上课视频每帧图像中每个学生的行为位置、行为初始类别以及行为分数;
异常行为识别模块:对于每帧图像中的每个学生STj,将学生STj当前行为位置扩大S倍作为候选区域,在候选区域内与其他帧图像进行交并比匹配,得到学生STj在其他帧图像匹配的行为位置、行为初始类别、行为分数,统计所有帧图像中每种异常行为发生频率,找到发生频率最高的异常行为A,判断所有帧图像中学生异常行为A发生的次数是否超过M次;若是,则认为学生STj发生异常行为A,并获取异常行为A的行为位置;若否,则认为学生STj未发生异常行为A;1≤j≤p,p为上课的学生总数;
身份确定模块:对于发生异常行为A的学生STj,在各帧图像中,找到行为分数最高的异常行为A所对应的行为位置B;找到步骤一中与位置B存在交集的人脸,计算存在交集的各人脸和位置B的距离,距离最小的人脸对应的身份即为学生STj的身份。
与现有技术相比,本发明的有益技术效果是:
1.本发明所提出的基于视频目标检测的课堂行为算法模型,利用单个算法模型就可同时获取课堂上每个学生行为类别和行为发生轨迹,可降低计算量。
2.对于多帧图片,本发明所提出的视频目标检测模型的骨干网络共享,可降低计算量。
3.本发明利用特征增强策略可提高目标行为位置和行为识别的准确率。
4.本发明所提出的获取目标学生行为和行为轨迹信息的方法,可以提高学生行为识别准确率同时感知学生行为发生轨迹。
5.本发明所提出的获取发生异常行为学生身份信息方法,可以提高异常行为学生身份的识别准确率。
附图说明
图1为本发明异常行为识别方法的流程图。
具体实施方式
下面结合附图对本发明的一种优选实施方式作详细的说明。
如图1所示,本发明中基于视频目标检测的学生课堂异常行为识别方法,包括以下步骤。
S1、学生身份识别:
学生上课后,实时获取学生上课视频数据,利用人脸检测算法获取课堂上每个学生的人脸位置信息。对于每个学生人脸,利用人脸特征提取算法获得人脸特征信息,并与学生人脸特征库进行对比,获得每个人脸对应的身份信息。通过该步骤,可以获取每个人脸的位置信息和身份信息。
S2、学生异常行为识别:
实际上,由于存在运动残影、遮挡或相机失焦等原因,基于单帧图片很难确定目标行为位置和行为类别信息。对于一段连续视频而言,可以通过结合上下文的语义信息,对视频中的目标帧图像进行特征增强,同时准确地识别出视频中每个目标帧图像中每个目标行为位置和类别信息。
利用本发明中的异常行为识别模型可以同时实现对课堂上每个学生玩手机、睡觉等异常行为的监测和身份的识别。本发明中的异常行为识别模型包括骨干网络模块、特征增强模块、分类检测头和回归检测头。具体步骤如下:
1、通过异常行为识别模型获取每帧图像中每个学生的行为位置和行为初始类别信息、行为分数。
1)从实时视频数据中每隔T秒获取2N帧图像。
2)将2N帧图像数据2N*3*H0*W0送入到resnet50骨干网络获取2N*3*H1*W1特征,第i个目标帧图像对应的特征记为Fi,i=1,2,....2N,大小为C1*H1*W1,其中H0、W0分别为每帧图像的高度和宽度,H1、W1、C1分别为特征Fi的高度、宽度以及通道数;。
4)对于每个目标帧图像的增强特征利用yolox解耦的分类检测头和回归检测头,获取每个目标帧图像中每个学生的行为位置/>行为初始类别/>行为分数/>组成的集合记为/>j=1,2,......p,p为上课的学生总数。
2、获取目标学生行为和行为轨迹信息
课堂场景下,学生活动范围有限,因此对于每个目标帧图像中的每个目标学生,利用其当前行为位置,扩大S倍作为候选区域,在候选区域内与其他帧图像进行交并比(iou)匹配,得到当前目标学生在其他2N-1帧图像的匹配位置信息和对应的行为初始类别信息、行为分数信息,统计2N帧中每种行为发生频率,找到发生频率最高的行为A,判断在2N帧中目标学生行为A发生的次数是否超过M次,若是,则可定义当前目标学生在过去T时间内发生行为A,同时可以获取当前目标学生在过去T时间内发生行为A的轨迹信息,提高学生行为识别准确率的同时感知学生行为发生轨迹;若否,认为在过去T时间内目标学生在课堂上无异常行为。
S3、获取发生异常行为的学生身份信息:
对于发生异常行为的目标学生,在各帧图像中,找到具有最高行为分数的异常行为所对应的行为位置B,找到步骤一中与B存在交集的人脸,计算存在交集的人脸和位置B的距离,距离最小的人脸对应身份即为目标学生身份信息。这里的距离一般指的是中心距离。
本发明提出一种端到端的基于视频目标检测的课堂异常行为识别方法,能够获取目标学生行为和行为轨迹信息、获取发生异常行为学生身份,能够利用特征增强策略提高目标行为位置和行为识别准确率。
本发明的***与方法相对应,方法的优选方案同样适用于***。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内,不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立技术方案,说明书的这种叙述方式仅仅是为了清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (3)
1.一种基于视频目标检测的学生课堂异常行为识别方法,包括以下步骤:
步骤一、实时获取学生上课视频,利用人脸检测算法获取学生上课视频中每个学生的人脸位置;利用人脸特征提取算法获取每个学生人脸的人脸特征,并与学生人脸特征库进行对比,获得每个人脸对应的身份;
步骤二、获取学生上课视频每帧图像中每个学生的行为位置、行为初始类别以及行为分数;
步骤三、对于每帧图像中的每个学生STj,将学生STj当前行为位置扩大S倍作为候选区域,在候选区域内与其他帧图像进行交并比匹配,得到学生STj在其他帧图像匹配的行为位置、行为初始类别、行为分数,统计所有帧图像中每种异常行为发生频率,找到发生频率最高的异常行为A,判断所有帧图像中学生异常行为A发生的次数是否超过M次;若是,则认为学生STj发生异常行为A,并获取异常行为A的行为位置;若否,则认为学生STj未发生异常行为A;1≤j≤p,p为上课的学生总数;
步骤四、对于发生异常行为A的学生STj,在各帧图像中,找到行为分数最高的异常行为A所对应的行为位置B;找到步骤一中与位置B存在交集的人脸,计算存在交集的各人脸和位置B的距离,距离最小的人脸对应的身份即为学生STj的身份。
2.根据权利要求1所述的基于视频目标检测的学生课堂异常行为识别方法,其特征在于,步骤二具体包括:
从学生上课视频中每隔T秒获取2N帧图像;
将2N帧图像的数据2N*3*H0*W0送入到resnet50骨干网络获取2N*3*H1*W1特征,第i帧图像对应的特征记为Fi,i=1,2,....2N,大小为C1*H1*W1;其中H0、W0分别为每帧图像的高度和宽度,H1、W1、C1分别为特征Fi的高度、宽度以及通道数;i=1,2,....2N;
3.一种基于视频目标检测的学生课堂异常行为识别***,其特征在于,包括:
人脸识别模块:实时获取学生上课视频,利用人脸检测算法获取学生上课视频中每个学生的人脸位置;利用人脸特征提取算法获取每个学生人脸的人脸特征,并与学生人脸特征库进行对比,获得每个人脸对应的身份;
行为识别模块:获取学生上课视频每帧图像中每个学生的行为位置、行为初始类别以及行为分数;
异常行为识别模块:对于每帧图像中的每个学生STj,将学生STj当前行为位置扩大S倍作为候选区域,在候选区域内与其他帧图像进行交并比匹配,得到学生STj在其他帧图像匹配的行为位置、行为初始类别、行为分数,统计所有帧图像中每种异常行为发生频率,找到发生频率最高的异常行为A,判断所有帧图像中学生异常行为A发生的次数是否超过M次;若是,则认为学生STj发生异常行为A,并获取异常行为A的行为位置;若否,则认为学生STj未发生异常行为A;1≤j≤p,p为上课的学生总数;
身份确定模块:对于发生异常行为A的学生STj,在各帧图像中,找到行为分数最高的异常行为A所对应的行为位置B;找到步骤一中与位置B存在交集的人脸,计算存在交集的各人脸和位置B的距离,距离最小的人脸对应的身份即为学生STj的身份。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310143918.0A CN116311554A (zh) | 2023-02-14 | 2023-02-14 | 基于视频目标检测的学生课堂异常行为识别方法与*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310143918.0A CN116311554A (zh) | 2023-02-14 | 2023-02-14 | 基于视频目标检测的学生课堂异常行为识别方法与*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116311554A true CN116311554A (zh) | 2023-06-23 |
Family
ID=86835244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310143918.0A Pending CN116311554A (zh) | 2023-02-14 | 2023-02-14 | 基于视频目标检测的学生课堂异常行为识别方法与*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116311554A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117152688A (zh) * | 2023-10-31 | 2023-12-01 | 江西拓世智能科技股份有限公司 | 一种基于人工智能的智慧课堂行为分析方法及*** |
-
2023
- 2023-02-14 CN CN202310143918.0A patent/CN116311554A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117152688A (zh) * | 2023-10-31 | 2023-12-01 | 江西拓世智能科技股份有限公司 | 一种基于人工智能的智慧课堂行为分析方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3916627A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
CN109522815B (zh) | 一种专注度评估方法、装置及电子设备 | |
CN112906631B (zh) | 一种基于视频的危险驾驶行为检测方法和检测*** | |
CN113112416B (zh) | 一种语义引导的人脸图像修复方法 | |
CN113762107B (zh) | 对象状态评估方法、装置、电子设备及可读存储介质 | |
CN110458115B (zh) | 一种基于时序的多帧集成目标检测算法 | |
CN116311554A (zh) | 基于视频目标检测的学生课堂异常行为识别方法与*** | |
Zhang et al. | Detecting and removing visual distractors for video aesthetic enhancement | |
CN112801536A (zh) | 图像处理方法、装置和电子设备 | |
CN113705510A (zh) | 目标识别跟踪的方法、装置、设备及存储介质 | |
CN110866473B (zh) | 目标对象的跟踪检测方法及装置、存储介质、电子装置 | |
Guo et al. | Open-eye: An open platform to study human performance on identifying ai-synthesized faces | |
Wang et al. | Yolov5 enhanced learning behavior recognition and analysis in smart classroom with multiple students | |
CN111353439A (zh) | 一种教学行为的分析方法、装置、***及设备 | |
Vázquez et al. | Virtual worlds and active learning for human detection | |
Chen et al. | Sound to visual: Hierarchical cross-modal talking face video generation | |
CN117459661A (zh) | 一种视频处理方法、装置、设备及机器可读存储介质 | |
US20230290118A1 (en) | Automatic classification method and system of teaching videos based on different presentation forms | |
CN114882570A (zh) | 一种远程考试异常状态预判方法、***、设备及存储介质 | |
CN113688739A (zh) | 基于情绪识别和视觉分析的课堂学习效率预测方法及*** | |
CN111325185B (zh) | 人脸防欺诈方法及*** | |
CN114495232A (zh) | 一种基于深度学习的课堂学生动作识别方法及*** | |
CN112528790A (zh) | 基于行为识别的教学管理方法、装置及服务器 | |
CN111814565A (zh) | 一种目标检测方法和装置 | |
CN114648805B (zh) | 课程视频视线修正***及其训练方法、视线落点估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |