CN115546899A - 一种基于深度学习的考场异常行为分析方法、***及终端机 - Google Patents

一种基于深度学习的考场异常行为分析方法、***及终端机 Download PDF

Info

Publication number
CN115546899A
CN115546899A CN202211396385.9A CN202211396385A CN115546899A CN 115546899 A CN115546899 A CN 115546899A CN 202211396385 A CN202211396385 A CN 202211396385A CN 115546899 A CN115546899 A CN 115546899A
Authority
CN
China
Prior art keywords
examination room
deep learning
abnormal behavior
analysis method
behavior analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211396385.9A
Other languages
English (en)
Inventor
马磊
陈义学
侯庆
梁延灼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANDONG SHANDA OUMA SOFTWARE CO Ltd
Original Assignee
SHANDONG SHANDA OUMA SOFTWARE CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANDONG SHANDA OUMA SOFTWARE CO Ltd filed Critical SHANDONG SHANDA OUMA SOFTWARE CO Ltd
Priority to CN202211396385.9A priority Critical patent/CN115546899A/zh
Publication of CN115546899A publication Critical patent/CN115546899A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于深度学习的考场异常行为分析方法、***及终端机，涉及视频行为分析领域，获取考场监控视频信息，并对考场监控视频信息进行预处理；构建卷积神经网络，对监控图像中的监考员和考生进行位置检测；对监控图像中的监考员和考生进行实时跟踪；利用构建的卷积神经网络，取解耦头后的其中一路分支进行行为分类识别，对坐立和站立两种行为进行识别；通过识别的行为类别以及个体在连续帧下站立的时长及位移情况，判断是否为学生；如果为学生站立则会触发***预警，提示有考生异常行为。本发明对考场出现的异常情况进行预警，辅助审查人员进行判断和决策，提高异常分析的效率和准确度。

Description

一种基于深度学习的考场异常行为分析方法、***及终端机
技术领域
本发明涉及视频行为分析领域，具体涉及一种基于深度学习的考场异常行为分析方法、***及终端机。
背景技术
目前，考试的监考主要通过设置监考老师来进行监控。为了提高对考试过程的监控力度，并随着高清数字监控设备的普及，有些区域在考场中安装摄像机可以实时记录考试状况，从而快速处理考试过程中的各种突发紧急情况。还可以对考试全过程进行视频获取，并进行保存。如果考生在考试过程出现异常动作则可以进行影像记录，为异常动作的认定提供证据。
目前为了处理一些考情事件需要对考场监控视频进行回放，只能依赖人的视觉和脑力活动参与进行人海战术解决。另有为了能够实现对考场进行监控，由专人对摄像头摄取的信息进行监控，如监控到考生的异常动作，报告给监考人员进行处理。然而由于监控人员长时间集中审查视频画面，很快会出现视觉疲劳，或者不能做到实时对考试过程进行监控，从而无法及时的发现监控视频中出现的考生异常行为，影响考试的公正性。
发明内容
本发明提出了基于深度学习的考场异常行为分析方法，方法利用可以对监控视频中的监考员和考生进行位置检测，并实时跟踪他们的运动轨迹，当考生出现站立行为时，会发出预警并保存当前异常行为画面。
基于深度学习的考场异常行为分析方法包括：
步骤（1）：获取考场监控视频信息，并对考场监控视频信息进行预处理；
步骤（2）：构建卷积神经网络，对监控图像中的监考员和考生进行位置检测；
步骤（3）：对监控图像中的监考员和考生进行实时跟踪；
步骤（4）：利用步骤（2）构建的卷积神经网络，取解耦头后的其中一路分支进行行为分类识别，对坐立和站立两种行为进行识别；
通过识别的行为类别以及个体在连续帧下站立的时长及位移情况，判断是否为学生；
如果为学生站立则会触发***预警，提示有考生异常行为。
进一步需要说明的是，步骤（1）还包括：截取考试过程中的监控视频，将非考试时间监控视频去除，对不同格式的视频进行解码，并且对视频进行等间隔采样抽帧。
进一步需要说明的是，步骤（2）还包括：搭建卷积神经网络并对原始的监控图像进行人工标注，利用标注好的图像进行模型训练，最终获得监考员及每个考生的位置框。
进一步需要说明的是，步骤（2）中，利用训练完成的模型进行推理预测，最终得到 每个人的位置坐标信息
Figure 122343DEST_PATH_IMAGE001
，其中
Figure 40621DEST_PATH_IMAGE002
为矩形框的左上角坐标，
Figure 410422DEST_PATH_IMAGE003
分别为矩形框的宽 度和高度。
进一步需要说明的是，步骤（3）还包括：调取每一帧图像中监考员和考生的位置信息，对每个检测框进行人体属性特征向量提取，利用卡尔曼滤波算法对前一帧图像的所有检测框进行状态预测，并将预测结果与当前帧所有检测框进行交并比计算得分，同时对所有检测框进行人体属性特征向量比对，最终结合两者得分情况将相似度最高的检测框标为同一个人的ID。
进一步需要说明的是，步骤（3）中，设***状态向量为：
Figure 723854DEST_PATH_IMAGE004
其中
Figure 786488DEST_PATH_IMAGE005
为k时刻矩形框的中心点坐标，
Figure 660903DEST_PATH_IMAGE006
分别为矩形框的宽度和高 度，
Figure 975341DEST_PATH_IMAGE007
为k时刻经卡尔曼滤波预测的矩形框的中心点坐标，
Figure 251601DEST_PATH_IMAGE008
分别为k时刻经 卡尔曼滤波预测的矩形框的宽度和高度；
利用预测方程对k时刻的状态向量
Figure 485137DEST_PATH_IMAGE009
和协方差
Figure 237061DEST_PATH_IMAGE010
进行预测，具体公式如下：
Figure 948665DEST_PATH_IMAGE011
Figure 345011DEST_PATH_IMAGE012
其中，
Figure 890393DEST_PATH_IMAGE013
是状态转移矩阵，根据先验知识得到，
Figure 739400DEST_PATH_IMAGE014
是噪声的协方差矩阵；
根据预测的状态值和实际观测值进行卡尔曼滤波参数更新，具体更新公式如下：
Figure 254695DEST_PATH_IMAGE015
Figure 505548DEST_PATH_IMAGE016
Figure 972564DEST_PATH_IMAGE017
其中，
Figure 308867DEST_PATH_IMAGE018
为测量矩阵，R为测量过程的协方差矩阵，
Figure 627853DEST_PATH_IMAGE019
为卡尔曼增益；
将卡尔曼滤波算法得到的所有预测框A与目标检测模型得到的所有检测框B进行IOU计算，具体公式如下：
Figure 608579DEST_PATH_IMAGE020
提取所有检测框的特征向量与前一帧的所有特征向量进行相似度比对，最终得到 外观成本矩阵
Figure 354818DEST_PATH_IMAGE021
,结合IOU计算得到的运动成本矩阵
Figure 178417DEST_PATH_IMAGE022
，最终生成总成本矩阵C,具体公式如 下：
Figure 425728DEST_PATH_IMAGE023
其中，
Figure 385594DEST_PATH_IMAGE024
为权重因子；通过匈牙利算法对成本矩阵进行最优分配计算，得到当前帧 各人员所属的ID。
进一步需要说明的是，步骤（4）中经Softmax激活函数得到最终的行为类别，具体公式如下：
Figure 302734DEST_PATH_IMAGE025
其中，
Figure 754575DEST_PATH_IMAGE026
为第i个节点的输出，C为分类的类别个数，取值为2；
通过对行为类型进行分类识别后，确定每个人的站立、坐立行为，然后对连续时序帧下的所有人的行为进行站立时长和位移距离分析，将站立时长最长及位移距离最远的人员划分为监考人员，将存在短暂站立行为及短位移距离的人员划分为考生，并对发生站立行为的考生进行智能识别并预警。
本发明还提供一种基于深度学习的考场异常行为分析***，***包括：视频采集模块、预处理模块、位置检测模块、人员跟踪模块以及行为识别模块；
视频采集模块用于获取考场监控视频信息；
预处理模块用于对考场监控视频信息进行预处理；
位置检测模块用于构建卷积神经网络，对监控图像中的监考员和考生进行位置检测；
人员跟踪模块用于对监控图像中的监考员和考生进行实时跟踪；
行为识别模块用于利用构建的卷积神经网络，取解耦头后的其中一路分支进行行为分类识别，对坐立和站立两种行为进行识别；
通过识别的行为类别以及个体在连续帧下站立的时长及位移情况，判断是否为学生；
如果为学生站立则会触发***预警，提示有考生异常行为。
本发明还提供一种终端机，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，基于深度学习的考场异常行为分析方法的步骤。
从以上技术方案可以看出，本发明具有以下优点：
本发明提供的将智能视频监控技术应用在考场视频监控***中，减少视频监控对人工的依赖，避免了人工监控及时性差，分辨不清楚的问题。本发明使用智能计算机***对考场监控视频中的监考员和考生的运动进行实时检测和跟踪，对他们的运动趋势进行分析和预测，对可能出现的异常情况进行预警，辅助审查人员进行判断和决策，提高异常分析的效率和准确度。
附图说明
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为基于深度学习的考场异常行为分析方法流程图；
图2为基于深度学习的考场异常行为分析***示意图。
具体实施方式
如图1所示，本发明提供一种基于深度学习的考场异常行为分析方法中所提供的图示仅以示意方式说明本发明的基本构想，本发明可以基于人工智能技术对关联的数据进行获取和处理。其中，基于深度学习的考场异常行为分析方法利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用装置。换句话说，基于深度学习的考场异常行为分析方法在执行过程中，可以生产出能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。本发明综合了摄像头、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。使用计算机视角技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。结合人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术实现考场异常行为分析。
如图1示出了本发明的基于深度学习的考场异常行为分析方法的较佳实施例的流程图。基于深度学习的考场异常行为分析方法应用于一个或者多个终端机中，所述终端机是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(DigitalSignal Processor，DSP)、嵌入式设备等。
终端机可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant， PDA)、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。
终端机还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云。
终端机所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。终端机通过网络与设置在考场的摄像头通信连接，获取考场监控视频信息，再对考场监控视频信息进行分析，分析监考员和考生行为变化趋势，评价考生在考试过程是否满足规范要求，考试是否发生站立行为，对于维持考场秩序有积极作用。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅附图所示是一具体实施例中基于深度学习的考场异常行为分析方法的流程图，方法包括：
S101：获取考场监控视频信息，并对考场监控视频信息进行预处理；
本实施例中，可以实时获取考场监控视频信息，对考场监控视频信息进行预处理。也可以每间隔一预设时长对考场监控视频信息进行预处理，而不是实时进行预处理再分析，这样可以降低***处理的数据量。
预处理过程是将非考试时间监控视频去除，对不同格式的视频进行解码，并且对视频进行等间隔采样抽帧。
S102：构建卷积神经网络，对监控图像中的监考员和考生进行位置检测；
S103：对监控图像中的监考员和考生进行实时跟踪；
其中，本发明是对每一帧图像中监考员和考生的位置信息，然后对每个检测框进行人体属性特征向量提取，利用卡尔曼滤波算法对前一帧图像的所有检测框进行状态预测，并将预测结果与当前帧所有检测框进行交并比（IOU）计算得分，同时对所有检测框进行人体属性特征向量比对，最终结合两者得分情况将相似度最高的检测框标为同一个人的ID。
S104：利用S102构建的卷积神经网络，取解耦头后的其中一路分支进行行为分类识别，对坐立和站立两种行为进行识别；
通过识别的行为类别以及个体在连续帧下站立的时长及位移情况，判断是否为学生；如果为学生站立则会触发***预警，提示有考生异常行为。
这样，实现了对考场监控视频信息进行监控分析，对可能出现的异常情况进行预警，辅助审查人员进行判断和决策，提高异常分析的效率和准确度。
而且还避免了基于人工监控的弊端，实现了实时监控，提高了监控的及时性。
进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，本实施例主要是针对考场监控视频，利用深度学习技术对考场中的监考人员及考生进行实时位置检测与跟踪，并对考生的异常行为进行智能识别。
示例性的讲，终端机所用的***环境为Linux***，***配置为：Inter（R） XeonE5-2620 v4 @ 2.10GHz 内存32G和两个内存为16G 的NVIDIA Tesla P100 GPU显卡，选取考场监控视频作为输入视频流，并以该视频流作为例子。
具体实施步骤如下：步骤（1）：视频预处理
对考场监控视频进行预处理，首先截取考试过程中的监控视频，将非考试时间监 控视频去除，然后对不同格式的视频进行解码，并且每秒抽取5帧图像，最终得到n张图像组 成的图像帧序列
Figure 415364DEST_PATH_IMAGE027
。
步骤（2）：对监考员和考生进行位置检测
a.搭建卷积神经网络。具体网络结构为主干网络采用Darknet53，中间层采用特征金字塔网络（FPN）自顶向下将高层的特征信息通过上采样的方式与下采样得到的特征信息进行传递融合，预测输出层采用解耦头方式，分为三个分支，分别对前景背景、位置框坐标、类别进行预测。
b.模型训练。采集原始监控视频图像进行人工标注，并采用数据增强技术增加训练样本数量，最终生成两万张训练图片进行模型训练，训练批次设为128，轮次设为300。
c.利用训练完成的模型进行推理预测，最终得到每个人的位置坐标信息
Figure 229736DEST_PATH_IMAGE028
, 其中
Figure 583357DEST_PATH_IMAGE029
为矩形框的左上角坐标，
Figure 742068DEST_PATH_IMAGE030
分别为矩形框的宽度和高度。
步骤（3）：对监考员和考生进行跟踪
卡尔曼滤波算法可以利用线性***状态方程，通过***输入输出观测数据，对***状态进行最优估计。因此为了获取k时刻各人员的位置信息，可以假设***状态向量为：
Figure 206547DEST_PATH_IMAGE031
其中
Figure 141005DEST_PATH_IMAGE032
为k时刻矩形框的中心点坐标，
Figure 540894DEST_PATH_IMAGE033
分别为矩形框的宽度和高 度，
Figure 295223DEST_PATH_IMAGE034
为k时刻经卡尔曼滤波预测的矩形框的中心点坐标，
Figure 563393DEST_PATH_IMAGE035
分别为k时刻经 卡尔曼滤波预测的矩形框的宽度和高度。
利用预测方程对k时刻的状态向量
Figure 742571DEST_PATH_IMAGE036
和协方差
Figure 172415DEST_PATH_IMAGE037
进行预测，具体公式如下：
Figure 679620DEST_PATH_IMAGE038
Figure 485902DEST_PATH_IMAGE039
其中，
Figure 270318DEST_PATH_IMAGE040
是状态转移矩阵，根据先验知识得到，
Figure 136643DEST_PATH_IMAGE041
是噪声的协方差矩阵。
根据预测的状态值和实际观测值进行卡尔曼滤波参数更新，具体更新公式如下：
Figure 865565DEST_PATH_IMAGE042
Figure 101636DEST_PATH_IMAGE043
Figure 865193DEST_PATH_IMAGE044
其中，
Figure 902419DEST_PATH_IMAGE045
为测量矩阵，R为测量过程的协方差矩阵，
Figure 259582DEST_PATH_IMAGE046
为卡尔曼增益。
将卡尔曼滤波算法得到的所有预测框A与目标检测模型得到的所有检测框B进行IOU计算，具体公式如下：
Figure 407667DEST_PATH_IMAGE047
提取所有检测框的特征向量与前一帧的所有特征向量进行相似度比对，最终得到 外观成本矩阵
Figure 25730DEST_PATH_IMAGE048
,结合IOU计算得到的运动成本矩阵
Figure 968278DEST_PATH_IMAGE049
，最终生成总成本矩阵C,具体公式如 下：
Figure 62005DEST_PATH_IMAGE050
其中，
Figure 13780DEST_PATH_IMAGE051
为权重因子，取值为0.98。
最后通过匈牙利算法对成本矩阵进行最优分配计算，得到当前帧各人员所属的ID。
步骤（4）：对异常行为进行智能识别
利用步骤（2）搭建的卷积神经网络，取解耦头后的其中一路分支进行行为分类识别，经Softmax激活函数得到最终的行为类别，具体公式如下：
Figure 486350DEST_PATH_IMAGE052
其中，
Figure 6324DEST_PATH_IMAGE053
为第i个节点的输出，C为分类的类别个数，取值为2。
通过对行为类型进行分类识别后，可以确定每个人的站立、坐立行为，然后对连续时序帧下的所有人的行为进行站立时长和位移距离分析，将站立时长最长及位移距离最远的人员划分为监考人员，将存在短暂站立行为及短位移距离的人员划分为考生，并对发生站立行为的考生进行智能识别并预警。
以下是本公开实施例提供的基于深度学习的考场异常行为分析***的实施例，该基于深度学习的考场异常行为分析***与上述各实施例的基于深度学习的考场异常行为分析方法属于同一个发明构思，在基于深度学习的考场异常行为分析***的实施例中未详尽描述的细节内容，可以参考上述基于深度学习的考场异常行为分析方法的实施例。
基于深度学习的考场异常行为分析***包括：视频采集模块、预处理模块、位置检测模块、人员跟踪模块以及行为识别模块；
视频采集模块用于获取考场监控视频信息；
预处理模块用于对考场监控视频信息进行预处理；
位置检测模块用于构建卷积神经网络，对监控图像中的监考员和考生进行位置检测；
人员跟踪模块用于对监控图像中的监考员和考生进行实时跟踪；
行为识别模块用于利用构建的卷积神经网络，取解耦头后的其中一路分支进行行为分类识别，对坐立和站立两种行为进行识别；
通过识别的行为类别以及个体在连续帧下站立的时长及位移情况，判断是否为学生；
如果为学生站立则会触发***预警，提示有考生异常行为。
本发明提供的基于深度学习的考场异常行为分析***将智能视频监控技术应用在考场视频监控***中，减少视频监控对人工的依赖，避免了人工监控及时性差，分辨不清楚的问题。本发明使用智能计算机***对考场监控视频中的监考员和考生的运动进行实时检测和跟踪，对他们的运动趋势进行分析和预测，对可能出现的异常情况进行预警，辅助审查人员进行判断和决策，提高异常分析的效率和准确度。
本发明提供的基于深度学习的考场异常行为分析***中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
基于深度学习的考场异常行为分析***和方法附图中的流程图和框图，图示了按照本公开各种实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。示例性的讲，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
本发明提供的基于深度学习的考场异常行为分析***及方法中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或电力服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(示例性的讲利用因特网服务提供商来通过因特网连接)。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于深度学习的考场异常行为分析方法，其特征在于，方法包括：
步骤（1）：获取考场监控视频信息，并对考场监控视频信息进行预处理；
步骤（2）：构建卷积神经网络，对监控图像中的监考员和考生进行位置检测；
步骤（3）：对监控图像中的监考员和考生进行实时跟踪；
步骤（4）：利用步骤（2）构建的卷积神经网络，取解耦头后的其中一路分支进行行为分类识别，对坐立和站立两种行为进行识别；
通过识别的行为类别以及个体在连续帧下站立的时长及位移情况，判断是否为学生；
如果为学生站立则会触发***预警，提示有考生异常行为。
2.根据权利要求1所述的基于深度学习的考场异常行为分析方法，其特征在于，步骤（1）还包括：截取考试过程中的监控视频，将非考试时间监控视频去除，对不同格式的视频进行解码，并且对视频进行等间隔采样抽帧。
3.根据权利要求1所述的基于深度学习的考场异常行为分析方法，其特征在于，步骤（2）还包括：搭建卷积神经网络并对原始的监控图像进行人工标注，利用标注好的图像进行模型训练，最终获得监考员及每个考生的位置框。
4.根据权利要求3所述的基于深度学习的考场异常行为分析方法，其特征在于，步骤 （2）中，利用训练完成的模型进行推理预测，最终得到每个人的位置坐标信息
Figure 585370DEST_PATH_IMAGE001
，其中
Figure 759999DEST_PATH_IMAGE002
为矩形框的左上角坐标，
Figure 236111DEST_PATH_IMAGE003
分别为矩形框的宽度和高度。
5.根据权利要求1或2所述的基于深度学习的考场异常行为分析方法，其特征在于，步骤（3）还包括：调取每一帧图像中监考员和考生的位置信息，对每个检测框进行人体属性特征向量提取，利用卡尔曼滤波算法对前一帧图像的所有检测框进行状态预测，并将预测结果与当前帧所有检测框进行交并比计算得分，同时对所有检测框进行人体属性特征向量比对，最终结合两者得分情况将相似度最高的检测框标为同一个人的ID。
6.根据权利要求5所述的基于深度学习的考场异常行为分析方法，其特征在于，步骤（3）中，设***状态向量为：
Figure 230612DEST_PATH_IMAGE004
其中
Figure 840585DEST_PATH_IMAGE005
为k时刻矩形框的中心点坐标，
Figure 230240DEST_PATH_IMAGE006
分别为矩形框的宽度和高度，
Figure 1887DEST_PATH_IMAGE007
为k时刻经卡尔曼滤波预测的矩形框的中心点坐标，
Figure 749263DEST_PATH_IMAGE008
分别为k时刻经卡 尔曼滤波预测的矩形框的宽度和高度；
利用预测方程对k时刻的状态向量
Figure 772714DEST_PATH_IMAGE009
和协方差
Figure 390777DEST_PATH_IMAGE010
进行预测，具体公式如下：
Figure 598905DEST_PATH_IMAGE011
Figure 692632DEST_PATH_IMAGE012
其中，
Figure 378828DEST_PATH_IMAGE013
是状态转移矩阵，根据先验知识得到，
Figure 116977DEST_PATH_IMAGE014
是噪声的协方差矩阵；
根据预测的状态值和实际观测值进行卡尔曼滤波参数更新，具体更新公式如下：
Figure 371372DEST_PATH_IMAGE015
Figure 562182DEST_PATH_IMAGE016
Figure 52069DEST_PATH_IMAGE017
其中，
Figure 536402DEST_PATH_IMAGE018
为测量矩阵，R为测量过程的协方差矩阵，
Figure 86332DEST_PATH_IMAGE019
为卡尔曼增益；
将卡尔曼滤波算法得到的所有预测框A与目标检测模型得到的所有检测框B进行IOU计算，具体公式如下：
Figure 764438DEST_PATH_IMAGE020
提取所有检测框的特征向量与前一帧的所有特征向量进行相似度比对，最终得到外观 成本矩阵
Figure 792437DEST_PATH_IMAGE021
,结合IOU计算得到的运动成本矩阵
Figure 380544DEST_PATH_IMAGE022
，最终生成总成本矩阵C,具体公式如下：
Figure 101375DEST_PATH_IMAGE023
其中，
Figure 266778DEST_PATH_IMAGE024
为权重因子；通过匈牙利算法对成本矩阵进行最优分配计算，得到当前帧各人员 所属的ID。
7.根据权利要求1或2所述的基于深度学习的考场异常行为分析方法，其特征在于，
步骤（4）中经Softmax激活函数得到最终的行为类别，具体公式如下：
Figure 223101DEST_PATH_IMAGE025
其中，
Figure 524769DEST_PATH_IMAGE026
为第i个节点的输出，C为分类的类别个数，取值为2；
通过对行为类型进行分类识别后，确定每个人的站立、坐立行为，然后对连续时序帧下的所有人的行为进行站立时长和位移距离分析，将站立时长最长及位移距离最远的人员划分为监考人员，将存在短暂站立行为及短位移距离的人员划分为考生，并对发生站立行为的考生进行智能识别并预警。
8.一种基于深度学习的考场异常行为分析***，其特征在于，***采用如权利要求1至7任意一项所述的基于深度学习的考场异常行为分析方法；
***包括：视频采集模块、预处理模块、位置检测模块、人员跟踪模块以及行为识别模块；
视频采集模块用于获取考场监控视频信息；
预处理模块用于对考场监控视频信息进行预处理；
位置检测模块用于构建卷积神经网络，对监控图像中的监考员和考生进行位置检测；
人员跟踪模块用于对监控图像中的监考员和考生进行实时跟踪；
行为识别模块用于利用构建的卷积神经网络，取解耦头后的其中一路分支进行行为分类识别，对坐立和站立两种行为进行识别；
通过识别的行为类别以及个体在连续帧下站立的时长及位移情况，判断是否为学生；
如果为学生站立则会触发***预警，提示有考生异常行为。
9.一种终端机，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于深度学习的考场异常行为分析方法的步骤。
CN202211396385.9A 2022-11-09 2022-11-09 一种基于深度学习的考场异常行为分析方法、***及终端机 Pending CN115546899A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211396385.9A CN115546899A (zh) 2022-11-09 2022-11-09 一种基于深度学习的考场异常行为分析方法、***及终端机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211396385.9A CN115546899A (zh) 2022-11-09 2022-11-09 一种基于深度学习的考场异常行为分析方法、***及终端机

Publications (1)

Publication Number Publication Date
CN115546899A true CN115546899A (zh) 2022-12-30

Family

ID=84719860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211396385.9A Pending CN115546899A (zh) 2022-11-09 2022-11-09 一种基于深度学习的考场异常行为分析方法、***及终端机

Country Status (1)

Country Link
CN (1) CN115546899A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937793A (zh) * 2023-03-02 2023-04-07 广东汇通信息科技股份有限公司 基于图像处理的学生行为异常检测方法
CN117437696A (zh) * 2023-12-20 2024-01-23 山东山大鸥玛软件股份有限公司 基于深度学习的行为监控分析方法、***、设备及介质
CN118228141A (zh) * 2024-05-17 2024-06-21 福州安玉科技有限公司 优化卡尔曼滤波器的时序信号异常检测方法、介质和设备
CN118228141B (zh) * 2024-05-17 2024-07-23 福州安玉科技有限公司 优化卡尔曼滤波器的时序信号异常检测方法、介质和设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937793A (zh) * 2023-03-02 2023-04-07 广东汇通信息科技股份有限公司 基于图像处理的学生行为异常检测方法
CN115937793B (zh) * 2023-03-02 2023-07-25 广东汇通信息科技股份有限公司 基于图像处理的学生行为异常检测方法
CN117437696A (zh) * 2023-12-20 2024-01-23 山东山大鸥玛软件股份有限公司 基于深度学习的行为监控分析方法、***、设备及介质
CN118228141A (zh) * 2024-05-17 2024-06-21 福州安玉科技有限公司 优化卡尔曼滤波器的时序信号异常检测方法、介质和设备
CN118228141B (zh) * 2024-05-17 2024-07-23 福州安玉科技有限公司 优化卡尔曼滤波器的时序信号异常检测方法、介质和设备

Similar Documents

Publication Publication Date Title
US10089556B1 (en) Self-attention deep neural network for action recognition in surveillance videos
CN115546899A (zh) 一种基于深度学习的考场异常行为分析方法、***及终端机
CN111915148B (zh) 一种基于信息技术的课堂教学评价方法和***
CN110490136B (zh) 一种基于知识蒸馏的人体行为预测方法
CN110717389A (zh) 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法
KR20190079047A (ko) 육안 인식 검사원의 부하경감을 위한 등급별 영상인식 기술을 이용한 cctv 영상내 의심물체 부분검사 지원 시스템 및 방법
Yahaya et al. Gesture recognition intermediary robot for abnormality detection in human activities
CN114973120A (zh) 一种基于多维传感数据与监控视频多模异构融合的行为识别方法及***
CN112200011A (zh) 曝气池状态检测方法、***、电子设备及存储介质
CN111914676A (zh) 人体摔倒检测方法、装置、电子设备和存储介质
CN113887446A (zh) 一种基于神经网络的音视频联合行人意外跌倒监控方法
CN115578770A (zh) 基于自监督的小样本面部表情识别方法及***
CN112768070A (zh) 一种基于对话交流的精神健康评测方法和***
CN114332911A (zh) 一种头部姿态检测方法、装置及计算机设备
CN115294519A (zh) 一种基于轻量化网络的异常事件检测及预警方法
CN113688761A (zh) 一种基于图像序列的行人行为类别检测方法
CN112270246A (zh) 视频行为识别方法及装置、存储介质、电子设备
CN113469080B (zh) 一种个体、群体、场景交互协同感知方法、***及设备
CN113408435B (zh) 一种安全监控方法、装置、设备和存储介质
CN114693790A (zh) 基于混合注意力机制的自动图像描述方法与***
Yang et al. Student in-class behaviors detection and analysis system based on CBAM-YOLOv5
Cai et al. Detecting abnormal behavior in examination surveillance video with 3D convolutional neural networks
CN115083229B (zh) 基于ai视觉识别的飞行训练设备智能识别与警示***
CN110705413A (zh) 基于视线方向和lstm神经网络的情感预测方法及***
CN115909144A (zh) 一种基于对抗学习的监控视频异常检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination