CN115035439A - 一种基于深度网络学习的校园异常事件监控*** - Google Patents
一种基于深度网络学习的校园异常事件监控*** Download PDFInfo
- Publication number
- CN115035439A CN115035439A CN202210596506.8A CN202210596506A CN115035439A CN 115035439 A CN115035439 A CN 115035439A CN 202210596506 A CN202210596506 A CN 202210596506A CN 115035439 A CN115035439 A CN 115035439A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- abnormal event
- event
- video
- events
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 251
- 238000012544 monitoring process Methods 0.000 title claims abstract description 78
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000012163 sequencing technique Methods 0.000 claims abstract description 12
- 230000004044 response Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 18
- 230000006399 behavior Effects 0.000 claims description 11
- 238000007726 management method Methods 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 7
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 6
- 230000006378 damage Effects 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 239000012088 reference solution Substances 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000010835 comparative analysis Methods 0.000 abstract description 3
- 238000009411 base construction Methods 0.000 abstract 1
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种基于深度网络学习的校园异常事件监控***，包括视频大数据采集与存储体系、异常事件监测体系和异常事件告警体系；在异常事件监测体系中通过利用知识图谱和深度多实例排序的弱监督异常检测算法来对特征明显异常事件与特征不明显的异常事件进行检测识别，当***检测出异常事件后，可实现涉事人员识别与相关班主任及管理人员精准告警通知，实现异常事件快速响应与处理，还可通过对特定异常事件发生前的人员动态特征进行深度学习与构建动态特征知识库，对正在发生的场景进行自动对比分析，实现对特定异常事件发生的***，以及及时预警干预，本发明较大程度上节省人力物力，提高了工作效率，降低异常事件的发生所造成的损失。
Description
技术领域
本发明涉及校园异常事件监控技术领域，具体为一种基于深度网络学习的校园异常事件监控***。
背景技术
校园是教师和学生共同生活和学习的场所，校园安全事故是指学校发生的学生、教师、设施、设备的事故以及盗窃、火灾等其他灾害的总称。目前随着校园监控***录制视频时长的增加，传统的校园视频监控***逐渐无法对日益增长的海量视频数据进行有效处理，导致视频资源利用率低下。同时监控***处于“只记录不判断”的模式，当发生异常事件后，相关部门的工作人员只能借助人工查看方式在事后反复重播监控录像对监控视频进行调查取证，效率较低。并且传统的校园视频监控无法实时地对监控视频中的异常信息做出响应，无法及时做出告警，也就导致无法从根源上降低校园异常事件的发生所带来的损失和影响。
发明内容
本发明的目的在于提供一种基于深度网络学习的校园异常事件监控***，将工作人员从人工肉眼看监控视频的工作中解脱出来，较大程度上节省人力物力，提高了工作效率，也克服了传统视频监控***对人工分析的过度依赖；另外，还极大地减少了校园异常事件的响应时间，从源头上尽可能的遏制异常事件的发生，降低异常事件的发生所造成的损失，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度网络学习的校园异常事件监控***，包括视频大数据采集与存储体系、异常事件监测体系和异常事件告警体系；
所述视频大数据采集与存储体系包括视频采集、图片采集、数据知识库以及数据存储模块，其中，视频采集通过校园监控摄像头将所有拍摄的视频内容按时间进行分段采集；图片采集通过校园的大门闸机人脸识别***，以及校园内其他人脸***对每位学生与教职工进行人脸图片信息采集，以及对校园内发生的异常事件场景进行图片信息采集；数据知识库利用视频监控数据、全校学生以及教职工人脸信息数据、班级信息数据、异常事件行为数据、视频监控位置数据的多种维度数据，通过知识图谱技术构建人员和异常事件行为知识库，并利用关联规则算法FP-Growth和数理统计方法实现以增量方式从校园异常事件中获取反映异常事件发生的知识，并将取得的知识融合到知识库中；数据存储模块在原有的以时间分类的模式下提供了将监控视频根据人员进行分类并存储的模式，人员分类存储模式通过知识库人员信息数据对比识别，实时辨别出图像中出现的人员，并将这段视频分别存入在当前监控画面中出现的所有人员的文件夹中，并将相同班级和相同年级的学生进行统一归总；
所述异常事件监测体系通过利用知识图谱和深度多实例排序的弱监督异常检测算法来对特征明显异常事件与特征不明显的异常事件进行检测识别，并对相应异常事件进行分类评级；在异常事件监测体系中还包括异常事件预测功能，通过对特定异常事件发生前的人员动态特征进行深度学习与构建动态特征知识库，对正在发生的场景进行自动对比分析，实现对特定异常事件发生的***，以及及时预警干预；
所述异常事件告警体系分为***直接告警、移动端告警提示和自动联动告警，通过视频大数据采集与存储体系构建校园人员信息知识库并形成关系树，当异常事件监测体系检测出异常事件后，可对涉事人员识别与相关班主任及管理人员精准告警通知，实现异常事件快速响应与处理。
更进一步地，利用知识图谱和深度多实例排序的弱监督异常检测算法进行异常事件监测步骤如下：
S1：在数据训练间将校园监控视频分成固定数量的片段，并在包中创建实例，形成正包和负包，并使用提出的深度多实例学习排序模型，在模型中，包定义为多个实例的集合，一个包对应一个标签，一个正包中至少需要一个正样本，一个负包中只能全部是负样本，其中，一个包内包含32个样本片段，每个视频被分割成固定数量的片段，作为深度多实例学习排序模型中的实例，将每个视频看做模型中的包，将视频中异常分数最大片段的分数作为异常分数；
S2：训练数据时，随机选取30个正包和30个负包作为最小梯度进行训练，使得对于待测试的实例，可以得到其正负标签；
S3：将异常事件检测看做一个回归问题，即回归异常得分值，理想情况下异常得分一定要高于正常事件的异常得分，即:
f(va)＞f(vn)
其中va表示异常视频段，vn表示正常视频段；f(va)表示异常视频段相应的预测分数，f(vn)表示正常视频段相应的预测分数；
S4：针对正包中最大的异常得分一定大于负包中最大的异常得分，建立目标函数:
在训练中，只用对于正包和负包异常得分最大的样本，具体的，正包中分数最大的样本最可能是正样本，而负包中分数最大的样本则被认为是难例；
S5：采用hinge-loss函数作为主损失函数，用于拉大正包和负包的得分差距，作为异常事件和正常事件异常值的排序:
针对视频片段是连续的，视频序列的相邻实例之间的分数是平滑的，引入时序平滑约束，将损失函数调整为:
其中，γ1表示平滑约束因子，
表示时序平滑约束，γ2表示稀疏约束因子，
表示稀疏约束；
在损失函数中加上一个正则项来防止模型过拟合，用λ表示模型权重，则最终的损失函数为:
L′(λ)＝L(Ba+Bn)+γ3||λ||F。
更进一步地，所述异常事件预测功能具体实现方法如下：
S1：学习已经确认的典型异常事件发生前的人员动态，并形成相应的异常事件人员动态知识库；
S2：将摄像头正监控到的动态行为与异常事件人员动态知识库进行对比分析，若与知识库相对应的某种异常事件前人员动态处于相似状态，则立即将该实时监控画面切换到主显示面，并进行及时处理与干预，避免异常事件的发生，实现对特定的异常事件的预测功能。
更进一步地，所述校园异常事件包括火灾、踩踏多种异常行为事件，通过知识库对比分析，实现自动划分事件，并对事件的严重性进行分级，分级依赖于异常事件分类评级***，将每个被归为异常的事件进行识别、分类并根据紧急状况进行评级。
更进一步地，所述异常事件告警体系的逻辑方法如下：
S1：当异常事件监测体系检测识别出异常事件后，***通过弹窗功能将异常事件以醒目的方式展示给***管理员；
S2：管理员对异常事件进行确认，若涉及到相关的师生的异常事件，则进行***告警通知；***告警通知包括App***告警与手机短信通知；
S3：相关责任人收到异常事件告警通知后，及时的掌握情况并进行异常事件的决策处理，在最大程度上缩短响应时间并减少损伤，并将异常事件决策处理方案输入至***中，形成异常事件处理记录，供后期***针对特定异常事件告警直接输出事件参考解决方案。
更进一步地，所述App***告警通知包括异常事件视频片段、涉事人员信息、异常事件发生时间、异常事件类型；手机短信通知作为App***告警通知的辅助，提醒相关管理人员有与其相关的异常事件发生；
具体的，包括在发***事件时，***根据监控进行人像分析，在极短的时间里确定在***件中受伤的人员信息，并及时将人员信息和视频短片通过***通知发送给相应的班主任和校级领导；若不涉及相关学校人员的非紧急异常事件，管理员向相关责任部门或人员进行App***通知，并督促其尽快整改；若检测出的异常事件为紧急且学校无法处理的事件，包括火灾、校园伤害；***可自动联动119火警报警、110报警，并会通过文字转语音清晰的告知接线员必要的信息，包括时间、地点、异常时间类型，使得涉事人员受到最妥当的处理。
与现有技术相比，本发明的有益效果是：
1、本发明提供的一种基于深度网络学习的校园异常事件监控***，形成了校园异常事件的检测、识别、预警完整的智能监控应用体系；通过利用神经网络深度学习技术对校园异常事件进行检测识别，同事可以对异常事件进行级别划分，自动准确识别包含火灾、踩踏在内的多种异常行为事件，并进行告警通知，最大程度的避免因监控管理人员疏忽而导致的异常事件处理速度过慢或者根本没有发现异常情况的现象。
2、本发明提供的一种基于深度网络学习的校园异常事件监控***，除了对正在发生的校园异常事件进行自动识别告警以外，对于可能要发生的异常事件通过深度学习训练，还可实现特定异常事件预测功能。
3、本发明提供的一种基于深度网络学习的校园异常事件监控***，还可实现异常事件涉事人员的自动识别，并通过人员信息知识库中人员关系树，实现相关班主任及管理人员精准告警通知，实现异常事件快速响应。
附图说明
图1为本发明的***数据处理原理图；
图2为本发明的异常事件监测流程图；
图3为本发明的异常事件告警逻辑流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中提供一种基于深度网络学习的校园异常事件监控***，包括视频大数据采集与存储体系、异常事件监测体系和异常事件告警体系。
其中，视频大数据采集与存储体系包括数据采集模块、数据知识库、数据存储模块；数据采集模块包括视频采集与图片采集；视频采集主要通过校园监控摄像头将所有拍摄的视频内容按时间进行分段采集；图片采集主要通过校园的大门闸机人脸识别***，以及校园内其他人脸***对每位学生与教职工进行人脸图片信息采集，对校园内发生的异常事件场景进行图片信息采集。数据知识库主要利用视频监控数据、全校学生以及教职工人脸信息数据、班级信息数据、异常事件行为数据、视频监控位置数据等多种维度数据，通过知识图谱技术构建人员和异常事件行为知识库，并在此基础上利用关联规则算法FP-Growth和数理统计方法实现以增量方式从校园异常事件中获取反映异常事件发生的知识，并将取得的知识融合到知识库中。数据存储模块在原有的以时间分类的模式下提供了将监控视频根据人员进行分类并存储的模式。人员分类存储模式可以通过知识库人员信息数据对比识别，实时辨别出图像中出现的人员，将这段视频分别存入在当前监控画面中出现的所有人员的文件夹中，并将相同班级和相同年级的学生进行统一归总。
其中，异常事件监测体系对于特征明显的异常事件，如火灾、踩踏、等多种异常行为事件，通过知识库对比分析，可实现自动划分事件，并对事件的严重性进行分级，本体系包含有异常事件分类评级***，将每个被归为异常的事件进行识别、分类并根据紧急状况进行评级。管理人员将以最醒目的方式看到评级最高的异常事件并能在第一时间清楚明确是什么类型的异常事件。如果某校在极短的时间间隔内同时发生了食堂着火和楼梯的***件。那么在***检测到火灾并直接拨打火警进行报警之后，管理人员将看到楼梯***件位于屏幕的正中间并切放大(即顺次成为首要处理时间)，而火灾和学生打架则会以相对较小的尺寸排列在周围。这样可以提高管理人员的办事效率，最大程度的避免因监控管理人员疏忽而导致的异常事件发现速度过慢或者根本没有发现异常情况的现象，同时根据严重等级进行人员分配，进一步优化了人员利用率。
对于特征不明显的异常事件，如相同的行为可能在不同条件下被分为正常行为或异常行为，异常的判定需要合理掌握正常的尺度，因此，正常和异常事件的训练数据可以帮助异常检测***更好地学习。基于此，本发明实施例提出基于深度多实例排序的弱监督异常检测算法来进行异常事件监测，具体方法如下：
首先在数据训练间将校园监控视频分成固定数量的片段，并在包中创建实例，形成正包和负包，并使用提出的深度多实例学习排序模型。
在模型中，包被定义为多个实例的集合，一个包对应一个标签，一个正包中至少需要一个正样本，一个负包中只能全部是负样本，在这里一个包内包含32个样本片段，每个视频都被分割成了固定数量的片段，作为深度多实例学习排序模型中的实例，将每个视频看做模型中的包，将视频中异常分数最大片段的分数作为异常分数。
训练数据时，随机选取30个正包和30个负包作为最小梯度进行训练；该模型是为了得到一个分类器，使得对于待测试的实例，可以得到其正负标签，所以可以看出在异常检测中弱监督实际上就是深度多实例学习排序模型的另一种表达形式。
将异常事件检测看做一个回归问题，即主要是回归异常得分值，理想情况是异常得分一定要高于正常事件的异常得分，即:
f(va)＞f(vn)
其中va表示异常视频段，vn表示正常视频段；f(va)表示异常视频段相应的预测分数，f(vn)表示正常视频段相应的预测分数。
由于在深度多实例学习排序模型中的包中不清楚每个具体样本的标签，但是一定存在正包中最大的异常得分一定大于负包中最大的异常得分，所以采取的目标函数为:
在训练中，只用对于正包和负包异常得分最大的样本。具体而言，正包中分数最大的样本最可能是正样本，而负包中分数最大的样本则被认为是难例。
为了拉大正包和负包的得分差距，采用hinge-loss函数作为主损失函数，作为异常事件和正常事件异常值的排序:
但上式中的损失函数没有考虑视频的时序结构；由于视频片段是连续的，所以视频序列的相邻实例之间的分数都是平滑的，所以引入时序平滑约束；且考虑真实情况中正包中正样本(异常事件)通常只占很小一部分，所以引入稀疏约束；损失函数变为:
其中，γ1表示平滑约束因子，
表示时序平滑约束，γ2表示稀疏约束因子，
表示稀疏约束。
损失函数还需要加上一个正则项来防止模型过拟合，用λ表示模型权重，则最终的损失函数为:
L′(λ)＝L(Ba+Bn)+γ3||λ||F。
为了进一步更好的解释说明上述异常事件监测流程，还提供如下具体的实施例，如图2所示：
步骤一：将每一个训练视频帧的大小调整为240*320像素，帧率固定到 30fps，都分成数量相等的片段，然后分别构成正包和负包；
步骤二：使用在其他数据集上预训练好的C3D网络对每段片段提取16帧的时空特征，取这16帧的均值，并将获取的特征输入3层全连接层(FC)神经网络中，计算异常得分，并根据异常得分来预测是否发生了异常事件；FC1共 512神经元，使用RELU函数来激活；FC2为32个神经元；FC3为1个神经元，激活函数为Sigmoid，这个三层全连接层中存在60％的降数正则化；
步骤三：使用一个神经网络(本发明使用MLP(卷积神经网络))来对每个片段打分，并分别取正常视频和异常视频中异常分数最大的实例，来计算多实例排序损失，结合用来训练MLP的模型参数，并采用hinge-loss函数，训练的效果显示为对异常样本输出高的分，正常样本输出低的分，通过试验计算，γ1＝γ1＝8×10-5，γ3＝0.01时异常事件检测效果最好。
另外，需要说明的是异常事件监测体系利用学校地域范围比较小、可能发生的异常事件较为局限且摄像头覆盖率非常高的优势，本体系加入了异常事件学习预测功能，***能够通过学习已经确认的典型异常事件发生前的人员动态，并形成相应的异常事件人员动态知识库，然后将摄像头正监控到的动态行为与异常事件人员动态知识库进行对比分析，若与知识库相对应的某种异常事件前人员动态处于相似状态，则立即将该实时监控画面切换到主显示面，并进行及时处理与干预，尽量避免异常事件的发生，实现对特定的异常事件的预测功能。
在本发明实施例中，异常事件告警体系主要分为***直接告警、移动端告警提示、自动联动告警，异常事件告警逻辑如下，如图3所示：
步骤一：当异常事件监测体系检测识别出异常事件后，***可通过弹窗功能将异常事件以醒目的方式展示给***管理员。
步骤二：管理员对异常事件进行确认，若涉及到相关的师生的异常事件，则进行***告警通知。***告警通知主要包括app***告警与手机短信通知。 App***告警通知主要包括异常事件视频片段、涉事人员信息、异常事件发生时间、异常事件类型。手机短息通知主要作为App***告警通知的辅助，提醒相关管理人员有与其相关的异常事件发生。如，在发***事件时，***会根据监控进行人像分析，在极短的时间里确定在***件中受伤的人员信息，并及时将人员信息和视频短片通过***通知发送给相应的班主任和校级领导。若不涉及相关学校人员的非紧急异常事件，管理员向相关责任部门或人员进行app***通知，并督促其尽快整改。若检测出的异常事件为紧急且学校无法处理的事件，如火灾、校园伤害等。***可自动联动119火警报警、 110报警等。并会通过文字转语音清晰的告知接线员必要的信息，比如时间、地点、异常时间类型等使得涉事人员受到最妥当的处理。
步骤三：相关责任人收到异常事件告警通知后，及时的掌握情况并进行异常事件的决策处理，在最大程度上缩短响应时间并减少损伤，并将异常事件决策处理方案输入至***中，形成异常事件处理记录，可供后期***针对特定异常事件告警直接输出事件参考解决方案。
综上所述：本发明提供的一种基于深度网络学习的校园异常事件监控***，通过构建校园人员信息知识库并形成关系树，当***间检测出异常事件后，可实现涉事人员识别与相关班主任及管理人员精准告警通知，实现异常事件快速响应与处理，通过利用知识图谱和深度多实例排序的弱监督异常检测算法来对特征明显异常事件与特征不明显的异常事件进行检测识别，形成了校园异常事件的检测、识别、预警完整的智能监控应用体系，通过利用神经网络深度学习技术对校园异常事件进行检测识别，同时可以对异常事件进行级别划分，自动准确识别包含火灾、踩踏在内的多种异常行为事件，并进行告警通知，最大程度的避免因监控管理人员疏忽而导致的异常事件处理速度过慢或者根本没有发现异常情况的现象；另外，本发明设计的异常事件预测功能，可通过对特定异常事件发生前的人员动态特征进行深度学习与构建动态特征知识库，对正在发生的场景进行自动对比分析，实现对特定异常事件发生的***，以及及时预警干预。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于深度网络学习的校园异常事件监控***，其特征在于，包括视频大数据采集与存储体系、异常事件监测体系和异常事件告警体系；
所述视频大数据采集与存储体系包括视频采集、图片采集、数据知识库以及数据存储模块，其中，视频采集通过校园监控摄像头将所有拍摄的视频内容按时间进行分段采集；图片采集通过校园的大门闸机人脸识别***，以及校园内其他人脸***对每位学生与教职工进行人脸图片信息采集，以及对校园内发生的异常事件场景进行图片信息采集；数据知识库利用视频监控数据、全校学生以及教职工人脸信息数据、班级信息数据、异常事件行为数据、视频监控位置数据的多种维度数据，通过知识图谱技术构建人员和异常事件行为知识库，并利用关联规则算法FP-Growth和数理统计方法实现以增量方式从校园异常事件中获取反映异常事件发生的知识，并将取得的知识融合到知识库中；数据存储模块在原有的以时间分类的模式下提供了将监控视频根据人员进行分类并存储的模式，人员分类存储模式通过知识库人员信息数据对比识别，实时辨别出图像中出现的人员，并将这段视频分别存入在当前监控画面中出现的所有人员的文件夹中，并将相同班级和相同年级的学生进行统一归总；
所述异常事件监测体系通过利用知识图谱和深度多实例排序的弱监督异常检测算法来对特征明显异常事件与特征不明显的异常事件进行检测识别，并对相应异常事件进行分类评级；在异常事件监测体系中还包括异常事件预测功能，通过对特定异常事件发生前的人员动态特征进行深度学习与构建动态特征知识库，对正在发生的场景进行自动对比分析，实现对特定异常事件发生的***，以及及时预警干预；
所述异常事件告警体系分为***直接告警、移动端告警提示和自动联动告警，通过视频大数据采集与存储体系构建校园人员信息知识库并形成关系树，当异常事件监测体系检测出异常事件后，可对涉事人员识别与相关班主任及管理人员精准告警通知，实现异常事件快速响应与处理。
2.如权利要求1所述的一种基于深度网络学习的校园异常事件监控***，其特征在于：利用知识图谱和深度多实例排序的弱监督异常检测算法进行异常事件监测步骤如下：
S1：在数据训练间将校园监控视频分成固定数量的片段，并在包中创建实例，形成正包和负包，并使用提出的深度多实例学习排序模型，在模型中，包定义为多个实例的集合，一个包对应一个标签，一个正包中至少需要一个正样本，一个负包中只能全部是负样本，其中，一个包内包含32个样本片段，每个视频被分割成固定数量的片段，作为深度多实例学习排序模型中的实例，将每个视频看做模型中的包，将视频中异常分数最大片段的分数作为异常分数；
S2：训练数据时，随机选取30个正包和30个负包作为最小梯度进行训练，使得对于待测试的实例，可以得到其正负标签；
S3：将异常事件检测看做一个回归问题，即回归异常得分值，理想情况下异常得分一定要高于正常事件的异常得分，即:
f(va)＞f(vn)
其中va表示异常视频段，vn表示正常视频段；f(va)表示异常视频段相应的预测分数，f(vn)表示正常视频段相应的预测分数；
S4：针对正包中最大的异常得分一定大于负包中最大的异常得分，建立目标函数:
在训练中，只用对于正包和负包异常得分最大的样本，具体的，正包中分数最大的样本最可能是正样本，而负包中分数最大的样本则被认为是难例；
S5：采用hinge-loss函数作为主损失函数，用于拉大正包和负包的得分差距，作为异常事件和正常事件异常值的排序:
针对视频片段是连续的，视频序列的相邻实例之间的分数是平滑的，引入时序平滑约束，将损失函数调整为:
其中，γ1表示平滑约束因子，
表示时序平滑约束，γ2表示稀疏约束因子，
表示稀疏约束；
在损失函数中加上一个正则项来防止模型过拟合，用λ表示模型权重，则最终的损失函数为:
L′(λ)＝L(Ba+Bn)+γ3||λ||F。
3.如权利要求1所述的一种基于深度网络学习的校园异常事件监控***，其特征在于：所述异常事件预测功能具体实现方法如下：
S1：学习已经确认的典型异常事件发生前的人员动态，并形成相应的异常事件人员动态知识库；
S2：将摄像头正监控到的动态行为与异常事件人员动态知识库进行对比分析，若与知识库相对应的某种异常事件前人员动态处于相似状态，则立即将该实时监控画面切换到主显示面，并进行及时处理与干预，避免异常事件的发生，实现对特定的异常事件的预测功能。
4.如权利要求1所述的一种基于深度网络学习的校园异常事件监控***，其特征在于：所述校园异常事件包括火灾、踩踏异常行为事件，通过知识库对比分析，实现自动划分事件，并对事件的严重性进行分级，分级依赖于异常事件分类评级***，将每个被归为异常的事件进行识别、分类并根据紧急状况进行评级。
5.如权利要求1所述的一种基于深度网络学习的校园异常事件监控***，其特征在于，所述异常事件告警体系的逻辑方法如下：
S1：当异常事件监测体系检测识别出异常事件后，***通过弹窗功能将异常事件以醒目的方式展示给***管理员；
S2：管理员对异常事件进行确认，若涉及到相关的师生的异常事件，则进行***告警通知；***告警通知包括App***告警与手机短信通知；
S3：相关责任人收到异常事件告警通知后，及时的掌握情况并进行异常事件的决策处理，在最大程度上缩短响应时间并减少损伤，并将异常事件决策处理方案输入至***中，形成异常事件处理记录，供后期***针对特定异常事件告警直接输出事件参考解决方案。
6.如权利要求5所述的一种基于深度网络学习的校园异常事件监控***，其特征在于，所述App***告警通知包括异常事件视频片段、涉事人员信息、异常事件发生时间、异常事件类型；手机短信通知作为App***告警通知的辅助，提醒相关管理人员有与其相关的异常事件发生；
具体的，包括在发***事件时，***根据监控进行人像分析，在极短的时间里确定在***件中受伤的人员信息，并及时将人员信息和视频短片通过***通知发送给相应的班主任和校级领导；若不涉及相关学校人员的非紧急异常事件，管理员向相关责任部门或人员进行App***通知，并督促其尽快整改；若检测出的异常事件为紧急且学校无法处理的事件，包括火灾、校园伤害；***可自动联动119火警报警、110报警，并会通过文字转语音清晰的告知接线员必要的信息，包括时间、地点、异常时间类型，使得涉事人员受到最妥当的处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210596506.8A CN115035439A (zh) | 2022-05-30 | 2022-05-30 | 一种基于深度网络学习的校园异常事件监控*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210596506.8A CN115035439A (zh) | 2022-05-30 | 2022-05-30 | 一种基于深度网络学习的校园异常事件监控*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115035439A true CN115035439A (zh) | 2022-09-09 |
Family
ID=83121919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210596506.8A Pending CN115035439A (zh) | 2022-05-30 | 2022-05-30 | 一种基于深度网络学习的校园异常事件监控*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115035439A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117473435A (zh) * | 2023-07-21 | 2024-01-30 | 南京审计大学 | 一种基于时空特征的突发公共卫生事件虚假异常信息检测方法 |
| CN117636607A (zh) * | 2024-01-23 | 2024-03-01 | 廊坊博联科技发展有限公司 | 一种基于人工智能的校园安全监控与预警*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084151A (zh) * | 2019-04-10 | 2019-08-02 | 东南大学 | 基于非局部网络深度学习的视频异常行为判别方法 |
| CN111260314A (zh) * | 2020-01-10 | 2020-06-09 | 重庆跃途科技有限公司 | 智慧校园安全态势感知*** |
| CN113435432A (zh) * | 2021-08-27 | 2021-09-24 | 腾讯科技（深圳）有限公司 | 视频异常检测模型训练方法、视频异常检测方法和装置 |
| CN113538825A (zh) * | 2021-07-01 | 2021-10-22 | 济南浪潮智投智能科技有限公司 | 一种用于校园翻墙事件报警方法及*** |
-
2022
- 2022-05-30 CN CN202210596506.8A patent/CN115035439A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084151A (zh) * | 2019-04-10 | 2019-08-02 | 东南大学 | 基于非局部网络深度学习的视频异常行为判别方法 |
| CN111260314A (zh) * | 2020-01-10 | 2020-06-09 | 重庆跃途科技有限公司 | 智慧校园安全态势感知*** |
| CN113538825A (zh) * | 2021-07-01 | 2021-10-22 | 济南浪潮智投智能科技有限公司 | 一种用于校园翻墙事件报警方法及*** |
| CN113435432A (zh) * | 2021-08-27 | 2021-09-24 | 腾讯科技（深圳）有限公司 | 视频异常检测模型训练方法、视频异常检测方法和装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117473435A (zh) * | 2023-07-21 | 2024-01-30 | 南京审计大学 | 一种基于时空特征的突发公共卫生事件虚假异常信息检测方法 |
| CN117473435B (zh) * | 2023-07-21 | 2024-05-17 | 南京审计大学 | 一种基于时空特征的突发公共卫生事件虚假异常信息检测方法 |
| CN117636607A (zh) * | 2024-01-23 | 2024-03-01 | 廊坊博联科技发展有限公司 | 一种基于人工智能的校园安全监控与预警*** |
| CN117636607B (zh) * | 2024-01-23 | 2024-04-26 | 廊坊博联科技发展有限公司 | 一种基于人工智能的校园安全监控与预警*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7036186B2 (ja) | 映像処理システム、映像処理方法及び映像処理プログラム | |
| CN115035439A (zh) | 一种基于深度网络学习的校园异常事件监控*** | |
| CN116308960B (zh) | 基于数据分析的智慧园区物业防控管理***及其实现方法 | |
| CN110516529A (zh) | 一种基于深度学习图像处理的投喂检测方法和*** | |
| CN110619277A (zh) | 一种多社区智慧布控方法以及*** | |
| CN113011833A (zh) | 施工现场的安全管理方法、装置、计算机设备和存储介质 | |
| US20230419805A1 (en) | Methods and systems for fire monitoring and early warning in a smart city based on internet of things | |
| JP2015070401A (ja) | 映像処理装置、映像処理方法および映像処理プログラム | |
| CN112766091B (zh) | 基于人体骨骼关键点的视频不安全行为识别***及方法 | |
| CN113905215B (zh) | 一种公交安全驾驶监控*** | |
| KR20200052418A (ko) | 딥러닝 기반의 자동 폭력 감지 시스템 | |
| CN117319609A (zh) | 一种物联网大数据智能视频监控***及方法 | |
| CN113191273A (zh) | 基于神经网络的油田井场视频目标检测与识别方法及*** | |
| CN115171013A (zh) | 一种基于智慧交通事故施救的车辆调度***及方法 | |
| CN117877219A (zh) | 一种违规行为警报方法、***、存储介质及设备 | |
| CN112232273A (zh) | 一种基于机器学习识别图像的预警方法及*** | |
| CN115471794A (zh) | 一种基于YOLOv5的智能电厂小目标检测方法及*** | |
| CN114768158A (zh) | 一种智慧消防***及其自动巡检方法 | |
| CN110119654A (zh) | 一种炼化厂紧急集合点人员统计***及人员统计方法 | |
| Bose et al. | Loltv: A low light two-wheeler violation dataset with anomaly detection technique | |
| CN113012006A (zh) | 一种智能侦查研判方法、***、计算机设备及存储介质 | |
| Misbah et al. | Deep learning-based auto accident detection and alert system for vehicles | |
| CN115953740B (zh) | 一种基于云端的安防控制方法和*** | |
| Mokashi et al. | Video Analytics Technologies Available for Surveillance Systems | |
| CN118072255B (zh) | 一种智慧园区多源数据动态监控和实时分析***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |