CN111325073B - 基于运动信息聚类的监控视频异常行为检测方法 - Google Patents

基于运动信息聚类的监控视频异常行为检测方法 Download PDF

Info

Publication number
CN111325073B
CN111325073B CN201811541700.6A CN201811541700A CN111325073B CN 111325073 B CN111325073 B CN 111325073B CN 201811541700 A CN201811541700 A CN 201811541700A CN 111325073 B CN111325073 B CN 111325073B
Authority
CN
China
Prior art keywords
area
target
communication area
effective communication
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811541700.6A
Other languages
English (en)
Other versions
CN111325073A (zh
Inventor
林巍峣
许奇超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201811541700.6A priority Critical patent/CN111325073B/zh
Publication of CN111325073A publication Critical patent/CN111325073A/zh
Application granted granted Critical
Publication of CN111325073B publication Critical patent/CN111325073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种基于运动信息聚类的监控视频异常行为检测方法，从视频中每次提取出不重叠的连续帧，针对该连续帧计算光流幅度图像并进行预处理，计算预处理后的二值化图像中的有效连通区域并对其进行矫正和去除噪声，将得到的目标检测结果进行行为识别，最终得到异常行为检测结果。本发明利用光流幅度图像得到视频中的运动信息进行对图像初步的行为定位，利用目标检测器剔除由光流幅度图像得到的运动区域中的噪声，保证得到的运动区域内包含人，这使得行为识别网络的识别对象更有针对性，使不同场景的监控视频都可以实现非常高的检测精度和非常低的误检率。

Description

基于运动信息聚类的监控视频异常行为检测方法
技术领域
本发明涉及的是一种监控视频中异常行为检测领域的技术，具体是一种基于运动信息聚类的监控视频异常行为检测方法。
背景技术
监控视频场景下的异常行为检测技术在安防领域具有非常重要的作用。现有技术利用了目标检测器和行为识别网络这两个技术，该方法存在两个缺陷：第一，现有的目标检测器在监控场景的视频中尚不能取得非常理想的效果；第二，仅考虑单个个体的行为检测，对于群体行为，例如打架斗殴，用该方法并不能检测到。
现有监控方案也有基于C3D网络的应用，但仅仅依靠C3D网络跟踪得到的目标并不能直接用于行为检测，特别是对于复杂的交互行为，其往往涉及多个个体目标。
发明内容
本发明针对现有技术存在的上述不足，提出一种基于运动信息聚类的监控视频异常行为检测方法，通过区域定位和行为识别就能够检测出视频中是否包含异常行为以及该异常行为的发生位置。
本发明是通过以下技术方案实现的：
本发明从视频中每次提取出不重叠的连续帧，针对该连续帧计算光流幅度图像并进行预处理，计算预处理后的二值化图像中的有效连通区域并对其进行矫正和去除噪声，将得到的目标检测结果进行行为识别，最终得到异常行为检测结果。
所述的光流幅度图像是由连续帧的每相邻两帧的像素点在x和y方向上的移动信息根据公式计算得到的。
所述的预处理是计算光流幅度图像的平均图像，并将平均图像二值化，将高于灰度阈值的像素点设为1，低于灰度阈值的像素点设为0。
所述的有效连通区域是计算二值化后的平均图像的连通区域，去除面积小于目标阈值的连通区域，保留的区域即为有效连通区域，其中每个有效连通区域都用其左上和右下的坐标表示，如：Bi＝(xi1，yi1，xi2，xi2)。
所述的目标阈值根据场景中的目标的实际大小经验而定，例如，某一监控场景下人的像素面积在150-400之间，则阈值设为150。
所述的矫正和去除噪声是指：利用目标检测器检测连续帧的中间帧中的所有人的位置，其中每个人的位置用其左上和右下的坐标表示，如：Pi＝(xi1，yi1，xi2，xi2)，将上述坐标位置对应有效连通区域的坐标位置，当有效连通区域内有人时，将包含人的区域也纳入有效连通区域。
所述的识别是将每一个有效连通区域利用行为识别网络进行识别并对其计算可能是异常行为的概率，当概率大于异常行为阈值，则判定该区域发生了异常行为。
本发明涉及一种实现上述方法的***，包括：预处理模块、目标检测模块、行为识别模块，其中：预处理模块与目标检测模块相连并传输光流运动信息，目标检测模块与行为识别模块相连并传输检测到达目标区域信息，行为识别模块输出检测设别到的异常行为信息。
技术效果
与现有技术相比，本发明利用光流幅度图像得到视频中的运动信息进行对图像初步的行为定位，利用目标检测器剔除由光流幅度图像得到的运动区域中的噪声，保证得到的运动区域内包含人，这使得行为识别网络的识别对象更有针对性，使不同场景的监控视频都可以实现非常高的检测精度和非常低的误检率。
附图说明
图1为本发明的示意图；
图2为连续帧的中间帧的图像；
图3为二值化处理后的图像；
图4为有效连通区域的示意图；
图5为目标检测器检测结果的示意图；
图6为噪声去除结果的示意图。
具体实施方式
如图1所示，本实施例对一段监狱中监控摄像头拍摄的视频进行异常行为检测，通过区域定位和行为识别就能够检测出该段视频内是否包含异常行为以及异常行为发生的位置，具体步骤如下：
1)目标检测；
1.1)每次对监控视频不重叠地取出T＝16帧，如图2所示，为T/2＝8帧的图像；
1.2)计算相邻两帧的光流幅度图像，每一帧光流幅度图像包含两个通道，分别包含每一个像素点在x和y方向上的运动位移信息并计算光流幅度图像
1.3)计算15帧光流幅度图像的平均图像并对其进行二值化处理，将平均图像上像素值高于0.8的像素点设为1，否则设为0，如图3所示，马赛克部分为像素点为1的区域；
1.4)计算二值化后的平均图像的连通区域，剔除面积小于200的连通区域，保留有效连通区域，如图4所示，方框框出的部分为得到的两个有效连通区域：B＝{Bi|i＝1，2}，其中每个连通区域都用其左上和右下的坐标表示：Bi＝(xi1，yi1，xi2，xi2)；
1.5)对于T＝16帧的连续图像的中间帧T/2＝8帧采用单步多框检测器(SSD)进行网络检测，得到所有目标的位置，如图5所示，方框框出的部分为检测到的四个人的位置：P＝{Pi|i＝1，2，3，4}，其中每个人的位置都用其左上和右下的坐标表示：Pi＝(xi1，yi1，xi2，xi2)；
1.6)去除噪声：根据检测到的目标的位置判断有效连通区域B1和B2内是否有人，当有，则把包含人的区域也纳入该有效连通区；当无，则该连通区域保持不变，如图6所示，方框框出的部分为最终得到的有效连通区域；
所述的判断是指：对于有效连通区域Bi和目标的位置Pi，当Area(Bi^Pi)/Area(Bi)>0.6，则说明该有效连通区域内包含该对象，其中：Area为区域面积，符号^是两个矩形区域的相交，即两个矩形的公共区域。
2)行为识别；
2.1)利用基于3D卷积操作的行为识别网络C3D对步骤1.6中得到的两个有效连通区域B1和B2进行行为识别，并且计算得到两个有效区域可能是异常行为的概率：Prob(B1)＝0.24，Prob(B2)＝0.91；
2.2)判断异常行为概率，当概率值大于0.75，则该区域判定为发生了异常行为，即可得出有效区域B2发生了异常行为，如图6所示的右下角的方框框选区域。
与现有技术相比，本发明能够更加准确地进行目标检测，对于普通目标检测器不能检测到的目标人体，例如人的面积很小，人存在遮挡和形变，在这些情况下，该发明通过目标的运动信息弥补了这些缺陷，从而能够得到更准确的目标检测，由于本发明利用运动特征进行群体的聚类，同时也解决了多个交互个体的复杂行为检测问题。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (1)

1.一种基于运动信息聚类的监控视频异常行为检测***，其特征在于，包括：预处理模块、目标检测模块、行为识别模块，其中：预处理模块与目标检测模块相连并传输光流运动信息，目标检测模块与行为识别模块相连并传输检测到的目标区域信息，行为识别模块输出检测识别到的异常行为信息；
所述的监控视频异常行为检测是指：从视频中每次提取出不重叠的连续帧，针对该连续帧计算光流幅度图像并进行预处理，计算预处理后的二值化图像中的有效连通区域并对其进行矫正和去除噪声，将得到的目标检测结果进行行为识别，最终得到异常行为检测结果；
所述的光流幅度图像是由连续帧的每相邻两帧的像素点在x和y方向上的移动信息根据公式计算得到的；
所述的矫正和去除噪声是指：利用目标检测器检测连续帧的中间帧中的所有目标的位置，其中每个目标的位置用其左上和右下的坐标表示，将该坐标位置对应有效连通区域的坐标位置，当有效连通区域内有目标时，将包含目标的区域也纳入有效连通区域，具体为：对于有效连通区域Bi和目标的位置Pi，当Area(Bi^Pi)/Area(Bi)>0.6，则认为该有效连通区域内包含该目标，其中：Area为区域面积，符号^是两个矩形区域的相交，即两个矩形的公共区域；
所述的预处理是计算光流幅度图像的平均图像并将平均图像二值化，将高于灰度阈值的像素点设为1，低于阈值的像素点设为0；
所述的有效连通区域是计算二值化后的平均图像的连通区域，去除面积小于目标阈值的连通区域，保留的区域即为有效连通区域，其中每个有效连通区域都用其左上和右下的坐标表示；
所述的目标检测器，通过单步多框检测器进行网络检测实现；
所述的识别是将每一个有效连通区域利用行为识别网络进行识别并对其计算可能是异常行为的概率，当其中任一概率大于异常行为阈值，则判定该区域发生了异常行为；
所述的识别，通过基于3D卷积操作的行为识别网络C3D实现。
CN201811541700.6A 2018-12-17 2018-12-17 基于运动信息聚类的监控视频异常行为检测方法 Active CN111325073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811541700.6A CN111325073B (zh) 2018-12-17 2018-12-17 基于运动信息聚类的监控视频异常行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811541700.6A CN111325073B (zh) 2018-12-17 2018-12-17 基于运动信息聚类的监控视频异常行为检测方法

Publications (2)

Publication Number Publication Date
CN111325073A CN111325073A (zh) 2020-06-23
CN111325073B true CN111325073B (zh) 2024-02-20

Family

ID=71172607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811541700.6A Active CN111325073B (zh) 2018-12-17 2018-12-17 基于运动信息聚类的监控视频异常行为检测方法

Country Status (1)

Country Link
CN (1) CN111325073B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215150B (zh) * 2020-10-13 2023-10-24 中国银行股份有限公司 客户行为识别方法及装置
CN112381072B (zh) * 2021-01-11 2021-05-25 西南交通大学 一种基于时空信息及人、物交互的人体异常行为检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699469A (zh) * 2009-11-09 2010-04-28 南京邮电大学 课堂录像中教师黑板书写动作的自动识别方法
CN105678811A (zh) * 2016-02-25 2016-06-15 上海大学 一种基于运动检测的人体异常行为检测方法
CN105930786A (zh) * 2016-04-18 2016-09-07 西北工业大学 一种银行自助厅异常行为检测方法
CN106327461A (zh) * 2015-06-16 2017-01-11 浙江大华技术股份有限公司 一种用于监测的图像处理方法及装置
CN107330372A (zh) * 2017-06-05 2017-11-07 四川大学 一种基于视频的人群密度与异常行为检测***的分析方法
CN108052859A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于聚类光流特征的异常行为检测方法、***及装置
CN108648746A (zh) * 2018-05-15 2018-10-12 南京航空航天大学 一种基于多模态特征融合的开放域视频自然语言描述生成方法
CN108647649A (zh) * 2018-05-14 2018-10-12 中国科学技术大学 一种视频中异常行为的检测方法
CN108830204A (zh) * 2018-06-01 2018-11-16 中国科学技术大学 面对目标的监控视频中异常检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9251416B2 (en) * 2013-11-19 2016-02-02 Xerox Corporation Time scale adaptive motion detection

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699469A (zh) * 2009-11-09 2010-04-28 南京邮电大学 课堂录像中教师黑板书写动作的自动识别方法
CN106327461A (zh) * 2015-06-16 2017-01-11 浙江大华技术股份有限公司 一种用于监测的图像处理方法及装置
CN105678811A (zh) * 2016-02-25 2016-06-15 上海大学 一种基于运动检测的人体异常行为检测方法
CN105930786A (zh) * 2016-04-18 2016-09-07 西北工业大学 一种银行自助厅异常行为检测方法
CN107330372A (zh) * 2017-06-05 2017-11-07 四川大学 一种基于视频的人群密度与异常行为检测***的分析方法
CN108052859A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于聚类光流特征的异常行为检测方法、***及装置
CN108647649A (zh) * 2018-05-14 2018-10-12 中国科学技术大学 一种视频中异常行为的检测方法
CN108648746A (zh) * 2018-05-15 2018-10-12 南京航空航天大学 一种基于多模态特征融合的开放域视频自然语言描述生成方法
CN108830204A (zh) * 2018-06-01 2018-11-16 中国科学技术大学 面对目标的监控视频中异常检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Du Tran等.Learning Spatiotemporal Features with 3D Convolutional Networks.《2015 IEEE International Conference on Computer Vision》.2015,4489-4497. *
Eddy Ilg等.FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks.《2017 IEEE Conference on Computer Vision and Pattern Recognition》.2017,1647-1655. *
季一锦等.基于电梯视频的乘客暴力行为检测.《工业控制计算机》.2018,第31卷(第31期),1-3. *

Also Published As

Publication number Publication date
CN111325073A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
US11102417B2 (en) Target object capturing method and device, and video monitoring device
CN107818573B (zh) 一种目标跟踪方法及装置
US8238607B2 (en) System and method for detecting, tracking and counting human objects of interest
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
US20180365843A1 (en) Method and system for tracking moving objects based on optical flow method
US7982774B2 (en) Image processing apparatus and image processing method
CN109145771B (zh) 一种人脸抓拍方法及装置
CN111145223A (zh) 多摄像头识别人员行为轨迹分析方法
JP2016162075A (ja) オブジェクト追跡方法、装置およびプログラム
CN111091098A (zh) 检测模型的训练方法、检测方法及相关装置
CN111191535B (zh) 基于深度学习的行人检测模型构建方法及行人检测方法
KR101737430B1 (ko) 동적 배경을 가진 영상의 대상 객체 검출 방법
US11948363B2 (en) Person detection device and person detection method
JP5321615B2 (ja) 水位検出装置、水位検出システム、及び水位検出方法
Liang et al. Aviation video moving-target detection with inter-frame difference
CN106251363A (zh) 一种智慧金睛识别人流人数统计方法和装置
CN111325073B (zh) 基于运动信息聚类的监控视频异常行为检测方法
CN105957300B (zh) 一种智慧金睛识别可疑张贴遮蔽报警方法和装置
JP2010057105A (ja) オブジェクトの３次元追跡方法およびシステム
CN109658437A (zh) 一种快速检测运动物体的方法及装置
Chowdhury et al. Robust human detection and localization in security applications
JP2007219603A (ja) 人物追跡装置、人物追跡方法および人物追跡プログラム
CN108446581B (zh) 一种恶劣环境中的无人机检测方法
US20200394802A1 (en) Real-time object detection method for multiple camera images using frame segmentation and intelligent detection pool
Almomani et al. Segtrack: A novel tracking system with improved object segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant