CN107483887B - 一种智慧城市视频监控中突发情况的预警检测方法 - Google Patents

一种智慧城市视频监控中突发情况的预警检测方法 Download PDF

Info

Publication number
CN107483887B
CN107483887B CN201710687365.XA CN201710687365A CN107483887B CN 107483887 B CN107483887 B CN 107483887B CN 201710687365 A CN201710687365 A CN 201710687365A CN 107483887 B CN107483887 B CN 107483887B
Authority
CN
China
Prior art keywords
cloud server
video
gaussian
foreground
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710687365.XA
Other languages
English (en)
Other versions
CN107483887A (zh
Inventor
任伟
李扬帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Do & Done Technology Development Co ltd
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201710687365.XA priority Critical patent/CN107483887B/zh
Publication of CN107483887A publication Critical patent/CN107483887A/zh
Application granted granted Critical
Publication of CN107483887B publication Critical patent/CN107483887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种智慧城市视频监控中突发情况的预警检测方法，包括建立一个预警检测***，为保证监控的实时性，采用双通道上传视频；由客户端对监控视频流进行预处理，本地主机通过背景模型、关键帧提取、背景分离、前景特征提取等，仅把关键帧中的前景特征提取后封装压缩打包上传云服务器；同时视频流由另一通道上传云服务器端，经帧截取、对象检测分割、对象特征提取及采用SACBA自适应关联规则分类算法构造分类器，通过不断增加的原始视频数据扩充和更新异常特征库，逐步提高对多种类型突发情况检测的准确度；云服务器将收到的封装特征数据包信息与异常特征库进行对比，做出预警判断反馈给客户端。本方法可保证监控预警的实时性与准确性。

Description

一种智慧城市视频监控中突发情况的预警检测方法
技术领域
本发明涉及一种智慧城市视频监控中突发情况的预警检测方法。
背景技术
视频监控种类繁多，传统监控视频异常检测方法不能很好适应多种环境。因为目前的检测方法，每个摄像头每天产生的视频数量巨大，如果本地处理，由于视频种类的多样性，以及本地主机计算能力有限，在面对海量监控视频时处理的准确度、响应速度都很低，因此在本地主机进行检测分析，预警结果的准确性得不到保证；如果上传云服务器处理，也由于监控视频数据量巨大，上传云端处理过程耗时太长，还会因为网络堵塞等情况影响处理效果，易使突发情况不能实时预警，错过最佳响应时间。如何利用视频监控数据判断突发事件，例如在突发恐怖、暴力、群体聚集等事件的检测中，要做到快速准确的完成预警检测是一件非常困难的事情。
近几年视频监控技术发展较快，如在中国公开的专利申请号为201210047156.6的“视频监控中异常行为的检测方法”，该方法通过光流法计算目标帧间变化熵值，计算目标运动能量，根据目标帧间变化熵值和运动能量进行决策，如果发生异常，则报警。该检测方法的不足之处一是，使用光流法计算熵值变化，光流法进行检测时计算量较大，无法保证实时性和实用性；二是，大量场合存在正常聚集运动情况，如跳广场舞的广场视频监控，或是人员密集的商场，这些场景运动能量会给监控***造成大量误报，且该方法熵值变化使用同一个阈值，不具有实用性。
中国专利号为201210223375.5中，公开的“视频监控中的团体人群异常行为检测方法”中，通过基于视频粒子的长周期的运动估计方法，得到目标的运动轨迹，对轨迹间距离，行进速度信息进行谱聚类分析，通过正常轨迹突然变化来进行堵塞和跌倒的识别，但该方法检测的行为过于单一，对于运动特征不明显的异常场景，存在大量误报漏报，判断工作集中在本地主机，在处理多个实时视频流时，主机的性能有较大限制。
中国专利申请号201610841596.7的“基于视频监控平台的人员游荡行为检测方法”中，公开了使用高斯混合背景法进行背景建模，并且根据轮廓复杂度、面积和外接矩形长宽比特征进行简单的筛选，获取行人前景块，然后进一步判断视频状态改变的程度，进而得到异常行为的视频流，其判断工作集中在本地主机，在处理多个实时视频流时，主机的性能有较大限制。
还有中国专利申请号201611151575.9的“一种智慧城市智能监控***”中，公开了由监控信息采集***、监控信息处理端和监控信息响应端组成的***，及介绍了该***通过点阵布局，对城市平面空间的全覆盖，一经触发监控信息采集端直接与监控信息处理端相连，并指挥监控信息响应端做出响应，最大程度地保证了应急响应的及时性。该监控***的不足之处是整个城市实时视频数据量巨大，监控信息采集端的数据传输到监控信息处理端过程耗时较长，而且极易受网络环境的限制，使实时性难以得到保障。
随着城市规模的扩大，管理水平的不断提升，要求城市管理向国际化水平的发展，为此很有必要开发一种智慧城市视频监控中突发情况的预警检测方法。
发明内容
本发明的目的是要解决的现有技术存在的问题，而提供一种智慧城市视频监控中突发情况的预警检测方法，当监控视频中出现突发情况时，可以在第一时间判断出突发情况的威胁类型与威胁等级，及时进行预警和处理。
为达到上述目的，本发明采用的技术方案是：提供一种智慧城市视频监控中突发情况的预警检测方法，首先是建立一个预警检测***，设有客户端和云服务器端，所述的客户端设有监控摄像头、本地主机和安装在本地主机内的处理软件；云服务器端设有云服务器和安装在云服务器内的处理软件以及建立的异常特征库；再按如下步骤操作：
⑴、由客户端的本地主机获取城市各个监控摄像头传送的监控视频，对监控摄像头输出的大量监控视频流进行预处理；
(1.1)、客户端中的本地主机通过处理软件采用混合高斯背景模型将所有视频帧截取的图像像素分为背景和前景两类；
(1.2)、本地主机采用帧差法对截取的视频帧进行关键帧提取，只对关键帧进行操作使本地主机数据处理量大幅地降低；
(1.3)、本地主机将提取的关键帧与混合高斯背景模型中的前景图像结合，将图像中具有轨迹特征、表情特征、纹理特征、速度特征、加速度特征的前景特征分别提取出来，加入完整性检测标志，封装打包成封装特征数据包上传至云服务器；
(1.4)、客户端中的本地主机还实时接收云服务器端的云服务器反馈的信息，并根据反馈预警的威胁类型与威胁等级，做出对应的警示与处理；
⑵、所述的云服务器端的云服务器通过另一通道同步获取城市各个监控摄像头传送的监控视频，对大量监控视频流进行预处理；
(2.1)、云服务器对监控视频流采用等间隔进行帧截取，将视频流转为图片；
(2.2)、所述的图片经过对象检测分割完成前景对象分离；
(2.3)、将前景对象进行特征分类，分出轨迹特征、表情特征、纹理特征、速度特征和加速度特征；
(2.4)、云服务器将经过特征分类的前景对象通过SACBA关联规则挖掘和分类器构建，即采用自适应阈值关联规则的SACBA分类算法，所述的SACBA关联规则挖掘用于发现数据中隐含的潜在有用的信息，为每一类特征数据建立一个模型描述；分类器用于选取优先级别的关联规则进行构造，通过分类器提取海量监控视频数据中的异常特征，传给异常特征库，同时异常特征库通过不断增加的原始视频数据扩充，实时自动更新异常特征库的数据；
(2.5)、云服务器接收客户端的封装特征数据包数据，检测所述数据包的完整性，确认数据包完整之后，与构建的异常特征库进行匹配解析特征属性，并根据不同突发情况，判断出突发情况的威胁类型与威胁等级，反馈给客户端的本地主机。
所述的步骤(1.1)中客户端的本地主机采用混合高斯背景模型将所有视频帧截取的图像像素分为背景和前景两类；操作步骤为：
(1.1.1)、所述的混合高斯背景模型是通过多个高斯概率密度函数的加权平均来平滑地表示任意形状的密度分布函数；
令I(x,y,t)表示像素点在t时刻的像素值，则密度分布函数P(I(x,y,t))表示为
Figure GDA0002228919590000031
上式中：k为高斯分布的个数，称为高斯混合概率密度的混合系数；
Figure GDA0002228919590000032
为t时刻第i个高斯分布，
Figure GDA0002228919590000033
为均值，δt为协方差矩阵；
Figure GDA0002228919590000034
为第i个高斯分布的权重；
(1.1.2)、对于一个像素的k个高斯分量，根据
Figure GDA0002228919590000035
的值从大到小进行排列，对于满足下式的前B个高斯分布被当作是背景模型；
Figure GDA0002228919590000036
其中：Wk为权值，T是背景模型占有高斯分布的最小比例，设置为0.7；
(1.1.3)、对于当前像素(x,y,t)，若其值I(x,y,t)与其背景模型中第k个高斯分布匹配，其中k≤B，即I(x,y,t)在
Figure GDA0002228919590000037
范围之内，其中
Figure GDA0002228919590000038
为期望值，
Figure GDA0002228919590000039
为t时刻第k个高斯分布的标准差，λ为常数，设置为2.5，那么该像素被认为是背景，否则是前景；
令输出图像为output，计算公式为：
Figure GDA0002228919590000041
在检测完前景之后，若该像素被认为是前景，即前B个高斯分布中没有一个与之匹配，则用一个新的高斯分布取代权重最小的那个高斯分布；新的分布的期望值即为当前的像素值，同时为它分配一个初始偏差std_init和初始权重值weight_init；
(1.1.4)、若该像素被认为是背景，则对该像素的各个高斯分布的权重
Figure GDA0002228919590000042
做如下调整：
Figure GDA0002228919590000043
其中：α为学习率，α值在0～1之间，M为总帧数，Di,t为常数，如果第i个高斯分布与当前像素匹配，则Di,t＝1，否则Di,t＝0；
对于与当前像素匹配的高斯分布，更新它们的期望值和偏差值。
所述的步骤(1.2)中本地主机采用帧差法对截取的视频帧进行关键帧提取，所述的帧差法是利用同一个镜头中的各帧之间的变化非常小，通过直方图进行视频图像的相似度的比较，当两帧间的直方图发生剧烈变化时，此时进入了下一个镜头，将镜头的第一帧定位为关键帧；并采用绝对距离法比较相邻帧的灰度直方图差别，以两帧对应像素的灰度差的绝对值之和作为帧间差；帧间差计算公式：
Figure GDA0002228919590000044
其中：Fi(x,y)、Fj(x,y)分别表示第i、j帧(x,y)位置的灰度值，若第i、j帧的帧间差超过设定的阈值时，则认为有镜头切换。
本发明的方法首先是建立一个预警检测***，设有客户端和云服务器端，采用双通道分别向客户端和云服务器端传送监控视频。客户端和云服务器端分别对海量的监控视频流进行了视频预处理，分析，合理的取舍和划分。在客户端采用了混合高斯背景模型、关键帧提取、背景分离、前景特征提取等操作，仅仅把关键帧中的前景特征提取后封装压缩打包上传云服务器，云服务器通过将传送的封装特征数据包与云服务器端的异常特征库进行对比，反馈判断结果给客户端。由于上传压缩的封装特征数据包很小，上传响应过程几乎实时进行，当监控视频中发生突发情况时，可以第一时间进行处理。当原始视频流通过另一通道上传云服务器端，云服务器进行帧截取，对象检测分割，提取表情、轨迹、纹理、速度、加速度等特征，通过SACBA关联规则分类算法进行分类器构造，通过不断增加的原始视频数据，逐步扩充异常特征库，使得在不同场景的监控视频信息都能实时准确地通过客户端传来的数据与异常特征库对比匹配，用于云服务器实时准确地对突发情况做出威胁类型与威胁等级的判断。
本发明的方法中云服务器端的SACBA关联规则挖掘采用自适应阈值关联规则的SACBA分类算法；传统关联分类算法都依赖于人为设定的支持度和置信度阈值，根据经验给出的阈值，不能根据具体场景动态变化而变化。当阈值设置过低，会产生过多分类规则，甚至产生过拟合问题，阈值设置过高，则会忽略一些稀少特征项，不能发现足够的分类规则，导致准确度下降。而本发明采用的SACBA分类算法则根据监控视频流特征，由***自动生成支持度和置信度阈值，当云服务器计算时间过长，响应过程缓慢时，***会自动提高阈值，让***实时性得到保证，当反馈到本地***的准确度偏低时，***自动降低阈值，待本地管理人员确认之后，作为新的阈值；最大频繁项集的产生由支持度决定，最后所产生的精确分类规则由置信度决定。本发明的方法中根据阈值关联规则进行剪枝，从中选择优先级较高的规则来覆盖训练样本，并生成分类器；根据不同特征集，设置动态支持度和置信度阈值，根据不同特征的重要性，设置不同支持度和置信度，极大提高了异常特征库对于不同场景的适应性。
本发明的智慧城市视频监控中突发情况的预警检测方法，与现有技术相比具有的有益效果是：
⑴、本发明的方法客户端对海量监控视频流进行了合理的取舍和划分，仅仅把关键帧中的前景特征提取后压缩打包上传云服务器，云服务器将封装特征数据包的信息与云服务器端的异常特征库进行对比，做出判断结果反馈给客户端。由于上传的封装特征数据包很小，上传响应过程几乎实时进行，当监控视频中有突发情况时，云服务器判断出突发情况的威胁类型与威胁等级，及时反馈给客户端，本地主机可以在第一时间进行处理，达到对突发情况的检测预警的目的。
⑵、本发明的方法中原始视频流通过另一条通道上传云服务器，经过帧截取，对象检测分割，提取表情、轨迹、速度、加速度等特征，并采用SACBA自适应阈值关联规则分类算法进行分类器构造，通过不断增加和更新的原始视频数据，逐步扩充和更新异常特征库，逐步提高对多种类型突发情况检测的准确度；云服务器将收到的封装特征数据包信息与异常特征库进行对比，实时做出准确的预警判断反馈给客户端。应用本方法可保证监控预警的实时性与准确性。
⑶、本发明的方法中云服务器端采用了SACBA关联规则挖掘和分类器构建，采用了一种新的自适应阈值关联规则的SACBA分类算法，解决了传统关联分类算法依赖人为设定的支持度和置信度阈值所存在的弊病，SACBA算法是由***自动生成支持度和置信度阈值；根据阈值关联规则进行剪枝，从中选择优先级较高的规则来覆盖训练样本，并生成分类器；能自动根据不同特征集设置动态支持度和置信度阈值，根据不同特征的重要性设置不同支持度和置性度，极大提高了异常特征库对于不同场景判断的准确性。
附图说明
图1为本发明的智慧城市视频监控中突发情况的预警检测方法操作步骤示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明，但本发明的实施不限于此。
实施例1：本发明提供一种智慧城市视频监控中突发情况的预警检测方法，首先是建立一个预警检测***，设有客户端和云服务器端，所述的客户端设有监控摄像头、本地主机和安装在本地主机内的处理软件；云服务器端设有云服务器和安装在云服务器内的处理软件以及建立的异常特征库；再按如下步骤操作：参见图1。
⑴、由客户端的本地主机获取城市各个监控摄像头传送的监控视频，对监控摄像头输出的大量监控视频流进行预处理；
(1.1)、客户端中的本地主机通过处理软件采用混合高斯背景模型将所有视频帧截取的图像像素分为背景和前景两类；
本方法为保证适应场景的多样性，采用的是混合高斯背景模型将所有视频帧截取的图像像素分为背景和前景两类，其操作步骤为：
(1.1.1)、所述的混合高斯背景模型是通过多个高斯概率密度函数的加权平均来平滑地表示任意形状的密度分布函数；
令I(x,y,t)表示像素点在t时刻的像素值，则密度分布函数P(I(x,y,t))表示为
Figure GDA0002228919590000061
上式中：k为高斯分布的个数，称为高斯混合概率密度的混合系数；
Figure GDA0002228919590000062
为t时刻第i个高斯分布，
Figure GDA0002228919590000063
为均值，δt为协方差矩阵；
Figure GDA0002228919590000064
为第i个高斯分布的权重；
(1.1.2)、对于一个像素的K个高斯分量，根据
Figure GDA0002228919590000065
的值从大到小进行排列，对于满足下式的前B个高斯分布被当作是背景模型；
Figure GDA0002228919590000071
其中：Wk为权值，T是背景模型占有高斯分布的最小比例，设置为0.7；
(1.1.3)、对于当前像素(x,y,t)，若其值I(x,y,t)与其背景模型中第k个高斯分布匹配，其中k≤B，即I(x,y,t)在
Figure GDA0002228919590000072
范围之内，其中
Figure GDA0002228919590000073
为期望值，
Figure GDA0002228919590000074
为t时刻第k个高斯分布的标准差，λ为常数，一般设置为2.5，那么该像素被认为是背景，否则是前景；
令输出图像为output，计算公式为：
Figure GDA0002228919590000075
在检测完前景之后，若该像素被认为是前景，即前B个高斯分布中没有一个与之匹配，则用一个新的高斯分布取代权重最小的那个高斯分布；新的分布的期望值即为当前的像素值，同时为它分配一个初始偏差std_init和初始权重值weight_init；
(1.1.4)、若该像素被认为是背景，则对该像素的各个高斯分布的权重
Figure GDA0002228919590000076
做如下调整：
Figure GDA0002228919590000077
其中：α为学习率，α值在0～1之间，M为总帧数，Di,t为常数，如果第i个高斯分布与当前像素匹配，则Di,t＝1，否则Di,t＝0；
对于与当前像素匹配的高斯分布，更新它们的期望值和偏差值。
(1.2)、本地主机采用帧差法对截取的视频帧进行关键帧提取，只对关键帧进行操作可使本地主机数据处理量大幅地降低；
所述的帧差法是利用同一个镜头中的各帧之间的变化非常小，通过直方图进行视频图像的相似度的比较，当两帧间的直方图发生剧烈变化时，此时进入了下一个镜头，将镜头的第一帧定位为关键帧；并采用绝对距离法比较相邻帧的灰度直方图差别，以两帧对应像素的灰度差的绝对值之和作为帧间差；
帧间差计算公式如下：
Figure GDA0002228919590000078
其中：Fi(x,y),Fj(x,y)分别表示第i、j帧(x,y)位置的灰度值，若第i、j帧的帧间差超过设定的阈值时，则认为有镜头切换。
帧差法提取关键帧相比其他关键帧提取算法，在计算复杂度，适应场景的范围上都有明显优势。
(1.3)、前景特征提取步骤是将提取的关键帧与混合高斯背景模型中的前景图像结合，将图像中具有轨迹特征、表情特征、纹理特征、速度特征、加速度特征的前景特征分别提取出来，加入完整性检测标志，封装打包和压缩上传至云服务器。
(1.4)、客户端中的本地主机接收云服务器端的云服务器反馈的信息，并根据反馈的预警威胁类型与威胁等级，做出对应的警示与处理。
⑵、所述的云服务器端的云服务器通过另一通道同步获取城市各个监控摄像头传送的监控视频，对大量监控视频流进行预处理；
(2.1)、云服务器对监控视频流采用等间隔进行帧截取，将视频流转为图片；
(2.2)、所述的图片经过对象检测分割完成前景对象分离；
(2.3)、将前景对象进行特征分类，分出轨迹特征、表情特征、纹理特征、速度特征和加速度特征；
(2.4)、云服务器将经过特征分类的前景对象通过SACBA关联规则挖掘和分类器构建，即采用自适应阈值关联规则的SACBA分类算法，所述的SACBA关联规则挖掘用于发现数据中隐含的潜在有用的信息，为每一类特征数据建立一个模型描述；分类器用于选取优先级别的关联规则进行构造，通过分类器提取海量监控视频数据中的异常特征，传给异常特征库，同时异常特征库通过不断增加的原始视频数据扩充，实时自动更新异常特征库的数据；
(2.5)、云服务器接收客户端的封装特征数据包数据，检测所述数据包的完整性，确认数据包完整之后，与构建的异常特征库进行匹配解析特征属性，并根据不同突发情况，判断出突发情况的威胁类型与威胁等级，反馈给客户端的本地主机。
本发明的方法采用双通道上传视频，由客户端与云服务器端分别对海量监控视频流进行了合理的取舍和划分，客户端仅仅把关键帧中的前景特征提取后压缩打包上传云服务器端，上传的封装特征数据包很小，上传响应过程几乎实时进行，很好地解决了现有技术中由于海量监控视频放在本地主机处理和判断，使处理速度和判断的准确度无法保障的问题。本发明的方法使得在不同场景的监控视频都能准确迅速传送，可以在第一时间进行处理，达到对突发情况的监控与预警的目的。

Claims (3)

1.一种智慧城市视频监控中突发情况的预警检测方法，首先是建立一个预警检测***，设有客户端和云服务器端，所述的客户端设有监控摄像头、本地主机和安装在本地主机内的处理软件；云服务器端设有云服务器和安装在云服务器内的处理软件以及建立的异常特征库；其特征在于，再按如下步骤操作：
⑴、由客户端的本地主机获取城市各个监控摄像头传送的监控视频，对监控摄像头输出的大量监控视频流进行预处理；
(1.1)、客户端中的本地主机通过处理软件采用混合高斯背景模型将所有视频帧截取的图像像素分为背景和前景两类；
(1.2)、本地主机采用帧差法对截取的视频帧进行关键帧提取，只对关键帧进行操作使本地主机数据处理量大幅地降低；
(1.3)、本地主机将提取的关键帧与混合高斯背景模型中的前景图像结合，将图像中具有轨迹特征、表情特征、纹理特征、速度特征、加速度特征的前景特征分别提取出来，加入完整性检测标志，封装打包成封装特征数据包上传至云服务器；
(1.4)、客户端中的本地主机还实时接收云服务器端的云服务器反馈的信息，并根据反馈预警的威胁类型与威胁等级，做出对应的警示与处理；
⑵、所述的云服务器端的云服务器通过另一通道同步获取城市各个监控摄像头传送的监控视频，对大量监控视频流进行预处理；
(2.1)、云服务器对监控视频流采用等间隔进行帧截取，将视频流转为图片；
(2.2)、所述的图片经过对象检测分割完成前景对象分离；
(2.3)、将前景对象进行特征分类，分出轨迹特征、表情特征、纹理特征、速度特征和加速度特征；
(2.4)、云服务器将经过特征分类的前景对象通过SACBA关联规则挖掘和分类器构建，即采用自适应阈值关联规则的SACBA分类算法，所述的SACBA关联规则挖掘用于发现数据中隐含的潜在有用的信息，为每一类特征数据建立一个模型描述；分类器用于选取优先级别的关联规则进行构造，通过分类器提取海量监控视频数据中的异常特征，传给异常特征库，同时异常特征库通过不断增加的原始视频数据扩充，实时自动更新异常特征库的数据；
(2.5)、云服务器接收客户端的封装特征数据包数据，检测所述数据包的完整性，确认数据包完整之后，与构建的异常特征库进行匹配解析特征属性，并根据不同突发情况，判断出突发情况的威胁类型与威胁等级，反馈给客户端的本地主机。
2.根据权利要求1所述的智慧城市视频监控中突发情况的预警检测方法，其特征在于：所述的步骤(1.1)中客户端的本地主机采用混合高斯背景模型将所有视频帧截取的图像像素分为背景和前景两类；其特征在于，操作步骤为：
(1.1.1)、所述的混合高斯背景模型是通过多个高斯概率密度函数的加权平均来平滑地表示任意形状的密度分布函数；
令I(x,y,t)表示像素点在t时刻的像素值，则密度分布函数P(I(x,y,t))表示为
Figure FDA0002228919580000021
上式中：k为高斯分布的个数，称为高斯混合概率密度的混合系数；
Figure FDA0002228919580000022
为t时刻第i个高斯分布，
Figure FDA0002228919580000023
为均值，δt为协方差矩阵；
Figure FDA0002228919580000024
为第i个高斯分布的权重；
(1.1.2)、对于一个像素的k个高斯分量，根据
Figure FDA0002228919580000025
的值从大到小进行排列，对于满足下式的前B个高斯分布被当作是背景模型；
Figure FDA0002228919580000026
其中：Wk为权值，T是背景模型占有高斯分布的最小比例，设置为0.7；
(1.1.3)、对于当前像素(x,y,t)，若其值I(x,y,t)与其背景模型中第k个高斯分布匹配，其中k≤B，即I(x,y,t)在
Figure FDA0002228919580000027
范围之内，其中
Figure FDA0002228919580000028
为期望值，
Figure FDA0002228919580000029
为t时刻第k个高斯分布的标准差，λ为常数，设置为2.5，那么该像素被认为是背景，否则是前景；
令输出图像为output，计算公式为：
Figure FDA00022289195800000210
在检测完前景之后，若该像素被认为是前景，即前B个高斯分布中没有一个与之匹配，则用一个新的高斯分布取代权重最小的那个高斯分布；新的分布的期望值即为当前的像素值，同时为它分配一个初始偏差std_init和初始权重值weight_init；
(1.1.4)、若该像素被认为是背景，则对该像素的各个高斯分布的权重
Figure FDA00022289195800000211
做如下调整：
Figure FDA0002228919580000031
其中：α为学习率，α值在0～1之间，M为总帧数，Di,t为常数，如果第i个高斯分布与当前像素匹配，则Di,t＝1，否则Di,t＝0；
对于与当前像素匹配的高斯分布，更新它们的期望值和偏差值。
3.根据权利要求1所述的智慧城市视频监控中突发情况的预警检测方法，其特征在于：所述的步骤(1.2)中本地主机采用帧差法对截取的视频帧进行关键帧提取，所述的帧差法是利用同一个镜头中的各帧之间的变化非常小，通过直方图进行视频图像的相似度的比较，当两帧间的直方图发生剧烈变化时，此时进入了下一个镜头，将镜头的第一帧定位为关键帧；并采用绝对距离法比较相邻帧的灰度直方图差别，以两帧对应像素的灰度差的绝对值之和作为帧间差；帧间差计算公式：
Figure FDA0002228919580000032
其中：Fi(x,y)、Fj(x,y)分别表示第i、j帧(x,y)位置的灰度值，若第i、j帧的帧间差超过设定的阈值时，则认为有镜头切换。
CN201710687365.XA 2017-08-11 2017-08-11 一种智慧城市视频监控中突发情况的预警检测方法 Active CN107483887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710687365.XA CN107483887B (zh) 2017-08-11 2017-08-11 一种智慧城市视频监控中突发情况的预警检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710687365.XA CN107483887B (zh) 2017-08-11 2017-08-11 一种智慧城市视频监控中突发情况的预警检测方法

Publications (2)

Publication Number Publication Date
CN107483887A CN107483887A (zh) 2017-12-15
CN107483887B true CN107483887B (zh) 2020-05-22

Family

ID=60599376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710687365.XA Active CN107483887B (zh) 2017-08-11 2017-08-11 一种智慧城市视频监控中突发情况的预警检测方法

Country Status (1)

Country Link
CN (1) CN107483887B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021949B (zh) * 2017-12-27 2021-03-05 重庆交通开投科技发展有限公司 人群拥挤度检测方法、装置、***及电子设备
CN108596028B (zh) * 2018-03-19 2022-02-08 昆明理工大学 一种基于视频录像中的异常行为检测算法
CN108985221A (zh) * 2018-07-12 2018-12-11 广州视源电子科技股份有限公司 视频片段检测方法、装置、设备和存储介质
CN110096945B (zh) * 2019-02-28 2021-05-14 中国地质大学（武汉） 基于机器学习的室内监控视频关键帧实时提取方法
CN110225299B (zh) * 2019-05-06 2022-03-04 平安科技（深圳）有限公司 视频监测方法、装置、计算机设备及存储介质
CN112149818B (zh) * 2019-06-27 2024-04-09 北京数安鑫云信息技术有限公司 威胁识别结果评估方法和装置
CN110189494A (zh) * 2019-07-01 2019-08-30 深圳江行联加智能科技有限公司 一种变电站异常监测报警***
CN110309795B (zh) * 2019-07-04 2024-03-12 腾讯科技（深圳）有限公司 视频检测方法、装置、电子设备及存储介质
CN110572617B8 (zh) * 2019-09-24 2024-01-05 腾讯科技（深圳）有限公司 一种环境监控的处理方法、装置及存储介质
JP6742623B1 (ja) * 2019-11-13 2020-08-19 尚範 伊達 監視装置、監視方法、及びプログラム
CN111787276A (zh) * 2020-06-12 2020-10-16 广州忘平信息科技有限公司 一种油库安防方法、***、装置和存储介质
CN112153345A (zh) * 2020-09-25 2020-12-29 内蒙古蒙达发电有限责任公司 一种基于5g应用作业的现场智慧反违章管控平台
CN112788307A (zh) * 2021-02-03 2021-05-11 安徽创力建设工程有限公司 一种用于视频监控的数据接收装置
CN112863132B (zh) * 2021-04-23 2021-07-13 成都中轨轨道设备有限公司 一种自然灾害预警***及预警方法
CN113128418B (zh) * 2021-04-23 2022-02-18 深圳市黑金工业制造有限公司 一种校园智能监控***及监控中识别异常的方法
CN114913447B (zh) * 2022-02-17 2023-06-30 国政通科技有限公司 基于场景识别的警务智慧指挥室***及方法
CN117789406B (zh) * 2024-02-27 2024-05-03 南方电网调峰调频发电有限公司 一种基于人工智能的隧道安全管理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682302A (zh) * 2012-03-12 2012-09-19 浙江工业大学 一种基于关键帧的多特征融合的人体姿态识别方法
CN103324956A (zh) * 2013-06-17 2013-09-25 复旦大学 一种基于分布式视频检测的座位统计方法
CN105138689A (zh) * 2015-09-17 2015-12-09 上海交通大学 一种带有徘徊异常提示的分层视频摘要方法
CN106128022A (zh) * 2016-07-18 2016-11-16 四川君逸数码科技股份有限公司 一种智慧金睛识别暴力动作报警方法和装置
CN107016361A (zh) * 2017-03-29 2017-08-04 成都三零凯天通信实业有限公司 基于视频分析的识别方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8526723B2 (en) * 2009-06-23 2013-09-03 Los Alamos National Security, Llc System and method for the detection of anomalies in an image
CN101859436B (zh) * 2010-06-09 2011-12-14 王巍 一种大幅规律运动背景智能分析管控***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682302A (zh) * 2012-03-12 2012-09-19 浙江工业大学 一种基于关键帧的多特征融合的人体姿态识别方法
CN103324956A (zh) * 2013-06-17 2013-09-25 复旦大学 一种基于分布式视频检测的座位统计方法
CN105138689A (zh) * 2015-09-17 2015-12-09 上海交通大学 一种带有徘徊异常提示的分层视频摘要方法
CN106128022A (zh) * 2016-07-18 2016-11-16 四川君逸数码科技股份有限公司 一种智慧金睛识别暴力动作报警方法和装置
CN107016361A (zh) * 2017-03-29 2017-08-04 成都三零凯天通信实业有限公司 基于视频分析的识别方法及装置

Also Published As

Publication number Publication date
CN107483887A (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
CN107483887B (zh) 一种智慧城市视频监控中突发情况的预警检测方法
CN109670446B (zh) 基于线性动态***和深度网络的异常行为检测方法
CN110428522B (zh) 一种智慧新城的智能安防***
Mabrouk et al. Abnormal behavior recognition for intelligent video surveillance systems: A review
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、***及装置
CN102867386B (zh) 一种基于智能视频分析的森林烟火探测方法及其专用装置
Huang et al. Automatic moving object extraction through a real-world variable-bandwidth network for traffic monitoring systems
CN111832413B (zh) 基于时空多尺度网络的人流密度图估计、定位和跟踪方法
CN105447459A (zh) 一种无人机自动检测目标和跟踪方法
CN111401311A (zh) 一种基于图像检测的高空抛物识别方法
CN111582122B (zh) 一种监控视频多维度行人行为智能分析***及方法
US9349193B2 (en) Method and apparatus for moving object detection using principal component analysis based radial basis function network
CN101635835A (zh) 智能视频监控方法及***
US9123133B1 (en) Method and apparatus for moving object detection based on cerebellar model articulation controller network
CN102750712B (zh) 一种基于局部时空流形学习的运动目标分割方法
Gupta et al. CrowdVAS-Net: A deep-CNN based framework to detect abnormal crowd-motion behavior in videos for predicting crowd disaster
CN109583355B (zh) 一种基于边界选择的人流统计的装置和方法
CN109918971A (zh) 监控视频中人数检测方法及装置
US9286690B2 (en) Method and apparatus for moving object detection using fisher's linear discriminant based radial basis function network
Denman et al. Multi-spectral fusion for surveillance systems
CN109948474A (zh) Ai热成像全天候智能监控方法
CN108830161A (zh) 基于视频流数据的烟雾识别方法
CN109919068B (zh) 基于视频分析适应密集场景人流实时监测方法
KR20200060868A (ko) 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템
WO2019130548A1 (en) Information processing apparatus, method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210402

Address after: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee after: Yami Technology (Guangzhou) Co., Ltd

Address before: 430074 No. 388 Lu Lu, Hongshan District, Hubei, Wuhan

Patentee before: CHINA University OF GEOSCIENCES (WUHAN CITY)

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220615

Address after: 12-1, block C, No. 118, Chaotian village, chenjiaping, Jiulongpo District, Chongqing 400000

Patentee after: CHONGQING DO & DONE TECHNOLOGY DEVELOPMENT Co.,Ltd.

Address before: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee before: Yami Technology (Guangzhou) Co.,Ltd.

TR01 Transfer of patent right