CN106327738A - 一种智能分级监控*** - Google Patents
一种智能分级监控*** Download PDFInfo
- Publication number
- CN106327738A CN106327738A CN201610744200.7A CN201610744200A CN106327738A CN 106327738 A CN106327738 A CN 106327738A CN 201610744200 A CN201610744200 A CN 201610744200A CN 106327738 A CN106327738 A CN 106327738A
- Authority
- CN
- China
- Prior art keywords
- module
- detection device
- image
- information
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明的智能监控***包括主控制器、检测装置、自动报警***、以及监控终端,所述检测装置包括第一检测装置、第二检测装置和第三检测装置,所述主控制器用于实现对所述第一检测装置、第二检测装置、第三检测装置、自动报警***的控制和通信。通过本发明的智能监控***,实现了分级监控、准确识别目标、快速判断异常事件,提高了告警准确率,具有积极的有益效果。
Description
技术领域
本发明涉及信息监控领域,尤其涉及一种智能分级监控***。
背景技术
安全的生活和居住环境越来越引起人们的关注,传统视频监控***只能提供监控区域的图像,对监控区域的监控、对目标对象的识别、分析、辨别、跟踪等完全依靠人来进行。因此,传统视频监控需要相关人员进行不间断的监控。智能视频监控具备了自动、智能的图像分析能力,在不需要人为干预的情况下,通过对摄像机拍摄的图像的自动分析,可以识别、分辨场景中的动态目标,取得目标的大小、数量、方向、速度等信息,能够在异常情况发生的时候以最快和最佳的方式做出告警、录像、跟踪等反应。
然而智能监控***由于识别不准确等因素会造成误报和漏报,反而造成不必要的干扰,因此,提高检测、识别和判断的准确性、最大限度的降低误报和漏报现象是急需解决的技术问题。
发明内容
本发明的目的是通过以下技术方案实现的。
根据本发明的实施方式,提出一种智能分级监控***,所述***包括主控制器、检测装置、自动报警***、以及监控终端,其中,
所述检测装置包括第一检测装置、第二检测装置和第三检测装置,所述主控制器用于实现对所述第一检测装置、第二检测装置、第三检测装置、自动报警***的控制和通信;
所述第一检测装置用于进行初级检测,判断能够通往室内的各个入口是否有异常活动,如果没有检测到异常活动则使所述第一检测装置持续进行检测,否则,自动报警***进入待告警状态,并启动第二检测装置进行检测;
所述第二检测装置用于检测是否是异常事件,如果是异常事件,则自动报警***进行告警,否则,启动第三检测装置进行检测;
所述第三检测装置用于检测室内是否有人活动,如果没有人活动,则重复启动第一检测装置进行检测,如果有人活动,则自动报警***进入无告警状态;
自动报警***包括语音模块和云服务器,当自动报警***进入告警状态时,主控制器控制语音模块发出语音警告,同时将报警信息通过云服务器发送到监控终端,可以设置各种不同的告警声音;
监控终端分别与第二、第三检测装置和自动报警***通过网络相连接,用于用户对监控情况的查看,监控终端接收报警信息和第二、第三检测装置发送的视频信息和识别结果信息,并将第二检测装置发送的经终端判定为有误的视频特征信息发送至云服务器中进行训练;
云服务器分别与第二检测装置和监控终端通过网络相连接,用于视频特征数据的训练,根据用户反馈的信息,动态更新数据分类方法,其中,
云服务器根据监控终端发送的视频片段提取特征信息,并将特征信息、分类结果存储作为新的样本,对监控终端发来的指令进行解析,并根据更新样本训练数据,生成新的数据分类方法配置文件,同时向第二检测装置发送更新通知。
根据本发明的一个实施方式,第一检测装置包括探测模块,用于检测人员进出各个入口的活动,安装在入户门的第一检测装置可使用门磁传感器、红外探测器、光电式遮断感应器、微波感应器或双鉴探测器,用于探测进出入户门的人员活动;安装在窗户旁边的出入口检测装置,可使用双幕红外探测器,可依据它的两个红外探头的触发先后时间识别出人员进出方向,分辨出人员从窗外进入室内的异常活动、在室内的日常活动和从室内伸手关窗活动;安装在阳台上的第一检测装置,可使用红外探测器或双鉴探测器,用于探测人员在阳台的活动。
根据本发明的一个实施方式,第二检测装置包括:信息采集装置和异常事件判断装置,所述异常事件判断装置包括第一收发模块、分析模块、数据分类模块、存储模块、以及第一控制模块,控制模块分别与各个模块相连接,其中,
信息采集装置为摄像头和声音录入***;
分析模块用于对信息采集装置采集的视频数据分析处理;
数据分类模块根据分析模块处理的图像信息判断监控环境是否异常,所述数据分类模块中存储有原始的数据分类方法配置信息,数据分类模块识别出当前视频属于哪一类后,将识别结果发送至用户的监控终端,通过用户不断反馈数据,云服务器训练生成新的数据分类方法,所述方法用于更新的数据分类模块中的配置文件;
存储模块用于存储采集的视频数据,便于用户的查看和回放;
收发模块用于异常事件判断装置与信息采集装置、监控终端和自动报警***之间的信息交互;
第一控制模块为所述异常事件判断装置的核心功能模块,分别控制各个模块之间的数据通信和交互。
根据本发明的一个实施方式,所述分析模块包括顺序连接的目标获取模块、分解模块、和特征抽取模块,其中,
所述获取模块,用于采用相应的算法,区分出背景和运动的物体,然后提取检测到的目标;
所述分解模块,用于在所述获取模块提取检测到的目标后,对目标进行分割;
所述特征抽取模块,用于通过对分割的目标进行跟踪,提取图像的特征信息,将所述图像特征信息以特征向量形式进行保存。
根据本发明的一个实施方式,所述第一收发模块包括视频接入单元、数据交互单元,其中视频接入单元用于接入采集的视频,并将视频发送至分析模块和存储模块中,其中,
视频接入单元为视频解码电路,用于将信息采集装置采集的视频数据进行解码;
数据交互单元用于异常事件判断装置与监控终端之间的数据交互,将数据分类模块的分类结果发送至监控终端,同时接收监控终端发送的视频查看信息;也用于异常事件判断装置与云服务器之间的信息交互,云服务器通过训练视频特征数据,通知异常事件判断装置更新数据分类模块中的分类配置文件,数据交互单元采用有线网络通信或无线网络通信方式中的任意一种,有线网络可以采用以太网接口,无线网络通讯可以为WIFI和3G/4G。
根据本发明的一个实施方式,所述第二检测装置还包括:图像识别装置,所述图像识别装置包括:处理模块、图像获取模块、匹配模块、数据库、识别模块、第二收发模块组成,其中,
处理模块,用于处理信息采集模块采集的音视频信息,提取用于脸部识别的图像;
图像获取模块,用于获取用于脸部识别的图像信息,对所述图像的数字信息进行分析和处理,然后进行特征抽取,用模式识别方法获得数字信息中的脸部图像信息;
匹配模块,用于判断所获取的脸部图像信息是否在数据库中有存储,针对所获得的脸部图像信息,查找数据库中所存储的内容,当查找到与其匹配的信息时判定为无异常情况,发送启动开门命令,当数据库中不存在与所述脸部信息匹配的内容时由异常事件判断装置判断是否是异常事件;
数据库,用于存储用户预先设置的人脸信息和音频信息;
识别模块,用于根据已有的人脸信息和音频信息进行匹配识别,所述识别模块包括面部图像识别和声音识别单元;
第二收发模块,用于实现第二检测装置与监控终端和自动报警***的通信。
根据本发明的一个实施方式,所述面部图像识别单元对目标图像原始数据的获取、预处理、以及采用不变性特征的提取方法和神经网络识别技术;声音识别单元针对语音数字信号来周用相应的处理方法和鉴别方法进行匹配识别,若有该目标信息则匹配成功,否则由异常事件判断装置判断是否是异常事件。
根据本发明的一个实施方式,第三检测装置包括:视频信息采集模块、检测模块、控制模块和特殊图像监控模块,其中,
视频信息采集模块用于采集视频图像,将当前采集到的视频图像发送至检测模块;
检测模块用于接收来自视频信息采集模块的输入图像,输出获取的运动图像至控制模块;
控制模块用于接收来自检测模块的运动图像,根据接收到的运动图像进行视频监控;
特殊图像监控模块用于通过融合夜间感兴趣目标和昼间背景图像,得到最终夜间活动检测图像。
本发明的智能分级监控***包括主控制器、检测装置、自动报警***、以及监控终端,所述检测装置包括第一检测装置、第二检测装置和第三检测装置,所述主控制器用于实现对所述第一检测装置、第二检测装置、第三检测装置、自动报警***的控制和通信。通过本发明的智能监控***,实现了分级监控、准确识别目标、快速判断异常事件,提高了告警准确率,具有积极的有益效果。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
附图1示出了根据本发明实施方式的智能监控***整体结构示意图;
附图2示出了根据本发明实施方式的第二检测装置结构示意图;
附图3示出了根据本发明实施方式的异常事件判断装置结构示意图;
附图4示出了根据本发明实施方式的分析模块结构示意图;
附图5示出了根据本发明实施方式的第一收发模块结构示意图;
附图6示出了根据本发明实施方式的图像识别装置结构示意图;
附图7示出了根据本发明实施方式的第三检测装置结构示意图;
附图8示出了根据本发明实施方式的检测模块结构示意图;
附图9示出了根据本发明实施方式的运动检测模块结构示意图;
附图10示出了根据本发明实施方式的差分模块结构示意图;
附图11示出了根据本发明实施方式的特殊图像监控模块结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本发明的实施方式,提出一种智能分级监控***,如附图1所示,所述***包括主控制器、检测装置、自动报警***、以及监控终端,其中,
所述检测装置包括第一检测装置、第二检测装置和第三检测装置,所述主控制器用于实现对所述第一检测装置、第二检测装置、第三检测装置、自动报警***的控制和通信;
所述第一检测装置用于进行初级检测,判断能够通往室内的各个入口是否有异常活动,如果没有检测到异常活动则使所述第一检测装置持续进行检测,否则,自动报警***进入待告警状态,并启动第二检测装置进行检测;
所述第二检测装置用于检测是否是异常事件,如果是异常事件,则自动报警***进行告警,否则,启动第三检测装置进行检测;
所述第三检测装置用于检测室内是否有人活动,如果没有人活动,则重复启动第一检测装置进行检测,如果有人活动,则自动报警***进入无告警状态;
自动报警***包括语音模块和云服务器,当自动报警***进入告警状态时,主控制器控制语音模块发出语音警告,同时将报警信息通过云服务器发送到监控终端,可以设置各种不同的告警声音;
监控终端分别与第二、第三检测装置和自动报警***通过网络相连接,用于用户对监控情况的查看,监控终端接收报警信息和第二、第三检测装置发送的视频信息和识别结果信息,并将第二检测装置发送的经终端判定为有误的视频特征信息发送至云服务器中进行训练;本发明中的监控终端为具有人机交互功能的监控终端设备,包括智能手机、电脑以及有交互功能的电视等。
云服务器分别与第二检测装置和监控终端通过网络相连接,用于视频特征数据的训练,根据用户反馈的信息,动态更新数据分类方法,其中,
云服务器根据监控终端发送的视频片段提取特征信息,并将特征信息、分类结果存储作为新的样本,对监控终端发来的指令进行解析,并根据更新样本训练数据,生成新的数据分类方法配置文件,同时向第二检测装置发送更新通知。
如图2所示,本发明所提供的第二检测装置包括:信息采集装置和异常事件判断装置,其中,如图3所示,所述异常事件判断装置包括第一收发模块、分析模块、数据分类模块、存储模块、以及第一控制模块,控制模块分别与各个模块相连接,其中,
信息采集装置为摄像头和声音录入***;该摄像头和声音录入***通过有线或者无线上网方式与异常事件判断装置相连接,用于实时采集监控环境的视频信息和音频信息,并将采集的视频和音频传输至异常事件判断装置进行处理。
分析模块用于对信息采集装置采集的视频数据分析处理;
数据分类模块根据分析模块处理的图像信息判断监控环境是否异常。数据分类模块需要内置初始化的数据分类方法配置文件(通常采用常驻内存或者固件方式)。初始化的数据分类方法配置文件是由大量标杆样本数据获得的。数据分类方法可以理解为一个映射关系,会自动将输入的特征向量映射为+1或-1。本发明中用+1、-1和0分别表示“有人入侵的重要事件”、“有动静的非重要事件”和无异常事件三类识别结果。数据分类模块识别出当前视频属于哪一类后,将识别结果发送至用户的监控终端。通过用户不断反馈数据,云服务器训练生成新的数据分类方法。该方法用于更新的数据分类模块中的配置文件。这样数据分类模块可以不断的更新的数据分类方法。而新的数据分类方法是自适应当前监控环境的,因此采用新的分类方法进行识别分类,可以有效减少误报率。
存储模块用于存储采集的视频数据,便于用户的查看和回放。存储模块可以采用Flash Memory、DDR SDRAM等实现。
收发模块用于异常事件判断装置与信息采集装置、监控终端和自动报警***之间的信息交互;
控制模块为所述异常事件判断装置的核心功能模块,分别控制各个模块之间的数据通信和交互。该控制模块可以由单片机或者微控制器(MCU)等实现,一方面接收监控终端的视频查看指令后,通知存储模块将视频数据传输给监控终端,另一方面通过通信模块下载云服务器中用于更新数据分类模块中数据分类方法的配置文件。
如图4所示,分析模块用于对采集的视频数据分析处理,具体包括顺序连接的获取模块、分解模块和特征抽取三个单元。这些单元可以以软件或者固件方式实现。其中,获取模块可以采用帧差法、光流法以及动态自适应背景法等算法,使得能够区分出背景和运动的物体。获取模块提取检测到的物体后,由分解模块对目标进行分割。其中目标分割可以采用Otsu法(最大类间方差法)、迭代法、最大熵法等。特征抽取模块通过对分割的目标进行跟踪,提取图像的特征信息,例如颜色、形状、运动轨迹等特征。其中图像特征信息通常以特征向量形式进行保存。
如图5所示,第一收发模块包括视频接入单元、数据交互单元。其中视频接入单元用于接入采集的视频,并将视频发送至分析模块和存储模块中。其中视频接入单元为视频解码电路,用于视频采集装置采集的视频数据进行解码。数据交互单元一方面用于异常事件判断装置与监控终端之间的数据交互,将数据分类模块的分类结果发送至监控终端,同时接收监控终端发送的视频查看信息;另一方面用于异常事件判断装置与云服务器之间的信息交互。云服务器通过训练视频特征数据,通知异常事件判断装置更新数据分类模块中的分类配置文件。数据交互单元可以采用有线网络通信或无线网络通信方式中的任意一种,例如有线网络可以采用以太网接口等,无线网络通讯可以为WIFI和3G/4G等。
所述第二检测装置还包括:图像识别装置,如图6所示,所述图像识别装置包括:处理模块、图像获取模块、匹配模块、数据库、识别模块、第二收发模块组成,其中,
处理模块,用于处理信息采集模块采集的音视频信息,提取用于脸部识别的图像;
图像获取模块,用于获取用于脸部识别的图像信息,对所述图像的数字信息进行分析和处理,先进行数字信息的预处理,去除混入的干扰信息并减少某些变形和失真,然后进行特征抽取,用模式识别方法获得数字信息中的脸部图像信息;
匹配模块,用于判断所获取的脸部图像信息是否在数据库中有存储,针对所获得的脸部图像信息,查找数据库中所存储的内容,当查找到与其匹配的信息时判定为无异常情况,发送启动开门命令,当数据库中不存在与所述脸部信息匹配的内容时由异常事件判断装置判断是否是异常事件;
数据库,用于存储用户预先设置的人脸信息和音频信息;
识别模块,用于根据已有的人脸信息和音频信息进行匹配识别,所述识别模块包括脸孔图像识别单元和声音识别单元;
第二收发模块,用于实现第二检测装置与监控终端和自动报警***的通信。
***通过调用模式识别装置相应的处理方法进行模式识别处理,模式识别模块包括监控目标面部图像识别单元和监控目标盘声音识别单元,其中监控目标面部图像识别单元对目标图像原始数据的获取、预处理、不变性特征的提取方法以及神经网络识别技术,不变性特征的提取即从数字化后或预处理后的输入模式中抽取一组具有不变性的特征;监控目标声音识别单元针对语音数字信号来周用相应的处理方法和鉴别方法进行匹配识别,若有该目标信息则匹配成功,否则由异常事件判断装置判断是否是异常事件。
如图7所示,第三检测装置包括:视频信息采集模块、检测模块、控制模块和特殊图像监控模块,其中,
视频信息采集模块用于连续采集视频图像,将当前采集到的视频图像作为当前输入图像发送至检测模块;
检测模块用于接收来自视频信息采集模块的当前输入图像,获取当前输入图像的背景差分图像与帧间差分图像,通过将所述背景差分图像和所述帧间差分图像进行逻辑与处理获取运动图像,输出获取的运动图像。
控制模块用于接收来自检测模块的运动图像,根据接收到的运动图像进行视频监控;
特殊图像监控模块用于通过融合夜间感兴趣目标和昼间背景图像,得到最终夜间活动检测图像。
如图8所示,检测模块包括:运动检测模块01、目标跟踪模块02、后续分析模块03、报警模块04、视频编码模块05。
运动检测模块01用于接收来自视频采集装置901的当前输入图像,获取当前输入图像的背景差分图像与帧间差分图像,通过将所述背景差分图像和所述帧间差分图像进行逻辑与处理获取运动图像,输出获取的运动图像至目标跟踪模块02。
如图9所示,运动检测模块01包括:差分模块801、运动提取模块802、第三滤波模块803和背景更新模块804。
差分模块801用于接收当前输入图像,根据当前输入图像与当前背景图像获取背景差分图像,根据所述当前输入图像与所述当前输入图像的前一帧输入图像获取帧间差分图像,将获取的背景差分图像和帧间差分图像发送至运动提取模块802。
其中,如图10所示,差分模块801包括背景差分模块8011和帧间差分模块8012。
背景差分模块8011包括:背景存储模块11、第一相减模块12、第一二值化模块13和第一滤波模块14。
背景存储模块11用于存储当前背景图像,将存储的当前背景图像输出到第一相减模块。
第一相减模块12用于接收当前输入图像,将接收到的当前输入图像与背景存储模块11中的当前背景图像相减,将相减后得到的背景差分图像输出至所述第一二值化模块13。
第一二值化模块13用于接收来自所述第一相减模块12的背景差分图像,将接收到的背景差分图像进行二值化处理,输出二值化处理后的背景差分图像至第一滤波模块14。
第一滤波模块14用于接收来自第一二值化模块13二值化处理后的背景差分图像,对接收到的背景差分图像进行形态学滤波处理,输出形态学滤波处理后的背景差分图像至运动提取模块802。
帧间差分模块8012包括:延迟模块21、第二相减模块22、第二二值化模块23和第二滤波模块24。
延迟模块21用于接收输入图像,通过将接收到的输入图像进行延迟处理得到当前输入图像的前一帧输入图像,将所述当前输入图像的前一帧输入图像发送至第二相减模块22。
由此可见,延迟模块21的作用在于,使得当前输入图像和当前输入图像的前一帧输入图像可以同时发送至第二相减模块22。
举例来说,假设输入图像a为输入图像a’的前一帧输入图像,在没有延迟模块21的情况下,输入图像a和输入图像a’将分别在T-1时刻和T时刻先后发送至第二相减模块22;如果将输入图像通过延迟装置21后再发送至第二相减模块22,那么本该在T-1时刻发送至第二相减模块22的a就会在T时刻才能发送至第二相减模块22。由此可以得出,在T时刻,第二相减模块22将同时接收到视频采集装置901直接发送过来的输入图像a’以及来自延迟模块21的输入图像a。
第二相减模块22用于接收当前输入图像和来自延迟模块21的当前输入图像的前一帧输入图像,将接收到的当前输入图像与所述当前输入图像的前一帧输入图像相减,将相减后得到的差值图像输出至第二二值化模块23。
第二二值化模块23用于接收来自第二相减模块22的差值图像,将接收到的差值图像进行二值化处理,输出二值化处理后得到的帧间差分图像至第二滤波模块24。
第二滤波模块24用于接收来自第二二值化模块23二值化处理后的帧间差分图像,对接收到的帧间差分图像进行形态学滤波处理,输出形态学滤波处理后的图像至运动提取模块802。
运动提取模块802用于接收来自差分模块801的背景差分图像和帧间差分图像,将所述背景差分图像和所述帧间差分图像进行逻辑与处理,输出逻辑与处理后得到的运动图像至第三滤波模块803。
第三滤波模块803用于接收来自运动提取模块802的运动图像,对接收到的运动图像进行形态学滤波处理,输出形态学滤波处理后的运动图像至中心控制装置903和背景更新模块804。
背景更新模块804用于接收来自视频采集装置901的当前输入图像与第三滤波模块803当前输出的运动图像,根据当前输入图像及所述当前输出的运动图像更新当前背景图像,所述更新当前背景图像是指,根据本发明实施例提供的运动检测方法中更新当前背景图像的方法,根据当前输入图像以及当前输出的运动图像更新背景存储模块11中的当前背景图像。
目标跟踪模块02用于接收运动检测模块01输出的运动图像,在连续接收到的运动图像中识别出运动目标,并记录所述运动目标的运动轨迹,输出目标跟踪后的图像至后续分析模块03。
本实施例中目标跟踪模块02可以采用本发明实施例提供的运动检测方法中目标跟踪的方法来进行目标跟踪。
后续分析模块03用于接收来自目标跟踪模块02的图像,对接收到的图像进行后续分析,在分析结果为情况异常时通知报警模块04进行报警,输出接收到的图像至视频编码模块05。
报警模块04用于接收来自后续分析模块的通知,接收到来自后续分析模块的通知后进行报警。
视频编码模块05用于接收来自后续分析模块的图像,对接收到的图像通过视频编码方法进行编码,将编码后的图像通过IP网络发送至中心控制装置903。
视频编码模块05可以采用的视频编码方法有很多种,例如Mepg4,H.264等编码方式。
控制模块用于接收来自视频编码模块05的图像,根据接收到的图像进行视频监控。
以上所述的智能监控***中,检测模块可以采用嵌入式芯片实现,放在控制模块的前端。
特殊图像监控模块首先对摄像头采集到的夜间图像序列进行图像增强,然后在增强后的图像序列上进行运动目标检测,得到夜间运动目标。同时提取夜间图像序列的光照区域。最后通过融合夜间感兴趣目标(夜间运动目标,夜间图像序列的光照区域)和昼间背景图像,来得到最终结果图像。
如图11所示,基于信息融合的特殊图像监控模块包括,图像增强模块、目标检测模块、区域提取模块、背景分割模块、融合模块,具体为:S1:图像增强模块对摄像头采集到的夜间图像序列进行图像增强,用于得到对比度较高的图像序列;S2:目标检测模块对增强后的图像序列进行目标检测,用于得到夜间运动目标;S3:区域提取模块提取夜间图像序列的光照区域;S4:背景分割模块对昼间同一场景下的图像序列进行背景分割,得到清晰的昼间背景图像;S5:融合模块将夜间感兴趣目标即夜间运动目标、夜间图像序列的光照区域和昼间背景图像进行图像融合。
根据本发明的实施例,所述图像增强具体包括:
步骤S11:从摄像头采集到的夜间图像序列中提取每一帧图像;
步骤S12:将每一帧图像中所有像素的灰度值按照一个灰度变换函数进行变换,用于得到对比度较高的图像序列。
根据本发明的实施例,所述目标检测具体包括:
步骤S21:对步骤S1中得到的增强后的图像序列构建背景模型;
步骤S22:从增强后的图像序列中将变化区域从背景模型中提取出来,用于得到夜间运动目标;
步骤S23:将得到的夜间运动目标进行形态学操作和连通域分析,得到分割准确的夜间运动目标。
根据本发明的实施例,所述光照区域的提取包括如下步骤:
将夜间图像序列进行高斯滤波,对图像的低通滤波结果视为光照区域。
根据本发明的实施例,所述背景分割包括如下步骤:
对昼间同一场景下的图像序列构建背景模型,得到清晰的背景图像。
根据本发明的实施例,所述图像融合包括如下步骤:
步骤S51:根据夜间运动目标信息和夜间光照区域信息获得图像融合的加权系数;
步骤S52:将夜间感兴趣目标即夜间运动目标、夜间光照区域和昼间背景图像进行加权融合,得到对场景更全面、清晰的描述。
在监控中,运动物体是监控的重点,目标检测的目的是从图像序列中将变化区域从背景图像中提取出来。混合高斯模型法对背景的自适应性高,并对亮度的变化、背景内物体的细微移动、慢速目标等具有良好的适应性,在本发明中,采用混合高斯模型方法对增强后的视频序列进行背景建模。由于夜间视频序列信噪比低,噪音较强,混合高斯模型方法所得到的前景图像中包含一些噪音点和空洞。本发明采用中值滤波来去除噪声,另外采用形态学的腐蚀膨胀操作来去除前景图像中的空洞,最后通过8连通域分析得到每个运动物体的轮廓分割结果。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种智能分级监控***,其特征在于:包括主控制器、检测装置、自动报警***、以及监控终端,其中,
所述检测装置包括第一检测装置、第二检测装置和第三检测装置,所述主控制器用于实现对所述第一检测装置、第二检测装置、第三检测装置、自动报警***的控制和通信;
所述第一检测装置用于进行初级检测,判断能够通往室内的各个入口是否有异常活动,如果没有检测到异常活动则使所述第一检测装置持续进行检测,否则,自动报警***进入待告警状态,并启动第二检测装置进行检测;
所述第二检测装置用于检测是否是异常事件,如果是异常事件,则自动报警***进行告警,否则,启动第三检测装置进行检测;
所述第三检测装置用于检测室内是否有人活动,如果没有人活动,则重复启动第一检测装置进行检测,如果有人活动,则自动报警***进入无告警状态;
自动报警***包括语音模块和云服务器,当自动报警***进入告警状态时,主控制器控制语音模块发出语音警告,同时将报警信息通过云服务器发送到监控终端,可以设置各种不同的告警声音;
监控终端分别与第二、第三检测装置和自动报警***通过网络相连接,用于用户对监控情况的查看,监控终端接收报警信息和第二、第三检测装置发送的视频信息和识别结果信息,并将第二检测装置发送的经终端判定为有误的视频特征信息发送至云服务器中进行训练;
云服务器分别与第二检测装置和监控终端通过网络相连接,用于视频特征数据的训练,根据用户反馈的信息,动态更新数据分类方法,其中,
云服务器根据监控终端发送的视频片段提取特征信息,并将特征信息、分类结果存储作为新的样本,对监控终端发来的指令进行解析,并根据更新样本训练数据,生成新的数据分类方法配置文件,同时向第二检测装置发送更新通知。
2.一种如权利要求1所述的***,第一检测装置包括探测模块,用于检测人员进出各个入口的活动,安装在入户门的第一检测装置可使用门磁传感器、红外探测器、光电式遮断感应器、微波感应器或双鉴探测器,用于探测进出入户门的人员活动;安装在窗户旁边的出入口检测装置,可使用双幕红外探测器,可依据它的两个红外探头的触发先后时间识别出人员进出方向,分辨出人员从窗外进入室内的异常活动、在室内的日常活动和从室内伸手关窗活动;安装在阳台上的第一检测装置,可使用红外探测器或双鉴探测器,用于探测人员在阳台的活动。
3.一种如权利要求2所述的***,第二检测装置包括:信息采集装置和异常事件判断装置,所述异常事件判断装置包括第一收发模块、分析模块、数据分类模块、存储模块、以及第一控制模块,控制模块分别与各个模块相连接,其中,
信息采集装置为摄像头和声音录入***;
分析模块用于对信息采集装置采集的视频数据分析处理;
数据分类模块根据分析模块处理的图像信息判断监控环境是否异常,所述数据分类模块中存储有原始的数据分类方法配置信息,数据分类模块识别出当前视频属于哪一类后,将识别结果发送至用户的监控终端,通过用户不断反馈数据,云服务器训练生成新的数据分类方法,所述方法用于更新的数据分类模块中的配置文件;
存储模块用于存储采集的视频数据,便于用户的查看和回放;
收发模块用于异常事件判断装置与信息采集装置、监控终端和自动报警***之间的信息交互;
第一控制模块为所述异常事件判断装置的核心功能模块,分别控制各个模块之间的数据通信和交互。
4.一种如权利要求3所述的***,所述分析模块包括顺序连接的目标获取模块、分解模块、和特征抽取模块,其中,
所述获取模块,用于采用相应的算法,区分出背景和运动的物体,然后提取检测到的目标;
所述分解模块,用于在所述获取模块提取检测到的目标后,对目标进行分割;
所述特征抽取模块,用于通过对分割的目标进行跟踪,提取图像的特征信息,将所述图像特征信息以特征向量形式进行保存。
5.一种如权利要求4所述的***,所述第一收发模块包括视频接入单元、数据交互单元,其中视频接入单元用于接入采集的视频,并将视频发送至分析模块和存储模块中,其中,
视频接入单元为视频解码电路,用于将信息采集装置采集的视频数据进行解码;
数据交互单元用于异常事件判断装置与监控终端之间的数据交互,将数据分类模块的分类结果发送至监控终端,同时接收监控终端发送的视频查看信息;也用于异常事件判断装置与云服务器之间的信息交互,云服务器通过训练视频特征数据,通知异常事件判断装置更新数据分类模块中的分类配置文件,数据交互单元采用有线网络通信或无线网络通信方式中的任意一种,有线网络可以采用以太网接口,无线网络通讯可以为WIFI和3G/4G。
6.一种如权利要求5所述的***,所述第二检测装置还包括:图像识别装置,所述图像识别装置包括:处理模块、图像获取模块、匹配模块、数据库、识别模块、第二收发模块,其中,
处理模块,用于处理信息采集模块采集的音视频信息,提取用于脸部识别的图像;
图像获取模块,用于获取用于脸部识别的图像信息,对所述图像的数字信息进行分析和处理,然后进行特征抽取,用模式识别方法获得数字信息中的脸部图像信息;
匹配模块,用于判断所获取的脸部图像信息是否在数据库中有存储,针对所获得的脸部图像信息,查找数据库中所存储的内容,当查找到与其匹配的信息时判定为无异常情况,发送启动开门命令,当数据库中不存在与所述脸部信息匹配的内容时由异常事件判断装置判断是否是异常事件;
数据库,用于存储用户预先设置的人脸信息和音频信息;
识别模块,用于根据已有的人脸信息和音频信息进行匹配识别,所述识别模块包括面部图像识别和声音识别单元;
第二收发模块,用于实现第二检测装置与监控终端和自动报警***的通信。
7.一种如权利要求6所述的***,所述面部图像识别单元对目标图像原始数据的获取、预处理、以及采用不变性特征的提取方法和神经网络识别技术;声音识别单元针对语音数字信号来周用相应的处理方法和鉴别方法进行匹配识别,若有该目标信息则匹配成功,否则由异常事件判断装置判断是否是异常事件。
8.一种如权利要求7所述的***,第三检测装置包括:视频信息采集模块、检测模块、控制模块和特殊图像监控模块,其中,
视频信息采集模块用于采集视频图像,将当前采集到的视频图像发送至检测模块;
检测模块用于接收来自视频信息采集模块的输入图像,输出获取的运动图像至控制模块;
控制模块用于接收来自检测模块的运动图像,根据接收到的运动图像进行视频监控;
特殊图像监控模块用于通过融合夜间感兴趣目标和昼间背景图像,得到最终夜间活动检测图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610744200.7A CN106327738B (zh) | 2016-08-26 | 2016-08-26 | 一种智能分级监控*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610744200.7A CN106327738B (zh) | 2016-08-26 | 2016-08-26 | 一种智能分级监控*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106327738A true CN106327738A (zh) | 2017-01-11 |
CN106327738B CN106327738B (zh) | 2017-11-24 |
Family
ID=57791423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610744200.7A Active CN106327738B (zh) | 2016-08-26 | 2016-08-26 | 一种智能分级监控*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106327738B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107845105A (zh) * | 2017-10-24 | 2018-03-27 | 深圳市圆周率软件科技有限责任公司 | 一种基于全景枪球联动的监控方法、智能设备及存储介质 |
CN107945442A (zh) * | 2017-10-30 | 2018-04-20 | 深圳辉锐天眼科技有限公司 | 报警管理方法 |
CN108133178A (zh) * | 2017-12-08 | 2018-06-08 | 重庆广睿达科技有限公司 | 一种基于图像识别的智能环境监控***与方法 |
CN109671001A (zh) * | 2018-12-11 | 2019-04-23 | 上海东冠通信建设有限公司 | 智慧社区安全监控***及安全监控方法 |
CN110807444A (zh) * | 2019-12-06 | 2020-02-18 | 太原师范学院 | 一种基于dsp边缘计算的行人异常行为检测***和方法 |
CN111860030A (zh) * | 2019-04-24 | 2020-10-30 | 杭州海康威视数字技术股份有限公司 | 行为检测方法、装置、设备及存储介质 |
CN112001817A (zh) * | 2020-08-24 | 2020-11-27 | 杭州宣迅电子科技有限公司 | 一种基于人工智能的旅游景点实时导游讲解管理*** |
CN113727213A (zh) * | 2021-08-26 | 2021-11-30 | 四川华能氢能科技有限公司 | 一种制氢装置远程在线监控***及其实现方法 |
CN114219400A (zh) * | 2021-12-15 | 2022-03-22 | 浙江省邮电工程建设有限公司 | 一种智能工厂的物料监管***及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7343489B2 (en) * | 2001-10-25 | 2008-03-11 | Nec Corporation | Low cost packet originator verification for intermediate nodes |
CN101674461A (zh) * | 2008-09-11 | 2010-03-17 | 上海市长宁区少年科技指导站 | 中小学校园安全的智能网络监控*** |
CN103198605A (zh) * | 2013-03-11 | 2013-07-10 | 成都百威讯科技有限责任公司 | 室内突发异常事件报警*** |
CN203217687U (zh) * | 2013-05-10 | 2013-09-25 | 浙江纳特智能网络工程有限公司 | 智能化楼宇监控*** |
CN105405238A (zh) * | 2015-11-27 | 2016-03-16 | 南京邮电大学 | 一种基于红外技术和无线传感技术的宿舍安全管理*** |
CN105632058A (zh) * | 2016-03-17 | 2016-06-01 | 云丁网络技术(北京)有限公司 | 基于人体红外特征识别人体的智能报警方法及其报警*** |
-
2016
- 2016-08-26 CN CN201610744200.7A patent/CN106327738B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7343489B2 (en) * | 2001-10-25 | 2008-03-11 | Nec Corporation | Low cost packet originator verification for intermediate nodes |
CN101674461A (zh) * | 2008-09-11 | 2010-03-17 | 上海市长宁区少年科技指导站 | 中小学校园安全的智能网络监控*** |
CN103198605A (zh) * | 2013-03-11 | 2013-07-10 | 成都百威讯科技有限责任公司 | 室内突发异常事件报警*** |
CN203217687U (zh) * | 2013-05-10 | 2013-09-25 | 浙江纳特智能网络工程有限公司 | 智能化楼宇监控*** |
CN105405238A (zh) * | 2015-11-27 | 2016-03-16 | 南京邮电大学 | 一种基于红外技术和无线传感技术的宿舍安全管理*** |
CN105632058A (zh) * | 2016-03-17 | 2016-06-01 | 云丁网络技术(北京)有限公司 | 基于人体红外特征识别人体的智能报警方法及其报警*** |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107845105A (zh) * | 2017-10-24 | 2018-03-27 | 深圳市圆周率软件科技有限责任公司 | 一种基于全景枪球联动的监控方法、智能设备及存储介质 |
CN107845105B (zh) * | 2017-10-24 | 2021-09-10 | 深圳市圆周率软件科技有限责任公司 | 一种基于全景枪球联动的监控方法、智能设备及存储介质 |
CN107945442A (zh) * | 2017-10-30 | 2018-04-20 | 深圳辉锐天眼科技有限公司 | 报警管理方法 |
CN108133178A (zh) * | 2017-12-08 | 2018-06-08 | 重庆广睿达科技有限公司 | 一种基于图像识别的智能环境监控***与方法 |
CN109671001A (zh) * | 2018-12-11 | 2019-04-23 | 上海东冠通信建设有限公司 | 智慧社区安全监控***及安全监控方法 |
CN111860030A (zh) * | 2019-04-24 | 2020-10-30 | 杭州海康威视数字技术股份有限公司 | 行为检测方法、装置、设备及存储介质 |
CN110807444A (zh) * | 2019-12-06 | 2020-02-18 | 太原师范学院 | 一种基于dsp边缘计算的行人异常行为检测***和方法 |
CN112001817A (zh) * | 2020-08-24 | 2020-11-27 | 杭州宣迅电子科技有限公司 | 一种基于人工智能的旅游景点实时导游讲解管理*** |
CN112001817B (zh) * | 2020-08-24 | 2021-04-16 | 山西辰涵数字科技股份有限公司 | 一种基于人工智能的旅游景点实时导游讲解管理*** |
CN113727213A (zh) * | 2021-08-26 | 2021-11-30 | 四川华能氢能科技有限公司 | 一种制氢装置远程在线监控***及其实现方法 |
CN114219400A (zh) * | 2021-12-15 | 2022-03-22 | 浙江省邮电工程建设有限公司 | 一种智能工厂的物料监管***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106327738B (zh) | 2017-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106327738B (zh) | 一种智能分级监控*** | |
CN104573679B (zh) | 监控场景下基于深度学习的人脸识别*** | |
EP3340104B1 (en) | A method for generating alerts in a video surveillance system | |
Shojaei-Hashemi et al. | Video-based human fall detection in smart homes using deep learning | |
CN103839373B (zh) | 一种突发异常事件智能识别报警装置及报警*** | |
KR101731243B1 (ko) | 유사한 색상을 지닌 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법 | |
JP2016072964A (ja) | 被写体再識別のためのシステム及び方法 | |
CN110717389B (zh) | 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法 | |
CN106372576A (zh) | 一种基于深度学习的智能室内入侵检测方法及*** | |
CN112163564B (zh) | 基于人体关键点行为识别与lstm的跌倒预判方法 | |
CN105975938A (zh) | 一种智能动态人脸识别社区管家服务*** | |
US10445885B1 (en) | Methods and systems for tracking objects in videos and images using a cost matrix | |
CN111259718B (zh) | 一种基于高斯混合模型的扶梯滞留检测方法及*** | |
CN109672863A (zh) | 一种基于图像识别的施工人员安全装备智能监测方法 | |
CN114469076B (zh) | 一种融合身份特征的独居老人跌倒识别方法及*** | |
CN109757395A (zh) | 一种宠物行为检测监控***及方法 | |
CN115691034A (zh) | 一种智能家居异常情况告警方法、***及存储介质 | |
Dwivedi et al. | An approach for unattended object detection through contour formation using background subtraction | |
Patil et al. | An approach of understanding human activity recognition and detection for video surveillance using HOG descriptor and SVM classifier | |
CN116798176A (zh) | 基于大数据和智慧安防的数据管理*** | |
KR20200123324A (ko) | 연결 요소 분석 기법과 yolo 알고리즘을 이용한 돼지 겹침 객체 분리 방법 | |
CN106341658A (zh) | 一种城市安全状况智能监控*** | |
Dey et al. | Moving object detection using genetic algorithm for traffic surveillance | |
CN112866654A (zh) | 一种智能视频监控*** | |
CN109300279A (zh) | 一种商店安全监控方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |