CN106303461A - 基于视频分析的移动式智能安防装置 - Google Patents

基于视频分析的移动式智能安防装置 Download PDF

Info

Publication number
CN106303461A
CN106303461A CN201610809757.4A CN201610809757A CN106303461A CN 106303461 A CN106303461 A CN 106303461A CN 201610809757 A CN201610809757 A CN 201610809757A CN 106303461 A CN106303461 A CN 106303461A
Authority
CN
China
Prior art keywords
dolly
video
processor
image video
movable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610809757.4A
Other languages
English (en)
Inventor
叶锋
汪敏
廖茜
林贵增
许力
林晖
陈家祯
郑子华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Normal University
Original Assignee
Fujian Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Normal University filed Critical Fujian Normal University
Priority to CN201610809757.4A priority Critical patent/CN106303461A/zh
Publication of CN106303461A publication Critical patent/CN106303461A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及数字信号处理领域，具体涉及一种基于视频分析的移动式智能安防装置，包括小车和客户终端；所述小车上设有包括相互连接的传感器、处理器和摄像头；所述处理器通过摄像头采集小车周围的影像视频；所述处理器根据接收到的影像视频利用跟踪检测算法识别运动目标，若预设时间段内的第一影像视频中识别到运动目标；则处理器发送第一影像视频至客户终端，并发送指令使小车跟踪采集运动目标的影像视频。本发明的有益效果在于：本发明通过跟踪检测算法可以移动小车锁定入侵物，用户可以通过手机客户端直接查看监控信息，并且可以命令小车进行自动跟踪。

Description

基于视频分析的移动式智能安防装置
技术领域
本发明涉及数字信号处理领域，具体涉及一种基于视频分析的移动式智能安防装置。
背景技术
模式识别是人工智能的基础，可用于构建智能安防***。传统的视频监控安防***采用固定摄像头，并且国内使用的视频监控***大部分均侧重于视频数据的压缩、传输和存储；其报警功能大都利用红外、烟雾等外接传感器实现；视频数据到达终端以后还是需要由相关人员来实时观测分析，或者是存储起来以备事后查看。这种***仍需耗费大量的人力物力。且现有的监控摄像机不能很好的实现自动跟踪物体。
发明内容
本发明所要解决的技术问题是：提供一种可跟踪，智能监控的基于视频分析的移动式智能安防装置。
为了解决上述技术问题，本发明采用的技术方案为：提供一种基于视频分析的移动式智能安防装置，包括小车和客户终端；
所述小车上设有包括相互连接的传感器、处理器和摄像头；所述处理器通过摄像头采集小车周围的影像视频；
所述处理器根据接收到的影像视频利用跟踪检测算法识别运动目标，若预设时间段内的第一影像视频中识别到运动目标；则处理器发送第一影像视频至客户终端，并发送指令使小车跟踪采集运动目标的影像视频。
优选的，上述的基于视频分析的移动式智能安防装置中，所述处理器接收客户终端的指令控制小车移动。
优选的，上述的基于视频分析的移动式智能安防装置中，所述客户终端为手机或电脑。
优选的，上述的基于视频分析的移动式智能安防装置中，所述小车上还设有用于存储影像视频的存储器，所述存储器与处理器连接。
本发明的有益效果在于：本发明涉及基于视频分析的移动式智能安防装置，首先通过小车采集影像视频发送到处理器，通过跟踪检测算法分析影像视频中是否存在运动目标，发现运动目标后，摄像头锁定入侵物的同时令小车自动跟踪入侵的运动目标。用户还可通过手机端直接查看并做出相应的处理，如控制小车移动等。
本发明装置对所监控画面进行监控和分析，一旦发现可疑现象和安全威胁信号，可跟踪确定，并向客户终端进行预警，响应速度快，可以大大满足用户高效，智能安防的需求。
附图说明
图1为本发明具体实施方式的基于视频分析的移动式智能安防装置的结构示意图；
图2为本发明具体实施方式的基于视频分析的移动式智能安防装置的流程示意图；
图3为本发明具体实施方式的TLD算法流程图；
标号说明：
1、小车；2、传感器；3、摄像头；4、处理器；5、客户终端。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
本发明最关键的构思在于：为满足日益增长的对监控***智能化的需求。以小车为载体通对智能小车对家庭周围环境进行全方位的监控，可根据用户设置的特定规则向PC端，手机端发送预警或其他提示信息。
请参照图1，一种基于视频分析的移动式智能安防装置，包括小车1和客户终端5；
所述小车上设有包括相互连接的传感器2、处理器4和摄像头3；所述处理器4通过摄像头3采集小车1周围的影像视频；
所述处理器根据接收到的影像视频利用跟踪检测算法识别运动目标，若预设时间段内的第一影像视频中识别到运动目标；则处理器发送第一影像视频至客户终端，并发送指令使小车跟踪采集运动目标的影像视频。上述基于视频分析的移动式智能安防装置的使用：首先通过小车采集影像视频发送到处理器，通过跟踪检测算法分析影像视频中是否存在运动目标，发现运动目标后，摄像头锁定入侵物的同时令小车自动跟踪入侵的运动目标。用户还可通过手机端直接查看并做出相应的处理，如控制小车移动等。
进一步的，上述的基于视频分析的移动式智能安防装置中，所述处理器接收客户终端的指令控制小车移动。所述客户终端为手机或电脑。所述小车上还设有用于存储影像视频的存储器，所述存储器与处理器连接。
实施例1
请参阅图2，一种基于视频分析的移动式智能安防装置的流程示意图，如图所述基于视频分析的移动式智能安防装置可由小车、传感器、处理器、存储器、手机客户端、PC端组成。小车、传感器、处理器存储器和摄像头相互连接，所述处理器通过摄像头采集小车周围的影像视频。
本发明基于视频分析的移动式智能安防装置的使用如下：
拍摄小车周围的影像视频发送到处理器；传感器发送传感器监测信息至客户终端(手机和PC端)；
处理器根据接收到的影像视频利用跟踪检测算法识别运动目标，若预设时间段内的第一影像视频中识别到运动目标；则处理器发送入侵事件等预警信息和第一影像视频至存储器，最后发送到客户终端；
客户终端发送指令控制小车自动跟踪采集运动目标的影像视频。
本发明采集影像视频进行智能分析处理(包括入侵检测、跟踪监测)，并辅助多传感器进行多信息融合协同监控，提供多种终端形式与用户进行友好交互。
进一步的所述跟踪检测算法描述如下：
TLD(Tracking-Learning-Detection)是一种对视频中未知目标进行长期跟踪而设计的算法结构，跟踪***最大的特点就在于能对锁定的目标进行不断的学习，以获取目标最新的外观特征，从而及时完善跟踪，以达到最佳的状态。
TLD机器学习方法基于P-N学习算法(P-N Learning)。P-N学习是一种半监督的机器学习算法，它针对检测器对样本分类时产生的两种错误提供了两种“专家”进行纠正：
P专家(P-expert)：检出漏检(false negative，正样本误分为负样本)的正样本；
N专家(N-expert)：改正误检(false positive，负样本误分为正样本)的正样本。
其流程如下：
检查一致性。
生成样本，用不同尺寸的扫描窗(scanning grid)对图像进行逐行扫描，每在一个位置就形成一个包围框(bounding box)，包围框所确定的图像区域称为一个图像元(patch)，图像元进入机器学习的样本集就成为一个样本。
进行分类器训练后把正样本库(在线模型)包含的所有正样本显示在窗口上，如果跟踪成功，则把相应的点和box画出来。
TLD原始算法的检测模块中，需要使用滑动窗口的方式遍历图像中所有的子窗口通过级联检测器，计算量较大。本发明提出一种基于TLD改进的跟踪算法，在检测模块前进行前景检测，得到目标的大***置。前景检测采用连通域(没有间断的像素点的最小外接矩形)归并的思想。
进一步所述归并算法流程为：
对图像的所有像素点进行遍历，搜索某个像素点的如果某邻域点有效(即不是前景点且没有被标记过)，则递归地搜索其邻域，寻找连通域的边缘点。得到目标的大***置。提高监测器效率。
所述改进的TLD算法主要由***、检测器、学习模块组成，其算法流程图如附图3所示。
首先，所述检测器由一系列包围框进行图像扫描后产生样本，经过级联分类器产生正样本，放入样本集；然后使用追踪器估计出物体的新位置，P专家根据这个位置产生正样本，N专家从这些正样本里选出一个最可信的，此位置被认为为追踪结果同时把其他正样本标记为负；最后用正样本更新检测器的分类器参数，并确定下一帧物体包围框的位置。下面分别介绍各模块实现流程：
所述***作用：
跟踪连续帧间的运动，当物体始终可见时***才会有效。追踪器根据物体在前一帧已知的位置估计在当前帧的位置，这样就会产生一条物体运动的轨迹，从这条轨迹可以为学习模块产生正样本。
跟踪模块的实现是利用了Media Flow(一种光流算法)中值光流跟踪和跟踪错误检测算法的结合。从t时刻的图像的A点，跟踪到t+1时刻的图像B点；然后倒回来，从t+1时刻的图像的B点往回跟踪，假如跟踪到t时刻的图像的C点，这样就产生了前向和后向两个轨迹，比较t时刻中A点和C点的距离，如果距离小于一个阈值，那么就认为前向跟踪是正确的。所述跟踪模块实现流程如下：
将图像网格化，进行均匀采样，采集10*10＝100个特征点(网格均匀撒点)。
先利用金字塔LK光流法跟踪预测前向轨迹，再往回跟踪，产生后向轨迹；然后计算FB-error(前向与后向轨迹的误差)。
再从前一帧和当前帧图像中(以每个特征点为中心)使用亚象素精度提取10x10象素矩形，匹配前一帧和当前帧中提取的10x10象素矩形，得到匹配后的映射图像，得到每一个点的NCC相关系数(也就是相似度大小)。
进行筛选，舍弃跟踪结果不好的特征点，剩下的是不到50％的特征点。
所述检测器作用：
估计追踪器的误差，如果误差很大就改正追踪器的结果。检测器对每一帧图像都做全面的扫描，找到与目标物体相似的所有外观的位置，从检测产生的结果中产生正样本和负样本，交给学习模块。本算法从所有正样本中选出一个最可信的位置作为这一帧TLD的输出结果，并用这个结果更新追踪器的起始位置。
所提出的TLD的检测分类器包括三部分：方差分类器模块、集合分类器模块和最近邻分类器模块；这三个分类器是级联的。当前帧img2的每一个扫描窗口依次通过上面三个分类器，全部通过才被认为含有前景目标。具体实现过程如下：
先计算img2的积分图，为了更快的计算方差，然后进行高斯模糊，去噪。进入方差分类器模块。
利用积分图计算每个待检测窗口的方差，方差大于var阈值(目标patch方差的50％)的，则认为其含有前景目标，通过该模块的进入集合分类器模块。
集合分类器(随机森林)共有10颗树(基本分类器)，每棵树13个判断节点，每个判断节点经比较得到一个二进制位0或者1，这样每棵树就对应得到一个13位的二进制码x(叶子)，这个二进制码x对应于一个后验概率P(y|x)。那么整一个集合分类器(共10个基本分类器)就有10个后验概率了，将10个后验概率进行平均，如果大于阈值(一开始设经验值0.65，后面再训练优化)的话,就认为该图像片含有前景目标,进入临近分类器模块。
计算新样本的相对相似度，如大于0.6，则认为是正样本。其中相似度规定如下：
图像元pi和pj的相似度，公式里的N是规范化的相关系数，所以S的取值如公式(1)范围就在[0,1]之间。
S ( p i , p j ) = N ( p i , p j ) + 1 2 - - - ( 1 )
正最近邻相似度如公式(2)
S + ( p , M ) = m a x p i + ∈ M S ( p , p i + ) - - - ( 2 )
负最近邻相似度如公式(3)
S - ( p , M ) = m a x p i - ∈ M S ( p , p i - ) - - - ( 3 )
相对相似度，取值范围在[0，1]之间，值越大代表相似度越高。
所述学习模块作用：是根据追踪器和检测器产生的正负样本，迭代训练分类器，改善检测器的精度。
综上所述，本发明通过跟踪检测算法可以移动小车锁定入侵物，用户可以通过手机客户端直接查看监控信息，并且可以命令小车进行自动跟踪。本装置可以在视频监控，机器人识别等领域的得到广泛应用。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于视频分析的移动式智能安防装置，其特征在于，包括小车和客户终端；
所述小车上设有包括相互连接的传感器、处理器和摄像头；所述处理器通过摄像头采集小车周围的影像视频；
所述处理器根据接收到的影像视频利用跟踪检测算法识别运动目标，若预设时间段内的第一影像视频中识别到运动目标；则处理器发送第一影像视频至客户终端，并发送指令使小车跟踪采集运动目标的影像视频。
2.根据权利要求1所述的基于视频分析的移动式智能安防装置，其特征在于，所述处理器接收客户终端的指令控制小车移动。
3.根据权利要求1所述的基于视频分析的移动式智能安防装置，其特征在于，所述客户终端为手机或电脑。
4.根据权利要求1所述的基于视频分析的移动式智能安防装置，其特征在于，还包括用于存储影像视频的存储器，所述存储器与处理器连接。
CN201610809757.4A 2016-09-08 2016-09-08 基于视频分析的移动式智能安防装置 Pending CN106303461A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610809757.4A CN106303461A (zh) 2016-09-08 2016-09-08 基于视频分析的移动式智能安防装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610809757.4A CN106303461A (zh) 2016-09-08 2016-09-08 基于视频分析的移动式智能安防装置

Publications (1)

Publication Number Publication Date
CN106303461A true CN106303461A (zh) 2017-01-04

Family

ID=57710527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610809757.4A Pending CN106303461A (zh) 2016-09-08 2016-09-08 基于视频分析的移动式智能安防装置

Country Status (1)

Country Link
CN (1) CN106303461A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909024A (zh) * 2017-11-13 2018-04-13 哈尔滨理工大学 基于图像识别和红外避障的车辆跟踪***、方法及车辆
CN108320301A (zh) * 2018-01-26 2018-07-24 西安电子科技大学 一种基于跟踪学习检测的目标跟踪优化方法
CN109194927A (zh) * 2018-10-19 2019-01-11 天津天地基业科技有限公司 基于深度学习的车载目标追踪云台相机设备
CN111611904A (zh) * 2020-05-15 2020-09-01 新石器慧通（北京）科技有限公司 基于无人车行驶过程中的动态目标识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102692929A (zh) * 2012-06-18 2012-09-26 南京工业职业技术学院 运动物体自动跟踪***及应用该***的小车和升降晾衣架
CN102880179A (zh) * 2012-09-19 2013-01-16 山东康威通信技术股份有限公司 一种电力隧道内多功能智能化巡检机器人
CN103823465A (zh) * 2012-11-17 2014-05-28 安徽蓝德集团股份有限公司 一种无线自动巡检报警车
CN104539887A (zh) * 2014-12-12 2015-04-22 深圳市泓迅安防科技有限公司 移动式无线家居监控***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102692929A (zh) * 2012-06-18 2012-09-26 南京工业职业技术学院 运动物体自动跟踪***及应用该***的小车和升降晾衣架
CN102880179A (zh) * 2012-09-19 2013-01-16 山东康威通信技术股份有限公司 一种电力隧道内多功能智能化巡检机器人
CN103823465A (zh) * 2012-11-17 2014-05-28 安徽蓝德集团股份有限公司 一种无线自动巡检报警车
CN104539887A (zh) * 2014-12-12 2015-04-22 深圳市泓迅安防科技有限公司 移动式无线家居监控***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
焦蓬斐等: "引入前景检测的TLD改进算法", 《山东工业技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909024A (zh) * 2017-11-13 2018-04-13 哈尔滨理工大学 基于图像识别和红外避障的车辆跟踪***、方法及车辆
CN107909024B (zh) * 2017-11-13 2021-11-05 哈尔滨理工大学 基于图像识别和红外避障的车辆跟踪***、方法及车辆
CN108320301A (zh) * 2018-01-26 2018-07-24 西安电子科技大学 一种基于跟踪学习检测的目标跟踪优化方法
CN109194927A (zh) * 2018-10-19 2019-01-11 天津天地基业科技有限公司 基于深度学习的车载目标追踪云台相机设备
CN111611904A (zh) * 2020-05-15 2020-09-01 新石器慧通（北京）科技有限公司 基于无人车行驶过程中的动态目标识别方法
CN111611904B (zh) * 2020-05-15 2023-12-01 新石器慧通（北京）科技有限公司 基于无人车行驶过程中的动态目标识别方法

Similar Documents

Publication Publication Date Title
Zhang et al. Branch detection for apple trees trained in fruiting wall architecture using depth features and Regions-Convolutional Neural Network (R-CNN)
CN104303193B (zh) 基于聚类的目标分类
Bertini et al. Multi-scale and real-time non-parametric approach for anomaly detection and localization
Boult et al. Into the woods: Visual surveillance of noncooperative and camouflaged targets in complex outdoor settings
US9652863B2 (en) Multi-mode video event indexing
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
EP2801078B1 (en) Context aware moving object detection
CN102136059B (zh) 一种基于视频分析的烟雾检测方法
CN106128022B (zh) 一种智慧金睛识别暴力动作报警方法
Lamas et al. Human pose estimation for mitigating false negatives in weapon detection in video-surveillance
CN105740758A (zh) 基于深度学习的互联网视频人脸识别方法
Ge et al. Multi-target data association by tracklets with unsupervised parameter estimation.
CN106303461A (zh) 基于视频分析的移动式智能安防装置
Li et al. Improved YOLOv4 network using infrared images for personnel detection in coal mines
CN102034240A (zh) 一种静态前景检测和跟踪方法
CN110334660A (zh) 一种雾天条件下基于机器视觉的森林火灾监测方法
CN107085729B (zh) 一种基于贝叶斯推断的人员检测结果修正方法
Janku et al. Fire detection in video stream by using simple artificial neural network
Liang et al. Methods of moving target detection and behavior recognition in intelligent vision monitoring.
Cao et al. Learning spatial-temporal representation for smoke vehicle detection
CN103150552A (zh) 一种基于人头计数的驾驶培训管理方法
US20180336694A1 (en) System and Method for Passive Tracking Based on Color Features
Li et al. Infrared small target detection via center-surround gray difference measure with local image block analysis
KR102171384B1 (ko) 영상 보정 필터를 이용한 객체 인식 시스템 및 방법
Kuan et al. Perspective on SDSB human visual knowledge and intelligence for happiness campus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170104