CN108802758B - 一种基于激光雷达的智能安防监控装置、方法和*** - Google Patents
一种基于激光雷达的智能安防监控装置、方法和*** Download PDFInfo
- Publication number
- CN108802758B CN108802758B CN201810540320.4A CN201810540320A CN108802758B CN 108802758 B CN108802758 B CN 108802758B CN 201810540320 A CN201810540320 A CN 201810540320A CN 108802758 B CN108802758 B CN 108802758B
- Authority
- CN
- China
- Prior art keywords
- target
- data
- laser radar
- module
- security monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012806 monitoring device Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 115
- 238000012544 monitoring process Methods 0.000 claims abstract description 74
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 36
- 238000007405 data analysis Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 15
- 238000012546 transfer Methods 0.000 claims description 10
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 claims description 8
- 230000001276 controlling effect Effects 0.000 claims description 6
- 230000014759 maintenance of location Effects 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 5
- 238000007621 cluster analysis Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000006855 networking Effects 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000005693 optoelectronics Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Burglar Alarm Systems (AREA)
Abstract
本发明提供一种基于激光雷达的智能安防监控装置、方法和***,其中装置包括数据通信模块,还包括激光雷达数据分析模块、光电数据分析模块、数据融合模块和外部设备控制接口;所述激光雷达数据分析模块用于对激光雷达点云数据的分析处理,并对其中包含的目标进行检测分析;所述光电数据分析模块对光电探测设备视频数据进行分析处理,并对光电探测设备图像中目标进行识别;所述数据融合模块用于实现激光雷达和光电探测设备的数据融合。本发明将激光雷达与传统光电设备结合,融入智能识别算法,实现360°全域实时监控和提前预警、持续跟踪、异常行为检测、目标识别的功能,相对于传统安防***,具有目标不丢失、虚警率和漏警率低的优势。
Description
技术领域
本发明涉及网络监控的技术领域,特别是一种基于激光雷达的智能安防监控装置、方法和***。
背景技术
随着社会发展,安防工作已成为国家和社会的重要工作,无人值守的智能安防监控***成为新一代安防监控***的趋势。传统的安防设备一般以视频监控为主,但是该类***瞬时监控场景较小,且在智能化监控条件下虚警率和漏警率较高,一般需采用人工查看方式,特别是边防监控、要害地域***监控、敏感军事卡口基本上还是以人工巡逻等传统方式为主。所以,现有视频监控***的主要作用在于事后回察。
传统的安防监控***主要有以视频监控为主的光电设备安防***和以电子围栏为主的电子围栏周界防护***。
(1)传统视频监控***的光电设备存在的问题
传统的视频监控设备一般分为枪机和球机,但都存在光线影响较大,无法 360°全域监控的问题。
枪机一般作为定点监控,只对固定角度进行监控。受视场限制在较远处视场角很小,无法监控较大的范围。在用于监控时可配合图像处理设备实现目标进行入侵检测、过线检测、动目标检测等功能,但虚警率、漏警率较高,一般用于有人值守式的监控***,需要人为进行二次判断。
球机一般作为巡检监控,只对特定的数个角度或固定的运动线路进行监控。受视场限制在较远处视场角很小,无法监控较大的范围。在用于监控时因随时在运动很难配合图像处理设备目标检测等功能,基本用于有人值守式的监控***,需要人为进行持续监控。
随着人脸识别技术的发展成熟,传统视频监控***中也融入了基于视频图像的人脸识别,但是在视频监控设备对目标进行跟踪识别的过程中,如果目标移动速度较快或突然移动时,存在目标丢失或判断错误的问题。
(2)电子围栏周界防护***存在的问题
电子围栏周界防护***是目前最先进的周界防护报警***,带电围栏沿着原有围墙安装,当有目标碰触围栏时,便会产生检测信号,作出防护行为(比如报警)。
电子围栏对周界的防护是一种被动防护,只有当目标触碰到围栏时,才会有起防护作用,无法实现对目标异常行为(聚集、徘徊)的主动检测。电子围栏只适用于完全隔断的周界处使用,不适用于监控区域允许部分目标通过的情况。
激光雷达可三维成像的特点使其得到了广泛的应用,已在无人机测绘、三维建模、车辆导航等领域发挥了重要作用。然而激光雷达在安防领域的应用还很少,激光雷达在实时监测时具有成像质量低的问题。
公开号为CN107104971A的发明专利公开了一种基于激光雷达和视频的联合监控方法、装置及***,其中方法包括与激光雷达建立TCP通信,发出测量请求;接收激光雷达返回的原始信息,并存入数据暂存队列中;解析原始信息中的部分报文,得到测距点信息;对测距点进行抽稀得到抽稀后的测距点;根据抽稀后的测距点绘制深度图像;根据用户的输入信息,在深度图像中选定敏感区域;此案侧选定的敏感区域内测距点的数量是否超过预设阈值,若是,则认为有目标闯入,根据移动的测距点绘制目标的运动轨迹,并发出预警信号。该方法虽然将激光雷达和视频联合使用用于监控,但没有实现激光雷达和光电***的联动,并没有将二者真正的结合在一起;虽然使用了激光雷达检测敏感区域内目标,但是没有对目标具体的分析,如目标形状、速度等,所以容易引入虚警;虽然记录了目标轨迹,但没有对轨迹的智能检测,无法自动发现目标的可疑行为;没有对目标的跟踪,更没有利用激光雷达的全局检测优势引导摄像机对目标进行跟踪拍摄,无法用视频清楚记录目标运动整个过程;没有对目标进行智能识别,无法区分目标类型;无法对目标自动做出处理。由于以上原因,上述***并不能实现智能化的安防,反而由于激光雷达的检测会引入无关目标的虚假报警,其本质是两种监控方法的联合使用,并没有将二者有效结合。
发明内容
为了解决上述的技术问题,本发明提出一种基于激光雷达的智能安防监控装置、方法和***,将激光雷达与传统光电设备结合,并融入智能识别算法,搭建基于激光雷达的无人值守的智能安防监控***,可以实现全天时的360°全域实时监控,并实现提前预警、持续跟踪、异常行为检测、目标识别的功能,相对于传统安防***,该***具有目标不丢失、虚警率和漏警率低的优势。
本发明的第一目的是提供了基于激光雷达的智能安防监控装置,包括数据通信模块,还包括以下步骤:
还包括激光雷达数据分析模块、光电数据分析模块、数据融合模块和外部设备控制接口;
所述激光雷达数据分析模块用于对激光雷达点云数据的分析处理,并对其中包含的目标进行检测分析;
所述光电数据分析模块对光电探测设备视频数据进行分析处理,并对光电探测设备图像中目标进行识别;
所述数据融合模块用于实现激光雷达和光电探测设备的数据融合,根据激光雷达数据的目标分析结果控制光电探测设备进行调转、跟踪、抓拍和目标识别。
优选的是,所述数据通信模块用于接收激光雷达采集的点云数据和光电探测设备采集的视频数据,并发送对激光雷达和光电探测设备的控制信号。
在上述任一方案中优选的是,所述激光雷达数据分析模块包括数据处理子模块、目标检测子模块、目标跟踪子模块、目标分析子模块和异常行为检测子模块中至少一种。
在上述任一方案中优选的是,所述数据处理子模块用于对激光雷达采集的点云数据进行解析,按帧进行分割;并将每个点的数据进行栅格化处理获得栅格化的帧数据。
在上述任一方案中优选的是,所述目标检测子模块用于从栅格化数据中区分出环境背景模型栅格数据和动目标栅格数据,对动目标栅格数据进行聚类分析,检测是否存在目标和目标数量。
在上述任一方案中优选的是,所述目标检测子模块的工作方法包括以下步骤:
步骤01,对栅格化的帧数据进行去噪处理;
步骤02:判断是否存在环境背景模型;
步骤03:获取目标栅格数据;
步骤04:判断是否存在动目标栅格数据;
步骤05:使用聚类算法和假目标过滤方法进行筛选;
步骤06:输出目标数量、位置和形状信息中至少一种。
在上述任一方案中优选的是,所述聚类算法是指当栅格距离小于Rmax时,判断属于同一目标,否则属于不同目标,其中Rmax为相邻栅格数据为同一目标数据的最大间距。
在上述任一方案中优选的是,所述假目标过滤方法是指当目标包含的栅格数小于Mmin时,判断属于假目标,其中Mmin代表数据为目标时所允许的最小栅格数,与距离呈反比。
在上述任一方案中优选的是,所述目标跟踪子模块用于根据相邻帧数目标检测结果,以目标中心位置为依据,对每个目标进行目标跟踪,并记录每个目标在每帧图像中的轨迹。
在上述任一方案中优选的是,所述目标分析子模块用于确定每个目标实时的位置、形状、速度、加速度信息。
在上述任一方案中优选的是,所述异常行为检测子模块用于根据每个目标轨迹检测目标是否存在异常行为。
在上述任一方案中优选的是,所述异常行为包含以下情况中至少一种:
目标滞留:当目标位置连续长时间内不变或者变化很小;
目标聚集:连续时间内某区域存在多目标,所述区域为同一区域或临近区域;
目标徘徊:目标在某一方向上速度分量方向反复变化;
目标闯入:目标朝预设方向运动,且速度大于一定阈值,所述预设方向包括门和/或窗和/或入口用于进入的方向。
在上述任一方案中优选的是,所述独立工作子模块用于当***刚开始工作时,或者当激光雷达监控区域内没有目标,或所有目标都已经识别完毕,光电探测设备按设定模式进行巡检。
在上述任一方案中优选的是,所述调转跟踪子模块用于根据所述数据融合模块给出的信号和目标信息,调转摄像头到目标所在位置,并根据所述数据融合模块提供的目标实时位置和运动信息以及自身对目标检测结果对目标进行持续跟踪。
在上述任一方案中优选的是,当激光雷达检测出目标后,所述数据融合模块控制光电探测设备进行调转、跟踪目标;当目标进入到识别区域后,所述数据融合模块控制光电探测设备对目标进行抓拍,并进行识别;当目标消失或全部检测完毕后,光电探测设备进入独立工作模式,直至出现新的目标。
本发明的第二目的是提供了一种基于激光雷达的智能安防监控方法,包括使用激光雷达和/或光电探测设备采集监控点周围的信息数据,还包括以下步骤:
步骤1:将所述信息数据发送给如上任一项所述的基于激光雷达的智能安防监控装置;
步骤2:所述安防监控装置对所述激光雷达的信息数据进行转化分析,并将所述信息数据处理成动栅格数据;
步骤3:对所述动栅格数据进行目标检测、目标分割和目标跟踪,确定其中是否存在动目标,并对存在的动目标进行分析,获得目标的位置信息、外形信息和运动信息;
步骤4:根据步骤3中的得到的所述动目标信息,控制光电探测设备进行调转、跟踪、拍摄,并进行目标检测;
步骤5:目标进入识别区后,光电探测设备对检测到的目标进行目标识别,确定目标类型;
步骤6:对目标运动轨迹行为进行异常行为检测,并根据检测结果做出相应的动作。
优选的是,所述目标检测方法包括以下步骤:
步骤01,对栅格化的帧数据进行去噪处理;
步骤02:判断是否存在环境背景模型;
步骤03:获取目标栅格数据;
步骤04:判断是否存在动目标栅格数据;
步骤05:使用聚类算法和假目标过滤方法进行筛选;
步骤06:输出目标数量、位置和形状信息中至少一种。
在上述任一方案中优选的是,所述异常行为包含以下情况中至少一种:
目标滞留:当目标位置连续长时间内不变或者变化很小;
目标聚集:连续时间内某区域存在多目标,所述区域为同一区域或临近区域;
目标徘徊:目标在某一方向上速度分量方向反复变化;
目标闯入:目标朝预设方向运动,且速度大于一定阈值,所述预设方向包括门和/或窗和/或入口用于进入的方向。
在上述任一方案中优选的是,所述相应的动作包括报警、放行和拦截中至少一种。
本发明的第三目的是提供了一种基于激光雷达的智能安防监控***,包括激光雷达和光电探测设备,还包括以下模块:
如上任一项所述的基于激光雷达的智能安防监控装置。
优选的是,所述激光雷达用来获取监控区域的激光雷达点云数据。
在上述任一方案中优选的是,所述光电探测设备用来获取监控区域的摄像机视频数据。
在上述任一方案中优选的是,还包括网络交换机和外部设备通讯接口。
在上述任一方案中优选的是,所述网络交换机用于将所述激光雷达、所述光电探测设备和所述安防监控装置进行联网。
在上述任一方案中优选的是,所述***通过所述外部设备通讯接口控制外部设备。
本发明提出了一种基于激光雷达的智能安防监控装置、方法和***,使用激光雷达进行自动监控、检测、跟踪、异常行为检测,并自动控制摄像机对目标进行调转、跟踪、识别,***自动根据识别结果和异常行为检测结果,控制设备作出相应处理。整个过程可以实现无人化值守,体现高度智能化的特点。
附图说明
图1为按照本发明的基于激光雷达的智能安防监控装置的一优选实施例的模块图。
图2为按照本发明的基于激光雷达的智能安防监控***的一优选实施例的模块图。
图3为按照本发明的基于激光雷达的智能安防监控方法的一优选实施例的流程图。
图4为按照本发明的基于激光雷达的智能安防监控***的硬件结构的一实施例的示意图。
图4A为按照本发明的基于激光雷达的智能安防监控***的如图4所示实施例的软件结构示意图。
图4B为按照本发明的基于激光雷达的智能安防监控***的如图4所示实施例的***工作流程图。
图5为按照本发明的基于激光雷达的智能安防监控方法的目标检测方法的一实施例的流程图。
图6为按照本发明的基于激光雷达的智能安防监控方法的目标检测方法的一实施例的流程图。
图7为按照本发明的基于激光雷达的智能安防监控方法的异常行为检测子模块的一实施例的处理流程图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的阐述。
实施例一
如图1所示,基于激光雷达的智能安防监控装置包括数据通信模块100、激光雷达数据分析模块110、光电数据分析模块120、数据融合模块130和外部设备控制接口140。
数据通信模块100上有两个数据接口,分别是激光雷达数据接口101和光电数据接口102。激光雷达数据接口101用于接收激光雷达采集的点云数据并发送对激光雷达的控制信号;光电数据接口102用于接收摄像机采集的视频数据,并发送对摄像机的控制信号。
激光雷达数据分析模块110用于对激光雷达点云数据的分析处理,并对其中包含的目标进行检测分析,包含数据处理子模块111、目标检测子模块112、目标跟踪子模块113、目标分析子模块114、异常行为检测子模块115。
数据处理子模块111用于对激光雷达采集的点云数据进行解析,按帧进行分割;并将每个点的数据进行栅格化处理获得栅格化的帧数据。
目标检测子模块112用于从栅格化数据中区分出环境背景模型栅格数据和动目标栅格数据,对动目标栅格数据进行聚类分析,检测是否存在目标和目标数量。目标检测子模块的工作方法包括以下步骤:步骤01,对栅格化的帧数据进行去噪处理;步骤02:判断是否存在环境背景模型;步骤03:获取目标栅格数据;步骤04:判断是否存在动目标栅格数据;步骤05:使用聚类算法和假目标过滤方法进行筛选;步骤06:输出目标数量、位置和形状信息中至少一种。
聚类算法是指当栅格距离小于Rmax时,判断属于同一目标,否则属于不同目标。其中Rmax为相邻栅格数据为同一目标数据的最大间距,与栅格划分精度有关。
假目标过滤方法是指当目标包含的栅格数小于Mmin时(Mmin与距离呈反比),判断属于假目标。其中Mmin代表数据为目标时所允许的最小栅格数,与具体所测目标大小有关,并与距离呈反比。
目标跟踪子模块113用于根据相邻帧数目标检测结果,以目标中心位置为依据,对每个目标进行目标跟踪,并记录每个目标在每帧图像中的轨迹。
目标分析子模块114用于确定每个目标实时的位置、形状、速度、加速度信息。
异常行为检测子模块115用于根据每个目标轨迹检测目标是否存在异常行为,异常行为包含目标滞留、目标聚集、目标徘徊和目标闯入。
目标滞留:当目标位置连续长时间内不变或者变化很小;
目标聚集:连续时间内某区域存在多目标,所述区域为同一区域或临近区域;
目标徘徊:目标在某一方向上速度分量方向反复变化;
目标闯入:目标朝预设方向运动,且速度大于一定阈值,所述预设方向包括门和/或窗和/或入口用于进入的方向。
光电数据分析模块120用于对摄像机视频数据进行分析处理,并对摄像机图像中目标进行识别。具体包含视频解析子模块121、独立工作子模块122、调转跟踪子模块123、人脸检测子模块124和人脸识别子模块125。
视频解析子模块121用于将摄像机抓拍视频,解析为单帧的图像。
独立工作子模块122用于当***刚开始工作时,或者当激光雷达监控区域内没有目标,或所有目标都已经识别完毕,摄像机按设定模式进行巡检。
调转跟踪子模块123用于摄像机根据融合模块给出的信号和目标信息,调转到目标所在位置,并根据融合模块提供的目标实时位置和运动信息以及自身对目标检测结果对目标进行持续跟踪。
人脸检测子模块124用于检测摄像机图像中的是否存在人脸。
人脸识别子模块125用于当目标进入识别区后,对目标进行抓拍,并进行人脸识别。
数据融合模块130实现激光雷达和摄像机的数据融合,根据激光雷达数据的目标分析结果控制摄像机进行调转、跟踪、抓拍和目标识别。当激光雷达检测出目标后,融合模块控制摄像机进行调转、跟踪目标;当目标进入到识别区域后,融合模块控制摄像机对目标进行抓拍,并进行识别;当目标消失或全部检测完毕后,摄像机进入独立工作模式,直至出现新的目标。
外部设备控制接口140,可接入外接设备,并根据异常行为检测结果和人脸识别结果控制外接设备作出反应。
实施例二
如图2所示,智能安防监控***包括安防监控装置200、激光雷达数据分析模块110、光电数据分析模块120、光电探测设备220和网络交换机230,可外接外部设备240。
如图3所示,执行步骤300,使用激光雷达 210和/或光电探测设备220采集监控点周围的信息数据。执行步骤310,将信息数据发送给安防监控装置200。执行步骤320,安防监控装置200对激光雷达210的信息数据进行转化分析,并将信息数据处理成动栅格数据。执行步骤330,安防监控装置200对所述动栅格数据进行目标检测、目标分割和目标跟踪分析,确定其中是否存在动目标,并对存在的动目标进行分析,获得目标的位置信息、外形信息和运动信息。执行步骤340,根据步骤330中的得到的所述动目标信息,安防监控装置200控制光电探测设备220进行调转、跟踪、拍摄,并进行目标检测。执行步骤350,目标进入识别区后,光电探测设备220对检测到的目标进行目标识别,确定目标类型。执行步骤360,安防监控装置200对目标运动轨迹行为进行异常行为检测,并根据检测结果做出相应的动作。
实施例三
在本实施例中,提出了一种激光雷达人员监测***。将激光雷达与传统光电设备结合,并融入智能识别算法,搭建基于激光雷达的智能安防监控***。该***可以实现全天时的360°全域实时监控,并实现提前预警、持续跟踪、异常行为检测、目标识别的功能,相对于传统安防***,该***具有目标不丢失、虚警率和漏警率低的优势。
使用了扫描式三维激光雷达进行区域检测可以实现对整个监控区域进行处理360°全方位24小时实时监控;
使用激光雷达的三维数据,可实现对区域内所有目标的实时跟踪,对非遮挡目标零丢失,漏警率和虚警率远低于传统光电监控***;
通过激光雷达数据控制摄像机进行调转跟踪,并对进入识别区的目标进行识别,可以区分出无害目标、有害目标和可疑目标;
根据激光雷达对目标检测结果,记录目标移动轨迹,可检测出目标聚集、徘徊、停留等异常行为;
通过控制外接的设备,根据目标识别结果和异常行为检测结果作出相应的处理,如报警、驱离、放行、拦截等;
本实施例中的***,使用激光雷达进行自动监控、检测、跟踪、异常行为检测,并自动控制摄像机对目标进行调转、跟踪、识别,***自动根据识别结果和异常行为检测结果,控制设备作出相应处理。整个过程可以实现无人化值守,体现高度智能化的特点。
1、***概述
以激光雷达监控为重点,通过与光电探测设备(摄像机)联动,实现对区域全面监控预警。同时,预留数据接口方便***扩展。可接入已有的监控***信号实现一体的安全防护体系。
2、***组成
监控***总体上分为硬件部分和软件部分,通过硬件部署实现对监控区域数据的收集,软件部分对数据进行分析处理,确定目标信息。
2.1硬件部分
监控***硬件包含激光雷达、光电***(摄像机)、网络交换机和***显控终端。激光雷达和光电***分别用来获取监控区域的激光雷达点云数据和摄像机视频数据;网络交换机用于将激光雷达、光电***(摄像机)和***显控终端的联网,并非***的必须硬件;***显控终端用于整个***的控制和界面显示。***可与外部设备接口,可通过***处理结果控制外部设备。***硬件组成示意图如图4所示。
2.2软件部分
激光雷达人员监控***软件部分包含数据通信模块、激光雷达数据分析模块、光电数据分析模块、数据融合模块好和外部设备控制接口。具体示意图如图4A所示。
(1)数据通信模块用于接收激光雷达采集的点云数据和摄像机采集的视频数据,并发送***对激光雷达和摄像机的控制信号。
(2)激光雷达数据分析模块用于对激光雷达点云数据的分析处理,并对其中包含的目标进行检测分析,具体包含数据处理子模块、目标检测子模块、目标跟踪子模块、目标分析子模块、异常行为检测子模块。
数据处理:对激光雷达采集的点云数据进行解析,按帧进行分割;并将每个点的数据进行栅格化处理获得栅格化的帧数据;
目标检测:从栅格化数据中区分出环境背景模型栅格数据和动目标栅格数据,对动目标栅格数据进行聚类分析,检测是否存在目标和目标数量;
目标跟踪:根据相邻帧数目标检测结果,以目标中心位置为依据,对每个目标进行目标跟踪,并记录每个目标在每帧图像中的轨迹;
目标分析:确定每个目标实时的位置、形状、速度、加速度信息;
异常行为检测:根据每个目标轨迹检测目标是否存在异常行为,异常行为包含滞留、聚集和徘徊。
(3)数据融合模块实现激光雷达和摄像机的数据融合,根据激光雷达数据的目标分析结果控制摄像机进行调转、跟踪、抓拍和目标识别。当激光雷达检测出目标后,融合模块控制摄像机进行调转、跟踪目标;当目标进入到识别区域后,融合模块控制摄像机对目标进行抓拍,并进行识别;当目标消失或全部检测完毕后,摄像机进入独立工作模式,直至出现新的目标。
(4)光电数据分析模块对摄像机视频数据进行分析处理,并对摄像机图像中目标进行识别。具体包含视频解析子模块、独立工作子模块、调转跟踪子模块、人脸检测子模块、人脸识别子模块。
视频解析:将摄像机抓拍视频,解析为单帧的图像;
独立工作:当***刚开始工作时,或者当激光雷达监控区域内没有目标,或所有目标都已经识别完毕,摄像机按设定模式进行巡检;
调转跟踪:摄像机根据融合模块给出的信号和目标信息,调转到目标所在位置,并根据融合模块提供的目标实时位置和运动信息以及自身对目标检测结果对目标进行持续跟踪;
人脸检测:检测摄像机图像中的是否存在人脸;
人脸识别:当目标进入识别区后,对目标进行抓拍,并进行人脸识别。
(5)外部设备控制接口:***留有接口可接入外接设备,并根据异常行为检测结果和人脸识别结果控制外接设备作出反应。
3、***工作流程(如图4B所示)
(1)监控点部署前端探测设备(激光雷达、光电探测设备),将探测到的信息数据发送到监控终端;
(2)监控室计算机接到激光雷达数据,对数据进行转化分析,将数据处理成动栅格数据,并将结果在界面上显示;
(3)***对动栅格数据进行目标检测、聚类分析,确定其中是否存在动目标,并对存在的动目标进行分析,获得目标的位置信息、外形信息和运动信息;
(4)***根据激光雷达数据分析的目标信息,控制光电探测设备(摄像机)进行调转;
(5)摄像机根据***提供的目标信息,进行调转、跟踪、拍摄,并进行目标检测(人脸检测);
(6)目标进入识别区后,对检测到的目标(人脸)进行目标识别(人脸识别),确定目标类型(安全人员、危险人员、可疑人员);
(7)***根据分析激光雷达数据获得到的目标信息,对目标行为进行异常行为(如滞留、徘徊、聚集等)检测;
(8)***根据目标识别结果和异常行为检测结果,控制外部设备作出相应的动作(如报警、放行、拦截等)。
实施例四
如图5所示,执行步骤500,目标信息融合模块启动,并开始进行信息融合。执行步骤501,通过目标定位等运动特征信息和目标外形特征信息进行目标优先级排序。顺序执行步骤502和步骤503,启动协同工作模式,并持续转发目标i的特征信息。执行步骤510,判断目标图像是否已经分割好。如果图像没有分割好,则顺序执行步骤515和步骤520,启动虚拟场景融合并判断目标是否进入人脸识别范围。
如果图像已经分割好,则执行步骤520,判断目标是否进入人脸识别范围。如果目标没有进入人脸识别范围,则顺序执行步骤525和步骤530,停止虚拟场景融合并判断是否检测到人脸。
如果目标进入人脸识别范围,则执行步骤530,判断是否检测到人脸。如果尚未检测到人脸。则顺序执行步骤535和步骤540,人脸图像进入识别框,边框闪烁表示正在识别,并判断是否识别到人脸。
如果检测到人脸。则执行步骤540,判断是否识别到人脸。如果尚未识别到人脸,则顺序执行步骤545和步骤550,检测结果进入列表框,并完成目标 i的检测。
如果识别到人脸,则执行步骤550,完成目标i的检测。执行步骤560,判断是否还有目标尚未检测。如果目标都已检测完成,则执行步骤570,停止目标融合。如果尚有目标没有检测完成,则顺序执行步骤565和步骤502,对剩余目标进行优先级排序,并启动协同工作模式。
实施例五
如图6所示,执行步骤600,对栅格化的数据进行去噪处理。执行步骤610,判断是否存在环境背景模型。如果不存在环境背景模型,则执行步骤611,连续去除N帧相邻的栅格数据,并执行步骤612,通过对比判断是否存在动目标数据。如果不存在动目标数据,则重新执行步骤611,连续去除N帧相邻的栅格数据。如果存在动目标数据,则执行步骤613,用N帧栅格数据合成环境背景模型栅格数据,并执行步骤620,和环境背景模型比照获取动目标栅格数据。
如果存在环境背景模型,则执行步骤620,和环境背景模型比照获取动目标栅格数据。执行步骤630,判断是否存在动目标栅格数据。如果不存在动目标栅格数据,则重新执行步骤600,对栅格化的数据进行去噪处理。如果存在动目标栅格数据,则执行步骤640,使用聚类算法判断是否属于同一目标。如果栅格距离小于Rmax属同一目标,否则属于不同目标。执行步骤650,进行假目标过滤,当目标包含的栅格数小于Mmin时,判断属于假目标。执行步骤660,输出目标数量、位置和形状等信息。
实施例六
如图7所示,异常行为检测子模块用于根据每个目标轨迹(实时位置、速度)700检测目标是否存在异常行为。
当出现以下情况时,被认定为异常行为,并确认异常行为种类。
当出现情况710时,即当目标位置连续长时间内不变或者变化很小,判断异常行为种类为:目标滞留711;
当出现情况720和721时,即连续时间内某区域存在多目标,所述区域为同一区域或临近区域,判断异常行为种类为:目标聚集722;
当出现情况730和731时,即目标在某一方向上速度分量方向反复变化,判断异常行为种类为:目标徘徊732;
当出现情况740时,即目标朝预设方向运动,且速度大于一定阈值,判断异常行为种类为:目标闯入741。
为了更好地理解本发明,以上结合本发明的具体实施例做了详细描述,但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改,均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
Claims (14)
1.一种基于激光雷达的智能安防监控装置,包括数据通信模块,其特征在于,
还包括激光雷达数据分析模块、光电数据分析模块、数据融合模块和外部设备控制接口;
所述数据通信模块用于接收激光雷达采集的点云数据和光电探测设备采集的视频数据,并发送对激光雷达和光电探测设备的控制信号;
所述激光雷达数据分析模块用于对激光雷达点云数据的分析处理,并对其中包含的目标进行检测分析;所述激光雷达数据分析模块包括数据处理子模块、目标检测子模块、目标跟踪子模块、目标分析子模块和异常行为检测子模块;
所述数据处理子模块用于对激光雷达采集的点云数据进行解析,按帧进行分割;并将每个点的数据进行栅格化处理获得栅格化的帧数据;
所述目标检测子模块用于从栅格化数据中区分出环境背景模型栅格数据和动目标栅格数据,对动目标栅格数据进行聚类分析,检测是否存在目标和目标数量;
所述目标跟踪子模块用于根据相邻帧数目标检测结果,以目标中心位置为依据,对每个目标进行目标跟踪,并记录每个目标在每帧图像中的轨迹;
所述目标分析子模块用于确定每个目标实时的位置、形状、速度、加速度信息;所述异常行为检测子模块用于根据每个目标轨迹检测目标是否存在异常行为;所述异常行为包含以下情况中至少一种:
目标滞留:当目标位置连续长时间内不变或者变化很小;
目标聚集:连续时间内某区域存在多目标,所述区域为同一区域或临近区域;
目标徘徊:目标在某一方向上速度分量方向反复变化;
目标闯入:目标朝预设方向运动,且速度大于一定阈值,所述预设方向包括门和/或窗和/或入口用于进入的方向;
所述光电数据分析模块对光电探测设备视频数据进行分析处理,并对光电探测设备图像中目标进行识别;所述光电数据分析模块包括视频解析子模块、独立工作子模块、调转跟踪子模块、人脸检测子模块、人脸识别子模块;所述独立工作子模块用于当***刚开始工作时,或者当激光雷达监控区域内没有目标,或所有目标都已经识别完毕,光电探测设备按设定模式进行巡检;所述调转跟踪子模块用于根据所述数据融合模块给出的信号和目标信息,调转摄像头到目标所在位置,并根据所述数据融合模块提供的目标实时位置和运动信息以及自身对目标检测结果对目标进行持续跟踪;
所述数据融合模块用于实现激光雷达和光电探测设备的数据融合,根据激光雷达数据的目标分析结果控制光电探测设备进行调转、跟踪、抓拍和目标识别;当激光雷达检测出目标后,所述数据融合模块控制光电探测设备进行调转、跟踪目标;当目标进入到识别区域后,所述数据融合模块控制光电探测设备对目标进行抓拍,并进行识别;当目标消失或全部检测完毕后,光电探测设备进入独立工作模式,直至出现新的目标。
2.如权利要求1所述的基于激光雷达的智能安防监控装置,其特征在于:所述目标检测子模块的工作方法包括以下步骤:
步骤01,对栅格化的帧数据进行去噪处理;
步骤02:判断是否存在环境背景模型;
步骤03:获取目标栅格数据;
步骤04:判断是否存在动目标栅格数据;
步骤05:使用聚类算法和假目标过滤方法进行筛选;
步骤06:输出目标数量、位置和形状信息中至少一种。
3.如权利要求2所述的基于激光雷达的智能安防监控装置,其特征在于:所述聚类算法是指当栅格距离小于Rmax时,判断属于同一目标,否则属于不同目标,其中Rmax为相邻栅格数据为同一目标数据的最大间距。
4.如权利要求3所述的基于激光雷达的智能安防监控装置,其特征在于:所述假目标过滤方法是指当目标包含的栅格数小于Mmin时,判断属于假目标,其中Mmin代表数据为目标时所允许的最小栅格数,与距离呈反比。
5.一种基于激光雷达的智能安防监控方法,其特征在于,包括以下步骤:
步骤1:将所述信息数据发送给如权利要求1-4中任一项所述的基于激光雷达的智能安防监控装置;
步骤2:所述安防监控装置对所述激光雷达的信息数据进行转化分析,并将所述信息数据处理成动栅格数据;
步骤3:对所述动栅格数据进行目标检测、目标分割和目标跟踪,确定其中是否存在动目标,并对存在的动目标进行分析,获得目标的位置信息、外形信息和运动信息;
步骤4:根据步骤3中的得到的所述动目标信息,控制光电探测设备进行调转、跟踪、拍摄,并进行目标检测;
步骤5:目标进入识别区后,光电探测设备对检测到的目标进行目标识别,确定目标类型;
步骤6:对目标运动轨迹行为进行异常行为检测,并根据检测结果做出相应的动作。
6.如权利要求5所述的基于激光雷达的智能安防监控方法,其特征在于,所述目标检测方法包括以下步骤:
步骤01,对栅格化的帧数据进行去噪处理;
步骤02:判断是否存在环境背景模型;
步骤03:获取目标栅格数据;
步骤04:判断是否存在动目标栅格数据;
步骤05:使用聚类算法和假目标过滤方法进行筛选;
步骤06:输出目标数量、位置和形状信息中至少一种。
7.如权利要求5所述的基于激光雷达的智能安防监控方法,其特征在于,所述异常行为包含以下情况中至少一种:
目标滞留:当目标位置连续长时间内不变或者变化很小;
目标聚集:连续时间内某区域存在多目标,所述区域为同一区域或临近区域;
目标徘徊:目标在某一方向上速度分量方向反复变化;
目标闯入:目标朝预设方向运动,且速度大于一定阈值,所述预设方向包括门和/或窗和/或入口用于进入的方向。
8.如权利要求7所述的基于激光雷达的智能安防监控方法,其特征在于:所述相应的动作包括报警、放行和拦截中至少一种。
9.一种基于激光雷达的智能安防监控***,包括激光雷达和光电探测设备,其特征在于,还包括以下模块:
如权利要求1-4中任一项所述的基于激光雷达的智能安防监控装置。
10.如权利要求9所述的基于激光雷达的智能安防监控***,其特征在于:所述激光雷达用来获取监控区域的激光雷达点云数据。
11.如权利要求9所述的基于激光雷达的智能安防监控***,其特征在于:所述光电探测设备用来获取监控区域的摄像机视频数据。
12.如权利要求9所述的基于激光雷达的智能安防监控***,其特征在于:还包括网络交换机和外部设备通讯接口。
13.如权利要求12所述的基于激光雷达的智能安防监控***,其特征在于:所述网络交换机用于将所述激光雷达、所述光电探测设备和所述安防监控装置进行联网。
14.如权利要求12所述的基于激光雷达的智能安防监控***,其特征在于:所述***通过所述外部设备通讯接口控制外部设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810540320.4A CN108802758B (zh) | 2018-05-30 | 2018-05-30 | 一种基于激光雷达的智能安防监控装置、方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810540320.4A CN108802758B (zh) | 2018-05-30 | 2018-05-30 | 一种基于激光雷达的智能安防监控装置、方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108802758A CN108802758A (zh) | 2018-11-13 |
CN108802758B true CN108802758B (zh) | 2021-02-12 |
Family
ID=64089562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810540320.4A Active CN108802758B (zh) | 2018-05-30 | 2018-05-30 | 一种基于激光雷达的智能安防监控装置、方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108802758B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109856643B (zh) * | 2018-12-15 | 2022-10-04 | 国网福建省电力有限公司检修分公司 | 基于3d激光的可移动式无感全景感知方法 |
CN109669460B (zh) * | 2018-12-29 | 2021-09-03 | 西安电子科技大学 | 目标检测中小型光电转台的智能控制方法 |
CN110231605B (zh) * | 2019-05-09 | 2021-10-29 | 深圳市速腾聚创科技有限公司 | 人体行为的识别方法、装置、计算机设备和存储介质 |
CN111382694A (zh) * | 2020-03-06 | 2020-07-07 | 杭州宇泛智能科技有限公司 | 人脸识别方法、装置及电子设备 |
CN111679271B (zh) * | 2020-06-15 | 2023-03-14 | 杭州海康威视数字技术股份有限公司 | 目标跟踪方法、装置、监控***及存储介质 |
CN112383714A (zh) * | 2020-11-13 | 2021-02-19 | 珠海大横琴科技发展有限公司 | 一种目标对象的跟踪方法和装置 |
CN112532934B (zh) * | 2020-11-23 | 2022-11-15 | 国网山东省电力公司利津县供电公司 | 一种多维协同监控*** |
CN113074714B (zh) * | 2021-03-01 | 2022-11-01 | 河北德冠隆电子科技有限公司 | 一种基于多数据融合的多态势感知传感器及其处理方法 |
CN113534171B (zh) * | 2021-06-22 | 2023-04-11 | 贵州电网有限责任公司 | 一种适用于变电站的感应雷达电子围栏及定位追踪方法 |
CN113483603A (zh) * | 2021-06-28 | 2021-10-08 | 东风越野车有限公司 | 识别多种类威胁目标的激光炫目控制方法及设备 |
CN114449217A (zh) * | 2021-12-24 | 2022-05-06 | 中国船舶重工集团公司第七一五研究所 | 一种基于机器视觉的船载收放设备动态视频监视的设备与方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105516653A (zh) * | 2015-11-25 | 2016-04-20 | 致象尔微电子科技(上海)有限公司 | 一种安防监控*** |
CN105946766A (zh) * | 2016-07-14 | 2016-09-21 | 奇瑞汽车股份有限公司 | 一种基于激光雷达与视觉的车辆碰撞预警***及其控制方法 |
CN107221175A (zh) * | 2017-05-31 | 2017-09-29 | 深圳市鸿逸达科技有限公司 | 一种行人意图检测方法和*** |
CN107239746A (zh) * | 2017-05-16 | 2017-10-10 | 东南大学 | 一种面向道路救援安全监控的障碍物识别跟踪方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9660668B2 (en) * | 2014-03-14 | 2017-05-23 | Avago Technologies General Ip (Singapore) Pte. Ltd | Forward error correction (FEC) for local area networks (LANs) |
CN104297758B (zh) * | 2014-08-15 | 2017-06-16 | 大连海事大学 | 一种基于2d脉冲式激光雷达的辅助靠泊装置及其方法 |
CN105208343B (zh) * | 2015-09-25 | 2016-09-07 | 珠海安联锐视科技股份有限公司 | 可用于视频监控设备的智能监控***和方法 |
CN106371104A (zh) * | 2016-08-16 | 2017-02-01 | 长春理工大学 | 多线点云数据机器学习的车辆目标识别方法及防撞装置 |
CN107071341A (zh) * | 2016-12-09 | 2017-08-18 | 河南中光学集团有限公司 | 小型雷达和光电转台的联动控制***及其控制方法 |
CN107256636A (zh) * | 2017-06-29 | 2017-10-17 | 段晓辉 | 一种融合激光扫描与视频技术的交通流获取方法 |
-
2018
- 2018-05-30 CN CN201810540320.4A patent/CN108802758B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105516653A (zh) * | 2015-11-25 | 2016-04-20 | 致象尔微电子科技(上海)有限公司 | 一种安防监控*** |
CN105946766A (zh) * | 2016-07-14 | 2016-09-21 | 奇瑞汽车股份有限公司 | 一种基于激光雷达与视觉的车辆碰撞预警***及其控制方法 |
CN107239746A (zh) * | 2017-05-16 | 2017-10-10 | 东南大学 | 一种面向道路救援安全监控的障碍物识别跟踪方法 |
CN107221175A (zh) * | 2017-05-31 | 2017-09-29 | 深圳市鸿逸达科技有限公司 | 一种行人意图检测方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN108802758A (zh) | 2018-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108802758B (zh) | 一种基于激光雷达的智能安防监控装置、方法和*** | |
KR101942491B1 (ko) | 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 cctv통합관제중개제어모듈을 갖는 cctv통합관제센터시스템 | |
CN101465033B (zh) | 一种自动追踪识别***及方法 | |
EP4105101A1 (en) | Monitoring system, monitoring method, and monitoring device for railway train | |
CN201278180Y (zh) | 一种自动追踪识别*** | |
CN106341661B (zh) | 巡逻机器人 | |
CN112235537B (zh) | 一种变电站现场作业安全预警方法 | |
CN102081844A (zh) | 一种交通视频行为分析与报警服务器 | |
CN104200671A (zh) | 一种基于大数据平台的虚拟卡口管理方法及*** | |
CN112068111A (zh) | 一种基于多传感器信息融合的无人机目标侦测方法 | |
CN113676702B (zh) | 基于视频流的目标追踪监测方法、***、装置及存储介质 | |
CN103726879A (zh) | 利用摄像头自动捕捉矿井矿震坍塌并及时记录报警的方法 | |
CN110867046A (zh) | 一种基于云计算的智能洗车机视频监控预警*** | |
KR102310192B1 (ko) | 객체 인식률 및 감시 정확성을 높인 융복합 카메라 및 이를 이용한 경계 감시시스템 | |
KR102434154B1 (ko) | 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법 | |
CN112485781B (zh) | 一种基于深度学习的反无人机无人值守***及方法 | |
KR20080044812A (ko) | 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템 | |
KR102479959B1 (ko) | 인공지능 기반 통합 경계 방법 및 객체 모니터링 장치 | |
CN112257683A (zh) | 一种面向车辆运行轨迹监测的跨镜追踪方法 | |
CN111681399A (zh) | 多维立体安全防控方法、装置及*** | |
CN208768193U (zh) | 近空智能监控*** | |
JP6967868B2 (ja) | 監視システム、監視プログラム、および、記憶媒体 | |
CN208298351U (zh) | 一种基于无人机的雷达监控预警*** | |
CN101814134A (zh) | 一种基于计算机视觉监视技术的火焰智能检测方法 | |
CN111063148A (zh) | 一种远距离夜视目标视频检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: An intelligent security monitoring device, method, and system based on LiDAR Granted publication date: 20210212 Pledgee: Beijing technology intellectual property financing Company limited by guarantee Pledgor: BEIJING YINGHU TECHNOLOGY Co.,Ltd. Registration number: Y2024990000173 |