CN110996067A - 基于深度学习的高危作业环境下的人员安全实时智能视频监控*** - Google Patents

基于深度学习的高危作业环境下的人员安全实时智能视频监控*** Download PDF

Info

Publication number
CN110996067A
CN110996067A CN201911317072.8A CN201911317072A CN110996067A CN 110996067 A CN110996067 A CN 110996067A CN 201911317072 A CN201911317072 A CN 201911317072A CN 110996067 A CN110996067 A CN 110996067A
Authority
CN
China
Prior art keywords
personnel
real
time
early warning
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911317072.8A
Other languages
English (en)
Inventor
代勇
化青龙
李伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Rongzhi Aike Intelligent Technology Co Ltd
Original Assignee
Harbin Rongzhi Aike Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Rongzhi Aike Intelligent Technology Co Ltd filed Critical Harbin Rongzhi Aike Intelligent Technology Co Ltd
Priority to CN201911317072.8A priority Critical patent/CN110996067A/zh
Publication of CN110996067A publication Critical patent/CN110996067A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)

Abstract

基于深度学***台五个子***；摄像头将实时视频流输入到人员自动识别***，***识别出人员后再进行人员定位，并将定位信息发送到实时智能预警***，实时智能预警***进行声光报警与设备联动闭锁，同时云端或本地端多种存储方案存储关键预警信息，智能管理平台可进行监管区域、监管时间设置与报警信息查询检索。该***可实现工业背景下的人员安全实时预警，主动预防事故发生，提供安全保障。符合实际需求，实施方便，易于推广应用。

Description

基于深度学习的高危作业环境下的人员安全实时智能视频监 控***
技术领域
本发明涉及图像处理、深度学习与电气控制，属于工业安全领域。
背景技术
目前，为保障各类高危工作环境下得工业安全生产，企业常常采用视频监控方式作为安全监督与监管手段手段之一。虽然为24小时监控，但***水平与视频监控值守人员注意力强相关，现有的视频监控***存在着值守人员容易疲劳导致注意力分散、值守人员工作态度消极懈怠、危险识别不准确、响应滞后等缺点。
随着人工智能、机器视觉技术、模式识别技术的快速发展，智能视频监控技术已经应用于民用和军事领域,如智慧城市建设、公共安全管理以及军事建设等。深度学***，有较高的实用性。
发明内容
本发明实现高危作业环境下人员安全实时智能视频监控的技术方案，其目的是提高目前作业人员安全管理水平和监控力度。
为了实现上述发明目的，本发明采取的技术方案如下：
根据摄像头多路的视频流按照视频读取、视频转码、视频解析、图像预处理和人员识别的步骤进行处理，利用深度学***台预设的监管区域发送不同等级的智能预警。预警***进行声光报警与设备联动闭锁的同时，人员自动定位***将报警信息、监控画面存储在本地端或云端，生成报警日志，用于查询检索，分析查证。用户可根据自己的条件、日期、类别、报警内容、紧急程度进行数据的增删改查。
Faster R-CNN目标检测的四个步骤为：候选区域生成、特征提取、分类器分类和回归器回归，全部由神经网络完成，并且可以全部在GPU上运行，实现了端到端的操作；如图3所示，由RPN候选框提取模块和Fast R-CNN检测模块组成，两个模块共享特征；Faster R-CNN算法的训练流程：将输入的图像经过CNN特征提取后，RPN生成约300个regionproposals送入ROI Pooling层；Faster RCNN模块通过共享上述卷积层，特征提取获得feature maps；利用softmax分类器进行分类；bounding box回归器回归，进行位置调整。
优选地，人员自动识别***处理视频的步骤：通过摄像头IP地址，利用TCP/IP协议实时读取多路视频流；将其转码为统一视频格式后分帧解析；将解析后的图片进行降噪、细节平滑、HDR压缩、去雾、增亮等操作；利用训练好的识别模型进行人员识别和处理；人员自动识别***基于深度学习的Faster R-CNN算法，识别是否有人员进入，保证监控值守人员注意力集中。
优选地，人员自动定位***基于人员定位算法，可以根据智能管理平台提供的监管区域信息判断现场人员位置，并进行监管区域闯入预警报警信号实时发送。
优选地，智能预警***的等级包括：告警、预警、报警三种级别；若是告警等级，则通过警铃提醒监控值守人员注意；若是预警等级，则通过警铃和警灯提醒监控值守人员注意；若是报警等级，则通过警铃和警灯提醒监控值守人员注意，且通过PLC对设备进行联动闭锁，保障人员安全。
优选地，智能管理平台可设置动态不规则多监管区域：自定义多个安全区、预警区、危险区等监管区域，提供给人员自动定位***做人员所处区域判别；监管时间设置，自定义工作时间、休息时间，基于深度学习的高危作业环境下的人员安全实时智能视频监控***严格按照时间执行任务，在监管时间内正常工作，在维修维护等休息时间内，分析结果但不做任何报警提示；报警信息查询检索管理，是指***自动记录每一次预警、报警信息内容，包括报警类别、时间、报警内容、紧急程度。报警信息为事故追踪、现场决策提供数据支撑。
本发明和现有技术相比，具有如下有益效果：
传统视频监控虽然也是24小时实时监控，但是监管水平与值守人员注意力强相关，值守人员容易疲劳导致注意力分散，甚至值守人员存在消极懈怠不负责的工作态度，这是传统监控***的主要缺点。
本发明的基于深度学习的高危作业环境下的人员安全实时智能视频监控***，对现场人员进行实时定位，判断现场人员所处位置，并进行智能预警加强工业生产监控监管力度，缩短事故应急处理时间，一定程度地降低安全事故率，同时提升信息化管理能力，促使现场安防向智慧监管方向发展。
附图说明
图1是基于深度学习的高危作业环境下的人员安全实时智能视频监控***的***构架及其连接方式结构图；
图2是基于深度学习的高危作业环境下的人员安全实时智能视频监控***的***实现原理示意图；
图3是基于深度学习的高危作业环境下的人员安全实时智能视频监控***的Faster R-CNN训练流程图。
具体实施方式
为使本发明的目的、技术方案和有益效果更加清楚明了，下面结合附图对本发明进行说明。
图1示出了根据本发明基于深度学习的高危作业环境下的人员安全实时智能视频监控***基于深度学习的高危作业环境下的人员安全实时智能视频监控***的***构架及其连接方式示意图。***设备包括摄像头、路由器、硬盘录像机、显示器、配置计算机、本地端/云端服务器、算法服务器、联动闭锁装置、警铃、警灯。具体连接方式为：路由器通过网线与多路摄像头、硬盘录像机连接，将获取视频存储于硬盘中；硬盘录像机通过VGA线与显示器连接，显示实时监控画面；同时路由器与算法服务器通过网线或无线网连接，将多路实时视频流传送到算法服务器，算法服务器进行人员识别与人员定位处理；算法服务器通过RS232总线与联动闭锁装置连接，将人员位置信息发送到联动闭锁装置,同时算法服务器与本地端/云端服务器通过网线或无线网连接以存储报警信息；将联动闭锁装置通过PLC控制线与警灯、警铃、设备连接，设置声光报警与设备急停；最后将配置计算机通过网线或无线网与本地端/云端服务器连接，监管区域设置、监管时间设置和报警信息查询检索管理。
优选地，算法服务器进行人员识别与人员定位处理，是基于深度学习的Faster R-CNN算法进行对照训练好的识别模型具体实现；同时自动定位***检测出人员所在区域进行实时智能预警处理。
优选地，联动闭锁装置与警灯、警铃、设备通过PLC控制线连接，实时智能预警***分为以下三个等级：若是告警等级，则通过警铃提醒监控值守人员注意；若是预警等级，则通过警铃和警灯提醒监控值守人员注意；若是报警等级，则通过警铃和警灯提醒监控值守人员注意，且通过PLC对设备进行联动闭锁，保障人员安全。
通过以上描述可知，本发明通过视频监控***获取的实时视频流，对现场人员进行实时定位，判断现场人员所处位置，并进行智能预警。如果现场人员越过隔离区进入危险区，实时智能预警***将以最快地速度控制设备停止运转，大幅度缩短事故应急处理时间。因此，本***将加强工业生产监控监管力度，并能一定程度地降低安全事故率。
在图2中，基于深度学习的高危作业环境下的人员安全实时智能视频监控***的实现原理主要包含智能预警与智能管理两部分：
(1)智能预警
摄像头多路视频流经视频转码、视频解析与图像预处理后，输入到基于深度学习的人员识别算法中，识别算法利用云端/本地端存储的模型库，进行人员识别；人员识别后，将识别后的图像输入到人员定位算法中，人员定位算法检测出人员所处位置，并利用云端/本地端存储的监管区域信息，判断出人员所处区域属性，并将人员定位信息分别发送到智能预警***与存储***；智能预警***接收到人员定位信息进行声光报警及设备联动闭锁；存储***将人员定位信息生成报警日志，并存储在云端或本地端，再将视频进行显示；
(2)智能管理
智能管理部分包含四大功能：动态监管时间设置、动态不规则监管区域设置、报警信息查询处理、便捷导入模型库。其中动态监管时间设置功能可自定义工作时间、休息时间，并将监管时间信息存储在云端或本地端数据库，在监管时间内***正常工作，在维修维护等休息时间内，分析结果但不做任何报警提示；动态不规则监管区域设置功能可自定义多个安全区、预警区、危险区等监管区域，并将监管区域信息存储在云端或本地端数据库，提供给基于深度学***台将基于深度学习的人员识别算法所需的模型库存储在云端或本地端数据库。
通过以上描述可知，本发明利用图像处理技术、深度学***台可动态设置监管区域、设置监管时间、查询检索报警日志，是传统安防向智慧安防发展的转折点。

Claims (10)

1.基于深度学***台，其特征是：人员自动识别***将智能视频监控***中接收的多路摄像头实时视频流进行处理后，传送到人员自动定位***智能定位现场人员，再将人员定位信息传到实时智能预警***进行声光报警与设备联动闭锁，同时存储***在云端或本地端存储关键预警、报警信息，智能管理平台根据存储***的信息管理人员自动识别***和人员定位***。
2.根据权利要求1所述的基于深度学习的工业人员安全实时智能视频监控***，其特征在于，人员自动识别***接收多路摄像头实时视频流，实时识别现场是否有人员进入。
3.根据权利要求1所述的基于深度学习的工业人员安全实时智能视频监控***，其特征在于，人员自动定位***智能定位现场人员，及监管区域闯入预警报警信号实时发送。
4.根据权利要求1所述的基于深度学习的工业人员安全实时智能视频监控***，其特征在于，实时智能预警***自定义预警报警级别分别进行声光报警与设备联动闭锁。
5.根据权利要求1所述的基于深度学习的工业人员安全实时智能视频监控***，其特征在于，存储***在云端或本地端存储关键预警、报警信息，并用于查询检索，分析查证。
6.根据权利要求1所述的基于深度学***台自定义监管区域：包括安全区、预警区、危险区；智能管理平台设置自定义监管时间：包括工作时间、休息时间；智能管理平台实现报警信息查询检索管理。
7.根据权利要求2所述的基于深度学习的工业人员安全实时智能视频监控***，其特征在于，自动识别***基于深度学习的Faster R-CNN算法进行现场人员自动识别。
8.根据权利要求3所述的基于深度学***台提供的监管区域信息判断现场人员位置，并进行监管区域闯入预警报警信号实时发送。
9.根据权利要求4所述的基于深度学习的工业人员安全实时智能视频监控***，其特征在于，实时智能预警***通过PLC与声光报警装置及设备进行联动闭锁。
10.根据权利要求6所述的基于深度学***台实现动态的、不规则的、多区域的监管区域设置。
CN201911317072.8A 2019-12-19 2019-12-19 基于深度学习的高危作业环境下的人员安全实时智能视频监控*** Pending CN110996067A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911317072.8A CN110996067A (zh) 2019-12-19 2019-12-19 基于深度学习的高危作业环境下的人员安全实时智能视频监控***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911317072.8A CN110996067A (zh) 2019-12-19 2019-12-19 基于深度学习的高危作业环境下的人员安全实时智能视频监控***

Publications (1)

Publication Number Publication Date
CN110996067A true CN110996067A (zh) 2020-04-10

Family

ID=70062998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911317072.8A Pending CN110996067A (zh) 2019-12-19 2019-12-19 基于深度学习的高危作业环境下的人员安全实时智能视频监控***

Country Status (1)

Country Link
CN (1) CN110996067A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586354A (zh) * 2020-04-28 2020-08-25 上海市保安服务(集团)有限公司 侦查***
CN111582149A (zh) * 2020-05-07 2020-08-25 北京远舢智能科技有限公司 一种基于机器视觉的生产安全管控***
CN111640282A (zh) * 2020-05-29 2020-09-08 北京潞电电气设备有限公司 一种配电室内人员安全距离监测方法、***及装置
CN111698418A (zh) * 2020-04-17 2020-09-22 广州市讯思视控科技有限公司 基于深度学***台的工业智能相机***
CN111966022A (zh) * 2020-08-27 2020-11-20 南京鼎尔特科技有限公司 一种用于选矿生产区域用的安全控制***
CN112052804A (zh) * 2020-09-10 2020-12-08 公安部第三研究所 实现安全管理的视频智能分析及报警***及其方法
CN112191353A (zh) * 2020-10-09 2021-01-08 北京北矿智能科技有限公司 一种用于提升碎石机作业区域安全性的装置及方法
CN112347847A (zh) * 2020-09-27 2021-02-09 浙江大丰实业股份有限公司 一种舞台安全监控用自动定位***
CN112532920A (zh) * 2020-10-28 2021-03-19 深圳英飞拓科技股份有限公司 一种工地***智能化监控实现方法及***
CN112669555A (zh) * 2020-12-11 2021-04-16 北京京能能源技术研究有限责任公司 智能安全预警方法及***
CN112987661A (zh) * 2021-02-05 2021-06-18 太原重工股份有限公司 无缝钢管连轧生产线辅助设备一体化管控***
CN113538844A (zh) * 2021-07-07 2021-10-22 中科院成都信息技术股份有限公司 一种智能视频分析***及方法
CN114639065A (zh) * 2022-05-18 2022-06-17 山东捷瑞数字科技股份有限公司 一种成型设备操作安全监测方法和装置
CN114706343A (zh) * 2022-06-06 2022-07-05 深圳向一智控科技有限公司 一种基于gps定位的安保控制方法及装置
CN116863401A (zh) * 2023-07-07 2023-10-10 山东天用智能技术有限公司 一种基于视觉分析的人员作业状态的后厨智能监管***及方法
US11933619B2 (en) 2020-12-07 2024-03-19 International Business Machines Corporation Safe zones and routes planning

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647559A (zh) * 2018-03-21 2018-10-12 四川弘和通讯有限公司 一种基于深度学习的危险物识别方法
CN109922310A (zh) * 2019-01-24 2019-06-21 北京明略软件***有限公司 目标对象的监控方法、装置及***
US10373323B1 (en) * 2019-01-29 2019-08-06 StradVision, Inc. Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using V2X-enabled applications, sensor fusion via multiple vehicles
CN110428522A (zh) * 2019-07-24 2019-11-08 青岛联合创智科技有限公司 一种智慧新城的智能安防***
KR20190136515A (ko) * 2018-05-31 2019-12-10 주식회사 비젼하이텍 차량 인식 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647559A (zh) * 2018-03-21 2018-10-12 四川弘和通讯有限公司 一种基于深度学习的危险物识别方法
KR20190136515A (ko) * 2018-05-31 2019-12-10 주식회사 비젼하이텍 차량 인식 장치
CN109922310A (zh) * 2019-01-24 2019-06-21 北京明略软件***有限公司 目标对象的监控方法、装置及***
US10373323B1 (en) * 2019-01-29 2019-08-06 StradVision, Inc. Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using V2X-enabled applications, sensor fusion via multiple vehicles
CN110428522A (zh) * 2019-07-24 2019-11-08 青岛联合创智科技有限公司 一种智慧新城的智能安防***

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698418A (zh) * 2020-04-17 2020-09-22 广州市讯思视控科技有限公司 基于深度学***台的工业智能相机***
CN111586354A (zh) * 2020-04-28 2020-08-25 上海市保安服务(集团)有限公司 侦查***
CN111582149A (zh) * 2020-05-07 2020-08-25 北京远舢智能科技有限公司 一种基于机器视觉的生产安全管控***
CN111640282A (zh) * 2020-05-29 2020-09-08 北京潞电电气设备有限公司 一种配电室内人员安全距离监测方法、***及装置
CN111966022A (zh) * 2020-08-27 2020-11-20 南京鼎尔特科技有限公司 一种用于选矿生产区域用的安全控制***
CN112052804A (zh) * 2020-09-10 2020-12-08 公安部第三研究所 实现安全管理的视频智能分析及报警***及其方法
CN112052804B (zh) * 2020-09-10 2024-05-10 公安部第三研究所 实现安全管理的视频智能分析及报警***及其方法
CN112347847A (zh) * 2020-09-27 2021-02-09 浙江大丰实业股份有限公司 一种舞台安全监控用自动定位***
CN112191353A (zh) * 2020-10-09 2021-01-08 北京北矿智能科技有限公司 一种用于提升碎石机作业区域安全性的装置及方法
CN112191353B (zh) * 2020-10-09 2022-01-28 北京北矿智能科技有限公司 一种用于提升碎石机作业区域安全性的装置及方法
CN112532920A (zh) * 2020-10-28 2021-03-19 深圳英飞拓科技股份有限公司 一种工地***智能化监控实现方法及***
US11933619B2 (en) 2020-12-07 2024-03-19 International Business Machines Corporation Safe zones and routes planning
CN112669555A (zh) * 2020-12-11 2021-04-16 北京京能能源技术研究有限责任公司 智能安全预警方法及***
CN112987661A (zh) * 2021-02-05 2021-06-18 太原重工股份有限公司 无缝钢管连轧生产线辅助设备一体化管控***
CN113538844A (zh) * 2021-07-07 2021-10-22 中科院成都信息技术股份有限公司 一种智能视频分析***及方法
CN114639065A (zh) * 2022-05-18 2022-06-17 山东捷瑞数字科技股份有限公司 一种成型设备操作安全监测方法和装置
CN114706343A (zh) * 2022-06-06 2022-07-05 深圳向一智控科技有限公司 一种基于gps定位的安保控制方法及装置
CN114706343B (zh) * 2022-06-06 2022-09-20 深圳向一智控科技有限公司 一种基于gps定位的安保控制方法及装置
CN116863401A (zh) * 2023-07-07 2023-10-10 山东天用智能技术有限公司 一种基于视觉分析的人员作业状态的后厨智能监管***及方法
CN116863401B (zh) * 2023-07-07 2024-06-04 山东天用智能技术有限公司 一种基于视觉分析的人员作业状态的后厨智能监管***及方法

Similar Documents

Publication Publication Date Title
CN110996067A (zh) 基于深度学习的高危作业环境下的人员安全实时智能视频监控***
CN100446043C (zh) 基于生物传感和图像信息融合的视频安防监控方法
CN108389359B (zh) 一种基于深度学习的城市火灾报警方法
CN113298444A (zh) 基于私有云的电力安全智能管控平台
CN111131771B (zh) 一种视频监控***
CN111626636A (zh) 一种基于大数据分析技术的工业安全应急管理平台
CN112188164A (zh) 一种基于ai视觉的违规行为实时监测***及方法
CN211184122U (zh) 铁路作业安全防控和大客流预警联动的智能视频分析***
CN115457446A (zh) 一种基于视频分析的异常行为监管***
CN112580470A (zh) 城市视觉感知方法、装置、电子设备和存储介质
CN110287917A (zh) 基建工地的安全管控***和方法
CN106761928A (zh) 一种煤矿安全监控***的数据采集方法及装置
CN113469654A (zh) 一种基于智能算法融合的变电站多层次安全管控***
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及***
CN115496640A (zh) 一种火电厂智慧安全***
CN116012762A (zh) 一种针对电力设备的交通路口视频影像分析方法及***
Luo Research on fire detection based on YOLOv5
CN114067396A (zh) 基于视觉学习的居配工程现场试验数字化管理***及方法
CN111553264B (zh) 一种适用于中小学生的校园非安全行为检测及预警方法
CN113505704A (zh) 图像识别的人员安全侦测方法、***、设备及存储介质
CN113095160A (zh) 基于人工智能和5g的电力***人员安全行为识别方法及***
CN110533889A (zh) 一种敏感区域电子设备监测定位装置与方法
CN116030404A (zh) 一种基于人工智能的作业区域电子警戒围栏架设和安全监控方法
CN112804493A (zh) 一种电力工程施工用智能监控***
CN203276305U (zh) 一种基于云视觉的智能步态识别装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200410