CN114677640A - 基于机器视觉的智慧工地安全监测***及方法 - Google Patents
基于机器视觉的智慧工地安全监测***及方法 Download PDFInfo
- Publication number
- CN114677640A CN114677640A CN202210285817.2A CN202210285817A CN114677640A CN 114677640 A CN114677640 A CN 114677640A CN 202210285817 A CN202210285817 A CN 202210285817A CN 114677640 A CN114677640 A CN 114677640A
- Authority
- CN
- China
- Prior art keywords
- detection
- target
- algorithm
- track
- safety
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 76
- 238000010276 construction Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 290
- 230000006399 behavior Effects 0.000 claims abstract description 64
- 238000013480 data collection Methods 0.000 claims abstract description 11
- 230000033001 locomotion Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 2
- 239000000779 smoke Substances 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 206010000369 Accident Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/30—Construction
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/50—Safety; Security of things, users, data or systems
Landscapes
- Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种基于机器视觉的智慧工地安全监测***及方法，所述***工地数据收集***和安全行为监测***，所述工地数据收集***利用视频捕获设备采集工地视频数据；所述安全行为监测***基于输入的视频数据执行工地安全算法，识别出潜在危险；所述安全行为监测***包括：目标检测模块，用于输入的每帧图像数据提取特征并确定目标的检测框位置；目标跟踪模块，用于对检测框中的目标进行实时跟踪，确定轨迹状态；以及安全检测模块，基于目标检测和目标跟踪算法对工人行为进行分析，判断是否存在未佩戴安全帽、跌倒中的一种或多种情况，安全检测模块还对烟火隐患进行检测。本发明结合机器视觉技术和深度学习算法，提高工地危险违规行为检测能力。
Description
技术领域
本发明涉及施工工地安全监测，具体涉及一种基于机器视觉的目标检测、跟踪和安全预警的工地安全监测***及方法。
背景技术
工地施工现场环境复杂多变，当前的安全管理以人工为主。在智能监控领域，传统的视频监控往往只有简单的几个摄像头，并且摄像头的延时一般较高，仅仅作为现场施工安防的辅助手段，不能对现场的安全风险进行实时检测与预警。这种传统监管方式不仅耗费大量人力财力，而且工作效率十分低，难以满足现代化智能施工安全管理。如何保证工人的施工安全性，以及施工现场智能统一化管理是目前施工单位高度重视亟待解决的问题。
近年来，越来越多的公司和科研机构致力于改进工地安全监测***，如：中国专利公开号CN110888950A公开了一种基于智能安全帽的智慧工地管理***，中国专利申请CN202010549716.2公开了一种智慧工地安全检测方法、***、智能终端及存储介质，以及一些其他技术，然而，上述几项技术所公开的工地安全检测技术虽然对检测是否佩戴安全帽具有一定帮助，但是仍然存在以下问题：现实中导致工地发生安全事故的影响因素众多，工人可能发生跌倒事故，工地上可能出现浓烟和火灾事故。此外，由于工地设施众多，工人的情况容易被遮挡，现有***/方法的检测精度尚存在一定的改进空间。如何构建一个对工人进行实时精确的检测跟踪，分析其行为是否存在危险违规，从而实现实现施工现场的智能安全管控成为工地安全管理的首要任务。
发明内容
发明目的：本发明的目是提供一种基于机器视觉的的智慧工地安全监测***及方法，应用深度学习算法对工地危险违规行为进行分析，对未佩戴安全帽、跌倒和烟火隐患的安全风险行为做出实时告警。
技术方案：为了实现上述发明目的，本发明采用如下技术方案：
根据本发明的第一方面，提供一种基于机器视觉的智慧工地安全监测***，包括：工地数据收集***和安全行为监测***，所述工地数据收集***利用视频捕获设备采集工地视频数据；所述安全行为监测***基于输入的视频数据执行工地安全识别算法，识别出潜在危险；所述安全行为监测***包括：目标检测模块，通过目标检测算法对输入的每帧图像数据提取特征并确定目标的检测框位置；目标跟踪模块，通过目标跟踪算法对检测框的目标进行实时跟踪，确定轨迹状态；以及安全检测模块，在确定目标为施工工人的情况下，基于目标检测算法和目标跟踪算法对工人进行实时行为分析，判断工人是否存在违规行为，并在判断工人存在违规行为时进行告警，其中违规行为包括未佩戴安全帽和跌倒中的一种或多种情况，以及在确定目标为烟火的情况下，直接进行告警。
进一步地，目标检测模块包括：目标检测单元，使用改进网络结构的YOLOv3目标检测算法对输入的每帧图像提取特征并且得到目标的检测框位置；以及筛选单元，利用深度融合NMS算法对目标检测单元给出的检测框进行筛选，去除重叠的检测框。
进一步地，所述目标检测单元中改进的YOLOv3网络结构引入随机池化来对原主干网络Darknet-53进行下采样操作，所述随机池化过程包括：将原Yolov3主网络Darknet-53中负责下采样的卷积层替换为一个步长为1的卷积层和一个随机池化层，步长为1的卷积层负责改变输出维度，随机池化层负责下采样。
进一步地，所述筛选单元包括：
集合建立单元，建立检测框集合M，检测框置信度集合S，检测框中心像素的深度值集合D，最终选取的检测框集合R，并设置交并比阈值T，误差深度阈值a；
排序选择单元，以集合S基于分数从高到低将检测框排序，将S最大的检测框从集合M中移动到集合R中，并将M中的删除；
交并比比较单元，计算集合M中剩余的检测框与上一步被选中的检测框的交并比值，判断两个重叠的检测框的交并比值U与交并比阈值T之间的大小关系；如果U<T，则保留检测框；如果U≥T，则比较两个检测框中心像素的深度值，判断两个检测框中心像素的深度值之差的绝对值d与深度阈值a之间的大小关系；如果d≥a，则保留检测框；如果d<a，则根据式(1)分别计算两个检测框的像素的平均深度，根据式(2)分别计算两个检测框融合后的深度置信度：
其中，
是第i个检测框中像素的平均深度，Mi和Ni分别是第i个检测框的宽度和高度，
是检测框的像素灰度值之和，Ωp代表检测框像素点的集合，Dj是第j个像素点的灰度值，Ci为第i个检测框最终的置信度结果，Si是第i个检测框的得分；
检测框确定单元，比较融合后的深度置信度C，得分较高者被视为最佳检测框，并仅保留最佳检测框在集合R中；
循环控制单元，重复排序选择单元、交并比比较单元、检测框确定单元的操作直到集合M中检测框个数为0，输出集合R，结束循环。
进一步地，所述目标跟踪模块包括轨迹预测单元、初次匹配单元，所述轨迹预测单元通过卡尔曼滤波算法预测目标在当前帧图像中的位置，对于算法预测结果与目标实际检测结果之间的匹配，算法跟踪预测结果当作一个预测轨迹，当在指定数量帧中算法预测检测结果和实际检测结果中的目标都能正确联系时，轨迹为确认轨迹；所述初次匹配单元对于确认轨迹直接进行级联匹配，当出现遮挡时，所述初次匹配单元通过使用余弦距离获取的目标外观特征以及使用交并比思想获取的目标运动信息得到指标结果。
进一步地，所述初次匹配单元包括：
外观特征指标单元，使用余弦距离获取目标外观特征指标，余弦距离计算公式如下式所示：
其中，Ex表示第m条轨迹的目标外观特征，M为算法跟踪预测结果的轨迹总数，Ey表示第n个目标的外观特征；
运动特征指标单元，使用交并比思想获取运动特征指标，交并比计算公式如下式所示：
其中，
表示第m条轨迹在t+1时刻的位置，
表示第n个目标在t+1时刻的位置，上标^表示估计值，area表示面积；
特征联合单元，将外观特征指标和运动特征指标进行关联，获得最终特征指标，公式如下所示：
dt＝λd1+(1-λ)d2
其中，dt值表示最终的指标结果，λ表示外观特征指标的权重，l表示发生遮挡时消失的轨迹长度，ω和θ是设置的学习参数；
匹配确定单元，将最终的指标结果dt与预设的置信度阈值进行比较，如果dt大于该置信度阈值，则确定目标被正确关联。
进一步地，所述目标跟踪模块还包括二次匹配单元，用于将未能级联匹配的轨迹以及未确认轨迹建立轨迹的集合，计算没有成功匹配的检测和集合轨迹的交并比，设置置信度，然后使用匈牙利算法对没有成功匹配检测和集合轨迹进行匹配，通过交并比结果与置信度的比较，删除低于置信度的没有成功匹配的检测和集合轨迹。
根据本发明的第二方面，提供一种基于机器视觉的智慧工地安全监测方法，包括以下步骤：
数据收集步骤：利用视频捕获设备采集工地视频数据；
安全行为监测步骤：基于视频数据执行工地安全识别算法，识别出潜在危险，具体包括：
(1)利用目标检测算法对输入的每帧图像数据提取特征并确定目标的检测框位置；
(2)利用目标跟踪算法对检测框位置中的目标进行实时跟踪，确定轨迹状态；
(3)在确定目标为施工工人的情况下，基于目标检测算法和目标跟踪算法对工人进行实时行为分析，判断工人是否存在违规行为，并基于工人存在违规行为的判断进行告警，其中违规行为包括未佩戴安全帽和跌倒中的一种或多种情况，以及在确定目标为烟火的情况下，直接进行告警。
进一步地，所述目标检测算法包括：对输入的每帧图像，使用改进网络结构的YOLOv3目标检测算法读取当前帧中目标的检测框位置和各个图像块的深度特征，并通过深度融合NMS算法对这些检测框进行筛选，去除重叠的检测框。
进一步地，所述目标识别算法包括：卡尔曼滤波算法预测目标在当前帧中的位置，并通过级联匹配提高精度，其中，对于算法预测结果与目标实际检测结果之间的匹配，算法跟踪预测结果当作一个预测轨迹，当在指定数量帧中算法预测检测结果和实际检测结果中的目标都能正确联系时，轨迹为确认轨迹；对于确认轨迹直接进行级联匹配，当出现遮挡时，通过使用余弦距离获取的目标外观特征以及使用交并比思想获取的运动信息得到指标结果；对于未能级联匹配的轨迹以及未确认轨迹，建立轨迹的集合，计算没有成功匹配的检测和集合轨迹的交并比，设置置信度，然后使用匈牙利算法对没有成功匹配检测和集合轨迹进行匹配，通过交并比结果与置信度的比较，删除低于置信度的没有成功匹配的检测和集合轨迹。
有益效果：本发明基于机器视觉技术，将深度学习算法应用对工地危险违规行为进行分析，对未佩戴安全帽、跌倒隐患的安全风险行为做出实时告警，较好地解决了建筑物体遮挡工人和工人之间互相遮挡等现象导致的危险不能及时发现的问题。本发明将大大促进智慧工地领域的发展，有效减少建筑工地事故总量，确保房屋市政工程安全生产稳定发展。
附图说明
图1是本发明实例提供的智慧工地安全监测***的总体框架图；
图2是本发明实例提供的智慧工地安全监测***的设备组成图；
图3是本发明实例提供的工地摄像头分布及传输方式图；
图4本发明实例提供的是智慧工地安全监测***的工作过程示意图；
图5是本发明实例提供的目标检测和目标跟踪相结合的处理过程流程图；
图6是本发明实例提供的级联匹配示例图；
图7是本发明实例提供的网络结构图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
图1是本发明实施例中提供的智慧工地安全监测***的总体框架，智慧工地安全监测***包括工地数据收集***、安全行为监测***和监控平台，其中工地数据收集***用于采集工地工人安全行为数据，安全行为监测***用于执行工地安全算法，监控平台用于人工在软件平台监督工人安全行为。
图2是智慧工地安全监测***的设备组成图，参照图1和图2，工地数据收集***包括工地测试点分布模块、工地服务器和视频模块，工地测试点分布模块能够提供数据通信硬件和数据收集硬件，工地测试点分布模块包括：基站支架、多功能传感器和电池板。基站能够借助移动通信网络为工地服务器、监控平台服务器提供数据交互。多功能传感器能够提供当前工地测试点的定位信息、声光信息、湿度信息、风速信息和数据信息，多功能传感器的内部安装有定位模块、声音模块、温度模块、风速模块和数据模块，定位模块提供工地测试点的具***置信息，声音模块提供工地测试点实时噪声分贝，温度模块提供工地测试点实时温度和湿度，风速模块提供工地测试点实时风速，数据模块能够将上述所有数据提供给各地服务器。电池板能够为多功能传感器内部的定位模块、声光模块、湿度模块、风速模块和数据模块进行持续供电，工地测试点分布模块通过信号接收器和云服务器平台通信。工地服务器用于对工地测试点分布模块采集到的数据进行存储和预处理，预处理操作包括对数据的审核、筛选和排序后将多功能传感器数据通过互联网发送给监控平台服务器，将实时视频数据传输给安全行为监测***进行安全监测。视频模块用于获取工地测试点附近的视频信息，包括：摄像头、路由器和/或交换机，摄像头采用全彩版POE网线供电，支持1080p像素输出，分辨率适应704×576P到1920×1080P，支持黑光夜市50米以及白光全彩夜视20米。摄像头放置在各个工地测试点附近，摆放在易于拍摄工人行动的位置。
图3是工地摄像头分布及传输方式图。在对位置容易改变的监控点(如吊塔、料场等)位置，采用无线传输方式。对位置不容易改变的监控点(如出入口、仓库等)位置，采用有线传输方式。无线传输方式采用的设备应遵循IEEE 802.11a/b/g/n标准协议。有线传输介质包括但不限于视频线、光纤、双绞线等。
安全行为监测***包括执行计算机可用程序代码的计算机或其他可编程设备，计算机可用程序代码包括实现安全行为监测的卷积神经网络。继续参照图1，安全行为监测***一共包括三个部分：目标检测模块、目标跟踪模块和安全检测模块。其中目标检测模块利用改进的YOLOv3网络结构和引用深度融合NMS算法替换原YOLOv3的NMS算法，用改进后的算法模型对现场的视频监控数据进行实时分析，检测目标。目标跟踪模块则是通过使用改进的Deep-Sort算法对目标进行实时跟踪。在确定检测出目标为工人并对其保持跟踪的情况下，安全检测模块则是基于目标检测算法和目标跟踪算法对工人进行实时行为分析，分析其行为特征是否存在违规现象，针对工地工人施工主要涉及安全帽检测和跌倒检测。该安全行为监测***还可以对工地烟火情况进行识别。方法的具体实现过程在下面结合图4的智慧工地安全检测方法中描述。安全行为监测***对工人实时行为进行安全检测的结果通过互联网发送给监控平台服务器。
在本发明的实施方式中，目标检测模块包括：检测单元，用改进网络结构的YOLOv3目标检测算法对输入的每帧图像提取特征并且得到目标的检测框位置；以及筛选单元，利用深度融合NMS算法对检测单元给出的检测框进行筛选，去除重叠的检测框。
具体地，检测单元中改进的YOLOv3网络结构引入随机池化来对原主干网络Darknet-53进行下采样操作，随机池化(Stochastic-pooling)可以删除冗余信息、压缩特征、降低网络复杂性，改进后的主干网络取名Darknet-sp。尤其是在工地背景信息复杂的情况下，在网络学习过程中应尽量减少工地背景这部分信息的影响。具体地，随机池化过程包括：将原Yolov3主网络Darknet-53中负责下采样的卷积层替换为一个步长为1的卷积层和一个随机池化层，步长为1的卷积层负责改变输出维度，随机池化层负责下采样作用。
筛选单元进一步包括：
集合建立单元，建立检测框集合M，检测框置信度集合S，检测框中心像素的深度值集合D，最终选取的检测框集合R，并设置交并比阈值T，误差深度阈值a，其中集合M中的检测框为YOLOv3得到的检测框，YOLOv3得到检测框的同时还会得出每个检测框的得分(即置信度)，就是S；
排序选择单元，以集合S基于分数从高到低将检测框排序，将S最大的检测框从集合M中移动到集合R中，并将M中的删除；
交并比比较单元，计算集合M中剩余的检测框与上一步被选中的检测框的交并比值，判断两个重叠的检测框的交并比值U与交并比阈值T之间的大小关系；如果U<T，则保留检测框；如果U≥T，则比较两个检测框中心像素的深度值。具体地，判断两个检测框中心像素的深度值之差的绝对值d与深度阈值a之间的大小关系；如果d≥a，则默认两个检测框所检测物体为不同目标，保留检测框；如果d<a，则默认两个检测框所检测物体为同一目标，根据式(1)分别计算两个检测框的像素的平均深度，根据式(2)分别计算两个检测框融合后的深度置信度。
其中，
是第i个检测框中像素的平均灰度值，代表平均深度，Mi和Ni分别是第i个检测框的宽度和高度，
是检测框的像素灰度值之和，Ωp代表检测框像素点的集合，Dj是第j个像素点的灰度值，Ci为第i个检测框最终的置信度结果，Si是第i个检测框的得分。
检测框确定单元，比较融合后的深度置信度C，得分较高者被视为最佳检测框，并仅保留最佳检测框在集合R中。
循环控制单元，重复排序选择单元、交并比比较单元、检测框确定单元的操作直到集合M中检测框个数为0，输出集合R，结束循环。
在一个方面中，目标检测模块利用改进的检测算法可以识别出复杂环境中的工人目标，以及进一步地，可以识别出工人是否佩戴安全帽、是否跌倒的情况。在另一方面中，目标检测模块利用改进的目标检测算法还可以检测出工地是否存在烟火隐患。
在本发明的实施方式中，目标跟踪模块包括轨迹预测单元、初次匹配单元和二次匹配单元，轨迹预测单元通过卡尔曼滤波预测目标在当前帧中的位置，对于算法跟踪预测结果与目标实际检测结果之间的匹配，算法跟踪预测结果当作一个预测轨迹，当在指定数量帧中检测结果中的目标和跟踪结果中的预测轨迹都能正确联系时，轨迹为确认轨迹。初次匹配单元对于确认轨迹直接进行级联匹配。最后得到初步匹配、未能匹配的轨迹和检测。当出现遮挡时，初次匹配单元使用余弦距离实现的目标外观特征以及使用交并比思想实现运动信息来得到指标结果，提高遮挡情况下的匹配性能。这里算法跟踪结果指的是根据卡尔曼滤波预测的结果，目标实际检测结果指的是根据改进的YOLOv3检测得到的检测结果，未能匹配的轨迹和检测指的是轨迹和检测出来的目标未能匹配。
具体而言，初次匹配单元包括：
外观特征指标单元，使用余弦距离实现目标外观特征指标，外观特征指标计算公式如下式所示：
其中，算法跟踪预测结果有多条轨迹，Ex表示第m条轨迹的目标外观特征，M为轨迹总数，Ey表示第n个目标的外观特征；
运动特征指标单元，使用交并比思想实现运动特征指标，运动特征指标计算公式如下式所示：
其中，
表示第m条轨迹在t+1时刻的位置预估值，
表示第n个目标在t+1时刻的位置信息，area表示面积；
特征联合单元，对外观特征指标结果和运动特征指标结果进行关联来得到最终特征指标，公式如下所示：
dt＝λd1+(1-λ)d2 (5)
其中，dt值表示最终的指标结果，λ值表示外观特征指标的权重，l表示发生遮挡时消失的轨迹长度，ω和θ是设置的学习参数；
匹配确定单元，将dt与预设的置信度阈值进行比较，如果dt大于该置信度阈值，则目标存在遮挡情况下也可以实现正确关联。
二次匹配单元用于对没有成功匹配的检测和集合轨迹计算它们的交并比，并结合匈牙利算法进行匹配。具体地，将未能级联匹配的轨迹以及未确认轨迹当作一个轨迹的集合，计算没有成功匹配的检测和集合轨迹的交并比，设置置信度，使用匈牙利算法对没有成功匹配检测和集合轨迹进行匹配，通过交并比结果与置信度的比较，删除低于置信度的没有成功匹配的检测和集合轨迹，得到再次匹配、未匹配结果的轨迹和检测，确保最大程度地匹配检测结果和跟踪结果。
该安全行为监测***还包括参数更新模块，计算卡尔曼滤波公式，更新误差协方差、卡尔曼增量、预估值，最后得到最佳预估参数，参数更新结束后，将特征放入轨迹特征集合，删除没有成功匹配的轨迹。当出现检测未匹配情况时，如果在画面中出现了新的工人目标，此时将一个新的预测轨迹生成，使用新的轨迹、轨迹特征来更新轨迹特征集合。
参照图1和图2，监控平台包括软件平台和监控平台服务器，软件平台由多终端访问组成，多终端访问包括移动端、pc端和网页端三部分，施工人员能够通过软件进行用户账号注册。监控平台服务器与软件平台通过服务器实现数据转发功能，基于所述监控平台，管理人员可以在中心操作电脑上实现对现场人员的调度和定位。监控平台能够实现人员管理、现场视频、进度管理和安全管理等功能。
图4是所述总体工地安全监测***的工作流程图。本***具有较高的实用性、实时性和安全性。***通过高清摄像机采集施工现场的视频，然后将其传输给工地服务器进行数据的存储和预处理，工地服务器将实时视频数据传输给安全行为监测***进行安全监测。安全行为监测***对传输的高清、低延时的视频画面进行实时工人检测和跟踪，分析工人在施工过程的行为特征，进行实时的安全帽检测和跌倒检测，如果发现违规行为，实时上传至安全告警模块，实现施工现场违规行为的实时告警。安全行为监测***对视频画面进行烟火检测和跟踪，当发现存在烟火隐患时，实时上传至告警模块进行实时告警。告警信息数据最终通过Web服务器传输至用户的客户端界面进行展示。
其详细步骤如下，首先获取施工现场实时监控视频流，并对视频数据进行初始化，采用的是改进的YOLOv3网络进行目标检测，得到每帧图像中工人/烟火的位置信息并且输出目标坐标，然后基于目标检测算法得出的位置执行改进的Deep-Sort算法，进行特征提取与运动估计。在工人/烟火目标被跟踪的过程中出现目标更新的情况，则返回到初始化步骤，如果没有出现目标更新，则对于工人目标，实时判断视频中工人是否出现违规行为(如不带安全帽)或危险行为(如跌倒)。判断工人是否出现违规行为的过程中，再次利用改进的YOLOv3网络进行目标检测，并基于改进的Deep-Sort算法进行目标跟踪。当检测出工人违规行为时，安全行为监测***对工人进行实时跟踪并且判断工人ID是否发生改变，如果ID未发生改变则安全行为监测***判断是同一工人所为。检测出烟火隐患时，安全行为监测***对隐患区域进行跟踪，判断是否是同一区域，如果是，则会将后续的冗余告警信息删除，不再出现告警展示。
其中判断工人是否出现违规行为基于两种安全检测算法，分别是安全帽检测算法、跌倒检测算法，判断工地环境是否出现危险情况基于烟火检测算法。
安全帽检测算法基于改进的目标检测和改进的目标跟踪方法相结合，通过训练大量的安全帽数据并基于改进的YOLOv3算法实现对安全帽目标的检测，使用深度融合NMS算法减少因安全帽目标较小且工人之间经常发生互相遮挡而出现的遮挡漏检问题，为了优化***安全帽告警，减少冗余告警信息，通过改进的Deep-Sort对工人进行跟踪，当目标跟踪算法发现违规行为是同一个人所为，则只需要告警一次即可。为了能够实现在遮挡情况下实现目标之间的数据关联，减少跟踪过程中目标的丢失，使用了改进的特征指标算法。
跌倒检测算法基于改进的目标检测和改进的目标跟踪方法相结合，通过训练大量的工人跌倒数据并基于改进的YOLOv3算法实现对跌倒目标的检测，使用深度融合NMS算法减少因跌倒的工人目标很可能被现场建筑所遮挡出现的遮挡漏检问题，为了优化***安全帽告警，减少冗余告警信息，通过改进的Deep-Sort对工人进行跟踪，当目标跟踪算法发现违规行为是同一个人所为，则只需要告警一次即可。为了能够实现在遮挡情况下实现目标之间的数据关联，减少跟踪过程中工人目标的丢失，使用了改进的特征指标算法。
烟火检测算法基于改进的目标检测和改进的目标跟踪方法相结合，通过训练大量的烟火数据并基于改进的YOLOv3算法实现对烟火目标的检测，使用深度融合NMS算法减少因烟火刚开始都是小目标易与环境易混淆，不容易被算法检测而出现的遮挡漏检问题，为了优化***烟火告警，减少冗余告警信息，通过改进的Deep-Sort对烟火进行跟踪，当目标跟踪算法发现烟火危险事件是同一区域，则只需要***告警一次。为了能够实现在小目标情况下实现目标之间的数据关联，减少跟踪过程中目标的丢失，使用了改进的特征指标算法。
图5是改进的目标检测和改进的目标跟踪相结合方法的流程图。一种目标检测和目标跟踪结合方法的步骤：基于视频数据执行工地安全算法，识别出潜在危险，具体包括如下步骤：
步骤(1)，使用改进网络结构的YOLOv3目标检测算法对输入的每帧图像提取特征并且得到目标的检测框位置，本实例设置置信度为0.5，基于置信度对检测框进行保留或删除操作；进一步使用深度融合NMS算法对保留下来的检测框进行筛选，去除重叠的检测框。
步骤(2)，将摄像头获取的图像输入卡尔曼滤波器，通过卡尔曼滤波预测目标在当前帧图像中的位置，此时所述目标可能为工地施工人员、安全帽、跌倒人员和烟火，并通过级联匹配提高预测精度。对于算法跟踪预测结果与目标实际检测结果之间的匹配，算法跟踪预测结果当作一个预测轨迹，已经存在的预测轨迹和实际检测结果中目标的匹配结果决定了轨迹的状态，如果不可以正确匹配，那么轨迹就为未确认轨迹，旧轨迹作废，算法重新跟踪预测的结果作为新预测轨迹，从而在接下来的多个(例如3个)帧中，如果可以正确匹配，轨迹状态就为确认轨迹。需要区分未确认轨迹和确认轨迹，对于后者进行级联匹配的操作。最后得到初步匹配、未能匹配的轨迹和检测。当出现遮挡时，使用余弦距离实现的目标外观特征以及使用交并比思想实现运动信息来得到指标结果，重新将被遮挡目标找回。
步骤(3)，将未能级联匹配的轨迹以及未确认轨迹当作一个轨迹的集合，计算没有成功匹配的检测和集合轨迹的交并比，设置置信度为0.5，然后使用匈牙利算法对没有成功匹配检测和集合轨迹进行匹配，通过交并比结果与置信度的比较，删除低于置信度的没有成功匹配的检测和集合轨迹，得到再次匹配、未匹配结果的轨迹和检测，确保最大程度地匹配检测结果和跟踪结果。本实例的实现中，检测结果是基于改进的YOLOv3，跟踪结果基于卡尔曼滤波预测和轨迹匹配。
步骤(4)，通过卡尔曼滤波公式的计算，更新误差协方差、卡尔曼增量、预估值，最后得到最佳预估等参数(见下面公式9-13)，参数更新结束后，将特征放入轨迹特征集合，初始化误差协方差、卡尔曼增量、预估值，删除没有成功匹配的轨迹。当出现检测未匹配情况时，如果在画面中出现了新的目标，此时将一个新的预测轨迹和新的ID生成，使用新的轨迹、轨迹特征来更新轨迹特征集合。
由于工地施工现场经常出现建筑物体遮挡工人和工人之间互相遮挡等现象，传统NMS算法会因为交并比大于设定的阈值而将被遮挡物体置信度重置为0，导致出现被遮挡物体无法被检测的问题，因此本发明采用深度融合NMS算法替代原YOLOv3中的NMS算法。深度融合NMS算法通过检测框得分和像素平均深度相结合确定的最佳检测框，由于像素的平均深度较小，检测框中前景物体的比例较大，定位更准确，减少遮挡漏检问题。
上述步骤(1)中深度融合NMS算法流程的步骤如下：
(1-a)、建立检测框集合M，检测框置信度集合S，检测框中心像素的深度值集合D，最终选取的检测框集合R，设置交并比阈值T，误差深度阈值a，其中集合M中的检测框为YOLOv3得到的检测框，YOLOv3得到检测框的同时还会得出每个检测框的得分(即置信度)，就是S；
(1-b)、以集合S基于分数从高到低将检测框排序，将S最大的检测框从集合M中移动到集合R中，并将M中的删除；
(1-c)、计算集合M中剩余的检测框与上一步被选中的检测框的交并比值，判断两个重叠的检测框的交并比值U与交并比阈值T之间的大小关系；如果U<T，则保留检测框；如果U≥T，则比较两个检测框中心像素的深度值。具体地，判断两个检测框中心像素的深度值之差的绝对值d与深度阈值a之间的大小关系；如果d≥a，则默认两个检测框所检测物体为不同目标，保留检测框；如果d<a，则默认两个检测框所检测物体为同一目标，根据式(7)分别计算两个检测框的像素的平均深度，根据式(8)分别计算两个检测框融合后的深度置信度。
其中，
是第i个检测框中像素的平均灰度值，代表平均深度，Mi和Ni分别是第i个检测框的宽度和高度，
是检测框的像素灰度值之和，Ωp代表检测框像素点的集合，Dj是第j个像素点的灰度值，Ci为第i个检测框最终的置信度结果，Si是第i个检测框的得分。
(1-d)、比较融合后的深度置信度C，得分较高者被视为最佳检测框，并仅保留最佳检测框在集合R中。
(1-e)、重复步骤(1-b)、步骤(1-c)和步骤(1-d)直到集合M中检测框个数为0，输出集合R，结束循环。
上述步骤(2)中卡尔曼滤波算法的步骤如下：
(2-a)状态预测如式(9)所示，
S(m|m-1)＝αX(m-1|m-1)+PC(k) (9)
其中，S(k|k)表示k时刻的摄像头的状态，包括了位姿、朝向等信息，C(k)表示k时刻对摄像头的控制量，本实例中采用全方位、无死角的摄像头组为例，摄像头无需转动，控制量为0。如果工地的摄像头没有实现全覆盖，需要转动摄像头扩大检测范围，此时，控制量为加速度、转向等信息。P表示***参数，α是状态转移矩阵。S(m-1|m-1)表示上一时刻最好结果，S(m|m-1)是用上一时刻预测得到的结果。
(2-b)协方差预测如式(10)所示，
Cov(m|m-1)＝θCov(m-1|m-1)θT+Y (10)
其中，Cov(k-1|k-1)是上一状态S(m-1|m-1)对应的协方差，Cov(m|m-1)是S(m|m-1)对应的协方差，Y是***过程中噪音的协方差。
(2-c)卡尔曼增益如式(11)所示，
其中G为卡尔曼增益，W为观察矩阵，N为测量噪声对应的协方差。
(2-d)状态更新如式(12)所示，
S(m|m)＝S(m|m-1)+G(C(m)-WG(m|m-1)) (12)
其中，C(m)是m时刻的观测值，m时刻下的最优状态值S(m|m)是利用m时刻的观测值和卡尔曼增益计算得来。
(2-e)协方差更新如式(13)所示，
Cov(m|m)＝(E-KH)Cov(m|m-1) (13)
其中，E为单位矩阵。需要更新状态对应的协方差Cov(m|m-1)来更新下一个时刻的参数。
针对工地工人实际施工环境复杂，经常出现多工人在小面积范围同时作业施工而出现遮挡的情况，加大了目标跟踪的难度。未改进前的Deep-Sort算法使用固定占比的运动特征指标和外观特征指标结合计算特征指标，在实现遮挡情况下的关联效果较差。本实例提出改进的特征指标算法，可以大幅改善在遮挡状况下达到目标结果的数据关联的有效性。
步骤(2)中当出现遮挡时改进的目标数据关联的步骤如下：
其中，使用余弦距离实现目标外观特征，计算公式如式(14)所示：
其中，算法跟踪预测结果有多条轨迹，Ex表示第m条轨迹的目标外观特征，Ey表示第n个目标的外观特征。d1的值越接近1，表明来两者的外观特征越相似。
使用交并比思想实现运动信息，计算公式如式(15)所示：
其中，
表示第m条轨迹在t+1时刻的位置预估值，
表示第n个目标在t+1时刻的位置信息。d2的范围在0到1之间，其值越接近1，则表示位置预测越接近真实位置。
根据公式(14)和公式(15)分别得到外观特征指标结果和运动特征指标结果，接着改进特征指标，公式如式(16)和(17)所示：
dt＝λd1+(1-λ)d2 (17)
其中，λ值表示外观特征指标的权重，l表示发生遮挡时消失的轨迹长度，ω和θ是设置的学习参数，dt值表示最终的指标结果。dt的值越接近1，则表明被遮挡目标数据关联性越大，设置dt的置信度，如果dt大于该置信度，则数据关联，可以将被遮挡目标找回。
图6是级联匹配示例图。图中所示左半部分使用余弦距离实现目标外观特征，使用交并比实现运动信息，根据外观特征和运动信息来得到指标结果，最后算出代价矩阵，根据门控阈值和最大距离来计算门控矩阵，作用是合理化代价矩阵中的值。右半部分是数据关联操作在级联匹配中的步骤，级联匹配过程是对从丢失时间＝0开始的轨迹和检测目标进行匹配，不断循环直至丢失时间＝70(设置70为最大时间)，其中优先对没有丢失的轨迹进行匹配。经过级联匹配的循环过程后，大大降低了将被遮挡目标重新找回的难度。
图7是改进后的YOLOv3的网络模型结构图，此结构主要由75个卷积层和5个随机池化层构成，其主干网络Darknet-sp拥有53个卷积层，卷积层对于分析物体特征最为有效，而随机池化层可以删除冗余信息、压缩特征、降低网络复杂性，尤其是在工地背景信息复杂的情况下，在网络学习过程中应尽量减少工地背景这部分信息的影响。由于没有使用全连接层，该网络可以对应任意大小的输入图像。Darknet-sp网络用随机池化层代替原Darknet-53中步长为2的卷积层进行下采样，又添加BN层和Leaky ReLU激活函数作为最小单元卷积层。除此之外，YOLOv3中还使用了类似ResNet和FPN网络的结构，这两个结构帮助YOLOv3提升了对小目标检测的精度。
为了验证本发明的检测性能和效果，进行了安全监测对比实验。表1示出了安全监测实验结果。原算法是基于未改进网络结构的Yolov3网络和未改进的NMS算法而实现的目标检测以及未改进的Deep-Sort跟踪检测算法结合的检测算法。
表1安全监测实验结果
从表1可以看出，安全帽监测算法的计算速度从每帧46ms降低到41ms，有效提升了检测的速度，召回率从87.10％提高到93.41％，提升了6.31个百分点，精确率从93.33％提升到了96.39％，提升了3.06个百分点，召回率和精确率的提升说明算法检测的准确性提升较好，整体安全帽检测的mAP由91.75％提高到了95.69％，说明算法整体识别率较高。跌倒监测算法的计算速度从每帧45ms降低到40ms,有效提升了检测的速度，召回率从87.22％提高到91.83％，提升了4.61个百分点，精确率从93.33％提升到了96.51％，提升了3.18个百分点，召回率和精确率的提升说明算法检测的准确性提升较好，整体跌倒检测的mAP由94.28％提高到了96.24％，说明算法整体识别率较高。烟火监测算法的计算速度从每帧44ms降低到39ms，有效提升了检测的速度，召回率从87.55％提高到92.37％，提升了4.82个百分点，精确率从91.23％提升到了94.95％，提升了3.72个百分点，召回率和精确率的提升说明算法检测的准确性提升较好，整体烟雾检测的mAP由93.62％提高到了96.38％，说明算法整体识别率较高。综上表1数据说明，本发明安全监测***和监测方法整体上对工地的潜在危险行为的检测速度快，检测准确率高。
Claims (10)
1.一种基于机器视觉的智慧工地安全监测***，其特征在于，包括：工地数据收集***和安全行为监测***，所述工地数据收集***利用视频捕获设备采集工地视频数据；所述安全行为监测***基于输入的视频数据执行工地安全识别算法，识别出潜在危险；所述安全行为监测***包括：目标检测模块，通过目标检测算法对输入的每帧图像数据提取特征并确定目标的检测框位置；目标跟踪模块，通过目标跟踪算法对检测框的目标进行实时跟踪，确定轨迹状态；以及安全检测模块，在确定目标为施工工人的情况下，基于目标检测算法和目标跟踪算法对工人进行实时行为分析，判断工人是否存在违规行为，并基于工人存在违规行为的判断进行告警，其中违规行为包括未佩戴安全帽和跌倒中的一种或多种情况，以及在确定目标为烟火的情况下，直接进行告警。
2.根据权利要求1所述的基于机器视觉的智慧工地安全监测***，其特征在于，目标检测模块包括：目标检测单元，使用改进网络结构的YOLOv3目标检测算法对输入的每帧图像提取特征并且得到目标的检测框位置；以及筛选单元，利用深度融合NMS算法对目标检测单元给出的检测框进行筛选，去除重叠的检测框。
3.根据权利要求2所述的基于机器视觉的智慧工地安全监测***，其特征在于，所述目标检测单元中改进的YOLOv3网络结构引入随机池化来对原主干网络Darknet-53进行下采样操作，所述随机池化过程包括：将原Yolov3主网络Darknet-53中负责下采样的卷积层替换为一个步长为1的卷积层和一个随机池化层，步长为1的卷积层负责改变输出维度，随机池化层负责下采样。
4.根据权利要求2所述的基于机器视觉的智慧工地安全监测***，其特征在于，所述筛选单元包括：
集合建立单元，建立检测框集合M，检测框置信度集合S，检测框中心像素的深度值集合D，最终选取的检测框集合R，并设置交并比阈值T，误差深度阈值a；
排序选择单元，以集合S基于分数从高到低将检测框排序，将S最大的检测框从集合M中移动到集合R中，并将M中的删除；
交并比比较单元，计算集合M中剩余的检测框与上一步被选中的检测框的交并比值，判断两个重叠的检测框的交并比值U与交并比阈值T之间的大小关系；如果U<T，则保留检测框；如果U≥T，则比较两个检测框中心像素的深度值，判断两个检测框中心像素的深度值之差的绝对值d与深度阈值a之间的大小关系；如果d≥a，则保留检测框；如果d<a，则根据式(1)分别计算两个检测框的像素的平均深度，根据式(2)分别计算两个检测框融合后的深度置信度：
其中，
是第i个检测框中像素的平均深度，Mi和Ni分别是第i个检测框的宽度和高度，
是检测框的像素灰度值之和，Ωp代表检测框像素点的集合，Dj是第j个像素点的灰度值，Ci为第i个检测框最终的置信度结果，Si是第i个检测框的得分；
检测框确定单元，比较融合后的深度置信度C，得分较高者被视为最佳检测框，并仅保留最佳检测框在集合R中；
循环控制单元，重复排序选择单元、交并比比较单元、检测框确定单元的操作直到集合M中检测框个数为0，输出集合R，结束循环。
5.根据权利要求1所述的基于机器视觉的智慧工地安全监测***，其特征在于，所述目标跟踪模块包括轨迹预测单元、初次匹配单元，所述轨迹预测单元通过卡尔曼滤波算法预测目标在当前帧图像中的位置，对于算法预测结果与目标实际检测结果之间的匹配，算法跟踪预测结果当作一个预测轨迹，当在指定数量帧中算法预测检测结果和实际检测结果中的目标都能正确联系时，轨迹为确认轨迹；所述初次匹配单元对于确认轨迹直接进行级联匹配，当出现遮挡时，所述初次匹配单元通过使用余弦距离获取的目标外观特征以及使用交并比思想获取的运动信息得到指标结果。
6.根据权利要求5所述的基于机器视觉的智慧工地安全监测***，其特征在于，所述初次匹配单元包括：
外观特征指标单元，使用余弦距离获取目标外观特征指标，余弦距离计算公式如下式所示：
其中，Ex表示第m条轨迹的目标外观特征，M为算法跟踪预测结果的轨迹总数，Ey表示第n个目标的外观特征；
运动特征指标单元，使用交并比思想获取运动特征指标，交并比计算公式如下式所示：
其中，
表示第m条轨迹在t+1时刻的位置，
表示第n个目标在t+1时刻的位置，上标^表示估计值，area表示面积；
特征联合单元，将外观特征指标和运动特征指标进行关联，获得最终特征指标，公式如下所示：
dt＝λd1+(1-λ)d2
其中，dt值表示最终的指标结果，λ表示外观特征指标的权重，l表示发生遮挡时消失的轨迹长度，ω和θ是设置的学习参数；
关联确定单元，将最终的指标结果dt与预设的置信度阈值进行比较，如果dt大于该置信度阈值，则确定目标被正确关联。
7.根据权利要求5所述的基于机器视觉的智慧工地安全监测***，其特征在于，所述目标跟踪模块还包括二次匹配单元，用于将未能级联匹配的轨迹以及未确认轨迹建立轨迹的集合，计算没有成功匹配的检测和集合轨迹的交并比，并使用匈牙利算法对没有成功匹配检测和集合轨迹进行匹配，通过交并比结果与预设置信度的比较，删除低于预设置信度的没有成功匹配的检测和集合轨迹。
8.一种基于机器视觉的智慧工地安全监测方法，其特征在于，包括以下步骤：
数据收集步骤：利用视频捕获设备采集工地视频数据；
安全行为监测步骤：基于视频数据执行工地安全识别算法，识别出潜在危险，具体包括：
(1)利用目标检测算法对输入的每帧图像数据提取特征并确定目标的检测框位置；
(2)利用目标跟踪算法对检测框位置中的目标进行实时跟踪，确定轨迹状态；
(3)在确定目标为施工工人的情况下，基于目标检测算法和目标跟踪算法对工人进行实时行为分析，判断工人是否存在违规行为，并基于工人存在违规行为的判断进行告警，其中违规行为包括未佩戴安全帽和跌倒中的一种或多种情况，以及在确定目标为烟火的情况下，直接进行告警。
9.根据权利要求8所述的基于机器视觉的智慧工地安全监测方法，其特征在于，所述目标检测算法包括：使用改进网络结构的YOLOv3目标检测算法读取当前帧中目标的检测框位置和各个图像块的深度特征，并通过深度融合NMS算法对这些检测框进行筛选，去除重叠的检测框。
10.根据权利要求9所述的基于机器视觉的智慧工地安全监测方法，其特征在于，所述目标跟踪算法包括：通过卡尔曼滤波算法预测目标在当前帧中的位置，并通过级联匹配提高精度，其中，对于算法预测结果与目标实际检测结果之间的匹配，算法跟踪预测结果当作一个预测轨迹，当在指定数量帧中算法预测检测结果和实际检测结果中的目标都能正确联系时，轨迹为确认轨迹；对于确认轨迹直接进行级联匹配，当出现遮挡时，通过使用余弦距离获取的目标外观特征以及使用交并比思想获取的运动信息得到指标结果；对于未能级联匹配的轨迹以及未确认轨迹，建立轨迹的集合，计算没有成功匹配的检测和集合轨迹的交并比，设置置信度，然后使用匈牙利算法对没有成功匹配检测和集合轨迹进行匹配，通过交并比结果与置信度的比较，删除低于置信度的没有成功匹配的检测和集合轨迹。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210285817.2A CN114677640A (zh) | 2022-03-23 | 2022-03-23 | 基于机器视觉的智慧工地安全监测***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210285817.2A CN114677640A (zh) | 2022-03-23 | 2022-03-23 | 基于机器视觉的智慧工地安全监测***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114677640A true CN114677640A (zh) | 2022-06-28 |
Family
ID=82074277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210285817.2A Pending CN114677640A (zh) | 2022-03-23 | 2022-03-23 | 基于机器视觉的智慧工地安全监测***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114677640A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563783A (zh) * | 2023-05-04 | 2023-08-08 | 上海东普信息科技有限公司 | 基于数字孪生的违规告警方法、装置、设备及存储介质 |
| CN116977920A (zh) * | 2023-06-28 | 2023-10-31 | 三峡科技有限责任公司 | 一种多区域类型多推理预警机制的临界防护方法 |
-
2022
- 2022-03-23 CN CN202210285817.2A patent/CN114677640A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563783A (zh) * | 2023-05-04 | 2023-08-08 | 上海东普信息科技有限公司 | 基于数字孪生的违规告警方法、装置、设备及存储介质 |
| CN116563783B (zh) * | 2023-05-04 | 2024-06-11 | 上海东普信息科技有限公司 | 基于数字孪生的违规告警方法、装置、设备及存储介质 |
| CN116977920A (zh) * | 2023-06-28 | 2023-10-31 | 三峡科技有限责任公司 | 一种多区域类型多推理预警机制的临界防护方法 |
| CN116977920B (zh) * | 2023-06-28 | 2024-04-12 | 三峡科技有限责任公司 | 一种多区域类型多推理预警机制的临界防护方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132090A (zh) | 一种基于yolov3的烟火自动检测预警方法 | |
| CN108319926A (zh) | 一种工地现场的安全帽佩戴检测***及检测方法 | |
| JP7505609B2 (ja) | 光ファイバセンシングシステム及び行動特定方法 | |
| CN114677640A (zh) | 基于机器视觉的智慧工地安全监测***及方法 | |
| CN104123544A (zh) | 基于视频分析的异常行为检测方法及*** | |
| CN101635835A (zh) | 智能视频监控方法及*** | |
| WO2022078182A1 (zh) | 抛出位置获取方法、装置、计算机设备及存储介质 | |
| CN104106260A (zh) | 基于地理图的控制 | |
| CN101872526A (zh) | 基于可编程摄像技术的烟火智能识别方法 | |
| CN111079722B (zh) | 一种吊装过程人员安全监测方法及*** | |
| RU2504014C1 (ru) | Способ управления системой мониторинга и система для его реализации | |
| JP7464281B2 (ja) | 光ファイバセンシングシステム、監視装置、監視方法、及びプログラム | |
| CN111488799A (zh) | 一种基于图像识别的坠落物识别方法及*** | |
| EP2618288A1 (en) | Monitoring system and method for video episode viewing and mining | |
| CN107360394A (zh) | 应用于边防视频监控***的多预置点动态智能监测方法 | |
| KR101832274B1 (ko) | 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법 | |
| CN111275957A (zh) | 一种交通事故信息采集方法、***及摄像机 | |
| KR102434154B1 (ko) | 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법 | |
| CN111860187A (zh) | 一种高精度的佩戴口罩识别方法及*** | |
| WO2019059816A1 (ru) | Способ автоматизированного проектирования и анализа систем безопасности | |
| CN112866643A (zh) | 一种船内关键区域多目标可视化管理***及方法 | |
| KR20190050113A (ko) | 이동 물체 자동 추적 영상 감시 시스템 | |
| CN105095891A (zh) | 一种人脸捕捉的方法，装置及*** | |
| JP6967868B2 (ja) | 監視システム、監視プログラム、および、記憶媒体 | |
| CN113627321A (zh) | 基于人工智能的图像识别方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |