CN115063740A - 安全监测方法、装置、设备及计算机可读存储介质 - Google Patents
安全监测方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115063740A CN115063740A CN202210654655.5A CN202210654655A CN115063740A CN 115063740 A CN115063740 A CN 115063740A CN 202210654655 A CN202210654655 A CN 202210654655A CN 115063740 A CN115063740 A CN 115063740A
- Authority
- CN
- China
- Prior art keywords
- image
- target operator
- action behavior
- sample data
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012544 monitoring process Methods 0.000 title claims abstract description 54
- 230000009471 action Effects 0.000 claims abstract description 66
- 239000003208 petroleum Substances 0.000 claims abstract description 23
- 238000012806 monitoring device Methods 0.000 claims abstract description 14
- 230000006399 behavior Effects 0.000 claims description 87
- 238000012549 training Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 21
- 238000003062 neural network model Methods 0.000 claims description 21
- 238000002372 labelling Methods 0.000 claims description 6
- 230000036544 posture Effects 0.000 description 21
- 238000001514 detection method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000000391 smoking effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Alarm Systems (AREA)
Abstract
本申请公开了一种安全监测方法、装置、设备及计算机可读存储介质。其中，该方法包括：获取第一图像，所述第一图像为石油作业现场的图像；在所述第一图像包含目标作业人员的情况下，根据所述第一图像获取所述目标作业人员的动作行为信息；在根据所述动作行为信息确定所述目标作业人员的动作行为为预设危险行为的情况下，输出安全提示信息。根据本申请实施例的安全监测方法，能够使管理人员及时发现石油作业现场的隐患。进而，通过对隐患进行排查，能够提高作业现场的安全性，保障现场人员的生命和财产安全。
Description
技术领域
本申请属于目标检测技术领域，尤其涉及一种安全监测方法、装置、设备及计算机可读存储介质。
背景技术
随着深度学习技术的快速发展，目标检测技术作为计算机视觉技术的重要分支被广泛应用于安防、工业、无人驾驶等多个领域。但是在石油行业中，目标检测技术发展较慢。
由于石油作业现场的工作人员身着统一颜色的工作服，且监控摄像的摄像头距离作业现场较远等原因，导致目标物不够清晰。因此，管理人员不能及时发现工作人员的违规行为和作业现场的隐患，导致作业现场的安全性较低，现场人员的生命和财产安全隐患较大。
发明内容
本申请实施例提供了一种安全监测方法、装置、设备、计算机可读存储介质及计算机程序产品，能够提高作业现场的安全性，保障现场人员的生命和财产安全。
第一方面，本申请实施例提供了一种安全监测方法，该方法包括：
获取第一图像，所述第一图像为石油作业现场的图像；
在所述第一图像包含目标作业人员的情况下，根据所述第一图像获取所述目标作业人员的动作行为信息；
在根据所述动作行为信息确定所述目标作业人员的动作行为为预设危险行为的情况下，输出安全提示信息。
在一种可能的实现方式中，所述获取第一图像，包括：
获取所述石油作业现场的监控视频；
对所述监控视频进行分组抽帧，得到多个第一图像。
在一种可能的实现方式中，所述在所述第一图像包含目标作业人员的情况下，根据所述第一图像获取所述目标作业人员的动作行为信息，包括：
在所述第一图像包含目标作业人员的情况下，利用人体姿态估计算法，提取所述目标作业人员的姿态信息；
根据所述姿态信息确定所述目标作业人员的动作行为信息。
在一种可能的实现方式中，所述根据所述动作行为信息确定所述目标作业人员的动作行为为预设危险行为，包括：
根据所述动作行为信息，确定所述目标作业人员的手部关键点与头部关键点的之间的距离；
在所述距离小于预设距离的情况下，确定所述目标作业人员的动作行为为预设危险行为。
在一种可能的实现方式中，所述在所述第一图像包含目标作业人员的情况下，根据所述第一图像获取所述目标作业人员的动作行为信息之前，所述方法还包括：
将所述第一图像输入至人员识别模型中，利用所述人员识别模型识别所述第一图像是否包含所述目标作业人员。
在一种可能的实现方式中，所述将所述第一图像输入至人员识别模型中，利用所述人员识别模型识别所述第一图像是否包含所述目标作业人员之前，所述方法还包括：
获取石油作业现场的含有作业人员的多个第二图像；
根据所述第二图像中包含的作业人员，对所述第二图像进行标注，得到样本数据；
利用所述样本数据对初始神经网络模型进行训练，得到所述人员识别模型。
在一种可能的实现方式中，所述根据所述第二图像中包含的作业人员，对所述第二图像进行标注，得到样本数据之后，所述方法还包括：
利用数据增强算法对所述样本数据进行数据扩充，得到数据扩充后的样本数据，所述数据扩充后的样本数据至少包括对不同天气条件进行仿真得到的对应于不同天气条件的样本数据；
所述利用所述样本数据对初始神经网络模型进行训练，得到所述人员识别模型，包括：
利用所述数据扩充后的样本数据对初始神经网络模型进行训练，得到所述人员识别模型。
第二方面，本申请实施例提供了一种安全监测装置，该装置包括：
第一获取模块，用于获取第一图像，所述第一图像为石油作业现场的图像；
第二获取模块，用于在所述第一图像包含目标作业人员的情况下，根据所述第一图像获取所述目标作业人员的动作行为信息；
输出模块，用于在根据所述动作行为信息确定所述目标作业人员的动作行为为预设危险行为的情况下，输出安全提示信息。
第三方面，本申请实施例提供了一种电子设备，该设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现上述第一方面中任一种可能的实现方法中的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现上述第一方面中任一种可能的实现方法中的方法。
第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行如上述第一方面中任一种可能的实现方法中的方法。
本申请实施例的安全监测方法、装置、设备、计算机可读存储介质及计算机程序产品，通过根据石油作业现场的图像获取目标作业人员的动作行为信息，能够获得清晰的目标作业人员的动作行为信息。另外，通过在根据动作行为信息确定目标作业人员的动作行为为预设危险行为的情况下，输出安全提示信息，能够使管理人员及时发现石油作业现场的隐患。进而，通过对隐患进行排查，能够提高作业现场的安全性，保障现场人员的生命和财产安全。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种安全监测方法的流程示意图；
图2是本申请实施例提供的另一种安全监测方法的流程示意图；
图3是本申请实施例提供的一种安全监测装置结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在石油行业中，目标检测技术发展较慢，主要为人脸识别技术。但是，为了及时发现石油作业现场的隐患，需要对作业现场人员进行人体姿态估计，以发现作业人员的违规行为。
由于石油作业现场的工作人员身着统一颜色的工作服，且监控摄像的摄像头距离作业现场较远等原因，导致目标物不够清晰。然而，现有技术中，还没有实现将目标检测技术与人体姿态估计相结合，以对石油作业现场人员的行为进行检测，导致管理人员不能及时发现作业人员的违规行为和作业现场的隐患，导致作业现场的安全性较低，现场人员的生命和财产安全隐患较大。
为了解决现有技术问题，本申请实施例提供了一种安全监测方法、装置、设备、计算机可读存储介质及计算机程序产品。
下面首先对本申请实施例所提供的安全监测方法进行介绍。
图1示出了本申请实施例提供的一种安全监测方法的流程示意图。如图1所示，本申请实施例提供的安全监测方法包括以下步骤：
S110、获取第一图像，第一图像为石油作业现场的图像；
S120、在第一图像包含目标作业人员的情况下，根据第一图像获取目标作业人员的动作行为信息；
S130、在根据动作行为信息确定目标作业人员的动作行为为预设危险行为的情况下，输出安全提示信息。
本申请实施例的安全监测方法通过根据石油作业现场的图像获取目标作业人员的动作行为信息，能够获得清晰的目标作业人员的动作行为信息。另外，通过在根据动作行为信息确定目标作业人员的动作行为为预设危险行为的情况下，输出安全提示信息，能够使管理人员及时发现石油作业现场的隐患。进而，通过对隐患进行排查，能够提高作业现场的安全性，保障现场人员的生命和财产安全。
下面介绍上述各个步骤的具体实现方式。
在一些实施例中，在S110中，第一图像可以为待检测的石油作业现场的图像。其中，第一图像可以有多张。
基于此，为了准确评估石油作业现场的现场情况，在一些实施例中，S110具体可以包括：
获取石油作业现场的监控视频；
对监控视频进行分组抽帧，得到多个第一图像。
这里，监控视频可以从监控设备中获取。而监控设备可以是安装在作业现场的电线杆或路灯上的监控设备，监控设备与作业现场位置的水平距离可以在100米以内。
另外，对于监控视频中连续的视频帧，由于摄像头的采集帧率较高，且连续帧之间的差别通常是微小的，并不会对整体准确率产生影响，因此，可以使用分组抽帧算法获取第一图像。其中，分组抽帧可以为从监控视频中每隔N帧获取一次连续的N帧待测作业现场图像，N可以为45。其中，待测作业现场图像即可以为第一图像。另外，由于一组待检测的石油作业现场的图像可以包含多张第一图像，因此，每一组待检测的石油作业现场的图像中可以包括间隔获取的连续N帧待测作业现场图像。
这样，通过对监控视频进行分组抽帧，不仅能够反映一段时间内作业现场的情况，而且能够反映更长时间间隔内作业现场的情况。进而，通过根据分组抽帧获得的多个第一图像，能够准确评估石油作业现场的现场情况。
在一些实施例中，在S120中，目标作业人员可以为石油现场中待检测的作业人员。目标作业人员的动作行为信息可以为能够反映目标作业人员的动作行为的信息。其中，动作行为可以为喝水、打电话、抽烟等。
基于此，在一些实施例中，为了准确判定目标作业人员的动作行为，S120具体可以包括：
在第一图像包含目标作业人员的情况下，利用人体姿态估计算法，提取目标作业人员的姿态信息；
根据姿态信息确定目标作业人员的动作行为信息。
这里，通过将第一图像引入至人体姿态估计算法中，可以得到目标作业人员的姿态信息。其中，对人体姿态的估计常常转化为对人体关键点的预测问题，即首先预测出人体各个关键点的位置坐标，然后根据先验知识确定关键点之间的空间位置关系，从而得到预测的人体骨架。上述关键点之间的空间位置关系即可以为目标作业人员的姿态信息。
具体地，人体姿态估计算法的具体过程可以如下所示：
步骤一、对第一图像进行目标检测，并将所有包含目标作业人员的目标框取出，为人体姿态估计算法做准备。
步骤二、对于提取出来的目标框进行分辨率处理，将原始目标框的长和宽缩放到统一的大小，以便人体估计算法可以统一进行处理。
步骤三、人体姿态估计算法可以使用卷积神经网络VGG-19网络对缩放后的目标框进行特征提取。
步骤四、将上述特征可以输入至卷积层的两个平行分支，其中，第一分支可以用于预测一组置信图，每个置信图可以表示人体骨架图的特定部分；第二分支可以用于预测另一组部件亲和力字段，使用部件关联字段PAF可以表示组件之间的关联程度。
步骤五、使用组件置信度图，可以在组件对之间形成二分图，使用PAF值修剪二分图中的较弱链接。进而，可以估计人体骨架图并将其分配给图像中的每个人。
进而，通过将连续多帧图片中目标作业人员的姿态信进行比较，可以得到目标人员的动作行为信息。例如，经过人体姿态估计算法检测，如果连续三帧的目标作业人员的手部关键点与头部关键点的距离均小于预设距离，则可以判定目标作业人员在接打电话或者吸烟。
这样，通过利用人体姿态估计算法提取目标作业人员的姿态信息，进而确定目标作业人员的动作行为信息，能够准确判定目标作业人员的动作行为。
在一些实施例中，在S130中，预设危险行为可以为抽烟、接电话、打电话、玩手机等动作行为。
作为一种示例，如果确定目标作业人员的动作行为为预设危险行为，则可以输出安全提示信息。
基于此，在一些实施例中，为了准确判定目标作业人员是否存在危险行为，S130具体可以包括：
根据动作行为信息，确定目标作业人员的手部关键点与头部关键点的之间的距离；
在距离小于预设距离的情况下，确定目标作业人员的动作行为为预设危险行为。
这里，如果出现目标作业人员的头部关键点与手部关键点的距离小于预设距离的情况，则可以进行预警，并重点关注该目标作业人员接下来几帧图像的情况。进一步地，如果判断目标作业人员在连续多帧图像中均出现头部关键点与手部关键点距离小于预设距离的情况，则可以认为该目标作业人员存在接打手机或者吸烟等不安全的作业行为，则可以进行报警，即输出安全提示信息。
这样，通过在目标作业人员的手部关键点与头部关键点的之间的距离小于预设距离的情况下，确定目标作业人员的动作行为为预设危险行为，能够准确判定目标作业人员是否存在危险行为。进而，通过在确定目标作业人员的动作行为为预设危险行为的情况下，输出安全提示信息，能够使管理人员及时发现石油作业现场的隐患。
其次，为了得到包含目标作业人员的第一图像，作为本申请的另一种实现方式，本申请还提供了安全监测方法的另一种实现方式，具体参见以下实施例。
请参见图2，本申请实施例提供的安全监测方法在上述实施例所示的S120之前，还可以包括：
S210、将第一图像输入至人员识别模型中，利用人员识别模型识别第一图像是否包含目标作业人员。
这里，人员识别模型可以为训练好的神经网络模型。由于作业人员在整张图像中面积占比较小，同时还存在作业人员被遮挡的情况，对检测带来巨大挑战。因此，通过将属于同一待测组的第一图像输入到训练好的神经网络模型中，可以提取目标作业人员的坐标和含有目标作业人员的目标框。其中，如果目标框的置信度大于0.4，则可以将第一图像识别为包含目标作业人员。
这样，通过对第一图像进行识别，能够得到包含目标作业人员的第一图像。
除此之外，本申请实施例中方法的其它步骤可参见上文图1所示实施例的相关描述，此处不做过多赘述。
基于此，在一些实施例中，为了得到人员识别模型，在S210之前，还可以包括：
获取石油作业现场的含有作业人员的多个第二图像；
根据第二图像中包含的作业人员，对第二图像进行标注，得到样本数据；
利用样本数据对初始神经网络模型进行训练，得到人员识别模型。
这里，初始神经网络可以采用YOLOv5网络模型结构，且YOLOv5网络模型可以采用8倍，16倍，32倍下采样特征图。
另外，样本数据可以包括训练样本数据和测试样本数据。基于此，获取样本数据的具体过程可以为：利用监控设备获取工地的作业现场的监控视频；从监控视频中获取含有作业人员的图像，即第二图像；对获取到的作业现场图像进行人工标注作为样本数据，其中，人工标注是对样本数据中的作业人员进行标注，75％标注后的样本数据作为训练样本数据，25％标注后的样本数据作为测试样本数据。
进而，利用训练样本和测试样本对初始神经网络模型进行训练，即可以得到训练好的神经网络模型。
这样，通过利用样本数据对初始神经网络模型进行训练，能够得到人员识别模型。
基于此，在一些实施例中，为了提升检测效果，在根据第二图像中包含的作业人员，对第二图像进行标注，得到样本数据之后，还可以包括：
利用数据增强算法对样本数据进行数据扩充，得到数据扩充后的样本数据，数据扩充后的样本数据至少包括对不同天气条件进行仿真得到的对应于不同天气条件的样本数据；
基于此，利用样本数据对初始神经网络模型进行训练，得到人员识别模型，包括：
利用数据扩充后的样本数据对初始神经网络模型进行训练，得到人员识别模型。
这里，由于合理的数据增强方式可以显著提升检测器的性能，因此，在样本数据比较少的情况下，可以使用生成对抗网络进行数据增强。在生成对抗网络框架中，学习过程是两个网络之间的极大极小博弈，其中，生成器可以生成给定随机噪声向量的合成数据，鉴别器可以区分真实数据和生成器的合成数据。
基于此，由于前端摄像头拍摄图片的特征随着天气影响变化巨大，特征单一的图片不利于模型的训练，因此，样本数据还可以包括数据扩充后的样本数据。数据扩充后的样本数据可以为在实际获取的作业现场图片基础上通过改变亮度、色调、饱和度仿真出不同天气条件下的图片，也可以为在实际获取的作业现场图片基础上通过拷贝获取的图片。
这样，通过利用数据增强算法对样本数据进行数据扩充，能够仿真出不同天气条件下的图片，明显提升检测效果。
为了更好地描述整个方案，基于上述各实施例，举一些具体例子。
例如，安全监测方法具体可以包括：
步骤一、利用监控设备获取作业现场的监控视频，并采用分组抽帧的方法从监控视频中获取含有作业人员的图像；
步骤二、对获取到的作业现场图像进行人工标注作为样本数据；人工标注是对样本数据中作业人员进行标注，75％标注后的样本数据作为训练样本，25％标注后的样本数据作为测试样本；之后采用数据增强算法来进行数据扩充。
步骤三、构建YOLOv5神经网络模型结构，且该神经网络模型可以采用8倍、16倍、32倍下采样特征图，并利用训练样本和测试样本对神经网络模型进行训练，得到训练好的神经网络模型；
步骤四、利用作业工地的监控设备获取实时的监控视频，并间隔获取连续的45帧待测作业图像作为一组待测组；
步骤五、将属于同一待测组的待测作业现场图像输入到训练好的神经网络模型中，得到图片中检测目标的结果。
步骤六、判断检测结果中是否存在作业人员，如果存在作业人员，则使用人体姿态估计算法，来提取作业人员的姿态，比较连续三帧图片中作业人员的姿态，如果连续三帧的作业人员经过人体姿态估计算法检测出来的情况均为手部关键点与头部关键点过近，则可以判定作业人员违规接打电话或者吸烟。
步骤七、若判定作业人员违规接打电话或者吸烟，则可以输出安全提示信息。
基于此，在Inter Core i7 CPU,4G内存和NVIDIA GeForce 2080Ti独立显卡条件下，采用拍摄收集的工地场景数据集进行训练和测试。具体结果可见下表：
| 算法类型 | 测试场景数 | 视频帧数 | 正确识别 | 错误识别 | 正确率 |
| 人员检测 | 2 | 5001 | 4965 | 36 | 99.2％ |
| 人员检测 | 2 | 5208 | 5178 | 30 | 99.4％ |
| 人员检测 | 2 | 4314 | 4224 | 90 | 97.9％ |
| 人员检测 | 3 | 6465 | 6348 | 117 | 98.1％ |
由此，通过以YOLOv5作为检测器，并部署在后台服务器中，能够与前端摄像头集成为检测作业人员危险作业行为的检测***。进而，对于检测到的作业人员，如果在足够量的帧数内，通过人体姿态估计检测到了人员存在危险作业行为，则立马预警并输出作业人员的位置信息，保障在第一时间发现问题并进行整改。进而，能够提高作业现场的安全性，保障现场人员的生命和财产安全。
基于上述实施例提供的安全监测方法，相应地，本申请还提供了安全监测装置的具体实现方式。请参见以下实施例。
如图3所示，本申请实施例提供的安全监测装置300包括以下模块：
第一获取模块310，用于获取第一图像，第一图像为石油作业现场的图像；
第二获取模块320，用于在第一图像包含目标作业人员的情况下，根据第一图像获取目标作业人员的动作行为信息；
输出模块330，用于在根据动作行为信息确定目标作业人员的动作行为为预设危险行为的情况下，输出安全提示信息。
下面对上述安全监测装置300进行详细说明，具体如下所示：
在其中一些实施例中，第一获取模块310具体可以包括：
第一获取子模块，用于获取石油作业现场的监控视频；
抽帧子模块，用于对监控视频进行分组抽帧，得到多个第一图像。
在其中一些实施例中，第二获取模块320具体可以包括：
提取子模块，用于在第一图像包含目标作业人员的情况下，利用人体姿态估计算法，提取目标作业人员的姿态信息；
第一确定子模块，用于根据姿态信息确定目标作业人员的动作行为信息。
在其中一些实施例中，输出模块330具体可以包括：
第二确定子模块，用于根据动作行为信息，确定目标作业人员的手部关键点与头部关键点的之间的距离；
第三确定子模块，用于在距离小于预设距离的情况下，确定目标作业人员的动作行为为预设危险行为。
在其中一些实施例中，安全检测装置300还可以包括：
输入模块，用于在第一图像包含目标作业人员的情况下，根据第一图像获取目标作业人员的动作行为信息之前，将第一图像输入至人员识别模型中，利用人员识别模型识别第一图像是否包含目标作业人员。
在其中一些实施例中，安全检测装置300还可以包括：
第三获取模块，用于在将第一图像输入至人员识别模型之前，获取石油作业现场的含有作业人员的多个第二图像；
标注模块，用于根据第二图像中包含的作业人员，对第二图像进行标注，得到样本数据；
训练模块，用于利用样本数据对初始神经网络模型进行训练，得到人员识别模型。
在其中一些实施例中，安全检测装置300还可以包括：
扩充模块，用于在得到样本数据之后，利用数据增强算法对样本数据进行数据扩充，得到数据扩充后的样本数据，数据扩充后的样本数据至少包括对不同天气条件进行仿真得到的对应于不同天气条件的样本数据；
基于此，训练模块具体可以包括：
训练子模块，用于利用数据扩充后的样本数据对初始神经网络模型进行训练，得到人员识别模型。
本申请实施例的安全监测装置通过根据石油作业现场的图像获取目标作业人员的动作行为信息，能够获得清晰的目标作业人员的动作行为信息。另外，通过在根据动作行为信息确定目标作业人员的动作行为为预设危险行为的情况下，输出安全提示信息，能够使管理人员及时发现石油作业现场的隐患。进而，通过对隐患进行排查，能够提高作业现场的安全性，保障现场人员的生命和财产安全。
基于上述实施例提供的安全监测方法，本申请实施例还提供了电子设备的具体实施方式。图4示出了本申请实施例提供的电子设备400示意图。
电子设备400可以包括处理器410以及存储有计算机程序指令的存储器420。
具体地，上述处理器410可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器420可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器420可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器420可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器420可在综合网关容灾设备的内部或外部。在特定实施例中，存储器420是非易失性固态存储器。
存储器可包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本申请的一方面的方法所描述的操作。
处理器410通过读取并执行存储器420中存储的计算机程序指令，以实现上述实施例中的任意一种安全监测方法。
在一个示例中，电子设备400还可包括通信接口430和总线440。其中，如图4所示，处理器410、存储器420、通信接口430通过总线440连接并完成相互间的通信。
通信接口430，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线440包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线440可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
示例性的，电子设备400可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等。
该电子设备可以基于当前已获取的第一图像执行本申请实施例中的安全监测方法，从而实现结合图1至图3描述的安全监测方法和装置。
另外，结合上述实施例中的安全监测方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种安全监测方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或***。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (11)
1.一种安全监测方法，其特征在于，包括：
获取第一图像，所述第一图像为石油作业现场的图像；
在所述第一图像包含目标作业人员的情况下，根据所述第一图像获取所述目标作业人员的动作行为信息；
在根据所述动作行为信息确定所述目标作业人员的动作行为为预设危险行为的情况下，输出安全提示信息。
2.根据权利要求1所述的方法，其特征在于，所述获取第一图像，包括：
获取所述石油作业现场的监控视频；
对所述监控视频进行分组抽帧，得到多个第一图像。
3.根据权利要求1所述的方法，其特征在于，所述在所述第一图像包含目标作业人员的情况下，根据所述第一图像获取所述目标作业人员的动作行为信息，包括：
在所述第一图像包含目标作业人员的情况下，利用人体姿态估计算法，提取所述目标作业人员的姿态信息；
根据所述姿态信息确定所述目标作业人员的动作行为信息。
4.根据权利要求1所述的方法，其特征在于，所述根据所述动作行为信息确定所述目标作业人员的动作行为为预设危险行为，包括：
根据所述动作行为信息，确定所述目标作业人员的手部关键点与头部关键点的之间的距离；
在所述距离小于预设距离的情况下，确定所述目标作业人员的动作行为为预设危险行为。
5.根据权利要求1所述的方法，其特征在于，所述在所述第一图像包含目标作业人员的情况下，根据所述第一图像获取所述目标作业人员的动作行为信息之前，所述方法还包括：
将所述第一图像输入至人员识别模型中，利用所述人员识别模型识别所述第一图像是否包含所述目标作业人员。
6.根据权利要求5所述的方法，其特征在于，所述将所述第一图像输入至人员识别模型中，利用所述人员识别模型识别所述第一图像是否包含所述目标作业人员之前，所述方法还包括：
获取石油作业现场的含有作业人员的多个第二图像；
根据所述第二图像中包含的作业人员，对所述第二图像进行标注，得到样本数据；
利用所述样本数据对初始神经网络模型进行训练，得到所述人员识别模型。
7.根据权利要求5所述的方法，其特征在于，所述根据所述第二图像中包含的作业人员，对所述第二图像进行标注，得到样本数据之后，所述方法还包括：
利用数据增强算法对所述样本数据进行数据扩充，得到数据扩充后的样本数据，所述数据扩充后的样本数据至少包括对不同天气条件进行仿真得到的对应于不同天气条件的样本数据；
所述利用所述样本数据对初始神经网络模型进行训练，得到所述人员识别模型，包括：
利用所述数据扩充后的样本数据对初始神经网络模型进行训练，得到所述人员识别模型。
8.一种安全监测装置，其特征在于，所述装置包括：
第一获取模块，用于获取第一图像，所述第一图像为石油作业现场的图像；
第二获取模块，用于在所述第一图像包含目标作业人员的情况下，根据所述第一图像获取所述目标作业人员的动作行为信息；
输出模块，用于在根据所述动作行为信息确定所述目标作业人员的动作行为为预设危险行为的情况下，输出安全提示信息。
9.一种电子设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的安全监测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的安全监测方法。
11.一种计算机程序产品，其特征在于，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如权利要求1-7任意一项所述的安全监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210654655.5A CN115063740A (zh) | 2022-06-10 | 2022-06-10 | 安全监测方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210654655.5A CN115063740A (zh) | 2022-06-10 | 2022-06-10 | 安全监测方法、装置、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115063740A true CN115063740A (zh) | 2022-09-16 |
Family
ID=83199843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210654655.5A Pending CN115063740A (zh) | 2022-06-10 | 2022-06-10 | 安全监测方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115063740A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116035564A (zh) * | 2022-12-06 | 2023-05-02 | 北京顺源辰辰科技发展有限公司 | 一种噎食与误吸智能检测方法、装置及电子设备 |
| CN117830956A (zh) * | 2024-01-26 | 2024-04-05 | 南京关宁电子信息科技有限公司 | 一种高空带电作业安全防护方法、***、设备及存储介质 |
| CN116035564B (zh) * | 2022-12-06 | 2024-08-02 | 北京顺源辰辰科技发展有限公司 | 一种噎食与误吸智能检测方法、装置及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688921A (zh) * | 2019-09-17 | 2020-01-14 | 东南大学 | 一种基于人体动作识别技术的驾驶员抽烟行为检测方法 |
| CN111222493A (zh) * | 2020-01-20 | 2020-06-02 | 北京捷通华声科技股份有限公司 | 一种视频处理方法及装置 |
| CN111783744A (zh) * | 2020-07-31 | 2020-10-16 | 上海仁童电子科技有限公司 | 一种操作现场安全防护检测方法及装置 |
| CN111931653A (zh) * | 2020-08-11 | 2020-11-13 | 沈阳帝信人工智能产业研究院有限公司 | 安全监测方法、装置、电子设备和可读存储介质 |
| CN113111844A (zh) * | 2021-04-28 | 2021-07-13 | 中德（珠海）人工智能研究院有限公司 | 一种作业姿态评估方法、装置、本地终端及可读存储介质 |
| CN113673351A (zh) * | 2021-07-21 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种行为检测方法、设备以及存储介质 |
| CN113971839A (zh) * | 2021-12-23 | 2022-01-25 | 宏景科技股份有限公司 | 检测图像、视频中人体异常行为方法、装置、设备和介质 |
-
2022
- 2022-06-10 CN CN202210654655.5A patent/CN115063740A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688921A (zh) * | 2019-09-17 | 2020-01-14 | 东南大学 | 一种基于人体动作识别技术的驾驶员抽烟行为检测方法 |
| CN111222493A (zh) * | 2020-01-20 | 2020-06-02 | 北京捷通华声科技股份有限公司 | 一种视频处理方法及装置 |
| CN111783744A (zh) * | 2020-07-31 | 2020-10-16 | 上海仁童电子科技有限公司 | 一种操作现场安全防护检测方法及装置 |
| CN111931653A (zh) * | 2020-08-11 | 2020-11-13 | 沈阳帝信人工智能产业研究院有限公司 | 安全监测方法、装置、电子设备和可读存储介质 |
| CN113111844A (zh) * | 2021-04-28 | 2021-07-13 | 中德（珠海）人工智能研究院有限公司 | 一种作业姿态评估方法、装置、本地终端及可读存储介质 |
| CN113673351A (zh) * | 2021-07-21 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种行为检测方法、设备以及存储介质 |
| CN113971839A (zh) * | 2021-12-23 | 2022-01-25 | 宏景科技股份有限公司 | 检测图像、视频中人体异常行为方法、装置、设备和介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116035564A (zh) * | 2022-12-06 | 2023-05-02 | 北京顺源辰辰科技发展有限公司 | 一种噎食与误吸智能检测方法、装置及电子设备 |
| CN116035564B (zh) * | 2022-12-06 | 2024-08-02 | 北京顺源辰辰科技发展有限公司 | 一种噎食与误吸智能检测方法、装置及电子设备 |
| CN117830956A (zh) * | 2024-01-26 | 2024-04-05 | 南京关宁电子信息科技有限公司 | 一种高空带电作业安全防护方法、***、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110751678A (zh) | 运动目标的检测方法、装置和电子设备 | |
| CN110781711A (zh) | 目标对象识别方法、装置、电子设备及存储介质 | |
| CN116359218B (zh) | 一种工业聚集区大气污染移动监测*** | |
| CN115063718B (zh) | 火灾检测方法、装置、设备及存储介质 | |
| CN103413149B (zh) | 复杂背景中实现静态目标检测和识别的方法 | |
| CN113537172A (zh) | 人群密度确定方法、装置、设备及存储介质 | |
| CN109684976A (zh) | 门状态监测方法、装置、设备和***及存储介质 | |
| CN111815576B (zh) | 金属部件腐蚀状况检测方法、装置、设备和存储介质 | |
| CN115063740A (zh) | 安全监测方法、装置、设备及计算机可读存储介质 | |
| CN115174355A (zh) | 故障根因定位模型的生成方法，故障根因定位方法和装置 | |
| CN115995037A (zh) | 信号灯状态检测方法、装置、设备、介质及产品 | |
| CN111950457A (zh) | 油田安全生产图像识别方法及*** | |
| Bulugu | Algorithm for license plate localization and recognition for tanzania car plate numbers | |
| CN113505643B (zh) | 违章目标物检测方法及相关装置 | |
| CN109800678A (zh) | 一种视频中对象的属性确定方法及装置 | |
| CN115063739B (zh) | 异常行为的检测方法、装置、设备及计算机存储介质 | |
| CN116002480A (zh) | 电梯轿厢内乘客意外摔倒的自动检测方法和*** | |
| CN111325708A (zh) | 一种输电线路检测方法和服务器 | |
| CN112861701B (zh) | 违章停车识别方法、装置、电子设备以及计算机可读介质 | |
| CN114741690A (zh) | 网络安全监测方法、装置、设备及计算机存储介质 | |
| CN115063741B (zh) | 目标检测方法、装置、设备、介质及产品 | |
| CN117542004B (zh) | 近海人船拟合方法、装置、设备及存储介质 | |
| CN113160206B (zh) | 一种钢轨轨道上异物检测的方法 | |
| CN116229369B (zh) | 人流量的检测方法、装置、设备及计算机可读存储介质 | |
| CN113239900B (zh) | 人***置的检测方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 1707, Building 2, East Ring Road, Yanqingyuan, Zhongguancun, Yanqing District, Beijing, 102199 Applicant after: Jiayang Smart Security Technology (Beijing) Co.,Ltd. Address before: Room 1707, Building 2, East Ring Road, Yanqingyuan, Zhongguancun, Yanqing District, Beijing, 102199 Applicant before: PETROMENTOR INTERNATIONAL EDUCATION (BEIJING) CO.,LTD. |