CN118172720A - 一种在油田作业场景下的危险施工姿势检测方法 - Google Patents
一种在油田作业场景下的危险施工姿势检测方法 Download PDFInfo
- Publication number
- CN118172720A CN118172720A CN202211576407.XA CN202211576407A CN118172720A CN 118172720 A CN118172720 A CN 118172720A CN 202211576407 A CN202211576407 A CN 202211576407A CN 118172720 A CN118172720 A CN 118172720A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- information
- operator
- dangerous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 238000010276 construction Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 238000002372 labelling Methods 0.000 claims abstract description 14
- 238000003062 neural network model Methods 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000012216 screening Methods 0.000 claims abstract description 3
- 230000036544 posture Effects 0.000 claims description 59
- 238000010606 normalization Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 238000013138 pruning Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 abstract description 11
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011049 filling Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明在油田作业场景下的危险施工姿势检测方法，包括：获取工地作业现场的监控视频Vi；通过监控设备视频筛选作业人员场景图像Ii；将人员场景图像Ii进行标注，得到标注数据Iann，并划分为训练样本Itrain和验证样本Ivalid；将训练样本Itrain和验证样本Ivalid对神经网络模型进行训练，得到训练后的神经网络模型；获取实时的监控视频Vtest，并获取连续N帧待测作业现场图像作为待测组Itest；对待测组Itest进行测试，得出每幅测试图像中的工地作业人员的位置信息以及类别信息；将提取作业人员的目标框输入人体姿态估计算法，从而获取目标的姿态信息p；结果整合与报警判定。本发明能够对作业中作业人员是否有安全隐患实现实时检测，能够及时发现人员不安全行为并发出预警，避免意外的发生。
Description
技术领域
本发明涉及目标检测领域，特别涉及一种在油田作业场景下的危险施工姿势检测方法
背景技术
目标检测领域发展至今已有二十余载，从早期的传统方法到如今的深度学习方法，精度越来越高的同时速度也越来越快，这得益于深度学习等相关技术的不断发展，并被不断应用于工业界，学术界等。对于油田作业场景下的特殊姿态识别是一个新的挑战，主要困难点在于，单独的目标检测器对于姿态识别分类误报率较高，油田作业场景复杂，施工姿态为特殊姿态，先验知识较少，因此对于油田作业场景下的特殊姿态识别是一个新的挑战，现目前，还没有能够实现将目标检测与人体姿态估计相结合，从而在作业现场对作业人员进行检测的方法。
传统的检测方法通常只判断单一图像，容易产生误报漏报行为，为了能够更加准确地实现石油作业现场人体姿势识别保证作业的安全进行的安防需求，基于多特征目标检测的技术实现是十分重要的。同时摄像头拍摄的视频在经过一系列的图像处理手段之后，不同倍数的下采样特征图会不同程度地损失信息；当摄像头距离工人过远时，目标检测就会变小，针对小目标的检测也变得困难。
目前迫切需求对于在油田作业场景下受限空间内的危险施工姿势检测方法，能够及时发现隐患，保障人员的生命和财产安全，避免意外的发生。
发明内容
本发明实施例提供了一种在油田作业场景下的危险施工姿势检测方法。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
本发明实施例提供了一种在油田作业场景下的危险施工姿势检测方法，为了能够实现实时检测在油田作业场景下的受限空间内的危险姿态识别。
一种在油田作业场景下的危险施工姿势检测方法，其改进之处在于，包括：
(1)获取工地作业现场的监控视频Vi；
(2)通过监控设备视频筛选作业人员场景图像Ii；
(3)将人员场景图像Ii进行标注，得到标注数据Iann，并划分为训练样本Itrain和验证样本Ivalid；
(4)将训练样本Itrain和验证样本Ivalid对神经网络模型进行训练，得到训练后的神经网络模型；
(5)获取实时的监控视频Vtest，并获取连续N帧待测作业现场图像作为待测组Itest；
(6)对待测组Itest进行测试，得出每幅测试图像中的工地作业人员的位置信息以及类别信息；
(7)将提取作业人员的目标框输入人体姿态估计算法，从而获取目标的姿态信息p；
(8)结果整合与报警判定。
优选的，包括步骤(4)包括
4-1初始化模型，完成目标检测模型YOLOv5、人体姿态估计模型的搭建以及初始化，
4-2迭代训练模型，利用训练集对目标检测模型与人体姿态估计模型训练，根据网络输出值和真值计算损失函数并更新模型权重，使用验证样本目标检测模型、人体姿态估计模型进行性能的评估得到最优性能模型。
进一步的，所述目标检测模型YOLOv5包括骨干网络、特征金字塔网络、网络头三部分自适应空间特征融合板块ASFF。
进一步的，所述步骤(4-2)包括
4-21进行图像数据增强，所述数据增强包括多源数据增强和单源数据增强；其中，多源数据增强包括Mosaic增强和Mixup增强，单源数据增强包括HSV增强和随机翻转；
4-22图像归一化，图像归一化操作为：
其中m为图像像素的均值，σ为图像像素的方差。
优选的，所述步骤(6)包括
6-1将输入图像按着原始比例放缩至标准尺寸，对图像进行归一化操作；
6-2将S61得到的图像利用目标检测模型YOLOv5检测，得出测试图像中的工地作业人员的位置信息以及类别信息，包括作业人员的坐标b∈R4×n、类别c∈R1×n和置信度s∈R1 ×n，其中n为图像中检测到的人员的数目，为姿态识别提供先验知识；
6-3对结果进行后处理操作，包括对检测结果的边界框进行非极大值抑制操作，将一些重合度较高的框从检测结果中剔除掉，并且利用置信度相关信息剔除相关的误报框。
进一步的，所述非极大值抑制操作如下，包括
6-31将所有的预测边界框b按类别c划分；
6-32在每个类别中，按照分类置信度s对边界框b降序排列；
6-33保留每类中最高置信度边界框bhigh；
6-34迭代计算bhigh与其余边界框brest的交并比IoU，若IoU(bhigh，brest)＞β，则在输入去除对应brest，IoU计算公式为：
6-35循环步骤6-32～步骤6-34，直至brest为空；
其中，β为非极大值抑制的IoU阈值。
优选的，所述步骤(7)包括
7-1根据预测结果中的人员的坐标b∈R4×n和类别c∈R1×n，将人员所在的位置单***剪；
7-2将裁剪后图像放缩到固定尺寸并进行归一化操作；
7-3将归一化的图像输入到人体姿态估计算法中得到作业人员的姿态信息p。
优选的，所述步骤(8)包括
8-1判断作业人员的姿态信息p是否完整，对作业人员边界框提取到的的姿态信息不完整，将这些检测结果删除，得到完整的姿态信息p；
8-2依次比较获取作业人员姿态信息，比较连续三帧图片中作业人员的姿态，连续三帧的作业人员经过人体姿态估计算法检测出来的情况均为危险动作姿态，则判定作业人员在进行危险活动，输出报警信息。
进一步的，人体姿态估计算法包括
8-21对待测图像进行目标检测，并将所有检测作业人员目标框取出；
8-22对于提取出来的目标框进行分辨率处理，将原始目标框的长和宽缩放到统一的大小；
8-23使用ResNet18网络对缩放后的目标框进行特征提取；
8-24将这些特征输入卷积层的两个平行分支；第一个分支预测一组部件亲和力字段，PAF表示组件之间的关联程度；第二分支预测一组置信图，每个置信图表示人体骨架图的特定部分；
8-25使用组件置信度图，在组件对之间形成二分图；使用PAF值修剪二分图中的较弱链接；通过上述步骤，获得估计人体骨架图并将其分配给图像中的每个人。
优选的，所述监控设备是安装在工地中电线杆或路灯上的监控设备，能够获取作业现场的图像；
所述神经网络模型采用YOLOv5网络模型结构，且YOLOv5网络模型采用8倍，16倍，32倍下采样特征图。
本发明实施例提供的技术方案可以包括以下有益效果：
本发明通过目标检测技术能够对作业中作业人员是否有安全隐患实现实时检测，不仅满足管理要求，而且能够及时发现人员不安全行为并发出预警，避免意外的发生。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种在油田作业场景下的危险施工姿势检测方法流程示意图。
图2是根据一示例性实施例示出的一种在油田作业场景下的危险施工姿势检测方法中神经网络模型局部示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的结构、产品等而言，由于其与实施例公开的部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
下面结合附图及实施例对本发明做进一步描述：
本发明一种在油田作业场景下的危险施工姿势检测方法，包括：
(1)利用作业现场的监控设备获取监控视频Vi；
(2)通过从监控视频中筛选出含有作业人员场景的图像Ii；
(3)利用标注工具对获取到的图像对作业人员进行标注，标注人员寻找样本图像数据Iin中人员的位置bgt∈R4，和类别cgt∈R1，得到一定数量的标注数据Iann，将标注数据按照一定比例划分为训练样本Itrain和验证样本Ivalid；
(4)将训练样本输入到目标检测模型、人体姿态估计模型中对模型进行训练，使用验证样本目标检测模型、人体姿态估计模型进行性能的评估得到最优性能模型；
(5)对模型进行实地测试，获取需要测试的实时视频，使用抽帧算法抽取出反映出一段时间内的作业现场情况的测试图像Itest；
(6)利用训练好的目标检测模型、人体姿态估计模型对测试图像Itest进行测试，得出每一幅测试图像中的工地作业人员的位置信息以及类别信息，包括作业人员的坐标b∈R4×n、类别c∈R1×n和置信度s∈R1×n，其中n为图像中检测到的人员的数目，为姿态识别提供先验知识；
(7)将提取出的作业人员的目标框输入人体姿态估计算法，从而获取目标的姿态信息p；
(8)结果整合与报警判定。首先通过姿态信息p判断姿态信息是否完整，如果目标框内不含完整地姿态信息，则可以对目标检测的结果进行修正，删除掉大部分检测错误的结果。而对于正确的检测结果，通过对姿态信息p进行分析。其中人体姿态估计算法的过程：
步骤一：首先对待测图像进行目标检测，并将所有检测作业人员目标框取出为人体姿态估计算法做准备。
步骤二：对于提取出来的目标框进行分辨率处理，将原始目标框的长和宽缩放到统一的大小，以便人体估计算法可以统一进行处理。
步骤三：人体姿态估计算法首先使用ResNet18网络对缩放后的目标框进行特征提取。
步骤四：然后将这些特征输入卷积层的两个平行分支。第一个分支预测一组部件亲和力字段，PAF表示组件之间的关联程度。第二分支预测一组置信图，每个置信图表示人体骨架图的特定部分。
步骤五：使用组件置信度图，在组件对之间形成二分图。然后使用PAF值修剪二分图中的较弱链接。通过上述步骤，我们可以估计人体骨架图并将其分配给图像中的每个人。
如图2所示，其中为训练好的神经网络模型局部。(由于实际的神经网络模型很大，以下的展出部分只有其1/30)
上述技术方案中，步骤(4)包括
4-1初始化模型。完成目标检测模型YOLOv5、人体姿态估计模型的搭建以及初始化。目标检测模型YOLOv5包括骨干网络、特征金字塔网络、网络头三部分。为获得更好的性能，本发明加入了自适应空间特征融合板块(ASFF)；
其中，目标检测模型YOLOv5作为检测器，并部署在后台服务器中，与监控设备前端摄像头集成在一起组成装置检测作业人员危险作业行为检测***。对于检测到的作业人员，如果足够量的帧数内通过人体姿态估计检测到了人员存在危险作业行为，则立马预警并输出人员的位置信息，保障在第一时间发现整改。
对于油田作业场景，工作人员在受限空间下进行工作可能会有很多非常见姿态例如：工作人员进行高空管道工作，在封闭设施内施工等特殊姿态，针对油田作业场景与受限空间对于这些危险的特殊姿态进行判断：
(1)联合目标检测与人体姿态估计算法判别：
由于在受限空间中，摄像头距离作业场景较远，作业人员目标较小，作业场景会有很多的干扰例如：一些较小的与人体相似作业设施进行干扰，简单地使用目标检测算法实现作业人员的定位与辨别是否有危险行为的会受到背景区域很大的干扰，给后续实现报警引入混淆与误差。因此，本发明在目标检测基础上加入了人体姿态估计算法判别，用以判断作业人员是否有危险行为。同时人体姿态算法可以查验目标检测的准确性，可以进一步提升算法准确度。如果连续多帧的作业人员经过人体姿态估计算法检测出来的情况均为危险动作姿态，则判定作业人员在进行危险活动，输出报警信息。
(2)自适应空间特征融合板块(ASFF)：
对于受限空间内的危险行为有：工作人员进行高空管道工作，在封闭设施内施工等，这些行为在日常生活中出现较少是一些特殊的姿态行为，对于这些特殊的姿态行为识别需要目标检测器的提取图像特征能力更强，才能准确识别出这些危险行为，为后续的人体姿态识别提供更加优秀的先验知识，因此本发明在目标检测模型中加入了自适应空间特征融合板块(ASFF)来提升特征金字塔的特征融合能力，进一步提升了检测器的性能。
在YOLOv5网络中，为了能够充分利用高层特征的语义信息和底层特征的细粒度特征，网络采用了特征金字塔(FPN)的方式输出多层特征实现了多特征图预测，使得网络可以检测各种尺度的目标，同时融合了高层特征与底层特征，但是这种结构不同等级的特征图之间存在冲突，这种冲突干扰了训练时的梯度计算，降低了特征金字塔的有效性。
通过FPN板块生成3个不同大小的特征图，后将特征图通过ASFF板块来实现空间特征融合，让不同大小特征图连接起来削弱各特征图之间的冲突。具体步骤为以下几步：
步骤1：对于第l级特征图输出对其余特征图进行上下采样操作，得到同样大小和深度的特征图，方便后续融合；
步骤2：对处理后的3个层级特征图输出，输入到1×1×n的卷积中，得到3个空间权重向量，每个大小是n×h×w；
步骤3：通道方向拼接得到3n×h×w的权重融合图；
步骤4：为了得到通道为3的权重图，对上述特征图采用1×1×3的卷积，得到3×h×w的权重向量；
步骤5：在通道方向进行归一化，将3个向量乘加到3个特征图上面，得到融合后的c×h×w特征图；
步骤6：采用3×3卷积得到输出通道为256的预测输出结果；
其中，步骤5的融合的公式为：
α，β，γ为特征融合的权重系数，X是不同等层级特征图的特征。
通过加权的融合方式学习了在空间上过滤冲突信息，如在原来特征金子塔中某个层级特征图存在正样本而在其他层级特征图中对应位置为负样本，这样不连续性会对梯度结果进行干扰，降低了训练的效率，通过加入ASFF板块，可以通过权重参数来控制，让对应负样本的权重系数为0，则负样本的梯度不会干扰结果，实现了过滤冲突信息，进一步增强了网络特征融合能力。
(3)基于OpenPose的改进算法：
本发明的应用场景为油田作业场景下受限空间，该场景对于姿态算法的实时性有着较高的要求。同时该场景下的人员姿势比较特殊，原OpenPose算法对于检测常见的人体姿势效果较好，对于该场景下的特殊姿势需要对网络使用特征提取能力更强的骨干网络。
原OpenPose算法结构分为两部分，首先通过卷积神经网络VGG19进行特征提取得到特征图F，接着将其输入双分支多阶段网络，该网络的上支路用于预测部分亲和度(PAF),它能够记录关键点之间的位置信息和方向信息；下支路用于预测部分置信度图(PCM)，它表示人体骨架图的特定部分。
本发明基于OpenPose算法针对油田作业场景进行改进，原模型采用VGG19进行特征提取，该网络深度较浅对特征的提取效果不佳，本发明使用参数量更少效果更好的ResNet18进行特征提取，ResNet18是拥有残差结构的深层卷积神经网络，在结构上不再是简单的卷积核堆叠，解决了深层网络中梯度消失和梯度***的退化问题。对于分支支路本发明加入深度可分离卷积，深度可分离卷积主要分为两个过程，分别为逐通道卷积和逐点卷积，通过这两个过程实现了卷积功能，相对原来常规的卷积，进一步减少了参数数量和运算成本。
本发明改进的OpenPose算法比原算法速度更快，效果更好，适用于复杂的工地作业场景。
4-2迭代训练模型。利用训练集对目标检测模型与人体姿态估计模型训练，根据网络输出值和真值计算损失函数并更新模型权重，使用验证样本目标检测模型、人体姿态估计模型进行性能的评估得到最优性能模型。
上述技术方案中，所述步骤(4-2)包括
4-21进行图像数据增强，所述数据增强包括多源数据增强和单源数据增强；其中，多源数据增强包括Mosaic增强和Mixup增强，单源数据增强包括HSV增强和随机翻转；
4-22图像归一化，图像归一化操作为：
其中m为图像像素的均值，σ为图像像素的方差。
上述技术方案中，所述步骤(6)包括
6-1将输入图像按着原始比例放缩到合适的尺寸，为了保证训练速度与效率对图像进行归一化操作；
6-2将S61得到的图像利用目标检测模型YOLOv5检测，得出测试图像中的工地作业人员的位置信息以及类别信息，包括作业人员的坐标b∈R4×n、类别c∈R1×n和置信度s∈R1 ×n，其中n为图像中检测到的人员的数目，为姿态识别提供先验知识；
6-3对结果进行后处理操作，包括对检测结果的边界框进行非极大值抑制操作，将一些重合度较高的框从检测结果中剔除掉，并且利用置信度相关信息剔除相关的误报框。
上述技术方案中，所述非极大值抑制操作如下，包括
6-31将所有的预测边界框b按类别c划分；
6-32在每个类别中，按照分类置信度s对边界框b降序排列；
6-33保留每类中最高置信度边界框bhigh；
6-34迭代计算bhigh与其余边界框brest的交并比IoU，若IoU(bhigh，brest)＞β，则在输入去除对应brest，IoU计算公式为：
6-35循环步骤6-32～步骤6-34，直至brest为空；
其中，β为非极大值抑制的IoU阈值。
上述技术方案中，所述步骤(7)包括
7-1根据步骤6预测结果中的人员的坐标b∈R4×n和类别c∈R1×n，将人员所在的位置单***剪；
7-2将裁剪后图像放缩到固定尺寸并进行归一化操作；
7-3将归一化的图像输入到人体姿态估计算法中得到作业人员的姿态信息p。
上述技术方案中，所述步骤(8)包括
8-1判断作业人员的姿态信息p是否完整，对作业人员边界框提取到的的姿态信息不完整，证明原来提取出的作业人员目标框大概率为错误的检测结果，可以将这些检测结果删除，得到完整的姿态信息p；
8-2依次比较8-1中获取的所有作业人员姿态信息，比较连续三帧图片中作业人员的姿态，连续三帧的作业人员经过人体姿态估计算法检测出来的情况均为危险动作姿态，则判定作业人员在进行危险活动，输出报警信息。
上述技术方案中，人体姿态估计算法包括
8-21对待测图像进行目标检测，并将所有检测作业人员目标框取出为人体姿态估计算法做准备。
8-22对于提取出来的目标框进行分辨率处理，将原始目标框的长和宽缩放到统一的大小，以便人体估计算法可以统一进行处理。
8-23人体姿态估计算法首先使用ResNet18网络对缩放后的目标框进行特征提取。
8-24然后将这些特征输入卷积层的两个平行分支。第一个分支预测一组部件亲和力字段，PAF表示组件之间的关联程度。第二分支预测一组置信图，每个置信图表示人体骨架图的特定部分。
8-25使用组件置信度图，在组件对之间形成二分图。然后使用PAF值修剪二分图中的较弱链接。通过上述步骤，估计人体骨架图并将其分配给图像中的每个人。
上述技术方案中，所述监控设备是安装在工地中电线杆或路灯上的监控设备，能够获取作业现场的图像；监控设备与作业现场位置的水平距离为100米以内；神经网络模型输出的人员为置信度大于0.4的边界框。
所述神经网络模型采用YOLOv5网络模型结构，且YOLOv5网络模型采用8倍，16倍，32倍下采样特征图；从监控视频中每隔N帧获取一次连续的N帧待测作业现场图像；待测组包括N帧待测作业现场图像，N为45；样本数据还包括填充样本数据，填充样本数据为在实际获取的作业现场图片基础上通过改变亮度、色调、饱和度仿真出不同天气条件下的图片，以及在实际获取的作业现场图片基础上通过拷贝获取的图片。
上述技术方案中，模型的训练加载在ImageNet预训练之后的权重文件后迭代70次，四个时间段(上午，中午，下午，晚上)，并选取了1-3个测试场景，获取足够的图像测试，具体结果见下表。
| 算法类型 | 测试场景数 | 视频帧数 | 正确识别 | 错误识别 | 正确率 |
| 人员检测 | 2 | 5001 | 4965 | 36 | 99.2％ |
| 人员检测 | 2 | 5208 | 5178 | 30 | 99.4％ |
| 人员检测 | 2 | 4314 | 4224 | 90 | 97.9％ |
| 人员检测 | 3 | 6465 | 6348 | 117 | 98.1％ |
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的流程及结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种在油田作业场景下的危险施工姿势检测方法，其特征在于，包括：
(1)获取工地作业现场的监控视频Vi；
(2)通过监控设备视频筛选作业人员场景图像Ii；
(3)将人员场景图像Ii进行标注，得到标注数据Iann，并划分为训练样本Itrain和验证样本Ivalid；
(4)将训练样本Itrain和验证样本Ivalid对神经网络模型进行训练，得到训练后的神经网络模型；
(5)获取实时的监控视频Vtest，并获取连续N帧待测作业现场图像作为待测组Itest；
(6)对待测组Itest进行测试，得出每幅测试图像中的工地作业人员的位置信息以及类别信息；
(7)将提取作业人员的目标框输入人体姿态估计算法，从而获取目标的姿态信息p；
(8)结果整合与报警判定。
2.根据权利要求1所述一种在油田作业场景下的危险施工姿势检测方法，其特征在于，包括步骤(4)包括
4-1初始化模型，完成目标检测模型YOLOv5、人体姿态估计模型的搭建以及初始化，
4-2迭代训练模型，利用训练集对目标检测模型与人体姿态估计模型训练，根据网络输出值和真值计算损失函数并更新模型权重，使用验证样本目标检测模型、人体姿态估计模型进行性能的评估得到最优性能模型。
3.根据权利要求2所述一种在油田作业场景下的危险施工姿势检测方法，其特征在于，所述目标检测模型YOLOv5包括骨干网络、特征金字塔网络、网络头三部分自适应空间特征融合板块ASFF。
4.根据权利要求2所述一种在油田作业场景下的危险施工姿势检测方法，其特征在于，所述步骤(4-2)包括
4-21进行图像数据增强，所述数据增强包括多源数据增强和单源数据增强；其中，多源数据增强包括Mosaic增强和Mixup增强，单源数据增强包括HSV增强和随机翻转；
4-22图像归一化，图像归一化操作公式为：
其中m为图像像素的均值，σ为图像像素的方差。
5.根据权利要求1所述一种在油田作业场景下的危险施工姿势检测方法，其特征在于，
所述步骤(6)包括
6-1将输入图像按着原始比例放缩至标准尺寸，对图像进行归一化操作；
6-2将S61得到的图像利用目标检测模型YOLOv5检测，得出测试图像中的工地作业人员的位置信息以及类别信息，包括作业人员的坐标b∈R4×n、类别c∈R1×n和置信度s∈R1×n，其中n为图像中检测到的人员的数目，为姿态识别提供先验知识；
6-3对结果进行后处理操作，包括对检测结果的边界框进行非极大值抑制操作，将一些重合度较高的框从检测结果中剔除掉，并且利用置信度相关信息剔除相关的误报框。
6.根据权利要求5所述一种在油田作业场景下的危险施工姿势检测方法，其特征在于，所述非极大值抑制操作如下，包括
6-31将所有的预测边界框b按类别c划分；
6-32在每个类别中，按照分类置信度s对边界框b降序排列；
6-33保留每类中最高置信度边界框bhigh；
6-34迭代计算bhigh与其余边界框brest的交并比IoU，若IoU(bhigh，brest)＞β，则在输入去除对应brest，IoU计算公式为：
6-35循环步骤6-32～步骤6-34，直至brest为空；
其中，β为非极大值抑制的IoU阈值。
7.根据权利要求1所述一种在油田作业场景下的危险施工姿势检测方法，其特征在于，所述步骤(7)包括
7-1根据预测结果中的人员的坐标b∈R4×n和类别c∈R1×n，将人员所在的位置单***剪；
7-2将裁剪后图像放缩到固定尺寸并进行归一化操作；
7-3将归一化的图像输入到人体姿态估计算法中得到作业人员的姿态信息p。
8.根据权利要求1所述一种在油田作业场景下的危险施工姿势检测方法，其特征在于，所述步骤(8)包括
8-1判断作业人员的姿态信息p是否完整，对作业人员边界框提取到的的姿态信息不完整，将这些检测结果删除，得到完整的姿态信息p；
8-2依次比较获取作业人员姿态信息，比较连续三帧图片中作业人员的姿态，连续三帧的作业人员经过人体姿态估计算法检测出来的情况均为危险动作姿态，则判定作业人员在进行危险活动，输出报警信息。
9.根据权利要求8所述一种在油田作业场景下的危险施工姿势检测方法，其特征在于，人体姿态估计算法包括
8-21对待测图像进行目标检测，并将所有检测作业人员目标框取出
8-22对于提取出来的目标框进行分辨率处理，将原始目标框的长和宽缩放到统一的大小；
8-23使用ResNet18网络对缩放后的目标框进行特征提取；
8-24将这些特征输入卷积层的两个平行分支；第一个分支预测一组部件亲和力字段，PAF表示组件之间的关联程度；第二分支预测一组置信图，每个置信图表示人体骨架图的特定部分；
8-25使用组件置信度图，在组件对之间形成二分图；使用PAF值修剪二分图中的较弱链接；通过上述步骤，获得估计人体骨架图并将其分配给图像中的每个人。
10.根据权利要求1所述一种在油田作业场景下的危险施工姿势检测方法，其特征在于，所述监控设备是安装在工地中电线杆或路灯上的监控设备，能够获取作业现场的图像；
所述神经网络模型采用YOLOv5网络模型结构，且YOLOv5网络模型采用8倍，16倍，32倍下采样特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211576407.XA CN118172720A (zh) | 2022-12-09 | 2022-12-09 | 一种在油田作业场景下的危险施工姿势检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211576407.XA CN118172720A (zh) | 2022-12-09 | 2022-12-09 | 一种在油田作业场景下的危险施工姿势检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118172720A true CN118172720A (zh) | 2024-06-11 |
Family
ID=91353327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211576407.XA Pending CN118172720A (zh) | 2022-12-09 | 2022-12-09 | 一种在油田作业场景下的危险施工姿势检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118172720A (zh) |
-
2022
- 2022-12-09 CN CN202211576407.XA patent/CN118172720A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569837B (zh) | 优化损伤检测结果的方法及装置 | |
| CN106778705B (zh) | 一种行人个体分割方法及装置 | |
| CN111797890A (zh) | 一种用于检测输电线路设备缺陷的方法及*** | |
| CN112541520A (zh) | 用于为神经网络生成反事实数据样本的设备和方法 | |
| CN110956615B (zh) | 图像质量评估模型训练方法、装置、电子设备及存储介质 | |
| CN112149962B (zh) | 一种施工事故致因行为的风险定量评估方法及*** | |
| CN112149491A (zh) | 用于确定探测到的对象的信任值的方法 | |
| CN111862065B (zh) | 基于多任务深度卷积神经网络的输电线路诊断方法和*** | |
| CN108171162A (zh) | 人群拥挤度检测方法、装置及*** | |
| CN114821282B (zh) | 一种基于域对抗神经网络的图像检测装置及方法 | |
| CN111191604A (zh) | 检测车牌完整性的方法、设备和存储介质 | |
| Miller et al. | What’s in the black box? the false negative mechanisms inside object detectors | |
| CN110321867B (zh) | 基于部件约束网络的遮挡目标检测方法 | |
| CN115063740A (zh) | 安全监测方法、装置、设备及计算机可读存储介质 | |
| CN111415326A (zh) | 一种用于铁路接触网螺栓异常状态的检测方法及*** | |
| CN110738229B (zh) | 一种细粒度图像分类方法、装置及电子设备 | |
| CN111402185B (zh) | 一种图像检测方法及装置 | |
| CN111178220A (zh) | 检测客车内的安全设施的方法、设备和存储介质 | |
| CN118172720A (zh) | 一种在油田作业场景下的危险施工姿势检测方法 | |
| CN116665174A (zh) | 面向视觉感知算法的危险测试用例生成方法及相关设备 | |
| Liu et al. | Quality assessment for inspection images of power lines based on spatial and sharpness evaluation | |
| CN112149698A (zh) | 一种困难样本数据的筛选方法及装置 | |
| CN112508946B (zh) | 一种基于对抗神经网络的电缆隧道异常检测方法 | |
| CN115331152A (zh) | 一种消防识别方法和*** | |
| CN115376275B (zh) | 一种基于图像处理的施工安全告警方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |