CN112633308A - 一种电厂作业人员是否佩戴安全带的检测方法及检测*** - Google Patents

一种电厂作业人员是否佩戴安全带的检测方法及检测*** Download PDF

Info

Publication number
CN112633308A
CN112633308A CN202010965975.3A CN202010965975A CN112633308A CN 112633308 A CN112633308 A CN 112633308A CN 202010965975 A CN202010965975 A CN 202010965975A CN 112633308 A CN112633308 A CN 112633308A
Authority
CN
China
Prior art keywords
safety belt
detection
size
power plant
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010965975.3A
Other languages
English (en)
Inventor
李政谦
刘曙元
李志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huadian Tianren Power Controlling Technology Co Ltd
Original Assignee
Beijing Huadian Tianren Power Controlling Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huadian Tianren Power Controlling Technology Co Ltd filed Critical Beijing Huadian Tianren Power Controlling Technology Co Ltd
Priority to CN202010965975.3A priority Critical patent/CN112633308A/zh
Publication of CN112633308A publication Critical patent/CN112633308A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种安全带检测方法，包括获取监控区域的历史视频图片，形成安全带检测数据集；对安全带检测数据集进行标注，并将其随机划分为训练集与测试集；根据获得的安全带检测数据集生成其对应的适用于监控区域的锚框；使用训练集训练深度学习模型，得到安全带检测模型；调整安全带检测模型的模型置信度；基于深度学习的安全带检测模型对监控区域内安全带情况进行实时检测。本发明基于深度学习模型实现安全带实时检测，可适应实际复杂场景并提高了安全带检测的mAP，有助于提高相关人员安全意识，帮助工作有序开展。

Description

一种电厂作业人员是否佩戴安全带的检测方法及检测***
技术领域
本发明属于智能视频监控安全技术领域，更具体地，涉及一种安全带检测方法。
背景技术
安全带是一项防止脑部损伤的措施。研究表明，在工作事故中，有接近60％的脑损伤是因为没有正确地安全带引起，对相关人员的安全带进行检测，可有效降低相关事故发生率。
早期通常会有专责的安全监督人员对驾驶员的安全带情况进行检测，但这种方式难以全方位监督，无法保证监督的有效性。因此，需要能够实时监督施工及巡检现场并降低监督成本的安全带检测方法。
一般的目标检测方法仅需在图片上判断是否存在检测目标，并获得目标数量，标记目标位置。对于安全带检测算法，在此基础上还要求针对动态视频实时识别、深度优化，达到较高的识别跟踪精度；对光线、阴天等不同环境适应性强，且不受人员眼镜、胡须、发型、表情等遮挡影响；也不受到人员正面、背面、侧面、跑动、低头等不同姿态影响。
近年来，研究人员在基于传感器与基于图像处理等两种检测方式上对安全带检测做了很多具有创新性的研究工作。但由于定位精度不高、测速度慢、准确率低等问题使得其不适用于复杂性较高的实际场景，无法达到安全带检测实际需求，基于卷积神经网络的检测算法依靠其网络简单、检测速度快准确性高等特点超过传统检测算法，成为当前安全带检测方面的主流算法。
但对于现场具体场景，卷积神经网络模型不能达到很高的检测效果，需要针对场景制定对应的模型及检测策略。
发明内容
为解决现有技术中存在的不足，本发明的目的在于，提供一种全带检测方法，能够检测现场视频信息中人员是否安全带，并有效减少因为人员行进速度快、物体遮挡、光线昏暗等复杂情况造成的漏检错检问题。
本发明采用如下的技术方案。一种电厂作业人员是否佩戴安全带的检测方法，其包括以下步骤：
步骤1，从监控区域内的视频监控设备获取历史视频数据，将其转化为图片，形成安全带检测数据集；
步骤2，对安全带检测数据集图片中人员是否佩戴安全带进行标注，并将其按照设定的比例随机划分为训练集与测试集；
步骤3，根据步骤1获得的安全带检测数据集生成其对应的适用于监控区域的锚框；
步骤4，使用训练集训练卷积神经网络模型，使用测试集检测每一代训练后改进的卷积神经网络模型，筛选获得安全带检测模型；
步骤5，从监控区域内的视频监控设备获取实时视频数据，基于步骤4得到的安全带检测模型对监控区域内安全带佩戴情况进行实时检测。
优选地，步骤2具体包括：
步骤2.1，对安全带检测数据集中人物是否佩戴安全带逐一标注，其中被标注部分作为正样本，未标注部分作为负样本；
步骤2.2，获取每个标注对象的类别及检测框，形成标注对象文件；
步骤2.3，生成安全带检测数据集对应的文件路径，并存储在数据集文件中；
步骤2.4，随机分配步骤2.3中存储在数据集文件内的存有标注内容的标注对象文件，将其以设定的比例分为训练集与测试集。
优选地，步骤3中，使用聚类方法生成锚框，聚类中距离度量方法为重叠度距离，以如下公式表示预测框与真实框的距离D，
D＝1-IoU(box,clusters)
式中：
D为预测框与真实框的距离，
IoU(·)表示重叠度函数，
box为标注框，
clusters为聚类数目。
优选地，步骤4中具体包括：
步骤4.1，将训练集中的图片统一调整到640*640；
步骤4.2，对经过步骤4.1调整尺寸后的图片进行图像增强处理；
步骤4.3，设定迭代次数，每一批图像的数量，初始学习率，学习率更新条件；
步骤4.4，使用图像增强处理后的图片训练卷积神经网络模型；
步骤4.5，使用测试集检测每一代训练后卷积神经网络模型的mAP，选取其中mAP最高的卷积神经网络模型作为安全带检测模型。
优选地，步骤4中，卷积神经网络模型分为1个类别，未安全带的标为none；卷积神经网络模型，其输入图片尺寸为640*640；卷积神经网络模型两输出层锚框数分别为4个和5个，用于检测普通目标、小目标，普通目标的尺寸大于32*32，小目标的尺寸小于或等于32*32；卷积神经网络模型两输出层的特征图尺寸分别为5*5和40*40。
优选地，步骤4中，卷积神经网络模型对图片的处理过程包括：
i.输入尺寸640*640，通过多个卷积核，获得特征图大小变为40*40；连续三次通过一个1*1的步长为1填充为0特征图数量为256的卷积核，一个3*3的步长为2填充为1特征图数量为512的卷积核，一个残差块的组合，得到第一个检测结果，并与上采样后的输出相连；
ii.第一个检测结果再通过多个卷积核，获得特征图大小变为5*5；连续四次通过一个1*1的步长为1填充为0特征图数量为512的卷积核，一个3*3的步长为2填充为1特征图数量为1024的卷积核，一个残差块的组合，得到第二个检测结果；
iii.第二个检测结果经过连续三次1*1的步长为1填充为0和3*3的步长为2填充为1的卷积组合和一个1*1的步长为1填充为0的卷积获得大小为5*5第三个检测结果作为输出；
iv.第二个检测结果经过连续两次1*1的步长为1填充为0和3*3的步长为2填充为1的卷积组合和一个1*1的步长为1填充为0的卷积并经过三次上采样后与第一个检测结果相加后经过连续两次1*1的步长为1填充为0和3*3的步长为2填充为1的卷积组合和一个1*1的步长为1填充为0的卷积获得大小为40*40的第四个检测结果作为输出。
优选地，步骤4中，采用FOCAL LOSS作为损失函数，以如下公式表示损失函数，
FL(pt)＝-αt(1-pt)γlg pt
式中：
pt表示预测的概率，
α与γ均为超参数。
优选地，步骤4中，采用Swish作为激活函数，激活函数公式为，
Figure BDA0002682326890000041
式中：
X表示输入图像的tensor张量，
e表示自然常数。
优选地，步骤5具体包括：
步骤5.1，实时从监控区域内的视频监控设备获取视频数据，将其转化为图片；
步骤5.2，安全带检测模型判断采集的视频图片中是否存目标；
步骤5.3，对存在作业的视频图片进行人物及背景分割，获取锚框位置并判断人员是否佩戴安全带；
步骤5.4，若发现未佩戴安全带的目标，使用红色矩形框标注，并标有none字样，标注后图像进行保存处理。
本发明还提供了一种利用所述检测方法的电厂作业人员是否佩戴安全带的检测***，包括：视频监控设备，设置在电厂监控区域内，用于采集视频数据；监控主机，包括视频模块处理模块和安全带检测模块，用于将视频监控设备的视频数据转化为图片，并使用安全带检测模型判断电厂作业人员是否佩戴安全带；通信网络，与视频监控设备和监控主机相连接，用于在视频监控设备与监控主机之间传输视频数据；显示与警示模块，与监控主机相连接，用于显示视频数据和是否佩戴安全带检测结果，若发现未佩戴安全带，发出警示。
本发明通过采集监控区域内视频图片获得安全带检测数据集并进行标注，通过使用聚类算法获得该安全带检测数据集对应的适用于该监控区域的锚框，通过多个卷积层、池化层、激活层分别得到检测框大小为5*5及40*40的两个输出，多个输出能够更加准确的对不同距离人员进行检测；使用FOCAL LOSS作为损失函数解决了类别不平衡问题，使用Swish作为激活函数避免了数值过大的饱和问题。通过以上改进使模型适应现场的复杂场景并提高了模型应用的准确率、召回率及mAP(mean Average Precision，平均准确率均值)，有助于相关人员安全意识，帮助工作有序开展。
附图说明
图1是本发明一种安全带检测方法的流程图；
图2是本发明卷积神经网络模型的网络结构图；
图3是基于安全带检测模型对监控区域内安全带情况进行实时检测的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
可以理解的是，本发明中的安全带是指电厂工人进行作业时所佩戴的安全带。
如图1所示，本发明提供了一种安全带检测方法，包括以下步骤：
步骤1，从监控区域内的视频监控设备获取历史视频数据，将其转化为图片，形成安全带检测数据集。
一个优选但非限制性的实施方式为，通过工作监测摄像头获取监控区域视频，使用OpenCV将视频转化为对应图片后，形成安全带检测数据集。获取的历史视频图片不限于尺度、光照、样式、颜色及是否存在遮挡。
值得注意的是，本发明的检测方法是同时检测一张图片内的多个目标的，由于人物行进速度较慢且进行安全带检测时摄像头与检测目标距离通常较远，因此无需使用类似于高速运动物体检测的轻量级模型，例如电厂中皮带撕裂检测的轻量级模型，因此本发明的模型设计较深，检测时间较长，每秒钟检测10张图片，检测准确率较高。
同时，可以理解的是，相对于皮带撕裂只能从上方进行检测，安全带的检测位置具有多样性，即可从目标上方、侧上方、水平等方向进行检测，也可以在目标侧下放进行检测。检测方向的多样性促使我们能够获得更多的样本图像，而样本图像的样式增加则能有效提高模型的泛化性，使其能够识别更多场景下安全带样式，避免因为光线不足、遮挡等问题引起的错检漏检。
步骤2，对安全带检测数据集图片中人员是否佩戴安全带进行标注，并将其按照8：2的比例随机划分为训练集与测试集。步骤2具体包括：
步骤2.1，对安全带检测数据集中人物是否佩戴安全带人工逐一标注，其中被标注部分作为正样本，未标注部分作为负样本，即背景类，获得xml格式文件。可以理解的是，可以使用任意图像标注软件对对安全带检测数据集中人物是否安全带人工逐一标注，例如但不限于，Labelme、labelImg或Yolo_mark。
步骤2.2，获取xml格式文件中每个标注对象的类别及检测框，即bounding box并生成对应的txt格式文件。
步骤2.3，生成安全带检测数据集对应的所有txt格式文件路径，并存储在dataset.txt文件中。
步骤2.4，随机分配步骤2.3中存储在dataset.txt文件内的存有标注内容的txt文件，将其以8：2的比例分为训练集与测试集。
可以理解的是，txt作为生成的文件格式、存储文件路径的文件格式，以及训练集和测试集的划分比例仅是一种优选但非限制性的实施方式，所属领域技术人员可以任意配置文件格式以及训练集和测试集的比例。
步骤3，根据步骤1获得的安全带检测数据集生成其对应的适用于监控区域的锚框，用于更好地适配当前检测环境，获得更高的检测准确率。步骤3具体包括：
步骤3中，使用聚类方法生成锚框，聚类中距离度量方法为IoU距离(Intersectionover Union，重叠度)，以如下公式表示预测框与真实框的距离D，
D＝1-IoU(box,clusters)
式中：
D为预测框与真实框的距离，
IoU(·)表示重叠度函数，
box为标注框，
clusters为聚类数目。
所述步骤3中锚框数量根据现场实际场景自行设定，根据数据集得到锚框，该锚框值更加适合现场场景，在本实施例中，设定锚框数目为9个，在输入为640*640的模型中具体为，[4,5]，[5,7]，[8,11]，[10,13]，[17,19]，[29,38]，[39,47]，[48,61]，[53,71]。其中[4,5]代表宽度为4，长度为5的矩形框，其他类推。
步骤4，使用训练集训练卷积神经网络模型，使用测试集检测每一代训练后卷积神经网络模型，筛选获得安全带检测模型。值得注意的是，本发明中安全带检测由于目标距离摄像头较远，检测难度较大，因此我们设计了一个深度较深的模型以更好的辨别图像中的语义信息，采用了残差网络用来传递更多的位置信息。同时在模型中引出一条支路来检测40*40像素的物体，这个尺度主要是针对正常距离的目标设置的。
所述卷积神经网络模型分为1个类别，未安全带的标为none。如图2所示，卷积神经网络模型对图片的处理过程具体为，首先输入尺寸640*640，然后通过一个3*3的步长为1填充为1特征图数量为32的卷积核，一个3*3的步长为2填充为1特征图数量为64的卷积核，获得特征图大小变为320*320。
然后连续两次通过一个1*1的步长为1填充为0特征图数量为32的卷积核，一个3*3的步长为2填充为1特征图数量为64的卷积核，一个残差块的组合。再通过一个3*3的步长为2填充为1特征图数量为128的卷积核，获得特征图大小变为160*160。
然后连续三次通过一个1*1的步长为1填充为0特征图数量为64的卷积核，一个3*3的步长为2填充为1特征图数量为128的卷积核，一个残差块的组合。再通过一个3*3的步长为2填充为1特征图数量为256的卷积核，获得特征图大小变为80*80。
然后连续三次通过一个1*1的步长为1填充为0特征图数量为128的卷积核，一个3*3的步长为2填充为1特征图数量为256的卷积核，一个残差块的组合。再通过一个3*3的步长为2填充为1特征图数量为512的卷积核，获得特征图大小变为40*40。
然后连续三次通过一个1*1的步长为1填充为0特征图数量为256的卷积核，一个3*3的步长为2填充为1特征图数量为512的卷积核，一个残差块的组合。得到结果1与上采样后的输出相连。
所述结果1再通过一个3*3的步长为2填充为1特征图数量为768的卷积核，获得特征图大小变为20*20。
然后连续三次通过一个1*1的步长为1填充为0特征图数量为512的卷积核，一个3*3的步长为2填充为1特征图数量为768的卷积核，一个残差块的组合。再通过一个3*3的步长为2填充为1特征图数量为1024的卷积核，获得特征图大小变为10*10。
然后连续四次通过一个1*1的步长为1填充为0特征图数量为512的卷积核，一个3*3的步长为2填充为1特征图数量为768的卷积核，一个残差块的组合。再通过一个3*3的步长为2填充为1特征图数量为1024的卷积核，获得特征图大小变为5*5。
然后连续四次通过一个1*1的步长为1填充为0特征图数量为512的卷积核，一个3*3的步长为2填充为1特征图数量为1024的卷积核，一个残差块的组合。得到结果2经过连续三次1*1的步长为1填充为0和3*3的步长为2填充为1的卷积组合和一个1*1的步长为1填充为0的卷积获得大小为5*5检测结果3。
所述结果2经过连续两次1*1的步长为1填充为0和3*3的步长为2填充为1的卷积组合和一个1*1的步长为1填充为0的卷积并经过三次上采样后与所述结果1相加后经过连续两次1*1的步长为1填充为0和3*3的步长为2填充为1的卷积组合和一个1*1的步长为1填充为0的卷积获得大小为40*40的检测结果4。
在训练时采用FOCAL LOSS作为损失函数，以如下公式表示损失函数，
FL(pt)＝-αt(1-pt)γlg pt
式中：
pt表示预测的概率，
α与γ均为超参数。
采用Swish作为激活函数，激活函数公式为，
Figure BDA0002682326890000091
式中：
X表示输入图像的tensor张量，
e表示自然常数。
使用FOCAL LOSS作为损失函数解决了类别不平衡问题，使用Swish作为激活函数避免了数值过大的饱和问题。通过以上改进使模型适应现场的复杂场景并提高了模型应用的准确率、召回率及mAP。
卷积神经网络模型的训练过程为，输入图片-图片预处理为指定尺寸输入模型，模型中有卷积层、池化层、BN正则化层、激活函数等等，经过模型后获得若干坐标中心点，以此点为基础生成锚框并根据NMS(Non Maximum Suppression，非极大值抑制)得到对应结果，即预测的图片中各目标的分类及对应位置，即预测框-预测的分类及位置与真实的分类及位置，即标注框进行对比，通过损失函数获得损失值-寻找梯度最大方向进行反向传播-更新模型参数。
步骤4具体包括：
步骤4.1，将训练集中的图片统一调整到640*640。
步骤4.2，对经过步骤4.1调整尺寸后的图片进行图像增强处理；可以理解的是，所属领域技术人员可以使用图像翻转、裁剪、变化颜色、修改亮度、对比度、饱和度等方式进行图像增强处理。
步骤4.3，设定迭代次数(epoch)为10000次，每一批(bitch_size)32张图像，初始学习率为0.001，连续200次没有更优结果则将学习率更新为原学习率的0.1倍。
步骤4.4，使用图像增强处理后的图片训练卷积神经网络模型。
步骤4.5，使用测试集检测每一代训练后卷积神经网络模型的mAP，选取其中mAP最高的卷积神经网络模型作为安全带检测模型。
步骤5，基于步骤4得到的安全带检测模型对监控区域内安全带情况进行实时检测。
实时检测过程为，获得视频-预处理-模型判断是否存在目标，也是获得中心点，应用锚框后及NMS(Non Maximum Suppression，非极大值抑制)后得到结果-模型通过分类判断目标是否安全带-模型回归获得预测框的坐标点并进行绘制-在监视器显示绘制后的图像。
如图3所示，步骤5具体包括以下步骤，
步骤5.1，实时从监控区域内的视频监控设备获取视频数据，将其转化为图片。
步骤5.2，安全带检测模型判断采集的视频图片中是否存在作业人员，即目标。
步骤5.3，对存在作业人员的视频图片进行人物及背景分割，获取锚框位置并判断作业人员是否佩戴安全带；即检测模型会进行分类与回归，分类是将图片分为正样本还是负样本，即背景类，回归是获得预测点的位置。
前面提到特征图尺寸分别为5*5和40*40，在模型中预测的中心坐标落在哪个格子，就由该格子根据对应的锚框大小生成相应的预测框，选取置信度最高的作为预测框。
步骤5.4，若发现未佩戴安全带的目标，使用红色矩形框标注，并标有none字样。标注后图像进行保存处理。
本发明通过采集监控区域内视频图片获得安全带检测数据集并进行标注，通过使用聚类算法获得该安全带检测数据集对应的适用于该监控区域的锚框，通过多个卷积层、池化层、激活层分别得到检测框大小为5*5及40*40的两个输出，多个输出能够更加准确的对不同距离人员进行检测；使用FOCAL LOSS作为损失函数解决了类别不平衡问题，使用Swish作为激活函数避免了数值过大的饱和问题。通过以上改进使模型适应现场的复杂场景并提高了模型应用的准确率、召回率及mAP，有助于相关人员安全意识，帮助工作有序开展。
本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (10)

1.一种电厂作业人员是否佩戴安全带的检测方法，其特征在于，包括以下步骤：
步骤1，从监控区域内的视频监控设备获取历史视频数据，将其转化为图片，形成安全带检测数据集；
步骤2，对安全带检测数据集图片中人员是否佩戴安全带进行标注，并将其按照设定的比例随机划分为训练集与测试集；
步骤3，根据步骤1获得的安全带检测数据集生成其对应的适用于监控区域的锚框；
步骤4，使用训练集训练卷积神经网络模型，使用测试集检测每一代训练后改进的卷积神经网络模型，筛选获得安全带检测模型；
步骤5，从监控区域内的视频监控设备获取实时视频数据，基于步骤4得到的安全带检测模型对监控区域内安全带佩戴情况进行实时检测。
2.根据权利要求1所述的电厂作业人员是否佩戴安全带的检测方法，其特征在于：
步骤2具体包括：
步骤2.1，对安全带检测数据集中人物是否佩戴安全带逐一标注，其中被标注部分作为正样本，未标注部分作为负样本；
步骤2.2，获取每个标注对象的类别及检测框，形成标注对象文件；
步骤2.3，生成安全带检测数据集对应的文件路径，并存储在数据集文件中；
步骤2.4，随机分配步骤2.3中存储在数据集文件内的存有标注内容的标注对象文件，将其以设定的比例分为训练集与测试集。
3.根据权利要求1所述的电厂作业人员是否佩戴安全带的检测方法，其特征在于：
步骤3中，使用聚类方法生成锚框，聚类中距离度量方法为重叠度距离，以如下公式表示预测框与真实框的距离D，
D＝1-IoU(box,clusters)
式中：
D为预测框与真实框的距离，
IoU(·)表示重叠度函数，
box为标注框，
clusters为聚类数目。
4.根据权利要求1至3中任一项所述的电厂作业人员是否佩戴安全带的检测方法，其特征在于：
步骤4中具体包括：
步骤4.1，将训练集中的图片统一调整到640*640；
步骤4.2，对经过步骤4.1调整尺寸后的图片进行图像增强处理；
步骤4.3，设定迭代次数，每一批图像的数量，初始学习率，学习率更新条件；
步骤4.4，使用图像增强处理后的图片训练卷积神经网络模型；
步骤4.5，使用测试集检测每一代训练后卷积神经网络模型的mAP，选取其中mAP最高的卷积神经网络模型作为安全带检测模型。
5.根据权利要求4所述的电厂作业人员是否佩戴安全带的检测方法，其特征在于：
步骤4中，卷积神经网络模型分为1个类别，未安全带的标为none；卷积神经网络模型，其输入图片尺寸为640*640；卷积神经网络模型两输出层锚框数分别为4个和5个，用于检测普通目标、小目标，普通目标的尺寸大于32*32，小目标的尺寸小于或等于32*32；卷积神经网络模型两输出层的特征图尺寸分别为5*5和40*40。
6.根据权利要求5所述的电厂作业人员是否佩戴安全带的检测方法，其特征在于：
步骤4中，卷积神经网络模型对图片的处理过程包括：
i.输入尺寸640*640，通过多个卷积核，获得特征图大小变为40*40；连续三次通过一个1*1的步长为1填充为0特征图数量为256的卷积核，一个3*3的步长为2填充为1特征图数量为512的卷积核，一个残差块的组合，得到第一个检测结果，并与上采样后的输出相连；
ii.第一个检测结果再通过多个卷积核，获得特征图大小变为5*5；连续四次通过一个1*1的步长为1填充为0特征图数量为512的卷积核，一个3*3的步长为2填充为1特征图数量为1024的卷积核，一个残差块的组合，得到第二个检测结果；
iii.第二个检测结果经过连续三次1*1的步长为1填充为0和3*3的步长为2填充为1的卷积组合和一个1*1的步长为1填充为0的卷积获得大小为5*5第三个检测结果作为输出；
iv.第二个检测结果经过连续两次1*1的步长为1填充为0和3*3的步长为2填充为1的卷积组合和一个1*1的步长为1填充为0的卷积并经过三次上采样后与第一个检测结果相加后经过连续两次1*1的步长为1填充为0和3*3的步长为2填充为1的卷积组合和一个1*1的步长为1填充为0的卷积获得大小为40*40的第四个检测结果作为输出。
7.根据权利要求1至7中任一项所述的电厂作业人员是否佩戴安全带的检测方法，其特征在于：
步骤4中，采用FOCAL LOSS作为损失函数，以如下公式表示损失函数，
FL(pt)＝-αt(1-pt)γlgpt
式中：
pt表示预测的概率，
α与γ均为超参数。
8.根据权利要求【】所述的电厂作业人员是否佩戴安全带的检测方法，其特征在于：
步骤4中，采用Swish作为激活函数，激活函数公式为，
Figure FDA0002682326880000031
式中：
X表示输入图像的tensor张量，
e表示自然常数。
9.根据权利要求1至8中任一项所述的电厂作业人员是否佩戴安全带的检测方法，其特征在于：
步骤5具体包括：
步骤5.1，实时从监控区域内的视频监控设备获取视频数据，将其转化为图片；
步骤5.2，安全带检测模型判断采集的视频图片中是否存目标；
步骤5.3，对存在作业的视频图片进行人物及背景分割，获取锚框位置并判断人员是否佩戴安全带；
步骤5.4，若发现未佩戴安全带的目标，使用红色矩形框标注，并标有none字样，标注后图像进行保存处理。
10.一种利用权利要求1至9任一项所述检测方法的电厂作业人员是否佩戴安全带的检测***，其特征在于，包括：
视频监控设备，设置在电厂监控区域内，用于采集视频数据；
监控主机，包括视频模块处理模块和安全带检测模块，用于将视频监控设备的视频数据转化为图片，并使用安全带检测模型判断电厂作业人员是否佩戴安全带；
通信网络，与视频监控设备和监控主机相连接，用于在视频监控设备与监控主机之间传输视频数据；
显示与警示模块，与监控主机相连接，用于显示视频数据和是否佩戴安全带检测结果，若发现未佩戴安全带，发出警示。
CN202010965975.3A 2020-09-15 2020-09-15 一种电厂作业人员是否佩戴安全带的检测方法及检测*** Pending CN112633308A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010965975.3A CN112633308A (zh) 2020-09-15 2020-09-15 一种电厂作业人员是否佩戴安全带的检测方法及检测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010965975.3A CN112633308A (zh) 2020-09-15 2020-09-15 一种电厂作业人员是否佩戴安全带的检测方法及检测***

Publications (1)

Publication Number Publication Date
CN112633308A true CN112633308A (zh) 2021-04-09

Family

ID=75300152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010965975.3A Pending CN112633308A (zh) 2020-09-15 2020-09-15 一种电厂作业人员是否佩戴安全带的检测方法及检测***

Country Status (1)

Country Link
CN (1) CN112633308A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297910A (zh) * 2021-04-25 2021-08-24 云南电网有限责任公司信息中心 一种配网现场作业安全带识别方法
CN113822197A (zh) * 2021-09-23 2021-12-21 南方电网电力科技股份有限公司 工作着装识别方法、装置、电子设备及存储介质
CN114627425A (zh) * 2021-06-11 2022-06-14 珠海路讯科技有限公司 一种基于深度学习的检测工人是否佩戴安全帽的方法
CN114742180A (zh) * 2022-06-13 2022-07-12 中国南方电网有限责任公司超高压输电公司检修试验中心 高空作业安全等级确定方法、装置和计算机设备
WO2023070955A1 (zh) * 2021-10-29 2023-05-04 北京航天自动控制研究所 一种基于计算机视觉的港口作业区微小目标检测方法和装置
CN116229522A (zh) * 2023-05-10 2023-06-06 广东电网有限责任公司湛江供电局 一种变电站作业人员安全防护装备检测方法和***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038424A (zh) * 2017-11-27 2018-05-15 华中科技大学 一种适用于高空作业的视觉自动化检测方法
CN110163836A (zh) * 2018-11-14 2019-08-23 宁波大学 基于深度学习用于高空巡检下的挖掘机检测方法
CN110287804A (zh) * 2019-05-30 2019-09-27 广东电网有限责任公司 一种基于移动视频监控的电力作业人员着装识别方法
CN110310259A (zh) * 2019-06-19 2019-10-08 江南大学 一种基于改进YOLOv3算法的木结瑕疵检测方法
CN110929577A (zh) * 2019-10-23 2020-03-27 桂林电子科技大学 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN111144263A (zh) * 2019-12-20 2020-05-12 山东大学 一种建筑工人高坠事故预警方法及装置
CN111160440A (zh) * 2019-12-24 2020-05-15 广东省智能制造研究所 一种基于深度学习的安全帽佩戴检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038424A (zh) * 2017-11-27 2018-05-15 华中科技大学 一种适用于高空作业的视觉自动化检测方法
CN110163836A (zh) * 2018-11-14 2019-08-23 宁波大学 基于深度学习用于高空巡检下的挖掘机检测方法
CN110287804A (zh) * 2019-05-30 2019-09-27 广东电网有限责任公司 一种基于移动视频监控的电力作业人员着装识别方法
CN110310259A (zh) * 2019-06-19 2019-10-08 江南大学 一种基于改进YOLOv3算法的木结瑕疵检测方法
CN110929577A (zh) * 2019-10-23 2020-03-27 桂林电子科技大学 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN111144263A (zh) * 2019-12-20 2020-05-12 山东大学 一种建筑工人高坠事故预警方法及装置
CN111160440A (zh) * 2019-12-24 2020-05-15 广东省智能制造研究所 一种基于深度学习的安全帽佩戴检测方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297910A (zh) * 2021-04-25 2021-08-24 云南电网有限责任公司信息中心 一种配网现场作业安全带识别方法
CN114627425A (zh) * 2021-06-11 2022-06-14 珠海路讯科技有限公司 一种基于深度学习的检测工人是否佩戴安全帽的方法
CN114627425B (zh) * 2021-06-11 2024-05-24 珠海路讯科技有限公司 一种基于深度学习的检测工人是否佩戴安全帽的方法
CN113822197A (zh) * 2021-09-23 2021-12-21 南方电网电力科技股份有限公司 工作着装识别方法、装置、电子设备及存储介质
WO2023070955A1 (zh) * 2021-10-29 2023-05-04 北京航天自动控制研究所 一种基于计算机视觉的港口作业区微小目标检测方法和装置
CN114742180A (zh) * 2022-06-13 2022-07-12 中国南方电网有限责任公司超高压输电公司检修试验中心 高空作业安全等级确定方法、装置和计算机设备
CN114742180B (zh) * 2022-06-13 2022-09-20 中国南方电网有限责任公司超高压输电公司检修试验中心 高空作业安全等级确定方法、装置和计算机设备
CN116229522A (zh) * 2023-05-10 2023-06-06 广东电网有限责任公司湛江供电局 一种变电站作业人员安全防护装备检测方法和***

Similar Documents

Publication Publication Date Title
CN112633308A (zh) 一种电厂作业人员是否佩戴安全带的检测方法及检测***
CN111881730A (zh) 一种火电厂现场安全帽佩戴检测方法
CN108830188B (zh) 基于深度学习的车辆检测方法
CN111860160B (zh) 一种室内检测口罩佩戴的方法
CN110930390B (zh) 基于半监督深度学习的芯片管脚缺失检测方法
CN110458157B (zh) 一种电力电缆生产过程智能监控***
CN108520516A (zh) 一种基于语义分割的桥梁路面裂缝检测和分割方法
CN104597057B (zh) 一种基于机器视觉的柱状二极管表面缺陷检测装置
CN113553977B (zh) 一种基于改进yolo v5的安全帽检测方法和***
CN110414400B (zh) 一种施工现场安全帽穿戴自动检测方法及***
CN111626170B (zh) 一种铁路边坡落石侵限检测的图像识别方法
CN112633052A (zh) 一种皮带撕裂检测方法
CN104361332A (zh) 一种用于疲劳驾驶检测的人脸眼睛区域定位方法
CN108664875A (zh) 基于图像识别的井下皮带运输监控方法
CN111460903A (zh) 基于深度学习的田间西兰花长势监测***及方法
CN106548131A (zh) 一种基于行人检测的施工人员安全帽实时检测方法
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN106570440A (zh) 基于图像分析的人数统计方法和人数统计装置
CN111626169A (zh) 一种基于图像的铁路危险落石尺寸判断方法
Isa et al. CNN transfer learning of shrimp detection for underwater vision system
CN116665011A (zh) 一种基于机器视觉的煤矿带式输送机煤流异物识别方法
CN104598914A (zh) 一种肤色检测的方法及装置
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法
CN103293167A (zh) 泡沫镍中铜颗粒自动检测方法及***
CN104851102B (zh) 一种基于人类视觉***的红外小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination