CN113139437B - 一种基于YOLOv3算法的安全帽佩戴检查方法 - Google Patents
一种基于YOLOv3算法的安全帽佩戴检查方法 Download PDFInfo
- Publication number
- CN113139437B CN113139437B CN202110352476.1A CN202110352476A CN113139437B CN 113139437 B CN113139437 B CN 113139437B CN 202110352476 A CN202110352476 A CN 202110352476A CN 113139437 B CN113139437 B CN 113139437B
- Authority
- CN
- China
- Prior art keywords
- safety helmet
- frame
- scale
- detection
- worker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于YOLOv3算法的安全帽佩戴检查方法,通过对YOLOv3模型的检测尺度进行拓展,得到尺寸更大的特征图,进而避免安全帽特征较小时造成检测精度不足或特征提取困难的问题;同时对YOLOv3中的损失函数进行改进,基于尺度检测框与真实目标框之间的IoU值得对数损失建立损失函数,进而避免了传统的YOLOv3模型中损失函数对尺度信息敏感的问题,进而大大提高了YOLOv3模型迭代计算的效率和稳定性,最终使得对安全帽特征的检测提取效率更高,精度更高。
Description
技术领域
本发明属于图像检测识别的技术领域,具体涉及一种基于YOLOv3算法的安全帽佩戴检查方法。
背景技术
为了保护工作人员的安全,工作人员在进入车间时必须佩戴安全帽,但是实际情况中由于工作人员的疏忽,经常没有佩戴安全帽。而车间或施工现场中往往通过设置安全巡检员对工作人员是否佩戴安全帽进行巡查,但是上述检查方式存在区域性限制且效率低下。
现有技术中也通过图像目标检测的技术检测工作人员是否佩戴安全帽,目前使用较多的是基于YOLO算法进行图像检测。但是在传统的基于YOLO算法进行图像检测的过程中,需要对图像特征进行提取。由于工作人员佩戴的安全帽的体积相比人体以及场景存在体积小的问题,因此传统基于YOLO算法进行安全帽佩戴检测就存在图像特征提取困难、特征提取敏感性高的问题。同时由于车间等施工现场面积较大,这就造成采集的图像中安全帽或人体等特征体积较小,进一步造成传统基于YOLO算法提取安全帽或人体特征时存在特征提取困难、特征提取精度不足的问题,进而造成最终检测结果不够准确。
针对传统的基于YOLO算法进行图像检测以判断工作人员是否佩戴安全帽存在的特征提取困难、检测精度不足的缺陷,本发明公开了一种基于YOLOv3算法的安全帽佩戴检查方法。
发明内容
本发明的目的在于提供一种基于YOLOv3算法的安全帽佩戴检查方法,实现对车间内的工作人员是否佩戴安全帽进行高效精确判断。
本发明通过下述技术方案实现:
一种基于YOLOv3算法的安全帽佩戴检查方法,包括以下步骤:
步骤1、对样本图片中的工人头部及安全帽进行标记得到真实目标框,并将YOLOv3模型的网络结构拓展为4尺度检测结构,并通过拓展的网络结构对样本图片进行卷积和下采样处理得到特征图,然后对特征图中的工人头部及安全帽特征进行预测得到尺度预测框;
步骤2、对尺度预测框包含的工人头部及安全帽特征进行分类回归与位置回归,得到尺度预测框中工人头部及安全帽特征映射至特征图上的预测位置参数;并将尺度预测框对应的预测位置参数与真实目标框的实际位置参数进行比对得到位置误差,根据位置误差对YOLOv3模型的权重参数进行更新;
步骤3、根据尺度预测框与真实目标框之间的IoU值的对数损失建立损失函数,并根据YOLOv3模型更新后的权重参数计算损失函数值;
步骤4、迭代进行步骤2与步骤3,直到损失函数值趋于平稳即完成YOLOv3模型训练,得到最优的安全帽佩戴检测网络模型;
步骤5、将现场作业图像输入步骤4中得到的安全帽佩戴检测网络模型进行安全帽佩戴检测。
为了更好的实现本发明,进一步地,所述步骤1包括以下步骤:
步骤1.1、通过标注软件对样本图片中的工人头部及安全帽进行标注获得样本集;
步骤1.2、基于YOLOv3模型中的PyTorch深度学习框架搭建多尺度目标检测网络Darknet-53;
步骤1.3、向多尺度目标检测网络Darknet-53中输入样本图片,并通过多尺度目标检测网络Darknet-53对样本图片依次进行6次二倍下采样和卷积,得到四种尺寸的特征图;
步骤1.4、将不同尺寸的特征图中的每一个像素点作为一个基准点,并围绕基准点采用3×3像素的卷积核在特征图上滑动,围绕当前基准点选取3个不同面积大小的候选区域,并对候选区域中的工人头部及安全帽特征进行预测得到尺度预测框;
步骤1.5、采用K-means聚类方法得到尺度预测框的大小。
为了更好的实现本发明,进一步地,通过上采样的方式将位于多尺度目标检测网络Darknet-53中深层和浅层的特征图中的特征向量融合,以减少卷积过程中特征信息的丢失。
为了更好的实现本发明,进一步地,输入多尺度目标检测网络Darknet-53的样本图片大小为832×832像素,依次经过6次二倍下采样和卷积,并在第3-6次二倍下采样和卷积后分别得到104×104像素、52×52像素、26×26像素、13×13像素四种尺寸的特征图。
为了更好的实现本发明,进一步地,将样本图片的大小规范化为832×832像素大小后,将每64张样本图片作为一组,将每128组样本图片作为一批次输入多尺度目标检测网络Darknet-53的内存,并设置多尺度目标检测网络Darknet-53的权重衰减速率为0.005,设置动量梯度下降动量值为0.9,设置池化方式为最大池化方式,设置Padding模式为SAME。
为了更好的实现本发明,进一步地,所述步骤2包括以下步骤:
步骤2.1、对尺度预测框中的工人头部及安全帽特征进行分类回归与位置回归,判断当前尺度预测框中是否含有工人头部与安全帽特征以及工人头部与安全帽特征的位置信息;
步骤2.2、根据YOLOv3模型计算的尺度预测框与真实目标框之间的匹配得分选取匹配得分最高的尺度预测框作为检测结果框;
步骤2.3、将检测结果框映射至特征图上并归一化图片大小,然后计算检测结果框中的工人头部及安全帽特征在特征图中的预测位置参数;
步骤2.4、将检测结果框中的工人头部及安全帽特征的预测位置参数与真实目标框中工人头部及安全帽特征的实际位置参数进行比对得到位置误差;
步骤2.5、采用误差反向传播法和梯度下降法对位置误差进行处理,根据位置误差的处理结果对YOLOv3模型的权重参数进行更新。
为了更好的实现本发明,进一步地,所述预测位置参数包括像素位置和置信度。
为了更好的实现本发明,进一步地,所述步骤3中建立损失函数包括以下步骤:
步骤3.1、计算尺度预测框与真实目标框之间的IoU值;
步骤3.2、根据尺度预测框与真实目标框之间的IoU值的对数损失构建损失函数,损失函数的计算公式如下:
其中:P1为真实目标框;P2为尺度预测框;P为包含P1和P2的包含框。
为了更好的实现本发明,进一步地,所述IoU值的计算公式如下:
其中:P1为真实目标框;P2为尺度预测框。
为了更好的实现本发明,进一步地,所述步骤5包括以下步骤:
步骤5.1、采用摄像头采集实际工作视频,并对工作视频进行取帧得到现场图像,将现场图像输入训练好的安全帽佩戴检测网络模型进行安全帽特征识别提取;
步骤5.2、安全帽佩戴检测网络模型在现场图像的左上角建立原点,并分别沿水平方向建立X轴,沿竖直方向建立Y轴以得到平面坐标系O-XY;
步骤5.3、通过安全帽佩戴检测网络模型输出现场图片中工人头部及安全帽特征的检测框Ri[x,y,w,h,probability],其中(x,y)为检测框坐上角点的坐标,w为检测框沿着X轴的宽度,h为检测框沿着Y轴的高度,probability为分类概率;
步骤5.4、通过NMS非极大值抑制法合并检测框,通过计算相邻的检测框之间重叠部分的IoU值,若相邻的检测框为同一类且IoU值大于0.9,则合并相邻的预测框;
步骤5.5、通过安全帽佩戴检测网络模型对合并后的检测框中的工人头部及安全帽特征进行提取检测,以判断工作人员是否佩戴安全帽。
本发明与现有技术相比,具有以下优点及有益效果:
(1)本发明对YOLOv3模型中的检测网络进行尺度拓展,构建多尺度目标检测网络Darknet-53,并通过多尺度目标检测网络Darknet-53对样本图片进行处理得到四种尺寸的特征图,解决了安全帽特征较小时难以提取或提取精度不足的问题;
(2)本发明将安全帽特征映射至特征图得到预测位置参数,并将预测位置参数与真实目标框的实际位置参数进行比对得到位置误差,根据位置误差对YOLOv3模型的权重参数进行更新,同时基于尺度检测框与真实目标框之间IoU值的对数损失建立损失函数,解决了传统的YOLOv3模型中的损失函数对尺度信息敏感的问题,有效提高YOLOv3模型的迭代计算效率;
(3)本发明根据权重参数的更新迭代计算损失函数值,直到损失函数趋于稳定即得到最优的安全帽佩戴检测网络模型,通过优化后的安全帽佩戴检测网络模型对现场作业图像中的安全帽特征进行高效精确检测提取,大大提高安全帽检测的效率和精度。
附图说明
图1为本发明的流程示意图;
图2为尺度检测框与真实目标框之间的重叠示意图;
图3为多尺度目标检测网络的结构示意图。
具体实施方式
实施例1:
本实施例的一种基于YOLOv3算法的安全帽佩戴检查方法,如图1所示,具体流程步骤如下:
在对样本图片进行标记之前,需要构建样本图像集,通过采集车间工作人员规范佩戴安全帽的图片、工作人员没有佩戴安全帽的图片、不含人体的场景图片制作样本图像集,样本图像集的采集步骤如下:
步骤a、通过摄像头采集车间内工作人员规范佩戴安全帽的视频,并对视频进行取帧得到图片;进一步的,每隔10帧抽取视频中的一张图片,抽取的图片中包含工作人员规范佩戴安全帽的图片以及不含有人体的场景图片;
步骤b、通过摄像头采集车间内工作人员没有佩戴安全帽的视频,并对视频进行取帧得到图片;即在保证安全的前提下,让工作人员不佩戴安全帽进入车间,并通过摄像头采集工作人员没有佩戴安全帽的视频,且视频采集过程中,保证工作人员至少正对摄像头及背对摄像头一次。每隔5帧抽取视频中的一张图片,抽取的图片中包含工作人员没有佩戴安全帽的图片以及不含有人体的场景图片;
步骤c、通过摄像头采集车间内部分工作人员规范佩戴安全帽部分工作人员没有佩戴安全帽的视频,并对视频进行取帧得到图片;即在保证安全的前提下,让部分工作人员规范佩戴安全帽进入车间,让部分工作人员不佩戴安全帽进入车间,并通过摄像头采集工作人员没有佩戴安全帽的视频,且视频采集过程中,保证工作人员至少正对摄像头及背对摄像头一次。每隔5帧抽取视频中的一张图片,抽取的图片中包含工作人员规范佩戴安全帽的图片、工作人员没有佩戴安全帽的图片、不含有人体的场景图片;
步骤d、通过网络爬虫以及公开数据集采集各种场景中工作人员佩戴安全帽的图片数据;
将上述步骤a-步骤d中得到的图片按照3:3:3:2的比例构建样本图像集,且采集的样本图片的分辨率大小为1920×1080像素。使得最终构建的图像集能够充分涵盖规范佩戴安全帽、没有佩戴安全帽、不含人体的车间场景、其余场景下佩戴安全帽的情况,使得图像集更加充分。
样本图像集构建完成后,通过开源标注工具LabelImg采用YOLO通用格式对样本图片集中的样本图片进行标注,对样本图片中的工人头部及安全帽形成真实目标框,对每一张样本图片生成txt格式的标注文件,标注文件中包含样本图片的目标类别以及真实目标框的坐标信息,目标类别包括含有人体且佩戴安全帽的“helmet”、含有人体且未佩戴安全帽的“no-helmet”。
基于YOLOv3模型中的PyTorch深度学习框架搭建多尺度目标检测网络Darknet-53,向多尺度目标检测网络Darknet-53中输入样本图片,并通过多尺度目标检测网络Darknet-53对样本图片依次进行6次二倍下采样和卷积。
如图3所示,将样本图片的大小规范化为832×832像素,然后将样本图片输入多尺度目标检测网络Darknet-53,依次对样本图片进行6次二倍下采样和卷积,并依次提取第3次二倍下采样后得到的104×104像素的特征图,第4次二倍下采样后得到的52×52像素的特征图,第5次二倍下采样后得到的26×26像素的特征图,第6次二倍下采样后得到的13×13像素的特征图。针对尺寸较小的安全帽特征,则将其映射至104×104像素的特征图或52×52像素的特征图中以进行后续特征检测提取,避免因安全帽特征较小导致提取精度不足或特征提取困难;针对尺寸较大的安全帽特征,则将其映射至26×26像素的特征图或13×13像素的特征图中以进行后续特征检测提取,进一步保证特征检测与提取的精度。
得到不同尺寸的特征图后,通过3×3像素大小的卷积核在特征图上滑动,将特征图的每一个像素点当成一个基准点,围绕这个基准点选取3个不同面积大小的候选区域,并对每个候选区域中的工人头部及安全帽特征进行预测得到尺度预测框。
对尺度预测框包含的工人头部及安全帽特征进行分类回归与位置回归,得到尺度预测框中工人头部及安全帽特征映射至特征图上的预测位置参数;并将尺度预测框对应的预测位置参数与真实目标框的实际位置参数进行比对得到位置误差,通过误差反向传播法和梯度下降法根据位置误差对模型权重参数进行迭代更新,并通过更新后的权重参数计算损失函数值,直到损失函数值不再大幅下降并趋于稳定时,即得到最优的安全帽佩戴检测网络模型。
然后即可将现场作业图像输入已经训练好的安全帽佩戴检测网络模型以进行工人头部及安全帽特征识别,进而判断工作人员是否佩戴安全帽。同时安全帽佩戴检测网络模型与监控计算机连接,安全帽佩戴检测网络模型将检测结果传输至监控计算机进行实时显示。
实施例2:
本实施例在实施例1的基础上做进一步优化,在传统的YOLOv3算法中,一般采用均方差作为目标定位损失函数来进行检测框的回归,但是基于均方差的损失函数对尺度信息很敏感,其偏导值在输出概率值接近0或接近1时会变得非常小,容易造成YOLOv3模型训练刚开始时的偏导值几乎消失,进而造成模型训练缓慢甚至停滞。
因此,本发明中对损失函数进行改进,使用尺度预测框与真实目标框之间的IoU值的对数损失构建损失函数来衡量尺度预测框与真实目标框之间的相似性,有效避免损失函数对尺度信息的敏感性,进而保证模型训练的效率。
构建损失函数具体步骤如下:
如图2所示,产生一个包含框P将尺度预测框P1与真实目标框P2均包含在内,且包含框P的边界最优与尺度预测框P1及真实目标框P2的边界重合。尺度预测框P1与真实目标框P2部分重叠,则计算尺度预测框P1与真实目标框P2之间的IoU值,计算公式如下:
其中,P1∩P2为尺度预测框与真实目标框的交集;P1∪P2为尺度预测框与真实目标框的并集。
得到尺度预测框与真实目标框的IoU值后,即可构建损失函数,损失函数计算公式如下:
其中:P1为真实目标框;P2为尺度预测框;P为包含P1和P2的包含框;P1∪P2为尺度预测框与真实目标框的并集。
通过损失函数可以看出,当尺度预测框与真实目标框之间的IoU值越接近1,即包含框中除去尺度预测框与真实目标框之后的空白区域越接近0时,损失函数越小。根据权重参数的更新迭代计算损失函数值,至少经过4000次迭代计算后,当损失函数的值趋于平稳后,即得到最优的安全帽佩戴检测网络模型。
本实施例的其他部分与实施例1相同,故不再赘述。
实施例3:
本实施例在上述实施例1或2的基础上做进一步优化,YOLOv3模型中的特征网络采用多尺度目标检测网络Darknet-53进行特征提取,多尺度目标检测网络Darknet-53结构中包含交替出现的1×1和3×3的卷积层,采用残差结构和全卷积网络来解决深层网络下梯度消失问题,减轻了网络训练的难度。原始的Darknet-53网络中,采用Softmax分类器得到最后的输出。本发明在改进后的多尺度目标检测网络Darknet-53中,将在原算法的3尺度检测基础上拓展为4尺度检测,依次进行6次二倍下采样和卷积,并通过第3次、第4次、第5次、第6次二倍下采样分别得到尺寸为104×104像素、52×52像素、26×26像素以及13×13像素大小的特征图,并通过上采样的方式将位于深层和浅层的特征图中的特征向量融合到一起,进一步减少卷积过程中较小安全帽区域的特征信息丢失,同时也使得深层特征得到更好的利用,提升安全帽佩戴检测的准确率。
本实施例的其他部分与上述实施例1或2相同,故不再赘述。
实施例4:
本实施例在上述实施例1-3任一项的基础上做进一步优化,采用摄像头采集实际工作视频,并对工作视频进行取帧得到现场图像,将现场图像输入训练好的安全帽佩戴检测网络模型进行安全帽特征识别提取;
通过安全帽佩戴检测网络模型在现场图像的左上角建立原点,并分别沿水平方向建立X轴,沿竖直方向建立Y轴以得到平面坐标系O-XY;
通过安全帽佩戴检测网络模型输出现场图片中工人头部及安全帽特征的检测框Ri[x,y,w,h,probability],其中(x,y)为检测框坐上角点的坐标,w为检测框沿着X轴的宽度,h为检测框沿着Y轴的高度,probability为分类概率;通过分类概率计算当前检测框Ri的置信度,并与预先设定的置信度阈值进行对比,当检测框Ri的置信度低于置信度阈值时,则直接将当前检测框Ri舍弃,进而提高后续计算效率。
通过NMS非极大值抑制法合并检测框,通过计算相邻的检测框之间重叠部分的IoU值,若相邻的检测框为同一类且IoU值大于0.9,则合并相邻的预测框;通过安全帽佩戴检测网络模型对合并后的检测框中的工人头部及安全帽特征进行提取检测,以判断工作人员是否佩戴安全帽。
本实施例的其他部分与上述实施例1-3任一项相同,故不再赘述。
实施例5:
本实施例在上述实施例1-4任一项的基础上做进一步优化,一种基于YOLOv3算法的安全帽佩戴检查方法,包括以下步骤:
步骤1、对样本图片中的工人头部及安全帽进行标记得到真实目标框,并将YOLOv3模型的网络结构拓展为4尺度检测结构,并通过拓展的网络结构对样本图片进行卷积和下采样处理得到特征图,然后对特征图中的工人头部及安全帽特征进行预测得到尺度预测框;
步骤2、对尺度预测框包含的工人头部及安全帽特征进行分类回归与位置回归,得到尺度预测框中工人头部及安全帽特征映射至特征图上的预测位置参数;并将尺度预测框对应的预测位置参数与真实目标框的实际位置参数进行比对得到位置误差,根据位置误差对YOLOv3模型的权重参数进行更新;
步骤3、根据尺度预测框与真实目标框之间的IoU值的对数损失建立损失函数,并根据YOLOv3模型更新后的权重参数计算损失函数值;
步骤4、迭代进行步骤2与步骤3,直到损失函数值趋于平稳即完成YOLOv3模型训练,得到最优的安全帽佩戴检测网络模型;
步骤5、将现场作业图像输入步骤4中得到的安全帽佩戴检测网络模型进行安全帽佩戴检测。
本实施例的其他部分与上述实施例1-4任一项相同,故不再赘述
以上所述,仅是本发明的较佳实施例,并非对本发明做任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化,均落入本发明的保护范围之内。
Claims (9)
1.一种基于YOLOv3算法的安全帽佩戴检查方法,其特征在于,包括以下步骤:
步骤1、对样本图片中的工人头部及安全帽进行标记得到真实目标框,并将YOLOv3模型的网络结构拓展为4尺度检测结构,并通过拓展的网络结构对样本图片进行卷积和下采样处理得到特征图,然后对特征图中的工人头部及安全帽特征进行预测得到尺度预测框;
步骤2、对尺度预测框包含的工人头部及安全帽特征进行分类回归与位置回归,得到尺度预测框中工人头部及安全帽特征映射至特征图上的预测位置参数;并将尺度预测框对应的预测位置参数与真实目标框的实际位置参数进行比对得到位置误差,根据位置误差对YOLOv3模型的权重参数进行更新;
步骤3、根据尺度预测框与真实目标框之间的IoU值的对数损失建立损失函数,并根据YOLOv3模型更新后的权重参数计算损失函数值;
步骤4、迭代进行步骤2与步骤3,直到损失函数值趋于平稳即完成YOLOv3模型训练,得到最优的安全帽佩戴检测网络模型;
步骤5、将现场作业图像输入步骤4中得到的安全帽佩戴检测网络模型进行安全帽佩戴检测;
所述步骤3中建立损失函数包括以下步骤:
步骤3.1、计算尺度预测框与真实目标框之间的IoU值;
步骤3.2、根据尺度预测框与真实目标框之间的IoU值的对数损失构建损失函数,损失函数的计算公式如下:
其中:P1为真实目标框;P2为尺度预测框;P为包含P1和P2的包含框。
2.根据权利要求1所述的一种基于YOLOv3算法的安全帽佩戴检查方法,其特征在于,所述步骤1包括以下步骤:
步骤1.1、通过标注软件对样本图片中的工人头部及安全帽进行标注获得样本图像集;
步骤1.2、基于YOLOv3模型中的PyTorch深度学习框架搭建多尺度目标检测网络Darknet-53;
步骤1.3、向多尺度目标检测网络Darknet-53中输入样本图片,并通过多尺度目标检测网络Darknet-53对样本图片依次进行6次二倍下采样和卷积,得到四种尺寸的特征图;
步骤1.4、将不同尺寸的特征图中的每一个像素点作为一个基准点,并围绕基准点采用3×3像素的卷积核在特征图上滑动,围绕当前基准点选取3个不同面积大小的候选区域,并对候选区域中的工人头部及安全帽特征进行预测得到尺度预测框;
步骤1.5、采用K-means聚类方法得到尺度预测框的大小。
3.根据权利要求2所述的一种基于YOLOv3算法的安全帽佩戴检查方法,其特征在于,通过上采样的方式将位于多尺度目标检测网络Darknet-53中深层和浅层的特征图中的特征向量融合,以减少卷积过程中特征信息的丢失。
4.根据权利要求3所述的一种基于YOLOv3算法的安全帽佩戴检查方法,其特征在于,输入多尺度目标检测网络Darknet-53的样本图片大小为832×832像素,依次经过6次二倍下采样和卷积,并在第3-6次二倍下采样和卷积后分别得到104×104像素、52×52像素、26×26像素、13×13像素四种尺寸的特征图。
5.根据权利要求4所述的一种基于YOLOv3算法的安全帽佩戴检查方法,其特征在于,将样本图片的大小规范化为832×832像素大小后,将每64张样本图片作为一组,将每128组样本图片作为一批次输入多尺度目标检测网络Darknet-53的内存,并设置多尺度目标检测网络Darknet-53的权重衰减速率为0.005,设置动量梯度下降动量值为0.9,设置池化方式为最大池化方式,设置Padding模式为SAME。
6.根据权利要求1-5任一项所述的一种基于YOLOv3算法的安全帽佩戴检查方法,其特征在于,所述步骤2包括以下步骤:
步骤2.1、对尺度预测框中的工人头部及安全帽特征进行分类回归与位置回归,判断当前尺度预测框中是否含有工人头部与安全帽特征以及工人头部与安全帽特征的位置信息;
步骤2.2、根据YOLOv3模型计算的尺度预测框与真实目标框之间的匹配得分选取匹配得分最高的尺度预测框作为检测结果框;
步骤2.3、将检测结果框映射至特征图上并归一化图片大小,然后计算检测结果框中的工人头部及安全帽特征在特征图中的预测位置参数;
步骤2.4、将检测结果框中的工人头部及安全帽特征的预测位置参数与真实目标框中工人头部及安全帽特征的实际位置参数进行比对得到位置误差;
步骤2.5、采用误差反向传播法和梯度下降法对位置误差进行处理,根据位置误差的处理结果对YOLOv3模型的权重参数进行更新。
7.根据权利要求6所述的一种基于YOLOv3算法的安全帽佩戴检查方法,其特征在于,所述预测位置参数包括像素位置和置信度。
9.根据权利要求1-5任一项所述的一种基于YOLOv3算法的安全帽佩戴检查方法,其特征在于,所述步骤5包括以下步骤:
步骤5.1、采用摄像头采集实际工作视频,并对工作视频进行取帧得到现场图像,将现场图像输入训练好的安全帽佩戴检测网络模型进行安全帽特征识别提取;
步骤5.2、通过安全帽佩戴检测网络模型在现场图像的左上角建立原点,并分别沿水平方向建立X轴,沿竖直方向建立Y轴以得到平面坐标系O-XY;
步骤5.3、通过安全帽佩戴检测网络模型输出现场图片中工人头部及安全帽特征的检测框Ri[x,y,w,h,probability],其中(x,y)为检测框左 上角点的坐标,w为检测框沿着X轴的宽度,h为检测框沿着Y轴的高度,probability为分类概率;
步骤5.4、通过NMS非极大值抑制法合并检测框,通过计算相邻的检测框之间重叠部分的IoU值,若相邻的检测框为同一类且IoU值大于0.9,则合并相邻的预测框;
步骤5.5、通过安全帽佩戴检测网络模型对合并后的检测框中的工人头部及安全帽特征进行提取检测,以判断工作人员是否佩戴安全帽。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110352476.1A CN113139437B (zh) | 2021-03-31 | 2021-03-31 | 一种基于YOLOv3算法的安全帽佩戴检查方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110352476.1A CN113139437B (zh) | 2021-03-31 | 2021-03-31 | 一种基于YOLOv3算法的安全帽佩戴检查方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113139437A CN113139437A (zh) | 2021-07-20 |
CN113139437B true CN113139437B (zh) | 2022-09-20 |
Family
ID=76811387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110352476.1A Active CN113139437B (zh) | 2021-03-31 | 2021-03-31 | 一种基于YOLOv3算法的安全帽佩戴检查方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113139437B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113553948A (zh) * | 2021-07-23 | 2021-10-26 | 中远海运科技(北京)有限公司 | 烟虫自动识别和计数方法、计算机可读介质 |
CN113792629B (zh) * | 2021-08-31 | 2023-07-18 | 华南理工大学 | 一种基于深度神经网络的安全帽佩戴检测方法及*** |
CN114067365B (zh) * | 2021-11-23 | 2024-07-02 | 广东工业大学 | 一种基于中心注意向心网络的安全帽佩戴检测方法和*** |
CN114611961A (zh) * | 2022-03-17 | 2022-06-10 | 合肥金人科技有限公司 | 基于ai视觉技术的作业人员合规性检测方法 |
CN116824517B (zh) * | 2023-08-31 | 2023-11-17 | 安徽博诺思信息科技有限公司 | 基于可视化的变电站运维安全管控*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111160407A (zh) * | 2019-12-10 | 2020-05-15 | 重庆特斯联智慧科技股份有限公司 | 一种深度学习目标检测方法及*** |
EP3703008A1 (en) * | 2019-02-26 | 2020-09-02 | Zenuity AB | Object detection and 3d box fitting |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110689054B (zh) * | 2019-09-10 | 2022-04-01 | 华中科技大学 | 一种工人违规行为监测方法 |
AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
CN111881730A (zh) * | 2020-06-16 | 2020-11-03 | 北京华电天仁电力控制技术有限公司 | 一种火电厂现场安全帽佩戴检测方法 |
CN111860160B (zh) * | 2020-06-16 | 2023-12-12 | 国能信控互联技术有限公司 | 一种室内检测口罩佩戴的方法 |
CN111723786B (zh) * | 2020-08-21 | 2020-12-25 | 之江实验室 | 一种基于单模型预测的安全帽佩戴检测方法及装置 |
CN112149512A (zh) * | 2020-08-28 | 2020-12-29 | 成都飞机工业(集团)有限责任公司 | 一种基于两阶段深度学习的安全帽佩戴识别方法 |
CN112418268B (zh) * | 2020-10-22 | 2024-07-12 | 北京迈格威科技有限公司 | 目标检测方法、装置及电子设备 |
CN112287884B (zh) * | 2020-11-19 | 2024-02-20 | 长江大学 | 一种考试异常行为检测方法、装置及计算机可读存储介质 |
-
2021
- 2021-03-31 CN CN202110352476.1A patent/CN113139437B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3703008A1 (en) * | 2019-02-26 | 2020-09-02 | Zenuity AB | Object detection and 3d box fitting |
CN111160407A (zh) * | 2019-12-10 | 2020-05-15 | 重庆特斯联智慧科技股份有限公司 | 一种深度学习目标检测方法及*** |
Non-Patent Citations (1)
Title |
---|
3D-GIoU: 3D Generalized Intersection over Union for Object Detection in Point Cloud;Jun Xu等;《sensors》;20200922;第1-16页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113139437A (zh) | 2021-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113139437B (zh) | 一种基于YOLOv3算法的安全帽佩戴检查方法 | |
CN107833236B (zh) | 一种动态环境下结合语义的视觉定位***和方法 | |
US20210319561A1 (en) | Image segmentation method and system for pavement disease based on deep learning | |
CN109685066B (zh) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 | |
WO2021196294A1 (zh) | 一种跨视频人员定位追踪方法、***及设备 | |
US11144786B2 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
CN104091369B (zh) | 一种无人机遥感影像建筑物三维损毁检测方法 | |
CN110532970B (zh) | 人脸2d图像的年龄性别属性分析方法、***、设备和介质 | |
CN111563442A (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及*** | |
US20220180534A1 (en) | Pedestrian tracking method, computing device, pedestrian tracking system and storage medium | |
CN108648194B (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
JP6453488B2 (ja) | 人体頭頂部の識別に基づく通行人の統計方法及び装置 | |
CN112149512A (zh) | 一种基于两阶段深度学习的安全帽佩戴识别方法 | |
CN113516664A (zh) | 一种基于语义分割动态点的视觉slam方法 | |
CN112446852B (zh) | 一种隧道成像平面展示方法及缺陷智能识别*** | |
CN113903011A (zh) | 一种适用于室内停车场的语义地图构建及定位方法 | |
US20220366570A1 (en) | Object tracking device and object tracking method | |
CN112070043A (zh) | 基于特征融合的安全帽佩戴卷积网络、训练及检测方法 | |
CN113033315A (zh) | 一种稀土开采高分影像识别与定位方法 | |
CN111738206A (zh) | 基于CenterNet的用于无人机巡检的挖掘机检测方法 | |
CN112200056A (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
CN116844147A (zh) | 一种基于深度学习的指针式仪表识别和异常警报方法 | |
CN116188417A (zh) | 基于slam和图像处理的裂缝检测及其三维定位方法 | |
CN115862113A (zh) | 陌生人异常识别方法、装置、设备及存储介质 | |
CN113537019B (zh) | 基于关键点识别变电站人员安全帽佩戴的检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |