CN117132943A - 一种安全帽佩戴检测方法、装置、***及存储介质 - Google Patents
一种安全帽佩戴检测方法、装置、***及存储介质 Download PDFInfo
- Publication number
- CN117132943A CN117132943A CN202311362168.2A CN202311362168A CN117132943A CN 117132943 A CN117132943 A CN 117132943A CN 202311362168 A CN202311362168 A CN 202311362168A CN 117132943 A CN117132943 A CN 117132943A
- Authority
- CN
- China
- Prior art keywords
- detection
- model
- safety helmet
- module
- helmet wearing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 207
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000001629 suppression Effects 0.000 claims abstract description 30
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 40
- 230000004927 fusion Effects 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 21
- 230000008878 coupling Effects 0.000 claims description 17
- 238000010168 coupling process Methods 0.000 claims description 17
- 238000005859 coupling reaction Methods 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 11
- 238000011176 pooling Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010019196 Head injury Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Tourism & Hospitality (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Security & Cryptography (AREA)
- Medical Informatics (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种安全帽佩戴检测方法、装置、***及存储介质，属于图像处理技术领域，方法包括：构建安全帽佩戴数据集；根据所述安全帽佩戴数据集，对预构建的安全帽佩戴检测模型进行训练，获取训练好的安全帽佩戴检测模型；将待测数据输入至训练好的安全帽佩戴检测模型进行检测，并利用非极大值抑制和软非极大值抑制滤除冗余检测框，获取安全帽佩戴检测结果；其中，所述安全帽佩戴检测模型是根据预获取的YOLOv5s模型改进获取的。该方法能够缓解目标遮挡问题，提高安全帽佩戴检测的精度。
Description
技术领域
本发明涉及一种安全帽佩戴检测方法、装置、***及存储介质，属于图像处理技术领域。
背景技术
在目标检测领域中，安全帽佩戴检测是一项重要的任务，旨在自动识别图像或视频中的人员，并判断其是否佩戴了安全帽。安全帽作为一种个人防护装备，可以有效降低头部受伤的风险，因此，通过目标检测技术来监测和识别工人是否佩戴安全帽具有重要的意义。
随着计算机视觉和深度学习的不断发展，安全帽佩戴检测的精度和实时性不断提高。基于深度学习的安全帽佩戴检测引入了卷积神经网络等技术，可以从图像中提取高级特征，性能普遍优于传统方法，这将为工作场所的安全管理提供更多的支持。
然而场景中可能存在多个人员，它们的姿态、角度、光照等因素都可能影响佩戴检测的准确性。其次，安全帽的颜色和款式可能因场景和应用而异，需要考虑不同类型的安全帽。此外，复杂的背景和遮挡情况也会降低检测精度。因此研究更高精度的安全帽佩戴检测模型具有较强的理论意义和应用价值。
发明内容
本发明的目的在于提供一种安全帽佩戴检测方法、装置、***及存储介质，能够缓解目标遮挡问题，提高安全帽佩戴检测的精度。
为达到上述目的，本发明提供如下技术方案：
第一方面，本发明提供一种安全帽佩戴检测方法，包括：
构建安全帽佩戴数据集；
根据所述安全帽佩戴数据集，对预构建的安全帽佩戴检测模型进行训练，获取训练好的安全帽佩戴检测模型；
将待测数据输入至训练好的安全帽佩戴检测模型进行检测，并利用非极大值抑制和软非极大值抑制滤除冗余检测框，获取安全帽佩戴检测结果；
其中，所述安全帽佩戴检测模型是根据预获取的YOLOv5s模型改进获取的。
结合第一方面，进一步的，构建安全帽佩戴数据集包括：
对预获取的图像数据集进行整合，获取整合图像数据集；
将所述整合图像数据集中的标注修改为代表佩戴安全帽的hat和代表未佩戴安全帽的person；
遍历所有修改后的标注的坐标，将面积为负数的标注进行删除，获取安全帽佩戴数据集；
其中，预获取的图像数据集包括开源安全帽佩戴检测数据集、不同颜色的开源安全帽数据集以及非安全帽的其他帽子数据集。
结合第一方面，进一步的，根据预获取的YOLOv5s模型改进获取安全帽佩戴检测模型包括：
对预获取的YOLOv5s模型的C3模块进行改进，构建DSEC3模块，并利用所述DSEC3模块，构建耦合通道注意力机制的特征提取网络，对输入的待测数据进行特征提取，输出特征图；
对预获取的YOLOv5s模型的特征融合网络进行改进，构建多尺度特征融合网络，对所述耦合通道注意力机制的特征提取网络输出的特征图进行多尺度特征融合，输出不同尺度的特征图；
对预获取的YOLOv5s模型的输出端进行改进，构建检测输出端，根据所述多尺度特征融合网络输出的不同尺度的特征图，输出安全帽佩戴检测结果；
由所述耦合通道注意力机制的特征提取网络、多尺度特征融合网络和检测输出端共同构成安全帽佩戴检测模型。
结合第一方面，进一步的，所述DSEC3模块包括第一支路和第二支路，所述第一支路包括一个深度可分离卷积模块，所述第二支路包括连接的两个深度可分离卷积模块和一个使用ReLU6为激活函数的通道注意力模块，所述第一支路和第二支路的输出经过拼接后连接一个深度可分离卷积模块；
其中，所述通道注意力模块后构建有残差结构，若使用残差连接，并且输入和输出的通道数相同，则将所述通道注意力模块的输出进行深度可分离卷积后再与所述通道注意力模块的输出相加，作为所述第二支路的输出，否则，直接将所述通道注意力模块的输出进行深度可分离卷积，作为所述第二支路的输出；
其中，所述输入和输出的通道数相同是指对所述通道注意力模块的输出进行深度可分离卷积时所使用的深度可分离卷积模块的输入和输出通道数相同。
结合第一方面，进一步的，对预获取的YOLOv5s模型的特征融合网络进行改进，构建多尺度特征融合网络包括：将预获取的YOLOv5s模型的特征融合网络中所有卷积模块替换为轻量型卷积GSConv模块，获取多尺度特征融合网络。
结合第一方面，进一步的，根据所述安全帽佩戴数据集，对预构建的安全帽佩戴检测模型进行训练，获取训练好的安全帽佩戴检测模型包括：
将所述安全帽佩戴数据集划分为训练集和测试集；
将所述训练集输入至预构建的安全帽佩戴检测模型进行训练；
在训练的每个轮次，分别计算所述安全帽佩戴检测模型的精确度、召回率和平均精度均值；
根据所述精确度、召回率和平均精度均值，计算最佳权重；
将所述测试集输入至所述最佳权重对应的安全帽佩戴检测模型进行测试，获取训练好的安全帽佩戴检测模型。
结合第一方面，进一步的，利用非极大值抑制和软非极大值抑制滤除冗余检测框包括：
按照检测框的置信度，对每个类别的所有检测框进行降序排序；
选择置信度最高的检测框作为保留框，计算检测框与保留框的交并比；
对交并比大于0.6的检测框执行非极大值抑制进行滤除；
对交并比在0.3至0.6之间的检测框执行软非极大值抑制，降低其置信度；
其中，所述检测框的类别包括标注为hat的检测框和标注为person的检测框，hat代表佩戴安全帽，person代表未佩戴安全帽。
第二方面，本发明提供一种安全帽佩戴检测装置，包括：
数据集构建模块：用于构建安全帽佩戴数据集；
训练模块：用于根据所述安全帽佩戴数据集，对预构建的安全帽佩戴检测模型进行训练，获取训练好的安全帽佩戴检测模型；
检测模块：用于将待测数据输入至训练好的安全帽佩戴检测模型进行检测，并利用非极大值抑制和软非极大值抑制滤除冗余检测框，获取安全帽佩戴检测结果；
其中，所述安全帽佩戴检测模型是根据预获取的YOLOv5s模型改进获取的。
第三方面，本发明提供一种***，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据第一方面任一项所述方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一项所述方法的步骤。
与现有技术相比，本发明的有益效果是：
本发明提供的安全帽佩戴检测方法，通过对现有的YOLOv5s模型进行改进，获取安全帽佩戴检测模型，实现安全帽佩戴检测，并利用非极大值抑制和软非极大值抑制滤除冗余检测框，能够缓解目标遮挡问题，提高安全帽佩戴检测的精度。在对YOLOv5s模型进行改进时，通过耦合通道注意力机制的特征提取网络，增强特征提取，丰富目标特征，减少背景噪声的不利影响，从而提升检测精度；多尺度特征融合网络联合轻量型卷积GSConv模块，在提升检测精度的同时能够降低参数量，提高检测精度和检测速度的平衡性。本发明构建的安全帽佩戴数据集包含不同像素、不同尺寸下的标注数据，不同颜色的安全帽数据以及非安全帽的其他帽子数据，图像数量多，样本类间比例平衡，有利于增强模型的训练效果，提高模型的鲁棒性。
附图说明
图1是本发明实施例提供的安全帽佩戴检测方法流程图；
图2是本发明实施例提供的安全帽佩戴检测模型的结构示意图，其中，（a）为耦合通道注意力机制的特征提取网络的结构示意图，（b）为多尺度特征融合网络的结构示意图，（c）为检测输出端的结构示意图，（d）为DSEC3模块的结构示意图；
图3是本发明实施例提供的安全帽佩戴检测模型的检测结果示意图。
具体实施方式
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
下面详细描述本专利的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
实施例1：
图1是本发明实施例一提供的一种安全帽佩戴检测方法流程图，本流程图仅仅示出了本实施例方法的逻辑顺序，在互不冲突的前提下，在本发明其它可能的实施例中，可以以不同于图1所示的顺序完成所示出或描述的步骤。
本实施例提供的安全帽佩戴检测方法可应用于终端，可以由安全帽佩戴检测装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在终端中，例如：任一具备通信功能的平板电脑或计算机设备。参见图1，本实施例的方法具体包括如下步骤：
步骤一：构建安全帽佩戴数据集；
构建安全帽佩戴数据集包括如下步骤：
步骤①：对预获取的图像数据集进行整合，获取整合图像数据集；
本实施例中，预获取的图像数据集包括开源安全帽佩戴检测数据集、不同颜色的开源安全帽数据集以及非安全帽的其他帽子数据集。
其中，不同颜色的开源安全帽数据集是从DataFountain平台和Gitee平台获取的；非安全帽的其他帽子数据集是利用爬虫技术爬取非安全帽的其他帽子图片，并利用labelImg软件进行标注获取的。对获取的开源安全帽佩戴检测数据集、不同颜色的开源安全帽数据集以及非安全帽的其他帽子数据集进行整合，获取整合图像数据集，该整合图像数据集包含了不同像素、不同尺寸下的人脸和安全帽标注，以及各种颜色的安全帽和非安全帽的其他帽子，图像数量更多，样本类间比例更平衡。
步骤②：将整合图像数据集中的标注修改为代表佩戴安全帽的hat和代表未佩戴安全帽的person；
步骤③：遍历所有修改后的标注的坐标，将面积为负数的标注进行删除，获取安全帽佩戴数据集。
步骤二：根据安全帽佩戴数据集，对预构建的安全帽佩戴检测模型进行训练，获取训练好的安全帽佩戴检测模型；
本实施例中，安全帽佩戴检测模型是根据预获取的YOLOv5s模型改进获取的。
根据预获取的YOLOv5s模型改进获取安全帽佩戴检测模型包括如下步骤：
步骤A：对预获取的YOLOv5s模型的C3模块进行改进，构建DSEC3模块，并利用DSEC3模块，构建耦合通道注意力机制的特征提取网络，对输入的待测数据进行特征提取，输出特征图；
本实施例中，DSEC3模块包括第一支路和第二支路，第一支路包括一个深度可分离卷积模块，第二支路包括连接的两个深度可分离卷积模块和一个使用ReLU6为激活函数的通道注意力模块，第一支路和第二支路的输出经过拼接后连接一个深度可分离卷积模块。通道注意力模块后构建有残差结构，若使用残差连接，并且输入和输出的通道数相同，则将通道注意力模块的输出进行深度可分离卷积后再与通道注意力模块的输出相加，作为第二支路的输出，否则，直接将通道注意力模块的输出进行深度可分离卷积，作为第二支路的输出。其中，输入和输出的通道数相同是指对通道注意力模块的输出进行深度可分离卷积时所使用的深度可分离卷积模块的输入和输出通道数相同。
利用DSEC3模块，构建耦合通道注意力机制的特征提取网络，对输入的待测数据进行特征提取，输出特征图包括如下步骤：
步骤A-1：构建一个切片模块：首先采用切片操作将输入尺寸为640×640×3的图片分成4块，获取多个低分辨率的特征图，然后对特征图进行拼接，获取尺寸为320×320×12的特征图，最后通过一个步长为1卷积核为3×3的CBS模块，输出尺寸为320×320×32的特征图；
其中，CBS模块首先通过卷积提取不同特征，减少下采样带来的信息损失，然后变化成正态分布，最后使用激活函数SiLU。
步骤A-2：在步骤A-1后构建一个步长为2卷积核为3×3的CBS模块，输出尺寸为160×160×64的特征图；
步骤A-3：在步骤A-2后构建一个使用残差连接的DSEC3模块，输出尺寸为160×160×64的特征图；
其中，DSEC3模块中的通道注意力模块包括如下步骤：
步骤ⅰ：通过全局平均池化，将每个特征通道的二维特征压缩为1，获取通道级全局特征；
步骤ⅱ：给每个特征通道生成一个权重，构建第一全连接层，将特征图的通道数下降4倍，使用ReLU6函数激活，构建第二全连接层，恢复特征图的通道数，通过第一全连接层和第二全连接层，构建特征通道间的相关性；
步骤ⅲ：使用Sigmoid激活函数，将特征通道的权重归一化至0~1，这组0~1的实数对应每个特征通道的重要性，1为很重要，0为不重要；
步骤ⅳ：将输入通道注意力模块的特征图和步骤ⅲ中经过归一化的权重相乘，输出经过通道注意力处理的特征图。
步骤A-4：在步骤A-3后构建一个步长为2卷积核为3×3的CBS模块，输出尺寸为80×80×128的特征图，之后再构建三个使用残差连接的DSEC3模块，输出的特征图尺寸不变，仍为80×80×128，将第三个DSEC3模块输出的特征图命名为；
步骤A-5：在步骤A-4后构建一个步长为2卷积核为3×3的CBS模块，输出尺寸为40×40×256的特征图，之后再构建三个使用残差连接的DSEC3模块，输出的特征图尺寸不变，仍为40×40×256，将第三个DSEC3模块输出的特征图命名为；
步骤A-6：在步骤A-5后构建一个步长为2卷积核为3×3的CBS模块，输出尺寸为20×20×512的特征图；
步骤A-7：在步骤A-6后构建一个空间金字塔池化结构：将步骤A-6输出的特征图输入空间金字塔池化结构进行特征融合，输出尺寸为20×20×512的特征图；
其中，空间金字塔池化结构首先通过一个步长为1卷积核为1×1的CBS模块，然后分成三个分支，分别进行一次5×5的最大池化，一次7×7的最大池化和一次13×13的最大池化，接着对三个分支的输出和未经过池化的特征图进行拼接，最后通过一个步长为1卷积核为1×1的CBS模块，输出尺寸为20×20×512的特征图。
步骤A-8：在步骤A-7后构建一个不使用残差连接的DSEC3模块加强特征提取，输出尺寸为20×20×512的特征图。
步骤B：对预获取的YOLOv5s模型的特征融合网络进行改进，构建多尺度特征融合网络，对耦合通道注意力机制的特征提取网络输出的特征图进行多尺度特征融合，输出不同尺度的特征图；
本实施例中，对预获取的YOLOv5s模型的特征融合网络进行改进，构建多尺度特征融合网络包括：将预获取的YOLOv5s模型的特征融合网络中所有卷积模块替换为轻量型卷积GSConv模块，获取多尺度特征融合网络。
构建多尺度特征融合网络具体包括如下步骤：
步骤B-1：将步骤A-8构建的不使用残差连接的DSEC3模块输出的尺寸为20×20×512的特征图通过一个步长为1卷积核为1×1卷积核个数为256的GSConv模块进行卷积，输出尺寸为20×20×256的特征图，并命名为，对/>进行一次上采样，输出尺寸为40×40×256的特征图，并将其与/>进行拼接，输出尺寸为40×40×512的特征图；
步骤B-2：在步骤B-1后构建一个卷积核个数为256的FC3模块，输出尺寸为40×40×256的特征图；
其中，FC3模块包括两条支路，一条支路包括一个步长为1卷积核为1×1的CBS模块，另一条支路包括两个步长为1卷积核为1×1的CBS模块和一个步长为1卷积核为3×3的CBS模块，两条支路的输出经过拼接后通过一个步长为1卷积核为1×1的CBS模块，输出尺寸为40×40×256的特征图。
步骤B-3：在步骤B-2后构建一个步长为1卷积核为1×1卷积核个数为128的GSConv模块，对步骤B-2输出的特征图进行卷积，输出尺寸为40×40×128的特征图，并命名为，对/>进行上采样，输出尺寸为80×80×128的特征图，并将其与/>进行拼接，输出尺寸为80×80×256的特征图；
步骤B-4：在步骤B-3后构建一个卷积核个数为128的FC3模块，输出尺寸为80×80×128的特征图，并命名为，将/>输入一个步长为2卷积核为3×3卷积核个数为128的GSConv模块进行卷积后与/>进行拼接，将拼接后的特征图输入一个卷积核个数为256的FC3模块，输出尺寸为40×40×256的特征图，并命名为/>；
步骤B-5：在步骤B-4后构建一个步长为2卷积核为3×3卷积核个数为256的GSConv模块，对步骤B-4输出的进行卷积，将卷积后的特征图与/>进行拼接，将拼接后的特征图输入一个卷积核个数为512的FC3模块，输出尺寸为20×20×512的特征图，并命名为/>。
步骤C：对预获取的YOLOv5s模型的输出端进行改进，构建检测输出端，根据多尺度特征融合网络输出的不同尺度的特征图，输出安全帽佩戴检测结果；
本实施例中，对预获取的YOLOv5s模型的输出端进行改进，构建检测输出端，根据多尺度特征融合网络输出的不同尺度的特征图，输出安全帽佩戴检测结果包括如下步骤：
步骤C-1：将多尺度特征融合网络输出的不同尺度的特征图、/>、/>分别输入至一个步长为1卷积核为1×1卷积核个数为255的CBS模块进行卷积，输出通道数为255的特征图；
步骤C-2：分别在空间维度和通道维度对步骤C-1输出的通道数为255的特征图进行形状重塑，输出检测框的坐标和类别概率，用于目标检测的后处理和解码，并对输出的检测框的坐标和类别概率进行拼接，输出安全帽佩戴检测结果。
步骤D：由耦合通道注意力机制的特征提取网络、多尺度特征融合网络和检测输出端共同构成安全帽佩戴检测模型。
本实施例中，连接耦合通道注意力机制的特征提取网络、多尺度特征融合网络和检测输出端，构成安全帽佩戴检测模型。如图2所示，为本实施例提供的安全帽佩戴检测模型的结构示意图，其中，（a）为耦合通道注意力机制的特征提取网络的结构示意图，（b）为多尺度特征融合网络的结构示意图，（c）为检测输出端的结构示意图，（d）为DSEC3模块的结构示意图。将待测数据输入至安全帽佩戴检测模型，由耦合通道注意力机制的特征提取网络进行特征提取，输出特征图，由多尺度特征融合网络对耦合通道注意力机制的特征提取网络输出的特征图进行多尺度特征融合，输出不同尺度的特征图，由检测输出端根据多尺度特征融合网络输出的不同尺度的特征图，输出安全帽佩戴检测结果。
本实施例中，安全帽佩戴检测模型的输出包括检测精度、检测速度和检测后的图片，检测后的图片中包括检测框的坐标、检测框的类别和检测框的置信度，其中，检测框的类别包括标注为hat的检测框和标注为person的检测框，hat代表佩戴安全帽，person代表未佩戴安全帽。
根据安全帽佩戴数据集，对预构建的安全帽佩戴检测模型进行训练，获取训练好的安全帽佩戴检测模型包括如下步骤：
步骤a：将安全帽佩戴数据集划分为训练集和测试集；
步骤b：将训练集输入至预构建的安全帽佩戴检测模型进行训练；
本实施例中，首先配置训练集与安全帽佩戴检测模型的相关信息，然后再将训练集输入至安全帽佩戴检测模型进行训练。
步骤c：在训练的每个轮次，分别计算安全帽佩戴检测模型的精确度、召回率和平均精度均值；
其中，精确度的计算公式为：
其中，为安全帽佩戴检测模型的精确度，/>为正样本检测为正样本，/>为负样本检测为负样本。
召回率的计算公式为：
其中，为安全帽佩戴检测模型的召回率，/>为正样本检测为负样本。
平均精度均值的计算公式为：
其中，为安全帽佩戴检测模型的平均精度均值，/>为以安全帽佩戴检测模型的精确度/>为纵坐标，以安全帽佩戴检测模型的召回率/>为横坐标，绘制的曲线下的面积，/>为检测框的类别总数，/>为/>个样本，/>为样本总数，/>为识别出/>个样本是/>的值，为识别的样本由/>增加到/>时召回率/>的变化情况。
步骤d：根据精确度、召回率和平均精度均值，计算最佳权重；
步骤e：将测试集输入至最佳权重对应的安全帽佩戴检测模型进行测试，获取训练好的安全帽佩戴检测模型。
本实施例中，使用训练获取的最佳权重对测试集进行测试，最终输出每一类检测框总的精确度、召回率、和/>，输出检测每张图片所用的时间/>，并计算帧率/>，/>。其中，/>为交并比为0.5时的/>，为步长为0.05，从0.5到0.95不同交并比阈值上的平均/>。
步骤三：将待测数据输入至训练好的安全帽佩戴检测模型进行检测，并利用非极大值抑制和软非极大值抑制滤除冗余检测框，获取安全帽佩戴检测结果；
利用非极大值抑制和软非极大值抑制滤除冗余检测框包括如下步骤：
步骤Ⅰ：按照检测框的置信度，对每个类别的所有检测框进行降序排序；
步骤Ⅱ：选择置信度最高的检测框作为保留框，计算检测框与保留框的交并比；
步骤Ⅲ：对交并比大于0.6的检测框执行非极大值抑制进行滤除；
步骤Ⅳ：对交并比在0.3至0.6之间的检测框执行软非极大值抑制，降低其置信度。
本实施例中，检测框的类别包括标注为hat的检测框和标注为person的检测框，hat代表佩戴安全帽，person代表未佩戴安全帽。对于交并比小于0.3的检测框，不执行任何操作。
本实施例提供的安全帽佩戴检测方法，通过对现有的YOLOv5s模型进行改进，获取安全帽佩戴检测模型，实现安全帽佩戴检测，并利用非极大值抑制和软非极大值抑制滤除冗余检测框，能够缓解目标遮挡问题，提高安全帽佩戴检测的精度。在对YOLOv5s模型进行改进时，通过耦合通道注意力机制的特征提取网络，增强特征提取，丰富目标特征，减少背景噪声的不利影响，从而提升检测精度；多尺度特征融合网络联合轻量型卷积GSConv模块，在提升检测精度的同时能够降低参数量，提高检测精度和检测速度的平衡性。本发明构建的安全帽佩戴数据集包含不同像素、不同尺寸下的标注数据，不同颜色的安全帽数据以及非安全帽的其他帽子数据，图像数量多，样本类间比例平衡，有利于增强模型的训练效果，提高模型的鲁棒性。
为验证本实施例提供的安全帽佩戴检测方法的有效性，利用本实施例构建的安全帽佩戴数据集进行检测实验并获取检测结果，如图3所示，为本实施例选取的具有代表性的检测结果。为进一步验证本实施例提供的安全帽佩戴检测模型的优势，采用YOLOv5s模型作为对比模型，在同等条件下进行对比实验，评价指标采用精确度、召回率、、、检测每张图片所用的时间以及帧率/>，采用YOLOv5s模型的检测实验结果如表1所示，采用本实施例提供的安全帽佩戴检测模型的检测实验结果如表2所示，其中，检测每张图片所用的时间/>以及帧率/>是对所有类别的检测框计算的，“/”表示无数据。
表1 YOLOv5s模型检测实验结果
表2 安全帽佩戴检测模型检测实验结果
由表1和表2可知，本实施例提供的安全帽佩戴检测模型检测每张图片所用的时间只比YOLOv5s模型增加了1.7毫秒，帧率下降了7，速度基本保持不变，但本实施例提供的安全帽佩戴检测模型的检测精度更高，相比YOLOv5s模型，本实施例提供的安全帽佩戴检测模型的精确度提高了6%，召回率提高了6.8%，提高了5.8%，/>提高了4.2%，因此，本实施例提供的安全帽佩戴检测模型具有更好的性能。
实施例2：
本实施例提供一种安全帽佩戴检测装置，包括：
数据集构建模块：用于构建安全帽佩戴数据集；
训练模块：用于根据安全帽佩戴数据集，对预构建的安全帽佩戴检测模型进行训练，获取训练好的安全帽佩戴检测模型；
检测模块：用于将待测数据输入至训练好的安全帽佩戴检测模型进行检测，并利用非极大值抑制和软非极大值抑制滤除冗余检测框，获取安全帽佩戴检测结果；
其中，安全帽佩戴检测模型是根据预获取的YOLOv5s模型改进获取的。
本发明实施例所提供的安全帽佩戴检测装置可执行本发明任意实施例所提供的安全帽佩戴检测方法，具备执行方法相应的功能模块和有益效果。
实施例3：
本实施例提供一种***，包括处理器及存储介质；
存储介质用于存储指令；
处理器用于根据指令进行操作以执行实施例一中方法的步骤。
实施例4：
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一中方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种安全帽佩戴检测方法，其特征在于，包括：
构建安全帽佩戴数据集；
根据所述安全帽佩戴数据集，对预构建的安全帽佩戴检测模型进行训练，获取训练好的安全帽佩戴检测模型；
将待测数据输入至训练好的安全帽佩戴检测模型进行检测，并利用非极大值抑制和软非极大值抑制滤除冗余检测框，获取安全帽佩戴检测结果；
其中，所述安全帽佩戴检测模型是根据预获取的YOLOv5s模型改进获取的。
2.根据权利要求1所述的安全帽佩戴检测方法，其特征在于，构建安全帽佩戴数据集包括：
对预获取的图像数据集进行整合，获取整合图像数据集；
将所述整合图像数据集中的标注修改为代表佩戴安全帽的hat和代表未佩戴安全帽的person；
遍历所有修改后的标注的坐标，将面积为负数的标注进行删除，获取安全帽佩戴数据集；
其中，预获取的图像数据集包括开源安全帽佩戴检测数据集、不同颜色的开源安全帽数据集以及非安全帽的其他帽子数据集。
3.根据权利要求1所述的安全帽佩戴检测方法，其特征在于，根据预获取的YOLOv5s模型改进获取安全帽佩戴检测模型包括：
对预获取的YOLOv5s模型的C3模块进行改进，构建DSEC3模块，并利用所述DSEC3模块，构建耦合通道注意力机制的特征提取网络，对输入的待测数据进行特征提取，输出特征图；
对预获取的YOLOv5s模型的特征融合网络进行改进，构建多尺度特征融合网络，对所述耦合通道注意力机制的特征提取网络输出的特征图进行多尺度特征融合，输出不同尺度的特征图；
对预获取的YOLOv5s模型的输出端进行改进，构建检测输出端，根据所述多尺度特征融合网络输出的不同尺度的特征图，输出安全帽佩戴检测结果；
由所述耦合通道注意力机制的特征提取网络、多尺度特征融合网络和检测输出端共同构成安全帽佩戴检测模型。
4.根据权利要求3所述的安全帽佩戴检测方法，其特征在于，所述DSEC3模块包括第一支路和第二支路，所述第一支路包括一个深度可分离卷积模块，所述第二支路包括连接的两个深度可分离卷积模块和一个使用ReLU6为激活函数的通道注意力模块，所述第一支路和第二支路的输出经过拼接后连接一个深度可分离卷积模块；
其中，所述通道注意力模块后构建有残差结构，若使用残差连接，并且输入和输出的通道数相同，则将所述通道注意力模块的输出进行深度可分离卷积后再与所述通道注意力模块的输出相加，作为所述第二支路的输出，否则，直接将所述通道注意力模块的输出进行深度可分离卷积，作为所述第二支路的输出；
其中，所述输入和输出的通道数相同是指对所述通道注意力模块的输出进行深度可分离卷积时所使用的深度可分离卷积模块的输入和输出通道数相同。
5.根据权利要求3所述的安全帽佩戴检测方法，其特征在于，对预获取的YOLOv5s模型的特征融合网络进行改进，构建多尺度特征融合网络包括：将预获取的YOLOv5s模型的特征融合网络中所有卷积模块替换为轻量型卷积GSConv模块，获取多尺度特征融合网络。
6.根据权利要求1所述的安全帽佩戴检测方法，其特征在于，根据所述安全帽佩戴数据集，对预构建的安全帽佩戴检测模型进行训练，获取训练好的安全帽佩戴检测模型包括：
将所述安全帽佩戴数据集划分为训练集和测试集；
将所述训练集输入至预构建的安全帽佩戴检测模型进行训练；
在训练的每个轮次，分别计算所述安全帽佩戴检测模型的精确度、召回率和平均精度均值；
根据所述精确度、召回率和平均精度均值，计算最佳权重；
将所述测试集输入至所述最佳权重对应的安全帽佩戴检测模型进行测试，获取训练好的安全帽佩戴检测模型。
7.根据权利要求1所述的安全帽佩戴检测方法，其特征在于，利用非极大值抑制和软非极大值抑制滤除冗余检测框包括：
按照检测框的置信度，对每个类别的所有检测框进行降序排序；
选择置信度最高的检测框作为保留框，计算检测框与保留框的交并比；
对交并比大于0.6的检测框执行非极大值抑制进行滤除；
对交并比在0.3至0.6之间的检测框执行软非极大值抑制，降低其置信度；
其中，所述检测框的类别包括标注为hat的检测框和标注为person的检测框，hat代表佩戴安全帽，person代表未佩戴安全帽。
8.一种安全帽佩戴检测装置，其特征在于，包括：
数据集构建模块：用于构建安全帽佩戴数据集；
训练模块：用于根据所述安全帽佩戴数据集，对预构建的安全帽佩戴检测模型进行训练，获取训练好的安全帽佩戴检测模型；
检测模块：用于将待测数据输入至训练好的安全帽佩戴检测模型进行检测，并利用非极大值抑制和软非极大值抑制滤除冗余检测框，获取安全帽佩戴检测结果；
其中，所述安全帽佩戴检测模型是根据预获取的YOLOv5s模型改进获取的。
9.一种***，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1~7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1~7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311362168.2A CN117132943A (zh) | 2023-10-20 | 2023-10-20 | 一种安全帽佩戴检测方法、装置、***及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311362168.2A CN117132943A (zh) | 2023-10-20 | 2023-10-20 | 一种安全帽佩戴检测方法、装置、***及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117132943A true CN117132943A (zh) | 2023-11-28 |
Family
ID=88853067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311362168.2A Pending CN117132943A (zh) | 2023-10-20 | 2023-10-20 | 一种安全帽佩戴检测方法、装置、***及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117132943A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100711A4 (en) * | 2020-05-05 | 2020-06-11 | Chang, Cheng Mr | The retrieval system of wearing safety helmet based on deep learning |
| CN115527237A (zh) * | 2022-09-28 | 2022-12-27 | 吉林建筑大学 | 一种安全帽标准佩戴行为的检测方法和装置 |
| CN115661446A (zh) * | 2022-11-14 | 2023-01-31 | 国电南京自动化股份有限公司 | 基于深度学习的指针式仪表示数自动读取***及方法 |
| CN115761645A (zh) * | 2022-11-28 | 2023-03-07 | 中国计量大学 | 一种基于YOLOv5的轻量化安全帽佩戴检测方法 |
| CN115953668A (zh) * | 2022-11-24 | 2023-04-11 | 中国人民解放军陆军工程大学 | 一种基于YOLOv5算法的迷彩伪装目标检测方法及*** |
| CN116630932A (zh) * | 2023-04-20 | 2023-08-22 | 重庆邮电大学 | 一种基于改进yolov5的道路遮挡目标检测方法 |
| CN116721288A (zh) * | 2023-05-30 | 2023-09-08 | 齐鲁工业大学(山东省科学院) | 一种基于YOLOv5的安全帽检测方法及*** |
-
2023
- 2023-10-20 CN CN202311362168.2A patent/CN117132943A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100711A4 (en) * | 2020-05-05 | 2020-06-11 | Chang, Cheng Mr | The retrieval system of wearing safety helmet based on deep learning |
| CN115527237A (zh) * | 2022-09-28 | 2022-12-27 | 吉林建筑大学 | 一种安全帽标准佩戴行为的检测方法和装置 |
| CN115661446A (zh) * | 2022-11-14 | 2023-01-31 | 国电南京自动化股份有限公司 | 基于深度学习的指针式仪表示数自动读取***及方法 |
| CN115953668A (zh) * | 2022-11-24 | 2023-04-11 | 中国人民解放军陆军工程大学 | 一种基于YOLOv5算法的迷彩伪装目标检测方法及*** |
| CN115761645A (zh) * | 2022-11-28 | 2023-03-07 | 中国计量大学 | 一种基于YOLOv5的轻量化安全帽佩戴检测方法 |
| CN116630932A (zh) * | 2023-04-20 | 2023-08-22 | 重庆邮电大学 | 一种基于改进yolov5的道路遮挡目标检测方法 |
| CN116721288A (zh) * | 2023-05-30 | 2023-09-08 | 齐鲁工业大学(山东省科学院) | 一种基于YOLOv5的安全帽检测方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110619638A (zh) | 一种基于卷积块注意模块的多模态融合显著性检测方法 | |
| CN112330526B (zh) | 一种人脸转换模型的训练方法、存储介质及终端设备 | |
| CN106650740B (zh) | 一种车牌识别方法及终端 | |
| CN109993269B (zh) | 基于注意力机制的单张图像人群计数方法 | |
| CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| CN113688709B (zh) | 一种安全帽佩戴智能检测方法、***、终端及介质 | |
| CN111242127A (zh) | 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法 | |
| TWI667621B (zh) | 人臉辨識方法 | |
| CN111428664B (zh) | 一种基于深度学习技术的计算机视觉的实时多人姿态估计方法 | |
| CN109165575B (zh) | 一种基于ssd框架的烟火识别算法 | |
| CN113468996A (zh) | 一种基于边缘细化的伪装物体检测方法 | |
| CN114926747A (zh) | 一种基于多特征聚合与交互的遥感图像定向目标检测方法 | |
| CN112307984B (zh) | 基于神经网络的安全帽检测方法和装置 | |
| CN108154066A (zh) | 一种基于曲率特征递归神经网络的三维目标识别方法 | |
| CN111967464A (zh) | 一种基于深度学习的弱监督目标定位方法 | |
| CN117392496A (zh) | 基于红外与可见光图像融合的目标检测方法及*** | |
| CN111950457A (zh) | 油田安全生产图像识别方法及*** | |
| CN113221731B (zh) | 一种多尺度遥感图像目标检测方法及*** | |
| CN114118303A (zh) | 基于先验约束的人脸关键点检测方法及装置 | |
| Liu et al. | Mix attention based convolutional neural network for clothing brand logo recognition and classification | |
| CN112446292B (zh) | 一种2d图像显著目标检测方法及*** | |
| CN113936299A (zh) | 建筑工地中危险区域检测方法 | |
| CN117649581A (zh) | 一种多任务边缘增强的图像伪造检测方法及装置 | |
| CN112989958A (zh) | 基于YOLOv4与显著性检测的安全帽佩戴识别方法 | |
| CN115471901B (zh) | 基于生成对抗网络的多姿态人脸正面化方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |