CN111507276B - 一种基于隐藏层增强特征的工地安全帽检测方法 - Google Patents
一种基于隐藏层增强特征的工地安全帽检测方法 Download PDFInfo
- Publication number
- CN111507276B CN111507276B CN202010314285.1A CN202010314285A CN111507276B CN 111507276 B CN111507276 B CN 111507276B CN 202010314285 A CN202010314285 A CN 202010314285A CN 111507276 B CN111507276 B CN 111507276B
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- conv
- safety helmet
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于隐藏层增强特征的工地安全帽检测方法,该方法以隐藏层的方式,把上一次图像的卷积特征融合到当前帧的卷积特征,减少因为光线变化、遮挡而容易丢失的目标,同时引入FGRM模块对输出的目标检测结果作进一步修正。该方法有利于提高工地安全帽检测的准确性。
Description
技术领域
本发明属于图像分析领域,具体涉及一种基于隐藏层增强特征的工地安全帽检测方法。
背景技术
当前人工智能领域的研究和突破给图像处理、视频处理、语音识别带来了巨大的突破。工地安全帽分析作为人体姿态识别、行为识别、人体跟踪等任务的延伸,在智慧工地的建设中具有很高的应用价值。
工地安全帽检测是在检测算法的基础上,判别人体是否佩戴安全帽。为了实现这一目标,当前有以下几种方法:
第一种方法,基于机器学习的方法,通过提取人体头部图像的Hog特征结合支持向量机模型实现对是否佩戴安全帽进行检测。该方法目前只适用于闸机通道的检测,面对雨雪天气复杂的工地的巡检任务显得力不从心。
第二种方法,借助两阶段深度学习算法,在人体检测的基础上截取人体数据,对该数据做出二次的判断。这种基于二阶段分析的方法可以达到较好的准确性,但是这种方法需要较长的处理时间,无法完成视频实时处理。同时当人体的扭曲、遮挡等情况出现时,其鲁棒性有待进一步提高。
第三种方法,在一阶段深度学习目标检测算法的基础上,把人体与安全帽分开检测。这种做法可以充分利用当前已经比较成熟的一阶段目标检测算法,可以做到实时检测,不过它也存在检测准确度不如二阶段算法以及无法有效利用前一帧的检测信息的缺点。
发明内容
本发明的目的在于提供一种基于隐藏层增强特征的工地安全帽检测方法,该方法有利于提高工地安全帽检测的准确性。
为实现上述目的,本发明采用的技术方案是:一种基于隐藏层增强特征的工地安全帽检测方法,其特征在于,包括如下步骤:
步骤1:获取用于训练安全帽分析网络模型的原始图像,并获取原始图像中的人体坐标、头坐标和安全帽坐标信息;对各原始图像及其中的坐标信息进行图像增广处理,得到增广图像数据;最后对各图像及其中的坐标信息进行归一化处理后,以匹配数据对的方式进行存储,作为训练数据集;
步骤2:对于训练数据集中各图像,基于设定尺寸的画布,将尺寸大于画布的图像在保持图像长宽比的前提下调整图像大小至图像中的长边占满画布,并填充画布中未填满图像的部分;对于小于画布的图像,将图形直接贴到画布中心,并填充画布中未填满图像的部分;
步骤3:构建基于卷积神经网络的安全帽分析网络模型,对于输入的图像,先通过骨干网络提取图像特征值,进而得到第一阶段的检测特征图H_conv_1t;通过连接第一阶段的检测特征图与骨干网络中的中间特征得到第二阶段的检测特征图H_conv_2t;通过连接第二阶段的检测特征图与骨干网络中的中间特征得到第三阶段的检测特征图H_conv_3t;(H_conv_1t,H_conv_2t,H_conv_3t)构成网络的隐藏状态Zt,作为卷积特征输出;
所述卷积神经网络中负责提取特征的骨干网络由四大块特征提取模块组成,四大块特征提取模块通过级联的方式提取特征,每个模块包含3个卷积模块以及1个3x3的最大池化层;每个卷积模块包括一个卷积层,一个批正则化层和一个LeakyRelu激活函数;其中一个大卷积块的计算公式为:
F=R(BN(Wn*Qn+Bn))
其中R表示非线性激活函数,BN表示批归一化函数,Wn、Bn分别表示特征提取阶段中卷积层的权重和偏置,Qn表示上一个卷积输出的特征图,F表示当前特征提取阶段得到的输出结果;
步骤4:获取步骤3的卷积特征输出Zt后,将其与上一次的卷积特征输出,即隐藏状态Zt-1进行元素对应相乘,得到初步检测结果;
步骤5:通过FGRM模块修正网络输出的初步检测结果,然后对FGRM模块输出结果做非极大值抑制NMS,得到最终输出结果;
步骤6:将训练过程分为预设的多个子训练周期,采用步进增长策略依次进行子训练周期的训练;每完成一个子训练周期后逐步减小学习率;当完成一个子训练周期后生成的目标检测框与其对应的标定数据存在较大出入时,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数再返回步骤2继续训练;当完成一个子训练周期后生成的目标检测框达到预期或完成所有预设的子训练周期的次数后,则完成训练,得到训练好的安全帽分析网络模型;
步骤7:采用训练好的安全帽分析网络模型对待测的视频图像进行检测,以判断人体是否佩戴安全帽。
进一步地,所述步骤1的具体方法为:
选取要采集的工地视频,通过抽帧的方式获取图像作为输入的原始图像Xt,且如果相邻两张图像来自同一个视频,则为相邻帧;获取各图像中的三类坐标:人体坐标P(x,y,w,h),安全帽坐标H(x,y,w,h),头坐标T(x,y,w,h),其中,x、y为相应的中心点的横、纵坐标,w、h为相应的框的宽、高;对各原始图像及其中的坐标信息进行包括左右翻转以及随机改变亮度、色度饱和度的图像增广处理,得到大量的增广图片数据;对各图像及其中的坐标信息进行归一化到0~1之间的浮点数的处理后,以匹配数据对{Xt,P(x,y,w,h),H(x,y,w,h),T(x,y,w,h)}的方式进行存储,作为深度学习的训练数据集。
进一步地,所述步骤4中,对于第一次隐藏状态Zt-1包含3个高维矩阵分别为:H_conv_1t-1、H_conv_2t-1、H_conv_3t-1分别取值为全0.5的矩阵;当t>1时,Zt-1取值为从上一次输入获取的中间的卷积神经网络输出H_conv_1t-1、H_conv_2t-1、H_conv_3t-1;通过上一次的卷积特征输出与当前获取的卷积特征进行元素级别的矩阵相乘,然后进行检测结果修正。
进一步地,所述步骤5中,所述FGRM模块包含三个部分:目标特征图生成、内核偏移量提取和局部上下文信息提取,通过FGRM模块对检测结果进行修正,包括以下步骤:
步骤51:通过通道分解,把步骤4的输出分解为目标特征图C1x与内核偏移量B1x(Δx,Δy,Δwidth,Δheight),其中Δx、Δy、Δwidth、Δheight为检测到的目标框参数;
步骤52:通过对C1x做3x3的最大值池化配合sigmoid函数得到O1x,按如下公式进行特征增强:
Fm=Fin⊙O1x+Fin
其中,Fin为输入特征,⊙为元素对应相乘运算,Fm为获取到的增强特征;
步骤53:内核偏移量B1x(Δx,Δy,Δwidth,Δheight)中,只取Δx、Δy通道作为特征精化的输入,通过1x1的卷积获取输出结果Δpk,最后将内核偏移量用作可变形卷积的输入,以引导特征采样并与精化锚点对齐,其计算公式如下:
步骤54:在FGRM模块中进行所有操作后,获得最终的精炼特征Frf:
其中,p0表示最终精炼特征图Frf中的每个空间位置,d为膨胀率;w表示可变形卷积参数,R是一个采样输入特征的规则网格(即,如果内核是3×3,则膨胀率1,R=(-1,-1),(-1,0),...,(0,1),(1,1),pk为参数选取的位置);最终的改进特征Frf是由w加权的采样值的总和;Δpk是内核偏移量,用于扩展常规采样网格,从而增强CNN建模几何转换的能力;在所述FGRM模块中,偏移量由目标模块的上一次回归生成,即由步骤4的输出获得;利用从目标模块预测的偏移量B1x优化原始锚点位置,采用精炼位置和精炼特征Frf执行多类分类C2x和框回归B2x。
相较于现有技术,本发明具有以下有益效果:提供了一种基于隐藏层增强特征的工地安全帽检测方法,该方法以隐藏层的方式,把上一次图像的卷积特征融合到当前帧的卷积特征,使得因为光线变化、遮挡而容易丢失的目标大大减少。同时引入FGRM模块对输出的目标检测结果做了进一步微调,使该方法对于工地安全帽的检测更鲁棒,更准确可靠。
附图说明
图1是本发明实施例的工地安全帽检测方法的网络架构图。
图2是本发明实施例中FGRM模块的结构示意图。
图3是本发明实施例中骨干网络的结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本发明提供了一种基于隐藏层增强特征的工地安全帽检测方法,包括如下步骤:
步骤1:获取用于训练安全帽分析网络模型的原始图像,并获取原始图像中的人体坐标、头坐标和安全帽坐标信息;对各原始图像及其中的坐标信息进行图像增广处理,得到增广图像数据;最后对各图像及其中的坐标信息进行归一化处理后,以匹配数据对的方式进行存储,作为训练数据集。
为了训练安全帽分析网络模型,选取要采集的工地视频,通过抽帧的方式获取图像作为输入的原始图像Xt,且如果相邻两张图像来自同一个视频,则为相邻帧;获取各图像中的三类坐标:人体坐标P(x,y,w,h),安全帽坐标H(x,y,w,h),头坐标T(x,y,w,h),其中,x、y为相应的中心点的横、纵坐标,w、h为相应的框的宽、高;对各原始图像及其中的坐标信息进行包括左右翻转以及随机改变亮度、色度饱和度的图像增广处理,得到大量的增广图片数据;对各图像及其中的坐标信息进行归一化到0~1之间的浮点数的处理后,以匹配数据对{Xt,P(x,y,w,h),H(x,y,w,h),T(x,y,w,h)}的方式进行存储,作为深度学习的训练数据集。本发明对增广后的2D坐标做了归一化处理,归一化到0-1之间的浮点数,从而可以进一步提升模型的收敛速度,提升模型精度,防止梯度***。
步骤2:对于训练数据集中各图像,基于设定尺寸的画布,将尺寸大于画布的图像在保持图像长宽比的前提下调整图像大小至图像中的长边占满画布,并填充画布中未填满图像的部分;对于小于画布的图像,将图形直接贴到画布中心,并填充画布中未填满图像的部分。
在本实施例中,输入画布大小为832*480,即宽为832,高为480。对于尺寸大于832*480的图像输入,采用等比例压缩图像分辨率的方法压缩图像到一边占满画布,同时采用0.5填充未填满的画布。对于小于画布大小的图像,直接贴图到画布中心,同时采用0.5填充未填满的画布。
步骤3:构建基于卷积神经网络的安全帽分析网络模型,网络整体结构如图1所示。对于输入的图像,先通过骨干网络提取图像特征值,进而得到第一阶段的检测特征图H_conv_1t;通过连接第一阶段的检测特征图与骨干网络中的中间特征得到第二阶段的检测特征图H_conv_2t;通过连接第二阶段的检测特征图与骨干网络中的中间特征得到第三阶段的检测特征图H_conv_3t;(H_conv_1t,H_conv_2t,H_conv_3t)构成网络的隐藏状态Zt,作为卷积特征输出。
所述卷积神经网络中负责提取特征的骨干网络由四大块特征提取模块组成,如图3所示。四大块特征提取模块通过级联的方式提取特征,每个模块包含3个卷积模块以及1个3x3的最大池化层;每个卷积模块包括一个卷积层,一个批正则化层和一个LeakyRelu激活函数;其中一个大卷积块的计算公式为:
F=R(BN(Wn*Qn+Bn))
其中R表示非线性激活函数,BN表示批归一化函数,Wn、Bn分别表示特征提取阶段中卷积层的权重和偏置,Qn表示上一个卷积输出的特征图,F表示当前特征提取阶段得到的输出结果。
步骤4:获取步骤3的卷积特征输出Zt后,将其与上一次的卷积特征输出,即隐藏状态Zt-1进行元素对应相乘,得到初步检测结果。如果是第一帧输入的图像,没有上一层输出,将数据全部初始化为0.5,减少每次运行的判断操作。
对于第一次隐藏状态Zt-1包含3个高维矩阵分别为:H_conv_1t-1、H_conv_2t-1、H_conv_3t-1分别取值为全0.5的矩阵;当t>1时,Zt-1取值为从上一次输入获取的中间的卷积神经网络输出H_conv_1t-1、H_conv_2t-1、H_conv_3t-1;通过上一次的卷积特征输出与当前获取的卷积特征进行元素级别的矩阵相乘,然后进行检测结果修正。
步骤5:通过FGRM模块修正网络输出的初步检测结果。
所述FGRM模块(Feature Guided Refinement Module)包含三个部分:目标特征图生成、内核偏移量提取和局部上下文信息提取,通过FGRM模块对检测结果进行修正,如图2所示,包括以下步骤:
步骤51:通过通道分解,把步骤4的输出分解为目标特征图C1x与内核偏移量B1x(Δx,Δy,Δwidth,Δheight),其中Δx、Δy、Δwidth、Δheight为检测到的目标框参数;
步骤52:通过对C1x做3x3的最大值池化配合sigmoid函数得到O1x,按如下公式进行特征增强:
Fm=Fin⊙O1x+Fin
其中,Fin为输入特征,⊙为元素对应相乘运算,Fm为获取到的增强特征;
步骤53:内核偏移量B1x(Δx,Δy,Δwidth,Δheight)中,只取Δx、Δy通道作为特征精化的输入,通过1x1的卷积获取输出结果Δpk,最后将内核偏移量用作可变形卷积的输入,以引导特征采样并与精化锚点对齐,其计算公式如下:
步骤54:在FGRM模块中进行所有操作后,获得最终的精炼特征Frf:
为了更好的获得图像的上下文信息,本发明采用了可变形卷积。其中,p0表示最终精炼特征图Frf中的每个空间位置,d为膨胀率;w表示可变形卷积参数,R是一个采样输入特征的规则网格(即,如果内核是3×3,则膨胀率1,R=(-1,-1),(-1,0),...,(0,1),(1,1),pk为参数选取的位置);最终的改进特征Frf是由w加权的采样值的总和;Δpk是内核偏移量,用于扩展常规采样网格,从而增强CNN建模几何转换的能力。传统的获得偏移做法是,通过在同一输入特征图上应用卷积层来获得偏移。在所述FGRM模块中,偏移量由目标模块的上一次回归生成,即由步骤4的输出获得;利用从目标模块预测的偏移量B1x优化原始锚点位置,采用精炼位置和精炼特征Frf执行多类分类C2x和框回归B2x。
然后对FGRM模块输出结果做非极大值抑制NMS,得到最终输出结果。
每个结果包含(1+4+class)*3个通道的输出,其中1代表用1个通道表示是目标的概率,4个通道代表4目标框的核心参数x、y、width、height通道,class为需要检测类别的数量(本文取值为3),最后3个通道为需要依据3层anchors去提取目标。
步骤6:将训练过程分为预设的多个子训练周期,采用步进增长策略依次进行子训练周期的训练;每完成一个子训练周期后逐步减小学习率;当完成一个子训练周期后生成的目标检测框与其对应的标定数据存在较大出入时,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数再返回步骤2继续训练;当完成一个子训练周期后生成的目标检测框达到预期或完成所有预设的子训练周期的次数后,则完成训练,得到训练好的安全帽分析网络模型。
在原始图片缩放成小图片的基础上开始训练,并佐以大学习率。在训练周期结束后增大输入图片,再减小学习率再次进行训练。以此类推,这样可以让分辨率更高的图片在低分辨率图片的基础上增强精度,增加网络的鲁棒性。
步骤7:采用训练好的安全帽分析网络模型对待测的视频图像进行检测,以判断分析人体是否佩戴安全帽。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
Claims (4)
1.一种基于隐藏层增强特征的工地安全帽检测方法,其特征在于,包括如下步骤:
步骤1:获取用于训练安全帽分析网络模型的原始图像,并获取原始图像中的人体坐标、头坐标和安全帽坐标信息;对各原始图像及其中的坐标信息进行图像增广处理,得到增广图像数据;最后对各图像及其中的坐标信息进行归一化处理后,以匹配数据对的方式进行存储,作为训练数据集;
步骤2:对于训练数据集中各图像,基于设定尺寸的画布,将尺寸大于画布的图像在保持图像长宽比的前提下调整图像大小至图像中的长边占满画布,并填充画布中未填满图像的部分;对于小于画布的图像,将图形直接贴到画布中心,并填充画布中未填满图像的部分;
步骤3:构建基于卷积神经网络的安全帽分析网络模型,对于输入的图像,先通过骨干网络提取图像特征值,进而得到第一阶段的检测特征图H_conv_1t;通过连接第一阶段的检测特征图与骨干网络中的中间特征得到第二阶段的检测特征图H_conv_2t;通过连接第二阶段的检测特征图与骨干网络中的中间特征得到第三阶段的检测特征图H_conv_3t;(H_conv_1t,H_conv_2t,H_conv_3t)构成网络的隐藏状态Zt,作为卷积特征输出;
所述卷积神经网络中负责提取特征的骨干网络由四大块特征提取模块组成,四大块特征提取模块通过级联的方式提取特征,每个模块包含3个卷积模块以及1个3x3的最大池化层;每个卷积模块包括一个卷积层,一个批正则化层和一个LeakyRelu激活函数;其中一个大卷积块的计算公式为:
F=R(BN(Wn*Qn+Bn))
其中R表示非线性激活函数,BN表示批归一化函数,Wn、Bn分别表示特征提取阶段中卷积层的权重和偏置,Qn表示上一个卷积输出的特征图,F表示当前特征提取阶段得到的输出结果;
步骤4:获取步骤3的卷积特征输出Zt后,将其与上一次的卷积特征输出,即隐藏状态Zt-1进行元素对应相乘,得到初步检测结果;
步骤5:通过FGRM模块修正网络输出的初步检测结果,然后对FGRM模块输出结果做非极大值抑制NMS,得到最终输出结果;
步骤6:将训练过程分为预设的多个子训练周期,采用步进增长策略依次进行子训练周期的训练;每完成一个子训练周期后逐步减小学习率;当完成一个子训练周期后生成的目标检测框与其对应的标定数据存在较大出入时,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数再返回步骤2继续训练;当完成一个子训练周期后生成的目标检测框达到预期或完成所有预设的子训练周期的次数后,则完成训练,得到训练好的安全帽分析网络模型;
步骤7:采用训练好的安全帽分析网络模型对待测的视频图像进行检测,以判断人体是否佩戴安全帽。
2.根据权利要求1所述的一种基于隐藏层增强特征的工地安全帽检测方法,其特征在于,所述步骤1的具体方法为:
选取要采集的工地视频,通过抽帧的方式获取图像作为输入的原始图像Xt,且如果相邻两张图像来自同一个视频,则为相邻帧;获取各图像中的三类坐标:人体坐标P(x,y,w,h),安全帽坐标H(x,y,w,h),头坐标T(x,y,w,h),其中,x、y为相应的中心点的横、纵坐标,w、h为相应的框的宽、高;对各原始图像及其中的坐标信息进行包括左右翻转以及随机改变亮度、色度饱和度的图像增广处理,得到大量的增广图片数据;对各图像及其中的坐标信息进行归一化到0~1之间的浮点数的处理后,以匹配数据对{Xt,P(x,y,w,h),H(x,y,w,h),T(x,y,w,h)}的方式进行存储,作为深度学习的训练数据集。
3.根据权利要求1所述的一种基于隐藏层增强特征的工地安全帽检测方法,其特征在于,所述步骤4中,对于第一次隐藏状态Zt*1包含3个高维矩阵分别为:H_conv_1t-1、H_conv_2t-1、H_conv_3t-1分别取值为全0.5的矩阵;当t>1时,Zt-1取值为从上一次输入获取的中间的卷积神经网络输出H_conv_1t-1、H_conv_2t-1、H_conv_3t-1;通过上一次的卷积特征输出与当前获取的卷积特征进行元素级别的矩阵相乘,然后进行检测结果修正。
4.根据权利要求1所述的一种基于隐藏层增强特征的工地安全帽检测方法,其特征在于,所述步骤5中,所述FGRM模块包含三个部分:目标特征图生成、内核偏移量提取和局部上下文信息提取,通过FGRM模块对检测结果进行修正,包括以下步骤:
步骤51:通过通道分解,把步骤4的输出分解为目标特征图C1x与内核偏移量B1x(Δx,Δy,Δwidth,Δheight),其中Δx、Δy、Δwidth、Δheight为检测到的目标框参数;
步骤52:通过对C1x做3x3的最大值池化配合sigmoid函数得到O1x,按如下公式进行特征增强:
Fm=Fin⊙O1x+Fin
其中,Fin为输入特征,⊙为元素对应相乘运算,Fm为获取到的增强特征;
步骤53:内核偏移量B1x(Δx,Δy,Δwidth,Δheight)中,只取Δx、Δy通道作为特征精化的输入,通过1x1的卷积获取输出结果Δpk,最后将内核偏移量用作可变形卷积的输入,以引导特征采样并与精化锚点对齐,其计算公式如下:
步骤54:在FGRM模块中进行所有操作后,获得最终的精炼特征Frf:
其中,p0表示最终精炼特征图Frf中的每个空间位置,d为膨胀率;w表示可变形卷积参数,R是一个采样输入特征的规则网格(即,如果内核是3×3,则膨胀率1,R=(-1,-1),(-1,0),...,(0,1),(1,1),pk为参数选取的位置);最终的改进特征Frf是由w加权的采样值的总和;Δpk是内核偏移量,用于扩展常规采样网格,从而增强CNN建模几何转换的能力;在所述FGRM模块中,偏移量由目标模块的上一次回归生成,即由步骤4的输出获得;利用从目标模块预测的偏移量B1x优化原始锚点位置,采用精炼位置和精炼特征Frf执行多类分类C2x和框回归B2x。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010314285.1A CN111507276B (zh) | 2020-04-20 | 2020-04-20 | 一种基于隐藏层增强特征的工地安全帽检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010314285.1A CN111507276B (zh) | 2020-04-20 | 2020-04-20 | 一种基于隐藏层增强特征的工地安全帽检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111507276A CN111507276A (zh) | 2020-08-07 |
CN111507276B true CN111507276B (zh) | 2023-04-14 |
Family
ID=71871141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010314285.1A Active CN111507276B (zh) | 2020-04-20 | 2020-04-20 | 一种基于隐藏层增强特征的工地安全帽检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111507276B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112396017B (zh) * | 2020-11-27 | 2023-04-07 | 上海建科工程咨询有限公司 | 一种基于图像识别的工程安全隐患识别方法及*** |
CN116824517B (zh) * | 2023-08-31 | 2023-11-17 | 安徽博诺思信息科技有限公司 | 基于可视化的变电站运维安全管控*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109447168A (zh) * | 2018-11-05 | 2019-03-08 | 江苏德劭信息科技有限公司 | 一种基于深度特征和视频目标检测的安全帽佩戴检测方法 |
CN110263686A (zh) * | 2019-06-06 | 2019-09-20 | 温州大学 | 一种基于深度学习的施工工地图像安全帽检测方法 |
CN110945449A (zh) * | 2018-11-15 | 2020-03-31 | 灵动科技(北京)有限公司 | 现场环境的实时监督式机器学习***与方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11074495B2 (en) * | 2013-02-28 | 2021-07-27 | Z Advanced Computing, Inc. (Zac) | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
-
2020
- 2020-04-20 CN CN202010314285.1A patent/CN111507276B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109447168A (zh) * | 2018-11-05 | 2019-03-08 | 江苏德劭信息科技有限公司 | 一种基于深度特征和视频目标检测的安全帽佩戴检测方法 |
CN110945449A (zh) * | 2018-11-15 | 2020-03-31 | 灵动科技(北京)有限公司 | 现场环境的实时监督式机器学习***与方法 |
CN110263686A (zh) * | 2019-06-06 | 2019-09-20 | 温州大学 | 一种基于深度学习的施工工地图像安全帽检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111507276A (zh) | 2020-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112052886B (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
WO2022160771A1 (zh) | 基于自适应多尺度特征提取模型的高光谱图像分类方法 | |
CN110287846B (zh) | 一种基于注意力机制的人脸关键点检测方法 | |
CN109344821A (zh) | 基于特征融合和深度学习的小目标检测方法 | |
CN111160269A (zh) | 一种人脸关键点检测方法及装置 | |
CN112163498B (zh) | 前景引导和纹理聚焦的行人重识别模型建立方法及其应用 | |
CN108416266A (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
CN110738161A (zh) | 一种基于改进生成式对抗网络的人脸图像矫正方法 | |
CN107292246A (zh) | 基于hog‑pca和迁移学习的红外人体目标识别方法 | |
CN109685716A (zh) | 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法 | |
CN111507276B (zh) | 一种基于隐藏层增强特征的工地安全帽检测方法 | |
CN110826500B (zh) | 基于运动链接空间的对抗性网络估计3d人体姿态的方法 | |
CN116524062B (zh) | 一种基于扩散模型的2d人体姿态估计方法 | |
CN105069745A (zh) | 基于普通图像传感器及增强现实技术的带表情变脸***及方法 | |
CN104751111A (zh) | 识别视频中人体行为的方法和*** | |
CN111368637A (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
CN109859222A (zh) | 基于级联神经网络的边缘提取方法及*** | |
CN114898359B (zh) | 一种基于改进EfficientDet的荔枝病虫害检测方法 | |
CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 | |
CN116935226B (zh) | 一种基于HRNet的改进型遥感图像道路提取方法、***、设备及介质 | |
CN115861595B (zh) | 一种基于深度学习的多尺度域自适应异源图像匹配方法 | |
CN111985488A (zh) | 一种基于离线高斯模型的目标检测分割方法及*** | |
CN114783039B (zh) | 一种3d人体模型驱动的运动迁移方法 | |
CN115661673A (zh) | 一种基于YOLOv4和注意力机制的图像目标检测方法 | |
CN115424337A (zh) | 基于先验引导的虹膜图像修复*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |