CN112183472A - 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法 - Google Patents

一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法 Download PDF

Info

Publication number
CN112183472A
CN112183472A CN202011168790.6A CN202011168790A CN112183472A CN 112183472 A CN112183472 A CN 112183472A CN 202011168790 A CN202011168790 A CN 202011168790A CN 112183472 A CN112183472 A CN 112183472A
Authority
CN
China
Prior art keywords
image
target detection
region
clothes
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011168790.6A
Other languages
English (en)
Inventor
张新曼
寇杰
王静静
彭羽瑞
毛乙舒
程昭晖
陆罩
樊子恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202011168790.6A priority Critical patent/CN112183472A/zh
Publication of CN112183472A publication Critical patent/CN112183472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法，获取施工现场视频并进行图像预处理；通过衣物信息ROI区域目标检测神经网络进行目标检测；具体是利用去除了分类层的MobileNet进行图像多尺度特征提取，获取图像的三张多尺度特征图，利用特征金字塔对三张多尺度特征图再次进行特征提取和融合，获取图像的多尺度特征，利用分支网络进行衣物信息ROI区域检测；最后采用ResNet‑18标准模型对衣物信息ROI区域进行分类，结果为某一种工作服时，可确定该工人穿着工作服，否则为未穿着工作服，终端发出告警提醒管理人员。该方法不需要专业人员对模型进行操作和维护工作，可全自动检测施工现场人员穿着工作服，在视频监控检测方面具有较大的应用前景。

Description

一种基于改进RetinaNet的试验现场人员是否穿着工作服检 测方法
技术领域
本发明属于作业现场工作服穿着检测技术领域，特别涉及一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法。
背景技术
工地等试验现场、施工作业现场往往存在着外来无关人员闯入的安全隐患，由于多数情况下现场环境较为复杂，存在一定危险性，外来无关人员若发生意外会给现场施工作业带来不必要的纠纷；同时现场往往会存放一定价值的施工材料和设施，外来人员的闯入同样会对财产安全造成一定威胁。而工作服作为一种劳动保护用品不仅是防寒保暖的介质，在一定程度上保护作业人员的人身安全，同时它还能用来区分现场作业人员与外来无关闯入人员，因此，对试验现场、施工作业现场进行穿着工作服检测具有重要的意义。
近年来工地等作业现场对工作服穿着情况的监控大多依赖于人工的监视，尚未形成一个良好的自动监控***，人工监视无法做到二十四小时精准无误的监控，导致管理人员无法准确掌握施工现场人员穿着工作服的情况。
近期有根据视频图像处理来自动检测的方法，然而这些传统的工作服检测方法，采用的是背景建模方法或者前后帧差法来检测穿着衣物区域，而工地等作业现场往往有大量工作中的专业器械和大型车辆移动的场景，这两种场景都会造成较多的误检测情况，并且对于没有移动的作业人员，前后帧差法甚至会漏检；传统工作服分类方法，采用的是颜色分类方法，这种方法仅仅依据衣物信息ROI区域的颜色直方图进行判断，无法捕捉衣物的纹理和形状等信息，这在普通衣物和工作服有着类似颜色的情况下，很容易造成误检，导致工作服穿着的检测结果准确度不高。且以上常规视频处理技术对视频的拍摄角度、光照条件和目标遮挡等要求严苛，算法鲁棒性差，难以应用到复杂多变的施工现场作业现场场景。
也有基于深度学习的目标检测方法，采用的是单阶段检测器或者两阶段检测器进行目标检测任务。两阶段检测器通常在第一个阶段对背景和物体进行粗分类，然后在第二个阶段中对物体进行细分类。由于大部分的背景在第一个阶段中就被分类网络筛选掉，降低了第二阶段物体细分类的工作难度，所以两阶段检测器精度比较高，但是由于需要进行两阶段的检测，因此两阶段检测器速度往往不佳。
RetinaNet属于单阶段检测器，由于特征金字塔可以融合图像的多尺度特征，在多尺度目标检测任务上性能优越，而施工现场监控视频中的不同的工人距摄像头的远近不同，所以工作服往往呈现多尺度的特征。但是RetinaNet的骨干网络为ResNet，ResNet权重值参数数目庞大，模型复杂度高并且计算量庞大，不适合于要求实时监测的施工现场工作服检测任务。
发明内容
为了克服上述现有技术的缺点，解决工人等作业人员穿着工作服的检测准确率的问题，本发明的目的在于提供一种基于改进RetinaNet的试验现场人员是否穿着工作服的检测方法，通过使用去除了分类层的MobileNet代替RetinaNet中的骨干网络来缩减模型参数规模，在不损失大量检测精度的前提下，提高目标检测速度；基于该改进的RetinaNet深度学习模型，该方法的衣物信息ROI区域检测、穿着衣物分类都是通过深度学习的神经网络算法来检测的，可对现场施工人员的工作服穿着情况进行检测。其检测流程分为两步，首先是采用行人检测算法进行施工人员的检测，然后是对被检测到衣物信息ROI区域使用深度神经网络进行分类，判断其穿着了某一种工作服，若没有穿着任何一种工作服则视为未穿工作服。本发明能够全天候24小时对进出施工现场的施工作业人员进行工作服检测，发现未穿着工作服的人员时及时提醒管理人员，实现作业人员的有效管理和异常人员的闯入报警，规范了现场人员管理，且识别方法简单，方便工程应用集成，能够很大程度上提高穿着工作服的检测结果的准确度。
为了实现上述目的，本发明采用的技术方案是：
一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法，其特征在于，包括以下步骤：
1)获取现场视频并进行图像预处理；
2)通过衣物信息ROI区域目标检测神经网络进行目标检测，步骤如下：
2.1)利用去除了分类层的MobileNet进行图像多尺度特征提取，获取图像的三张多尺度特征图；
2.2)利用特征金字塔对三张多尺度特征图进行融合，获取融合多尺度特征后的特征图像；
2.3)利用分支网络对融合多尺度特征后的特征图像进行回归操作和分类操作进行目标检测，其中通过回归操作得到衣物信息ROI区域的位置信息，通过分类操作得到衣物信息ROI区域的分类信息；
3)采用ResNet-18分类网络对衣物信息ROI区域进行分类，结果为某一种工作服时，判定该现场人员穿着工作服，否则判定为未穿着工作服。
所述图像预处理包括：首先对视频以一定帧率抽帧，然后对每一帧进行尺寸归一化和零均值归一化，得到目标检测神经网络的输入。
所述目标检测神经网络采用已经标注衣物信息ROI区域的现场图像数据集进行训练，包括：将施工现场监控视频中的图像划分为人体区域、头部区域和背景区域，将头部区域以下的人体区域作为衣物信息ROI区域；标注所有图像中的人体区域和头部区域并构建训练数据集；预处理训练集中的图像，包括图像的尺寸缩放以及零均值归一化；以及将训练数据集输入到目标检测神经网络进行训练，使用该训练好的目标检测神经网络对图像进行目标检测，如果检测到人体区域并且同时检测到头部区域，将人体区域的头部以下区域作为衣物信息ROI区域；否则将该人体区域整体作为衣物信息ROI区域。
所述人体区域、头部区域和背景区域均采用矩形包围框进行标注，并对人体区域、头部区域和背景区域进行类型标记，从而组成衣物信息ROI区域目标检测的训练数据；将1/5的训练数据作为测试数据用来测试目标检测神经网络的拟合程度，使用训练数据进行目标检测神经网络的训练，并同时使用测试数据进行目标检测神经网络的测试；目标检测神经网络损失函数为类别损失函数与回归损失函数之和，其中类别损失函数采用聚焦损失函数，回归损失函数采用L1范数损失函数；采用随机梯度下降算法使得目标检测神经网络的损失函数收敛到一个最小值完成训练。
所述目标检测神经网络主要由3个模块构成：
去除了分类层的MobileNet网络模块，进行图像多尺度特征提取，获取图像的三张多尺度特征图；对比参数量庞大、模型复杂度高并且计算量庞大的ResNet骨干网络模块，改进后的RetinaNet在不损失较多检测精度的前提下，模型检测速度更快，符合施工施工现场的实时检测工人是否穿着工作服的要求，并且能够提取图像中的多分辨率特征，在多尺度目标检测任务上有良好的性能表现；
特征图像金字塔模块，对三张多尺度特征图进行融合，获取融合多尺度特征后的特征图像；
分支网络模块，对融合多尺度特征后的特征图像进行回归操作和分类操作，得到衣物信息ROI区域。
所述图像中检测到的衣物信息ROI区域通过以下步骤从视频中提取：
a1)预处理视频中的图像，包括图像的尺寸缩放以及归一化；
a2)利用目标检测神经网络检测施工现场监控视频的图像中的人体区域、头部区域和背景区域；
a3)若目标检测神经网络检测到的人体区域中同时检测到头部区域，将人体区域的头部以下矩形部分作为衣物信息ROI区域；
a4)若目标检测神经网络检测到的人体区域中未检测到头部区域，将整个人体区域作为衣物信息ROI区域。
所述步骤3)中，采用已经标注分类信息的穿着衣物图像数据集进行ResNet-18分类网络的训练，包括：将完整图像切割为包含头部的人体图像和不包含头部的人体区域图像；标注两种不同信息区域的图像并构建两种训练数据集，一种图像数据集为包含头部的衣物信息ROI区域，另一种图像数据集为不包含头部的衣物信息ROI区域；分别将两种训练数据集输入到分类网络分别进行训练，得到两种衣物分类模型。
所述ResNet-18分类网络的预测结果从其全局最大池化层输出，将1/5的训练数据作为测试数据用来测试分类网络的衣物分类性能，使用训练数据进行分类网络的训练，并同时使用测试数据进行分类网络的测试，采用随机梯度下降算法和反向传播算法更新目标检测神经网络权值，直到网络对于测试集的平均精准度达到最高时完成训练，使用Adam优化器对分类网络训练过程进行优化，直到分类网络的损失函数收敛到稳定的最小值，损失函数采用多分类对数损失函数。
当检测结果为某一现场人员未穿着工作服时，发送未穿着工作服的人体区域图像和提醒信号到终端，并发出警报声音提醒管理人员有异常情况。
与现有技术相比，本发明的有益效果是：
本发明中的穿着衣物区域的定位与识别、穿着工作服均依靠深度神经网络进行检测的，利用目标检测神经网络能自动提取到多分辨率的视频图像特征，定位穿着衣物区域，鲁棒性强，不容易受到背景或者衣物颜色干扰；同时，在目标检测神经网络中，创新性地使用了去除分类层的MobileNet与特征金字塔算法结合来提取视频图像的多分辨率特征，较传统目标检测方法拥有较高的精准度，并且较标准的RetinaNet目标检测神经网络相比拥有更快的速度。进行分类工作的深度神经网络能够学习提取衣物的纹理、形状和颜色等特征，提高对穿着工作服检测的准确度。
本发明对于检测穿着工作服具有很好的准确性和实时性，一张长宽均为300的图像检测时间在搭载V100显卡的服务器上只需要100ms，目标检测和分类网络具有自动提取图像多分辨率特征的能力，能提取出视频图像中的纹理、形状和颜色等特征，提升了施工现场穿着工作服检测的能力。
本发明方法应用范围广泛，方法简便易于应用，检测效率高，不需要拥有专业计算机图像知识的工作人员对模型进行维护工作，无需专业人员操作模型，本方法可全自动检测工地等施工现场人员是否穿着工作服，在视频监控检测方面具有较大的应用前景。
附图说明
图1为本发明基于改进RetinaNet深度学习模型的施工现场视频中工人是否穿着工作服检测方法原理框图。
图2为施工现场视频图像预处理方法流程图。
图3为骨干网络为去除分类层的MobileNet的目标检测神经网络结构图。
图4为分支网络结构图。
图5为获取衣物信息ROI区域流程图。
图6为ResNet-18网络结构图。
图7为单人目标检测示例图。
图8为多人目标检测示例图。
图9为未穿着工作服告警示例图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
参见图1，本发明通过以下方法对工作服进行检测：
穿着衣服区域目标检测神经网络对施工现场视频进行衣物目标检测，该目标检测神经网络是通过去除分类层的MobileNet获取特征金字塔，并利用卷积层进行多尺度特征图的回归与分类，最终通过非极大值抑制获取穿着衣服区域的位置信息，获取衣物信息ROI区域。
基于ResNet-18的穿着衣服分类方法，是通过将衣物信息ROI区域图像输入ResNet-18标准模型进行不同种类的衣物分类。当ResNet-18输出结果为某一种工作服时，可确定该工人穿着工作服，否则未穿着工作服，同时终端发出告警提醒管理人员施工现场异常情况。
深度学习的工作服检测具有高准确度和高鲁棒性，并能在不同角度下或者是工人被物体遮挡等复杂情况下对工作服进行检测。具体步骤如下：
1.获取现场视频并进行图像预处理：
如图2所示，施工现场视频图像的预处理部分，首先将施工现场监控视频按照25帧每秒的速率进行抽帧，然后将获取的帧图像缩放至长宽均为300的图像，对尺寸归一化后的图像进行零均值归一化，零均值归一化可以使得输入神经网络的数据按照原始图像的灰度信息分布于-1到1的区间之中，使得神经网络在训练时的收敛速度更快。具体的函数表达式如下：
y＝(x-η)/δ
式中，y为零均值标准化后图像灰度值，x为原图像灰度值，η为图像R、G、B通道上分量的均值，δ为图像R、G、B通道上分量的标准差。
图像的尺寸归一化中，利用双线性插值法对原始图像进行缩放，统一输入神经网络图像大小，双线性插值在两种正交的方向上各使用一次线性插值方法。
2.穿着衣物区域目标检测：
利用衣物信息ROI区域目标检测神经网络进行衣物信息ROI区域目标检测，目标检测神经网络主要由3个模块构成：
2.1)如图3左半部分所示，第一个模块为去除了分类层的MobileNet网络模块，通过5组深度可分离卷积层串联而成。深度可分离卷积层主要由拥有深度卷积核的卷积层和拥有长宽为1卷积核的卷积层串联而成，其中拥有深度卷积核的卷积层不会影响通道数但会使得输出特征高和宽减少一半，而拥有长宽为1卷积核的卷积层会使得输出特征通道数增大一倍但不会影响输出特征的高和宽。其中Conv1、Conv2、Conv3、Conv4和Conv5的卷积核长宽均为1，输出通道数均是输入通道数的2倍；Conv1dw、Conv2dw、Conv3dw、Conv4dw和Conv5dw的卷积核长宽均为3，输出通道数和输入通道数相等；Conv0对输入的RGB图像直接进行卷积，其卷积核长宽均为3，输入通道数为3，输出通道数为32；Conv6、Conv7、Conv8的卷积核大小均为1，输出通道数均为1，其提取进行图像多尺度特征，并对三个特征张量图进行卷积，缩小其通道数并获取三张多尺度特征图，第一个模块将深度可分离卷积层提取出的三张多分辨率特征图I、II、III提供给第二个模块。
2.2)如图3右半部分所示，第二个模块为特征图像金字塔模块，其对三张多尺度特征图进行融合，获取融合多尺度特征后的特征图像。具体地，将第一模块得到的特征图I经过上采样后与特征图II对应像素执行加法操作得到新的特征图II；同理将新的特征图II经过上采样后与特征图III对应像素执行加法操作得到新的特征图III，第二个模块将三张新的多分辨率特征图I、II、III提供给第三个模块，如图4所示。
2.3)如图4所示，第三个模块为分支网络模块，将第二个模块得到的融合多尺度特征后的特征图像进行回归和分类操作，其中通过回归操作得到衣物信息ROI区域的位置信息，通过分类操作得到衣物信息ROI区域的分类信息。具体地，该模块首先在第二模块得到的三张特征图上生成一定数量的矩形锚框信息，包括锚框的左上角顶点的横坐标x、纵坐标y和锚框的高h和宽w。然后将这些锚框送入回归子网进行回归操作，回归子网会生成锚框的4个偏移量，包括左上角顶点的横坐标偏移量Δx、纵坐标偏移量Δy和锚框的高度偏移量Δh和宽度偏移量Δw。图4左半部分展示了回归子网的结构，回归子网采用了4个卷积核长宽为3，填充为1的卷积层串联而成，每一个卷积层后均接ReLU激活函数，使得锚框内图像进入该卷积层后获取高和宽与锚框内图像相同的图，输出通道数设置为锚框数的4倍。分类子网络采用了4个卷积核长宽为3，填充为1的卷积层串联而成，每一个卷积层后均接ReLU激活函数，使得卷积层输入输出图像长宽不变，设置通道数为锚框数乘以需要分类的衣物种类数量，在卷积层后接全局最大池化层，分类子网络直接采用输出通道对不同种类的衣物进行分类。用于检测衣物信息ROI区域的目标检测神经网络包含锚框类别损失和正类锚框的4个偏移量损失，锚框类别损失的类别预测使用的聚焦损失函数，聚焦损失函数能够有效抑制正负类的样本数量失衡给网络带来的目标检测能力下降问题；正类锚框偏移量损失使用L1范数损失函数。目标检测神经网络的总损失函数设置为上述的锚框类别的分类损失和正类锚框的4个偏移量的回归损失之和，该目标检测神经网络训练时交并比设置为0.5，非极大值抑制NMS设置为0.5，最大检测数量设置为100，聚焦损失函数的α设置为0.20，γ设置为1.95。
本发明中，目标检测神经网络采用已经标注衣物信息ROI区域的现场图像数据集进行训练，包括：将施工现场监控视频中的图像划分为人体区域、头部区域和背景区域，将头部区域以下的人体区域作为衣物信息ROI区域；标注所有图像中的人体区域和头部区域并构建训练数据集；预处理训练集中的图像，包括图像的尺寸缩放以及零均值归一化；以及将训练数据集输入到目标检测神经网络进行训练，使用该训练好的目标检测神经网络对图像进行目标检测，如果检测到人体区域并且同时检测到头部区域，将人体区域的头部以下区域作为衣物信息ROI区域；否则将该人体区域整体作为衣物信息ROI区域。
其中，人体区域、头部区域和背景区域均采用矩形包围框进行标注，并对人体区域、头部区域和背景区域进行类型标记，从而组成衣物信息ROI区域目标检测的训练数据；将1/5的训练数据作为测试数据用来测试目标检测神经网络的拟合程度，使用训练数据进行目标检测神经网络的训练，并同时使用测试数据进行目标检测神经网络的测试；目标检测神经网络损失函数为类别损失函数与回归损失函数之和，其中类别损失函数采用聚焦损失函数，回归损失函数采用L1范数损失函数；采用随机梯度下降算法使得目标检测神经网络的损失函数收敛到一个最小值完成训练。
图5为获取衣物信息ROI区域的流程图，如果目标检测神经网络检测到人体区域并且该人体区域中同时检测到头部区域，将人体区域的头部以下区域作为衣物信息ROI区域；否则将该人体区域整个作为衣物信息ROI区域，目标检测神经网络对施工现场视频图像检测具体效果如图6所示。
3.衣物分类：
如图6所示，采用ResNet-18标准模型对步骤2中获取的衣物信息ROI区域进行衣物分类，ResNet-18标准模型具体结构为：包括依次连接的三个分类模块层、一层图像特征提取层、一层残差块层、一层全局最大池化层，其中图像特征提取层由输出通道数为64、步幅为2长宽为7卷积层后接步幅为2长宽为3的最大池化层组成，对于将长宽均为224的输入图像通道数增加至64并使其长和宽均减半；残差块层主要由4个残差块串联而成，其中每个残差块输入进入两个有相同输出通道数的长宽为3卷积层，每个卷积层后接一个批量归一化层和ReLU激活函数，在最后的ReLU激活函数前额外加入该残差块的输入，从全局最大池化层输出衣物分类预测结果，可将1/5的训练数据作为测试数据用来测试分类网络的衣物分类性能，使用训练数据进行分类网络的训练，并同时使用测试数据进行分类网络的测试，采用随机梯度下降算法和反向传播算法更新目标检测神经网络权值，直到网络对于测试集的平均精准度达到最高时完成训练。图6中虚线连接的卷积层代表先将张量进行下采样后再进行卷积。训练中采用Adam优化算法训练分类网络，直到分类网络的损失函数收敛到稳定的最小值，其中损失函数采用的是多分类对数损失函数。
本发明采用已经标注分类信息的穿着衣物图像数据集进行ResNet-18分类网络的训练，包括：将完整图像切割为包含头部的人体图像和不包含头部的人体区域图像；标注两种不同信息区域的图像并构建两种训练数据集，一种图像数据集为包含头部的衣物信息ROI区域，另一种图像数据集为不包含头部的衣物信息ROI区域；分别将两种训练数据集输入到分类网络分别进行训练，得到两种衣物分类模型。
根据分类结果，当为某一种工作服时，判定该现场人员穿着工作服，否则判定为未穿着工作服。此时可发送未穿着工作服的人体区域图像和提醒信号到终端，并发出警报声音提醒管理人员有异常情况。
以下是本发明的一个是否穿着工作服检测示例
如图7、图8所示，展示了目标检测神经网络进行头部和人体区域检测的实际效果。图中标记了每一个工人的头部区域和人体区域。图像中检测到的衣物信息ROI区域通过以下步骤从视频中提取：
a1)预处理视频中的图像，包括图像的尺寸缩放以及归一化；
a2)利用目标检测神经网络检测施工现场监控视频的图像中的人体区域、头部区域和背景区域；
a3)若目标检测神经网络检测到的人体区域中同时检测到头部区域，将人体区域的头部以下矩形部分作为衣物信息ROI区域；
a4)若目标检测神经网络检测到的人体区域中未检测到头部区域，将整个人体区域作为衣物信息ROI区域。
如图9所示，展示了基于改进RetinaNet深度学习模型的穿着工作服检测的实际效果，图中分别标记了正常的穿着工作服的人员和未穿着工作服的人员，并用红色矩形框和英文标注了未穿着工作服的人员。
综上可知，本发明方法应用范围广泛，方法简便易于应用，检测效率高，不需要拥有专业计算机图像知识的工作人员对模型进行维护工作，无需专业人员操作模型，可全自动检测施工现场人员穿着工作服，在视频监控检测方面具有较大的应用前景。
以上的具体实施方式仅为本发明的较佳实施例，并不用以限制本发明，凡在发明的精神及原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法，其特征在于，包括以下步骤：
1)获取现场视频并进行图像预处理；
2)通过衣物信息ROI区域目标检测神经网络进行目标检测，步骤如下：
2.1)利用去除了分类层的MobileNet进行图像多尺度特征提取，获取图像的三张多尺度特征图；
2.2)利用特征金字塔对三张多尺度特征图进行融合，获取融合多尺度特征后的特征图像；
2.3)利用分支网络对融合多尺度特征后的特征图像进行回归操作和分类操作进行目标检测，其中通过回归操作得到衣物信息ROI区域的位置信息，通过分类操作得到衣物信息ROI区域的分类信息；
3)采用ResNet-18分类网络对衣物信息ROI区域进行分类，结果为某一种工作服时，判定该现场人员穿着工作服，否则判定为未穿着工作服。
2.根据权利要求1所述基于改进RetinaNet的试验现场人员是否穿着工作服检测方法，其特征在于，所述图像预处理包括：首先对视频以一定帧率抽帧，然后对每一帧进行尺寸归一化和零均值归一化，得到目标检测神经网络的输入。
3.根据权利要求1所述基于改进RetinaNet的试验现场人员是否穿着工作服检测方法，其特征在于，所述目标检测神经网络采用已经标注衣物信息ROI区域的现场图像数据集进行训练，包括：将施工现场监控视频中的图像划分为人体区域、头部区域和背景区域，将头部区域以下的人体区域作为衣物信息ROI区域；标注所有图像中的人体区域和头部区域并构建训练数据集；预处理训练集中的图像，包括图像的尺寸缩放以及零均值归一化；以及将训练数据集输入到目标检测神经网络进行训练，使用该训练好的目标检测神经网络对图像进行目标检测，如果检测到人体区域并且同时检测到头部区域，将人体区域的头部以下区域作为衣物信息ROI区域；否则将该人体区域整体作为衣物信息ROI区域。
4.根据权利要求3所述基于改进RetinaNet的试验现场人员是否穿着工作服检测方法，其特征在于，所述人体区域、头部区域和背景区域均采用矩形包围框进行标注，并对人体区域、头部区域和背景区域进行类型标记，从而组成衣物信息ROI区域目标检测的训练数据；将1/5的训练数据作为测试数据用来测试目标检测神经网络的拟合程度，使用训练数据进行目标检测神经网络的训练，并同时使用测试数据进行目标检测神经网络的测试；目标检测神经网络损失函数为类别损失函数与回归损失函数之和，其中类别损失函数采用聚焦损失函数，回归损失函数采用L1范数损失函数；采用随机梯度下降算法使得目标检测神经网络的损失函数收敛到一个最小值完成训练。
5.根据权利要求1～4任一权利要求所述基于改进RetinaNet的试验现场人员是否穿着工作服检测方法，其特征在于，所述目标检测神经网络主要由3个模块构成：
去除了分类层的MobileNet网络模块，进行图像多尺度特征提取，获取图像的三张多尺度特征图；
特征图像金字塔模块，对三张多尺度特征图进行融合，获取融合多尺度特征后的特征图像；
分支网络模块，对融合多尺度特征后的特征图像进行回归操作和分类操作，得到衣物信息ROI区域。
6.根据权利要求1所述基于改进RetinaNet的试验现场人员是否穿着工作服的检测方法，其特征在于，所述图像中检测到的衣物信息ROI区域通过以下步骤从视频中提取：
a1)预处理视频中的图像，包括图像的尺寸缩放以及归一化；
a2)利用目标检测神经网络检测施工现场监控视频的图像中的人体区域、头部区域和背景区域；
a3)若目标检测神经网络检测到的人体区域中同时检测到头部区域，将人体区域的头部以下矩形部分作为衣物信息ROI区域；
a4)若目标检测神经网络检测到的人体区域中未检测到头部区域，将整个人体区域作为衣物信息ROI区域。
7.根据权利要求1所述基于改进RetinaNet的试验现场人员是否穿着工作服的检测方法，其特征在于，所述步骤3)中，采用已经标注分类信息的穿着衣物图像数据集进行ResNet-18分类网络的训练，包括：将完整图像切割为包含头部的人体图像和不包含头部的人体区域图像；标注两种不同信息区域的图像并构建两种训练数据集，一种图像数据集为包含头部的衣物信息ROI区域，另一种图像数据集为不包含头部的衣物信息ROI区域；分别将两种训练数据集输入到分类网络分别进行训练，得到两种衣物分类模型。
8.根据权利要求1或7所述基于改进RetinaNet的试验现场人员是否穿着工作服的检测方法，其特征在于，所述ResNet-18分类网络的预测结果从其全局最大池化层输出，将1/5的训练数据作为测试数据用来测试分类网络的衣物分类性能，使用训练数据进行分类网络的训练，并同时使用测试数据进行分类网络的测试，采用随机梯度下降算法和反向传播算法更新目标检测神经网络权值，直到网络对于测试集的平均精准度达到最高时完成训练，使用Adam优化器对分类网络训练过程进行优化，直到分类网络的损失函数收敛到稳定的最小值，损失函数采用多分类对数损失函数。
9.根据权利要求1所述基于改进RetinaNet的试验现场人员是否穿着工作服的检测方法，其特征在于，当检测结果为某一现场人员未穿着工作服时，发送未穿着工作服的人体区域图像和提醒信号到终端，并发出警报声音提醒管理人员有异常情况。
CN202011168790.6A 2020-10-28 2020-10-28 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法 Pending CN112183472A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011168790.6A CN112183472A (zh) 2020-10-28 2020-10-28 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011168790.6A CN112183472A (zh) 2020-10-28 2020-10-28 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法

Publications (1)

Publication Number Publication Date
CN112183472A true CN112183472A (zh) 2021-01-05

Family

ID=73923292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011168790.6A Pending CN112183472A (zh) 2020-10-28 2020-10-28 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法

Country Status (1)

Country Link
CN (1) CN112183472A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950584A (zh) * 2021-03-01 2021-06-11 哈尔滨工程大学 一种基于深度学习的涂层表面缺陷识别方法
CN113052140A (zh) * 2021-04-25 2021-06-29 合肥中科类脑智能技术有限公司 一种基于视频的变电站人员车辆违规检测方法及***
CN113159112A (zh) * 2021-03-09 2021-07-23 西南石油大学 一种古生物化石图像自动标注方法
CN113297913A (zh) * 2021-04-26 2021-08-24 云南电网有限责任公司信息中心 一种配网现场作业人员穿衣规范的识别方法
CN113343846A (zh) * 2021-06-04 2021-09-03 温州大学 一种基于深浅层特征融合的反光衣检测***
CN113822197A (zh) * 2021-09-23 2021-12-21 南方电网电力科技股份有限公司 工作着装识别方法、装置、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583481A (zh) * 2018-11-13 2019-04-05 杭州电子科技大学 一种基于卷积神经网络的细粒度服装的属性识别方法
CN109766998A (zh) * 2019-01-14 2019-05-17 温岭市非普电气有限公司 一种基于MobileNet加速的特征金字塔网络结构
CN110110613A (zh) * 2019-04-19 2019-08-09 北京航空航天大学 一种基于动作识别的轨道交通异常人员检测方法
CN110263686A (zh) * 2019-06-06 2019-09-20 温州大学 一种基于深度学习的施工工地图像安全帽检测方法
CN110569722A (zh) * 2019-08-01 2019-12-13 江苏濠汉信息技术有限公司 基于视觉分析的施工人员着装规范检测方法及装置
CN111126325A (zh) * 2019-12-30 2020-05-08 哈尔滨工程大学 一种基于视频的智能人员安防识别统计方法
CN111222478A (zh) * 2020-01-11 2020-06-02 深圳奥腾光通***有限公司 一种工地安全防护检测方法和***
CN111310723A (zh) * 2020-03-12 2020-06-19 智洋创新科技股份有限公司 基于深度学习技术的变电站人员穿戴规范分析方法
CN111401419A (zh) * 2020-03-05 2020-07-10 浙江理工大学桐乡研究院有限公司 基于改进RetinaNet的员工着装规范检测方法
CN111461017A (zh) * 2020-04-01 2020-07-28 杭州视在科技有限公司 一种用于城市级规模的餐饮后厨工作服高精度识别方法
CN111508269A (zh) * 2020-04-23 2020-08-07 深圳智优停科技有限公司 一种基于图像识别的开放式停车位车辆判别方法与装置
CN111523439A (zh) * 2020-04-21 2020-08-11 苏州浪潮智能科技有限公司 一种基于深度学习的目标检测的方法、***、设备及介质
CN111582073A (zh) * 2020-04-23 2020-08-25 浙江大学 一种基于ResNet101特征金字塔的变电站违规行为识别方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583481A (zh) * 2018-11-13 2019-04-05 杭州电子科技大学 一种基于卷积神经网络的细粒度服装的属性识别方法
CN109766998A (zh) * 2019-01-14 2019-05-17 温岭市非普电气有限公司 一种基于MobileNet加速的特征金字塔网络结构
CN110110613A (zh) * 2019-04-19 2019-08-09 北京航空航天大学 一种基于动作识别的轨道交通异常人员检测方法
CN110263686A (zh) * 2019-06-06 2019-09-20 温州大学 一种基于深度学习的施工工地图像安全帽检测方法
CN110569722A (zh) * 2019-08-01 2019-12-13 江苏濠汉信息技术有限公司 基于视觉分析的施工人员着装规范检测方法及装置
CN111126325A (zh) * 2019-12-30 2020-05-08 哈尔滨工程大学 一种基于视频的智能人员安防识别统计方法
CN111222478A (zh) * 2020-01-11 2020-06-02 深圳奥腾光通***有限公司 一种工地安全防护检测方法和***
CN111401419A (zh) * 2020-03-05 2020-07-10 浙江理工大学桐乡研究院有限公司 基于改进RetinaNet的员工着装规范检测方法
CN111310723A (zh) * 2020-03-12 2020-06-19 智洋创新科技股份有限公司 基于深度学习技术的变电站人员穿戴规范分析方法
CN111461017A (zh) * 2020-04-01 2020-07-28 杭州视在科技有限公司 一种用于城市级规模的餐饮后厨工作服高精度识别方法
CN111523439A (zh) * 2020-04-21 2020-08-11 苏州浪潮智能科技有限公司 一种基于深度学习的目标检测的方法、***、设备及介质
CN111508269A (zh) * 2020-04-23 2020-08-07 深圳智优停科技有限公司 一种基于图像识别的开放式停车位车辆判别方法与装置
CN111582073A (zh) * 2020-04-23 2020-08-25 浙江大学 一种基于ResNet101特征金字塔的变电站违规行为识别方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950584A (zh) * 2021-03-01 2021-06-11 哈尔滨工程大学 一种基于深度学习的涂层表面缺陷识别方法
CN113159112A (zh) * 2021-03-09 2021-07-23 西南石油大学 一种古生物化石图像自动标注方法
CN113052140A (zh) * 2021-04-25 2021-06-29 合肥中科类脑智能技术有限公司 一种基于视频的变电站人员车辆违规检测方法及***
CN113297913A (zh) * 2021-04-26 2021-08-24 云南电网有限责任公司信息中心 一种配网现场作业人员穿衣规范的识别方法
CN113343846A (zh) * 2021-06-04 2021-09-03 温州大学 一种基于深浅层特征融合的反光衣检测***
CN113343846B (zh) * 2021-06-04 2024-03-15 温州大学 一种基于深浅层特征融合的反光衣检测***
CN113822197A (zh) * 2021-09-23 2021-12-21 南方电网电力科技股份有限公司 工作着装识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
CN106203274B (zh) 一种视频监控中行人实时检测***及方法
CN104123544B (zh) 基于视频分析的异常行为检测方法及***
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN101389004B (zh) 一种基于在线学习的运动目标分类方法
CN109819208A (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
CN111611874B (zh) 基于ResNet和Canny的人脸口罩佩戴检测方法
CN110502965A (zh) 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
CN108062542B (zh) 被遮挡的人脸的检测方法
CN107145851A (zh) 建筑作业区危险源智能识别***
CN109190475B (zh) 一种人脸识别网络与行人再识别网络协同训练方法
CN111814638B (zh) 基于深度学习的安防场景火焰检测方法
CN111339883A (zh) 复杂场景下基于人工智能的变电站内异常行为识别与检测方法
CN113516076A (zh) 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法
CN109711322A (zh) 一种基于rfcn的人车分离方法
CN110728252B (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
CN109672863A (zh) 一种基于图像识别的施工人员安全装备智能监测方法
CN111353338B (zh) 一种基于营业厅视频监控的能效改进方法
CN112183438B (zh) 基于小样本学习神经网络的违规行为的图像识别方法
CN108898098A (zh) 基于监控平台的早期视频烟雾检测方法
CN113436229A (zh) 一种多目标跨摄像机行人轨迹路径的生成方法
CN110490150A (zh) 一种基于车辆检索的违章图片自动审核***及方法
CN112287823A (zh) 一种基于视频监控的面部口罩识别方法
CN110222735A (zh) 一种基于神经网络与背景建模的物品被盗遗留识别方法
CN108229421A (zh) 一种基于深度视频信息的坠床行为实时检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105