CN109858367A

CN109858367A - 工人通过支撑不安全行为的视觉自动化检测方法及***

Info

Publication number: CN109858367A
Application number: CN201811632875.8A
Authority: CN
Inventors: 骆汉宾; 叶成; 孔婷; 方伟立; 赵能
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2018-12-29
Filing date: 2018-12-29
Publication date: 2019-06-07
Anticipated expiration: 2038-12-29
Also published as: CN109858367B

Abstract

本发明属于建筑工程信息化相关技术领域，其公开了适用于工人通过支撑不安全行为的视觉自动化检测方法，该方法包括以下步骤：(1)基于施工现场监控视频，采集关于工人在无安全防护设施下，通行支撑结构的原始数据；(2)对原始数据内的图像进行手动标注，形成数据集。标注分为3种，分别是钢支撑、混凝土支撑、工人。(3)用COCO公开数据集、及标注后的数据集，训练基于Mask RCNN的分割掩码预测模型。(4)将预测模型生成的分割掩码输出给重叠判断模块，后者判断工人与支撑的位置关系，决定是否存在工人通行深基坑支撑的不安全行为。本发明能够检测不安全通行基坑支撑结构的行为，成本低，易推广，且具有较高的自动化程度。

Description

工人通过支撑不安全行为的视觉自动化检测方法及***

技术领域

本发明属于建筑工程信息化相关技术领域，更具体地，涉及一种基于(监控)视频实例分割的施工现场工人通过支撑结构不安全行为的自动化检测方法及***。

背景技术

高处坠落(FFH)是建筑工程施工现场安全事故的重要原因。针对高处坠落(FFH)的安全政策、程序有很多。如：职业安全与健康协会(OSHA)要求，在六英尺高的临边上工作必须有围栏、安全网、工人防跌***(PFAS)等的保护。

为保证基坑施工的安全，深基础常设置混凝土支撑、钢支撑等支撑结构。现场经验和监控记录表明，工人在施工现场活动时，为了走捷径，常通过没有围护设施的支撑结构(钢支撑、混凝土支撑)。需要提及的是，这种行为常伴随不佩戴安全带，因此是违反现场安全管理规范的不安全行为。可见，及时检测及阻止工人在无安全防护措施的情况下通行支撑，对于保护工人生命安全，降低安全事故至关重要。

目前的主流检测措施是基于现场检查，由于完全依赖现场的安全管理人员，存在耗时、耗费人力、缺乏及时性等缺陷。目前，随着基于深度学习的机器视觉技术的迅猛发展，相关领域的技术人员研究了大量基于建筑工程施工现场监控视频，结合神经网络的视觉自动化检测方法。应用的领域主要有工人跟踪、进度监控、产能分析、施工安全等。针对工人在无安全措施情况下通行基坑支撑结构的行为，存在发展一种低成本、高效率、易推广的视觉自动化检测方法的技术需求。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种工人通过支撑不安全行为的视觉自动化检测方法及***，适用于无防护设施情况下通过支撑结构的视觉自动化检测。其目的在于，通过工地的视频监控来采集无防护设施情况下通过支撑结构的图像数据来形成不安全通行数据集，基于视频的图像数据，通过Mask RCNN模型进行行为特征识别，并通过像素重叠检测，区分出工人是否通过支撑结构，从而实现施工中实时连续的不安全行为的自动捕捉。

为实现上述目的，按照本发明的一个方面，提供了一种工人通过支撑不安全行为的视觉自动化检测方法，用于自动化检测工人是否在无保护措施情况下通过基坑的支撑结构，该方法包括以下步骤：

步骤1：构建用于检测不安全通行支撑结构行为的深度神经网络模型，包括实例分割模块和重叠检测模块；

其中，实例分割模块基于Mask RCNN，用于识别工人与支撑的语义掩码；

重叠检测模块用于根据工人与支撑的语义掩码所共有的像素是否超过了预先定义的阈值，来判断工人是否在支撑上通行，从而确定是否存在工人通行基坑支撑的不安全行为；

步骤2：对基于Mask RCNN的实例分割模块进行训练，包括：

2.1、基于建筑工程施工现场存储的监控视频数据，采集关于工人在无安全防护设施下，通行支撑结构的图像数据，形成原始数据；

2.2、对原始数据内的图像标注工人和支撑的语义掩码Mask，形成包含原始数据与对应的语义掩码的数据集；将数据集随机分为训练集、验证集和测试集；

2.3、首先用COCO公开数据集对Mask RCNN检测模块进行初始化，再使用训练集对初始化后的Mask RCNN进行训练，然后使用验证集对训练后的Mask RCNN进行验证；如果验证结果的Mask识别准确率符合预设阈值，则进入步骤3，否则，返回步骤2.1，扩大原始数据容量后重新进行标注、训练及验证；

步骤3：利用测试集测试深度神经网络模型的检测效果。

进一步地，步骤(1)中，为了降低训练模型的偏差，选择具有不同视角、目标尺寸、光照条件的图片数据。

进一步地，步骤(2)中，标注分为3种，分别是钢支撑、混凝土支撑、工人。

进一步地，步骤2.3中，所述Mask RCNN采用残差网络+特征金字塔作为特征提取器，用于从原始数据的图像中提取特征图像；特征图像输入区域提取网络，生成候选区域；然后进行候选区域对齐并进行卷积，识别出语义掩码。

进一步地，所述区域提取网络中引入了锚点，以处理不同尺度和长宽比的对象。

进一步地，步骤2.3中Mask RCNN的损失函数L如下：

L＝L_cls+L_box+L_mask

其中，L_cls、L_box、L_mask分别表示分类、回归、语义预测的损失函数。

为实现上述目的，按照本发明的另一个方面，提供了一种工人通过支撑不安全行为的视觉自动化检测***，包括视频监控装置、处理器，以及按照如前所述的任意一种视觉自动化检测方法进行训练及验证后获得的，用于检测不安全通行支撑结构行为的深度神经网络模型程序模块；所述处理器调用所述深度神经网络模型程序模块对所述视频监控装置获取的图像进行分析，从而识别出工人是否具有在无保护措施情况下通过基坑支撑结构的不安全行为。

总体而言，本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)数据成本低：模型训练和测试所基于的数据集，来自于建筑工程施工现场的监控视频，不仅能够真实反映模型在实际场景中的应用效果，而且极大地降低了数据获取成本。

(2)实时、不间断、易应用：基于视频的检测过程，能够通过对建筑工程施工现场很常用的监控视频的实时、不间断监控，完成对工人在无防护设施的情况下通行基坑支撑结构这一不安全行为的实时监控与报警。

(3)效果真实、客观：利用基于卷积神经网络的算法模型去完成不安全行为的检测，不依赖于专家经验与人为判断，具有一定客观性。

(4)非侵入、自动、成本低：由于可以直接借助于施工现场布置的视频监控进行图像采集，实现了非侵入式、全自动检测、监控，节省时间和经济成本。

(5)易推广：不论施工现场是住宅、地铁、商场，基坑的支撑都类似，本发明的实施及应用并不受检测对象影响，检测模型具有较强的泛化能力，具有较低的推广成本。

附图说明

图1是本发明优选实施例的流程示意图；

图2是本发明优选实施例的基本原理框图；

图3是本发明优选实施例的Mask RCNN的图像处理流程示意图；

图4是本发明优选实施例的特征图像处理流程示意图；

图5(a)～5(d)是本发明优选实施例的候选区域对齐示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1、2所示，本发明提供的一种工人通过支撑不安全行为的视觉自动化检测方法，用于自动化检测工人是否在无保护措施情况下通过基坑的支撑结构，该方法包括以下步骤：

步骤2：对基于Mask RCNN的实例分割模块进行训练，包括：

步骤3：利用测试集测试深度神经网络模型的检测效果。

下面结合附图2～4以及附图5(a)～5(d)对实例分割模块和重叠检测模块的原理、工作过程进行详细介绍及举例说明。

一、实例分割模块(基于MaskRCNN)

本发明所采用的Mask RCNN网络，在计算机视觉领域，目前是实例分割任务的最优算法解决方案。Mask RCNN与其他基于候选区域的两阶段目标检测网络相似，第一阶段生成一系列可能含有待检测目标的区域，第二阶段使用卷积神经网络将这些区域分类为背景或目标。具体而言，Mask RCNN主要基于Faster RCNN：二者核心的不同之处在于，Mask RCNN针对目标候选区域增加了一个用于预测分割掩码(Segmentation Masks)的分支结构，使得Mask RCNN不仅可以进行目标检测，而且可以胜任实例分割任务。

如图3所示，图像输入Mask RCNN，将首先经过一个基于卷积神经网络(CNN)的特征抽取器。经过该CNN模块的卷积、池化、激活等操作后，得到原图像的一系列特征图像(Feature Maps)。区域提取网络本质上是一个全卷积神经网络(Fully ConvolutionalNetwork)，它的作用是以特征图像作为输入，生成可能含有待检测目标的候选区域(RegionProposal，或Region of Interests),并且每个候选区域将伴有一个分类预测和边界框预测。

候选区域生成后，依据它们的尺寸和位置，从特征图像中分割出来。经过RoIAlign层的处理，原先不同尺寸、形状的局部特征图像统一成了一个特定的大小和形状(高宽比)的局部特征图像，将这些局部特征图像作为输入进行如下处理：

(1)作为全连接层(Fully Connected Layers)的输入，经其处理、输出分类和边界框的预测结果。

(2)经过包含若干个卷积层(Convolutional Layers)的CNN模块的处理，生成并输出分割掩码(Segmentation Mask)。

1.网络结构

(1)特征提取器(CNN)

整个神经网络模型的第一个CNN模块作为特征提取器，用于以整个图像为输入，生成一系列相应的特征图像(Feature Maps)。自然地，该CNN模块的具体结构选择有很多。越强大的卷积神经网络，其特征抽取能力越强，效果越好。在本发明中，模型选用了ResNet-50+FPN(残差网络+特征金字塔)作为基础网络结构，具有强大的特征表达能力。

(2)区域提取网络(Region proposal network，RPN)

Mask RCNN采用了Faster RCNN算法所使用的候选区域生成方法：区域提取网络(Region proposal network，RPN)。

如图4所示，具体地，RPN使用ZF Network的网络结构，对特征图像(Feature Maps)用3*3卷积核进行卷积，生成类别未知的候选区域。经过ZF Network的处理，生成了256维的特征向量。作为两个独立的全连接(fc)层的输入，分别生成分类(cls)所用的2*k个评分，以及回归(reg)层所用的4*k个坐标。其中，所述分类层提供检测对象/背景的2个概率，所述回归层提供检测对象边界框(Bbox)的4个坐标值。

此处的超参k是RPN中引入的锚点数量。为了处理不同尺度和长宽比的对象，在RPN中引入锚点。在映射的每个滑动位置处，将锚点定在每个对象边界框的中心，设三个不同的尺寸(1282，2562，5122)和纵横比(1：1，1：2，2：1)，共放置了k＝9个锚点，每个对象边界框都被参数化以对应于锚点。因此，每个位置将生成2*9个分类预测概率，4*9个边界框预测值。

如果最后一个卷积层输出的特征图像的大小是H×W，对应的ROI数量将是H×W×k。

(3)候选区域对齐(RoI Align)

与Faster RCNN相比，Mask RCNN另一个主要贡献在于通过对ROI pooling层(模块)的结构改进，解决了其“不匹配问题”(Misalignment)。

在ROI中，变形被数字化：目标(局部)特征图像的单元边界被迫与输入特征图像的边界重新对齐。因此，在ROI池化过程后，每个单元格的尺寸可能并不相等。Mask RCNN使用ROI Align，它避免了单元格的边界数字化，并使每个目标单元格具有相同的大小。它还应用双线性插值来更精确地计算单元格内的要素图值。如图5(a)～5(d)所示，通过应用插值，左上角的最大特征值从原先的0.8变为0.85。

(4)端部网络

经过RoI Align的处理，所有的局部特征图像具有了相同的尺寸和比例(长宽比)，作为后续三个预测分支的输入。其中，分类预测和边界框坐标回归共享相同的若干全连接层，它们将输入展开，转化为一维向量，分别输出分类概率预测和边界框相对坐标值。除此之外，Mask RCNN特别采用了全卷积神经网络(Fully Convolutional Layers)构成分割掩码(Segmentation Mask)预测分支，对每个候选区域的分割输出维数为K*m*m(其中：m表示使用RoI Align对齐后的特征图的大小)，即K个类别的m*m的二值语义掩码。与全连接层的向量变达不同，它将保留局部特征图像的空间信息。

2.损失函数(Loss Function)：

在模型的训练过程中，针对每个候选区域，Mask RCNN有一个多任务损失函数，由分类、回归、语义预测三部分组成。

L＝L_cls+L_box+L_mask

分类采用常用的交叉熵函数，计算所预测的目标类别概率分布与真实的概率分布之间的距离；回归采用一般的均方误差损失函数，计算所预测的边界框和真实的边界框的位置坐标、尺寸之间的差异；分割方面，采用基于单像素Signmoid二值交叉熵作为损失函数。

二、重叠检测模块(Overlapping Detection Module)

图像经过基于Mask RCNN的实例分割模块处理之后，得到工人的一系列分割掩码(Mask)，计入listφ，钢支撑和混凝土支撑的一系列分割掩码，计入listψ；依次各取一个φ和ψ中的分割掩码，记σ为两个掩码的像素重叠区域，则依据公式3，计算得出两个分割掩码所对应的工人是否在该支撑上通行。

其中，超参δ为根据试验，预先设置的阈值。在本实施例中，取δ＝5。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种工人通过支撑不安全行为的视觉自动化检测方法，用于自动化检测工人是否在无保护措施情况下通过基坑的支撑结构，其特征在于，该方法包括以下步骤：

步骤2：对基于Mask RCNN的实例分割模块进行训练，包括：

步骤3：利用测试集测试深度神经网络模型的检测效果。

2.如权利要求1所述的工人通过支撑不安全行为的视觉自动化检测方法，其特征在于，步骤(1)中，为了降低训练模型的偏差，选择具有不同视角、目标尺寸、光照条件的图片数据。

3.如权利要求1或2所述的工人通过支撑不安全行为的视觉自动化检测方法，其特征在于，步骤(2)中，标注分为3种，分别是钢支撑、混凝土支撑、工人。

4.如权利要求1-2任一项所述的工人通过支撑不安全行为的视觉自动化检测方法，其特征在于，步骤2.3中，所述Mask RCNN采用残差网络+特征金字塔作为特征提取器，用于从原始数据的图像中提取特征图像；特征图像输入区域提取网络，生成候选区域；然后进行候选区域对齐并进行卷积，识别出语义掩码。

5.如权利要求4所述的工人通过支撑不安全行为的视觉自动化检测方法，其特征在于，所述区域提取网络中引入了锚点，以处理不同尺度和长宽比的对象。

6.如权利要求4所述的工人通过支撑不安全行为的视觉自动化检测方法，其特征在于，步骤2.3中Mask RCNN的损失函数L如下：

L＝L_cls+L_box+L_mask

7.一种工人通过支撑不安全行为的视觉自动化检测***，其特征在于，包括视频监控装置、处理器，以及按照权利要求1～6任意一项所述的视觉自动化检测方法进行训练及验证后获得的，用于检测不安全通行支撑结构行为的深度神经网络模型程序模块；所述处理器实时调用所述深度神经网络模型程序模块对所述视频监控装置实时获取的图像进行分析，从而识别出工人是否具有在无保护措施情况下通过基坑支撑结构的不安全行为。