CN115497040A - 一种基于图像识别的施工现场安全管理辅助决策*** - Google Patents

Abstract

一种基于图像识别的施工现场安全管理辅助决策***，包括前端图像采集与信息输入、传输网络、GPU图像与数据处理以及施工现场安全管理辅助决策结果输出与显示部分；***通过传输网络部分进行信息交互；前端图像采集与信息输入部分包括计算机图像采集与信息输入终端和/或施工现场图像信息移动采集终端；GPU图像与数据处理部分包括GPU图像与数据处理服务器组、施工现场图像特征库服务器、施工现场安全管理规则库服务器；GPU图像与数据处理服务器组包括GPU图像处理服务器部分和数据处理服务器部分；施工现场安全管理辅助决策结果输出与显示部分包括：安全管理辅助决策输出终端、辅助决策结果输出打印设备、辅助决策与安全管理移动终端。

Description

一种基于图像识别的施工现场安全管理辅助决策***

技术领域：

本发明涉及计算机辅助项目管理技术领域，尤其是项目施工现场安全管理领域，具体而言，为一种基于图像自动识别的施工现场安全管理辅助决策***。

背景情况：

在工程项目建设过程中，工程的项目管理对项目目标的最终实现和完成效果具有十分重要的作用和意义。在工程项目的诸多管理内容中，做好项目质量、安全、进度的管理是工程项目建设管理的基本要求，而工程项目的现场安全管理又是项目实施过程管理的重中之重。工程项目的现场管理，通常需要在“人、机、料、法、环”等五个方面进行重点把控，确保项目建设过程中质量合格、进度合理，不发生安全事故。上述五个方面的因素中，人员、机具、环境方面的因素是现场安全管理的主要因素，在项目实施现场管理过程中需要重点加强、予以重视。

当前，对于工程项目现场的安全管理，通常是根据项目组织架构和现场管理制度，对工程项目现场进行事前安全制度宣贯、事中安全管理检查、事后安全管理处置的方式。工程项目在定期或不定期进行的安全检查过程中，通常由经验十分丰富的监理工程师、项目安全管理专职工程师根据个人长期的行业工作经验对现场安全因素判别诊断，拍照或人工记录方式对现场问题进行记录。在项目施工现场安全检查完毕后，需要监理工程师或安全管理专职工程师回办公场所回忆检查过程，查阅检查现场的书面记录和照片情况，进行信息核对和书面记录整理，形成安全检查记录和文档，结合项目安全管理制度对检查的相关安全问题提出处置措施。这种对工程施工现场安全检查和管理的方法，其局限在于：

(1)项目实施过程中的安全检查全凭靠监理工程师或专业安全管理工程师的个人经验，安全检查结果因检查个体差异而异，主观性较强；

(2)工程项目安全检查过程中的记录基本全靠临时手写记录，不能及时进行电子化转换，安全检查记录呈现纸片化、零碎化，项目既往安全记录追溯和台账管理效果不理想；

(3)针对同类的工程项目，项目实施过程中安全检查资料具有类比性，人工现场检查和记录的方式不能将以往项目安全管理经验教训的信息便捷的进行传递，不利于同类项目参照使用；

(4)在工程项目的实施过程中，由于现场施工条件通常比较差，再加上进度要求，将安全管理常抓不懈，一以贯之实属不易，通常是安全检查时施工现场一个样子，检查过后则是另外一副样子，并且，安全检查发现的违规处置情况不能及时通报到负责的施工班组和施工人员个体，实际管理效果差；

(5)工程项目建设的安全管理过程会不断的积累经验或者教训，单纯人工的检查和记录方式无法实现项目安全管理组织过程资产的信息化，组织过程资产重复利用效果差，不利于安全管理经验的积累。

发明内容：

为了解决上述问题，根据工程项目实施过程中施工现场安全管理的基本要求，结合人工智能技术的发展，通过与信息化手段相结合，本发明提供了一种基于图像自动识别的施工现场安全管理辅助决策***。

一种基于图像识别的施工现场安全管理辅助决策***，包括：前端图像采集与信息输入部分、(有线和/或无线)传输网络部分、GPU图像与数据处理部分、施工现场安全管理辅助决策结果输出与显示部分等。本发明的***架构如图1所示。

其中，前端图像采集与信息输入部分为计算机图像采集与信息输入终端或者施工现场图像信息移动采集终端，前者的物理介质为台式计算机工作站，后者的物理介质为安装有基于本方案应用的APP智能设备(如智能手机)。

施工现场安全管理采集的图像(或照片)可以通过前端台式工作站进行加载和导入，也可以在施工现场使用移动智能设备进行图像信息采集的同时直接将图像上传到GPU图像与数据处理服务器。同时，现场采集图像的图像基本属性信息，施工工程项目的基本信息(如工程项目名称、开工时间、地理位置)以及安全管理的基本信息(如安全检查人员、安全检查时间、天气情况、施工班组、施工人员数量等)可以通过台式计算机工作站或者移动采集终端手动方式进行信息输入。

本方案的有线(和无线)传输网络部分包括本方案中各部分之间以及各部分内部之间进行数据通信的有线线路、无线网络以及网络交互设备(如交换机、路由器、租借运营商的无线及有线网络设备和链路等)。***各部分之间以及各***内部通过有线(或无线)传输网络进行信息交互。

GPU图像与数据处理部分主要由GPU图像与数据处理服务器组、施工现场图像特征库服务器、施工现场安全管理规则库服务器，以及用于实现三者之间信息交互的内部网络设备等组成。

施工现场图像特征库服务器存储施工现场安全管理的人员类、机具类、现场环境类用于对构建的图像识别模型进行训练的训练集图像库，用于对建立图像识别模型进行测试的测试集图像库，以及经GPU图像处理服务器对现场采集图像进行预处理，人员、机具、现场环境初步识别分类，根据安全管理条目进行人员、机具、现场环境图像识别运算的过程图像数据。

施工现场安全管理规则库服务器结合施工现场安全管理要求存储施工现场人员、机具、现场环境安全管理规则。通过施工现场安全管理规则库服务器可对工程项目现场安全管理规则规章进行信息输入、查询、修改、管理等。GPU图像与数据处理服务器组中的数据处理服务器根据其前置的安全管理图像识别模块检测结果，与施工现场安全管理规则库服务器安全管理条目进行规则匹配，并结合项目其他相关汇集信息进行安全管理辅助决策。

GPU图像与数据处理服务器组在功能组成上包括GPU图像处理服务器部分和数据处理服务器部分。GPU图像处理服务器部分由图像预处理模块、图像识别分类模块，以及人员类、机具使用类、现场环境类各个图像识别检测子模块等组成，其功能包括：

(1)基于施工现场图像特征库构建采用Fast R-CNN算法的快速多物体检测图像识别分类模型，利用图像特征库训练集和测试集图像进行模型训练和评估，经过修正与调整得到可用于进行人员、机具使用、现场环境进行图像识别分类模块。基于施工现场图像特征库以及优选的图像识别算法如模板匹配法、基于卷积的神经网络算法、亮度梯度法、基于VGG16卷积神经网络的SSD算法等分别构建进行人脸、安全帽、反光衣、劳保鞋、安全绳等人员类图像进行安全管理合规性识别的检测模块，进行施工现场电动工具作业、电焊作业、吊装设备、吊装作业等机具使用类图像安全管理合规性识别的检测模块，进行施工现场抽烟(烟头或抽烟行为)、灭火器设置(未摆放或摆放不规范)、临边防护(基坑、洞口未设置防护或防护设置不规范)、现场垃圾未清等现场环境类图像安全管理合规性识别的检测模块。

(2)对前端工作站或移动智能设备采集的施工现场图像进行预处理，将图像调整为统一的格式(JPG、PNG、BMP)和尺寸，对图像进行去噪、灰度化、几何变换、图像增强等处理降低和消除图像中的无关信息，增强有关信息的可检测性，最大限度的简化数据，提高后续图像识别过程中特征提取检测可靠性。

(3)利用图像识别分类模块对预处理后的施工现场采集图像按照人员类、机具使用类、现场环境类进行识别分类，并将结果存储在图像特征库服务器上。

(4)人员类、机具使用类、现场环境类各个图像识别检测子模块对前置识别分类模块分类后的图像进行安全管理合规性识别，根据识别结果与安全管理规则库进行信息匹配，并将结果输出至GPU图像与数据处理服务器组的数据处理服务器部分。

施工现场采集到人员类图像经人脸检测识别模块对图像中的人脸进行识别，提取当前图像中人员的身份信息，然后依次通过安全帽、反光衣、劳保鞋、安全绳检测模块分别进行安全管理合规性判定(如施工人员未佩戴安全帽或者佩戴不规范，施工人员未穿戴反光背心或者劳保鞋，施工人员高空作业未悬挂安全绳)，判定结果输出至数据处理服务器施工现场安全管理辅助决策信息归集与处理模块进行信息汇集与整合。

施工现场机具使用类检测模块主要对施工现场使用的施工机具安全管理合规性进行检测，如电动作业期间，电锯或者电动砂轮需要安装防护罩，在进行焊接作业时施工人员需要使用防护用具，吊装作业的吊装钢丝绳不能有钢丝挤出、变形、毛刺、断丝等情况，吊装作业时吊装物下方不能站立人员等。机具使用类检测模块通过对施工现场采集的机具使用类相关图像进行识别，结合施工机具安全规则库进行安全管理合规性判定，判定结果输出至数据处理服务器施工现场安全管理辅助决策信息归集与处理模块进行信息汇集与整合。

施工现场环境类检测模块对采集的施工现场环境类图像进行图像识别，结合施工场景安全规则库进行安全管理合规性判定，包括施工现场有烟头或有抽烟行为、灭火器未摆放或摆放不规范、临边处未设置防护或防护设置不规范、施工现场垃圾未清等情况，根据安全违规情况和安全管理规则将判定结果输出至数据处理服务器施工现场安全管理辅助决策信息归集与处理模块进行信息汇集与整合。

GPU图像与数据处理服务器组的数据处理服务器部分主要实现施工现场安全管理辅助决策信息归集与处理。一方面，安全管理辅助决策信息归集与处理模块接收施工现场人员类、机具使用类、现场环境类各个检测子模块的安全管理合规性判定结果；另一方面，安全管理辅助决策信息归集与处理模块接收工程项目管理人员或者安全管理人员通过前端工作站或者移动智能设备输入的工程项目名称、开工时间、地理位置等工程项目基本信息，以及施工现场安全检查人员、安全检查时间、施工班组、施工人员数量、天气情况等安全管理基本信息；此外，前端工作站或者移动智能设备通过Exif方法提取施工现场采集图像的DateTimeOriginal属性信息，并将其传递给安全管理辅助决策信息归集与处理模块接收处理。施工现场安全管理辅助决策信息归集与处理模块对上述收到的工程项目基本信息、施工现场采集图像基本属性信息、施工现场安全检查安全合规性及违规条目明细信息进行整合和处理，输出至施工现场安全管理辅助决策结果的输出与显示部分。

数据处理服务器预留施工现场图像采集安全管理合规性手动匹配模式，用于施工现场采集的图像经预处理后无法被图像识别分类模块自动分类，或者自动分类后无法被人员类、机具类、现场环境类图像检测子模块自动识别的图像。此时，该类图像自动转入辅助决策信息归集与处理模块，采用人工肉眼模式进行图像识别后与安全规则库进行手动匹配，并与上述图像自动识别形成的安全合规性检查结果、工程项目基本信息整合与处理后输出至施工现场安全管理辅助决策结果的输出与显示部分。

施工现场安全管理辅助决策结果输出与显示部分用于呈现施工现场安全检查采集图像自动识别与合规性判定的安全管理结果，其设备组成包括施工现场安全管理辅助决策输出终端(工作站)、辅助决策结果输出打印设备、辅助决策与安全管理移动终端等。安全管理辅助决策终端可以查看安全检查现场违章的类别、明细，对项目实施过程中现场安全检查的周、月、季度安全检查及违规情况进行浏览，根据安全检查违规情况开具通知书、联系单、通报书等书面处罚文件。辅助决策的安全检查明细及统计报表包括项目名称、文件编号、检查时间、检查人员、安全检查违章类别、违规人员、违规条目、处置方式、整改时限、现场照片、照片拍摄时间、违规识别方式(自动识别、人工识别)等信息，可通过结果输出打印设备生成书面文档。

经***自动识别的安全检查违规事项可通过辅助决策与安全管理移动终端通知到相关安全管理施工班组负责人和违规施工当事人。通过移动终端，班组负责人和施工人员可及时收到***发送的安全检查违规信息通知，也可以查询本班组或者个人的历史违规事项，以便及时警醒，提高安全防范意识。

本发明的有益效果：安全是工程项目实施的第一要务，针对当前工程项目在实际实施过程中，现场安全检查和安全管理主要依靠人工方式，主观性强、管理实际效果差、历史记录追溯难、不易形成组织过程资产积累的现状，本发明通过构建图像处理模型、采用基于深度学习的检查算法，采用人工智能技术图像自动识别的方法和手段实现了施工现场安全检查图像的自动分类和施工现场安全管理辅助决策。

通过该种方式，

(1)施工现场在多频次安全检查(如安全日检)时，摆脱了对检查人员专业性、经验性的过度依赖，降低了安全检查合规性判定的主观性；

(2)项目实施过程中历次的检查结果通过分类、整理，能够形成比较***、全面、完整的安全检查组织过程资产，便于安全管理经验的积累和传递；

(3)***采用基于有线与无线相结合的网络架构，GPU图像处理器与数据处理器相结合数据处理手段，固定工作站和移动智能终端相结合的采集与呈现方式，提高了安全管理的效率和使用便捷性；

(4)***对安全管理辅助决策结果能够以无线方式及时通知到施工班组或施工人员，可及时对安全管理当事人或责任人起到警醒作用，同时，工程项目实际实践中，通过安全管理辅助决策结果历史记录存储和检索，可以有效避免工程最终结算时安全管理费用扣罚引起的商务纠纷。

附图说明：

图1为本技术方案的***架构示意图。

图2为本技术方案的功能模块与数据信息逻辑关系示意图。

具体实施方式：

本发明公开了一种基于图像识别的施工现场安全管理辅助决策***，其组成包括前端图像采集与信息输入部分、有线(和无线)传输网络部分、GPU图像与数据处理部分、施工现场安全管理辅助决策结果输出与显示部分等。其中，前端图像采集与信息输入部分为计算机图像采集与信息输入工作站或者图像信息移动采集终端(安装有施工现场安全管理辅助决策***软件的智能机)。GPU图像与数据处理部分为GPU图像处理服务器、安全管理数据处理服务器、施工现场图像特征库服务器、施工现场安全管理规则库服务器，以及用于实现三者之间信息交互的网络设备。GPU图像与数据处理部分在功能上包括图像预处理模块、图像识别分类模块，以及人员类、机具使用类、现场环境类各个图像识别检测子模块。施工现场安全管理辅助决策结果输出与显示部分用于呈现施工现场安全管理辅助决策结果，其组成包括施工现场安全管理辅助决策输出工作站、打印设备、辅助决策与安全管理移动终端等。

下面将结合本发明中的附图，通过实施例对本发明的技术方案进行更清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

结合图1和图2，一种基于图像识别的施工现场安全辅助决策***，按照GPU图像与数据处理部分的部署位置，可分为本地化部署、云端部署、本地云端相结合部署三种方式，根据图像处理识别模型的构建方式又可分为自主构建图像识别算法模型训练并使用的方式和利用既有图像识别算法模型训练并使用两种方式。下面通过实施例对上述不同的***部署方式、不同图像识别模型构建方式，结合施工现场场景下的使用方法分别进行说明。

实施例一：

根据图1所示的***架构组成，一种基于图像识别的施工现场安全管理辅助决策***在施工地项目部进行本地化部署，***组成包括部署在施工现场安全管理部的安全管理信息采集工作站，安全管理信息查询终端，安装有安全管理辅助决策信息***APP的移动图像信息采集终端，部署在施工现场工程管理部的图像处理服务器、数据处理服务器、施工现场图像特征库服务器、施工现场安全管理规则库服务器、以及与移动互联网对接的接口服务器，实现本方案上述***设备间互通的网络交换设备等。

安全管理信息采集工作站和移动图像信息采集终端可以上传和加载项目实施过程中现场安全检查采集的现场人员、机具使用、现场环境类安全管理图像，结合项目实际情况输入项目的项目名称、开工时间、地理位置、计划竣工时间等项目基本信息，施工现场安全检查人员、安全检查时间、施工班组、施工人员数量、天气情况等安全管理基本信息。

图像处理服务器用于对前端采集的现场图像进行处理、识别分类、图像特征检测及安全管理规则判定。图像处理服务器部署图像预处理模块、图像识别分类模块，以及人员、机具使用、现场环境安全管理图像识别检测与判定模块。图像识别分类、图像安全管理识别与判定检测模块采用自主构建识别算法模型的方式，算法模型经训练和评估后使用。

图像识别分类模块采用Fast R-CNN算法构建识别模型结构，Fast R-CNN算法结构以VGG16卷积神经网络结构为基础，在全连接层之前***了ROI池化层，处理时卷积层不需要对候选框图像进行裁剪，直接将图片归一化到CNN需要的格式。同时，Fast R-CNN采用多任务思想，将原来物体检测的多阶段训练简化成一个端到端(End-to-End)的模型，将分类和边框定位结合在一起统一训练，通过分类与位置两个任务的损失共同进行网络参数的调整，最终训练成适用的分类检测模型，输出检测物体对应分类和边框坐标。现场采集经预处理的人员、机具使用、现场环境类图像经图像识别分类模块进行分类。

人员、机具使用、现场环境类图像经图像识别分类模块初步快速分类后，根据所属类别再由人员类、机具使用类、现场环境类图像识别检测子模块进行图像特征精准识别、位置矢量计算，并根据识别和计算结果进行安全规则判定。各类图像精准识别和位置矢量计算检测子模块结合被检测图像的特点分别采用优选的图像识别算法模型。

人员类检测模块的人脸检测识别，采用基于模板匹配算法模型的特征脸算法，该方法对人员眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离等属性识别，并计算出它们的几何特征量，通过这些几何特征量得到人员面相的特征向量，从而构建人脸的特征识别模型。在施工项目开工前，事前对现场的施工人员进行人脸信息采集，采集的施工人员人脸信息保存在图像特征库服务器内，建立施工人员人像档案。人脸检测模块识别模型将现场采集的人员类图像与档案库的人员图像信息进行匹配计算，当计算出的相似度结果超过设定的阈值时，则将该人员的识别结果输出。

人员类检测的反光衣、劳保鞋检测模块，图像识别采用基于VGG16网络结构，去掉两个FC层，增加4个卷积层的改进SSD算法模型。通过图像特征库中的反光衣、劳保鞋图像训练集对构建的SSD算法模型进行端到端的训练，根据计算出的位置、标签、置信得分进行参数调整，从而构建反光衣、劳保鞋图像特征检测识别模型。

机具使用类的电动作业检测、电焊作业检测，亦采用模板匹配算法构建图像识别模型。根据施工现场使用物资，采集项目现场的砂轮、电锯、焊条、防护罩等现场作业图片信息，在图像特征库建立机具使用规范作业图像档案，并结合库内(外)电动作业、电焊作业图像训练集进行训练和参数调优，得到电动作业检测、电焊作业检测图像识别模型，使用过程中与档案库机具规范使用图像信息进行匹配计算，通过相似度计算对电动工具、电焊作业规范性进行结果识别。

工程项目施工现场的环境类临边(基坑、洞口)图片由于图像不同区域的亮度变化明显，对临边(基坑、洞口)防护检测图像识别可采用亮度梯度识别算法，由于RobertsCross交叉梯度算子边缘检测法可通过局部差分计算检测出边缘线条，对具有陡峭的低噪声的图像处理识别效果较好。利用Roberts Cross交叉梯度算子法对图像边缘进行识别，再根据边缘两侧的亮度梯度可实现临边防护设置与否的检测判定。

同样，以卷积神经网络CNN的23个卷积层为基础，可分别对其他图像识别模块构建深度学习网络，通过现场采集及图像特征库样本集的训练，得到安全帽、安全绳、吊钩、吊装钢丝绳、烟头、灭火器、现场垃圾等图像识别模型。当现场采集人员、机具使用、现场环境类图像出现安全帽未佩戴或佩戴不规范、登高作业未悬挂安全绳、吊钩下方站立人员、吊装钢丝绳毛刺(或断丝)、现场抽烟或有烟头、现场规定位置未放置灭火器或者放置不规范、现场垃圾任意丢弃等情况时，对其进行图像识别和结果判定与输出。

施工现场安全管理规则库服务器存储施工现象安全管理的相关制度、规定，施工现场人员、机具使用、现场环境安全管理违规的处理措施条目信息。如人员未带安全帽或安全帽佩戴不规范，处理措施为“口头教育并立即纠正”，登高作业未悬挂安全绳处理措施为“立即纠正、罚款100元并通报施工班组”，临边(基坑、洞口)未设置防护措施的处理措施为“施工班组停工整顿并再次检查”，停工整顿时间为“5个工作日”等。同样，安全管理规则库服务器还存储反光衣、劳保鞋穿戴，电动作业、电焊作业、吊装设备、吊装作业、现场抽烟、灭火器设置、现场垃圾清理类等安全管理规则条目及相应的处理措施。此外，施工现场安全管理人员，根据工程项目实际情况可对安全管理规则库相关规定进行修改、查询、增删等管理操作。

施工现场的数据处理服务器接收其前置的图像处理服务器图像识别结果，与施工现场安全管理规则库服务器安全管理条目进行规则匹配，同时，数据处理服务器接收安全管理信息采集工作站或者移动图像信息采集终端提取的图像“拍摄时间”、“拍摄地点”基本属性信息，输入(或设定)的项目名称、开工时间、地理位置、计划竣工时间等项目基本信息，以及施工现场安全检查人员、安全检查时间、施工班组、施工人员数量、天气情况等安全管理基本信息，经汇集及处理后形成施工现场安全管理辅助决策结果输出。

部署在施工现场安全管理部的安全管理信息查询终端接收数据处理服务器的安全管理辅助决策结果，根据需要自动生成现场安全检查违章明细表。明细表清晰的展示项目名称、开工时间、地理位置、计划竣工时间，安全检查人员、安全检查时间、施工班组、施工人员数量、天气情况，以及人员类、机具使用类、施工环境类具体人员姓名、违规条目、处罚措施、整改完成时间、施工班组、现场照片、安全违规识别方式等信息。另外，通过安全管理信息查询终端可以查询该项目以往的安全检查违章情况，按照周、月、季进行统计，自动生成和打印人员类、机具使用类、施工环境类安全管理违规事项统计报表。

施工现场工程管理部设置接口服务器，在为移动端应用提供信息转发和查询服务的同时，实现内外网隔离。接口服务器通过施工现场项目部的网络交换设备与本地部署的图像和数据处理服务器、采集和查询终端设备互联，同时，接口服务器通过运营商专线与互联网连通。施工现场移动采集终端设备采集的图像信息和输入的项目基本信息，通过接口服务器转发到图像与数据处理服务器进行后续处理；辅助决策数据处理服务器进行信息汇集后形成的安全管理辅助决策结果，在发送给安全管理信息查询终端的同时，同步输出给接口服务器。施工现场移动查询终端可以无线方式接入到接口服务器查询安全管理辅助决策结果，接口服务器根据安全辅助决策结果，也可以向班组或现场安全管理人员、施工违规人员定点推送相关安全检查结果及违规条目信息。

按照上述方案部署的一种基于图像识别的施工现场安全管理辅助决策***，在建施工工程项目使用时，安全管理人员或现场巡检人员在工程现场检查时，通过图像移动采集终端(如安装有图像施工安全管理图像采集软件的智能手机)或图像拍摄设备对工程现场施工人员、施工作业过程、施工环境等进行图像采集和上传，工程施工地项目部部署的图像和数据处理服务器根据内置的图像识别软件模块和算法模型，自动对施工现场的人员违规情况、机具使用违规情况、施工现场环境违规情况进行识别和判定，并将判定结果发送到安全违规施工人员或班组安全管理人员的移动查询终端设备(如安装有施工安全辅助决策管理软件的智能手机)上，以对相关人员做到及时通知和安全警醒。同时，在施工现场安全管理辅助决策终端上可以查看本次现场安全检查的结果汇总信息，并通过打印设备输出，通过对辅助决策结果明细表的分析，可对当前施工现场的安全管理情况进行评估。自动生成的安全检查书面文件可作为工程项目安全管理组织过程资产进行归档使用。

实施例二：

按照图1所示的***架构组成，一种基于图像识别的施工现场安全管理辅助决策***在某施工地项目部采用本地化与云端部署相结合的方式。

本地化***设备包括施工现场安全管理图像信息采集工作站、安全管理信息查询终端、图像处理服务器、数据处理服务器，施工现场图像特征库服务器、施工现场安全管理规则库服务器、网络互联设备等。云端设备为某外部人工智能企业发布图像识别模型的相关***及设备，结合本方案***架构简称之为云端图像处理服务器。外部人工智能企业在发布图像识别模型时一并提供接入方法，本地化的图像处理服务器和云端的图像处理服务器以API方式进行数据对接。

一种基于图像识别的施工现场安全管理辅助决策***方案采用本地化与云端相结合的方式，可以充分利用人工智能企业研发完成并在云端部署的图像识别模型，减少了独立构建图像识别模型和软件开发的时间。该方式下，施工现场采集的人员、机具使用、施工环境类图像的分类与识别均由部署在云端的图像处理服务器实现，部署在本地的图像处理服务器以API接口的形式与云端图像处理服务器进行软件和功能对接，发送图像识别请求，接收图像识别结果。

与本地化独立构建人员、机具使用、施工环境类安全管理图像分类与识别算法模型类似，采用云端图像处理服务器构建的图像识别模型仍需要利用施工现场本地化部署的图像特征库的人员、机具使用、施工环境类图像集对其进行训练后方可使用。其过程包括:

(1)通过某外部人工智能企业软件平台注册账号并设置登录密码，根据模型使用类别进行选择并付费；

(2)在该企业的线上软件开发平台根据需要分别创建人员、机具使用、施工环境类图像的分类模型，进行人脸、安全帽、反光衣、劳保鞋、安全绳识别的人员类安全管理检测图像识别模型，进行砂轮、电锯、焊条、防护罩、吊钩、吊装钢丝绳识别的机具使用和现场作业类安全管理图像识别模型，进行烟头、灭火器、临边(基坑、洞口)、现场垃圾等图像识别的施工环境类安全管理图像识别模型；

(3)按照平台图像格式要求，将已标签好的施工现场人员、施工机具、施工场景图像特征库训练集图像上传并导入到企业线上软件开发平台，进行上述创建模型的训练；

(4)当创建模型训练完成后，再次上传和导入本地施工现场人员、施工机具、施工场景图像特征库相关测试集图像以验证上述创建模型的有效性；

(5)经测试，当上述创建的模型可以满足使用需求时，在线申请模型发布，人工智能企业收到申请并审核成功后，提供已训练好模型的引用地址、密钥等信息，用于在本地化软件开发时对云端模型进行引用和对接使用。

按照上述方法在云端部署的图像识别模型，使用时本地图像处理服务器通过API接口的方式向云端图像处理服务器发送图像识别请求，请求内容参数包括用户名、密码、施工现场采集的图像、对识别图像进行识别的云端图像识别服务模型等。云端图像处理器收到图像识别请求后，使用注册用户在云端建立并训练完成的识别模型对上传的图像进行识别，识别结果以API接口的方式返回给本地图像处理服务器，返回消息参数包括用户名、识别模型、识别分值、识别错误时的错误代码等。

施工现场安全管理规则库服务器存储施工现象安全管理的相关制度、规定，施工现场人员、机具使用、现场环境安全管理违规的处理措施条目。数据处理服务器收到本地图像处理服务器发送的经云端图像处理服务器识别后的图像识别结果，与施工现场人员、机具使用、施工场境安全规则库进行规则匹配，做出安全管理合规性判定。同时，数据处理服务器结合安全管理信息采集工作站提供的现场采集图片属性信息、工程项目基本信息，汇集并处理后形成施工现场安全管理辅助决策结果。

施工现场本地化部署的安全管理信息查询终端接收数据处理服务器的安全管理辅助决策结果，根据需要自动生成施工现场安全检查违章明细表，周、月、季度的人员类、机具使用类、施工环境类安全管理违规事项统计报表等。

采用本地化与云端部署相结合方式构建的一种基于图像识别的施工现场安全管理辅助决策***，在某施工地安全质量监督管理机构到施工现场对安全管理情况进行检查时，安监人员对施工现场进行巡视的同时，通过摄像设备对施工现场情况进行图像拍摄采集。安监人员现场巡视完到施工项目部后，将采集图像通过图像采集工作站导入到本地图像处理服务器，本地图像处理服务器通过API软件接口将现场图像转发给云端的图像处理服务器，云端图像处理服务器根据其内置的图像识别分类模型、人脸检测识别模型、安全帽识别检测模型、反光衣识别检测模型、劳保鞋识别检测模型、安全绳识别检测模型、电动工具作业使用检测模型、电焊作业识别模型、吊装设备与吊装作业识别检测模型、现场抽烟识别检测模型、灭火器设置识别检测模型、临边(基坑、洞口)防护识别检测模型、现场施工垃圾识别检测模型等对收到的现场采集图片进行图像识别，将识别结果反馈给施工现场项目部的本地图像处理服务器。

施工现场本地图像处理服务器通过API接口接收云端图像处理服务器的识别结果并发送给数据处理服务器，数据处理服务器将识别结果与施工现场安全管理规则库进行安全管理违规条目信息比对后，形成安全管理辅助决策结果输出到安全管理辅助决策工作站。

安监人员可以通过安全管理辅助决策工作站查询该项目本次巡视，以及项目自实施以来的安全管理记录，并按周、月、季度显示或打印输出。通过查阅该项目人员、机具使用、现场环境类的项目现场违规统计信息，对统计记录的分析和判断，安监人员可以对项目现场施工人员、施工作业、施工环境方面的安全管理情况进行综合评估，根据评估结果对项目施工现场提出针对性的措施和意见，从而进一步提升该项目施工现场的安全管理水平。

显然，以上所述实施方式仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于图像识别的施工现场安全管理辅助决策***，其特征在于，包括：前端图像采集与信息输入部分、传输网络部分、GPU图像与数据处理部分、施工现场安全管理辅助决策结果输出与显示部分；***的各部分之间以及各***内部通过传输网络部分进行信息交互；

前端图像采集与信息输入部分包括：计算机图像采集与信息输入终端和/或施工现场图像信息移动采集终端；

GPU图像与数据处理部分包括：GPU图像与数据处理服务器组、施工现场图像特征库服务器、施工现场安全管理规则库服务器，以及用于三者之间信息交互的内部网络设备；GPU图像与数据处理服务器组包括：GPU图像处理服务器部分和数据处理服务器部分；GPU图像处理服务器部分包括：图像预处理模块；图像识别分类模块；对应人员类、机具使用类和现场环境类的各个图像识别检测子模块：

施工现场安全管理辅助决策结果输出与显示部分包括：安全管理辅助决策输出终端、辅助决策结果输出打印设备、辅助决策与安全管理移动终端；

在前端图像采集与信息输入部分中：

施工现场的图像或照片通过计算机图像采集与信息输入终端进行加载导入到GPU图像与数据处理部分，和/或由施工现场图像信息移动采集终端进行图像信息采集并直接将图像上传到GPU图像与数据处理部分；同时，图像或照片的基本属性信息、施工工程项目的基本信息以及安全管理的基本信息是通过前端图像采集与信息输入部分以手动方式进行信息输入；

在GPU图像与数据处理部分中：

施工现场图像特征库服务器的存储内容包括：施工现场安全管理的人员类、机具类、现场环境类的用于对构建图像识别分类模型进行训练的训练集图像库；用于对建立图像识别分类模型进行测试的测试集图像库；过程图像数据，这些过程图像数据是GPU图像处理服务器组对现场采集图像进行预处理的过程图像数据，GPU图像处理服务器组对人员、机具、现场环境初步识别分类的过程图像数据，GPU图像处理服务器组根据安全管理条目进行人员、机具、现场环境图像识别运算的过程图像数据；由所述图像识别分类模型得到的图像识别分类模块；

施工现场安全管理规则库服务器的存储内容包括：结合施工现场安全管理要求的施工现场人员、机具、现场环境安全管理规则；通过施工现场安全管理规则库服务器对工程项目现场安全管理规则规章进行信息输入、查询、修改、管理；

GPU图像与数据处理服务器组的数据处理服务器部分根据其前置的图像识别分类模块的检测结果，与安全管理规则中的安全管理条目进行规则匹配，并结合其它决策因素进行安全管理辅助决策；

在施工现场安全管理辅助决策结果输出与显示部分中：

呈现施工现场安全检查采集图像自动识别与合规性判定的安全管理结果。

2.根据权利要求1所述的基于图像识别的施工现场安全管理辅助决策***，其特征是传输网络部分包括：***的各部分之间以及各部分内部之间进行数据通信的有线线路、无线网络以及网络交互设备。

3.根据权利要求1所述的基于图像识别的施工现场安全管理辅助决策***，其特征是在GPU图像与数据处理服务器组中进行如下处理：

步骤1)基于施工现场图像特征库服务器中的存储内容，构建采用Fast R-CNN算法的快速多物体检测图像识别分类模型；利用训练集和测试集图像进行模型训练和评估；经过修正与调整得到用于进行人员、机具使用、现场环境进行识别分类的图像识别分类模块；

基于施工现场图像特征库服务器中的存储内容以及图像识别算法，分别构建如下检测子模块：

进行人脸、安全帽、反光衣、劳保鞋、安全绳的人员类图像进行安全管理合规性识别的检测模块；

进行施工现场电动工具作业、电焊作业、吊装设备、吊装作业的机具使用类图像安全管理合规性识别的检测模块；

进行施工现场抽烟、灭火器设置、临边防护、现场垃圾未清的现场环境类图像安全管理合规性识别的检测模块；

步骤2)对前端图像采集与信息输入部分采集的施工现场图像进行预处理，将图像调整为统一的格式和尺寸，对图像进行去噪、灰度化、几何变换和图像增强处理；

步骤3)利用步骤1)构建的图像识别分类模块对步骤2)得到图像按照人员类、机具使用类、现场环境类进行识别分类，并将结果存储于施工现场图像特征库服务器；

步骤4)各个检测子模块对前置的图像识别分类模块分类后的图像进行安全管理合规性识别，根据识别结果与施工现场安全管理规则库服务器的存储内容进行信息匹配，并将结果输出至数据处理服务器部分。

4.根据权利要求3所述的基于图像识别的施工现场安全管理辅助决策***，其特征是在人员类图像进行安全管理合规性识别的检测模块包括人脸检测识别模块；安全帽检测模块、反光衣检测模块、劳保鞋检测模块和安全绳检测模块；

人员类图像经人脸检测识别模块对图像中的人脸进行识别，提取当前图像中人员的身份信息；

然后依次通过安全帽、反光衣、劳保鞋、安全绳检测模块分别进行安全管理合规性判定；

判定结果输出至数据处理服务器部分，由其中的施工现场安全管理辅助决策信息归集与处理模块进行信息汇集与整合。

5.根据权利要求3所述的基于图像识别的施工现场安全管理辅助决策***，其特征是在机具使用类图像安全管理合规性识别的检测模块中：

通过对施工现场采集的机具使用类相关图像进行识别，结合施工机具安全规则进行安全管理合规性判定；

判定结果输出至数据处理服务器部分，由其中的施工现场安全管理辅助决策信息归集与处理模块进行信息汇集与整合。

6.根据权利要求3所述的基于图像识别的施工现场安全管理辅助决策***，其特征是在现场环境类图像安全管理合规性识别的检测模块中：

对采集的施工现场环境类图像进行图像识别，结合施工场景安全规则进行安全管理合规性判定，根据安全违规情况和安全管理规则进行安全管理合规性判定；

判定结果输出至数据处理服务器部分，由其中的施工现场安全管理辅助决策信息归集与处理模块进行信息汇集与整合。

7.根据权利要求4～6任一所述的基于图像识别的施工现场安全管理辅助决策***，其特征是施工现场安全管理辅助决策信息归集与处理模块接收施工现场人员类、机具使用类、现场环境类各个检测子模块的安全管理合规性判定结果；

施工现场安全管理辅助决策信息归集与处理模块接收工程项目管理人员或者安全管理人员通过前端工作站或者移动智能设备输入的工程项目名称、开工时间、地理位置等工程项目基本信息，以及施工现场安全检查人员、安全检查时间、施工班组、施工人员数量、天气情况等安全管理基本信息。

前端图像采集与信息输入部分提取施工现场采集图像的DateTimeOriginal属性信息，并将其传递给施工现场安全管理辅助决策信息归集与处理模块进行处理；

施工现场安全管理辅助决策信息归集与处理模块对收到的工程项目基本信息、施工现场采集图像基本属性信息、施工现场安全检查安全合规性及违规条目明细信息进行整合和处理，输出至施工现场安全管理辅助决策结果的输出与显示部分；

数据处理服务器预留施工现场图像采集安全管理合规性手动匹配模式；

当施工现场采集的图像经预处理后无法被图像识别分类模块自动分类，或者自动分类后无法被人员类、机具类、现场环境类图像检测子模块自动识别的图像时，相应图像自动转入施工现场安全管理辅助决策信息归集与处理模块，采用人工肉眼模式进行图像识别后与安全规则进行手动匹配，并与相应图像自动识别形成的安全合规性检查结果、工程项目基本信息整合与处理后输出至施工现场安全管理辅助决策结果的输出与显示部分。

8.根据权利要求1所述的基于图像识别的施工现场安全管理辅助决策***，其特征是安全管理辅助决策终端的显示内容包括：安全检查现场违规事项；项目实施过程中现场安全检查的周、月、季度安全检查及违规情况；根据安全检查违规情况开具通知书、联系单和通报书的书面处罚文件；显示内容通过辅助决策结果输出打印设备生成书面文档；

安全检查违规事项通过辅助决策与安全管理移动终端通知到相关安全管理施工班组负责人和违规施工当事人；班组负责人和施工人员通过辅助决策与安全管理移动终端查询本班组或者个人的历史违规事项。

Images