CN115578693A - 一种基于显著性神经网络模型的施工安全预警方法和装置 - Google Patents

一种基于显著性神经网络模型的施工安全预警方法和装置 Download PDF

Info

Publication number
CN115578693A
CN115578693A CN202211399577.5A CN202211399577A CN115578693A CN 115578693 A CN115578693 A CN 115578693A CN 202211399577 A CN202211399577 A CN 202211399577A CN 115578693 A CN115578693 A CN 115578693A
Authority
CN
China
Prior art keywords
target
neural network
network model
construction
significance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211399577.5A
Other languages
English (en)
Inventor
曾啸
陈霖
阮贝
王强
刘锦湖
许典鸿
黄国智
王兴圣
彭家欣
郑栩凡
苗浩
徐雪丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Zhuhai Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Zhuhai Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Zhuhai Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202211399577.5A priority Critical patent/CN115578693A/zh
Publication of CN115578693A publication Critical patent/CN115578693A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Emergency Management (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于显著性神经网络模型的施工安全预警方法和装置，通过对施工设备和人员图像集进行图像预处理，生成训练样本数据，构建初始显著性神经网络模型，训练生成目标显著性神经网络模型，当接收到待识别施工现场图像时，采用待识别施工现场图像输入目标显著性神经网络模型，生成目标细化特征图，确定多个对应的目标本体区域，并对目标本体区域进行标识，基于是否满足预设条件的判断结果，判断目标本体数据关联的施工人员是否存在施工安全隐患；解决现有卷积神经网络无法准确的识别图片中施工人员与施工设备的像素点特征差异，突出施工人员局部区域的显著特征，从而造成未能及时给施工人员提供安全预警，存在施工安全隐患的技术问题。

Description

一种基于显著性神经网络模型的施工安全预警方法和装置
技术领域
本发明涉及工地现场安全监测技术领域，尤其涉及一种基于显著性神经网络模型的施工安全预警方法和装置。
背景技术
随着人工智能技术的飞速发展，推动了计算机视觉领域的发展，当大量的图片数据信息在互联网上传输，可供利用的数据集也就越来越多，对图片信息的特征提取就愈发重要。
早期的显著性检测大多将研究重心放在人眼注意点的检测上，即检测图像中最吸引人类眼光的地方，检测结果为一组光亮点组成的感兴趣区域，随着计算机视觉的进一步发展，单一的视觉注意点检测逐渐难以满足其需求。
因此，研究者提出将显著性检测看作是一个图像分割问题，将图像的显著性目标区域从背景中分割出来，并将该任务称为显著性目标检测。
目前，通过利用卷积神经网络高效的特征提取能力，虽然极大地提升了显著性目标检测算法的性能，但是仅仅依靠卷积神经网络做简单的特征拼接或相加等融合策略还是无法有效地增强特征，导致检测算法在施工场景中出现图片噪声和冗余像素输入过多，无法准确的识别图片中施工人员与施工设备的像素点特征差异，突出施工人员局部区域的显著特征，从而造成未能及时给施工人员提供安全预警，存在施工安全隐患。
发明内容
本发明提供了一种基于显著性神经网络模型的施工安全预警方法和装置，解决了现有卷积神经网络无法有效地增强特征，导致检测算法在施工场景中出现图片噪声和冗余像素输入过多，无法准确的识别图片中施工人员与施工设备的像素点特征差异，突出施工人员局部区域的显著特征，从而造成未能及时给施工人员提供安全预警，存在施工安全隐患的技术问题。
本发明第一方面提供的一种基于显著性神经网络模型的施工安全预警方法，包括：
当接收到施工设备和人员图像集时，对所述施工设备和人员图像集进行图像预处理，生成训练样本数据；
采用预设VGGnet16卷积神经网络模型与预设交并空间型神经网络模型构建交并空间注意力机制卷积神经网络模型，并结合预设LSTM神经网络模型构建初始显著性神经网络模型；
采用所述训练样本数据对所述初始显著性神经网络模型进行训练，生成目标显著性神经网络模型；
当接收到待识别施工现场图像时，采用所述待识别施工现场图像输入所述目标显著性神经网络模型，生成目标细化特征图；
从所述目标细化特征图提取对应的目标本体数据，根据所述目标本体数据确定多个对应的目标本体区域，并对所述目标本体区域进行标识；
基于多个所述目标本体区域是否满足预设条件的判断结果，判断所述目标本体数据关联的施工人员是否存在施工安全隐患。
可选地，所述采用所述训练样本数据对所述初始显著性神经网络模型进行训练，生成目标显著性神经网络模型的步骤，包括：
将所述训练样本数据输入所述初始显著性神经网络模型，生成对应的训练细化特征图；
计算所述训练细化特征图与关联的标准细化特征图之间的训练损失值；
比较所述训练损失值与预设的训练标准阈值；
若所述训练损失值小于或等于所述训练标准阈值，则停止训练，生成目标显著性神经网络模型。
可选地，还包括：
若所述训练损失值大于所述训练标准阈值，则按照预设梯度调整所述初始显著性神经网络模型的参数，并跳转所述将所述训练样本数据输入所述初始显著性神经网络模型，生成对应的训练细化特征图的步骤。
可选地，所述当接收到待识别施工现场图像时，采用所述待识别施工现场图像输入所述目标显著性神经网络模型，生成目标细化特征图的步骤，包括：
当接收到待识别施工现场图像时，采用所述待识别施工现场图像输入所述交并空间注意力机制卷积神经网络模型进行训练，提取多个对应的卷积图像特征图；
对多个所述卷积图像特征图进行归一化操作和映射，得到多个对应的图像特征概率图；
采用所述图像特征概率图输入所述LSTM神经网络模型进行训练，提取多个对应的目标显著图；
对多个所述目标显著图进行线性拟合操作，得到对应的目标细化特征图。
可选地，所述目标本体数据包括施工设备本体数据和施工人员本体数据，所述目标本体区域包括施工设备本体区域和施工人员本体区域，所述从所述目标细化特征图提取对应的目标本体数据，根据所述目标本体数据确定多个对应的目标本体区域，并对所述目标本体区域进行标识的步骤，包括：
从所述目标细化特征图提取对应的施工设备本体数据，以各个所述施工设备本体数据所处位置为区域中心，划分预设半径的多个施工设备本体区域；
按照所述施工设备本体区域关联的施工设备的设备类型对所述施工设备本体区域标识预设的类别颜色；
从所述目标细化特征图提取对应的施工人员本体数据，以各个所述施工人员本体数据所处位置为区域中心，划分所述预设半径的多个施工人员本体区域；
对所述施工人员本体区域关联的施工人员标识预设的显著边框。
可选地，所述基于多个所述目标本体区域是否满足预设条件的判断结果，判断所述目标本体数据关联的施工人员是否存在施工安全隐患的步骤，包括：
若任一所述施工设备本体区域与各个所述施工人员本体区域之间存在区域重叠，则判定所述施工人员本体区域关联的施工人员存在施工安全隐患；
若所有所述施工设备本体区域与各个所述施工人员本体区域之间不存在区域重叠，则判定所述施工人员本体区域关联的施工人员不存在施工安全隐患。
本发明第二方面提供的一种基于显著性神经网络模型的施工安全预警装置，包括：
图像预处理模块，用于当接收到施工设备和人员图像集时，对所述施工设备和人员图像集进行图像预处理，生成训练样本数据；
初始显著性神经网络模型构建模块，用于采用预设VGGnet16卷积神经网络模型与预设交并空间型神经网络模型构建交并空间注意力机制卷积神经网络模型，并结合预设LSTM神经网络模型构建初始显著性神经网络模型；
目标显著性神经网络模型生成模块，用于采用所述训练样本数据对所述初始显著性神经网络模型进行训练，生成目标显著性神经网络模型；
目标细化特征图获取模块，用于当接收到待识别施工现场图像时，采用所述待识别施工现场图像输入所述目标显著性神经网络模型，生成目标细化特征图；
目标本体区域获取模块，用于从所述目标细化特征图提取对应的目标本体数据，根据所述目标本体数据确定多个对应的目标本体区域，并对所述目标本体区域进行标识；
安全隐患判断模块，用于基于多个所述目标本体区域是否满足预设条件的判断结果，判断所述目标本体数据关联的施工人员是否存在施工安全隐患。
可选地，所述目标细化特征图获取模块包括：
卷积图像特征图获取子模块，用于采用所述待识别施工现场图像输入所述交并空间注意力机制卷积神经网络模型进行训练，提取多个对应的卷积图像特征图；
图像特征概率图获取子模块，用于对多个所述卷积图像特征图进行归一化操作和映射，得到多个对应的图像特征概率图；
目标显著图获取子模块，用于采用所述图像特征概率图输入所述LSTM神经网络模型进行训练，提取多个对应的目标显著图；
线性拟合子模块，用于对多个所述目标显著图进行线性拟合操作，得到对应的目标细化特征图。
可选地，所述目标本体数据包括施工设备本体数据和施工人员本体数据，所述目标本体区域包括施工设备本体区域和施工人员本体区域，所述目标本体区域获取模块包括：
施工设备本体区域获取子模块，用于从所述目标细化特征图提取对应的施工设备本体数据，以各个所述施工设备本体数据所处位置为区域中心，划分预设半径的多个施工设备本体区域；
类别颜色标识子模块，用于按照所述施工设备本体区域关联的施工设备的设备类型对所述施工设备本体区域标识预设的类别颜色；
施工人员本体区域获取子模块，用于从所述目标细化特征图提取对应的施工人员本体数据，以各个所述施工人员本体数据所处位置为区域中心，划分所述预设半径的多个施工人员本体区域；
显著边框标识子模块，用于对所述施工人员本体区域关联的施工人员标识预设的显著边框。
可选地，所述安全隐患判断模块包括：
第一判断子模块，用于若任一所述施工设备本体区域与各个所述施工人员本体区域之间存在区域重叠，则判定所述施工人员本体区域关联的施工人员存在施工安全隐患；
第二判断子模块，用于若所有所述施工设备本体区域与各个所述施工人员本体区域之间不存在区域重叠，则判定所述施工人员本体区域关联的施工人员不存在施工安全隐患。
从以上技术方案可以看出，本发明具有以下优点：
当接收到施工设备和人员图像集时，对施工设备和人员图像集进行图像预处理，生成训练样本数据，采用预设VGGnet16卷积神经网络模型与预设交并空间型神经网络模型构建交并空间注意力机制卷积神经网络模型，并结合预设LSTM神经网络模型构建初始显著性神经网络模型，采用训练样本数据对初始显著性神经网络模型进行训练，生成目标显著性神经网络模型，当接收到待识别施工现场图像时，采用待识别施工现场图像输入目标显著性神经网络模型，生成目标细化特征图，从目标细化特征图提取对应的目标本体数据，根据目标本体数据确定多个对应的目标本体区域，并对目标本体区域进行标识，基于多个目标本体区域是否满足预设条件的判断结果，判断目标本体数据关联的施工人员是否存在施工安全隐患；解决了现有卷积神经网络无法有效地增强特征，导致检测算法在施工场景中出现图片噪声和冗余像素输入过多，无法准确的识别图片中施工人员与施工设备的像素点特征差异，突出施工人员局部区域的显著特征，从而造成未能及时给施工人员提供安全预警，存在施工安全隐患的技术问题；通过利用眼动点预测和LSTM神经网络的记忆功能组合机制，模仿人类视觉显著性生物学理论，形成显著性目标的位置检测新模型方法，分层递进地细化目标细化特征图，最后利用分类函数实现图像的分类，达到图像的识别效果，有效地提高了显著性检测的性能，在工地施工人员及设备图像数据集中，通过检测特征图中人体与其他类型设备的像素点特征差异，重点显著放大人体的特征，最终实现危险预警，保护施工人员的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的一种基于显著性神经网络模型的施工安全预警方法的步骤流程图；
图2为本发明实施例二提供的一种基于显著性神经网络模型的施工安全预警方法的步骤流程图；
图3为本发明实施例三提供的一种基于显著性神经网络模型的施工安全预警装置的结构框图。
具体实施方式
本发明实施例提供了一种基于显著性神经网络模型的施工安全预警方法和装置，用于解决现有卷积神经网络无法有效地增强特征，导致检测算法在施工场景中出现图片噪声和冗余像素输入过多，无法准确的识别图片中施工人员与施工设备的像素点特征差异，突出施工人员局部区域的显著特征，从而造成未能及时给施工人员提供安全预警，存在施工安全隐患的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例一提供的一种基于显著性神经网络模型的施工安全预警方法的步骤流程图。
本发明提供的一种基于显著性神经网络模型的施工安全预警方法，包括：
步骤101、当接收到施工设备和人员图像集时，对施工设备和人员图像集进行图像预处理，生成训练样本数据。
施工设备和人员图像集，指的是由施工现场包括挖掘机、吊车、卡车、推土机、小汽车和施工人员的图片组成的图像集。
图像预处理，指的是对按照数据集的类型收集图像，汇集成初步的图像数据集。一般都需要成百上千张图像，可以利用网络图片，也可根据实际问题场景进行拍摄，清洗图像，在网络上收集或者拍摄过程中总会存在一些图像不能表征图像数据集的意图，需要将这类图像清理出数据集，以保证数据集特征一致性，进行标注，根据数据集类型的分类，采用不同的标注方法对图像进行标注，将图片和标注文件按照顺序一对一读入保存，即形成了训练样本数据。
训练样本数据，指的是用于输入初始显著性神经网络模型进行训练的样本数据。
在本发明实施例中，当接收到是个设备和人员图像集时，对施工设备和人员图像集进行清洗和标注操作，生成训练样本数据。
步骤102、采用预设VGGnet16卷积神经网络模型与预设交并空间型神经网络模型构建交并空间注意力机制卷积神经网络模型，并结合预设LSTM神经网络模型构建初始显著性神经网络模型。
VGGnet16卷积神经网络模型，指的是由VGGnet16卷积神经网络构成的神经网络模型，主要包含卷积层、池化层、全连接层，卷积层由若干卷积单元组成，每个卷积单元的权重与偏置通过反向传播算法优化得到，卷积运算的目的是提取不同的特征，第一层提取低级特征如线条、角度、边缘等，更深层的网络从低级特征中迭代提取更复杂的特征；通常卷积层之后会得到维度很大的特征，由于池化层损耗图像特征细节，所以提取的图像特征图均忽略池化层。全连接层把所有的局部特征结合成全局特征，用来计算最后分类的得分。卷积神经网络的层次化结构，先通过多层交替的卷积和/或池化提取特征，再变换映射特征，最后使用分类函数输出结果。
交并空间型神经网络模型，指的是由交并空间型神经网络构成的神经网络模型。
LSTM神经网络模型，指的是Long Short Term网络(LSTM)，是一种RNN特殊的类型，可以学习长期依赖信息，LSTM通过刻意的设计来避免长期依赖问题。
在本发明实施例中，采用预设VGGnet16卷积神经网络模型与预设交并空间型神经网络模型构建交并空间注意力机制卷积神经网络模型，然后再结合预设LSTM神经网络模型构建初始显著性神经网络模型。
步骤103、采用训练样本数据对初始显著性神经网络模型进行训练，生成目标显著性神经网络模型。
目标显著性神经网络模型，指的是用于接收待识别施工现场图像并提取，生成对应的目标显著性神经网络模型。
在本发明实施例中，根据图像预处理后得到的训练样本数据对初始显著性神经网络模型进行训练，从而生成对应的目标显著性神经网络模型。
步骤104、当接收到待识别施工现场图像时，采用待识别施工现场图像输入目标显著性神经网络模型，生成目标细化特征图。
目标细化特征图，指的是采用待识别施工现场图像输入目标显著性神经网络模型，从而输出的施工现场细化特征图。
在本发明实施例中，当接收到待识别施工现场图像时，采用待识别施工现场图像输入目标显著性神经网络模型，生成目标细化特征图。
步骤105、从目标细化特征图提取对应的目标本体数据，根据目标本体数据确定多个对应的目标本体区域，并对目标本体区域进行标识。
目标本体数据，指的是从目标细化特征图提取到的施工人员本体和施工设备本体的特征数据。
目标本体区域，指的是从目标细化特征图提取到的施工人员本体和施工设备本体所在的区域数据。
标识，指的是根据获取到的目标本体区域进行颜色标识和显著边框标识。
在本发明实施例中，从目标细化特征图提取对应的施工人员本体和施工设备本体的特征数据，根据施工人员本体和施工设备本体的特征数据确定多个对应的施工人员本体和施工设备本体所在的区域数据，并对目标本体区域进行颜色标识和显著边框标识。
步骤106、基于多个目标本体区域是否满足预设条件的判断结果，判断目标本体数据关联的施工人员是否存在施工安全隐患。
在本发明实施例中，若任一施工设备本体区域与各个施工人员本体区域之间存在区域重叠，则判定施工人员本体区域关联的施工人员存在施工安全隐患，若所有施工设备本体区域与各个施工人员本体区域之间不存在区域重叠，则判定施工人员本体区域关联的施工人员不存在施工安全隐患。
在本发明实施例中，当接收到施工设备和人员图像集时，对施工设备和人员图像集进行图像预处理，生成训练样本数据，采用预设VGGnet16卷积神经网络模型与预设交并空间型神经网络模型构建交并空间注意力机制卷积神经网络模型，并结合预设LSTM神经网络模型构建初始显著性神经网络模型，采用训练样本数据对初始显著性神经网络模型进行训练，生成目标显著性神经网络模型，当接收到待识别施工现场图像时，采用待识别施工现场图像输入目标显著性神经网络模型，生成目标细化特征图，从目标细化特征图提取对应的目标本体数据，根据目标本体数据确定多个对应的目标本体区域，并对目标本体区域进行标识，基于多个目标本体区域是否满足预设条件的判断结果，判断目标本体数据关联的施工人员是否存在施工安全隐患；解决了现有卷积神经网络无法有效地增强特征，导致检测算法在施工场景中出现图片噪声和冗余像素输入过多，无法准确的识别图片中施工人员与施工设备的像素点特征差异，突出施工人员局部区域的显著特征，从而造成未能及时给施工人员提供安全预警，存在施工安全隐患的技术问题；通过利用眼动点预测和LSTM神经网络的记忆功能组合机制，模仿人类视觉显著性生物学理论，形成显著性目标的位置检测新模型方法，分层递进地细化目标细化特征图，最后利用分类函数实现图像的分类，达到图像的识别效果，有效地提高了显著性检测的性能，在工地施工人员及设备图像数据集中，通过检测特征图中人体与其他类型设备的像素点特征差异，重点显著放大人体的特征，最终实现危险预警，保护施工人员的效果。
请参阅图2，图2为本发明实施例二提供的一种基于显著性神经网络模型的施工安全预警方法的步骤流程图。
本发明提供的一种基于显著性神经网络模型的施工安全预警方法，包括：
步骤201、当接收到施工设备和人员图像集时，对施工设备和人员图像集进行图像预处理，生成训练样本数据。
在本发明实施例中，步骤201的具体实施过程与步骤101类似，在此不再赘述。
值得一提的是，施工设备和人员图像集(包括挖掘机、吊车、卡车、推土机、小汽车、人)，共有6类，有4200个训练图像和800个测试图像。同时选取CIFAR-10图像数据集进行训练测试。CIFAR-10是深度学习领域常用的图片数据集，CIFAR-10数据集包含60000个32×32的彩色图像，共有10类，有50000个训练图像和10000个测试图像。CIFAR-10数据集分为5个训练块和1个测试块，每个块有10000个图像。测试块包含从每类随机选择的1000个图像，训练块以随机的顺序包含这些图像。
步骤202、采用预设VGGnet16卷积神经网络模型与预设交并空间型神经网络模型构建交并空间注意力机制卷积神经网络模型，并结合预设LSTM神经网络模型构建初始显著性神经网络模型。
在本发明实施例中，步骤202的具体实施过程与步骤102类似，在此不再赘述。
步骤203、采用训练样本数据对初始显著性神经网络模型进行训练，生成目标显著性神经网络模型。
进一步地，步骤203可以包括以下子步骤：
S11、将训练样本数据输入初始显著性神经网络模型，生成对应的训练细化特征图。
训练细化特征图，指的是训练样本数据输入初始显著性神经网络模型所生成的特征图，用于判断初始显著性神经网络模型是否训练完成。
在本发明实施例中，根据生成的训练样本数据输入到初始显著性神经网络模型中，生成对应的训练细化特征图。
S12、计算训练细化特征图与关联的标准细化特征图之间的训练损失值。
标准细化特征图，指的是训练样本数据所对应的标准细化特征图。
训练损失值，指的是训练细化特征图与标准细化特征图之间的损失值。
在本发明实施例中，计算训练细化特征图与关联的标准细化特征图之间的训练损失值。
S13、比较训练损失值与预设的训练标准阈值。
训练标准阈值，指的是用于判断初始显著性神经网络模型是否训练完成的阈值。
在本发明实施例中，比较训练损失值与预设的训练标准阈值。
S14、若训练损失值小于或等于训练标准阈值，则停止训练，生成目标显著性神经网络模型。
在本发明实施例中，若训练损失值小于或等于训练标准阈值，则停止训练，生成目标显著性神经网络模型。
进一步地，步骤203还可以包括以下子步骤：
S15、若训练损失值大于训练标准阈值，则按照预设梯度调整初始显著性神经网络模型的参数，并跳转将训练样本数据输入初始显著性神经网络模型，生成对应的训练细化特征图的步骤。
在本发明实施例中，若训练损失值大于训练标准阈值，则按照预设梯度调整初始显著性神经网络模型的参数，并跳转将训练样本数据输入初始显著性神经网络模型，生成对应的训练细化特征图的步骤。
步骤204、当接收到待识别施工现场图像时，采用待识别施工现场图像输入交并空间注意力机制卷积神经网络模型进行训练，提取多个对应的卷积图像特征图。
在本发明实施例中，当接收到待识别施工现场图像时，采用待识别施工现场图像输入交并空间注意力机制卷积神经网络模型进行训练，提取多个对应的卷积图像特征图。
值得一提的是，由预设VGGnet16卷积神经网络模型与预设交并空间型神经网络模型构建交并空间注意力机制卷积神经网络模型。为每一层卷积层添加空间型注意力机制，增强对图像特征的提取效果，尤其是突出显著图像中人的特征部分。
在本发明的一个示例中，在将训练样本数据输入初始显著性神经网络模型中，先对初始显著性神经网络模型中的预设VGGnet16卷积神经网络模型进行训练，每个卷积块达到最大迭代次数并且得到最高的准确率，则训练完成，反之则继续训练，VGGnet16卷积神经网络模型的训练过程具体如下：
输入224*224的图像，首先采用VGGnet16的5个卷积块提取深度特征，在VGGnet16神经网络结构当中，第一个卷积块中有两层卷积层和一层池化层，记为conv1；第二个卷积块中有两层卷积层和一层池化层，记为conv2；第三个卷积块中有三个卷积层和一层池化层，记为conv3；第四个卷积块有三层卷积层和一层池化层，记为conv4；第五个卷积块有三层卷积层和一层池化层，记为conv5。
特征层在经过每个卷积块后将被送入带有交并空间型注意力机制的网络中，通过空间型的注意力机制，从图像像素中提取特征，以放大输入特征图中人类特征与其他施工现场设备特征的差异。
通过交并空间注意力机制卷积神经网络模型的具体过程如下：
对输入特征层F∈(H*W*C)沿着通道轴分别采取最大池化和平均池化方法，分别得到池化后的特征图Fmax∈(H*W*1)以及特征图Favg∈(H*W*1)，这一步不会改变特征层的尺寸，而是在把通道数量从C压缩至数量1。
Fmax＝Maxpool(F) (1)
Favg＝Avgpool(F) (2)
公式(1)、(2)中的Fmax、Favg为获得包含压缩空间位置信息的特征图。Maxpool对于最大池化操作，Avgpool对于平均池化操作。进一步地，由于Fmax、Favg尺寸相同，对Fmax、Favg进行交并操作(即逻辑与)操作，若Fmax、Favg二者在同一空间位置中对应像素点Cith权值皆不为0，则结果为1，若Fmax、Favg二者的对应像素点权值其中一个为0，则结果为0。当所有的像素点比对完后，得到公式(3)中的掩模矩阵Mask。
Mask＝(Fmax&Favg) (3)
进行池化操作后的Fmax、Favg会有相同的尺寸大小，否则无法进行交并运算。Fmax&Favg实际上将相同的感兴趣区域的信号加强了，各自不同的区域的权值将会被归为0舍弃掉，这就实现了抑制输入图像中的不相关区域，同时突出人类局部区域的显著特征，以便于更好地识别施工人员，实现危险预警。
Figure BDA0003934976060000131
进一步地，在公式(4)中，将初始输入特征层F与掩模矩阵Mask作对应点乘，得到输出特征层F′，从而得到了带有空间型注意力机制的特征层。
由于池化层损耗图像特征细节，本次提取的图像特征图均忽略池化层。输入图像每经过VGGnet卷积块分别输出大小为224*224*64、112*112*128、56*56*256、28*28*512、14*14*512的卷积图像特征图，分别记为pic1、pic2、pic3、pic4和pic5。
步骤205、对多个卷积图像特征图进行归一化操作和映射，得到多个对应的图像特征概率图。
在本发明实施例中，对多个卷积图像特征图进行归一化操作和映射，得到多个对应的图像特征概率图。
在本发明的一个示例中，利用具有激活函数的卷积层对第五个卷积块提取到的卷积特征图进行归一化处理，得到图像特征概率图，并对所述图像特征概率图进行映射得到灰度视点图，将所述灰度视点图作为视觉先验指导，具体过程如下：
利用具有sigmoid激活函数的3*3卷积层对pic5进行归一化处理，得到的是大小为14*14的图像特征概率图，数值在0到1之间即P∈(0,1)，最后将归一化后的图像概率图进行映射得到灰度视点图，该灰度视点图将作为本次网络模型的视觉先验指导。
sigmoid函数是一种广泛应用于神经网络的激活函数，不同的指标往往具有不同的量纲和单位，直接对各项指标的原始数据进行加权求和，会使具有较大数值的特征指标比具有较小数值的特征指标对目标函数的影响大。但数值较大的特征指标在评价体系中不一定就更重要。因此需要对各项指标进行数量级统一，即特征指标归一化。
步骤206、采用图像特征概率图输入LSTM神经网络模型进行训练，提取多个对应的目标显著图。
在本发明实施例中，采用图像特征概率图输入LSTM神经网络模型进行训练，提取多个对应的目标显著图。
在本发明的一个示例中，通过LSTM神经网络模型输出相应的目标显著图的具体过程如下：
利用归一化处理得到的图像特征概率图作为LSTM的前期记忆h0和上一个细胞的C0，五个卷积图像特征图pic分别作为LSTM神经网络输入信息X，记为X1、X2、X3、X4、X5，输入各自的LSTM神经网络进行训练，利用LSTM遗忘门、输入门和输出门对五个卷积特征图保留重要特征信息，过滤次要特征信息，形成目标显著图，从目标显著图中粗略学习检测和定位输入图像的显著目标。
“门”的含义是控制有多少信息量可以通过，三个“门”都使用sigmoid激活函数将输出映射到[0，1]区间内。当数值为1时，表示全部信息都可以通过，当数值为0时，表示没有信息通过。其中输入门、遗忘门和输出门接收到的信息都是Xt和ht-1，输入门决定哪些信息加入到Ct-1来更新Ct，遗忘门则是让网络忘记那些没有用的信息，输出门和Ct-1共同决定t时刻的输出ht。Ct-1到Ct是记忆细胞的更新，也是解决长期依赖问题的关键，记忆细胞存储着各个时刻的有用信息，并不断通过遗忘门摒弃无用消息，通过输入门接收新信息，从而实现对细胞状态的更新。通过使用记忆细胞，LSTM可以捕捉到时间序列中前后信息之间的关联性。
遗忘门：这门会读取前期记忆h0和当前的输入信息Xt，后通过sigmoid函数，输出一个0到1之间的数值，1表示“完全保留”，0表示“完全舍弃”。两者经过sigmoid函数输出一个0到1之间的数值权重ft表示特征重要程度，以便下一环节特征选择的保留与否，具体计算式如公式(5)：
Figure BDA0003934976060000141
式中，ft表示特征重要程度，σ表示sigmoid层，Wf和bf为遗忘门中对应的可学习权重，ht-1为隐藏层状态，xt为当前的输入信息。
输入门：输入上一个细胞的前期记忆h0和当前的输入信息xt通过sigmoid函数更新信息，得到控制信号it，输出的it为一个0到1之间的值，同时利用tanh函数生成向量Ct，具体计算式如公式(6)和(7)：
Figure BDA0003934976060000142
Figure BDA0003934976060000151
式中，σ表示sigmoid层，tanh表示tanh激活层，it为控制信号，Wf、Wc代表卷积核的可学习参数矩阵，bf、bc代表可学习的偏置参数矩阵，
Figure BDA0003934976060000152
为细胞状态，ht-1为隐藏层状态。
输入门的控制信号乘以存储在单元中的信息以获得更新的矩阵，并且将先前计算的遗忘状态矩阵相加以获得当前时间的cel l状态矩阵，最后生成输出信息的状态矩阵Ct，具体计算式如公式(8)：
Figure BDA0003934976060000153
在公式(8)中，Ct-1表示上一个时刻的细胞状态，与遗忘向量ft逐点相乘，然后再将该值与输入门的输出值
Figure BDA0003934976060000154
逐点相加，将神经网络发现的新信息更新到细胞状态中去，最后得到的Ct为新生成的细胞状态，将上一个细胞的前期记忆h0，当前输入信息xt通过sigmoid函数输出一个0到1之间的数值，σt决定细胞状态哪个部分将输出。将当前的细胞状态矩阵通过tanh函数后，与输出控制信号σt相乘，以确定下一个细胞的输出信息ht，为后面的目标检测提供特征信息，具体计算式如公式(9)和(10)；
σt＝W0[ht-1，xt]+b0 (9)
ht＝σt×tanh(Ct) (10)
ht代表隐藏层状态，W0代表卷积核的可学习参数矩阵，b0代表可学习的偏置参数矩阵，σt代表输出控制信号，该ht则作为每一个卷积特征图的目标显著图，每一个卷积特征图重复通过LSTM神经网络输出相应目标显著图的步骤，以此类推。将得到的目标显著图分别h1、h2、h3、h4和h5。
步骤207、对多个目标显著图进行线性拟合操作，得到对应的目标细化特征图。
在本发明实施例中，对多个目标显著图进行线性拟合操作，得到对应的目标细化特征图。
在本发明的一个示例中，利用全连接层解码经过LSTM得到的输出信息ht状态，这样便能获得编码矩阵Mt，它仅有0和1组成，其中1代表保留区域的特征，0代表遗忘区域的特征，经过线性变换后，掩膜矩阵与输入的图像特征图一致。
设原始图像为a，利用原始图像和每层输出信息ht解码得到的编码矩阵Mt的点乘运算，记为掩膜矩阵Rt，具体计算式如公式(11)：
Mt·a→Rt (11)
目标显著图h5得到掩膜矩阵记为R5，目标显著图h4的掩膜矩阵记为R4，分别在R5和R4显著图中的同一个位置提取的特征fa和fb做外积操作，即用bilinear pooling函数把抽取得到的两组特征进行结合，具体计算式如公式(12)：
fx＝(fa)Tfb (12)
fx是提取后的特征参数，fa和fa代表双线性的两个特征流。接下来采用求和池化方式，将所有位置得到的双线性特征进行求和作为本图像的特征，具体计算式如公式(13)：
fx_all＝∑lfx (13)
对该双线性特征进行计算，具体计算式如公式(14)：l
Figure BDA0003934976060000161
Y用于代表双线性特征融合的结果，得到它的带负号平方根，并进行正则化，具体计算式如公式(15)：
Figure BDA0003934976060000162
Z代表Y参数正则化的结果，将得到的结果向量化，最后得到图像特征fc，然后将目标显著图R3同一位置的得到的特征为fd，将fc和fd的特征以矩阵外积的方式进行特征整合，结果记为fe，后将目标显著图R2得到的特征记为ff，特征函数fe和特征函数ff特征融合的方式如上所述，以此类推，逐步分层递推图像特征，渲染图像细节。
值得一提的是，还涉及分类器为svm分类器，采用非线性SVM代替传统LSTM中的Softmax函数作为最终分类判别器，进一步提升显著性检测的准确率，由SVM分类器直接输出。
步骤208、从目标细化特征图提取对应的目标本体数据，根据目标本体数据确定多个对应的目标本体区域，并对目标本体区域进行标识。
进一步地，目标本体数据包括施工设备本体数据和施工人员本体数据，目标本体区域包括施工设备本体区域和施工人员本体区域，步骤208可以包括以下子步骤：
S21、从目标细化特征图提取对应的施工设备本体数据，以各个施工设备本体数据所处位置为区域中心，划分预设半径的多个施工设备本体区域。
施工设备本体数据，指的是施工设备的本体的特征和位置数据。
在本发明实施例中，从目标细化特征图提取对应的施工设备本体数据，以各个施工设备本体数据所处位置为区域中心，划分预设半径的多个施工设备本体区域。也就是根据获取到的设备本体的位置数据，以设备本体当前的位置作为区域中心，进行划分圆形区域，半径可以根据需求而设定，由此可以根据目标细化特征图中涉及的设备数量而进行划分为设备数量一致的施工设备本体区域。
S22、按照施工设备本体区域关联的施工设备的设备类型对施工设备本体区域标识预设的类别颜色。
类别颜色，指的是根据设备类型的不同而预先设定的颜色，具体颜色可以根据需求而定。
在本发明实施例中，按照设备类型的不同对施工设备本体区域标识预先设定的颜色。
S23、从目标细化特征图提取对应的施工人员本体数据，以各个施工人员本体数据所处位置为区域中心，划分预设半径的多个施工人员本体区域。
施工人员本体数据，指的是施工人员的本体的特征和位置数据。
在本发明实施例中，从目标细化特征图提取对应的施工人员本体数据，以各个施工人员本体数据所处位置为区域中心，划分预设半径的多个施工人员本体区域。也就是根据获取到的施工人员的位置数据，以施工人员本体当前的位置作为区域中心，进行划分圆形区域，半径可以根据需求而设定，由此可以根据目标细化特征图中涉及的人员数量而进行划分为人员数量一致的施工人员本体区域。
S24、对施工人员本体区域关联的施工人员标识预设的显著边框。
显著边框，指的是用于标记出施工人员的边框，用于使施工人员从目标细化特征图中显著。
在本发明实施例中，对施工人员本体区域关联的施工人员标识预设的显著边框。
步骤209、基于多个目标本体区域是否满足预设条件的判断结果，判断目标本体数据关联的施工人员是否存在施工安全隐患。
进一步地，步骤209可以包括以下子步骤：
S31、若任一施工设备本体区域与各个施工人员本体区域之间存在区域重叠，则判定施工人员本体区域关联的施工人员存在施工安全隐患。
在本发明实施例中，若任一施工设备本体区域与各个施工人员本体区域之间存在区域重叠，也就是施工设备本体区域与施工人员本体区域出现重叠，则判定为该施工人员存在安全隐患。
S32、若所有施工设备本体区域与各个施工人员本体区域之间不存在区域重叠，则判定施工人员本体区域关联的施工人员不存在施工安全隐患。
在本发明实施例中，若所有施工设备本体区域与各个施工人员本体区域之间不存在区域重叠，也就是所有施工设备本体区域与各个施工人员本体区域未出现重叠，则判定施工人员本体区域关联的施工人员不存在施工安全隐患。
在本发明实施例中，当接收到施工设备和人员图像集时，对施工设备和人员图像集进行图像预处理，生成训练样本数据，采用预设VGGnet16卷积神经网络模型与预设交并空间型神经网络模型构建交并空间注意力机制卷积神经网络模型，并结合预设LSTM神经网络模型构建初始显著性神经网络模型，采用训练样本数据对初始显著性神经网络模型进行训练，生成目标显著性神经网络模型，当接收到待识别施工现场图像时，采用待识别施工现场图像输入目标显著性神经网络模型，生成目标细化特征图，从目标细化特征图提取对应的目标本体数据，根据目标本体数据确定多个对应的目标本体区域，并对目标本体区域进行标识，基于多个目标本体区域是否满足预设条件的判断结果，判断目标本体数据关联的施工人员是否存在施工安全隐患；解决了现有卷积神经网络无法有效地增强特征，导致检测算法在施工场景中出现图片噪声和冗余像素输入过多，无法准确的识别图片中施工人员与施工设备的像素点特征差异，突出施工人员局部区域的显著特征，从而造成未能及时给施工人员提供安全预警，存在施工安全隐患的技术问题；通过利用眼动点预测和LSTM神经网络的记忆功能组合机制，模仿人类视觉显著性生物学理论，形成显著性目标的位置检测新模型方法，分层递进地细化目标细化特征图，最后利用分类函数实现图像的分类，达到图像的识别效果，有效地提高了显著性检测的性能，在工地施工人员及设备图像数据集中，通过检测特征图中人体与其他类型设备的像素点特征差异，重点显著放大人体的特征，最终实现危险预警，保护施工人员的效果。
请参阅图3，图3为本发明实施例三提供的一种基于显著性神经网络模型的施工安全预警装置的结构框图。
本发明实施例提供了一种基于显著性神经网络模型的施工安全预警装置，包括：
图像预处理模块301，用于当接收到施工设备和人员图像集时，对施工设备和人员图像集进行图像预处理，生成训练样本数据。
初始显著性神经网络模型构建模块302，用于采用预设VGGnet16卷积神经网络模型与预设交并空间型神经网络模型构建交并空间注意力机制卷积神经网络模型，并结合预设LSTM神经网络模型构建初始显著性神经网络模型。
目标显著性神经网络模型生成模块303，用于采用训练样本数据对初始显著性神经网络模型进行训练，生成目标显著性神经网络模型。
目标细化特征图获取模块304，用于当接收到待识别施工现场图像时，采用待识别施工现场图像输入目标显著性神经网络模型，生成目标细化特征图。
目标本体区域获取模块305，用于从目标细化特征图提取对应的目标本体数据，根据目标本体数据确定多个对应的目标本体区域，并对目标本体区域进行标识。
安全隐患判断模块306，用于基于多个目标本体区域是否满足预设条件的判断结果，判断目标本体数据关联的施工人员是否存在施工安全隐患。
进一步地，目标显著性神经网络模型生成模块303包括：
训练细化特征图获取子模块，用于将训练样本数据输入初始显著性神经网络模型，生成对应的训练细化特征图。
训练损失值获取子模块，用于计算训练细化特征图与关联的标准细化特征图之间的训练损失值。
比较子模块，用于比较训练损失值与预设的训练标准阈值。
第一数据处理子模块，用于若训练损失值小于或等于训练标准阈值，则停止训练，生成目标显著性神经网络模型。
进一步地，目标显著性神经网络模型生成模块303还包括：
第二数据处理子模块，用于若训练损失值大于训练标准阈值，则按照预设梯度调整初始显著性神经网络模型的参数，并跳转将训练样本数据输入初始显著性神经网络模型，生成对应的训练细化特征图的步骤。
进一步地，目标细化特征图获取模块304包括：
卷积图像特征图获取子模块，用于采用待识别施工现场图像输入交并空间注意力机制卷积神经网络模型进行训练，提取多个对应的卷积图像特征图。
图像特征概率图获取子模块，用于对多个卷积图像特征图进行归一化操作和映射，得到多个对应的图像特征概率图。
目标显著图获取子模块，用于采用图像特征概率图输入LSTM神经网络模型进行训练，提取多个对应的目标显著图。
线性拟合子模块，用于对多个目标显著图进行线性拟合操作，得到对应的目标细化特征图。
进一步地，目标本体数据包括施工设备本体数据和施工人员本体数据，目标本体区域包括施工设备本体区域和施工人员本体区域，目标本体区域获取模块305包括：
施工设备本体区域获取子模块，用于从目标细化特征图提取对应的施工设备本体数据，以各个施工设备本体数据所处位置为区域中心，划分预设半径的多个施工设备本体区域。
类别颜色标识子模块，用于按照施工设备本体区域关联的施工设备的设备类型对施工设备本体区域标识预设的类别颜色。
施工人员本体区域获取子模块，用于从目标细化特征图提取对应的施工人员本体数据，以各个施工人员本体数据所处位置为区域中心，划分预设半径的多个施工人员本体区域。
显著边框标识子模块，用于对施工人员本体区域关联的施工人员标识预设的显著边框。
进一步地，安全隐患判断模块306包括：
第一判断子模块，用于若任一施工设备本体区域与各个施工人员本体区域之间存在区域重叠，则判定施工人员本体区域关联的施工人员存在施工安全隐患；
第二判断子模块，用于若所有施工设备本体区域与各个施工人员本体区域之间不存在区域重叠，则判定施工人员本体区域关联的施工人员不存在施工安全隐患。
在本发明实施例中，当接收到施工设备和人员图像集时，对施工设备和人员图像集进行图像预处理，生成训练样本数据，采用预设VGGnet16卷积神经网络模型与预设交并空间型神经网络模型构建交并空间注意力机制卷积神经网络模型，并结合预设LSTM神经网络模型构建初始显著性神经网络模型，采用训练样本数据对初始显著性神经网络模型进行训练，生成目标显著性神经网络模型，当接收到待识别施工现场图像时，采用待识别施工现场图像输入目标显著性神经网络模型，生成目标细化特征图，从目标细化特征图提取对应的目标本体数据，根据目标本体数据确定多个对应的目标本体区域，并对目标本体区域进行标识，基于多个目标本体区域是否满足预设条件的判断结果，判断目标本体数据关联的施工人员是否存在施工安全隐患；解决了现有卷积神经网络无法有效地增强特征，导致检测算法在施工场景中出现图片噪声和冗余像素输入过多，无法准确的识别图片中施工人员与施工设备的像素点特征差异，突出施工人员局部区域的显著特征，从而造成未能及时给施工人员提供安全预警，存在施工安全隐患的技术问题；通过利用眼动点预测和LSTM神经网络的记忆功能组合机制，模仿人类视觉显著性生物学理论，形成显著性目标的位置检测新模型方法，分层递进地细化目标细化特征图，最后利用分类函数实现图像的分类，达到图像的识别效果，有效地提高了显著性检测的性能，在工地施工人员及设备图像数据集中，通过检测特征图中人体与其他类型设备的像素点特征差异，重点显著放大人体的特征，最终实现危险预警，保护施工人员的效果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于显著性神经网络模型的施工安全预警方法，其特征在于，包括：
当接收到施工设备和人员图像集时，对所述施工设备和人员图像集进行图像预处理，生成训练样本数据；
采用预设VGGnet16卷积神经网络模型与预设交并空间型神经网络模型构建交并空间注意力机制卷积神经网络模型，并结合预设LSTM神经网络模型构建初始显著性神经网络模型；
采用所述训练样本数据对所述初始显著性神经网络模型进行训练，生成目标显著性神经网络模型；
当接收到待识别施工现场图像时，采用所述待识别施工现场图像输入所述目标显著性神经网络模型，生成目标细化特征图；
从所述目标细化特征图提取对应的目标本体数据，根据所述目标本体数据确定多个对应的目标本体区域，并对所述目标本体区域进行标识；
基于多个所述目标本体区域是否满足预设条件的判断结果，判断所述目标本体数据关联的施工人员是否存在施工安全隐患。
2.根据权利要求1所述的基于显著性神经网络模型的施工安全预警方法，其特征在于，所述采用所述训练样本数据对所述初始显著性神经网络模型进行训练，生成目标显著性神经网络模型的步骤，包括：
将所述训练样本数据输入所述初始显著性神经网络模型，生成对应的训练细化特征图；
计算所述训练细化特征图与关联的标准细化特征图之间的训练损失值；
比较所述训练损失值与预设的训练标准阈值；
若所述训练损失值小于或等于所述训练标准阈值，则停止训练，生成目标显著性神经网络模型。
3.根据权利要求2所述的基于显著性神经网络模型的施工安全预警方法，其特征在于，还包括：
若所述训练损失值大于所述训练标准阈值，则按照预设梯度调整所述初始显著性神经网络模型的参数，并跳转所述将所述训练样本数据输入所述初始显著性神经网络模型，生成对应的训练细化特征图的步骤。
4.根据权利要求1所述的基于显著性神经网络模型的施工安全预警方法，其特征在于，所述当接收到待识别施工现场图像时，采用所述待识别施工现场图像输入所述目标显著性神经网络模型，生成目标细化特征图的步骤，包括：
当接收到待识别施工现场图像时，采用所述待识别施工现场图像输入所述交并空间注意力机制卷积神经网络模型进行训练，提取多个对应的卷积图像特征图；
对多个所述卷积图像特征图进行归一化操作和映射，得到多个对应的图像特征概率图；
采用所述图像特征概率图输入所述LSTM神经网络模型进行训练，提取多个对应的目标显著图；
对多个所述目标显著图进行线性拟合操作，得到对应的目标细化特征图。
5.根据权利要求1所述的基于显著性神经网络模型的施工安全预警方法，其特征在于，所述目标本体数据包括施工设备本体数据和施工人员本体数据，所述目标本体区域包括施工设备本体区域和施工人员本体区域，所述从所述目标细化特征图提取对应的目标本体数据，根据所述目标本体数据确定多个对应的目标本体区域，并对所述目标本体区域进行标识的步骤，包括：
从所述目标细化特征图提取对应的施工设备本体数据，以各个所述施工设备本体数据所处位置为区域中心，划分预设半径的多个施工设备本体区域；
按照所述施工设备本体区域关联的施工设备的设备类型对所述施工设备本体区域标识预设的类别颜色；
从所述目标细化特征图提取对应的施工人员本体数据，以各个所述施工人员本体数据所处位置为区域中心，划分所述预设半径的多个施工人员本体区域；
对所述施工人员本体区域关联的施工人员标识预设的显著边框。
6.根据权利要求5所述的基于显著性神经网络模型的施工安全预警方法，其特征在于，所述基于多个所述目标本体区域是否满足预设条件的判断结果，判断所述目标本体数据关联的施工人员是否存在施工安全隐患的步骤，包括：
若任一所述施工设备本体区域与各个所述施工人员本体区域之间存在区域重叠，则判定所述施工人员本体区域关联的施工人员存在施工安全隐患；
若所有所述施工设备本体区域与各个所述施工人员本体区域之间不存在区域重叠，则判定所述施工人员本体区域关联的施工人员不存在施工安全隐患。
7.一种基于显著性神经网络模型的施工安全预警装置，其特征在于，包括：
图像预处理模块，用于当接收到施工设备和人员图像集时，对所述施工设备和人员图像集进行图像预处理，生成训练样本数据；
初始显著性神经网络模型构建模块，用于采用预设VGGnet16卷积神经网络模型与预设交并空间型神经网络模型构建交并空间注意力机制卷积神经网络模型，并结合预设LSTM神经网络模型构建初始显著性神经网络模型；
目标显著性神经网络模型生成模块，用于采用所述训练样本数据对所述初始显著性神经网络模型进行训练，生成目标显著性神经网络模型；
目标细化特征图获取模块，用于当接收到待识别施工现场图像时，采用所述待识别施工现场图像输入所述目标显著性神经网络模型，生成目标细化特征图；
目标本体区域获取模块，用于从所述目标细化特征图提取对应的目标本体数据，根据所述目标本体数据确定多个对应的目标本体区域，并对所述目标本体区域进行标识；
安全隐患判断模块，用于基于多个所述目标本体区域是否满足预设条件的判断结果，判断所述目标本体数据关联的施工人员是否存在施工安全隐患。
8.根据权利要求7所述的基于显著性神经网络模型的施工安全预警装置，其特征在于，所述目标细化特征图获取模块包括：
卷积图像特征图获取子模块，用于采用所述待识别施工现场图像输入所述交并空间注意力机制卷积神经网络模型进行训练，提取多个对应的卷积图像特征图；
图像特征概率图获取子模块，用于对多个所述卷积图像特征图进行归一化操作和映射，得到多个对应的图像特征概率图；
目标显著图获取子模块，用于采用所述图像特征概率图输入所述LSTM神经网络模型进行训练，提取多个对应的目标显著图；
线性拟合子模块，用于对多个所述目标显著图进行线性拟合操作，得到对应的目标细化特征图。
9.根据权利要求7所述的基于显著性神经网络模型的施工安全预警装置，其特征在于，所述目标本体数据包括施工设备本体数据和施工人员本体数据，所述目标本体区域包括施工设备本体区域和施工人员本体区域，所述目标本体区域获取模块包括：
施工设备本体区域获取子模块，用于从所述目标细化特征图提取对应的施工设备本体数据，以各个所述施工设备本体数据所处位置为区域中心，划分预设半径的多个施工设备本体区域；
类别颜色标识子模块，用于按照所述施工设备本体区域关联的施工设备的设备类型对所述施工设备本体区域标识预设的类别颜色；
施工人员本体区域获取子模块，用于从所述目标细化特征图提取对应的施工人员本体数据，以各个所述施工人员本体数据所处位置为区域中心，划分所述预设半径的多个施工人员本体区域；
显著边框标识子模块，用于对所述施工人员本体区域关联的施工人员标识预设的显著边框。
10.根据权利要求9所述的基于显著性神经网络模型的施工安全预警装置，其特征在于，所述安全隐患判断模块包括：
第一判断子模块，用于若任一所述施工设备本体区域与各个所述施工人员本体区域之间存在区域重叠，则判定所述施工人员本体区域关联的施工人员存在施工安全隐患；
第二判断子模块，用于若所有所述施工设备本体区域与各个所述施工人员本体区域之间不存在区域重叠，则判定所述施工人员本体区域关联的施工人员不存在施工安全隐患。
CN202211399577.5A 2022-11-09 2022-11-09 一种基于显著性神经网络模型的施工安全预警方法和装置 Pending CN115578693A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211399577.5A CN115578693A (zh) 2022-11-09 2022-11-09 一种基于显著性神经网络模型的施工安全预警方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211399577.5A CN115578693A (zh) 2022-11-09 2022-11-09 一种基于显著性神经网络模型的施工安全预警方法和装置

Publications (1)

Publication Number Publication Date
CN115578693A true CN115578693A (zh) 2023-01-06

Family

ID=84589388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211399577.5A Pending CN115578693A (zh) 2022-11-09 2022-11-09 一种基于显著性神经网络模型的施工安全预警方法和装置

Country Status (1)

Country Link
CN (1) CN115578693A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630752A (zh) * 2023-07-25 2023-08-22 广东南方电信规划咨询设计院有限公司 基于ai算法的施工现场目标对象识别方法及装置
CN117095294A (zh) * 2023-08-24 2023-11-21 中建安装集团黄河建设有限公司 一种预制楼板施工质量诊断方法、介质及***
CN117853866A (zh) * 2024-01-05 2024-04-09 同济大学 一种基坑环境内的潜在危险识别方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630752A (zh) * 2023-07-25 2023-08-22 广东南方电信规划咨询设计院有限公司 基于ai算法的施工现场目标对象识别方法及装置
CN116630752B (zh) * 2023-07-25 2023-11-17 广东南方电信规划咨询设计院有限公司 基于ai算法的施工现场目标对象识别方法及装置
CN117095294A (zh) * 2023-08-24 2023-11-21 中建安装集团黄河建设有限公司 一种预制楼板施工质量诊断方法、介质及***
CN117853866A (zh) * 2024-01-05 2024-04-09 同济大学 一种基坑环境内的潜在危险识别方法及***

Similar Documents

Publication Publication Date Title
CN111914907B (zh) 一种基于深度学习空谱联合网络的高光谱图像分类方法
CN115578693A (zh) 一种基于显著性神经网络模型的施工安全预警方法和装置
CN111723786B (zh) 一种基于单模型预测的安全帽佩戴检测方法及装置
CN111325319B (zh) 一种神经网络模型的检测方法、装置、设备及存储介质
CN113850242B (zh) 一种基于深度学习算法的仓储异常目标检测方法及***
CN112613375B (zh) 一种轮胎受损检测识别方法和设备
CN111611861B (zh) 一种基于多尺度特征关联的图像变化检测方法
CN111738044B (zh) 一种基于深度学习行为识别的校园暴力评估方法
CN111832615A (zh) 一种基于前景背景特征融合的样本扩充方法及***
CN115018214B (zh) 一种基于认知图谱的企业风险分析预测方法、***和介质
CN111179244A (zh) 一种基于空洞卷积的自动化裂缝检测方法
CN104268657A (zh) 基于遥感的流域水生态风险预警和判别方法
CN117829787B (zh) 一种基于bim和ai大模型的工程安全智能管理方法及***
Stomberg et al. Jungle-net: Using explainable machine learning to gain new insights into the appearance of wilderness in satellite imagery
CN112560948A (zh) 数据偏差下的眼底图分类方法及成像方法
CN115205855A (zh) 融合多尺度语义信息的车辆目标识别方法、装置及设备
Tian et al. An Abnormal Behavior Detection Method Leveraging Multi-modal Data Fusion and Deep Mining.
Andersson et al. Towards predicting dengue fever rates using convolutional neural networks and street-level images
CN117079276B (zh) 一种基于知识蒸馏的语义分割方法、***、设备及介质
CN113673369A (zh) 遥感图像场景规划方法、装置、电子设备和存储介质
Chaganti et al. Predicting Landslides and Floods with Deep Learning
Chen et al. Research on object detection algorithm based on multilayer information fusion
CN116884192A (zh) 一种电力生产作业风险预警方法、***和设备
CN115563652A (zh) 轨迹嵌入预防泄露方法及***
CN115953832A (zh) 一种基于语义解耦的自注意力模型的组合动作识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination