CN115294533A - 基于数据处理的建筑施工状态监测方法 - Google Patents

基于数据处理的建筑施工状态监测方法 Download PDF

Info

Publication number
CN115294533A
CN115294533A CN202211205586.6A CN202211205586A CN115294533A CN 115294533 A CN115294533 A CN 115294533A CN 202211205586 A CN202211205586 A CN 202211205586A CN 115294533 A CN115294533 A CN 115294533A
Authority
CN
China
Prior art keywords
construction
worker
state
area
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211205586.6A
Other languages
English (en)
Other versions
CN115294533B (zh
Inventor
张�杰
邱凯铤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Yiyun Zhilian Information Technology Co ltd
Original Assignee
Nantong Yiyun Zhilian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Yiyun Zhilian Information Technology Co ltd filed Critical Nantong Yiyun Zhilian Information Technology Co ltd
Priority to CN202211205586.6A priority Critical patent/CN115294533B/zh
Publication of CN115294533A publication Critical patent/CN115294533A/zh
Application granted granted Critical
Publication of CN115294533B publication Critical patent/CN115294533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Remote Sensing (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及数据处理技术领域，具体涉及一种基于数据处理的建筑施工状态监测方法，该方法采集建筑施工现场的多帧全景图，以将每帧全景图划分为工人区域和建筑设备区域；对工人区域的每个工人进行人体关键点检测，构建动作数据库，以将其包括的各种危险施工动作的人体关键点坐标与每个工人的人体关键点坐标进行对比，分析每个工人的施工行为状态；检测工人的安全帽佩戴情况和每个建筑设备区域内的设备施工状态，以根据施工行为状态、安全帽佩戴情况和设备施工状态进行危险预警。通过分区域检测提高了检测精度，避免整体分析复杂环境的影响，同时能够及时对出现问题的施工工具、设备进行检修，提升施工效率，保证施工过程的安全问题。

Description

基于数据处理的建筑施工状态监测方法
技术领域
本发明涉及数据处理技术领域，具体涉及一种基于数据处理的建筑施工状态监测方法。
背景技术
作为高危行业之一，建筑业的安全问题形势非常严峻，施工现场监管、监测是安全管理的核心内容。施工状态监测主要是对施工过程中工程自身结构所处的安全状态进行检查，同时对建筑施工现场工人的施工状态进行检测，以便管理人员对施工现场进行高效管理、指导。
目前多是监控人员通过现场巡视的方式发现并记录违规操作，防止工人的危险动作转化为事故，但是管理人员的数量和精力有限，很难做到对于工人施工状态的实时监控，该方法不具有及时性，且巡检过程工作量大，监管效率低，不易实现高效准确的施工现场状态的检测、分析，而且靠人为主观性地观看视频不容易发现施工现场的异常情况，很容易由于人的疏忽或者主观意识得到错误的判别信息，从而得到错误的分析报告。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于数据处理的建筑施工状态监测方法，所采用的技术方案具体如下：
采集建筑施工现场的多帧全景图；对全景图进行人体关键点检测以将全景图划分为无人区域和工人区域；基于建筑设备的位置将无人区域划分为多个建筑设备区域；
对工人区域中的每个工人进行人体关键点检测，得到每个工人的人体关键点的二维坐标；将当前工人的所有人体关键点的二维坐标组成二维序列，利用TCN网络得到二维序列对应的三维序列，将当前工人在多帧全景图中的所述三维序列组成一个三维动作序列；基于模拟器构建多种危险施工动作的动作数据库，基于动作数据库获取每个工人的施工行为状态指标；对每个工人进行安全帽佩戴检测得到每个工人的安全帽佩戴指标，将每个工人的施工行为状态指标和安全帽佩戴指标构建2*N维的工人区监测矩阵，N指工人数量，且N为正整数；
根据建筑设备区域中建筑设备的实时状态和正常工作中的标准状态之间的状态相似度，得到每个建筑设备区域的设备施工状态指标，以构成1*M维的施工设备监测矩阵，M为建筑设备数量，且M为正整数；
根据所述工人区监测矩阵和所述施工设备监测矩阵分别对工人和建筑设备进行危险预警。
进一步地，所述基于模拟器构建多种危险施工动作的动作数据库的方法，包括：
利用模拟器获取当前危险施工动作下各个人体关键点的标准三维坐标，构成一个标准三维坐标序列；将多种危险施工动作及其对应的标准三维坐标序列构成一个动作数据库。
进一步地，所述基于动作数据库获取每个工人的施工行为状态指标的方法，包括：
根据当前工人的三维动作序列与动作数据库中每个标准三维坐标序列分别计算当前工人对应每个危险施工动作的施工行为状态指标；
将最大的施工行为状态指标作为当前工人最终的施工行为状态指标。
进一步地，所述施工行为状态指标的计算公式为：
Figure 105551DEST_PATH_IMAGE001
其中，
Figure 186639DEST_PATH_IMAGE002
为施工行为状态指标；
Figure 648101DEST_PATH_IMAGE003
为工人的三维动作序列的序列长度；
Figure 207258DEST_PATH_IMAGE004
为工人的人体关键点的数量；
Figure 185579DEST_PATH_IMAGE005
为工人的人体关键点
Figure 657143DEST_PATH_IMAGE006
在第
Figure 88124DEST_PATH_IMAGE007
帧全景图对应的三维坐标；
Figure 185393DEST_PATH_IMAGE008
为标准三维坐标序列中人体关键点
Figure 18220DEST_PATH_IMAGE006
的标准三维坐标。
进一步地，所述对每个工人进行安全帽佩戴检测得到每个工人的安全帽佩戴指标的方法，包括：
利用目标检测网络获取工人的安全帽包围框和人体包围框，计算安全帽包围框和人体包围框之间的相交面积，将相交面积和安全帽包围框的面积之间的比值作为每个工人的初始佩戴检测指标；
基于初始佩戴检测指标，根据工人位置和安全帽位置确认每个工人的安全帽佩戴指标，则安全帽佩戴指标的计算公式为：
Figure 159220DEST_PATH_IMAGE009
Figure 77497DEST_PATH_IMAGE010
Figure 978457DEST_PATH_IMAGE011
式中，
Figure 400211DEST_PATH_IMAGE012
为安全帽佩戴指标；
Figure 479157DEST_PATH_IMAGE013
为安全帽包围框的左上角坐标、
Figure 619151DEST_PATH_IMAGE014
为安全帽包围框的右下角坐标，
Figure 323802DEST_PATH_IMAGE015
为第一距离；
Figure 865642DEST_PATH_IMAGE016
为安全帽包围框的中心点坐标，
Figure 611094DEST_PATH_IMAGE017
为工人面部的中心点坐标，
Figure 503964DEST_PATH_IMAGE018
为第二距离；
Figure 933677DEST_PATH_IMAGE019
为初始佩戴检测指标；
Figure 330023DEST_PATH_IMAGE020
为佩戴检测指标阈值。
进一步地，所述每个建筑设备区域的设备施工状态指标的获取方法，包括：
获取各个建筑设备区域图像和各个建筑施工设备正常工作时的标准状态图像所构成标准状态集；分别对每个建筑设备区域图像和标准状态图像进行相同特征点的提取，将每个建筑设备区域图像分别与标准状态集中每个标准状态图像进行特征点匹配，得到多个特征点对；
根据匹配好的特征点对计算第
Figure 39DEST_PATH_IMAGE006
个建筑设备区域图像与标准状态集中第
Figure 114626DEST_PATH_IMAGE021
张标准状态图像之间的相似程度，进而得到第
Figure 911811DEST_PATH_IMAGE006
个建筑设备区域图像的相似程度集合，将相似程度集合中最大相似程度作为第
Figure 428243DEST_PATH_IMAGE006
个建筑设备区域的设备施工状态指标，其相似程度的计算公式为：
Figure 269160DEST_PATH_IMAGE022
式中，
Figure 235759DEST_PATH_IMAGE023
为匹配的特征点对的数量，
Figure 476116DEST_PATH_IMAGE024
代表第
Figure 847054DEST_PATH_IMAGE007
对特征点对之间的欧式距离，
Figure 858873DEST_PATH_IMAGE025
为第
Figure 810036DEST_PATH_IMAGE006
个建筑设备区域图像与第
Figure 198292DEST_PATH_IMAGE021
张标准状态图像之间的相似程度。
本发明实施例至少具有如下有益效果：对无人区域的建筑设备进行施工安全状态检测和工人区域的施工人员的施工安全行为以及安全帽佩戴检测，以实现整体施工场景的安全检测，且分区域检测提高了检测精度，避免整体分析复杂环境的影响，同时能够及时对出现问题的施工工具、设备进行检修，提升施工效率，保证施工过程的安全问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种基于数据处理的建筑施工状态监测方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于数据处理的建筑施工状态监测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于数据处理的建筑施工状态监测方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于数据处理的建筑施工状态监测方法的步骤流程图，该方法包括以下步骤：
步骤S001，采集建筑施工现场的多帧全景图；对全景图进行人体关键点检测以将全景图划分为无人区域和工人区域；基于建筑设备的位置将无人区域划分为多个建筑设备区域。
具体的，通过无人机搭载相机对建筑施工现场进行图像采集，将获取的各图像进行拼接及融合处理，以获取建筑施工现场的多帧全景图，以便对施工各区域进行安全状态监测，其中无人机的飞行高度、速度以及相机拍摄帧率等实施者根据实际情况自行设定。
考虑到建筑施工环境较为复杂，施工场所的各区域存在较大的差异，因此，为实现对建筑施工状态的准确监测，对建筑施工进行分区处理，则区域划分过程具体为：
（1）通过关键点检测网络对全景图进行人体关键点检测，获取对应的关键点热力图。
具体的，关键点检测网络的训练过程为：首先进行标签数据的制作，在人体头部进行关键点标注，也即X,Y的坐标，将标注的人体头部散点图与高斯核进行卷积形成全景图对应的关键点热力图；然后将全景图以及标签图像作为关键点检测网络的训练数据，通过关键点检测编码器对图像及标签数据进行特征提取，得到对应的特征图，进而通过关键点检测解码器对特征图进行上采样及特征提取，最终生成全景图对应的关键点热力图；关键点检测网络是通过均方差损失函数进行训练监督的。
（2）基于关键点热力图中的人体关键点，利用凸包算法将建筑施工现场分为工人区域和无人区域。
具体的，通过凸包算法获取关键点热力图中人体关键点所在区域的最小凸包，获取各人体关键点区域，将其作为工人区域，然后对于关键点热力图中的其他区域，将其作为无人区域，进而得到全景图中的工人区域和无人区域。
（3）根据建筑设备的位置将无人区域划分为多个建筑设备区域。
具体的，将无人区域在全景图像中剪切出来，获取无人区域的RGB图像，利用目标检测网络获取无人区域中的各建筑设备区域，其中目标检测网络的训练过程为：对RGB图像进行标签数据的制作：对建筑设备的包围框进行数据标注，也即包围框的中心点坐标
Figure 689316DEST_PATH_IMAGE026
以及宽高信息
Figure 872036DEST_PATH_IMAGE027
；通过目标检测网络对无人区域的建筑设备进行包围框检测，采用均方差损失函数进行网络的监督训练。
步骤S002，对工人区域中的每个工人进行人体关键点检测，得到每个工人的人体关键点的二维坐标，将当前工人的所有人体关键点的二维坐标组成二维序列，利用TCN网络得到二维序列对应的三维序列，将当前工人在多帧全景图中的三维序列组成一个三维动作序列，基于动作数据库中各个危险施工动作的标准三维序列获取每个工人的施工行为状态指标；对每个工人进行安全帽佩戴检测得到每个工人的安全帽佩戴指标，将每个工人的施工行为状态指标和安全帽佩戴指标构建2*N维的工人区监测矩阵，N指工人数量，且N为正整数。
具体的，为了更加准确的对各区域的施工状态进行检测，提高施工状态检测精度，避免整体分析复杂环境的影响，对建筑施工现场的工人区域进行工人状态分析，具体过程为：
（1）将工人区域在全景图中剪切出来，得到工人区域的RGB图像。利用关键点检测网络对RGB图像中每个工人的人体关键点进行提取。
具体的，利用关键点检测网络对工人的人体关键点进行提取，本发明实施例中人体关键点主要有：左右眼睛，左右耳，鼻子，嘴，颈部，左右肩，左右肘关节，左右腕关节，髋关节，左右膝关节以及左右踝关节。基于设定的人体关键点进行标签数据的制作，然后通过标签数据及工人区域的RGB图像对关键点检测网络进行训练，采用均方差损失函数进行网络监督，不断更新网络参数。
（2）利用步骤（1）得到一帧全景图中每个工人的人体关键点的二维坐标，将一个工人的所有人体关键点的二维坐标组成一个二维序列，为了分析工人的施工动作，利用TCN网络得到二维序列对应的三维序列，TCN网络获取三维序列的过程为公知技术，本发明不做相关阐述。将同一工人在连续多帧全景图中的三维序列组成一个三维动作序列，进而得到所有工人的三维动作序列。
（3）基于模拟器建立多种危险施工动作的动作数据库。
具体的，模拟获取危险施工动作对应各个人体关键点的标准三维坐标，构成危险施工动作的一个标准三维坐标序列，不同的危险施工动作及标准三维坐标序列的建立为现有技术，且实施者可以自行选取施工动作的危险类型来获取对应的标准三维坐标序列，为保证工人的施工状态的检测精度，需保证获取大量的危险施工动作，进而将每个危险施工动作及其对应的标准三维坐标序列构成动作数据库，其中动作数据库包括大量的危险施工动作，用于对工人的施工状态进行检测。
（4）基于动作数据库获取每个工人的施工行为状态指标。
具体的，得到动作数据库之后，根据每个工人的三维动作序列与动作数据库中的各个危险施工动作进行匹配，以分析每个工人对应每个危险施工动作的施工行为状态指标，且施工行为状态指标体现了施工动作的规范程度，同时用于说明工人的施工行为状态的危险性，则施工行为状态指标的计算公式为：
Figure 199243DEST_PATH_IMAGE001
其中，
Figure 125611DEST_PATH_IMAGE002
为施工行为状态指标；
Figure 205562DEST_PATH_IMAGE003
为工人的三维动作序列的序列长度；
Figure 824762DEST_PATH_IMAGE004
为工人的人体关键点的数量；
Figure 872222DEST_PATH_IMAGE005
为工人的人体关键点
Figure 602280DEST_PATH_IMAGE006
在时刻
Figure 536738DEST_PATH_IMAGE007
的三维坐标，也即是第
Figure 326840DEST_PATH_IMAGE007
帧全景图对应的三维坐标；
Figure 363060DEST_PATH_IMAGE008
为一个标准三维坐标序列中人体关键点
Figure 631230DEST_PATH_IMAGE006
的标准三维坐标。
需要说明的是，工人的三维坐标和标准三维坐标之间的差异越大，施工行为状态指标的值越大，对应的施工动作危险程度越高。
利用上述施工行为状态指标的计算公式获取当前工人的三维动作序列与动作数据库中各个危险施工动作的标准三维序列之间的施工行为状态指标，将最大的施工行为状态指标
Figure 685774DEST_PATH_IMAGE028
作为当前工人最终的施工行为状态指标，同理能够得到每个工人的施工行为状态指标
Figure 646777DEST_PATH_IMAGE028
。
（5）为实现对工人的施工状态的全面检测，将对工人施工过程中是否佩戴安全帽进行检测，则工人是否佩戴安全帽的检测过程具体为：将工人区域的RGB图像为目标检测网络的输入；标注数据为安全帽的包围框和工人的人体包围框；通过均方差损失函数对目标检测网络进行训练监督；通过训练完成的目标检测网络可实现对工人的安全帽包围框和人体包围框的检测。进一步，结合安全帽包围框的面积和人体包围框的面积对每个工人进行安全帽佩戴的初步检测，以获取每个工人的初始佩戴检测指标，则初始佩戴检测指标的计算公式为：
Figure 400319DEST_PATH_IMAGE029
式中，
Figure 737760DEST_PATH_IMAGE019
为初始佩戴检测指标；
Figure 912389DEST_PATH_IMAGE030
为安全帽包围框的面积；
Figure 529446DEST_PATH_IMAGE031
为人体包围框的面积。
安全帽包围框的面积与人体包围框的面积之间的交集越大，说明工人越可能佩戴安全帽，对应初始佩戴检测指标
Figure 789526DEST_PATH_IMAGE019
越大。
设定佩戴检测指标阈值
Figure 665078DEST_PATH_IMAGE020
，当初始佩戴检测指标
Figure 209061DEST_PATH_IMAGE019
大于或等于佩戴检测指标阈值
Figure 511866DEST_PATH_IMAGE020
时，将认为该工人疑似佩戴安全帽，否则将认为工人没有佩戴安全帽。
优选的，本发明实施例中佩戴检测指标阈值
Figure 259243DEST_PATH_IMAGE020
=0.35。
考虑到在施工过程中，存在人员经常将安全帽拿在手上的情况，因此当工人聚集在一起施工时，也会存在交错的情况，故为对工人施工过程中的状况进行准确检测，本发明实施例进一步基于初始佩戴检测指标，根据工人位置和安全帽位置确认每个工人的安全帽佩戴指标，则安全帽佩戴指标的计算公式为：
Figure 689218DEST_PATH_IMAGE009
Figure 572860DEST_PATH_IMAGE010
Figure 46567DEST_PATH_IMAGE011
式中，
Figure 736699DEST_PATH_IMAGE012
为安全帽佩戴指标，值为1代表工人佩戴安全帽，值为0代表工人未佩戴安全帽；
Figure 688474DEST_PATH_IMAGE013
为安全帽包围框的左上角坐标、
Figure 816836DEST_PATH_IMAGE014
为安全帽包围框的右下角坐标，
Figure 195865DEST_PATH_IMAGE015
为第一距离；
Figure 652254DEST_PATH_IMAGE016
为安全帽包围框的中心点坐标，
Figure 673300DEST_PATH_IMAGE017
为工人面部的中心点坐标，其中
Figure 43451DEST_PATH_IMAGE032
，
Figure 858961DEST_PATH_IMAGE033
，（
Figure 802646DEST_PATH_IMAGE034
）代表眼睛、耳朵、鼻子以及嘴巴的中心坐标，
Figure 846956DEST_PATH_IMAGE018
为第二距离。
计算工人面部的中心点坐标与安全帽围框的中心点坐标之间的第二距离、安全帽包围框的左上角坐标和安全帽包围框的右下角坐标之间的第一距离，第一距离和第二距离之间的差值越为正数，越说明工人佩戴了安全帽，反之没有佩戴安全帽。
（6）基于步骤（1）至步骤（5）能够得到工人区内每个工人的施工行为状态指标
Figure 559698DEST_PATH_IMAGE028
和安全帽佩戴指标
Figure 546108DEST_PATH_IMAGE012
，进而将每个工人的施工行为状态指标和安全帽佩戴指标构建2*N维的工人区监测矩阵
Figure 977089DEST_PATH_IMAGE035
，其中该矩阵的第一行为工人的施工行为状态指标、第二行为工人的安全帽佩戴指标，N指工人数量，且N为大于0的正整数，每列代表工人编号。
步骤S003，根据建筑设备区域中建筑设备的实时状态和正常工作中的标准状态之间的状态相似度，得到每个建筑设备区域的设备施工状态指标，以构成1*M维的施工设备监测矩阵，M为建筑设备数量，且M为正整数。
具体的，将各个建筑设备区域对应的RGB图像进行剪切得到各个建筑设备区域图像，以避免其他无关区域的影响。通过无人机航拍获取各个建筑施工设备正常工作时的标准状态图像，以构成建筑施工设备的标准状态集，然后，分别计算每个建筑设备区域图像与标准状态集中每个标准状态图像之间的相似程度：采用SIFT角点检测算法对建筑设备区域图像中的特征点进行提取，同理在标准状态图像进行相同特征点提取，然后进行特征点匹配，得到多个特征点对，根据匹配好的特征点对计算建筑设备区域图像与标准状态图像之间的相似程度，其相似程度的计算公式为：
Figure 323626DEST_PATH_IMAGE022
式中，
Figure 890874DEST_PATH_IMAGE023
为匹配的特征点对的数量，
Figure 313765DEST_PATH_IMAGE024
代表第
Figure 232042DEST_PATH_IMAGE007
对特征点对之间的欧式距离，
Figure 618155DEST_PATH_IMAGE025
为第
Figure 571068DEST_PATH_IMAGE006
个建筑设备区域图像与第
Figure 899281DEST_PATH_IMAGE021
张标准状态图像之间的相似程度。
特征点对之间的欧式距离越小，说明相似程度越大，且匹配的特征点对的数量越大，相似程度越大。
基于上述相似程度的获取方法，能够获取第
Figure 291472DEST_PATH_IMAGE006
个建筑设备区域图像与标准状态集中每个标准状态图像之间相似程度，构成第
Figure 261703DEST_PATH_IMAGE006
个建筑设备区域图像的相似程度集合
Figure 803542DEST_PATH_IMAGE036
，进而将相似程度集合中最大相似程度作为第
Figure 302657DEST_PATH_IMAGE006
个建筑设备区域的设备施工状态指标
Figure 680680DEST_PATH_IMAGE037
。
需要说明的是，对设备施工状态指标进行归一化处理，使得函数值处于0~1，便于对建筑施工设备在施工过程中的工作状态进行实时监测。
进一步地，根据每个建筑设备区域的设备施工状态指标构成1*M维的施工设备监测矩阵
Figure 657863DEST_PATH_IMAGE038
，M为建筑设备数量，且M为大于0的正整数。
步骤S004，根据工人区监测矩阵和施工设备监测矩阵分别对工人和建筑设备进行危险预警。
具体的，对建筑施工现场进行安全监测，不但对各个工人的施工状态进行实时监测，同时对各建筑设备在施工过程中的工作状况进行监测，以根据监测结果作出相应的预警提示，并及时提示相关管理人员尽快采取相应的措施对其进行管理、治理，则预警提示过程为：设定行为状态指标阈值，当行为状态指标高于行为状态指标阈值时，将认为施工行为存在危险行为，具有安全风险，则将对相应的工人编号进行播报，及时提示管理人员尽快采取相应的措施进行处理，同时对于存在安全帽佩戴指标值为0的工人编号进行播报，及时提醒相关工人进行安全帽的佩戴，以保证施工安全；同理，设置设备施工状态指标阈值，当设备施工状态指标低于设备施工状态指标阈值时，则对建筑设备区域进行预警，提醒维修人员对对应编号的建筑施工设备进行检修，避免传统人为巡检建筑施工设备不具有实时性的问题，以提高施工效率。
优选的，本发明实施例中状态指标阈值和设备施工状态指标阈值都为经验值，即设备施工状态指标阈值为0.5，状态指标阈值为0.6。
综上所述，本发明实施例提供了一种基于数据处理的建筑施工状态监测方法，该方法采集建筑施工现场的多帧全景图，以将每帧全景图划分为工人区域和建筑设备区域；对工人区域的每个工人进行人体关键点检测，构建动作数据库，以将其包括的各种危险施工动作的人体关键点坐标与每个工人的人体关键点坐标进行对比，用于分析每个工人的施工行为状态，同时检测工人的安全帽佩戴情况和每个建筑设备区域内的设备施工状态，以根据施工行为状态、安全帽佩戴情况和设备施工状态进行危险预警。通过分区域检测提高了检测精度，避免整体分析复杂环境的影响，同时能够及时对出现问题的施工工具、设备进行检修，提升施工效率，保证施工过程的安全问题。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于数据处理的建筑施工状态监测方法，其特征在于，该方法包括以下具体步骤：
采集建筑施工现场的多帧全景图；对全景图进行人体关键点检测以将全景图划分为无人区域和工人区域；基于建筑设备的位置将无人区域划分为多个建筑设备区域；
对工人区域中的每个工人进行人体关键点检测，得到每个工人的人体关键点的二维坐标；将当前工人的所有人体关键点的二维坐标组成二维序列，利用TCN网络得到二维序列对应的三维序列，将当前工人在多帧全景图中的所述三维序列组成一个三维动作序列；基于模拟器构建多种危险施工动作的动作数据库，基于动作数据库获取每个工人的施工行为状态指标；对每个工人进行安全帽佩戴检测得到每个工人的安全帽佩戴指标，将每个工人的施工行为状态指标和安全帽佩戴指标构建2*N维的工人区监测矩阵，N指工人数量，且N为正整数；
根据建筑设备区域中建筑设备的实时状态和正常工作中的标准状态之间的状态相似度，得到每个建筑设备区域的设备施工状态指标，以构成1*M维的施工设备监测矩阵，M为建筑设备数量，且M为正整数；
根据所述工人区监测矩阵和所述施工设备监测矩阵分别对工人和建筑设备进行危险预警。
2.如权利要求1所述的一种基于数据处理的建筑施工状态监测方法，其特征在于，所述基于模拟器构建多种危险施工动作的动作数据库的方法，包括：
利用模拟器获取当前危险施工动作下各个人体关键点的标准三维坐标，构成一个标准三维坐标序列；将多种危险施工动作及其对应的标准三维坐标序列构成一个动作数据库。
3.如权利要求2所述的一种基于数据处理的建筑施工状态监测方法，其特征在于，所述基于动作数据库获取每个工人的施工行为状态指标的方法，包括：
根据当前工人的三维动作序列与动作数据库中每个标准三维坐标序列分别计算当前工人对应每个危险施工动作的施工行为状态指标；
将最大的施工行为状态指标作为当前工人最终的施工行为状态指标。
4.如权利要求3所述的一种基于数据处理的建筑施工状态监测方法，其特征在于，所述施工行为状态指标的计算公式为：
Figure 973477DEST_PATH_IMAGE001
其中，
Figure 93879DEST_PATH_IMAGE002
为施工行为状态指标；
Figure 591726DEST_PATH_IMAGE003
为工人的三维动作序列的序列长度；
Figure 455776DEST_PATH_IMAGE004
为工人的人体关键点的数量；
Figure 738990DEST_PATH_IMAGE005
为工人的人体关键点
Figure 30294DEST_PATH_IMAGE006
在第
Figure 15437DEST_PATH_IMAGE007
帧全景图对应的三维坐标；
Figure 683178DEST_PATH_IMAGE008
为标准三维坐标序列中人体关键点
Figure 555319DEST_PATH_IMAGE006
的标准三维坐标。
5.如权利要求1所述的一种基于数据处理的建筑施工状态监测方法，其特征在于，所述对每个工人进行安全帽佩戴检测得到每个工人的安全帽佩戴指标的方法，包括：
利用目标检测网络获取工人的安全帽包围框和人体包围框，计算安全帽包围框和人体包围框之间的相交面积，将相交面积和安全帽包围框的面积之间的比值作为每个工人的初始佩戴检测指标；
基于初始佩戴检测指标，根据工人位置和安全帽位置确认每个工人的安全帽佩戴指标，则安全帽佩戴指标的计算公式为：
Figure 266792DEST_PATH_IMAGE009
Figure 489963DEST_PATH_IMAGE010
Figure 695817DEST_PATH_IMAGE011
式中，
Figure 688044DEST_PATH_IMAGE012
为安全帽佩戴指标；
Figure 573347DEST_PATH_IMAGE013
为安全帽包围框的左上角坐标、
Figure 549394DEST_PATH_IMAGE014
为安全帽包围框的右下角坐标，
Figure 27780DEST_PATH_IMAGE015
为第一距离；
Figure 405671DEST_PATH_IMAGE016
为安全帽包围框的中心点坐标，
Figure 458947DEST_PATH_IMAGE017
为工人面部的中心点坐标，
Figure 656710DEST_PATH_IMAGE018
为第二距离；
Figure 938787DEST_PATH_IMAGE019
为初始佩戴检测指标；
Figure 905606DEST_PATH_IMAGE020
为佩戴检测指标阈值。
6.如权利要求1所述的一种基于数据处理的建筑施工状态监测方法，其特征在于，所述每个建筑设备区域的设备施工状态指标的获取方法，包括：
获取各个建筑设备区域图像和各个建筑施工设备正常工作时的标准状态图像所构成标准状态集；分别对每个建筑设备区域图像和标准状态图像进行相同特征点的提取，将每个建筑设备区域图像分别与标准状态集中每个标准状态图像进行特征点匹配，得到多个特征点对；
根据匹配好的特征点对计算第
Figure 395362DEST_PATH_IMAGE006
个建筑设备区域图像与标准状态集中第
Figure 814842DEST_PATH_IMAGE021
张标准状态图像之间的相似程度，进而得到第
Figure 166189DEST_PATH_IMAGE006
个建筑设备区域图像的相似程度集合，将相似程度集合中最大相似程度作为第
Figure 987514DEST_PATH_IMAGE006
个建筑设备区域的设备施工状态指标，其相似程度的计算公式为：
Figure 648172DEST_PATH_IMAGE022
式中，
Figure 554948DEST_PATH_IMAGE023
为匹配的特征点对的数量，
Figure 444406DEST_PATH_IMAGE024
代表第
Figure 366576DEST_PATH_IMAGE007
对特征点对之间的欧式距离，
Figure 948867DEST_PATH_IMAGE025
为第
Figure 342939DEST_PATH_IMAGE006
个建筑设备区域图像与第
Figure 36089DEST_PATH_IMAGE021
张标准状态图像之间的相似程度。
CN202211205586.6A 2022-09-30 2022-09-30 基于数据处理的建筑施工状态监测方法 Active CN115294533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211205586.6A CN115294533B (zh) 2022-09-30 2022-09-30 基于数据处理的建筑施工状态监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211205586.6A CN115294533B (zh) 2022-09-30 2022-09-30 基于数据处理的建筑施工状态监测方法

Publications (2)

Publication Number Publication Date
CN115294533A true CN115294533A (zh) 2022-11-04
CN115294533B CN115294533B (zh) 2022-12-20

Family

ID=83834863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211205586.6A Active CN115294533B (zh) 2022-09-30 2022-09-30 基于数据处理的建筑施工状态监测方法

Country Status (1)

Country Link
CN (1) CN115294533B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830719A (zh) * 2023-02-16 2023-03-21 青岛旭华建设集团有限公司 基于图像处理的建筑工地危险行为识别方法
CN116227803A (zh) * 2022-12-01 2023-06-06 中国建筑第四工程局有限公司 一种智能化建筑施工的数据处理方法
CN116311082A (zh) * 2023-05-15 2023-06-23 广东电网有限责任公司湛江供电局 基于关键部位与图像匹配的穿戴检测方法及***
CN117068976A (zh) * 2023-08-04 2023-11-17 山东高速建设管理集团有限公司 一种吊车施工规范安全检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160140113A (ko) * 2015-05-29 2016-12-07 주식회사비엠테크 건설장비의 주변 감시용 안전 시스템 및 방법
CN111144263A (zh) * 2019-12-20 2020-05-12 山东大学 一种建筑工人高坠事故预警方法及装置
AU2020100711A4 (en) * 2020-05-05 2020-06-11 Chang, Cheng Mr The retrieval system of wearing safety helmet based on deep learning
CN112396652A (zh) * 2020-11-25 2021-02-23 创新奇智(西安)科技有限公司 施工工地安全监测方法、装置、电子设备及存储介质
CN113724105A (zh) * 2021-09-08 2021-11-30 姚成龙 建筑施工现场监控***及其监控方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160140113A (ko) * 2015-05-29 2016-12-07 주식회사비엠테크 건설장비의 주변 감시용 안전 시스템 및 방법
CN111144263A (zh) * 2019-12-20 2020-05-12 山东大学 一种建筑工人高坠事故预警方法及装置
AU2020100711A4 (en) * 2020-05-05 2020-06-11 Chang, Cheng Mr The retrieval system of wearing safety helmet based on deep learning
CN112396652A (zh) * 2020-11-25 2021-02-23 创新奇智(西安)科技有限公司 施工工地安全监测方法、装置、电子设备及存储介质
CN113724105A (zh) * 2021-09-08 2021-11-30 姚成龙 建筑施工现场监控***及其监控方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116227803A (zh) * 2022-12-01 2023-06-06 中国建筑第四工程局有限公司 一种智能化建筑施工的数据处理方法
CN116227803B (zh) * 2022-12-01 2024-02-09 中国建筑第四工程局有限公司 一种智能化建筑施工的数据处理方法
CN115830719A (zh) * 2023-02-16 2023-03-21 青岛旭华建设集团有限公司 基于图像处理的建筑工地危险行为识别方法
CN116311082A (zh) * 2023-05-15 2023-06-23 广东电网有限责任公司湛江供电局 基于关键部位与图像匹配的穿戴检测方法及***
CN117068976A (zh) * 2023-08-04 2023-11-17 山东高速建设管理集团有限公司 一种吊车施工规范安全检测方法
CN117068976B (zh) * 2023-08-04 2024-05-03 山东高速建设管理集团有限公司 一种吊车施工规范安全检测方法

Also Published As

Publication number Publication date
CN115294533B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN115294533B (zh) 基于数据处理的建筑施工状态监测方法
CN110502965B (zh) 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
CN111191586B (zh) 一种施工现场人员安全帽佩戴情况巡检方法及***
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位***
CN113807240A (zh) 基于非配合式人脸识别的变电站人员着装智能监控方法
CN111920129A (zh) 一种智能安全帽***
CN112613449A (zh) 一种基于视频人脸图像的安全帽佩戴检测识别方法及***
CN115035088A (zh) 一种基于yolov5和姿态估计的安全帽佩戴检测方法
CN112036327A (zh) 一种基于ssd的轻量化安全帽检测方法
CN114926778A (zh) 一种生产环境下的安全帽与人员身份识别***
Wang et al. A safety helmet and protective clothing detection method based on improved-yolo v 3
CN116311082B (zh) 基于关键部位与图像匹配的穿戴检测方法及***
CN117173791A (zh) 一种基于动作识别的配网施工人员违规检测方法及***
CN116682034A (zh) 一种复杂生产作业场景下危险行为检测方法
CN111274888B (zh) 一种基于可穿戴移动眼镜的安全帽及工作服智能识别方法
CN115223249A (zh) 一种基于机器视觉的井下人员不安全行为快速分析与识别方法
CN206948499U (zh) 学员实训视频追踪监控、评价***
CN113221640B (zh) 一种带电作业主动预警与安全监测***
WO2022121886A1 (zh) 一种电力作业着装规范识别方法和装置
CN115393900A (zh) 一种基于物联网的智慧工地***方法及***
CN112949606A (zh) 工服穿戴状态检测方法、装置、存储介质及电子装置
CN110598569B (zh) 一种基于人体姿态数据的动作识别方法
CN111860181A (zh) 分布式安全帽识别***
CN117828335B (zh) 海上升压站远程作业人员轨迹管控***及方法
CN116052223B (zh) 基于机器视觉识别作业区域人的方法、***、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant