CN115661737A - 一种基于多模态数据集成的建筑工人实时安全监控方法 - Google Patents

一种基于多模态数据集成的建筑工人实时安全监控方法 Download PDF

Info

Publication number
CN115661737A
CN115661737A CN202211182762.9A CN202211182762A CN115661737A CN 115661737 A CN115661737 A CN 115661737A CN 202211182762 A CN202211182762 A CN 202211182762A CN 115661737 A CN115661737 A CN 115661737A
Authority
CN
China
Prior art keywords
data
position data
prediction model
acquiring
worker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211182762.9A
Other languages
English (en)
Inventor
杨之乐
郭媛君
吴承科
刘祥飞
吴新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202211182762.9A priority Critical patent/CN115661737A/zh
Priority to PCT/CN2022/137034 priority patent/WO2024066038A1/zh
Publication of CN115661737A publication Critical patent/CN115661737A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明公开了一种基于多模态数据集成的建筑工人实时安全监控方法，方法包括：获取各个工人的生理指标数据、语音信号数据、以及地理位置数据；获取目标图像，所述目标图像中包括多个工人；将所述生理指标数据、所述语音信号数据、所述地理位置数据、以及目标图像输入至已训练的预测模型中，获取所述预测模型输出的安全风险等级。

Description

一种基于多模态数据集成的建筑工人实时安全监控方法
技术领域
本发明涉及建筑工地安全监控技术领域，特别涉及一种基于多模态数据集成的建筑工人实时安全监控方法。
背景技术
建筑工地存在环境复杂、工人多、工种多的特点，只靠人工观察监控摄像拍设的图像来判断是否存在安全事故或隐患，往往不够及时，在现有技术中，有通过对监控摄像头拍摄的图像，基于智能识别图片中的人体行为的方式来进行安全监控的方式，但是由于建筑工地内的工人多，建筑材料多变的特性，图像中往往有很多遮挡，仅对监控图像进行识别安全风险的方式准确性不够。
因此，现有技术还有待改进和提高。
发明内容
针对现有技术的上述缺陷，本发明提供一种基于多模态数据集成的建筑工人实时安全监控方法，旨在解决现有技术中建筑工地安全风险识别准确性不够的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
本发明的第一方面，提供一种基于多模态数据集成的建筑工人实时安全监控方法，所述方法包括：
获取各个工人的生理指标数据、语音信号数据、以及地理位置数据；
获取目标图像，所述目标图像中包括多个工人；
将所述生理指标数据、所述语音信号数据、所述地理位置数据、以及所述目标图像输入至已训练的预测模型中，获取所述预测模型输出的安全风险等级。
所述的基于多模态数据集成的建筑工人实时安全监控方法，其中，所述获取各个工人的地理位置数据，包括：
获取各个工人对应的穿戴设备反馈的第一位置数据；
获取各个工人对应的移动设备反馈的第二位置数据；
根据各个工人分别对应的所述第一位置数据和所述第二位置数据获取各个工人的地理位置数据。
所述的基于多模态数据集成的建筑工人实时安全监控方法，其中，所述根据各个工人分别对应的所述第一位置数据和所述第二位置数据获取各个工人的地理位置数据，包括：
当工人对应的所述第一位置数据和所述第二位置数据之间的差值在预设范围内时，取所述第一位置数据和所述第二位置数据的平均值作为该工人的地理位置数据；
当工人对应的所述第一位置数据和所述第二位置数据之间的差值超出所述预设范围时，丢弃当前该工人对应的所述第一位置数据和所述第二位置数据，重新获取该工人对应的所述第一位置数据和所述第二位置数据。
所述的基于多模态数据集成的建筑工人实时安全监控方法，其中，所述预测模型包括第一编码模块、第二编码模块、第三编码模块、融合模块以及预测模块，所述获取所述预测模型输出的安全风险等级，包括：
将所述生理指标数据和所述地理位置数据输入至所述第一编码模块，通过所述第一编码模块提取所述生理指标数据和所述地理位置数据的特征并转换为特征图像；
将所述特征图像和所述目标图像输入至所述第二编码模块，获取所述第二编码模块输出的第一特征向量；
将所述语音信号数据输入至所述第三编码模块，获取所述第三编码模块输出的第二特征向量；
将所述第一特征向量和所述第二特征向量输入至所述融合模块进行融合，得到目标特征向量；
将所述目标特征向量输入至所述预测模块，获取所述预测模块输出的安全风险等级。
所述的基于多模态数据集成的建筑工人实时安全监控方法，其中，所述将所述特征图像和所述目标图像输入至第二编码模块，获取所述第二编码模块输出的第一特征向量，包括：
对于输入至所述第二编码模块的待处理图像，执行如下操作：
将所述待处理图像划分为多个图像块，对每个图像块提取初始特征，对于每个图像块，将对应的所述初始特征和图像块在所述待处理图像中的位置信息融合，得到每个图像块分别对应的块特征；
对每个图像块分别对应的块特征执行注意力机制，根据注意力机制结果得到所述第一特征向量。
所述的基于多模态数据集成的建筑工人实时安全监控方法，其中，所述预测模型的训练过程为：
构建初始预测模型，根据多组标注数据训练所述初始预测模型，得到所述预测模型；
其中，每组标注数据包括样本生理指标数据、样本语音信号数据、样本地理位置数据、样本目标图像以及安全风险等级标注结果。
所述的基于多模态数据集成的建筑工人实时安全监控方法，其中，所述根据多组标注数据训练所述初始预测模型，得到所述预测模型，包括：
选择目标标注数据；
将所述目标标注数据中的样本生理指标数据、样本语音信号数据、样本地理位置数据、以及样本目标图像输入至所述初始预测模型，获取所述初始预测模型输出的安全风险等级预测结果；
根据所述安全风险等级预测结果和所述目标标注数据中的安全风险等级标注结果获取第一损失；
将获取所述安全风险等级预测结果过程中得到的样本第一特征向量和样本第二特征向量输入至重构模块，获取所述重构模块输出的重构数据；
基于所述样本生理指标数据、所述样本语音信号数据、所述样本地理位置数据、以及所述样本目标图像与所述重构数据之间的差异获取第二损失；
根据所述第一损失和所述第二损失获取所述目标标注数据对应的训练损失，根据所述目标标注数据对应的训练损失更新所述初始预测模型的参数；
重新执行所述选择目标标注数据的步骤，直至所述初始预测模型的参数收敛，将参数收敛后的模型作为所述预测模型。
本发明的第二方面，提供一种基于多模态数据集成的建筑工人实时安全监控装置，包括：
第一数据获取模块，用于获取各个工人的生理指标数据、语音信号数据、以及地理位置数据；
第二数据获取模块，用于获取目标图像，所述目标图像中包括多个工人；
预测模块，用于将所述生理指标数据、所述语音信号数据、所述地理位置数据、以及所述目标图像输入至已训练的预测模型中，获取所述预测模型输出的安全风险等级。
本发明的第三方面，提供一种终端，所述终端包括处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述任一项所述的基于多模态数据集成的建筑工人实时安全监控方法的步骤。
本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的基于多模态数据集成的建筑工人实时安全监控方法的步骤。
与现有技术相比，本发明提供了一种基于多模态数据集成的建筑工人实时安全监控方法，通过采集工人的生理指标数据、语音信号数据、地理位置数据以及包括多个工人的图像，将多模态的数据输入至神经网络模型中进行安全风险等级的预测，避免了建筑工地的图像中设施复杂、工人众多导致的人体行为识别不准确，本发明可以提升建筑工地安全风险识别准确性。
附图说明
图1为本发明提供的基于多模态数据集成的建筑工人实时安全监控方法的实施例的流程图；
图2为本发明提供的基于多模态数据集成的建筑工人实时安全监控装置的实施例的结构原理图；
图3为本发明提供的终端的实施例的原理示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供的基于多模态数据集成的建筑工人实时安全监控方法，可以应用于具有计算能力的终端中，终端可以执行本发明提供的基于多模态数据集成的建筑工人实时安全监控方法进行电网调峰调度，终端可以但不限于是各种计算机、移动终端、智能家电、可穿戴式设备等。
实施例一
如图1所示，所述基于多模态数据集成的建筑工人实时安全监控方法的一个实施例中，包括步骤：
S100、获取各个工人的生理指标数据、语音信号数据、以及地理位置数据；
S200、获取目标图像，所述目标图像中包括多个工人。
在本实施例中，为了防止建筑工地中工人众多、建筑材料复杂导致仅采用建筑工地的监控图像进行人体行为识别进而判断安全风险的准确性降低，采集多模态数据用于识别安全风险。具体地，工人的生理指标数据可以包括工人的心率、血压、体温、血氧饱和度等，可以通过可穿戴式设备例如智能手环、智能手表实现对所述生理指标数据的采集，所述语音信号数据可以通过可穿戴式设备或者移动设备例如手持式通话机、手机等采集。所述地理位置数据可以通过可穿戴式设备或者移动设备采集，所述目标图像通过设置在建筑工地的摄像头拍摄获取。
所述生理指标数据、所述语音信号数据以及所述地理位置数据可以是当前时刻前预设时长内采集的数据，所述目标图像可以是当前时刻前所述预设时长内拍摄的多张图像。
在一种可能的实现方式中，为了解决复杂工程现场定位精度不足的问题，采用两个及两个以上的设备获取各个工人的地理位置数据，包括：
获取各个工人对应的穿戴设备反馈的第一位置数据；
获取各个工人对应的移动设备反馈的第二位置数据；
根据各个工人分别对应的所述第一位置数据和所述第二位置数据获取各个工人的地理位置数据。
进一步地，所述根据各个工人分别对应的所述第一位置数据和所述第二位置数据获取各个工人的地理位置数据，包括：
当工人对应的所述第一位置数据和所述第二位置数据之间的差值在预设范围内时，取所述第一位置数据和所述第二位置数据的平均值作为该工人的地理位置数据；
当工人对应的所述第一位置数据和所述第二位置数据之间的差值超出所述预设范围时，丢弃当前该工人对应的所述第一位置数据和所述第二位置数据，重新获取该工人对应的所述第一位置数据和所述第二位置数据。
以穿戴设备为智能手环，移动设备为手持终端为例，将二者采集的位置信号交叉对比，如果两者差异超出所述预设范围，则重新采集位置信号，如果两者差异在所述预设范围内，则取二者的均值用于后续处理。
请再次参阅图1，本实施例提供的方法，还包括步骤：
S300、将所述生理指标数据、所述语音信号数据、所述地理位置数据、以及所述目标图像输入至已训练的预测模型中，获取所述预测模型输出的安全风险等级。
具体地，所述预测模型包括第一编码模块、第二编码模块、第三编码模块、融合模块以及预测模块。所述获取所述预测模型输出的安全风险等级，包括：
S310、将所述生理指标数据和所述地理位置数据输入至所述第一编码模块，通过所述第一编码模块提取所述生理指标数据和所述地理位置数据的特征并转换为特征图像；
S320、将所述特征图像和所述目标图像输入至所述第二编码模块，获取所述第二编码模块输出的第一特征向量；
S330、将所述语音信号数据输入至所述第三编码模块，获取所述第三编码模块输出的第二特征向量；
S340、将所述第一特征向量和所述第二特征向量输入至所述融合模块进行融合，得到目标特征向量；
S350、将所述目标特征向量输入至所述预测模块，获取所述预测模块输出的安全风险等级。
所述第一编码模块用于提取非图像非声音数据的特征，并将其转换为2d的特征图像，所述第一编码模块中可以包括一个滤波单元和一个卷积单元，通过该滤波单元对输入的数据进行卡尔曼滤波后，再通过卷积单元提取特征并转换为2d图像，得到所述特征图像，例如，所述卷积单元提取特征矩阵，将矩阵中的每个值作为图像中的一个像素值，得到所述特征图像。所述第二编码模块用于图像处理，具体地，所述将所述特征图像和所述目标图像输入至第二编码模块，获取所述第二编码模块输出的第一特征向量，包括：
对于输入至所述第二编码模块的待处理图像，执行如下操作：
将所述待处理图像划分为多个图像块，对每个图像块提取初始特征，对于每个图像块，将对应的所述初始特征和图像块在所述待处理图像中的位置信息融合，得到每个图像块分别对应的块特征；
对每个图像块分别对应的块特征执行注意力机制，根据注意力机制结果得到所述第一特征向量。
具体地，所述第一特征向量包括第一图像特征向量和第二图像特征，所述第二编码模块包括两个处理模块：第一处理模块和第二处理模块，所述第一处理模块用于处理对数据进行特征提取后转换得到的特征图像得到所述第一图像特征向量，所述第二处理模块用于处理摄像装置拍摄的图像得到所述第二图像特征向量。两个处理模型的结构相同，即对输入的图像的处理方式相同。下面以所述目标图像为例，介绍所述第二编码模块对其进行处理的过程：
将所述目标图像输入至所述第二编码模块中的第二处理模块，首先将所述目标图像划分为多个图像块，对每个图像块，先提取初始特征，可以通过一个卷积层实现，之后，对于每个图像块，将该图像块对应的所述初始特征和该图像块在所述目标图像中的位置信息融合，得到该图像块对应的块特征。之后，对于每个图像块对应的块特征，执行注意力机制，值得说明的是，注意力机制可以执行多次，每次执行注意力机制后，每个图像块对应的块特征会被更新，将最后一次注意力机制计算后的每个图像块对应的块特征融合(例如直接相接)得到所述第二图像特征向量。
得到所述第一图像特征向量的过程与得到所述第一图像特征向量的过程一致，只是将所述特征图像输入至所述第二编码模块中的第一处理模块。
下面对所述预测模型的训练过程进行说明，所述预测模型的训练过程为：
构建初始预测模型，根据多组标注数据训练所述初始预测模型，得到所述预测模型；
其中，每组标注数据包括样本生理指标数据、样本语音信号数据、样本地理位置数据、样本目标图像以及安全风险等级标注结果。
进一步地，为了降低数据标注的工作量，在本实施例中，先利用开源数据训练所述预测模型中的模块，之后再使用建筑工地场景下的标注数据进行微调训练，可以显著减少建筑工地场景标注数据量需求。
所述构建初始预测模型，包括：
采用开源数据训练所述第二编码模块、所述第三编码模块和所述预测模块；
基于采用开源数据训练后的所述第二编码模块、所述第三编码模块和所述预测模块构建所述初始预测模型。
可以采用带标签的开源数据预先训练所述第二编码模块和所述第三编码模块，具体地，用于预先训练所述第二编码模块和所述第三编码模块的开源数据为有分类标签的数据，在训练过程中，所述第二编码模块中的第一处理模块和所述第二处理模块只训练一个，训练完成后共用训练后的参数，以训练所述第二编码模块中的第一处理模块为例，在训练过程中，将样本数据输入至所述第一处理模块，基于所述第一处理模块输出的特征向量进行分类，根据分类结果与样本数据对应的分类标签之间的差异更新所述第一处理模块的参数，以使得所述第一处理模块具有初步的提取分类特征的功能，后续再根据相应的建筑工地场景标注数据进行微调训练。
所述根据多组标注数据训练所述初始预测模型，得到所述预测模型，包括：
选择目标标注数据；
将所述目标标注数据中的样本生理指标数据、样本语音信号数据、样本地理位置数据、以及样本目标图像输入至所述初始预测模型，获取所述初始预测模型输出的安全风险等级预测结果；
根据所述安全风险等级预测结果和所述目标标注数据中的安全风险等级标注结果获取第一损失；
将获取所述安全风险等级预测结果过程中得到的样本第一特征向量和样本第二特征向量输入至重构模块，获取所述重构模块输出的重构数据；
基于所述样本生理指标数据、所述样本语音信号数据、所述样本地理位置数据、以及所述样本目标图像与所述重构数据之间的差异获取第二损失；
根据所述第一损失和所述第二损失获取所述目标标注数据对应的训练损失，根据所述目标标注数据对应的训练损失更新所述初始预测模型的参数；
重新执行所述选择目标标注数据的步骤，直至所述初始预测模型的参数收敛，将参数收敛后的模型作为所述预测模型。
在所述多组标注数据中选择目标标注数据后，将所述目标标注数据中的样本生理指标数据、样本语音信号数据、样本地理位置数据以及样本目标图像输入至所述初始预测模型中，按照前文中步骤S310到S350的方式进行处理，即，将所述样本生理指标数据和所述样本地理位置数据输入至所述初始预测模型中的所述第一编码模块，通过所述第一编码模块提取所述生理指标数据和所述地理位置数据的特征并转换为样本特征图像，将所述样本特征图像和所述样本目标图像输入至所述第二编码模块，获取所述第二编码模块输出的样本第一特征向量，将所述样本语音信号数据输入至所述第三编码模块，获取所述第三编码模块输出的样本第二特征向量，将所述样本第一特征向量和所述样本第二特征向量输入至所述融合模块进行融合，得到样本目标特征向量，将所述样本目标特征向量输入至所述预测模块，获取所述预测模块输出的安全风险等级预测结果。
在一般的模型训练中，只根据模型的输出和标注结果的差异来获取损失以更新模型参数，在本实施例中，为了提升模型训练效率，设置重构模块与所述初始预测模型一同训练，具体地，除了根据所述安全风险等级预测结果和所述目标标注数据中的安全风险等级标注结果获取第一损失之外，还将所述样本第一特征向量和所述样本第二特征向量输入至所述重构模块。
所述样本第一特征向量中包括样本第一图像特征向量和样本第二图像特征，将所述样本第一图像特征向量输入至所述重构模块，所述重构模块输出重构第一图像，将所述样本第二图像特征输入至所述重构模块，所述重构模块输出重构第二图像，将所述样本第二特征向量输入至所述重构模块，所述重构模块输出重构语音信号，具体地，所述重构模块中可以分别设置不同的处理单元来处理不同模态数据的特征。根据所述重构第一图像和所述样本特征图像之间的差异获取第一分损失，根据所述重构第二图像和所述样本目标图像之间的差异获取第二分损失，根据所述重构语音信号和所述样本语音信号数据之间的差异获取第三分损失，对所述第一分损失、所述第二分损失和所述第三分损失进行求和，得到所述第二损失。
对所述第一损失和所述第二损失进行求和(可以为带权重的求和)，得到所述目标标注数据对应的训练损失，基于所述目标标注数据对应的训练损失更新所述初始预测模型的参数。
进一步地，为了应对建筑工地复杂场景，在本实施例中，随机将所述样本标注数据中除样本目标图像之外的一种数据置0处理，即，将所述目标标注数据中的所述样本生理指标数据、所述样本语音信号数据或所述样本地理位置数据置0处理。具体地，所述根据所述目标标注数据对应的训练损失更新所述初始预测模型的参数，包括：
当所述目标标注数据为选中数据时，将所述目标标注数据中的所述样本生理指标数据、所述样本语音信号数据或所述样本地理位置数据进行置0处理，得到处理标注数据；
获取所述处理标注数据对应的处理目标特征向量，基于所述处理目标特征向量和所述目标标注数据对应的样本目标特征向量之间的差异确定第三损失；
根据所述目标标注数据对应的训练损失以及所述第三损失更新所述初始预测模型的参数。
其中，所述选中数据为在所述多组标注数据中随机选择的数据。
根据所述目标标注数据对应的训练损失以及所述第三损失更新所述初始预测模型的参数，是对所述目标标注数据对应的训练损失、以及所述第三损失进行求和，以求和结果最小为优化目标更新所述初始预测模型的参数。
将所述处理标注数据输入至所述初始预测模型之后，获取所述初始预测模型中的所述融合模块输出的数据作为所述处理目标特征向量。以损失最小为优化目标更新所述初始预测模型的参数，可以使得当存在数据缺失时提取出的用于分类风险等级的特征向量和不存在数据缺失时提取出的用于分类风险等级的特征向量尽可能接近，使得在复杂的工程建筑场景下数缺失某种数据的情况下，仍然可以实现一定准确率的预测，从而保证鲁棒性和实用性。
综上所述，本实施例提供一种基于多模态数据集成的建筑工人实时安全监控方法，通过采集工人的生理指标数据、语音信号数据、地理位置数据以及包括多个工人的图像，将多模态的数据输入至神经网络模型中进行安全风险等级的预测，避免了建筑工地的图像中设施复杂、工人众多导致的人体行为识别不准确，本发明可以提升建筑工地安全风险识别准确性。
应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取计算机可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
实施例二
基于上述实施例，本发明还相应提供了一种基于多模态数据集成的建筑工人实时安全监控装置，如图2所示，所述基于多模态数据集成的建筑工人实时安全监控装置包括：
第一数据获取模块，用于获取各个工人的生理指标数据、语音信号数据、以及地理位置数据，具体如实施例一中所述；
第二数据获取模块，用于获取目标图像，所述目标图像中包括多个工人，具体如实施例一中所述；
预测模块，用于将所述生理指标数据、所述语音信号数据、所述地理位置数据、以及目标图像输入至已训练的预测模型中，获取所述预测模型输出的安全风险等级，具体如实施例一中所述。
实施例三
基于上述实施例，本发明还相应提供了一种终端，如图3所示，所述终端包括处理器10以及存储器20。图3仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于多模态数据集成的建筑工人实时安全监控程序30，该基于多模态数据集成的建筑工人实时安全监控程序30可被处理器10所执行，从而实现本申请中基于多模态数据集成的建筑工人实时安全监控方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于多模态数据集成的建筑工人实时安全监控方法等。
在一实施例中，当处理器10执行所述存储器20中基于多模态数据集成的建筑工人实时安全监控程序30时实现以下步骤：
获取各个工人的生理指标数据、语音信号数据、以及地理位置数据；
获取目标图像，所述目标图像中包括多个工人；
将所述生理指标数据、所述语音信号数据、所述地理位置数据、以及目标图像输入至已训练的预测模型中，获取所述预测模型输出的安全风险等级。
实施例四
本发明还提供一种计算机可读存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于多模态数据集成的建筑工人实时安全监控方法的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于多模态数据集成的建筑工人实时安全监控方法，其特征在于，所述方法包括：
获取各个工人的生理指标数据、语音信号数据、以及地理位置数据；
获取目标图像，所述目标图像中包括多个工人；
将所述生理指标数据、所述语音信号数据、所述地理位置数据、以及所述目标图像输入至已训练的预测模型中，获取所述预测模型输出的安全风险等级。
2.根据权利要求1所述的基于多模态数据集成的建筑工人实时安全监控方法，其特征在于，所述获取各个工人的地理位置数据，包括：
获取各个工人对应的穿戴设备反馈的第一位置数据；
获取各个工人对应的移动设备反馈的第二位置数据；
根据各个工人分别对应的所述第一位置数据和所述第二位置数据获取各个工人的地理位置数据。
3.根据权利要求2所述的基于多模态数据集成的建筑工人实时安全监控方法，其特征在于，所述根据各个工人分别对应的所述第一位置数据和所述第二位置数据获取各个工人的地理位置数据，包括：
当工人对应的所述第一位置数据和所述第二位置数据之间的差值在预设范围内时，取所述第一位置数据和所述第二位置数据的平均值作为该工人的地理位置数据；
当工人对应的所述第一位置数据和所述第二位置数据之间的差值超出所述预设范围时，丢弃当前该工人对应的所述第一位置数据和所述第二位置数据，重新获取该工人对应的所述第一位置数据和所述第二位置数据。
4.根据权利要求1所述的基于多模态数据集成的建筑工人实时安全监控方法，其特征在于，所述预测模型包括第一编码模块、第二编码模块、第三编码模块、融合模块以及预测模块，所述获取所述预测模型输出的安全风险等级，包括：
将所述生理指标数据和所述地理位置数据输入至所述第一编码模块，通过所述第一编码模块提取所述生理指标数据和所述地理位置数据的特征并转换为特征图像；
将所述特征图像和所述目标图像输入至所述第二编码模块，获取所述第二编码模块输出的第一特征向量；
将所述语音信号数据输入至所述第三编码模块，获取所述第三编码模块输出的第二特征向量；
将所述第一特征向量和所述第二特征向量输入至所述融合模块进行融合，得到目标特征向量；
将所述目标特征向量输入至所述预测模块，获取所述预测模块输出的安全风险等级。
5.根据权利要求4所述的基于多模态数据集成的建筑工人实时安全监控方法，其特征在于，所述将所述特征图像和所述目标图像输入至第二编码模块，获取所述第二编码模块输出的第一特征向量，包括：
对于输入至所述第二编码模块的待处理图像，执行如下操作：
将所述待处理图像划分为多个图像块，对每个图像块提取初始特征，对于每个图像块，将对应的所述初始特征和图像块在所述待处理图像中的位置信息融合，得到每个图像块分别对应的块特征；
对每个图像块分别对应的块特征执行注意力机制，根据注意力机制结果得到所述第一特征向量。
6.根据权利要求4所述的基于多模态数据集成的建筑工人实时安全监控方法，其特征在于，所述预测模型的训练过程为：
构建初始预测模型，根据多组标注数据训练所述初始预测模型，得到所述预测模型；
其中，每组标注数据包括样本生理指标数据、样本语音信号数据、样本地理位置数据、样本目标图像以及安全风险等级标注结果。
7.根据权利要求6所述的基于多模态数据集成的建筑工人实时安全监控方法，其特征在于，所述根据多组标注数据训练所述初始预测模型，得到所述预测模型，包括：
选择目标标注数据；
将所述目标标注数据中的样本生理指标数据、样本语音信号数据、样本地理位置数据、以及样本目标图像输入至所述初始预测模型，获取所述初始预测模型输出的安全风险等级预测结果；
根据所述安全风险等级预测结果和所述目标标注数据中的安全风险等级标注结果获取第一损失；
将获取所述安全风险等级预测结果过程中得到的样本第一特征向量和样本第二特征向量输入至重构模块，获取所述重构模块输出的重构数据；
基于所述样本生理指标数据、所述样本语音信号数据、所述样本地理位置数据、以及所述样本目标图像与所述重构数据之间的差异获取第二损失；
根据所述第一损失和所述第二损失获取所述目标标注数据对应的训练损失，根据所述目标标注数据对应的训练损失更新所述初始预测模型的参数；
重新执行所述选择目标标注数据的步骤，直至所述初始预测模型的参数收敛，将参数收敛后的模型作为所述预测模型。
8.一种基于多模态数据集成的建筑工人实时安全监控装置，其特征在于，包括：
第一数据获取模块，用于获取各个工人的生理指标数据、语音信号数据、以及地理位置数据；
第二数据获取模块，用于获取目标图像，所述目标图像中包括多个工人；
预测模块，用于将所述生理指标数据、所述语音信号数据、所述地理位置数据、以及目标图像输入至已训练的预测模型中，获取所述预测模型输出的安全风险等级。
9.一种终端，其特征在于，所述终端包括：处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述权利要求1-7任一项所述的基于多模态数据集成的建筑工人实时安全监控方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任一项所述的基于多模态数据集成的建筑工人实时安全监控方法的步骤。
CN202211182762.9A 2022-09-27 2022-09-27 一种基于多模态数据集成的建筑工人实时安全监控方法 Pending CN115661737A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211182762.9A CN115661737A (zh) 2022-09-27 2022-09-27 一种基于多模态数据集成的建筑工人实时安全监控方法
PCT/CN2022/137034 WO2024066038A1 (zh) 2022-09-27 2022-12-06 一种基于多模态数据集成的建筑工人实时安全监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211182762.9A CN115661737A (zh) 2022-09-27 2022-09-27 一种基于多模态数据集成的建筑工人实时安全监控方法

Publications (1)

Publication Number Publication Date
CN115661737A true CN115661737A (zh) 2023-01-31

Family

ID=84985103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211182762.9A Pending CN115661737A (zh) 2022-09-27 2022-09-27 一种基于多模态数据集成的建筑工人实时安全监控方法

Country Status (2)

Country Link
CN (1) CN115661737A (zh)
WO (1) WO2024066038A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108684007A (zh) * 2018-04-28 2018-10-19 廖强 一种隧道施工人员的施工监控方法
CN112699907B (zh) * 2019-10-22 2024-02-09 华为云计算技术有限公司 数据融合的方法、装置和设备
KR102416227B1 (ko) * 2019-12-24 2022-07-01 연세대학교 산학협력단 건설 객체 실시간 모니터링 장치 및 모니터링 방법 및 이를 실행하기 위한 컴퓨터프로그램
CN115018513A (zh) * 2022-05-27 2022-09-06 平安银行股份有限公司 数据巡检方法、装置、设备及存储介质
CN115045702A (zh) * 2022-06-09 2022-09-13 北京天玛智控科技股份有限公司 基于多模态数据的智能放煤控制方法和***

Also Published As

Publication number Publication date
WO2024066038A1 (zh) 2024-04-04

Similar Documents

Publication Publication Date Title
CN111667011A (zh) 损伤检测模型训练、车损检测方法、装置、设备及介质
CN111753643B (zh) 人物姿态识别方法、装置、计算机设备和存储介质
US20150347673A1 (en) Wetland modeling and prediction
CN113569672A (zh) 轻量级目标检测与故障识别方法、装置及***
CN111047088A (zh) 预测图像获取方法、装置、计算机设备和存储介质
CN114140831B (zh) 人体姿态估计方法、装置、电子设备及存储介质
CN117557414A (zh) 基于遥感图像自动解译的耕地监管方法、装置、设备及存储介质
CN110210321B (zh) 基于多维尺度变换网络与分块加权法的欠样本人脸识别方法
CN110909691A (zh) 动作检测方法、装置、计算机可读存储介质和计算机设备
CN114241012A (zh) 一种高空抛物的判定方法及装置
CN113628172A (zh) 一种人员手持武器智能检测算法及智慧城市安防***
CN113673308A (zh) 对象识别方法、装置和电子***
CN113435753A (zh) 高危行业中企业风险判定方法、装置、设备及介质
CN115661737A (zh) 一种基于多模态数据集成的建筑工人实时安全监控方法
CN110807380B (zh) 一种人体关键点检测方法及装置
CN110807401A (zh) 用户身份识别、多用户打卡方法、装置、存储介质及设备
Reyes et al. Safety gear compliance detection using data augmentation-assisted transfer learning in construction work environment
CN115953815A (zh) 基建现场的监测方法及装置
CN116012363A (zh) 一种变电站刀闸开合识别方法、装置、设备及存储介质
CN113421182B (zh) 三维重建方法、装置、电子设备及存储介质
CN115862138A (zh) 一种人员摔倒行为检测方法、装置、设备及存储介质
CN105956595A (zh) 图像特征提取方法及***
CN115100592A (zh) 一种输电通道外破隐患识别方法、装置及存储介质
CN115995093A (zh) 一种基于改进YOLOv5的安全帽佩戴识别方法
CN114582012A (zh) 一种骨架人体行为识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination