CN116682175A - 一种复杂环境下的车间人员危险行为检测方法 - Google Patents

一种复杂环境下的车间人员危险行为检测方法 Download PDF

Info

Publication number
CN116682175A
CN116682175A CN202310634097.0A CN202310634097A CN116682175A CN 116682175 A CN116682175 A CN 116682175A CN 202310634097 A CN202310634097 A CN 202310634097A CN 116682175 A CN116682175 A CN 116682175A
Authority
CN
China
Prior art keywords
joint
node
skeleton
human body
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310634097.0A
Other languages
English (en)
Inventor
付亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202310634097.0A priority Critical patent/CN116682175A/zh
Publication of CN116682175A publication Critical patent/CN116682175A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明属于计算机视觉安全监控领域，特别是一种复杂环境下的车间人员危险行为检测方法，具体为采集骨架关节点信息，并进行预处理；可靠度计算，对错误的骨架关节点进行重构；基于人体关节点数据构建人体三维时空拓扑图；对三维拓扑图进行神经网络训练，得到危险行为检测模型；将构造的人体三维时空拓扑图导入到训练好的行为识别模型中，进行行为检测。与现有技术相比，本发明在数据集的预处理中过滤掉产品设备等非人物体的骨架数据，运行时空图卷积网络提取人员行为的时空维度特征，实现了人员行为的准确检测；通过可靠度计算，识别错误数据，并对人体关节点重构，进而提高车间内遮挡场景下的人员行为检测的效果。

Description

一种复杂环境下的车间人员危险行为检测方法
技术领域
本发明属于计算机视觉安全监控领域，特别是一种复杂环境下的车间人员危险行为检测方法。
背景技术
随着工业化的不断发展，车间生产活动的智能化、数字化程度随之提高。目前车间内安全事故频频发生，使得车间人员的人身安全和工厂的生产活动受到了严重的威胁，从安全事故的诱因进行分析，车间人员的危险行为是导致安全事故的关键因素之一，而人工监控的成本较高，且车间监测点较多，监管人员难免因视觉疲劳而存在着疏忽遗漏的情况，所以依靠传统监控对规避人员危险行为的方式效率低下、作用有限。因此研究车间人员行为的智能检测方法对保障企业安全生产具有重要意义。随着计算机视觉技术快速发展，车间人员的行为检测研究取得了一定进展，但是当前的行为检测仍出现了一些问题，在车间这种复杂环境下会有大量的设备或者产品的堆积，当工人进入工作场景时，深度传感器会因为设备或者产品的遮挡而采集到嘈杂的人员特征数据，从而降低行为检测模型的性能。本文基于计算机视觉技术，提出一种复杂环境下的车间人员危险行为检测方法，具体内容如下。
发明内容
本发明的目的在于提供一种复杂环境下的车间人员危险行为检测方法，该方法基于计算机视觉技术，该方法可以实现在复杂车间环境下对人员危险行为的识别。
实现本发明目的的技术解决方案为：一种复杂环境下的车间人员危险行为检测方法，具体步骤如下：
步骤1，采集骨架关节点信息，并进行预处理；
步骤2，可靠度计算，对错误的骨架关节点进行重构；
步骤3，基于人体关节点数据构建人体三维时空拓扑图；
步骤4，对采集到的正确的关节点信息进行三维拓扑图进行神经网络训练，得到危险行为检测模型；
步骤5，将步骤3构造的人体三维时空拓扑图导入到步骤4训练好的行为识别模型中，进行行为检测。
本发明与现有技术相比，其显著优点：
(1)本发明提出了一种适用于复杂车间环境下的行为检测方法，复杂环境下深度传感器获取的人员特征数据是嘈杂的或者不完整的，利用人体关节点重构技术对错误的关节点数据进行改善优化，提高车间内遮挡场景下的行为检测模型的性能。
(2)本发明利用骨架数据进行行为检测，减少行为检测过程中处理数据的时间；数据集的预处理中过滤掉产品设备等非人物体的骨架数据，提高行为检测的工作效率；运行时空图卷积网络有效地提取人员行为的时空维度特征，实现了人员行为的准确检测。
附图说明
图1为本发明实施例的一种复杂环境下的车间人员危险行为检测方法的流程示意图；
图2为人体骨骼关节点示意图；
图3为行为检测网络图；
图4为错误关节点搜索示意图。
具体实施方式
下面结合附图，对本发明作进一步详细说明。
本发明的一种复杂环境下的车间人员危险行为检测方法，包括以下步骤：
步骤1：采集骨架关节点信息，并进行预处理；
步骤1.1，在车间关键工位布置深度视觉传感器(Microsoft Kinect V2)，每个工位点安装两个深度传感器；并采集车间现场的人员骨架关节点坐标信息；
用布置在车间的深度视觉传感器(Microsoft Kinect V2)采集人员行为动作的骨架关节点信息。数据集的采集速率为30帧每秒，其中每帧骨架关节点信息包含人体25个骨架关节点(如附图2)，各关节点含义(见表1)，关节点i的绝对坐标表示为(xi,yi,zi)，i＝1,2…25。该坐标系的坐标原点位于Kinect的红外相机中心，X轴方向为顺着相机的照射方向的左方向，Y轴方向为顺着相机的照射方向的上方向，Z轴方向为顺着相机的照射方向。
表1各关节点含义
步骤1.2，对所采集的数据集进行预处理操作；
(1)产品设备等非人骨架关节数据的的过滤
深度视觉传感器有时会误将将车间非人的骨架关节数据(结构上与人体骨架关节结构相似)进行采集，再此需要对这类误识别为人的物体的骨架数据去除，方法为：选择相邻帧之间25个节点坐标的平均位移值，计算方式如下式所示：
其中，定义关节点i在第t帧的绝对坐标为(xti,yti,zti)，K表示第t帧和t+1帧时25个节点坐标的平均位移值，设定阈值为0.01m，当K小于此值时，将此数据过滤。
(2)坐标的转换
将绝对坐标系中的三维骨架关节点坐标利用相对坐标系表示，为方便处理，选择臀中部(节点1)为相对坐标系原点，将所有关节点转换，具体方法如下式所示：
关节点i的绝对坐标系下的坐标(xi,yi,zi)经过转换获得相对坐标系的坐标(x'i,y'i,z'i)。
步骤2：可靠度计算，对错误的骨架关节点进行重构；
通过深度视觉传感器Kinect采集车间现场的人员骨架关节点坐标信息；使用树的方式对人体关节点进行搜索；利用基于关节约束条件的骨架数据分类算法对采集的关节点数据进行可靠度计算，实现关节点数据的分类；利用卡尔曼滤波对错误的骨架关节点信息进行重新预测，并参考骨骼长度的约束条件对卡尔曼滤波预测的节点进行修正，实现错误关节点的重构。
步骤2.1，依据步骤1.1获得的节点坐标信息，采取树的方式，对关节点进行搜索，检索出关键点；
首先寻找出错误的关节点，根据人体的关节点结构信息，利用树的方式进行搜索，选择左肩(节点5)、右肩(节点9)、左臀部(节点13)、右臀部(节点17)、颈部(节点3)作为根节点，如图4所示为错误关节点搜索示意图，箭头方向表示搜索的方向。以左肩(节点5)为例，搜索的方向为左肩(节点5)→左肘(节点6)→左手腕(节点7)→左手(节点8)，通过这种搜索的方式逐一搜索这些关节点。各关节点含义见表1。
步骤2.2：可靠度计算，找出错误关节点；
由于产品或者设备会对工人的身体产生遮挡，Kinect传感器获取的人员关节数据中包含一些错误数据，为了对这些错误的数据进行处理，需要对关节数据进行区分分类。错误关节数据一般由两个方面进行判断，第一点是身体关节点的抖动情况，即运动速度的变化；第二点是关节位置的异常，例如身体的某些部位突然变长或者变短导致身体的不协调。根据这两个方面提出基于关节约束条件的骨架数据分类算法，关节可靠度主要通过两部分进行计算：(1)基于关节运动速度的可靠度计算；(2)基于骨骼长度的可靠度计算。
(1)基于关节运动速度的可靠度计算：
当Kinect传感器因遮挡而无法正确估计某一关节点的位置时，该关键点就会出现抖动，通过计算关节运动的速度可以判断出某一个节点的抖动程度，设关节点i的在第t帧和第t+1帧的三维坐标(xti,yti,zti)，(x(t+1)i,y(t+1)i,z(t+1)i)，所以关节点的位移量S由下式可以计算：
因为Kinect的采集帧率为每秒30帧，因此每帧相隔的时间t为1/30秒，关节运动速度v由下式计算得到：
参考成年人正常的跑步速度为10km/h，我们将速度的阈值设置为12km/h，通过关节点速度计算后若发现某一关节点的速度超出阈值时，可以将这一时刻的对应关节点判定为异常的关节点数据，即需要对该关节点数据进行重构。
(2)基于骨骼长度的可靠度计算：
人体的骨骼相当于一个铰链机构，骨骼的长度在运动过程中应该是定值，利用两个相邻关节点的欧式距离来表示骨骼长度，如下式所示：
其中i和j表示的人体关节点的标号，骨骼的lenthi_j表示相邻关节点i和j的长度。
将人员的第一帧全部身体被Kinect深度传感器追踪时的各个骨骼点的距离作为参考长度。
定义与关节i相连的关节总数为Sjoint_num，与相连关节点之间线段为f，在帧t中线段f的长度与参考长度的差异比例df(t)由下式计算：
式中lf_std为线段f的参考长度，lf(t)为线段f在帧t中的实际长度。
关节点的基于骨骼长度的可靠度由与其所有相连关节线段与参考长度差异比例的平均值决定，如下式所示：
其中D(t)为衡量关节点i和与其相邻点之间骨骼长度的差异程度，本文设定连续帧之间的骨骼长度变化阈值为30％，若D(t)值大于阈值，则说明此帧骨架关节信息为异常数据，需要对该数据进行重构。
步骤2.3：对错误的关节点数据，利用卡尔曼滤波进行错误关节点的重构；
步骤2.3.1：将步骤2.2获得的错误关节点坐标为(X1,Y1,Z1)利用卡尔曼滤波进行预测，预测的关节点坐标为
步骤2.3.2：利用步骤2.2中获得的骨骼参考长度为约束条件对步骤2.3.1预测的关节点坐标进行调整，以错误节点为子节点，错误节点的上一节点为父节点坐标(X2,Y2,Z2)，由于估计节点位置和其父节点之间的骨骼长度不变，参考基于骨骼长度的可靠度中两节点的骨骼长度ls_std，因此估计关节应该在以父节点位置坐标(X2,Y2,Z2)为圆心，半径为lf_std的球面上，约束方程如下式所示：
(X2-X)2+(Y2-Y)2+(Z2-Z)2＝lf_std 2
步骤2.3.3：选择球面上与估计关节位置欧氏距离最近的点作为优化后估计关节位置/>即先建立/>和(X2,Y2,Z2)的空间直线方程，如下式所示：
上述两个公式联合求解，解得的结果为：
选取与欧式距离最小的解，作为优化后的关节位置/>
步骤3：基于人体关节点数据构建人体三维时空拓扑图；
将步骤2中重构后的错误关节点以及原本正确的人体关节点串联拼接起来形成的人体三维骨架时空拓扑图。三维骨架时空拓扑图由关节点集和边集组成，如下式所示：
G＝(V,E)
其中，G是人体三维骨架时空拓扑图，V是相对坐标系下的骨架关节点数据集合，V＝{vti|t＝1,2,…,T,i＝1,2,…,N}，t表示骨架节点数据的第t帧，i表示关节点的序号(如表1所示)，N＝25，表示25个骨架关节点；而由骨架的空间边和时间边组成的边集E＝{ES,ET}，其中ES＝{vtivtj|(i,j)∈H}表示骨架图空间关节点自然相连的骨骼边，H为人体自然连接的关节点对集合，ET＝{vtiv(t+1)i}是第t帧与第t+1帧的同一骨架关节点连接的时间边，表示一个骨架关节点随时间改变而在空间上的动态位置变化。
步骤4：对采集到的正确的关节点信息进行三维拓扑图进行神经网络训练，得到危险行为检测模型；
步骤4.1，定义根据车间需求设计危险行为种类；
根据车间要求设计危险行为类别，其中行为包括正常行为和危险行为，正常行为包括搬运、行走；危险行为包括奔跑、跳跃、倚靠产品或设备、使用通讯设备、抽烟、进入设备范围、抛物和转圈；
步骤4.2：依据步骤1.2获得的节点坐标信息进行预处理，设定在模型训练时采集的信息都是正确的关节点信息；然后依据步骤3的操作，对预处理后的关节位置数据构建人体三维拓扑图；
步骤4.3：利用步骤4.2中构造的人体三维拓扑图进行神经网络训练，得到危险行为检测模型；
基于步骤4.2中关节点构成的人体三维时空拓扑图，将其送入时空图卷积网络中(ST-GCN)，该网络前面堆叠了9个时空图卷积模块，第一层到第三层的输出通道数为64，第四层到第六层的输出通道数为128，第七层到第九层的输出通道数为256，然后在网络的后面添加一个全局的平均池化层，将所有的不同样本特征进行映射，并减少网络参数。最后通过Softmax(归一化指数函数)分类器进行分类结果的预测。
在训练过程中，训练的总周期设为100，批次值设为64，其中前30轮的学习率设为0.1，第31轮到第60轮的学习率设置为0.01，第61轮到第100轮的学习率为0.001，损失函数使用交叉熵损失函数，模型优化器使用Adam优化器，当训练结束后保存该模型。
步骤5：将步骤3构造的人体三维时空拓扑图导入到步骤4训练好的行为识别模型中，进行行为检测。
将构建人体三维拓扑图作为输入，利用时空图卷积提取其特征，通过加载步骤4中训练好的模型，即可以对此次输入进行一次行为识别。设定阈值为0.8，当行为检测网络判定为预定义的危险行为种类且置信度高于设定的阈值时，则判断此次行为为危险行为。
本发明的具体危险行为检测过程：深度传感器Kinect对人员连续采集骨架关节点位置信息，基于树的方式对这些坐标节点进行搜索，然后基于关节速度的可靠度和基于骨骼长度的可靠度对坐标点进行分类，当关节点被判定为错误的关节点时，利用卡尔曼滤波对错误节点重新进行预测，并使用骨骼长度的约束条件对预测后的关节点进行修正。将正确的关节点和优化后的错误节点构建人体三维时空拓扑图，然后加载行为检测模型进行行为检测，实现复杂环境下的车间人员危险行为检测。

Claims (7)

1.一种复杂环境下的车间人员危险行为检测方法，其特征在于，具体步骤如下：
步骤1，采集骨架关节点信息，并进行预处理；
步骤2，可靠度计算，对错误的骨架关节点进行重构；
步骤3，基于人体关节点数据构建人体三维时空拓扑图；
步骤4，对采集到的正确的关节点信息进行三维拓扑图进行神经网络训练，得到危险行为检测模型；
步骤5，将步骤3构造的人体三维时空拓扑图导入到步骤4训练好的行为识别模型中，进行行为检测。
2.根据权利要求1所述的复杂环境下的车间人员危险行为检测方法，其特征在于，步骤1的具体步骤包括：
步骤1.1，在车间关键工位布置深度视觉传感器(Kinect)，并采集车间现场的人员骨架关节点坐标信息；
定义关节点i的绝对坐标表示为(xi,yi,zi)，i＝1,2…25，人体包含25个骨架关节点；
步骤1.2，对所采集的数据集进行预处理操作；
(1)产品设备等非人骨架关节数据的的过滤
将误识别为人的物体的骨架数据去除，方法为：选择相邻帧之间25个节点坐标的平均位移值，计算方式如下式所示：
其中，定义关节点i在第t帧的绝对坐标为(xti,yti,zti)，K表示第t帧和t+1帧时25个节点坐标的平均位移值，设定阈值为0.01m，当K小于此值时，将此数据过滤。
(2)坐标的转换
将绝对坐标系中的三维骨架关节点坐标利用相对坐标系表示，为方便处理，选择臀中部(节点1)为相对坐标系原点，将所有关节点转换，具体方法如下式所示：
关节点i的绝对坐标系下的坐标(xi,yi,zi)经过转换获得相对坐标系的坐标(x'i,y'i,z'i)。
3.根据权利要求1所述的复杂环境下的车间人员危险行为检测方法，其特征在于，步骤2的具体步骤包括：
步骤2.1，依据步骤1.1获得的节点坐标信息，采取树的方式，对关节点进行搜索，检索出关键点；其中，左肩(节点5)、右肩(节点9)、左臀部(节点13)、右臀部(节点17)、颈部(节点3)作为根节点；
步骤2.2，可靠度计算，找出错误关节点；
步骤2.3，对错误的关键点，利用卡尔曼滤波进行错误关节点的重构。
4.根据权利要求1所述的复杂环境下的车间人员危险行为检测方法，其特征在于，步骤4的具体步骤包括：
步骤4.1，定义根据车间需求设计危险行为种类；
步骤4.2，依据步骤1.2获得的节点坐标信息进行预处理，设定获得的关节点信息都是正确的信息，然后依据步骤3的操作，对预处理后的关节位置数据构建人体三维拓扑图；
步骤4.3，利用步骤4.2中构造的人体三维拓扑图进行神经网络训练，得到危险行为检测模型；
将人体三维拓扑图送入时空图卷积网络中，该网络前面堆叠了9个时空图卷积模块网络前面堆叠了9个图卷积块，每一个图卷积块均进行空间图卷积和时间卷积，实现对行为特征的提取，第一层到第三层的输出通道数为64，第四层到第六层的输出通道数为128，第七层到第九层的输出通道数为256，然后在网络的后面添加一个全局的平均池化层，将所有的不同样本特征进行映射，并减少网络参数；最后通过归一化指数函数分类器进行分类结果的预测。
5.根据权利要求3所述的复杂环境下的车间人员危险行为检测方法，其特征在于，步骤2.2的可靠度计算包括两种形式：
(1)基于关节运动速度的可靠度计算；
设关节点i的在第t帧和第t+1帧的三维坐标(xti,yti,zti)，(x(t+1)i,y(t+1)i,z(t+1)i)，所以关节点的位移量S由下式计算：
因为Kinect的采集帧率为每秒30帧，因此每帧相隔的时间t为1/30秒，关节运动速度v由下式计算得到：
参考成年人正常的跑步速度为10km/h，我们将速度的阈值设置为12km/h，通过关节点速度计算后若发现某一关节点的速度超出阈值时，将这一时刻的对应关节点判定为异常的关节点数据，即需要对该关节点数据进行重构；
(2)基于骨骼长度的可靠度计算；
人体的骨骼相当于一个铰链机构，骨骼的长度在运动过程中应该是定值，利用两个相邻关节点的欧式距离来表示骨骼长度，如下式所示：
其中i和j表示的人体关节点的标号，骨骼的lenthi_j表示相邻关节点i和j的长度。
将人员的第一帧全部身体被Kinect深度传感器追踪时的各个骨骼点的距离作为参考长度；
定义与关节i相连的关节总数为Sjoint_num，与相连关节点之间线段为f，在帧t中线段f的长度与参考长度的差异比例df(t)由下式计算：
式中lf_std为线段f的参考长度，lf(t)为线段f在帧t中的实际长度。
关节点的基于骨骼长度的可靠度由与其所有相连关节线段与参考长度差异比例的平均值决定，如下式所示：
其中D(t)为衡量关节点i和与其相邻点之间骨骼长度的差异程度，本文设定连续帧之间的骨骼长度变化阈值为30％，若D(t)值大于阈值，则说明此帧骨架关节信息为异常数据，需要对该数据进行重构。
6.根据权利要求3所述的复杂环境下的车间人员危险行为检测方法，其特征在于，步骤2.3的具体步骤如下：
步骤2.3.1，定义错误的关节点位置(X1,Y1,Z1)，预测的关节点位置
步骤2.3.2，利用步骤2.2中获得的骨骼参考长度为约束条件对步骤2.3.1预测的关节点坐标进行调整；以错误节点为子节点，错误节点的上一节点为父节点(X2,Y2,Z2)，由于估计节点位置和其父节点之间的骨骼长度不变，参考基于骨骼长度的可靠度中两节点的骨骼长度ls_std，因此估计关节应该在以父节点位置(X2,Y2,Z2)为圆心，半径为lf_std的球面上，约束方程如下式所示：
(X2-X)2+(Y2-Y)2+(Z2-Z)2＝lf_std 2
步骤2.3.3，选择球面上与估计关节位置欧氏距离最近的点作为优化后估计关节位置/>
7.根据权利要求1所述的复杂环境下的车间人员危险行为检测方法，其特征在于，将步骤2中重构后的错误关节点以及原本正确的人体关节点串联拼接起来形成的人体三维骨架时空拓扑图；三维骨架时空拓扑图由关节点集和边集组成，如下式所示：
G＝(V,E)
其中，G是人体三维骨架时空拓扑图，V是相对坐标系下骨架关节点集数据集合，V＝{vti|t＝1,2,…,T,i＝1,2,…,N}，t表示骨架节点数据的第y帧，i表示关节点的序号(如表1所示)，N＝25，表示25个骨架关节点；而由骨架的空间边和时间边组成的边集E＝{ES,ET}，其中ES＝{vtivtj|(i,j)∈H}表示骨架图空间关节点自然相连的骨骼边，H为人体自然连接的关节点对集合，ET＝{vtiv(t+1)i}是第t帧与第t+1帧的同一骨架关节点连接的时间边，表示一个骨架关节点随时间改变而在空间上的动态位置变化。
CN202310634097.0A 2023-05-31 2023-05-31 一种复杂环境下的车间人员危险行为检测方法 Pending CN116682175A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310634097.0A CN116682175A (zh) 2023-05-31 2023-05-31 一种复杂环境下的车间人员危险行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310634097.0A CN116682175A (zh) 2023-05-31 2023-05-31 一种复杂环境下的车间人员危险行为检测方法

Publications (1)

Publication Number Publication Date
CN116682175A true CN116682175A (zh) 2023-09-01

Family

ID=87784795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310634097.0A Pending CN116682175A (zh) 2023-05-31 2023-05-31 一种复杂环境下的车间人员危险行为检测方法

Country Status (1)

Country Link
CN (1) CN116682175A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253171A (zh) * 2023-09-27 2023-12-19 智点恒创(苏州)智能科技有限公司 一种风险行为识别方法及***
CN117783793A (zh) * 2024-02-23 2024-03-29 泸州老窖股份有限公司 一种开关柜的故障监测方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253171A (zh) * 2023-09-27 2023-12-19 智点恒创(苏州)智能科技有限公司 一种风险行为识别方法及***
CN117253171B (zh) * 2023-09-27 2024-03-22 智点恒创(苏州)智能科技有限公司 一种风险行为识别方法及***
CN117783793A (zh) * 2024-02-23 2024-03-29 泸州老窖股份有限公司 一种开关柜的故障监测方法及***
CN117783793B (zh) * 2024-02-23 2024-05-07 泸州老窖股份有限公司 一种开关柜的故障监测方法及***

Similar Documents

Publication Publication Date Title
CN116682175A (zh) 一种复杂环境下的车间人员危险行为检测方法
CN107941537B (zh) 一种机械设备健康状态评估方法
CN110425005B (zh) 矿井下皮带运输人员人机交互行为安全监控与预警方法
Wu et al. A method of vehicle classification using models and neural networks
CN108509897A (zh) 一种人体姿态识别方法和***
CN107397658B (zh) 一种多尺度全卷积网络及视觉导盲方法和装置
CN112699771B (zh) 基于人体姿态预测的异常行为检测方法
JPH0285975A (ja) パターンデータ処理装置及びプロセス計測情報処理装置及び画像処理装置及び画像認識装置
CN114582030A (zh) 一种基于服务机器人的行为识别方法
CN115311241A (zh) 一种基于图像融合和特征增强的煤矿井下行人检测方法
CN113807951A (zh) 一种基于深度学习的交易数据趋势预测方法和***
CN108764541B (zh) 一种结合时空特征和误差处理的风能预测方法
CN112818942B (zh) 一种车辆行驶过程中行人动作识别方法和***
CN115879619A (zh) 一种变电站日前碳排放因子预测方法及***
CN117058855B (zh) 一种物联网云边通信方法
CN112817955B (zh) 基于回归模型的数据清洗方法
CN111380687B (zh) 基于多局部模型决策融合的工业电机轴承故障诊断方法
CN117612249A (zh) 一种基于改进OpenPose算法的井下矿工危险行为识别方法和装置
CN114580700B (zh) 一种基于语义贝叶斯网络的tvdi干旱指数预测方法
CN115862128A (zh) 一种基于人体骨架的顾客异常行为识别方法
CN114881150A (zh) 一种基于多位置传感器特征融合的行为识别***及其方法
CN114067360A (zh) 一种行人属性检测方法及装置
CN114936203B (zh) 基于时序数据和业务数据融合分析的方法
CN111369383B (zh) 一种用于电线电缆生产的智能集成管理***
Ren et al. A fall detection method in elevators based on Graph Convolutional Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination