CN112084878A - 一种用于判别作业人员姿态规范程度的方法 - Google Patents

一种用于判别作业人员姿态规范程度的方法 Download PDF

Info

Publication number
CN112084878A
CN112084878A CN202010815977.4A CN202010815977A CN112084878A CN 112084878 A CN112084878 A CN 112084878A CN 202010815977 A CN202010815977 A CN 202010815977A CN 112084878 A CN112084878 A CN 112084878A
Authority
CN
China
Prior art keywords
convolution
included angle
pooling
network
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010815977.4A
Other languages
English (en)
Other versions
CN112084878B (zh
Inventor
张烨
樊一超
陈威慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010815977.4A priority Critical patent/CN112084878B/zh
Publication of CN112084878A publication Critical patent/CN112084878A/zh
Application granted granted Critical
Publication of CN112084878B publication Critical patent/CN112084878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种用于判别作业人员姿态规范程度的方法，首先，构建人体姿态特征提取网络并设计网络参数，用于提取人体姿态特征图；其次，将所得人体姿态特征图输入到并行网络结构中，得到人体骨骼关键点，并将人体骨骼关键点进行连接使其成为人体主要躯干；然后，利用反余弦函数，根据关键点坐标求得主要相邻躯干间的夹角；最后，将求得的主要相邻躯干间的夹角与预先设定的夹角阈值进行比较，从而判断其夹角是否在规定阈值范围内，进而判别作业人员姿态是否规范。本发明针对作业人员在制造过程中的操作规范性、作业疲劳度、罹患职业性疾病等问题提供了一种用于判别作业人员姿态规范程度的方法。

Description

一种用于判别作业人员姿态规范程度的方法
技术领域
本发明涉及一种用于判别作业人员姿态规范程度的方法。
技术背景
制造业作为我国国民经济的重要产业，是我国经济发展的强大后盾，随着“中国制造2025”的提出，我国制造业在自主创新能力、结构产业、信息化程度和质量效能等方面均有很大的突破，更是兴起了“互联网+制造业”的发展模式。虽然现如今信息化和智能化已经成为制造业的主导方向，但是对制造过程中作业人员动作和行为的分析依然是十分重要的，由于“人”的不确定性因素或将直接导致其与机器、环境的配合能力下降，从而对整个生产节拍造成影响。为了使整个生产***得以高质量、高效能运行，同时保障员工在良好的状态下进行作业，则对作业人员的姿态分析显得尤为重要。
判别作业人员姿态规范程度主要有三个方面的目的。其一，提高作业人员在制造过程中的规范性，虽然对于正规的制造业来讲，在员工上岗前都会进行岗位操作及安全培训，但当上岗一段时间后，部分员工已对自己的工作内容比较熟练，从而按照其比较熟练的方式来进行作业，甚至擅自改变流程顺序或者省略部分流程，从而给生产效率和质量带来很大的波动性；其二，了解作业人员的疲劳程度，对于大多数密集型加工企业来讲，均采用计件制的方式给予员工薪酬，这就意味着作业人员工作量越多收益越高，甚至有些员工为了获得更好的收益，超出了自身工作负荷，所以制定一个合理的方法用于判别作业人员姿态规范程度可以对疲劳操作进行有效的预警；其三，由于长时间的不规范操作极易导致作业人员罹患职业性疾病，为了保证员工身体状况及避免由员工患病所导致长久请假带来的经济损失，则关注作业人员的姿态规范程度迫在眉睫。
发明内容
为了克服现有技术的上述不足，本发明针对作业人员在制造过程中的操作规范性、作业疲劳度、罹患职业性疾病等问题提供了一种用于判别作业人员姿态规范程度的方法。
首先，构建人体姿态特征提取网络并设计网络参数，用于提取人体姿态特征图；其次，将所得人体姿态特征图输入到并行网络结构中，得到人体骨骼关键点，并将人体骨骼关键点进行连接使其成为人体主要躯干；然后，利用反余弦函数，根据关键点坐标求得主要相邻躯干间的夹角；最后，将求得的主要相邻躯干间的夹角与预先设定的夹角阈值进行比较，从而判断其夹角是否在规定阈值范围内，进而判别作业人员姿态是否规范。
为实现上述目的，本发明采用以下技术方案：
一种用于判别作业人员姿态规范程度的方法，包括如下步骤：
步骤一，构建人体姿态特征提取网络，并对其网络结构参数进行设计；
本发明使用截断的VGG-16网络和额外的卷积层来构建人体姿态特征提取网络。当输入一副尺寸大小为w*h的图像时，经过该网络的分析处理，生成一个多尺度的特征图F。
本发明构建的人体姿态特征提取网络结构设计如下：
(1)输入层：分辨率为w*h像素大小的多人视频帧RGB三通道图像；
(2)截断的VGG-16网络结构：该结构一共包含4组卷积和池化操作，其中包括10个卷积层和3个池化层。第一组：Conv1_1、Conv1_2、Pool1；第二组：Conv2_1、Conv2_2、Pool2；第三组：Conv3_1、Conv3_2、Conv3_3、Pool3；第四组：Conv4_1、Conv4_2、Conv4_3。其中，在Conv4_3后又连接了附加的卷积层。
(3)额外的卷积层：在截断的VGG-16网络之后，本网络连接了两个附加的卷积层，即Conv4_4、Conv4_5。为了输出多维特征图，所设计的人体姿态特征提取网络在其附加的卷积层之后增加了一个池化操作，即Pool4。
对于每一层网络具体的参数设计，本发明将从卷积层和池化层的核结构、操作步长及操作方式入手。其网络具体参数设计如下：
(S1)在第一组卷积和池化操作中，有两个卷积分层和一个池化层。其中，Conv1_1和Conv1_2中卷积核大小均为3*3，卷积通道均为64，卷积步长均为1；Pool1中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作。在第一组操作中，最终得到的特征图大小为
Figure BDA0002632696350000021
(S2)在第二组卷积和池化操作中，有两个卷积分层和一个池化层。其中，Conv2_1和Conv2_2中卷积核大小均为3*3，卷积通道均为128，卷积步长均为1；Pool2中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作。在第二组操作中，最终得到的特征图大小为
Figure BDA0002632696350000022
(S3)在第三组卷积和池化操作中，有三个卷积分层和一个池化层。其中，Conv3_1、Conv3_2及Conv3_3中卷积核大小均为3*3，卷积通道均为256，卷积步长均为1；Pool3中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作。在第三组操作中，最终得到的特征图大小为
Figure BDA0002632696350000023
(S4)在第四组卷积操作中，有三个卷积分层，即Conv4_1、Conv4_2、Conv4_3。其中，每个卷积分层中卷积核大小均为3*3，卷积通道均为512，卷积步长均为1。此操作过程中由于没有经过池化操作，故其特征图像素保持不变，最终得到的特征图大小为
Figure BDA0002632696350000024
(S5)在额外的卷积层中，共有两个卷积分层组成，即Conv4_4和Conv4_5。其中，每个卷积分层中卷积核大小均为3*3，卷积步长均为1，卷积通道分别为256和128。为了得到固定维度的特征图，最后在Conv4_5之后增加一个池化层Pool4，其池化核大小为3*3，滑动步长为1，池化方式为平均池化，最终得到的特征图为
Figure BDA0002632696350000025
(S6)在人体姿态特征提取网络中，关于全部卷积层后连接的激活函数，本发明使用的均为ReLu激活函数：
ReLu(x)＝max(0,x) (1)
步骤二，构建并行网络结构，识别骨骼关键点并将相邻关键点连接成为人体主要躯干；
将步骤一中得到的人体姿态特征图输入到该步骤所设计的并行网络结构中，将输出人体骨骼关键点和相应的主要躯干；
该并行网络结构分为上下两个分支，各分支都是一个迭代预测的体系结构。第一个分支用于估计人体骨骼关键点，主要是对单张图像进行卷积操作生成关键点的置信图集合，其表示为S＝(S1,S2,S3,...,SJ)；第二个分支用于分析像素点在骨架中的走向，即预测关键点的亲和场集合，其表示为L＝(L1,L2,L3,...,LC)。其中，J表示骨骼关键点总个数，C表示连接关键点的躯干的数量。
该并行网络共包含T个阶段，其中第一阶段为初始化阶段卷积网络，其余阶段为细化阶段卷积网络，每两个阶段之间通过加入中间监督来解决梯度消失问题。其结构设计如下：
1)初始化阶段卷积网络：每个分支均由五个卷积层构成，其中前三层的卷积核大小为3*3，卷积步长为1，通道个数为128；第四层的卷积核大小为1*1，卷积步长为1，通道个数为512；第五层的卷积核大小为1*1，卷积步长为1，通道个数为13。
2)细化阶段卷积网络：每个分支均由七个卷积层构成，其中前五层的卷积核大小为7*7，卷机步长为1，通道个数为128；后两层的卷积核大小为1*1，卷积步长为1，通道个数为128。
将所得特征图F输入初始阶段卷积网络来对骨骼关键点和相关躯干进行初始估计，然后执行细化阶段的卷积网络，找到所标记的13种类型的关键点和每个关键点的最佳对应躯干。
该并行网络结构中所应用到的函数设计如下：
(Q1)在初始化卷积网络阶段中，输出一组骨骼关键点置信度图和骨架走向矢量集合，其分别表示为下式：
S1＝ρ1(F) (2)
L1＝φ1(F) (3)
其中，ρ1(·)和φ1(·)表示初始阶段卷积网络结构，F表示步骤一网络所输出的特征。在后续的细化阶段卷积网络中，将上一阶段的输出结果和特征F相加作为下一阶段的输入，则在第t阶段的骨骼关键点置信度图St和骨架走向矢量集合Lt分别表示为下式：
St＝ρt(St-1,Lt-1,F) (4)
Lt＝φt(St-1,Lt-1,F) (5)
(Q2)为了使得并行网络在各阶段的不同分支上能够预测各自的任务，须对每个分支设置其损失函数，则将第t阶段用于估计人体骨骼关键点分支的损失函数表示为
Figure BDA0002632696350000036
用于分析像素点在骨架中的走向分支的损失函数表示为
Figure BDA0002632696350000031
其具体公式用L2范式表示如下：
Figure BDA0002632696350000032
Figure BDA0002632696350000033
其中，
Figure BDA0002632696350000034
表示标定好的j个真实关键点的置信图；
Figure BDA0002632696350000035
表示标定好的c个真实的骨架走向，即部分亲和场；W(·)是一个布尔值，当图像中p点位置的标注数据缺失时，其值为0，否则为1。
在整个并行网络结构中(共T阶段)，总的损失函数表示为：
Figure BDA0002632696350000041
(Q3)计算损失函数
Figure BDA0002632696350000042
中每个真实关键点的置信图
Figure BDA0002632696350000043
当单幅图像中有k个人，每个人有j个可见关键点时，则每张置信图均有j个峰值。将特征图F传输至并行网络结构中进行关键点检测，会预测出一批关键点置信图，将预测所得的关键点Xj,k和真实的关键点p点经过下式计算可以得到矫正后的关键点：
Figure BDA0002632696350000044
其中，σ表示峰值蔓延程度；p和Xj,k分别表示真实关键点和并行网络预测关键点的坐标。
将求得的
Figure BDA0002632696350000045
集合通过非极大值抑制来获得最终输出的预测置信图，具体公式如下所示：
Figure BDA0002632696350000046
(Q4)计算损失函数
Figure BDA0002632696350000047
中真实的骨架走向
Figure BDA0002632696350000048
所谓骨架走向即是指两个关键点所连接的二维向量(躯干)。
对于第k个人骨骼关键点连接方式而言，通过并行网络预测出两个关键点j1和j2的坐标值Xj1,k及Xj2,k，则由这两个关键点组成的一个骨架走向C表示为向量
Figure BDA0002632696350000049
当点p在此骨架上时，只有从点j1指向点j2时，向量
Figure BDA00026326963500000410
才为单位向量，否则为零向量，其判别公式如下所示：
Figure BDA00026326963500000411
Figure BDA00026326963500000412
骨架走向C上的点p满足下式约束：
0≤v*(p-xj1,k)≤lc,k&|v⊥*(p-xj1,k)|≤σl (13)
lc,k＝||xj2,k-xj1,k||2 (14)
其中，lc,k表示第k个人骨架走向C的长度；v⊥表示垂直于单位向量的矢量，σl表示骨架宽度。如若多个骨架C重合时，则需要利用下式求平均值：
Figure BDA00026326963500000413
其中，nc(p)表示不为零向量的
Figure BDA00026326963500000414
的个数。
(Q5)通过两个关键点匹配最佳人体骨干连接方式。
对于单人而言，在预测过程中，通过计算Xj1,k及Xj2,k两点之间的亲和域来判别所预测两点是否属于同一个人，具体的计算公式如下所示：
Figure BDA0002632696350000051
其中，dj1和dj2分别表示Xj1,k及Xj2,k两点所对应的像素点。
当单幅图像中存在k个人时，可利用上式(10)预测出一组离散的关键点集合，但对于这些关键点而言，存在很多连接方式，但并不是所有连接方式均来自同一个人，也就意味着虽然将两个关键点进行了连接，但其并没有组成人体躯干，所以无法用公式(16)来预测。为此，通过下式来匹配关键点，从而形成人体躯干：
Figure BDA0002632696350000052
其中，Dj1和Dj2分别表示所预测关键点j1和j2的坐标集合，其可以表示为
Figure BDA0002632696350000053
j∈{1,2,...,J}&m∈{1,2,...,Nj}，Nj代表关键点j的个数；
Figure BDA0002632696350000054
表示两个预测关键点
Figure BDA0002632696350000055
和
Figure BDA0002632696350000056
是否可以连接，Emn表示权重，可以由公式(16)求得。
最终通过公式(17)计算得到人体骨骼连接的最佳匹配方案。
步骤三，利用反余弦函数计算主要躯干之间的夹角；
根据步骤二所设计的并行网络结构可以求得13个人体关键点最佳坐标，即鼻子(x1,y1)、脖子(x2,y2)、右肩(x3,y3)、右肘(x4,y4)、右手腕(x5,y5)、左肩(x6,y6)、左肘(x7,y7)、左手腕(x8,y8)、臀部(x9,y9)、右膝(x10,y10)、右脚裸(x11,y11)、左膝(x12,y12)、左脚裸(x13,y13)；同时得到12个人体躯干，包括鼻子与脖子连接的颈部躯干、脖子与右肩连接的右膀躯干、右肩与右肘连接的右大臂躯干、右肘与右手腕连接的右小臂躯干、脖子与左肩连接的左膀躯干、左肩与左肘连接的左大臂躯干、左肘与左手腕连接的左小臂躯干、脖子与臀部连接的上肢躯干、臀部与右膝连接的右大腿躯干、右膝与右脚裸连接的右小腿躯干、臀部与左膝连接的左大腿躯干、左膝与左脚裸连接的左小腿躯干。
为了在最大程度上反应作业人员姿态规范程度，本步骤选择的主要躯干之间的夹角有6个，即颈部与上肢之间的夹角θ1、右大臂与右小臂之间的夹角θ2、左大臂与左小臂之间的夹角θ3、上肢与大腿之间的夹角θ4、右大腿与右小腿之间的夹角θ5及左大腿与左小腿之间的夹角θ6。
(P1)计算颈部与上肢之间的夹角来判别作业状态下头部的下垂程度。根据步骤二预测得到鼻子、颈部和臀部三点的坐标，然后利用反余弦函数求得此夹角θ1的大小，具体的计算公式如下所示：
Figure BDA0002632696350000061
(P2)计算右大臂与右小臂之间的夹角来判别作业状态下右臂的弯曲程度。根据步骤二预测得到右肩、右肘和右手腕三点的坐标，然后利用反余弦函数求得此夹角θ2的大小，具体的计算公式如下所示：
Figure BDA0002632696350000062
(P3)计算左大臂与左小臂之间的夹角来判别作业状态下左臂的弯曲程度。根据步骤二预测得到左肩、左肘和左手腕三点的坐标，然后利用反余弦函数求得此夹角θ3的大小，具体的计算公式如下所示：
Figure BDA0002632696350000063
(P4)计算上肢与大腿之间的夹角来判别作业状态下腰部的弯曲程度。根据步骤二预测得到脖子、臀部、左膝和右膝四点的坐标，然后求得左膝和右膝的中点坐标作为两膝重心，随后利用反余弦函数求得此夹角θ4的大小；
两膝重心坐标记为(x14,y14)，表示为下式：
Figure BDA0002632696350000064
则：
Figure BDA0002632696350000065
(P5)计算右大腿与右小腿之间的夹角来判别作业状态下右腿的弯曲程度。根据步骤二预测得到臀部、右膝和右脚裸三点的坐标，然后利用反余弦函数求得此夹角θ5的大小，具体的计算公式如下所示：
Figure BDA0002632696350000066
(P6)计算左大腿与左小腿之间的夹角来判别作业状态下左腿的弯曲程度。根据步骤二预测得到臀部、左膝和左脚裸三点的坐标，然后利用反余弦函数求得此夹角θ6的大小，具体的计算公式如下所示：
Figure BDA0002632696350000067
(P7)预先设定本步骤所提出的6个夹角的阈值，即设置颈部与上肢之间的夹角阈值为T1、右大臂与右小臂之间的夹角阈值为T2、左大臂与左小臂之间的夹角阈值为T3、上肢与大腿之间的夹角阈值为T4、右大腿与右小腿之间的夹角阈值为T5及左大腿与左小腿之间的夹角阈值为T6。然后将利用反余弦函数求得的夹角与对应夹角的阈值进行比较，如若对应夹角在其阈值范围内，则认为作业人员该操作姿态较规范，否则认为其不按规范操作。
优选地，步骤P7中对于T1的设置：当T1∈(150°,180°]时，认定为平视操作；当T1∈(120°,150°]时，认定为俯视(低头)操作；当T1∈(90°,120°]时，认定为疲劳操作；头部下垂程度(T1)需根据所属作业要求进行合理设定。
优选地，步骤P7中对于T2和T3的设置：当T2,3∈(120°,180°]时，认定为手臂轻度弯曲操作；当T2,3∈(60°,120°]时，认定为手臂中度弯曲操作；当T2,3∈(0°,60°]时，认定为手臂重度弯曲操作；手臂弯曲程度(T2和T3)需根据所属作业要求进行合理设定。
优选地，步骤P7中对于T4的设置：当T4∈(170°,180°]时，认定为直立操作；当T4∈(120°,170°]时，认定为轻度弯腰操作；当T4∈(60°,120°]时，认定为中度弯腰或坐立操作，是否为坐立操作将根据T5和T6的设置进一步判断；当T4∈(0°,60°]时，认定为在地面上所进行的复杂且短暂的操作或下蹲操作，是否为下蹲操作将根据T5和T6的设置进一步判断；腰部弯曲程度(T4)需根据所属作业要求进行合理设定。
优选地，步骤P7中对于T5和T6的设置：当T5,6∈(170°,180°]时，认定为直立操作；当T5,6∈(60°,120°]时，认定为坐立操作；当T5,6∈(0°,30°]时，认定为下蹲操作；否则认定其为不规范操作；腿部弯曲程度(T5和T6)需根据所属作业要求进行合理设定。
本发明的优点是：
本发明针对作业人员在制造过程中的操作规范性、作业疲劳度、罹患职业性疾病等问题提供了一种用于判别作业人员姿态规范程度的方法。首先通过设计卷积神经网络求得人体姿态特征图；然后将其传输至本发明所设计的并行网络结构中获得人体骨骼关键点坐标和人体主要躯干；随后利用反余弦函数，根据关键点坐标求得主要相邻躯干间的夹角；最后，将求得的主要相邻躯干间的夹角与预先设定的夹角阈值进行比较，进而判别作业人员姿态是否规范。因此，本发明在制造过程中对作业人员的姿态规范程度检测与判别优于传统的观察和监视等方法，能够很好的解决员工操作规范性、作业疲劳度等问题，具有一定的实用价值和应用前景。
附图说明
图1是本发明的人体姿态特征提取网络结构图；
图2是本发明的骨骼关键点检测和躯干连接并行网络结构图；
图3是本发明所设计并行网络结构中单人骨骼关键点连接方式；
图4是本发明选取的人体主要骨骼关键点示意图；
图5是本发明的流程图。
具体实施方式
为了克服现有技术的上述不足，本发明针对作业人员在制造过程中的操作规范性、作业疲劳度、罹患职业性疾病等问题提供了一种用于判别作业人员姿态规范程度的方法。首先，构建人体姿态特征提取网络并设计网络参数，用于提取人体姿态特征图；其次，将所得人体姿态特征图输入到并行网络结构中，得到人体骨骼关键点，并将人体骨骼关键点进行连接使其成为人体主要躯干；然后，利用反余弦函数，根据关键点坐标求得主要相邻躯干间的夹角；最后，将求得的主要相邻躯干间的夹角与预先设定的夹角阈值进行比较，从而判断其夹角是否在规定阈值范围内，进而判别作业人员姿态是否规范。
为实现上述目的，本发明采用以下技术方案：
一种用于判别作业人员姿态规范程度的方法，包括如下步骤：
步骤一，构建人体姿态特征提取网络，并对其网络结构参数进行设计；
本发明使用截断的VGG-16网络和额外的卷积层来构建人体姿态特征提取网络。当输入一副尺寸大小为w*h的图像时，经过该网络的分析处理，生成一个多尺度的特征图F。
本发明构建的人体姿态特征提取网络结构设计如下：
(1)输入层：分辨率为w*h像素大小的多人视频帧RGB三通道图像；
(2)截断的VGG-16网络结构：该结构一共包含4组卷积和池化操作，其中包括10个卷积层和3个池化层。第一组：Conv1_1、Conv1_2、Pool1；第二组：Conv2_1、Conv2_2、Pool2；第三组：Conv3_1、Conv3_2、Conv3_3、Pool3；第四组：Conv4_1、Conv4_2、Conv4_3。其中，在Conv4_3后又连接了附加的卷积层。
(3)额外的卷积层：在截断的VGG-16网络之后，本网络连接了两个附加的卷积层，即Conv4_4、Conv4_5。为了输出多维特征图，所设计的人体姿态特征提取网络在其附加的卷积层之后增加了一个池化操作，即Pool4。
对于每一层网络具体的参数设计，本发明将从卷积层和池化层的核结构、操作步长及操作方式入手。其网络具体参数设计如下：
(S1)在第一组卷积和池化操作中，有两个卷积分层和一个池化层。其中，Conv1_1和Conv1_2中卷积核大小均为3*3，卷积通道均为64，卷积步长均为1；Pool1中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作。在第一组操作中，最终得到的特征图大小为
Figure BDA0002632696350000081
(S2)在第二组卷积和池化操作中，有两个卷积分层和一个池化层。其中，Conv2_1和Conv2_2中卷积核大小均为3*3，卷积通道均为128，卷积步长均为1；Pool2中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作。在第二组操作中，最终得到的特征图大小为
Figure BDA0002632696350000082
(S3)在第三组卷积和池化操作中，有三个卷积分层和一个池化层。其中，Conv3_1、Conv3_2及Conv3_3中卷积核大小均为3*3，卷积通道均为256，卷积步长均为1；Pool3中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作。在第三组操作中，最终得到的特征图大小为
Figure BDA0002632696350000083
(S4)在第四组卷积操作中，有三个卷积分层，即Conv4_1、Conv4_2、Conv4_3。其中，每个卷积分层中卷积核大小均为3*3，卷积通道均为512，卷积步长均为1。此操作过程中由于没有经过池化操作，故其特征图像素保持不变，最终得到的特征图大小为
Figure BDA0002632696350000091
(S5)在额外的卷积层中，共有两个卷积分层组成，即Conv4_4和Conv4_5。其中，每个卷积分层中卷积核大小均为3*3，卷积步长均为1，卷积通道分别为256和128。为了得到固定维度的特征图，最后在Conv4_5之后增加一个池化层Pool4，其池化核大小为3*3，滑动步长为1，池化方式为平均池化，最终得到的特征图为
Figure BDA0002632696350000092
(S6)在人体姿态特征提取网络中，关于全部卷积层后连接的激活函数，本发明使用的均为ReLu激活函数：
ReLu(x)＝max(0,x) (1)
步骤二，构建并行网络结构，识别骨骼关键点并将相邻关键点连接成为人体主要躯干；
将步骤一中得到的人体姿态特征图输入到该步骤所设计的并行网络结构中，将输出人体骨骼关键点和相应的主要躯干；
该并行网络结构分为上下两个分支，各分支都是一个迭代预测的体系结构。第一个分支用于估计人体骨骼关键点，主要是对单张图像进行卷积操作生成关键点的置信图集合，其表示为S＝(S1,S2,S3,...,SJ)；第二个分支用于分析像素点在骨架中的走向，即预测关键点的亲和场集合，其表示为L＝(L1,L2,L3,...,LC)。其中，J表示骨骼关键点总个数，C表示连接关键点的躯干的数量。
该并行网络共包含T个阶段，其中第一阶段为初始化阶段卷积网络，其余阶段为细化阶段卷积网络，每两个阶段之间通过加入中间监督来解决梯度消失问题。其结构设计如下：
1)初始化阶段卷积网络：每个分支均由五个卷积层构成，其中前三层的卷积核大小为3*3，卷积步长为1，通道个数为128；第四层的卷积核大小为1*1，卷积步长为1，通道个数为512；第五层的卷积核大小为1*1，卷积步长为1，通道个数为13。
2)细化阶段卷积网络：每个分支均由七个卷积层构成，其中前五层的卷积核大小为7*7，卷机步长为1，通道个数为128；后两层的卷积核大小为1*1，卷积步长为1，通道个数为128。
将所得特征图F输入初始阶段卷积网络来对骨骼关键点和相关躯干进行初始估计，然后执行细化阶段的卷积网络，找到所标记的13种类型的关键点和每个关键点的最佳对应躯干。
该并行网络结构中所应用到的函数设计如下：
(Q1)在初始化卷积网络阶段中，输出一组骨骼关键点置信度图和骨架走向矢量集合，其分别表示为下式：
S1＝ρ1(F) (2)
L1＝φ1(F) (3)
其中，ρ1(·)和φ1(·)表示初始阶段卷积网络结构，F表示步骤一网络所输出的特征。在后续的细化阶段卷积网络中，将上一阶段的输出结果和特征F相加作为下一阶段的输入，则在第t阶段的骨骼关键点置信度图St和骨架走向矢量集合Lt分别表示为下式：
St＝ρt(St-1,Lt-1,F) (4)
Lt＝φt(St-1,Lt-1,F) (5)
(Q2)为了使得并行网络在各阶段的不同分支上能够预测各自的任务，须对每个分支设置其损失函数，则将第t阶段用于估计人体骨骼关键点分支的损失函数表示为
Figure BDA0002632696350000101
用于分析像素点在骨架中的走向分支的损失函数表示为
Figure BDA0002632696350000102
其具体公式用L2范式表示如下：
Figure BDA0002632696350000103
Figure BDA0002632696350000104
其中，
Figure BDA0002632696350000105
表示标定好的j个真实关键点的置信图；
Figure BDA0002632696350000106
表示标定好的c个真实的骨架走向，即部分亲和场；W(·)是一个布尔值，当图像中p点位置的标注数据缺失时，其值为0，否则为1。
在整个并行网络结构中(共T阶段)，总的损失函数表示为：
Figure BDA0002632696350000107
(Q3)计算损失函数
Figure BDA0002632696350000108
中每个真实关键点的置信图
Figure BDA0002632696350000109
当单幅图像中有k个人，每个人有j个可见关键点时，则每张置信图均有j个峰值。将特征图F传输至并行网络结构中进行关键点检测，会预测出一批关键点置信图，将预测所得的关键点Xj,k和真实的关键点p点经过下式计算可以得到矫正后的关键点：
Figure BDA00026326963500001010
其中，σ表示峰值蔓延程度；p和Xj,k分别表示真实关键点和并行网络预测关键点的坐标。
将求得的
Figure BDA00026326963500001011
集合通过非极大值抑制来获得最终输出的预测置信图，具体公式如下所示：
Figure BDA00026326963500001012
(Q4)计算损失函数
Figure BDA00026326963500001013
中真实的骨架走向
Figure BDA00026326963500001014
所谓骨架走向即是指两个关键点所连接的二维向量(躯干)。
对于第k个人骨骼关键点连接方式而言，通过并行网络预测出两个关键点j1和j2的坐标值Xj1,k及Xj2,k，则由这两个关键点组成的一个骨架走向C表示为向量
Figure BDA00026326963500001015
当点p在此骨架上时，只有从点j1指向点j2时，向量
Figure BDA00026326963500001016
才为单位向量，否则为零向量，其判别公式如下所示：
Figure BDA00026326963500001017
Figure BDA00026326963500001018
骨架走向C上的点p满足下式约束：
0≤v*(p-xj1,k)≤lc,k&|v⊥*(p-xj1,k)|≤σl (13)
lc,k＝||xj2,k-xj1,k||2 (14)
其中，lc,k表示第k个人骨架走向C的长度；v⊥表示垂直于单位向量的矢量，σl表示骨架宽度。如若多个骨架C重合时，则需要利用下式求平均值：
Figure BDA0002632696350000111
其中，nc(p)表示不为零向量的
Figure BDA0002632696350000112
的个数。
(Q5)通过两个关键点匹配最佳人体骨干连接方式。
对于单人而言，在预测过程中，通过计算Xj1,k及Xj2,k两点之间的亲和域来判别所预测两点是否属于同一个人，具体的计算公式如下所示：
Figure BDA0002632696350000113
其中，dj1和dj2分别表示Xj1,k及Xj2,k两点所对应的像素点。
当单幅图像中存在k个人时，可利用上式(10)预测出一组离散的关键点集合，但对于这些关键点而言，存在很多连接方式，但并不是所有连接方式均来自同一个人，也就意味着虽然将两个关键点进行了连接，但其并没有组成人体躯干，所以无法用公式(16)来预测。为此，通过下式来匹配关键点，从而形成人体躯干：
Figure BDA0002632696350000114
其中，Dj1和Dj2分别表示所预测关键点j1和j2的坐标集合，其可以表示为
Figure BDA0002632696350000115
j∈{1,2,...,J}&m∈{1,2,...,Nj}，Nj代表关键点j的个数；
Figure BDA0002632696350000116
表示两个预测关键点
Figure BDA0002632696350000117
和
Figure BDA0002632696350000118
是否可以连接，Emn表示权重，可以由公式(16)求得。
最终通过公式(17)计算得到人体骨骼连接的最佳匹配方案。
步骤三，利用反余弦函数计算主要躯干之间的夹角；
根据步骤二所设计的并行网络结构可以求得13个人体关键点最佳坐标，即鼻子(x1,y1)、脖子(x2,y2)、右肩(x3,y3)、右肘(x4,y4)、右手腕(x5,y5)、左肩(x6,y6)、左肘(x7,y7)、左手腕(x8,y8)、臀部(x9,y9)、右膝(x10,y10)、右脚裸(x11,y11)、左膝(x12,y12)、左脚裸(x13,y13)；同时得到12个人体躯干，包括鼻子与脖子连接的颈部躯干、脖子与右肩连接的右膀躯干、右肩与右肘连接的右大臂躯干、右肘与右手腕连接的右小臂躯干、脖子与左肩连接的左膀躯干、左肩与左肘连接的左大臂躯干、左肘与左手腕连接的左小臂躯干、脖子与臀部连接的上肢躯干、臀部与右膝连接的右大腿躯干、右膝与右脚裸连接的右小腿躯干、臀部与左膝连接的左大腿躯干、左膝与左脚裸连接的左小腿躯干。
为了在最大程度上反应作业人员姿态规范程度，本步骤选择的主要躯干之间的夹角有6个，即颈部与上肢之间的夹角θ1、右大臂与右小臂之间的夹角θ2、左大臂与左小臂之间的夹角θ3、上肢与大腿之间的夹角θ4、右大腿与右小腿之间的夹角θ5及左大腿与左小腿之间的夹角θ6。
(P1)计算颈部与上肢之间的夹角来判别作业状态下头部的下垂程度。根据步骤二预测得到鼻子、颈部和臀部三点的坐标，然后利用反余弦函数求得此夹角θ1的大小，具体的计算公式如下所示：
Figure BDA0002632696350000121
(P2)计算右大臂与右小臂之间的夹角来判别作业状态下右臂的弯曲程度。根据步骤二预测得到右肩、右肘和右手腕三点的坐标，然后利用反余弦函数求得此夹角θ2的大小，具体的计算公式如下所示：
Figure BDA0002632696350000122
(P3)计算左大臂与左小臂之间的夹角来判别作业状态下左臂的弯曲程度。根据步骤二预测得到左肩、左肘和左手腕三点的坐标，然后利用反余弦函数求得此夹角θ3的大小，具体的计算公式如下所示：
Figure BDA0002632696350000123
(P4)计算上肢与大腿之间的夹角来判别作业状态下腰部的弯曲程度。根据步骤二预测得到脖子、臀部、左膝和右膝四点的坐标，然后求得左膝和右膝的中点坐标作为两膝重心，随后利用反余弦函数求得此夹角θ4的大小；
两膝重心坐标记为(x14,y14)，表示为下式：
Figure BDA0002632696350000124
则：
Figure BDA0002632696350000125
(P5)计算右大腿与右小腿之间的夹角来判别作业状态下右腿的弯曲程度。根据步骤二预测得到臀部、右膝和右脚裸三点的坐标，然后利用反余弦函数求得此夹角θ5的大小，具体的计算公式如下所示：
Figure BDA0002632696350000131
(P6)计算左大腿与左小腿之间的夹角来判别作业状态下左腿的弯曲程度。根据步骤二预测得到臀部、左膝和左脚裸三点的坐标，然后利用反余弦函数求得此夹角θ6的大小，具体的计算公式如下所示：
Figure BDA0002632696350000132
(P7)预先设定本步骤所提出的6个夹角的阈值，即设置颈部与上肢之间的夹角阈值为T1、右大臂与右小臂之间的夹角阈值为T2、左大臂与左小臂之间的夹角阈值为T3、上肢与大腿之间的夹角阈值为T4、右大腿与右小腿之间的夹角阈值为T5及左大腿与左小腿之间的夹角阈值为T6。然后将利用反余弦函数求得的夹角与对应夹角的阈值进行比较，如若对应夹角在其阈值范围内，则认为作业人员该操作姿态较规范，否则认为其不按规范操作。
步骤P7中对于T1的设置：当T1∈(150°,180°]时，认定为平视操作；当T1∈(120°,150°]时，认定为俯视(低头)操作；当T1∈(90°,120°]时，认定为疲劳操作；头部下垂程度(T1)需根据所属作业要求进行合理设定。
步骤P7中对于T2和T3的设置：当T2,3∈(120°,180°]时，认定为手臂轻度弯曲操作；当T2,3∈(60°,120°]时，认定为手臂中度弯曲操作；当T2,3∈(0°,60°]时，认定为手臂重度弯曲操作；手臂弯曲程度(T2和T3)需根据所属作业要求进行合理设定。
步骤P7中对于T4的设置：当T4∈(170°,180°]时，认定为直立操作；当T4∈(120°,170°]时，认定为轻度弯腰操作；当T4∈(60°,120°]时，认定为中度弯腰或坐立操作，是否为坐立操作将根据T5和T6的设置进一步判断；当T4∈(0°,60°]时，认定为在地面上所进行的复杂且短暂的操作或下蹲操作，是否为下蹲操作将根据T5和T6的设置进一步判断；腰部弯曲程度(T4)需根据所属作业要求进行合理设定。
步骤P7中对于T5和T6的设置：当T5,6∈(170°,180°]时，认定为直立操作；当T5,6∈(60°,120°]时，认定为坐立操作；当T5,6∈(0°,30°]时，认定为下蹲操作；否则认定其为不规范操作；腿部弯曲程度(T5和T6)需根据所属作业要求进行合理设定。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (5)

1.一种用于判别作业人员姿态规范程度的方法，包括如下步骤：
步骤一，构建人体姿态特征提取网络，并对其网络结构参数进行设计；
使用截断的VGG-16网络和额外的卷积层来构建人体姿态特征提取网络；当输入一副尺寸大小为w*h的图像时，经过该网络的分析处理，生成一个多尺度的特征图F；
所构建的人体姿态特征提取网络结构设计如下：
(1)输入层：分辨率为w*h像素大小的多人视频帧RGB三通道图像；
(2)截断的VGG-16网络结构：该结构一共包含4组卷积和池化操作，其中包括10个卷积层和3个池化层；第一组：Conv1_1、Conv1_2、Pool1；第二组：Conv2_1、Conv2_2、Pool2；第三组：Conv3_1、Conv3_2、Conv3_3、Pool3；第四组：Conv4_1、Conv4_2、Conv4_3；其中，在Conv4_3后又连接了附加的卷积层；
(3)额外的卷积层：在截断的VGG-16网络之后，本网络连接了两个附加的卷积层，即Conv4_4、Conv4_5；为了输出多维特征图，所设计的人体姿态特征提取网络在其附加的卷积层之后增加了一个池化操作，即Pool4；
对于每一层网络具体的参数设计，将从卷积层和池化层的核结构、操作步长及操作方式入手；其网络具体参数设计如下：
(S1)在第一组卷积和池化操作中，有两个卷积分层和一个池化层；其中，Conv1_1和Conv1_2中卷积核大小均为3*3，卷积通道均为64，卷积步长均为1；Pool1中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作；在第一组操作中，最终得到的特征图大小为
Figure FDA0002632696340000011
(S2)在第二组卷积和池化操作中，有两个卷积分层和一个池化层；其中，Conv2_1和Conv2_2中卷积核大小均为3*3，卷积通道均为128，卷积步长均为1；Pool2中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作；在第二组操作中，最终得到的特征图大小为
Figure FDA0002632696340000012
(S3)在第三组卷积和池化操作中，有三个卷积分层和一个池化层；其中，Conv3_1、Conv3_2及Conv3_3中卷积核大小均为3*3，卷积通道均为256，卷积步长均为1；Pool3中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作；在第三组操作中，最终得到的特征图大小为
Figure FDA0002632696340000013
(S4)在第四组卷积操作中，有三个卷积分层，即Conv4_1、Conv4_2、Conv4_3；其中，每个卷积分层中卷积核大小均为3*3，卷积通道均为512，卷积步长均为1；此操作过程中由于没有经过池化操作，故其特征图像素保持不变，最终得到的特征图大小为
Figure FDA0002632696340000021
(S5)在额外的卷积层中，共有两个卷积分层组成，即Conv4_4和Conv4_5；其中，每个卷积分层中卷积核大小均为3*3，卷积步长均为1，卷积通道分别为256和128；为了得到固定维度的特征图，最后在Conv4_5之后增加一个池化层Pool4，其池化核大小为3*3，滑动步长为1，池化方式为平均池化，最终得到的特征图为
Figure FDA0002632696340000022
(S6)在人体姿态特征提取网络中，关于全部卷积层后连接的激活函数，本发明使用的均为ReLu激活函数：
ReLu(x)＝max(0,x) (1)
步骤二，构建并行网络结构，识别骨骼关键点并将相邻关键点连接成为人体主要躯干；
将步骤一中得到的人体姿态特征图输入到该步骤所设计的并行网络结构中，将输出人体骨骼关键点和相应的主要躯干；
该并行网络结构分为上下两个分支，各分支都是一个迭代预测的体系结构；第一个分支用于估计人体骨骼关键点，主要是对单张图像进行卷积操作生成关键点的置信图集合，其表示为S＝(S1,S2,S3,...,SJ)；第二个分支用于分析像素点在骨架中的走向，即预测关键点的亲和场集合，其表示为L＝(L1,L2,L3,...,LC)；其中，J表示骨骼关键点总个数，C表示连接关键点的躯干的数量；
该并行网络共包含T个阶段，其中第一阶段为初始化阶段卷积网络，其余阶段为细化阶段卷积网络，每两个阶段之间通过加入中间监督来解决梯度消失问题；其结构设计如下：
1)初始化阶段卷积网络：每个分支均由五个卷积层构成，其中前三层的卷积核大小为3*3，卷积步长为1，通道个数为128；第四层的卷积核大小为1*1，卷积步长为1，通道个数为512；第五层的卷积核大小为1*1，卷积步长为1，通道个数为13；
2)细化阶段卷积网络：每个分支均由七个卷积层构成，其中前五层的卷积核大小为7*7，卷机步长为1，通道个数为128；后两层的卷积核大小为1*1，卷积步长为1，通道个数为128；
将所得特征图F输入初始阶段卷积网络来对骨骼关键点和相关躯干进行初始估计，然后执行细化阶段的卷积网络，找到所标记的13种类型的关键点和每个关键点的最佳对应躯干；
该并行网络结构中所应用到的函数设计如下：
(Q1)在初始化卷积网络阶段中，输出一组骨骼关键点置信度图和骨架走向矢量集合，其分别表示为下式：
S1＝ρ1(F) (2)
L1＝φ1(F) (3)
其中，ρ1(·)和φ1(·)表示初始阶段卷积网络结构，F表示步骤一网络所输出的特征；在后续的细化阶段卷积网络中，将上一阶段的输出结果和特征F相加作为下一阶段的输入，则在第t阶段的骨骼关键点置信度图St和骨架走向矢量集合Lt分别表示为下式：
St＝ρt(St-1,Lt-1,F) (4)
Lt＝φt(St-1,Lt-1,F) (5)
(Q2)为了使得并行网络在各阶段的不同分支上能够预测各自的任务，须对每个分支设置其损失函数，则将第t阶段用于估计人体骨骼关键点分支的损失函数表示为
Figure FDA0002632696340000031
用于分析像素点在骨架中的走向分支的损失函数表示为
Figure FDA0002632696340000032
其具体公式用L2范式表示如下：
Figure FDA0002632696340000033
Figure FDA0002632696340000034
其中，
Figure FDA0002632696340000035
表示标定好的j个真实关键点的置信图；
Figure FDA0002632696340000036
表示标定好的c个真实的骨架走向，即部分亲和场；W(·)是一个布尔值，当图像中p点位置的标注数据缺失时，其值为0，否则为1；
在整个并行网络结构中(共T阶段)，总的损失函数表示为：
Figure FDA0002632696340000037
(Q3)计算损失函数
Figure FDA0002632696340000038
中每个真实关键点的置信图
Figure FDA0002632696340000039
当单幅图像中有k个人，每个人有j个可见关键点时，则每张置信图均有j个峰值；将特征图F传输至并行网络结构中进行关键点检测，会预测出一批关键点置信图，将预测所得的关键点Xj,k和真实的关键点p点经过下式计算可以得到矫正后的关键点：
Figure FDA00026326963400000310
其中，σ表示峰值蔓延程度；p和Xj,k分别表示真实关键点和并行网络预测关键点的坐标；
将求得的
Figure FDA00026326963400000311
集合通过非极大值抑制来获得最终输出的预测置信图，具体公式如下所示：
Figure FDA00026326963400000312
(Q4)计算损失函数
Figure FDA0002632696340000041
中真实的骨架走向
Figure FDA0002632696340000042
所谓骨架走向即是指两个关键点所连接的二维向量(躯干)；
对于第k个人骨骼关键点连接方式而言，通过并行网络预测出两个关键点j1和j2的坐标值Xj1,k及Xj2,k，则由这两个关键点组成的一个骨架走向C表示为向量
Figure FDA0002632696340000043
当点p在此骨架上时，只有从点j1指向点j2时，向量
Figure FDA0002632696340000044
才为单位向量，否则为零向量，其判别公式如下所示：
Figure FDA0002632696340000045
Figure FDA0002632696340000046
骨架走向C上的点p满足下式约束：
0≤v*(p-xj1,k)≤lc,k&|v⊥*(p-xj1,k)|≤σl (13)
lc,k＝||xj2,k-xj1,k||2 (14)
其中，lc,k表示第k个人骨架走向C的长度；v⊥表示垂直于单位向量的矢量，σl表示骨架宽度；如若多个骨架C重合时，则需要利用下式求平均值：
Figure FDA0002632696340000047
其中，nc(p)表示不为零向量的
Figure FDA0002632696340000048
的个数；
(Q5)通过两个关键点匹配最佳人体骨干连接方式；
对于单人而言，在预测过程中，通过计算Xj1,k及Xj2,k两点之间的亲和域来判别所预测两点是否属于同一个人，具体的计算公式如下所示：
Figure FDA0002632696340000049
其中，dj1和dj2分别表示Xj1,k及Xj2,k两点所对应的像素点；
当单幅图像中存在k个人时，可利用上式(10)预测出一组离散的关键点集合，但对于这些关键点而言，存在很多连接方式，但并不是所有连接方式均来自同一个人，也就意味着虽然将两个关键点进行了连接，但其并没有组成人体躯干，所以无法用公式(16)来预测；为此，通过下式来匹配关键点，从而形成人体躯干：
Figure FDA0002632696340000051
其中，Dj1和Dj2分别表示所预测关键点j1和j2的坐标集合，其可以表示为
Figure FDA0002632696340000052
Nj代表关键点j的个数；
Figure FDA0002632696340000053
表示两个预测关键点
Figure FDA0002632696340000054
和
Figure FDA0002632696340000055
是否可以连接，Emn表示权重，可以由公式(16)求得；
最终通过公式(17)计算得到人体骨骼连接的最佳匹配方案；
步骤三，利用反余弦函数计算主要躯干之间的夹角；
根据步骤二所设计的并行网络结构可以求得13个人体关键点最佳坐标，即鼻子(x1,y1)、脖子(x2,y2)、右肩(x3,y3)、右肘(x4,y4)、右手腕(x5,y5)、左肩(x6,y6)、左肘(x7,y7)、左手腕(x8,y8)、臀部(x9,y9)、右膝(x10,y10)、右脚裸(x11,y11)、左膝(x12,y12)、左脚裸(x13,y13)；同时得到12个人体躯干，包括鼻子与脖子连接的颈部躯干、脖子与右肩连接的右膀躯干、右肩与右肘连接的右大臂躯干、右肘与右手腕连接的右小臂躯干、脖子与左肩连接的左膀躯干、左肩与左肘连接的左大臂躯干、左肘与左手腕连接的左小臂躯干、脖子与臀部连接的上肢躯干、臀部与右膝连接的右大腿躯干、右膝与右脚裸连接的右小腿躯干、臀部与左膝连接的左大腿躯干、左膝与左脚裸连接的左小腿躯干；
为了在最大程度上反应作业人员姿态规范程度，本步骤选择的主要躯干之间的夹角有6个，即颈部与上肢之间的夹角θ1、右大臂与右小臂之间的夹角θ2、左大臂与左小臂之间的夹角θ3、上肢与大腿之间的夹角θ4、右大腿与右小腿之间的夹角θ5及左大腿与左小腿之间的夹角θ6；
(P1)计算颈部与上肢之间的夹角来判别作业状态下头部的下垂程度；根据步骤二预测得到鼻子、颈部和臀部三点的坐标，然后利用反余弦函数求得此夹角θ1的大小，具体的计算公式如下所示：
Figure FDA0002632696340000056
(P2)计算右大臂与右小臂之间的夹角来判别作业状态下右臂的弯曲程度；根据步骤二预测得到右肩、右肘和右手腕三点的坐标，然后利用反余弦函数求得此夹角θ2的大小，具体的计算公式如下所示：
Figure FDA0002632696340000061
(P3)计算左大臂与左小臂之间的夹角来判别作业状态下左臂的弯曲程度；根据步骤二预测得到左肩、左肘和左手腕三点的坐标，然后利用反余弦函数求得此夹角θ3的大小，具体的计算公式如下所示：
Figure FDA0002632696340000062
(P4)计算上肢与大腿之间的夹角来判别作业状态下腰部的弯曲程度；根据步骤二预测得到脖子、臀部、左膝和右膝四点的坐标，然后求得左膝和右膝的中点坐标作为两膝重心，随后利用反余弦函数求得此夹角θ4的大小；
两膝重心坐标记为(x14,y14)，表示为下式：
Figure FDA0002632696340000063
则：
Figure FDA0002632696340000064
(P5)计算右大腿与右小腿之间的夹角来判别作业状态下右腿的弯曲程度；根据步骤二预测得到臀部、右膝和右脚裸三点的坐标，然后利用反余弦函数求得此夹角θ5的大小，具体的计算公式如下所示：
Figure FDA0002632696340000065
(P6)计算左大腿与左小腿之间的夹角来判别作业状态下左腿的弯曲程度；根据步骤二预测得到臀部、左膝和左脚裸三点的坐标，然后利用反余弦函数求得此夹角θ6的大小，具体的计算公式如下所示：
Figure FDA0002632696340000066
(P7)预先设定本步骤所提出的6个夹角的阈值，即设置颈部与上肢之间的夹角阈值为T1、右大臂与右小臂之间的夹角阈值为T2、左大臂与左小臂之间的夹角阈值为T3、上肢与大腿之间的夹角阈值为T4、右大腿与右小腿之间的夹角阈值为T5及左大腿与左小腿之间的夹角阈值为T6；然后将利用反余弦函数求得的夹角与对应夹角的阈值进行比较，如若对应夹角在其阈值范围内，则认为作业人员该操作姿态较规范，否则认为其不按规范操作。
2.如权利要求1所述的一种用于判别作业人员姿态规范程度的方法，其特征在于：步骤P7中对于T1的设置：当T1∈(150°,180°]时，认定为平视操作；当T1∈(120°,150°]时，认定为俯视(低头)操作；当T1∈(90°,120°]时，认定为疲劳操作；头部下垂程度(T1)需根据所属作业要求进行合理设定。
3.如权利要求1所述的一种用于判别作业人员姿态规范程度的方法，其特征在于：步骤P7中对于T2和T3的设置：当T2,3∈(120°,180°]时，认定为手臂轻度弯曲操作；当T2,3∈(60°,120°]时，认定为手臂中度弯曲操作；当T2,3∈(0°,60°]时，认定为手臂重度弯曲操作；手臂弯曲程度(T2和T3)需根据所属作业要求进行合理设定。
4.如权利要求1所述的一种用于判别作业人员姿态规范程度的方法，其特征在于：步骤P7中对于T4的设置：当T4∈(170°,180°]时，认定为直立操作；当T4∈(120°,170°]时，认定为轻度弯腰操作；当T4∈(60°,120°]时，认定为中度弯腰或坐立操作，是否为坐立操作将根据T5和T6的设置进一步判断；当T4∈(0°,60°]时，认定为在地面上所进行的复杂且短暂的操作或下蹲操作，是否为下蹲操作将根据T5和T6的设置进一步判断；腰部弯曲程度(T4)需根据所属作业要求进行合理设定。
5.如权利要求1所述的一种用于判别作业人员姿态规范程度的方法，其特征在于：步骤P7中T5和T6的设置：当T5,6∈(170°,180°]时，认定为直立操作；当T5,6∈(60°,120°]时，认定为坐立操作；当T5,6∈(0°,30°]时，认定为下蹲操作；否则认定其为不规范操作；腿部弯曲程度(T5和T6)需根据所属作业要求进行合理设定。
CN202010815977.4A 2020-08-14 2020-08-14 一种用于判别作业人员姿态规范程度的方法 Active CN112084878B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010815977.4A CN112084878B (zh) 2020-08-14 2020-08-14 一种用于判别作业人员姿态规范程度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010815977.4A CN112084878B (zh) 2020-08-14 2020-08-14 一种用于判别作业人员姿态规范程度的方法

Publications (2)

Publication Number Publication Date
CN112084878A true CN112084878A (zh) 2020-12-15
CN112084878B CN112084878B (zh) 2024-02-20

Family

ID=73728056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010815977.4A Active CN112084878B (zh) 2020-08-14 2020-08-14 一种用于判别作业人员姿态规范程度的方法

Country Status (1)

Country Link
CN (1) CN112084878B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861624A (zh) * 2021-01-05 2021-05-28 哈尔滨工业大学（威海） 一种人体姿态检测方法、***、存储介质、设备及终端
CN113147176A (zh) * 2021-04-06 2021-07-23 东莞先知大数据有限公司 丝印环节操作规范检测方法
CN113435236A (zh) * 2021-02-20 2021-09-24 哈尔滨工业大学（威海） 居家老人姿态检测方法、***、存储介质、设备及应用
CN113743255A (zh) * 2021-08-18 2021-12-03 广东机电职业技术学院 基于神经网络的儿童坐姿识别纠正方法及***
CN116246421A (zh) * 2023-05-04 2023-06-09 山东领创信息科技有限公司 一种基于智能穿戴的安全预警方法、***及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948590A (zh) * 2019-04-01 2019-06-28 启霖世纪（北京）教育科技有限公司 姿态问题检测方法及装置
CN111079554A (zh) * 2019-11-25 2020-04-28 恒安嘉新（北京）科技股份公司 分析学生课堂表现的方法、装置、电子设备、及存储介质
CN111160162A (zh) * 2019-12-18 2020-05-15 江苏比特达信息技术有限公司 一种级联的驾驶员人体姿态估计方法
CN111160085A (zh) * 2019-11-19 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN111242004A (zh) * 2020-01-10 2020-06-05 厦门瑞为信息技术有限公司 一种基于电梯监控数据处理的自动告警方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948590A (zh) * 2019-04-01 2019-06-28 启霖世纪（北京）教育科技有限公司 姿态问题检测方法及装置
CN111160085A (zh) * 2019-11-19 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN111079554A (zh) * 2019-11-25 2020-04-28 恒安嘉新（北京）科技股份公司 分析学生课堂表现的方法、装置、电子设备、及存储介质
CN111160162A (zh) * 2019-12-18 2020-05-15 江苏比特达信息技术有限公司 一种级联的驾驶员人体姿态估计方法
CN111242004A (zh) * 2020-01-10 2020-06-05 厦门瑞为信息技术有限公司 一种基于电梯监控数据处理的自动告警方法及***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861624A (zh) * 2021-01-05 2021-05-28 哈尔滨工业大学（威海） 一种人体姿态检测方法、***、存储介质、设备及终端
CN113435236A (zh) * 2021-02-20 2021-09-24 哈尔滨工业大学（威海） 居家老人姿态检测方法、***、存储介质、设备及应用
CN113147176A (zh) * 2021-04-06 2021-07-23 东莞先知大数据有限公司 丝印环节操作规范检测方法
CN113147176B (zh) * 2021-04-06 2021-11-02 东莞先知大数据有限公司 丝印环节操作规范检测方法
CN113743255A (zh) * 2021-08-18 2021-12-03 广东机电职业技术学院 基于神经网络的儿童坐姿识别纠正方法及***
CN116246421A (zh) * 2023-05-04 2023-06-09 山东领创信息科技有限公司 一种基于智能穿戴的安全预警方法、***及设备

Also Published As

Publication number Publication date
CN112084878B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN112084878B (zh) 一种用于判别作业人员姿态规范程度的方法
US11468612B2 (en) Controlling display of a model based on captured images and determined information
Jia et al. Non-local robust quaternion matrix completion for large-scale color image and video inpainting
CN112069933A (zh) 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
CN110222665A (zh) 一种基于深度学习和姿态估计的监控中人体动作识别方法
WO2020233427A1 (zh) 目标的特征的确定方法和装置
Mehrizi et al. Predicting 3-D lower back joint load in lifting: A deep pose estimation approach
CN110390303B (zh) 摔倒报警方法、电子设备及计算机可读存储介质
CN114898285B (zh) 一种生产行为数字孪生模型的构建方法
CN109255783B (zh) 一种多人图像上的人体骨骼关键点的位置排布检测方法
CN112330813A (zh) 一种基于单目深度摄像头的着装下三维人体模型重建方法
Lee et al. SEE: a proactive strategy-centric and deep learning-based ergonomic risk assessment system for risky posture recognition
CN112800905A (zh) 一种基于rgbd相机姿态估计的引体向上计数方法
WO2021217906A1 (zh) 基于步态特征的体态检测方法、装置、设备及存储介质
CN115083015A (zh) 一种3d人体姿态估计数据标注方式和对应的模型构建方法
CN114049683A (zh) 基于三维人体骨架模型的愈后康复辅助检测***、方法、介质
CN113435293B (zh) 一种基于关节关系的人体姿态估计方法
Almasi et al. Human action recognition through the first-person point of view, case study two basic task
CN111079481A (zh) 一种基于二维骨架信息的攻击性行为识别方法
CN114202722A (zh) 基于卷积神经网络和多判别特征的跌倒检测方法
Vu et al. Evaluating lumbar shape deformation with fabric strain sensors
CN110298917A (zh) 一种人脸重建方法及***
Solongontuya et al. Novel side pose classification model of stretching gestures using three-layer LSTM
JP6792273B2 (ja) 寸法データ算出装置、製品製造装置、及びシルエット画像生成装置
CN111339969B (zh) 人体姿势估计方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant