CN112668545B - 一种基于人体树状网络和不同激活域值的姿态估计方法 - Google Patents

Abstract

本发明提供了人体姿态估计技术领域的一种基于人体树状网络和不同激活域值的姿态估计方法，包括如下步骤：步骤S10、搭建人体树状网络；步骤S20、分别设置各关节的激活域值，基于所述激活域值生成训练标签；生成各关节的偏移热图标签；利用所述训练标签以及偏移热图标签对人体树状网络进行训练；步骤S30、将人体图像输入训练后的所述人体树状网络，计算得到各关节之间的亲属度；基于所述亲属度计算得到所述人体图像中每个人的完整姿态。本发明的优点在于：极大的提升了人体姿态估计的精度。

Description

一种基于人体树状网络和不同激活域值的姿态估计方法

技术领域

本发明涉及人体姿态估计技术领域，特别指一种基于人体树状网络和不同激活域值的姿态估计方法。

背景技术

人体姿态估计是进一步理解人体行为的关键步骤，通过一张RBG图像进行有效预测人体关节点，进而实现更高级别的计算机视觉任务如行为识别、异常检测及人体模型重构等具有重要的意义。尽管对于人体姿态估计的研究众多，但现有的多人姿态估计技术还远不够成熟，无论是自顶向下还是自底向上的方法，都存在远端关节估计精度过低的问题，这会导致姿态估计的整体精度下降，且图像存在光照、人体之间的部位相互遮挡等问题，导致人体姿态的不完整。

传统的姿态估计方法在计算关节位置时，都是同时生成所有的关节热图，忽略了灵活关节的预测难度，且对所有关节采用同一大小的激活域值，导致小关节预测困难。

在网络结构设计方面，X.Zhou等人在论文“Objects as Points”中提出了一种将人看作一个目标的方法，即找到每一个人体目标的中心点，再通过卷积神经网络回归的方式直接计算出所有关节的位置，该方法虽然加快了关节预测的计算速度，但人体远端关节的回归距离过长，导致精度下降，且没有上下文空间信息的流动，很容易受到关节遮挡的影响出现错误的位置预测。

对于RGB图像中多人姿态的估计，X.Zhu等人(International Conference onComputer Vision PoseTrack Workshop,2017)在论文“Multi-Person Pose Estimationfor PoseTrack with Enhanced Part Affinity Fields”中设计了一个冗余的部分亲和场，为避免关节在树形结构中的连接链断开，即导致关节被弃用，该方法通过增加关节之间的连接数，来提升关节间的信息流动，虽然提高容错率，但因为部分关节涉及多个连接，增加了计算复杂度和参数量。

申请号为CN202010203659.2的中国发明专利公开了一种多尺度大感受野卷积神经网络的构建方法，该方法构建了一个自学习采样的位置滤波器，设置一个正方形外轮廓,按田字均匀分割为四个采样单元,由每个采样单元的四个角共同确定九个一级采样点；再通过学习的方式再确定四个二级采样点，基于不同速率的自学习采样位置滤波器构建自适应级联空间金字塔池化模块；该方法能有效地扩大提取图片的局部感受野和纹理提取，但容易丢失一些细节纹理，降低了人体姿态估计的精度。

因此，如何提供一种基于人体树状网络和不同激活域值的姿态估计方法，实现提升人体姿态估计的精度，成为一个亟待解决的问题。

发明内容

本发明要解决的技术问题，在于提供一种基于人体树状网络和不同激活域值的姿态估计方法，实现提升人体姿态估计的精度。

本发明是这样实现的：一种基于人体树状网络和不同激活域值的姿态估计方法，包括如下步骤：

步骤S10、搭建人体树状网络；

步骤S20、分别设置各关节的激活域值，基于所述激活域值生成训练标签；生成各关节的偏移热图标签；利用所述训练标签以及偏移热图标签对人体树状网络进行训练；

步骤S30、将人体图像输入训练后的所述人体树状网络，计算得到各关节之间的亲属度；基于所述亲属度计算得到所述人体图像中每个人的完整姿态。

进一步地，所述步骤S10中，所述人体树状网络包括：

一大小为7×7的第一卷积核、一第一残差模块、若干个关节特征提取模块、若干个大小为3×3的第二卷积核、一大小为3×3的第三卷积核、一大小为3×3的第四卷积核；

所述第一卷积核将输入的人体图像进行初步特征提取以及改变图像通道数后，输入所述第一残差模块进行特征提取得到全局背景特征；

第一个所述关节特征提取模块对人体图像提取第一关节特征后，将所述全局背景特征和第一关节特征进行融合，并通过所述第二卷积核输出子关节热图以及子偏移热图；第二个所述关节特征提取模块对人体图像提取第二关节特征后，将所述全局背景特征、第一关节特征和第二关节特征进行融合，并通过所述第二卷积核输出子关节热图以及子偏移热图；第三个所述关节特征提取模块对人体图像提取第三关节特征后，将所述全局背景特征、第二关节特征和第三关节特征进行融合，并通过所述第二卷积核输出子关节热图以及子偏移热图，以此类推；

各所述关节特征提取模块输出的子关节热图进行堆叠整合后，通过所述第三卷积核输出关节热图；各所述关节特征提取模块输出的子偏移热图进行堆叠整合后，通过所述第四卷积核输出偏移热图。

进一步地，所述关节特征提取模块包括四个第二残差模块。

进一步地，所述步骤S20具体包括：

步骤S21、分别设置各关节的激活域值σ＝{σ_j}_{j＝0,1,2,...,m}，且各关节的激活域值从人体近端至人体远端逐渐增大，基于所述激活域值计算各节点分配到关节热图中位置k的置信分数，基于各所述置信分数组成训练标签：

其中m表示关节的总数，为正整数；j表示关节的编号，为正整数；i表示人的编号，为正整数；p表示当前的关节热图，尺度为64×64；

表示第i个人的第j个关节的关节热图；

表示第i个人的第j个关节分配到关节热图中位置k的置信分数；

步骤S22、计算第i个人的第j个关节的关节位置，在第2j和2j+1张偏移热图的位置τ的响应值

和/>

基于各所述响应值组成偏移热图标签；

/>

其中q表示偏移热图；w和h分别表示偏移热图的宽和高；x和y分别表示偏移热图的的横坐标和纵坐标；

表示第i个人的第j个关节在偏移热图的x坐标上的τ的响应值；/>

表示第i个人的第j个关节在偏移热图的y坐标上的τ的响应值；

步骤S23、利用所述训练标签以及偏移热图标签对人体树状网络进行训练；

所述步骤S21和步骤S22不分先后顺序。

进一步地，所述步骤S20中，所述人体树状网络训练的损失函数为：

Loss_total＝λ₁(Loss_S+Loss_L)+λ₂(Loss_refine-S+Loss_refine-L)；

其中λ₁和λ₂均表示损失权重；S_t＝{S₁,...,S_T}，L_t＝{L₁,...,L_T}，均表示人体树状网络的实际输出；Loss_total表示人体树状网络的总损失值；Loss_S表示子关节热图损失；Loss_L表示子偏移热图损失；Loss_refine-S表示最终关节热图损失；Loss_refine-L表示最终偏移热图损失；S_t(P)、

L_t(P)、/>

S_j(P)、/>

L_j(P)、/>

T、J依次表示预测子关节热图值、真实标签关节热图值、预测子偏移热图值、真实标签偏移热图值、最终预测关节热图、真实标签关节热图、最终预测偏移热图、真实标签偏移热图、关节热图张数、偏移热图张数。

进一步地，所述步骤S30具体包括：

步骤S31、将包含多人的人体图像重置为256×256的大小后，输入训练后的所述人体树状网络，计算得到人体图像中各人体的候选关节的关节热图和偏移热图；

步骤S32、利用非极大值抑制算法查找所述关节热图中各关节的最大像素值位置，作为各关节的关节中心位置，选择具有最大峰值的所述最大像素值位置作为人体中心点位置；

步骤S33、提取各所述关节中心位置对应的偏移热图的

和/>

响应值，结合当前关节的关节中心位置计算前一关节的关节中心位置，作为当前关节的亲属度；

步骤S34、利用贪婪推理策略，基于所述亲属度完成各关节之间的匹配，即得到所述人体图像中每个人的完整姿态。

进一步地，所述步骤S34具体为：

将前一关节的与后一关节的亲属度进行比较，将亲属度取值较小的关节作为关节对，将后一关节归属于前一关节，以此类推，最终将一个人的所有关节归属到所述人体中心点位置，形成人体骨架，得到所述人体图像中每个人的完整姿态。

本发明的优点在于：

通过搭建人体树状网络对人体的关节进行预测，而人体树状网络中各关节特征提取模块均包含了全局背景特征以及上一关节的关节特征，即关节特征提取模块的局部感受野捕获了更大的局部上下文特征，有效改善了人体远端关节的估计精度；在人体树状网络训练阶段，根据不同关节设置不同大小的激活域值，设置不同权重的损失函数，进一步改善了人体远端关节的估计精度，最终极大的提升了人体姿态估计的精度。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明一种基于人体树状网络和不同激活域值的姿态估计方法的流程图。

图2是本发明人体树状网络的结构示意图。

图3是本发明关节特征提取模块的结构示意图。

图4是本发明人体姿态估计的效果示意图。

具体实施方式

本申请实施例中的技术方案，总体思路如下：

采用自底向上的估计方法，首先，通过多个关节特征提取模块组建成人体树状网络，使每一个关节特征都包含全局背景特征以及上一关节的关节特征，进而使关节的局部感受野捕获更大的局部上下文特征，有效改善人体远端关节的预测精度；其次，在人体树状网络训练阶段，对不同关节设定不同大小的激活域值，可以更好预测人体远端关节，大大提高姿态估计的精度，为行为识别、异常行为检测等提供一个姿态参考。

请参照图1至图4所示，本发明一种基于人体树状网络和不同激活域值的姿态估计方法的较佳实施例，包括如下步骤：

步骤S10、搭建人体树状网络；

步骤S20、分别设置各关节的激活域值，基于所述激活域值生成训练标签；生成各关节的偏移热图标签；利用所述训练标签以及偏移热图标签对人体树状网络进行训练；

步骤S30、将人体图像输入训练后的所述人体树状网络，计算得到各关节之间的亲属度；基于所述亲属度计算得到所述人体图像中每个人的完整姿态。

所述步骤S10中，所述人体树状网络包括：

一大小为7×7的第一卷积核、一第一残差模块、若干个关节特征提取模块、若干个大小为3×3的第二卷积核、一大小为3×3的第三卷积核、一大小为3×3的第四卷积核；

所述第一卷积核将输入的人体图像进行初步特征提取以及改变图像通道数后，输入所述第一残差模块进行特征提取得到全局背景特征；

第一个所述关节特征提取模块对人体图像提取第一关节特征后，将所述全局背景特征和第一关节特征进行融合，并通过所述第二卷积核输出子关节热图以及子偏移热图；第二个所述关节特征提取模块对人体图像提取第二关节特征后，将所述全局背景特征、第一关节特征和第二关节特征进行融合，并通过所述第二卷积核输出子关节热图以及子偏移热图；第三个所述关节特征提取模块对人体图像提取第三关节特征后，将所述全局背景特征、第二关节特征和第三关节特征进行融合，并通过所述第二卷积核输出子关节热图以及子偏移热图，以此类推；

各所述关节特征提取模块输出的子关节热图进行堆叠整合后，通过所述第三卷积核输出关节热图；各所述关节特征提取模块输出的子偏移热图进行堆叠整合后，通过所述第四卷积核输出偏移热图。

假设关节特征提取模块为F_j，全局背景特征为α，总共n个关节，第j个关节提取出的关节特征为β_{j,j＝{0,1,2,...,n}},则人体树状网络的公式可表示为：

β_j+1＝F_j(α+β_j)。

所述关节特征提取模块包括四个第二残差模块；所述关节特征提取模块呈沙漏状。

所述步骤S20具体包括：

步骤S21、分别设置各关节的激活域值σ＝{σ_j}_{j＝0,1,2,...,m}，且各关节的激活域值从人体近端至人体远端逐渐增大，基于所述激活域值计算各节点分配到关节热图中位置k的置信分数，基于各所述置信分数组成训练标签：

其中m表示关节的总数，为正整数；j表示关节的编号，为正整数；i表示人的编号，为正整数；p表示当前的关节热图，尺度为64×64；

表示第i个人的第j个关节的关节热图；

表示第i个人的第j个关节分配到关节热图中位置k的置信分数；即通过关节中心位置建模为高斯峰来构造关节置信映射；

步骤S22、计算第i个人的第j个关节的关节位置，在第2j和2j+1张偏移热图的位置τ的响应值

和/>

基于各所述响应值组成偏移热图标签；一个关节会产生两张偏移热图；

其中q表示偏移热图；w和h分别表示偏移热图的宽和高；x和y分别表示偏移热图的的横坐标和纵坐标；

表示第i个人的第j个关节在偏移热图的x坐标上的τ的响应值；/>

表示第i个人的第j个关节在偏移热图的y坐标上的τ的响应值；

步骤S23、利用所述训练标签以及偏移热图标签对人体树状网络进行训练；

所述步骤S21和步骤S22不分先后顺序。

所述步骤S20中，所述人体树状网络训练的损失函数为：

Loss_total＝λ₁(Loss_S+Loss_L)+λ₂(Loss_refine-S+Loss_refine-L)；

/>

其中λ₁和λ₂均表示损失权重；S_t＝{S₁,...,S_T}，L_t＝{L₁,...,L_T}，均表示人体树状网络的实际输出；Loss_total表示人体树状网络的总损失值；Loss_S表示子关节热图损失；Loss_L表示子偏移热图损失；Loss_refine-S表示最终关节热图损失；Loss_refine-L表示最终偏移热图损失；S_t(P)、

L_t(P)、/>

S_j(P)、/>

L_j(P)、/>

T、J依次表示预测子关节热图值、真实标签关节热图值、预测子偏移热图值、真实标签偏移热图值、最终预测关节热图、真实标签关节热图、最终预测偏移热图、真实标签偏移热图、关节热图张数、偏移热图张数。

所述步骤S30具体包括：

步骤S31、将包含多人的人体图像重置为256×256的大小后，输入训练后的所述人体树状网络，计算得到人体图像中各人体的候选关节的关节热图和偏移热图；

步骤S32、利用非极大值抑制算法查找所述关节热图中各关节的最大像素值位置，作为各关节的关节中心位置，选择具有最大峰值的所述最大像素值位置作为人体中心点位置；

步骤S33、提取各所述关节中心位置对应的偏移热图的

和/>

响应值，结合当前关节的关节中心位置计算前一关节的关节中心位置，作为当前关节的亲属度；

步骤S34、利用贪婪推理策略，基于所述亲属度完成各关节之间的匹配，即得到所述人体图像中每个人的完整姿态。

所述步骤S34具体为：

将前一关节的与后一关节的亲属度进行比较，将亲属度取值较小的关节作为关节对，将后一关节归属于前一关节，以此类推，最终将一个人的所有关节归属到所述人体中心点位置，形成人体骨架，得到所述人体图像中每个人的完整姿态。

综上所述，本发明的优点在于：

通过搭建人体树状网络对人体的关节进行预测，而人体树状网络中各关节特征提取模块均包含了全局背景特征以及上一关节的关节特征，即关节特征提取模块的局部感受野捕获了更大的局部上下文特征，有效改善了人体远端关节的估计精度；在人体树状网络训练阶段，根据不同关节设置不同大小的激活域值，设置不同权重的损失函数，进一步改善了人体远端关节的估计精度，最终极大的提升了人体姿态估计的精度。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (5)

1.一种基于人体树状网络和不同激活域值的姿态估计方法，其特征在于：包括如下步骤：

步骤S10、搭建人体树状网络；

步骤S20、分别设置各关节的激活域值，基于所述激活域值生成训练标签；生成各关节的偏移热图标签；利用所述训练标签以及偏移热图标签对人体树状网络进行训练；

步骤S30、将人体图像输入训练后的所述人体树状网络，计算得到各关节之间的亲属度；基于所述亲属度计算得到所述人体图像中每个人的完整姿态；

所述步骤S20具体包括：

步骤S21、分别设置各关节的激活域值σ＝{σ_j}_{j＝0,1,2,...,m}，且各关节的激活域值从人体近端至人体远端逐渐增大，基于所述激活域值计算各节点分配到关节热图中位置k的置信分数，基于各所述置信分数组成训练标签：

其中m表示关节的总数，为正整数；j表示关节的编号，为正整数；i表示人的编号，为正整数；p表示当前的关节热图，尺度为64×64；

表示第i个人的第j个关节的关节热图；

表示第i个人的第j个关节分配到关节热图中位置k的置信分数；

步骤S22、计算第i个人的第j个关节的关节位置，在第2j和2j+1张偏移热图的位置τ的响应值

和/>

基于各所述响应值组成偏移热图标签；

其中q表示偏移热图；w和h分别表示偏移热图的宽和高；x和y分别表示偏移热图的横坐标和纵坐标；

表示第i个人的第j个关节在偏移热图的x坐标上的τ的响应值；/>

表示第i个人的第j个关节在偏移热图的y坐标上的τ的响应值；

步骤S23、利用所述训练标签以及偏移热图标签对人体树状网络进行训练；

所述步骤S21和步骤S22不分先后顺序；

所述步骤S20中，所述人体树状网络训练的损失函数为：

Loss_total＝λ₁(Loss_S+Loss_L)+λ₂(Loss_refine-S+Loss_refine-L)；

/>

其中λ₁和λ₂均表示损失权重；S_t＝{S₁,...,S_T}，L_t＝{L₁,...,L_T}，均表示人体树状网络的实际输出；Loss_total表示人体树状网络的总损失值；Loss_S表示子关节热图损失；Loss_L表示子偏移热图损失；Loss_refine-S表示最终关节热图损失；Loss_refine-L表示最终偏移热图损失；S_t(P)、

L_t(P)、/>

S_j(P)、/>

L_j(P)、/>

T、J依次表示预测子关节热图值、真实标签关节热图值、预测子偏移热图值、真实标签偏移热图值、最终预测关节热图、真实标签关节热图、最终预测偏移热图、真实标签偏移热图、关节热图张数、偏移热图张数。

2.如权利要求1所述的一种基于人体树状网络和不同激活域值的姿态估计方法，其特征在于：所述步骤S10中，所述人体树状网络包括：

一大小为7×7的第一卷积核、一第一残差模块、若干个关节特征提取模块、若干个大小为3×3的第二卷积核、一大小为3×3的第三卷积核、一大小为3×3的第四卷积核；

所述第一卷积核将输入的人体图像进行初步特征提取以及改变图像通道数后，输入所述第一残差模块进行特征提取得到全局背景特征；

第一个所述关节特征提取模块对人体图像提取第一关节特征后，将所述全局背景特征和第一关节特征进行融合，并通过所述第二卷积核输出子关节热图以及子偏移热图；第二个所述关节特征提取模块对人体图像提取第二关节特征后，将所述全局背景特征、第一关节特征和第二关节特征进行融合，并通过所述第二卷积核输出子关节热图以及子偏移热图；第三个所述关节特征提取模块对人体图像提取第三关节特征后，将所述全局背景特征、第二关节特征和第三关节特征进行融合，并通过所述第二卷积核输出子关节热图以及子偏移热图，以此类推；

各所述关节特征提取模块输出的子关节热图进行堆叠整合后，通过所述第三卷积核输出关节热图；各所述关节特征提取模块输出的子偏移热图进行堆叠整合后，通过所述第四卷积核输出偏移热图。

3.如权利要求2所述的一种基于人体树状网络和不同激活域值的姿态估计方法，其特征在于：所述关节特征提取模块包括四个第二残差模块。

4.如权利要求1所述的一种基于人体树状网络和不同激活域值的姿态估计方法，其特征在于：所述步骤S30具体包括：

步骤S31、将包含多人的人体图像重置为256×256的大小后，输入训练后的所述人体树状网络，计算得到人体图像中各人体的候选关节的关节热图和偏移热图；

步骤S32、利用非极大值抑制算法查找所述关节热图中各关节的最大像素值位置，作为各关节的关节中心位置，选择具有最大峰值的所述最大像素值位置作为人体中心点位置；

步骤S33、提取各所述关节中心位置对应的偏移热图的

和/>

响应值，结合当前关节的关节中心位置计算前一关节的关节中心位置，作为当前关节的亲属度；

步骤S34、利用贪婪推理策略，基于所述亲属度完成各关节之间的匹配，即得到所述人体图像中每个人的完整姿态。

5.如权利要求4所述的一种基于人体树状网络和不同激活域值的姿态估计方法，其特征在于：所述步骤S34具体为：

将前一关节与后一关节的亲属度进行比较，将亲属度取值较小的关节作为关节对，将后一关节归属于前一关节，以此类推，最终将一个人的所有关节归属到所述人体中心点位置，形成人体骨架，得到所述人体图像中每个人的完整姿态。

Images