CN109948505A - 一种人体三维姿态匹配算法的优化方法 - Google Patents

Abstract

本发明公开了一种人体三维姿态匹配算法的优化方法。该方法包括步骤有生成匹配姿态、二维投影、定义损失函数和姿态优化，通过这些步骤可以通过人体三维姿态匹配算法获得对待检测图像对应的人体二维匹配姿态和人体三维匹配姿态，然后将人体三维匹配姿态投影，得到人体二维投影姿态，再进一步构建人体二维投影姿态与人体二维匹配姿态之间的损失函数，通过求解损失函数的近似解，实现对所述人体三维匹配姿态的优化调整，最终输出优化后的人体三维姿态。本方法可以与各种人体三维姿态匹配算法进行结合，通用性强，并且有效了结合人体结构简化分解方法与快速迭代求解方法，降低算法复杂度，还进一步提高了人体三维姿态匹配算法的精度。

Description

一种人体三维姿态匹配算法的优化方法

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种人体三维姿态匹配算法的优化方法。

背景技术

人体姿态估计一直是计算机视觉以及计算机图形学领域的热点问题之一，高精度的三维人体姿态在动作识别、人机交互及医疗保健等领域有着广泛的应用前景和重要的应用价值。目前，基于卷积神经网络的二维人体姿态研究已经较为成熟，基于二维姿态的匹配类算法是主流的三维姿态方法之一。此类方法基于二维姿态检测结果，在预先建立的三维姿态数据库中进行姿态匹配，进而得到三维姿态，该方法中原图像不直接参与算法流程，去除了原图中的噪声干扰，因此更适用于复杂的实际场景。

匹配类方法是基于三维姿态数据库进行匹配，而人的三维姿态复杂度较高，数据库无法收集所有三维姿态，匹配得到的结果仅仅是针对于数据库中的姿态，并非实际场景中的情况，往往不完全契合真正的姿态，依然存在精度较低的问题，不能满足更进一步的研究，而目前还未有特定的方法解决这一问题。

发明内容

本发明主要解决的技术问题是提供一种人体三维姿态匹配算法的优化方法，解决现有技术中人体三维姿态匹配算法的实现复杂度高，时效性不强以及输出三维姿态精度不高的问题。

为解决上述技术问题，本发明采用的一个技术方案是提供一种人体三维姿态匹配算法的优化方法，包括以下步骤：生成匹配姿态，输入待检测图像，通过匹配类三维人体姿态算法获得所述待检测图像对应的人体二维匹配姿态γ和人体三维匹配姿态y；二维投影，将所述人体三维匹配姿态y进行投影，得到人体二维投影姿态P(y)，P为投影相机参数；定义损失函数，对于人体二维投影姿态P(y)与人体二维匹配姿态γ，根据欧氏距离定义损失函数为：||γ-P(y)||₁,L₁norm；姿态优化，通过求解所述损失函数的近似解，实现对所述人体三维匹配姿态y的优化调整，最终输出优化后的人体三维姿态。

在本发明人体三维姿态匹配算法的优化方法另一实施例中，所述人体三维匹配姿态y包括最近似的K个三维姿态B＝{b₁,b₂,...,b_k}，对应的姿态均值为μ，进一步得到人体二维投影姿态P(y)＝P(Bα+μ)，α为基础系数。

在本发明人体三维姿态匹配算法的优化方法另一实施例中，在生成匹配姿态步骤中，将人体姿态对应的人体结构分解为五个部分C＝{C₁,C₂,C₃,C₄,C₅}，上肢部分包括C₁,C₂、下肢部分包括C₃,C₄以及躯干部分C₅；对于每个肢体链C_i，定义矩阵第j维为3x3矩阵，其余维设为0，通过E_j和y表示C_i中的第j个关节，定义 表示端点为关节i₁与关节i₂的肢体i的长度，肢体长度归一化标准定义为：

在本发明人体三维姿态匹配算法的优化方法另一实施例中，所述损失函数进一步可表示为：

在本发明人体三维姿态匹配算法的优化方法另一实施例中，在姿态优化中，以最小化所述损失函数为目标，利用迭代求解方法计算关节点的解的集合，依据解的集合来优化调整人体三维姿态的各个关节，作为最终优化后的人体三维姿态输出。

在本发明人体三维姿态匹配算法的优化方法另一实施例中，在求解最小化损失函数过程中，对于每一个肢体链C_i，包含关节点{(x₁,y₁),(x₂,y₂),(x₃,y₃)}，将每一个肢体链C_i求解函数定义为y＝f(x,β)，其中β为解的集合：β＝{β₁,β₂,β₃}，即关节位置；为求得最优解，需使损失函数的残差平方和S最小，残差平方和S表示为：

在本发明人体三维姿态匹配算法的优化方法另一实施例中，为了使得残差平方和S最小，对S求偏导数为0，则有：

其中，在给定初始值后使用迭代法求解，其中有k为迭代的次数，Δβ为迭代矢量，在β^k处使用泰勒级数展开可得：

其中，为已知矩阵，将上式带入r_i＝y_i-f(x_i,β)，将残差表示为Δy_i＝y_i-f(x_i,β^k)，

进一步化解得到：

将其转换为矩阵形式：

(J^TJ)Δβ＝J^TΔg

迭代公式最终为：

J_f为y＝f(x,β)对与β的一阶偏导数的矩阵表示，可得出函数y＝f(x,β)的求解近似点及近似解进而得到近似解集合β′＝{β′₁,β′₂,β′₃}，依据解集β′调整关节链中各个关节位置，分步完成各个关节链的调整，最终优化整体人体三维姿态并输出。

本发明的有益效果是：本发明公开了一种人体三维姿态匹配算法的优化方法。该方法包括步骤有生成匹配姿态、二维投影、定义损失函数和姿态优化，通过这些步骤可以通过人体三维姿态匹配算法获得对待检测图像对应的人体二维匹配姿态和人体三维匹配姿态，然后将人体三维匹配姿态投影，得到人体二维投影姿态，再进一步构建人体二维投影姿态与人体二维匹配姿态之间的损失函数，通过求解损失函数的近似解，实现对所述人体三维匹配姿态的优化调整，最终输出优化后的人体三维姿态。本方法可以与各种人体三维姿态匹配算法进行结合，通用性强，并且有效了结合人体结构简化分解方法与快速迭代求解方法，降低算法复杂度，还进一步提高了人体三维姿态匹配算法的精度。

附图说明

图1是根据本发明人体三维姿态匹配算法的优化方法一实施例的流程图；

图2是根据本发明人体三维姿态匹配算法的优化方法另一实施例中的人体结构分解示意图；

图3是根据本发明人体三维姿态匹配算法的优化方法另一实施例中的流程效果说明示意图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

图1显示了本发明人体三维姿态匹配算法的优化方法一实施例的流程图。在图1中，包括步骤：

步骤S101，生成匹配姿态，输入待检测图像，通过匹配类三维人体姿态算法获得所述待检测图像对应的人体二维匹配姿态γ和人体三维匹配姿态y；

步骤S102，二维投影，将所述人体三维匹配姿态y进行投影，得到人体二维投影姿态P(y)，P为投影相机参数；

步骤S103，定义损失函数，对于人体二维投影姿态P(y)与人体二维匹配姿态γ，根据欧氏距离定义损失函数为：||γ-P(y)||₁,L₁norm；

步骤S104，姿态优化，通过求解所述损失函数的近似解，实现对所述人体三维匹配姿态y的优化调整，最终输出优化后的人体三维姿态。

优选的，在步骤S101中，人体三维匹配姿态y包括最近似的K个三维姿态B＝{b₁,b₂,...,b_k}，对应的姿态均值为μ，进一步得到人体二维投影姿态P(y)＝P(Bα+μ)，α为基础系数，由姿态均值μ计算得到。

进一步的，在步骤S101中，将人体姿态对应的人体结构简化分解为五个部分C＝{C₁,C₂,C₃,C₄,C₅}，如图2所示，上肢部分包括C₁,C₂、下肢部分包括C₃,C₄以及躯干部分C₅；对于每个肢体链C_i，定义矩阵第j维为3x3矩阵，表示关节向量中的第j个关节位置，其余维设置为0，表示排除其他关节信息，而只提取第j维度的关节信息，可通过E_j和y表示C_i中的第j个关节。定义 表示端点为关节i₁与关节i₂的肢体i的长度，在本发明实施例中，根据数据库中的肢体长度，将归一化标准定义如下：

其中，Li是指数据库第i个肢体的标准长度。进一步地，对于步骤S103，在本发明的优选实施例中，损失函数进一步可表示为：

其中γ是通过通过匹配类三维人体姿态算法获得所述待检测图像对应的人体二维匹配姿态，L是全部的肢体长度。我们使用三维姿态的二维投影于其相比的误差作为损失，其具体计算方式是二维姿态对应关节点和三维姿态的二维投影对应关节点之间欧氏距离的总和。

由于损失函数中其他参数均通过查询结果已知，那么需要求解的只有关节位置一组变量，并且我们想要优化的也是关节位置，并且在这里我们通过肢体长度的约束来避免在优化过程中可能会出现的反生理三维姿态。

进一步的，在步骤S104中，以最小化损失函数为目标，利用迭代求解方法计算关节点的解的集合，依据解的集合来优化调整三维姿态的各个关节作为最终优化后的人体三维姿态输出。

在求解最小化损失函数过程中，对于每一个肢体链C_i，包含关节点{(x₁,y₁),(x₂,y₂),(x₃,y₃)}，将每一个C_i求解函数定义为y＝f(x,β)，其中β为解的集合：β＝{β₁,β₂,β₃}，即关节位置。为求得最优解，需使损失函数的残差平方和S最小，残差平方和S表示为：

优选的，为了使得残差平方和S最小，对S求偏导数为0，则有：

其中在给定初始值后使用迭代法求解，其中有k为迭代的次数，Δβ为迭代矢量，在β^k处使用泰勒级数展开可得：

其中为已知矩阵，将上式带入r_i＝y_i-f(x_i,β)，将残差表示为Δy_i＝y_i-f(x_i,β^k)，

进一步化解得到：

将其转换为矩阵形式：

(J^TJ)Δβ＝J^TΔg

迭代公式最终为：

J_f为y＝f(x,β)对与β的一阶偏导数的矩阵表示，即雅可比矩阵，可得出函数y＝f(x，β)的求解近似点及近似解进而得到近似解集合β′＝{β′₁,β′₂,β′₃}，依据解集β′调整关节链中各个关节位置，分步完成各个关节链的调整，最终优化整体姿态并输出。

在得到输出的三维姿态后还需要进行一次姿态合理性的判断。因为优化的目标函数为二维姿态图像，由于三维姿态在投影到二维平面的时候会有歧义性的问题，即平行于投影方向的关节点在该方向上的深度不会影响其二维投影的位置，但是在三维空间中的位置是不同的。所以在得到最终的三维姿态后我们会根据人体固有结构对一些关节点进行约束和更改，比如左右肩和脖子这三个关节点应该处于同一平面，并且关节无法反向弯曲。这样就可以避免很多不合常理的三维人体姿态。

图3进一步示意显示了本方法实施例的各个环节，通过人体三维姿态匹配算法可以对检测图像提取出三维匹配姿态和二维匹配姿态和，然后对三维匹配姿态进行投影得到二维投影姿态，在二维投影姿态和二维匹配姿态之间建立损失函数并求解，从而优化三维姿态输出。

由此可见，本发明公开了一种人体三维姿态匹配算法的优化方法。该方法包括步骤有生成匹配姿态、二维投影、定义损失函数和姿态优化，通过这些步骤可以通过人体三维姿态匹配算法获得对待检测图像对应的人体二维匹配姿态和人体三维匹配姿态，然后将人体三维匹配姿态投影，得到人体二维投影姿态，再进一步构建人体二维投影姿态与人体二维匹配姿态之间的损失函数，通过求解损失函数的近似解，实现对所述人体三维匹配姿态的优化调整，最终输出优化后的人体三维姿态。本方法可以与各种人体三维姿态匹配算法进行结合，通用性强，并且有效了结合人体结构简化分解方法与快速迭代求解方法，降低算法复杂度，还进一步提高了人体三维姿态匹配算法的精度。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种人体三维姿态匹配算法的优化方法，其特征在于，包括以下步骤：

生成匹配姿态，输入待检测图像，通过匹配类三维人体姿态算法获得所述待检测图像对应的人体二维匹配姿态γ和人体三维匹配姿态y；

二维投影，将所述人体三维匹配姿态y进行投影，得到人体二维投影姿态P(y)，P为投影相机参数；

定义损失函数，对于人体二维投影姿态P(y)与人体二维匹配姿态γ，根据欧氏距离定义损失函数为：||γ-P(y)||₁,L₁ norm；

姿态优化，通过求解所述损失函数的近似解，实现对所述人体三维匹配姿态y的优化调整，最终输出优化后的人体三维姿态。

2.根据权利要求1所述的人体三维姿态匹配算法的优化方法，其特征在于，所述人体三维匹配姿态y包括最近似的K个三维姿态B＝{b₁,b₂,...,b_k}，对应的姿态均值为μ，进一步得到人体二维投影姿态P(y)＝P(Bα+μ)，α为基础系数。

3.根据权利要求2所述的人体三维姿态匹配算法的优化方法，其特征在于，在生成匹配姿态步骤中，将人体姿态对应的人体结构分解为五个部分C＝{C₁,C₂,C₃,C₄,C₅}，上肢部分包括C₁,C₂、下肢部分包括C₃,C₄以及躯干部分C₅；对于每个肢体链C_i，定义矩阵第j维为3x3矩阵，其余维设为0，通过E_j和y表示C_i中的第j个关节，定义 表示端点为关节i₁与关节i₂的肢体i的长度，肢体长度归一化标准定义为：

4.根据权利要求3所述的人体三维姿态匹配算法的优化方法，其特征在于，所述损失函数进一步可表示为：

5.根据权利要求4所述的人体三维姿态匹配算法的优化方法，其特征在于，在姿态优化中，以最小化所述损失函数为目标，利用迭代求解方法计算关节点的解的集合，依据解的集合来优化调整人体三维姿态的各个关节，作为最终优化后的人体三维姿态输出。

6.根据权利要求5所述的人体三维姿态匹配算法的优化方法，其特征在于，在求解最小化损失函数过程中，对于每一个肢体链C_i，包含关节点{(x₁,y₁),(x₂,y₂),(x₃,y₃)}，将每一个肢体链C_i求解函数定义为y＝f(x,β)，其中β为解的集合：β＝{β₁,β₂,β₃}，即关节位置；为求得最优解，需使损失函数的残差平方和S最小，残差平方和S表示为：

7.根据权利要求6所述的人体三维姿态匹配算法的优化方法，其特征在于，为了使得残差平方和S最小，对S求偏导数为0，则有：

其中，在给定初始值后使用迭代法求解，其中有k为迭代的次数，Δβ为迭代矢量，在β^k处使用泰勒级数展开可得：

其中，为已知矩阵，将上式带入r_i＝y_i-f(x_i,β)，将残差表示为Δy_i＝y_i-f(x_i,β^k)，

进一步化解得到：

将其转换为矩阵形式：

(J^TJ)Δβ＝J^TΔg

迭代公式最终为：

J_f为y＝f(x,β)对与β的一阶偏导数的矩阵表示，可得出函数y＝f(x,β)的求解近似点及近似解进而得到近似解集合β'＝{β'₁,β'₂,β'₃}，依据解集β'调整关节链中各个关节位置，分步完成各个关节链的调整，最终优化整体人体三维姿态并输出。