CN104268138B - 融合深度图和三维模型的人体运动捕捉方法 - Google Patents

Abstract

本发明涉及一种融合深度图和三维模型的人体运动捕捉方法。光学式运动捕获方法需粘贴标记点，交互不便，标记点易混淆、遮挡。本发明采集人体动作的深度信息，去除运动目标背景，获取完整的人体动作深度信息，转化成人体三维点云信息，获得人体动作三维模型，建立数据库，与建立的人体动作骨架数据库数据一一对应，提取待识别人体动作的深度信息构建三维模型，然后与三维模型数据库中的人体动作进行相似性匹配，按相似性排序输出人体动作骨架作为运动捕获结果。本发明无需在人体上安装传感器或添加标记点，方便易实现，在运动序列匹配上使用正则时间规整的方法，提高了两个序列匹配的精度，使匹配的时间大幅降，保证了运动捕获的速度和精度。

Description

融合深度图和三维模型的人体运动捕捉方法

技术领域

本发明属于多媒体信息检索技术领域，具体涉及一种融合深度图和三维模型的人体运动捕捉方法。

背景技术

人体运动捕获技术是多媒体信息检索领域的热点问题，特别是在影视动画、游戏等的发展中，具有广泛应用前景，国内外许多研究机构正致力于这一方向的研究。近年来，随着运动捕获技术的快速发展，三维影视动画、游戏、新一代人交互等领域的兴起，非常多复杂和逼真的人体动作需要快速的被捕获应用，需要一种快速有效的方法进行人体运动的捕获。目前已提出的光学式的运动捕获方法，主要基于计算机视觉原理，通过对目标上特定光点的监视和跟踪来完成运动捕捉任务。但上述的运动捕获方法有几点不足：

(1)光学式的运动捕获在使用时需要在表演者身上粘贴标记点，并需要表演者穿上特制的表演用服装，交互起来并不方便。当运动复杂时，不同部位的标记点有可能发生混淆、遮挡，产生错误结果，这时需要人工干预后处理过程。

(2)虽然它可以捕捉实时运动，但后处理(包括标记点的识别、跟踪、空间坐标的计算)的工作量较大，对于表演场地的光照、反射情况有一定的要求，装置定标也较为烦琐。

发明内容

本发明的目的是提供一种融合深度图和三维模型的人体运动捕捉方法，能有效克服现有运动捕获方法中动作幅度受限制、捕捉效果失真度高和误差较大的技术缺陷。

本发明所采用的技术方案是：

融合深度图和三维模型的人体运动捕捉方法，其特征在于：

由以下步骤实现：

步骤一：采集人体动作的深度信息，去除运动目标背景，获取完整的人体动作深度信息；

步骤二：将提取的人体动作深度信息信息转化成人体的三维点云信息，对人体进行三维重建，获得人体动作的三维模型；

步骤三：重复步骤一和步骤二，基于大量采集的人体动作深度信息，建立人体动作的三维模型数据库M＝{Y₁,Y₂,…，Y_n},M表示三维模型数据库，Y_n表示第n个三维模型；

步骤四：根据人体结构及人体动作的三维模型构建出人体动作骨架，建立人体动作的骨架数据库G＝{S₁,S₂,…S_n},G表示人体骨架数据库，其中S_n表示第n个人体骨架数据，其中人体动作的骨架数据与三维模型数据一一对应；

步骤五：提取待识别人体动作的深度信息，基于深度信息构建待识别人体动作的三维模型，然后与三维模型数据库中的人体动作进行相似性匹配，按相似性排序输出人体动作骨架，相似性距离值最小的骨架作为最优骨架，以最优骨架作为运动捕获结果；

步骤一中，基于采集的人体动作深度信息，去除运动目标背景，获取完整的人体动作深度信息的具体步骤为：

(1)采集的一个人体动作深度图用F(x,y,d_p)表示，其中，x、_y分别为像素坐标系下的横坐标和纵坐标，d_p为深度信息；假设基于深度信息分割背景区域和目标区域的阈值为：

T＝(maxDepthVulue+minDepthVulue)/2

其中,maxDepthVulue和minDepthVulue分别为图像深度值的最大和最小值，将T记录在T₀中，根据阈值T，将F(x,y,d_p)分为背景区域和目标区域，分别求出背景区域和目标区域的平均深度值du₁和du₂；

(2)重新计算T＝(du₁+du₂)/2，判断T与T₀是否相等，如果不相等，那么将T记录在T₀里，重复上述步骤，直到T＝T₀成立，终止算法；把最后得到的T作为最佳阈值对F(x,y,d_p)进行分割，去除背景，得到完整的人体动作深度信息d₀；

步骤二中，将提取的人体动作深度信息转化成人体的三维点云信息，对人体进行三维重建，获得人体动作的三维模型的具体步骤为：

(1)将提取出的深度信息d₀归一化，假设深度值的个数为N，计算出深度值中的最大值max d₀(k)和最小值min d₀(k)，归一化后的深度值为：

z(n)＝(d₀(n)-min d₀(k))/(max d₀(k)-min d₀(k))k，n＝1，2，...，N

(2)令Z＝z(n),世界坐标系是以摄像机为原点的，经过标定后摄像机可以看做是理想的成像模型，根据简单的相似三角形变换原理：

从中可以计算得到世界坐标系的X、Y值，其中，x、y分别为像素坐标系的横坐标和纵坐标，f为摄像机的焦距；最终可以得到人体动作的三维点云信息(X,Y,Z)；

步骤四中，根据人体结构及人体动作的三维模型构建出人体动作骨架的具体步骤为：

(1)在深度图中将身体躯干近似视为四边形，记为Q；

Q上方的两个顶点就是肩关节点a₁和a₂的位置；

颈关节点b为a₁、a₂连线的中点；

沿b点向上，最上端就是头部节点c的位置；

Q下方的两个顶点为髋关节d₁和d₂的位置；

胯关节点e在d₁、d₂的中点位置；

(2)确定手关节点和肘关节位置从a₁、a₂处开始进行搜索，若手臂伸直，根据上下手臂长度比例确定肘关节点f₁、f₂和手关节点g₁、g₂的位置；若手臂弯曲，在肘关节点的位置有拐点，拐点的位置为f₁、f₂，沿f₁、f₂继续搜索至终点为手关节点g₁、g₂的位置；

同理，根据手关节点和肘关节位置的确定方法可以确定出膝关节点h₁、h₂和脚关节点i₁、i₂的位置；

(3)将各个关节点坐标按人体结构顺序用直线相连接，就得到了人体动作骨架；

步骤五中，提取待识别人体动作的深度信息，基于深度信息构建待识别人体动作的三维模型，然后与三维模型数据库中的人体动作进行相似性匹配的具体步骤为：

(1)将三维模型表示的人体动作用层次聚类算法进行聚类：

①假设一个参数m表示最终聚类簇的数目，将每个输入的数据作为单独的一个数据簇D₀，求出与每个D相邻的最近的簇D_x，数据簇间的距离可以看做是数据簇中心间的距离；

②将距离最近的两个数据簇D_p和D_q进行合并，产生的新的数据簇D_n，再计算D_n与其它簇的距离，如果当前数据簇的数目大于m，那么就转到②继续进行数据簇的合并，否则算法结束，得到聚类结果D＝{u₁,u₂,…,u_m}，其中u表示每个类的值；

(2)计算待识别人体动作序列各个动作帧与三维模型数据库中的人体动作序列各个动作帧之间的距离：

①假设待识别的人体动作和数据库中任意一个三维模型聚类结果分别表示为：

D_i＝{u′₁，u′₂，…，u′_m}

D_j＝{v₁，v₂，…，v_m}

从聚类树的根节点开始，进行深度优先搜索直至叶节点；

②在遍历搜索的过程中对D_i和D_j中各个类的对象计算距离，将各个类的距离求和，得到两颗聚类树的欧式距离：

(3)用正则时间规整的方法计算出最优匹配路径，得到最优匹配序列：

①假设待识别的三维模型动作序列为三维模型数据库中的一组动作序列为m和n分别表示两个动作序列的长度，两个序列中各个动作帧之间的距离用上述方法可以计算得到；

②因为m和n可能不相等，所以其对应的匹配关系可能有很多种，利用正则时间规整的方法，计算出序列间的最小距离J，同时获得最佳匹配路径P_x和P_y：

这里，W_x＝W(p_x)∈{0,1}^m×l和W_y＝W(p_y)∈{0,1}^n×l是两个二进制的规整矩阵，对每一步的t∈{1:l}有其他情况时其中l是正则时间规整算法自动选择的需要匹配的动作帧的数目，l≥max(m,n)；φ(·)是正则项：

P_x和P_y表示所有可能的匹配路径，需要满足的约束条件为：

Ψ＝{{P_x,P_y}|P_x∈(1:m)^l,P_y∈(1:n)^l

边界：

单调性：

连续性：

和是线性变化矩阵，d≤min(d_x,d_y)，需满足的约束条件为：

其中，λ∈[0,1]；

③重复以上步骤，利用正则时间规整方法，计算三维模型数据库中每一组动作序列Y分别与X的最小距离J及最佳匹配路径P_x和P_y；然后求出各个J的最小值和其对应的P_x和P_y，从而获得对应的最佳匹配序列。

本发明具有以下优点：

(1)本发明所涉及的方法使用相关设备采集深度信息，表演者无需在人体上安装传感器或添加标记点，活动的幅度大，对于表演场地要求不多，方便且容易实现。

(2)本发明针对以往无标记点的运动捕获技术主要是基于视频方法，拍摄出二维图像序列达到运动捕获的目的，本发明融合了深度信息，解决了在没有深度信息的二维图像中身体的自遮挡导致身体部位信息缺失的问题，保证了信息获取的完整性和可靠性。

(3)本发明使用层次聚类法，数据簇间距离和规则的相似度容易定义，将数据量较大的三维点云数据缩小为几个类，以便于后续利用深度优先搜索方法计算两帧三维模型的欧式距离，减少了计算量。

(4)本发明在运动序列匹配上使用正则时间规整(Canonical Time Warping,CTW)的方法，该方法具有算法鲁棒的优点，并且即使测试序列模式与数据库中参考序列模式的时间尺度不能完全一致，它仍能较好地完成测试序列与参考序列之间的模式匹配。CTW是基于动态规划的方法，步骤五第(3)步的②中公式是CTW方法的目标函数，目标函数中加有正则项和两个二进制规整矩阵，为目标函数提供了唯一解的可能性，提高了两个序列匹配的精度，使匹配的时间大幅降，保证了运动捕获的速度和精度。

附图说明

图1为本发明方法的总体流程图。

图2为本发明步骤一的具体流程框图。

图3为本发明步骤五的具体流程框图。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

本发明所涉及的融合深度图和三维模型的人体运动捕捉方法，由以下步骤实现：

步骤一：应用相关设备采集人体动作的深度信息，去除运动目标背景，获取完整的人体动作深度信息。

基于采集的人体动作深度信息，去除运动目标背景，获取完整的人体动作深度信息的具体步骤为：

(1)采集的一个人体动作深度图用F(x,y,d_p)表示，其中，x、y分别为像素坐标系下的横坐标和纵坐标，d_p为深度信息；假设基于深度信息分割背景区域和目标区域的阈值为：

T＝(maxDepthVulue+minDepthVulue)/2

其中,maxDepthVulue和minDepthVulue分别为图像深度值的最大和最小值，将T记录在T₀中，根据阈值T，将F(x,y,d_p)分为背景区域和目标区域，分别求出背景区域和目标区域的平均深度值du₁和du₂；

(2)重新计算T＝(du₁+du₂)/2，判断T与T₀是否相等，如果不相等，那么将T记录在T₀里，重复上述步骤，直到T＝T₀成立，终止算法；把最后得到的T作为最佳阈值对F(x,y,d_p)进行分割，去除背景，得到完整的人体动作深度信息d₀。

步骤二：将提取的人体动作深度信息转化成人体的三维点云信息，对人体进行三维重建，获得人体动作的三维模型，具体步骤为：

(1)将提取出的深度信息d₀归一化，假设深度值的个数为N，计算出深度值中的最大值最大值max d₀(k)和最小值min d₀(k)，归一化后的深度值为：

z(n)＝(d₀(n)-mind₀(k))/(maxd₀(k)-mind₀(k))k，n＝1，2，...，N

(2)令Z＝z(n)，世界坐标系是以摄像机为原点的，经过标定后摄像机可以看做是理想的成像模型，根据简单的相似三角形变换原理：

从中可以计算得到世界坐标系的X、Y值，其中，x、y分别为像素坐标系的横坐标和纵坐标，f为摄像机的焦距。最终可以得到人体动作的三维点云信息(X,Y,Z)。

步骤三：重复步骤一和步骤二，基于大量采集的尽可能多的人体动作深度信息，建立人体动作的三维模型数据库M＝{Y₁,Y₂,…，Y_n},M表示三维模型数据库，Y_n表示第n个三维模型。

步骤四：根据人体结构及人体动作的三维模型构建出人体动作骨架，建立人体动作的骨架数据库G＝{S₁,S₂,…S_n},G表示人体骨架数据库，其中S_n表示第n个人体骨架数据，其中人体动作的骨架数据与三维模型数据一一对应。

根据人体结构及人体动作的三维模型构建出人体动作骨架的具体步骤为：

(1)在深度图中将身体躯干近似视为四边形，记为Q；

Q上方的两个顶点就是肩关节点a₁和a₂的位置；

颈关节点b为a₁、a₂连线的中点；

沿b点向上，最上端就是头部节点c的位置；

Q下方的两个顶点为髋关节d₁和d₂的位置；

胯关节点e在d₁、d₂的中点位置；

(2)确定手关节点和肘关节位置从a₁、a₂处开始进行搜索，若手臂伸直，根据上下手臂长度比例确定肘关节点f₁、f₂和手关节点g₁、g₂的位置；若手臂弯曲，在肘关节点的位置有拐点，拐点的位置为f₁、f₂，沿f₁、f₂继续搜索至终点为手关节点g₁、g₂的位置；

同理，根据手关节点和肘关节位置的确定方法可以确定出膝关节点h₁、h₂和脚关节点i₁、i₂的位置；

(3)将各个关节点坐标按人体结构顺序用直线相连接，就得到了人体动作骨架。

步骤五：提取待识别人体动作的深度信息，基于深度信息构建待识别人体动作的三维模型，然后与三维模型数据库中的人体动作进行相似性匹配，按相似性排序输出人体动作骨架，相似性距离值最小的骨架作为最优骨架，以最优骨架作为运动捕获结果。

提取待识别人体动作的深度信息，基于深度信息构建待识别人体动作的三维模型，然后与三维模型数据库中的人体动作进行相似性匹配的具体步骤为：

(1)将三维模型表示的人体动作用层次聚类算法(THA)进行聚类：

①假设一个参数m表示最终聚类簇的数目，将每个输入的数据作为单独的一个数据簇D₀，求出与每个D相邻的最近的簇D_x，数据簇间的距离可以看做是数据簇中心间的距离；

②将距离最近的两个数据簇D_p和D_q进行合并，产生的新的数据簇D_n，再计算D_n与其它簇的距离，如果当前数据簇的数目大于m，那么就转到②继续进行数据簇的合并，否则算法结束，得到聚类结果D＝{u₁,u₂,…,u_m}，其中u表示每个类的值；

(2)计算待识别人体动作序列各个动作帧与三维模型数据库中的人体动作序列各个动作帧之间的距离：

①假设待识别的人体动作和数据库中任意一个三维模型聚类结果分别表示为：

D_i＝{u′₁，u′₂，…，u′_m}

D_j＝{v₁，v₂，…，v_m}

从聚类树的根节点开始，进行深度优先搜索直至叶节点；

②在遍历搜索的过程中对D_i和D_j中各个类的对象计算距离，将各个类的距离求和，得到两颗聚类树的欧式距离：

(3)用正则时间规整(Canonical Time Warping,CTW)的方法计算出最优匹配路径，得到最优匹配序列：

①假设待识别的三维模型动作序列为三维模型数据库中的一组动作序列为m和n分别表示两个动作序列的长度，两个序列中各个动作帧之间的距离用上述方法可以计算得到；

②因为m和n可能不相等，所以其对应的匹配关系可能有很多种，利用正则时间规整的方法，计算出序列间的最小距离J，同时获得最佳匹配路径P_x和P_y：

这里，W_x＝W(p_x)∈{0,1}^m×l和W_y＝W(p_y)∈{0,1}^n×l是两个二进制的规整矩阵，对每一步的t∈{1:l}有其他情况时其中l是正则时间规整算法自动选择的需要匹配的动作帧的数目，l≥max(m,n)。φ(·)是正则项：

P_x和P_y表示所有可能的匹配路径，需要满足的约束条件为：

Ψ＝{{P_x,P_y}|P_x∈(1:m)^l,P_y∈(1:n)^l

边界：

单调性：

连续性：

和是线性变化矩阵，需满足的约束条件为：

其中，λ∈[0,1]；

③重复以上步骤，利用正则时间规整方法，计算三维模型数据库中每一组动作序列Y分别与X的最小距离J及最佳匹配路径P_x和P_y。然后求出各个J的最小值和其对应的P_x和P_y，从而获得对应的最佳匹配序列。

本发明的内容不限于实施例所列举，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。

Claims (1)

1.融合深度图和三维模型的人体运动捕捉方法，其特征在于：

由以下步骤实现：

步骤一：采集人体动作的深度信息，去除运动目标背景，获取完整的人体动作深度信息；

步骤二：将提取的人体动作深度信息信息转化成人体的三维点云信息，对人体进行三维重建，获得人体动作的三维模型；

步骤三：重复步骤一和步骤二，基于大量采集的人体动作深度信息，建立人体动作的三维模型数据库M＝{Y₁,Y₂,…，Y_n},M表示三维模型数据库，Y_n表示第n个三维模型；

步骤四：根据人体结构及人体动作的三维模型构建出人体动作骨架，建立人体动作的骨架数据库G＝{S₁,S₂,…S_n},G表示人体骨架数据库，其中S_n表示第n个人体骨架数据，其中人体动作的骨架数据与三维模型数据一一对应；

步骤五：提取待识别人体动作的深度信息，基于深度信息构建待识别人体动作的三维模型，然后与三维模型数据库中的人体动作进行相似性匹配，按相似性排序输出人体动作骨架，相似性距离值最小的骨架作为最优骨架，以最优骨架作为运动捕获结果；

步骤一中，基于采集的人体动作深度信息，去除运动目标背景，获取完整的人体动作深度信息的具体步骤为：

(1)采集的一个人体动作深度图用F(x,y,d_p)表示，其中，x、y分别为像素坐标系下的横坐标和纵坐标，d_p为深度信息；假设基于深度信息分割背景区域和目标区域的阈值为：

T＝(maxDepthVulue+minDepthVulue)/2

其中,maxDepthVulue和minDepthVulue分别为图像深度值的最大和最小值，将T记录在T₀中，根据阈值T，将F(x,y,d_p)分为背景区域和目标区域，分别求出背景区域和目标区域的平均深度值du₁和du₂；

(2)重新计算T＝(du₁+du₂)/2，判断T与T₀是否相等，如果不相等，那么将T记录在T₀里，重复上述步骤，直到T＝T₀成立，终止算法；把最后得到的T作为最佳阈值对F(x,y,d_p)进行分割，去除背景，得到完整的人体动作深度信息d₀；

步骤二中，将提取的人体动作深度信息转化成人体的三维点云信息，对人体进行三维重建，获得人体动作的三维模型的具体步骤为：

(1)将提取出的深度信息d₀归一化，假设深度值的个数为N，计算出深度值中的最大值max d₀(k)和最小值min d₀(k)，归一化后的深度值为：

z(n)＝(d₀(n)-min d₀(k))/(max d₀(k)-min d₀(k))k，n＝1，2，...，N

(2)令Z＝z(n),世界坐标系是以摄像机为原点的，经过标定后摄像机可以看做是理想的成像模型，根据简单的相似三角形变换原理：

从中可以计算得到世界坐标系的X、Y值，其中，x、y分别为像素坐标系的横坐标和纵坐标，f为摄像机的焦距；最终可以得到人体动作的三维点云信息(X,Y,Z)；

步骤四中，根据人体结构及人体动作的三维模型构建出人体动作骨架的具体步骤为：

(1)在深度图中将身体躯干近似视为四边形，记为Q；

Q上方的两个顶点就是肩关节点a₁和a₂的位置；

颈关节点b为a₁、a₂连线的中点；

沿b点向上，最上端就是头部节点c的位置；

Q下方的两个顶点为髋关节d₁和d₂的位置；

胯关节点e在d₁、d₂的中点位置；

(2)确定手关节点和肘关节位置从a₁、a₂处开始进行搜索，若手臂伸直，根据上下手臂长度比例确定肘关节点f₁、f₂和手关节点g₁、g₂的位置；若手臂弯曲，在肘关节点的位置有拐点，拐点的位置为f₁、f₂，沿f₁、f₂继续搜索至终点为手关节点g₁、g₂的位置；

同理，根据手关节点和肘关节位置的确定方法可以确定出膝关节点h₁、h₂和脚关节点i₁、i₂的位置；

(3)将各个关节点坐标按人体结构顺序用直线相连接，就得到了人体动作骨架；

步骤五中，提取待识别人体动作的深度信息，基于深度信息构建待识别人体动作的三维模型，然后与三维模型数据库中的人体动作进行相似性匹配的具体步骤为：

(1)将三维模型表示的人体动作用层次聚类算法进行聚类：

①假设一个参数m表示最终聚类簇的数目，将每个输入的数据作为单独的一个数据簇D₀，求出与每个D相邻的最近的簇D_x，数据簇间的距离可以看做是数据簇中心间的距离；

②将距离最近的两个数据簇D_p和D_q进行合并，产生的新的数据簇D_n，再计算D_n与其它簇的距离，如果当前数据簇的数目大于m，那么就转到②继续进行数据簇的合并，否则算法结束，得到聚类结果D＝{u₁,u₂,…,u_m}，其中u表示每个类的值；

(2)计算待识别人体动作序列各个动作帧与三维模型数据库中的人体动作序列各个动作帧之间的距离：

①假设待识别的人体动作和数据库中任意一个三维模型聚类结果分别表示为：

D_i＝{u′₁，u′₂，…，u′_m}

D_j＝{v₁，v₂，…，v_m}

从聚类树的根节点开始，进行深度优先搜索直至叶节点；

②在遍历搜索的过程中对D_i和D_j中各个类的对象计算距离，将各个类的距离求和，得到两颗聚类树的欧式距离：

(3)用正则时间规整的方法计算出最优匹配路径，得到最优匹配序列：

①假设待识别的三维模型动作序列为三维模型数据库中的一组动作序列为m和n分别表示两个动作序列的长度，两个序列中各个动作帧之间的距离用上述方法可以计算得到；

②因为m和n可能不相等，所以其对应的匹配关系可能有很多种，利用正则时间规整的方法，计算出序列间的最小距离J，同时获得最佳匹配路径P_x和P_y：

这里，W_x＝W(p_x)∈{0,1}^m×l和W_y＝W(p_y)∈{0,1}^n×l是两个二进制的规整矩阵，对每一步的t∈{1:l}有w_pt,t＝1，其他情况时w_pt,t＝0，其中l是正则时间规整算法自动选择的需要匹配的动作帧的数目，l≥max(m,n)；φ(·)是正则项：

P_x和P_y表示所有可能的匹配路径，需要满足的约束条件为：

Ψ＝{{P_x,P_y}|P_x∈(1:m)^l,P_y∈(1:n)^l

边界：

单调性：

连续性：

和是线性变化矩阵，d≤min(d_x,d_y)，需满足的约束条件为：

其中，λ∈[0,1]；

③重复以上步骤，利用正则时间规整方法，计算三维模型数据库中每一组动作序列Y分别与X的最小距离J及最佳匹配路径P_x和P_y；然后求出各个J的最小值和其对应的P_x和P_y，从而获得对应的最佳匹配序列。