CN102270345A - 基于第二代条带波变换图像特征表示和人体运动跟踪方法 - Google Patents

Abstract

本发明公开了一种基于第二代条带波变换图像特征表示和人体运动跟踪方法，主要解决现有特征提取基于人体轮廓和边缘模糊性，不能反映内在图像的几何流向与纹理等一些缺陷的问题。其实现过程是：输入待处理视频图像，提取人体部位框图；对图像进行二维多尺度小波变换；利用四叉树划分和自底向上融合法则寻找最优几何流方向；对量化后的最优几何流方向信号做一维小波变换，重组为二维形式，得到Bandelet2系数矩阵；提取最大几何流统计特征作为最终图像特征表示；由回归过程学习图像特征到三维运动数据的映射关系，对新的训练视频图像预测并恢复三维姿态。本发明跟踪快速，结果精确，计算量小，减小了图像表示的模糊，可用于人体目标识别和三维姿势重建。

Description

基于第二代条带波变换图像特征表示和人体运动跟踪方法

技术领域

本发明属于计算机视觉及视频图像处理技术领域，主要涉及视频图像特征纹理表示方法，具体是一种基于第二代条带波变换图像特征表示和人体运动跟踪方法，用于视频人体运动跟踪和三维姿势恢复。

背景技术

视频人体运动跟踪是近二十年内计算机视觉领域的重大热点之一，人物是核心的内容，反映着图像的核心语义特征。此类技术已在运动捕获，人机交互，视频监控等多领域获得了初步的应用，并具重大的应用前景。对视频人体运动跟踪的理解和解译属于视频图像处理范畴，还涉及模式识，别机器学习及信号处理，等众多学科。三维人体运动跟踪和姿势恢复一系列的研究是计算机视觉领域一个长期存在，重要而距离彻底解决尚很遥远的问题。对人类来说，观看一幅图像时几乎可以瞬间理解其中人物的姿态；然而对于计算机来说，这种理解需要克服重重困难，必需要一种有效的图像特征表征其中的人物运动状态以及图像纹理，轮廓等细节信息，作为计算机的识别接口。在运动跟踪过程中，需要将运动跟踪判定方法和图像特征表示结合使用达到对人体的运动跟踪和三维姿势恢复。现有的运动跟踪中使用的跟踪判定方法大致可分为产生式和判别式。图像特征表示方法大致可以分为基于全局特征点方法和基于局部字码表的特征表示方法，如梯度直方特征(HOG)、层级化特征(HMAX)、形状上下文、及尺度不变性特征点的方法等。

目前已经有很多成熟的图像特征表示方法被运用到人体特征表示和运动跟踪中。但是大部分描述人体的图像特征表示是基于轮廓和边缘信息的，在理论上不严格，很难较好地刻画图像内部信息。同时在此类基于边缘的方法中还面临一个主要问题，图像快变经常不对应于沿边缘曲线的不连续性跳跃，一方面导致封闭边界的灰度不连续性模糊，另一方面规划出的纹理变化不沿几何曲线聚集。最终结果是无法有效表示图像中的几何纹理走向，不能全面刻画人在其中的姿态和特征信息，对于后期的运动跟踪和恢复产生了模糊性和歧义性。

本发明的发明人就本主题在互联网上和论文数据库中进行了检索，未发现与本发明有完全相同的方法文献及报道。

发明内容

本发明的目的在于克服上述已有技术的不足，提出了一种基于第二代条带波变换图像特征表示和人体运动跟踪方法，以降低图像特征提取的复杂度，提高特征的表征能力，并在图像数据分布未知情况下，通过学习先验进行准确的姿态预测。

本发明的技术方案通过如下步骤实现：视频图像处理具体包括：

(1)输入待处理训练及测试视频图像集转换为连续单幅序列图，根据图像内容，判断需要识别的主要人体目标，提取出含有人体的矩形框体，统一图像大小，统一将每幅图像大小转换为近似于人体运动比例的64×192像素的初始图像，作为之后处理的训练样本。

(2)对每个训练样本图像进行二维离散正交小波变换，小波变换的层数为L＝1。

(3)对小波变换后的图像，根据四叉树划分和自底向上融合法则，得到最优的条带波子块，因在对训练样本提取全部描述子之前需要对其进行纹理分析，故提取最优几何流的条带波特征。

(4)使用一维离散变换，按最优方向投影误差值从小到大重排步骤2中得到的采样信息，得到变换后信号f_θ。

(5)计算f_θ的量化值

量化公式为：

$Q\left(t\right)=\left\{\begin{array}{cc}0& \left|x\right|\≤0\\ \mathrm{sign}\left(x\right)*(q+0.5)*T& \mathrm{qT}\≤\left|x\right|\≤(q+1)T\end{array}\right.$

其中，T为量化阈值，且q∈Z。

(6)将所得的相对应于每个子块最优几何流方向d的小波系数存储在一个与子块大小S相同的二维矩阵中，所得的整体矩阵称之为Bandelet2(即第二代条带波)系数矩阵。

(7)提取Bandelet2系数矩阵所对应几何流的统计特征作为最后特征，每个统计特征大小为768维，统计特征可以作为图像表述。

(8)以几何流最大值统计特征，进行人体运动姿势的机器学习跟踪，对输入视频图像进行三维姿势恢复。

本发明的技术思路是：从视频图像序列中提取含有人体全身的图像部位，然后对图像进行二维小波多尺度变换，通过四叉树剖分和CART自底向上融合构造出沿几何流方向弯曲的小波函数，在最终得到的剖分图中确定每个子块的最优方向，并在其上做正交投影，将二维函数转化为一维函数。最终提取相应区域几何流方向的最大值作为Bandelet2图像统计特征。将此统计特征与相应训练图像的三维姿势通过双高斯模型的跟踪判定方法进行学习，对新的视频图像序列进行运动跟踪和三维姿势恢复。

本发明的实现还在于，步骤(3)中对最优几何流的条带波特征的提取步骤包括有：

(3.1)对于初始图像中宽度为L的子块S，计算其最优几何流方向，最优方向可以通过优化一个拉格朗日罚函数L₀(S)确定：

$L(f_{\mathrm{\θ}},R)={\left|\right|f_{\mathrm{\θ}}-{\tilde{f}}_{\mathrm{\θ}}\left|\right|}^2+\mathrm{\λ}*T^2(R_g+R_b)$

右边第一项为逼近均方误差，第二项为计算复杂度的惩罚项，式中，f_θ为真实最优基函数，

为估计值，λ为罚比例因子，计算中取经验值，T为量化阈值，R_g是通过熵编码处理最优几何流参数d所需的比特数大小，R_b是量化编码{Q(t)}所需的比特数的大小。

(3.2)令L＝2L，对每个L×L的方块，仍然标记为S，计算最佳的几何流方向和相应的拉格朗日函数值L(S)。

(3.3)对每个尺寸为L×L大小的条带波方块S，它的四个孩子标记为(S₁，S₂，S₃，S₄)，计算这四个孩子作为叶节点联合在一起的拉格朗日函数值：

$\tilde{L}\left(S\right)=L_0\left(S_1\right)+L_0\left(S_2\right)+L_0\left(S_3\right)+L_0\left(S_4\right)+L_0\left(S\right)+\mathrm{\λ}\·T^2$

(3.4)令 $L_0\left(S\right)=\min \{L\left(S\right),\tilde{L}\left(S\right)\}.$

(3.5)重复步骤3.2-3.4，直到L达到最大分割尺度，L₀(S)即为最终的四叉树分割结果，同时还可以得到各Bandelet2块的最佳几何流方向，将具有基本相同几何流方向的Bandelet2块合并在一起，逐步合并一些小的Bandelet2的块，可以得到最终的Bandelet2块划分的结果。

本发明采用的最优几何流的条带波特征的提取优势在于，能够寻找图像子块中局部的纹理信息和几何方向，从而勾画出整体图像的内部以及外部几何结构。

本发明的实现还在于，步骤(4)中重排步骤(2)得到的采样信息的步骤包括有：

(4.1)将每一子块内所有的点按照最优方向投影误差值从小到大排序，可以得到一个L²长度大小的排序索引。

(4.2)将小块内的二维离散小波变换后的系数按索引重排序，得到一个一维信号f_d。

(4.3)将f_d进行一维离散小波变换，得到变换后信号f_θ。

本发明采用的重排采样信息的优势在于，能够加快计算速度，提高运算时的搜索能力，减少计算时间。

本发明的实现还在于，步骤(8)中人体运动姿势的机器学习跟踪和三维姿势恢复的步骤包括有：

(8.1)利用高斯过程学习训练图像Bandelet2最大值特征X＝{x₁，x₂，...x_n}和对应三维姿势坐标点数据Y＝{y₁，y₂，...y_n}的映射关系；回归过程学习到核函数的相应参数和特征空间至姿势状态空间的映射关系

(8.2)对于新的测试人体运动图像序列，提取相应Bandelet2特征X′＝{x′₁，x′₂，...，x′_n}，根据学习到的映射关系f，求解测试样本所对应的三维人体运动姿势数据Y′＝{y′₁，y′₂，...，y′_n}。

(8.3)由得到视频人体运动跟踪的结果Y′＝{y′₁，y′₂，...，y′_n}，准确恢复输入视频人体运动，包含20个关节点的空间三维运动姿势。

本发明采用的机器学习方法进行的跟踪和三维姿势恢复的步骤优势在于，能通过学习先验知识，提高算法的归纳能力，最终对于后期的快速运动跟踪和三维姿势恢复构成必不可少的映射关系。

本发明与现有技术相比具有以下优点：

(1)本发明不需要对视频图像序列中的人体运动区域进行背景剪除，比传统的特征提取方法能更加节省计算资源和时间复杂度。

(2)在本发明中使用的第二代条带波特征表示方法能够通过几何流准确表示图像的人体结构信息，根据几何流的图像描述可以避免传统的基于边缘的，或基于轮廓的图像表示方法产生的表述模糊性(前后肢体的相互遮挡关系和景深距离关系)缺陷，得到更好的三维运动跟踪结果。

(3)本发明提取的图像特征信息较传统的图像描述方法维度低，对于学习训练部分能有效缩减时间和数据计算量，为未来的实时跟踪奠定基础。

附图说明

图1是本发明的算法实现流程图；

图2是未经处理的原始某人的行走运动序列视频图，其中图2a是序列第一截图，其中图2b是序列第二截图，其中图2c是序列第三截图，其中图2d是序列第四截图；

图3是本发明与现有方法HOG，HMAX对图2中某人的行走运动序列跟踪的三维关节点平均误差值的对比图；

图4是本发明对多个运动姿态三维恢复结果的某帧图像截图一。图4a是原始训练视频截图一，图4b是对图4a恢复的三维姿势图。

图5是本发明对多个运动姿态三维恢复结果的某帧图像截图二。图5a是原始训练视频截图一，图5b是对图5a恢复的三维姿势图。

图6是本发明对多个运动姿态三维恢复结果的某帧图像截图三。图6a是原始训练视频截图一，图6b是对图6a恢复的三维姿势图。

具体实施方式

实施例1

本发明是一种基于第二代条带波变换图像特征表示和人体运动跟踪方法，参照图1，本发明的具体实施过程如下：

(1)输入待处理训练及测试视频图像集转换为连续单幅序列图，根据图像内容，判断需要识别的主要人体目标，提取出含有人体的矩形框体，统一将每幅图像大小转换为近似于人体运动比例的64×192像素的初始图像，作为之后处理的训练样本。因为本发明不需对视频图像进行背景剪除，因而节省了计算资源和时间复杂度。

(2)对每个训练样本图像进行二维离散正交小波变换，小波变换的层数为L＝1。

(3)对小波变换后的图像，根据四叉树划分和自底向上融合法则，得到最优的条带波子块，因在对训练样本提取全部描述子之前需要对其进行纹理分析，故提取最优几何流的条带波特征，具体步骤如下：

(3a)对于图像中宽度为L的子块S，计算其最佳几何流方向，最优方向可以通过优化一个拉格朗日罚函数L₀(S)确定：

$L(f_{\mathrm{\θ}},R)={\left|\right|f_{\mathrm{\θ}}-{\tilde{f}}_{\mathrm{\θ}}\left|\right|}^2+\mathrm{\λ}*T^2(R_g+R_b)$

右边第一项为逼近均方误差，第二项为计算复杂度的惩罚项。其中，f_θ为真实最优基函数，

为估计值，λ为罚比例因子，计算中取经验值3/28，T为量化阈值取15，R_g是通过熵编码处理最优几何流参数d所需的比特数大小由计算取得，R_b是量化编码{Q(t)}所需的比特数的大小由计算确定。

(3b)令L＝2L，对每个L×L的方块(仍然记为S)，计算最佳的几何流方向和相应的拉格朗日函数值L(S)。

(3c)对每个尺寸为L×L大小的条带波方块S，它的四个孩子标记为(S₁，S₂，S₃，S₄)，计算这四个孩子作为叶节点联合在一起的拉格朗日函数值：

$\tilde{L}\left(S\right)=L_0\left(S_1\right)+L_0\left(S_2\right)+L_0\left(S_3\right)+L_0\left(S_4\right)+L_0\left(S\right)+\mathrm{\λ}\·T^2$

(3d)令 $L_0\left(S\right)=\min \{L\left(S\right),\tilde{L}\left(S\right)\}.$

(3e)重复步骤(3b)-(3d)，直到L达到最大分割尺度。L₀(S)即为最终的四叉树分割结果，同时还可以得到各Bandelet2块的最佳几何流方向。将具有基本相同几何流方向的Bandelet2块合并在一起，逐步合并一些小的Bandelet2的块，可以得到最终的Bandelet2块划分的结果。

(4)使用一维离散变换，按最优方向投影误差值从小到大重排步骤2中得到的采样信息，得到变换后信号f_θ，其具体步骤如下：

(4a)将每一子块内所有的点按照最优投影方向误差值从小到大排序，可以得到一个L²长度大小的排序索引。

(4b)将小块内的二维离散小波变换后的系数按索引重排序，得到一个一维信号f_d。

(4c)将f_d进行一维离散小波变换，得到变换后信号f_θ。

(5)计算f_θ的量化值

量化公式为：

$Q\left(t\right)=\left\{\begin{array}{cc}0& \left|x\right|\≤0\\ \mathrm{sign}\left(x\right)*(q+0.5)*T& \mathrm{qT}\≤\left|x\right|\≤(q+1)T\end{array}\right.$

其中，T为量化阈值，且q∈Z。

(6)将所得的相对应于每个子块最优几何流方向d的小波系数存储在一个与子块大小S相同的二维矩阵中，所得的整体矩阵称之为Bandelet2系数矩阵。本发明使用的第二代条带波特征，因为几何流能够反应图像中的变化和变化趋势，所以能够准确表示变化复杂的人体结构和形状信息，也就是表现了视频图像中的纹理信息，解决了视频图像轮廓易出现边缘模糊的技术问题。

(7)提取Bandelet2系数矩阵所对应几何流的统计特征作为最后特征，每个统计特征大小为768维，统计特征可以作为图像表述。相对而言，本发明使用了较低的维度来描述视频图像特征信息，优化了算法和总体处理方案，对于后期学习部分降低了计算量。

(8)以几何流最大值统计特征，进行人体运动姿势的机器学习跟踪，对输入视频图像进行三维姿势恢复。具体步骤如下：

(8a)利用高斯过程学习训练图像Bandelet2最大值特征X＝{x₁，x₂，...x_n}和对应三维姿势坐标点数据Y＝{y₁，y₂，...y_n}的映射关系。回归过程学习到核函数的相应参数和特征空间至姿势状态空间的映射关系

(8b)对于新的测试人体运动图像序列，提取相应Bandelet2特征X′＝{x′₁，x′₂，...，x′_n}。根据学习到的映射关系f，求解测试样本所对应的三维人体运动姿势数据Y′＝{y′₁，y′₂，...，y′_n}。

(8c)由得到视频人体运动跟踪的结果Y′＝{y′₁，y′₂，...，y′_n}，可以准确恢复相对应的人体运动，包含20个关节点的空间三维运动姿势。

本发明比传统的特征提取方法能更加节省计算资源和时间复杂度。根据几何流的图像描述可以避免传统的基于边缘或轮廓的图像表示产生的表述模糊性与缺陷，得到更好的三维运动跟踪结果。还由于本发明提取的图像特征信息较传统的图像描述方法维度低，对于学习训练部分能有效缩减时间和数据计算量，也为未来的实时跟踪奠定基础。

实施例2

基于第二代条带波变换图像特征表示和人体运动跟踪方法同实施例1，其中步骤(3)中拉格朗日函数求取最优值的λ为罚比例因子，计算中取值2/35，T为量化阈值取20，R_g是通过熵编码处理最优几何流参数d所需的比特数大小由计算取得，R_b是量化编码{Q(t)}所需的比特数的大小由计算确定。

另外，在步骤(8)中采用的学习回归方法采用双高斯过程予以实现。同样能够取得与实施例1较为一致的，边缘清晰的特征提取，尤其能反映运动状态下的文理信息。

实施例3

基于第二代条带波变换图像特征表示和人体运动跟踪方法同实施例1-2，采用仿真的方法对本发明进行验证。

(一)实验条件设置

本发明中运动图像划分类别分别取为“行走”，分别在公认的运动视频序列数据库的不同的子类别上进行了验证。采用Matlab环境进行仿真编程。

如图2(a)-2(d)所示，“行走”的视频序列图像为一个女性角色在红色地毯上平行于摄像机视角方向进行环形步态行走，原始图像大小为640×480，经步骤一处理后每幅含人体图像大小为64×192，它包括正对摄像机和背对摄像机的帧图像段。其中图2a是序列第一截图，女性角色正向走过镜头；其中图2b是序列第二截图，女性角色背向远离镜头；其中图2c是序列第三截图，女性角色左侧身行走；其中图2d是序列第四截图，女性角色右侧身行走；一般图像特征提取方法很难对视觉正逆二相性及肢体遮挡模糊细节精确勾勒，对于上述测试图像也是如此。

(二)仿真内容及结果

用现有的HOG描述子特征和HMAX描述子特征以及本发明方法对图2所示“行走”人体运动视频图像进行仿真实验，其三维运动姿势的20个人体关节点估计的平均错误(估计值与真实值)误差曲线如图3。图3为采用HOG，HMAX与本文(Bandelet2)的平均运动估计误差曲线结果对比，横坐标表示训练图像帧数，单位：帧(f，图像帧数)，纵坐标表示三维空间位置平均20个人体关节点运动跟踪估计误差，单位：毫米(mm)。三者的平均误差值分别为：HOG：29.068mm，HMAX：36.43mm，本文方法：25.48mm。

从图3以看出，HOG描述子平均运动跟踪比较稳定。HMAX基于图的层次纹理结果有所改善，然而结果一般，平均误差率稍高。而本发明方法由于存在对于几何流细节纹理的提取，图像表征能力相对之前基于边缘和轮廓的有较大的提高，这也是符合实际人体运动跟踪几何细节纹理刻画需要的。本文方法取得了目前而言国际上公认数据库(HUMANEVA)的优良的结果，超越了比较试验中两种经典的方法。同时，本发明还对后期的处理预留了计算资源。

实施例4

基于第二代条带波变换图像特征表示和人体运动跟踪方法同实施例1-2，采用仿真的方法对本发明进行验证。

(一)实验条件设置

本发明中运动图像划分类别分别取为“行走”和“拳击”，在公认的运动视频序列数据库的两个不同的子类别上进行了验证。采用matlab环境进行仿真编程。

如图4(a)，5(a)分别表示“拳击”的视频序列图像，为一个女性角色在红色地毯上平行于摄像机视角，伸进于摄像机方向进行的拳击运动姿势，原始图像大小为640×480，经步骤一处理后每幅图像大小为64×192，由于动作幅度差异较小，普通提取轮廓的方法很难分辨手部细节动作内容。

本发明中所用训练样本数对应于具体的运动姿势：“行走”训练样本n＝598“拳击”训练样本n＝400，每一类采用高斯回归时平滑核参数σ＝8，采用双高斯回归时双高斯输入核函数参数k_in＝0.45，输出核函数参数k_out＝2.5×1e-6。K近邻聚类选取的样本点个数为100。

(二)仿真内容及结果

用本发明的方法对图4(a)，5(a)，6(a)几类人体视频运动图像序列进行运动跟踪和三维恢复仿真实验，其跟踪结果如图4(b)，5(b)，6(b)所示。其中图4(b)为某帧“拳击”运动跟踪三维结果，图5(b)为某帧“拳击”三维结果，图6(b)为某帧“行走”运动跟踪三维结果。

从图4(a)-4(b)可以看出，本文方法对于肢体的细节图像特征描绘起到了效果。在跟踪中结果较为准确。

从图5(a)-5(b)可以看出，本文的结果对于人体头部的轻微运动和上肢的细微动作跟踪的较为到位，从视觉上与原始视频保持了高度的一致性。

从图6(a)-6(b)可以看出，本发明方法的结果中肢体的动作的准确性得到了较大改善，同时，人体的轮廓也得到了较为准确的定位，由得到视频人体运动跟踪的结果，绘制相对应的三维运动恢复姿势视觉上效果良好。

本发明通过输入待处理视频图像，提取人体部位框图；对图像进行二维多尺度小波变换；利用四叉树划分和自底向上融合法则寻找最优几何流方向；对量化后的最优几何流方向信号做一维小波变换，重组为二维形式，得到Bandelet2系数矩阵；提取最大几何流统计特征作为最终图像特征表示；由回归过程学习图像特征到三维运动数据的映射关系，利用该关系对新的训练视频图像预测其三维运动姿态。

本发明在降低图像特征提取的复杂度的同时，提高了特征的表征能力，并在图像数据分布未知情况下，通过学习先验进行准确的三维姿态预测，一定程度上消除或减小了图像表示的模糊现象。本发明具有人体运动跟踪快速结果精确的优点，该技术可以进一步用于人体目标识别和三维姿势重建。

Claims (4)

1.一种基于第二代条带波变换图像特征表示和人体运动跟踪方法，其特征在于：包括以下步骤：

(1)输入待处理训练及测试视频图像集转换为连续单幅序列图，根据图像内容，判断需要识别的主要人体目标，提取出含有人体的矩形框体，作为之后处理的训练样本；

(2)对每个训练样本图像进行二维离散正交小波变换，变换的层数为L＝1；

(3)对小波变换后的图像，根据四叉树划分和自底向上融合法则，得到最优的条带波子块，提取最优几何流的条带波特征；

(4)使用一维离散变换，按最优方向投影误差值从小到大重排步骤2中得到的采样信息，得到变换后信号f_θ；

(5)计算f_θ的量化值

量化公式为：

$Q\left(t\right)=\left\{\begin{array}{cc}0& \left|x\right|\≤0\\ \mathrm{sign}\left(x\right)*(q+0.5)*T& \mathrm{qT}\≤\left|x\right|\≤(q+1)T\end{array}\right.$

其中，T为量化阈值，且q∈Z；

(6)将所得的相对应于每个子块最优几何流方向d的小波系数存储在一个与子块大小S相同的二维矩阵中，所得的整体矩阵称之为Bandelet2系数矩阵；

(7)提取Bandelet2系数矩阵所对应几何流的统计特征作为最后特征，每个统计特征大小为768维，统计特征可以作为图像表述；

(8)以几何流最大值统计特征，进行人体运动姿势的机器学习跟踪，对输入视频图像进行三维姿势恢复。

2.根据权利要求1所述的基于第二代条带波变换图像特征表示和人体运动跟踪方法，特征在于：步骤(3)中对最优几何流的条带波特征的提取步骤包括有：

(3.1)对于初始图像中宽度为L的子块S，计算其最优几何流方向，最优方向可以通过优化一个拉格朗日罚函数L₀(S)确定：

$L(f_{\mathrm{\θ}},R)={\left|\right|f_{\mathrm{\θ}}-{\tilde{f}}_{\mathrm{\θ}}\left|\right|}^2+\mathrm{\λ}*T^2(R_g+R_b)$

式中，f_θ为真实最优基函数，f_θ为估计值，λ为罚比例因子，T为量化阈值，R_g是通过熵编码处理最优几何流参数d所需的比特数大小，R_b是量化编码{Q(t)}所需的比特数的大小；

(3.2)令L＝2L，对每个L×L的方块，仍然标记为S，计算最佳的几何流方向和相应的拉格朗日函数值L(S)；

(3.3)对每个尺寸为L×L大小的条带波方块S，它的四个孩子标记为(S₁，S₂，S₃，S₄)，计算这四个孩子作为叶节点联合在一起的拉格朗日函数值：

$\tilde{L}\left(S\right)=L_0\left(S_1\right)+L_0\left(S_2\right)+L_0\left(S_3\right)+L_0\left(S_4\right)+L_0\left(S\right)+\mathrm{\λ}\·T^2$

(3.4)令 $L_0\left(S\right)=\min \{L\left(S\right),\tilde{L}\left(S\right)\};$

(3.5)重复步骤3.2-3.4，直到L达到最大分割尺度，L₀(S)即为最终的四叉树分割结果，同时还可以得到各Bandelet2块的最佳几何流方向，将具有基本相同几何流方向的Bandelet2块合并在一起，逐步合并一些小的Bandelet2的块，得到最终的Bandelet2块划分的结果。

3.根据权利要求1所述的基于第二代条带波变换图像特征表示和人体运动跟踪方法，特征在于：步骤(4)中重排步骤(2)得到的采样信息的步骤包括有：

(4.1)将每一子块内所有的点按照最优方向投影误差值从小到大排序，可以得到一个L²长度大小的排序索引；

(4.2)将小块内的二维离散小波变换后的系数按索引重排序，得到一个一维信号f_d；

(4.3)将f_d进行一维离散小波变换，得到变换后信号f_θ。

4.根据权利要求1所述的基于第二代条带波变换图像特征表示和人体运动跟踪方法，特征在于：步骤(8)中人体运动姿势的机器学习跟踪和三维姿势恢复的步骤包括有：

(8.1)利用高斯过程学习训练图像Bandelet2最大值特征X＝{x₁，x₂，...x_n}和对应三维姿势坐标点数据Y＝{y₁，y₂，...y_n}的映射关系；回归过程学习到核函数的相应参数和特征空间至姿势状态空间的映射关系

(8.2)对于新的测试人体运动图像序列，提取相应Bandelet2特征X′＝x′₁，x′₂，...，x′_n}，根据学习到的映射关系f，求解测试样本所对应的三维人体运动姿势数据Y′＝{y′₁，y′₂，...，y′_n}；

(8.3)由得到视频人体运动跟踪的结果Y′＝{y′₁，y′₂，...，y′_n}，可以准确恢复输入视频人体运动，包含20个关节点的空间三维运动姿势。

Images