CN106599806A - 一种基于局部曲面几何特征的人体动作识别方法 - Google Patents

Abstract

本发明公开了一种基于局部曲面几何特征的人体动作识别方法，具体按照以下步骤实施：步骤1、读入深度映射图像序列和骨架关节点数据以及相机的内部参数，重构人体动作的3D点云数据；步骤2、提取局部曲面几何特征；步骤3、计算时间金字塔协方差矩阵；步骤4、向量化时间金字塔协方差矩阵。本发明方法可用于图像处理、计算机视觉和基于深度相机的人体动作识别问题中，克服了现有特征对人体动作的姿态与几何表观信息描述能力弱与判别能力差的问题，从而有效地提高了人体动作识别的精度。

Description

一种基于局部曲面几何特征的人体动作识别方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于局部曲面几何特征的人体动作识别方法。

背景技术

人体动作识别的目的是通过计算机算法自动的将从RGB相机或其它传感器设备采集的人体动作时序序列数据转换为相应的动作语义信息。人体动作的理解与识别对许多人工智能***来说是至关重要的，并广泛的应用于智能视频监控、人机交互、视频分析与检索，以及机器人等领域中。

最近，传感器技术的进步为我们带来了低廉的高清晰的深度相机，例如微软公司的Kinect和华硕公司的Xtion PRO LIVE。深度相机利用结构光实时地感知世界并形成深度映射图像。深度映射图像中的每个像素记录着场景的深度值，与普通的RGB图像中像素所表示的入射光强度值截然不同。深度相机的引入能够极大的拓展计算机***感知三维世界并提取低层视觉信息的能力，并在计算机视觉领域中受到越来越广泛的应用。深度相机较传统RGB相机在人体动作识别方面具有无可比拟的优势，即它不受光照条件的影响，具有颜色与纹理不变性，同时，深度相机能够通过OpenNI算法来实时估计人体的骨架关节点位置，以此可作为人体的姿态信息来进行精确的人体动作识别。

目前的人体动作识别方法主要是基于RGB图像数据或深度传感器采集的深度数据。尽管RGB相机能够捕捉丰富的颜色与纹理信息，这对于图像处理来说至关重要，但是其具有固有的缺陷：对光线、视角等的变化异常敏感。从而使得前景运动目标与背景混杂在一起，导致运动目标的提取工作变得异常困难。另外，由于RGB相机在对3D场景成像过程中丢失了重要的深度或距离信息，直接从RGB图像序列中捕捉3D人体动作运动也是一件异常棘手的事情。但是，由于人体运动是在3D空间中进行的，因此，3D信息在人体动作识别中具有举足轻重的作用。相比较于传统的基于RGB的方法，当前基于深度相机的方法能够利用骨骼关节点获取人体动作的姿态信息，同时利用深度映射图像来提供更丰富的有关动作的形状和运动信息。因此对动作具有更强的描述与判别能力，从而进一步提升了动作识别的精度。但较深度映射图像而言，点云数据具有更强的3D几何结构信息。

发明内容

本发明的目的是提供一种基于局部曲面几何特征的人体动作识别方法，解决了现有基于深度相机的人体动作特征提取算法中单一依赖于骨骼关节点或深度映射图像而使得特征描述能力差和判别能力弱，最终导致识别率低的问题。

本发明所采用的技术方案是，一种基于局部曲面几何特征的人体动作识别方法，具体按照以下步骤实施：

步骤1、读入深度映射图像与骨架关节点数据以及相机的内部参数，以深度映射图像序列和相机内部参数重构人体动作的3D点云数据；

步骤2、在每帧图像上以每个骨架关节点为锚点，在其局部邻域的点云数据空间中提取9维的局部曲面几何特征；

步骤3、采用时间金字塔协方差矩阵来建模特定时间窗口内的局部曲面几何特征间的相关性与时间演化过程；

步骤4、对协方差矩阵向量化，最后得到一个N＝9M维的特征描述子，M为人体关节点的个数。

本发明的特点还在于，

步骤1的具体实施步骤为：

步骤1.1、读入深度映射图像序列和骨架关节点数据以及相机的内部参数

在深度映射图像中位置(i,j)处的深度值为I(i,j)，深度映射图像的宽度与高度分别为W和H；骨架关节点的坐标为q＝(q_x,q_y,q_z)；fov_h和fov_v分别为相机内部参数中的水平视场与垂直视场；

步骤1.2、重构人体动作的3D点云数据，即计算深度图像中每个点所对应的3D点云坐标p＝(p_x,p_y,p_z)

步骤2中的局部曲面几何特征：

f＝(q_x,q_y,q_z,n_x,n_y,n_z,μ,ν,κ)^T

其中，(q_x,q_y,q_z)为关节点的3D位置，(n_x,n_y,n_z)为关节点处的法向量，(μ,ν)为关节点处的主曲率，κ为高斯曲率。

步骤2.1、计算法向量(n_x,n_y,n_z)：

在点云空间中，选取关节点q＝(q_x,q_y,q_z)周围邻域内的K个最近邻点p_i，i＝1,2,…,K，计算其协方差：

协方差矩阵C的最小特征值所对应的特征向量即为q点处的法向量n＝(n_x,n_y,n_z)；

步骤2.2、计算主曲率(μ,ν)和高斯曲率κ：

首先将关节点q＝(q_x,q_y,q_z)周围邻域内的K个最近邻点p_i，i＝1,2,…,K，投影到q点处的切平面上，投影矩阵为：

Φ＝I-nn^T/||n||²

其中I为单位矩阵，然后在切平面上对这K个最近邻点p_i的投影点i＝1,2,…,K，进行椭圆拟合，并计算椭圆的长、短半轴长度，以此构成主曲率(μ,ν)，最后，计算高斯曲率κ＝μ·ν。

步骤3中的时间金字塔协方差矩阵的具体计算步骤为：

步骤3.1、首先对每个长度为T帧的动作样本序列进行L层的时间金字塔的划分，划分后每个子序列的长度为T/2,T/4,…。这样，金字塔中第l(l＝1,…,L)层共包含2^l-1个子序列，每个子序列的长度均为τ＝T/2^l-1帧；

步骤3.2、设f^(t)为第t帧中所有关节点处的局部曲面几何特征串接后构成的特征向量，

其维数为N＝9M，M为关节点的个数，对于Kinect相机而言，M＝20，从而，时间金字塔中的第l(l＝1,…,L)层上的第j(j＝1,…,2^l-1)个子序列的协方差矩阵为：

其中，为f^(t)的样本均值。

步骤4中时间金字塔协方差矩阵向量化的具体步骤为：

步骤4.1、对协方差矩阵C_l,j(f^(t))进行特征值分解：C_l,j(f^(t))＝UDU^T，其中U的列由正交的特征向量构成，D为特征值所构成的对角矩阵；

步骤4.2、计算log(C_l,j)＝Ulog(D)U^T,其中，log(D)为对角矩阵，每个元素为D中对应元素的自然对数值；

步骤4.3、取对称矩阵log(C_l,j)的上半角和主对角线上的元素，并将其按列展开后形成向量a_l,j，l＝1,…,L,j＝1,…,2^l-1，向量即为每个动作样本序列的局部曲面几何特征描述子。

本发明的有益效果是：本发明充分利用骨架关节点对人体姿态的强刻画能力和点云数据对动作几何表观的富描述能力，提出了一种用于人体动作识别的局部曲面几何特征及其描述子，生成的描述向量在刻画姿态信息与深度表观信息的同时，能够对动作的空间与时间维度上的相关性和演变进化过程进行建模。该特征描述子具有很强的动作描述能力与类别判别能力，能够进一步提高人体动作识别的准确率。

附图说明

图1是本发明基于局部曲面几何特征的人体动作识别方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于局部曲面几何特征的人体动作识别方法，流程图如图1所示，具体按照以下步骤实施：

步骤1、读入深度映射图像序列和骨架关节点数据以及相机的内部参数，重构人体动作的3D点云数据；

具体实施步骤为：

步骤1.1、读入深度映射图像序列和骨架关节点数据以及相机的内部参数

在深度映射图像中位置(i,j)处的深度值为I(i,j)，深度映射图像的宽度与高度分别为W和H。骨架关节点的坐标为q＝(q_x,q_y,q_z)。fov_h和fov_v分别为相机内部参数中的水平视场与垂直视场。

步骤1.2、重构人体动作的3D点云数据，即计算深度图像中每个点所对应的3D点云坐标p＝(p_x,p_y,p_z)

p_z＝I(i,j)

步骤2、在每帧图像上以每个骨架关节点为锚点，在其局部邻域的点云数据空间中提取9维的局部曲面几何特征；

提取局部曲面几何特征：

f＝(q_x,q_y,q_z,n_x,n_y,n_z,μ,ν,κ)^T

其中，(q_x,q_y,q_z)为关节点的3D位置，(n_x,n_y,n_z)为关节点处的法向量，(μ,ν)为关节点处的主曲率，κ为高斯曲率；

步骤2.1、计算法向量(n_x,n_y,n_z)：

在点云空间中，选取关节点q＝(q_x,q_y,q_z)周围邻域内的K＝50个最近邻点p_i，i＝1,2,…,K，计算其协方差：

协方差矩阵C的最小特征值所对应的特征向量即为q点处的法向量n＝(n_x,n_y,n_z)；

步骤2.2、计算主曲率(μ,ν)和高斯曲率κ：

首先将关节点q＝(q_x,q_y,q_z)周围邻域内的K个最近邻点p_i，i＝1,2,…,K，投影到q点处的切平面上，投影矩阵为：

Φ＝I-nn^T/||n||²

其中I为单位矩阵，然后在切平面上对这K个最近邻点p_i的投影点i＝1,2,…,K，进行椭圆拟合，并计算椭圆的长、短半轴长度，以此构成主曲率(μ,ν)，最后，计算高斯曲率κ＝μ·ν。

步骤3、采用时间金字塔协方差矩阵来建模特定时间窗口内的局部曲面几何特征间的相关性与时间演化过程；

计算时间金字塔协方差矩阵的具体步骤为：

步骤3.1、首先对每个长度为T帧的动作样本序列进行L＝3层的时间金字塔的划分，划分后每个子序列的长度为T/2,T/4,…，这样，金字塔中第l(l＝1,…,L)层共包含2^l-1个子序列，每个子序列的长度均为τ＝T/2^l-1帧；

步骤3.2、设f^(t)为第t帧中所有关节点处的局部曲面几何特征串接后构成的特征向量，

其维数为N＝9M，M为关节点的个数，对于Kinect相机而言，M＝20，从而，时间金字塔中的第l(l＝1,…,L)层上的第j(j＝1,…,2^l-1)个子序列的协方差矩阵为：

其中，为f^(t)的样本均值。

步骤4、对协方差矩阵向量化，最后得到一个N＝9M维的特征描述子，M为人体关节点的个数

具体步骤为：

步骤4.1、对协方差矩阵C_l,j(f^(t))进行特征值分解：C_l,j(f^(t))＝UDU^T，其中U的列由正交的特征向量构成，D为特征值所构成的对角矩阵；

步骤4.2、计算log(C_l,j)＝Ulog(D)U^T,其中，log(D)为对角矩阵，每个元素为D中对应元素的自然对数值；

步骤4.3、取对称矩阵log(C_l,j)的上半角和主对角线上的元素，并将其按列展开后形成向量a_l,j，l＝1,…,L,j＝1,…,2^l-1，向量即为每个动作样本序列的局部曲面几何特征描述子，最后可将描述向量送入到分类器中进行动作类别的识别。

本发明基于局部曲面几何特征的人体动作识别方法，充分利用了骨架关节点对人体姿态的强刻画能力和点云数据对动作几何表观的富描述能力，并对动作的空间与时间维度上的相关性和演变进化过程进行建模。该特征具有很强的动作描述能力与类别判别能力，直接送入分类器(如支持向量机)中进行类别识别，显著提高了人体动作识别的精度。

Claims (5)

1.一种基于局部曲面几何特征的人体动作识别方法，其特征在于，具体按照以下步骤实施：

步骤1、读入深度映射图像与骨架关节点数据以及相机的内部参数，以深度映射图像序列和相机内部参数重构人体动作的3D点云数据；

步骤2、在每帧图像上以每个骨架关节点为锚点，在其局部邻域的点云数据空间中提取9维的局部曲面几何特征；

步骤3、采用时间金字塔协方差矩阵来建模特定时间窗口内的局部曲面几何特征间的相关性与时间演化过程；

步骤4、对协方差矩阵向量化，最后得到一个N＝9M维的特征描述子，M为人体关节点的个数。

2.根据权利要求1所述的基于局部曲面几何特征的人体动作识别方法，其特征在于，步骤1的具体实施步骤为：

步骤1.1、读入深度映射图像序列和骨架关节点数据以及相机的内部参数，

在深度映射图像中位置(i,j)处的深度值为I(i,j)，深度映射图像的宽度与高度分别为W和H；骨架关节点的坐标为q＝(q_x,q_y,q_z)；fov_h和fov_v分别为相机内部参数中的水平视场与垂直视场；

步骤1.2、重构人体动作的3D点云数据，即计算深度图像中每个点所对应的3D点云坐标p＝(p_x,p_y,p_z)

$\begin{array}{c}{p}_x=I(i,j)\left(\frac{j}{W}-0.5\right)\tan \left(\frac{{\mathrm{fov}}_h}{2}\right)\\ p_y=I(i,j)\left(\frac{i}{H}-0.5\right)\tan \left(\frac{{\mathrm{fov}}_v}{2}\right)\\ p_z=I(i,j)\end{array}.$

3.根据权利要求1所述的基于局部曲面几何特征的人体动作识别方法，其特征在于，步骤2中的局部曲面几何特征：

f＝(q_x,q_y,q_z,n_x,n_y,n_z,μ,ν,κ)^T

其中，(q_x,q_y,q_z)为关节点的3D位置，(n_x,n_y,n_z)为关节点处的法向量，(μ,ν)为关节点处的主曲率，κ为高斯曲率；

步骤2.1、计算法向量(n_x,n_y,n_z)：

在点云空间中，选取关节点q＝(q_x,q_y,q_z)周围邻域内的K个最近邻点p_i，i＝1,2,…,K，计算其协方差

$C=\frac{1}{K}\underset{i=1}{\overset{K}{\Σ}}(p_i-q){(p_i-q)}^T$

协方差矩阵C的最小特征值所对应的特征向量即为q点处的法向量n＝(n_x,n_y,n_z)；

步骤2.2、计算主曲率(μ,ν)和高斯曲率κ：

首先将关节点q＝(q_x,q_y,q_z)周围邻域内的K个最近邻点p_i，i＝1,2,…,K，投影到q点处的切平面上，投影矩阵为

Φ＝I-nn^T/||n||²

其中I为单位矩阵，然后在切平面上对这K个最近邻点p_i的投影点i＝1,2,…,K，进行椭圆拟合，并计算椭圆的长、短半轴长度，以此构成主曲率(μ,ν)，最后，计算高斯曲率κ＝μ·ν。

4.根据权利要求1所述的基于局部曲面几何特征的人体动作识别方法，其特征在于，步骤3中的时间金字塔协方差矩阵的具体计算步骤为：

步骤3.1、首先对每个长度为T帧的动作样本序列进行L层的时间金字塔的划分，划分后每个子序列的长度为T/2,T/4,…，这样，金字塔中第l(l＝1,…,L)层共包含2^l-1个子序列，每个子序列的长度均为τ＝T/2^l-1帧；

步骤3.2、设f^(t)为第t帧中所有关节点处的局部曲面几何特征串接后构成的特征向量，

$f^{\left(i\right)}={({\left(f_1^{\left(i\right)}\right)}^T,{\left(f_2^{\left(i\right)}\right)}^T,...,{\left(f_M^{\left(i\right)}\right)}^T)}^T$

其维数为N＝9M，M为关节点的个数，对于Kinect相机而言，M＝20，从而，时间金字塔中的第l(l＝1,…,L)层上的第j(j＝1,…,2^l-1)个子序列的协方差矩阵为：

$C_{l,j}\left(f^{\left(i\right)}\right)=\frac{1}{\mathrm{\τ}-1}\underset{i=1}{\overset{\mathrm{\τ}}{\Σ}}(f^{\left(i\right)}-{\stackrel{\‾}{f}}^{\left(t\right)}){(f^{\left(t\right)}-{\stackrel{\‾}{f}}^{\left(t\right)})}^T$

其中，为f^(t)的样本均值。

5.根据权利要求1所述的基于局部曲面几何特征的人体动作识别方法，其特征在于，步骤4中时间金字塔协方差矩阵向量化的具体步骤为：

步骤4.1、对协方差矩阵C_l,j(f^(t))进行特征值分解：C_l,j(f^(t))＝UDU^T，其中U的列由正交的特征向量构成，D为特征值所构成的对角矩阵；

步骤4.2、计算log(C_l,j)＝Ulog(D)U^T,其中，log(D)为对角矩阵，每个元素为D中对应元素的自然对数值；

步骤4.3、取对称矩阵log(C_l,j)的上半角和主对角线上的元素，并将其按列展开后形成向量a_l,j，l＝1,…,L,j＝1,…,2^l-1，向量即为每个动作样本序列的局部曲面几何特征描述子。