CN108596948A - 基于深度相机识别人体头部姿态的方法及装置 - Google Patents

Abstract

本发明属于计算机视觉技术领域，具体涉及一种基于深度相机识别人体头部姿态的方法及装置。旨在解决现有技术头部姿态估计方法实时性、适应性、鲁棒性差的问题。本发明提供一种基于深度相机识别人体头部姿态的方法，包括基于深度相机的相机参数将深度相机获取的头部深度图像转化为空间点云数据；将空间点云数据所在的空间划分为多个子空间，若子空间包含的空间点云数据的个数大于预设阈值，则将子空间的中心点作为标准点云数据；计算标准点云数据与预先构建的头部模型的拟合误差，得到人体头部的姿态参数。本发明的技术方案能够增加估计人体头部姿态的适应性，提高实时性和鲁棒性。

Description

基于深度相机识别人体头部姿态的方法及装置

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于深度相机识别人体头部姿态的方法及装置。

背景技术

随着计算机视觉技术的发展，通过计算机视觉进行头部姿态估计应用于许多领域，包括驾驶员行为分析、人机交互以及虚拟现实等等技术领域。根据数据源类型的不同，头部姿态估计的方法可以分为基于二维RGB图像的头部姿态估计方法、基于深度图像的头部姿态估计方法以及基于RGB-D图像的头部姿态估计方法。

其中，基于二维RGB图像的头部姿态估计方法以及基于RGB-D图像的头部姿态估计方法是通过对RGB图像中的人脸进行识别，找到深度图中对应的头部区域，结合RGB特征和深度特征估计头部姿态，但是在实际应用中，上述两种方法对于光照和头部遮挡等环境因素十分敏感，鲁棒性差；

基于深度图像的头部姿态估计方法是通过获取头部所在的深度图像，从深度图像的深度信息中推测鼻子的位置，从而估计出头部姿态或者从深度图像中学习随机森林模型估计头部姿态，但是在实际应用中，该方法实时性较差，对于不同的人物头型姿态估计效果不理想，鲁棒性差。

因此，如何提出一种解决现有头部姿态估计方法实时性、适应性、鲁棒性差的方案是本领域技术人员目前需要解决的问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有技术头部姿态估计方法实时性、适应性、鲁棒性差的问题，本发明提供一种基于深度相机识别人体头部姿态的方法，所述方法包括：

基于深度相机的相机参数将所述深度相机获取的头部深度图像转化为空间点云数据；

将所述空间点云数据所在的空间划分为多个子空间，若子空间包含的空间点云数据的个数大于预设阈值，则将所述子空间的中心点作为标准点云数据；

计算所述标准点云数据与预先构建的头部模型的拟合误差，得到人体头部的姿态参数。

在上述方法的优选技术方案中，“将所述空间点云数据所在的空间划分为多个子空间”，其方法为：

分别根据所述空间点云数据的三维坐标中的x、y、z坐标的最大值和最小值确定所述空间点云数据X、Y、Z轴的界限；

基于所述空间点云数据X、Y、Z轴的界限构建第一空间体，所述第一空间体包含所述空间点云数据且所述第一空间体为长方体；

根据预设的距离误差将所述第一空间体分割为多个子空间，分割得到M个子空间，其中A表示所述第一空间体的体积，X表示所述预设的距离误差，M表示所述子空间的个数。

在上述方法的优选技术方案中，所述头部模型的形状为椭圆柱体。

在上述方法的优选技术方案中，“计算所述标准点云数据与预先构建的头部模型的拟合误差”，其方法为：

使用粒子群优化算法计算所述标准点云数据与预先构建的头部模型的拟合误差，将最小的拟合误差所对应的标准点云数据作为人体头部的姿态参数。

在上述方法的优选技术方案中，“计算所述标准点云数据与预先构建的头部模型的拟合误差”之前，该方法还包括：

获取用户正视所述深度相机正前方时头部的点云数据，并对所述深度相机的相机参数进行校准。

在上述方法的优选技术方案中，“基于深度相机的相机参数将所述深度相机获取的头部深度图像转化为空间点云数据”，其方法为：

将所述头部深度图像中的图像点的像素坐标乘以所述深度相机的比例因子，得到该图像点在所述深度相机坐标系的Z坐标；

计算所述图像点的像素坐标的成像投影比例关系，得到该图像点在所述深度相机坐标系的X坐标和Y坐标，所述深度图像的图像点的X、Y、Z坐标作为所述深度图像对应的空间点云数据。

在上述方法的优选技术方案中，所述人体头部的姿态参数包括头部绕颈部的旋转角度、头部的前倾角度以及头部绕垂地线的旋转角度。

本发明还提供一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行如上述所述的基于深度相机识别人体头部姿态的方法。

本发明还提供一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；所述程序适于由处理器加载并执行如上述所述的基于深度相机识别人体头部姿态的方法。

与最接近的现有技术相比，本发明提供一种基于深度相机识别人体头部姿态的方法，包括基于深度相机的相机参数将深度相机获取的头部深度图像转化为空间点云数据；将空间点云数据所在的空间划分为多个子空间，若子空间包含的空间点云数据的个数大于预设阈值，则将子空间的中心点作为标准点云数据；计算标准点云数据与预先构建的头部模型的拟合误差，得到人体头部的姿态参数。

上述技术方案至少具有如下有益效果：

1、本申请将深度相机获取的深度图像转化为空间点云数据后，对空间点云数据进行简化后，能够更好地表示头部空间位置的同时，减少了运算量，提高了运行速度，提高了估计人体头部姿态的实时性；

2、本申请使用椭圆柱体模型拟合人体头部，椭圆柱模型能够更好地表达人体头部的方向，通过计算椭圆柱体模型的形状参数可以契合不同人物的头部形状，增加了本申请技术方案的适应性；并且基于获取的用户直视深度相机正前方的数据，减少了求解头部姿态的运算量，缩小了解的搜索范围，增加了结果精度；

3、本申请使用最小优化算法求解头部模型和简化后的空间点云数据的拟合误差，通过迭代求解简化后的点云数据与头部模型的适应值，得出简化后的空间点云数据与头部模型的最小拟合误差，提高了本申请技术方案的鲁棒性。

附图说明

图1为本发明一种实施例基于深度相机识别人体头部姿态方法的流程示意图；

图2为本发明一种实施例的对空间点云数据进行简化后的点云示意图；

图3为本发明一种实施例的用椭圆柱拟合进行简化后空间点云数据的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

参阅附图1，图1示例性的给出了本实施例中基于深度相机识别人体头部姿态的方法的流程示意图。如图1所示，本实施例中基于深度相机识别人体头部姿态的方法包括下述步骤：

步骤S1：基于深度相机的相机参数将所述深度相机获取的头部深度图像转化为空间点云数据；

在本发明实施例中，通过Kinect SDK连接深度相机Kinect设备，深度相机Kinect实时获取深度图像，Kinect将采集到的深度图像通过网络等方式实时传输到计算机进行数据处理，如果使用多个深度相机，可以采用客户端-服务器的结构将深度图像传输到服务器端统一处理。

进一步地，客户端-服务器结构是指：每台Kinect连接到单独一台PC机，每个PC机上都运行单独的客户端程序，其中的一台作为服务器运行服务器程序；客户端与服务器之间通过TCP/IP协议建立连接，客户端程序通过Kinect SDK读取Kinect深度图像数据流，通过网络传输协议将数据流发送到服务器程序，服务器接收到各个客户端的数据后对这些数据进行统一处理。

在本发明实施例中，***正常启动后，对进入数据采集区域的目标用户进行数据采集，将采集到的数据发送至数据处理程序，数据处理程序接收到目标用户的数据后，根据各深度相机的参数将深度图像转化为统一的三维直角坐标系中的坐标表示形式，以Kinect相机为例，可以采用Kinect SDK的函数库将深度图像转换为三维点云，即利用ICoordinateMapper::MapDepthFrameToCameraSpace函数，将深度图像作为该函数的输入，输出为深度图中每个有效深度点在相机空间中的三维坐标；

还可以通过Kinect SDK获取相机参数后加以计算，计算过程如下：设定Kinect相机坐标系的x轴正方向朝Kinect的左侧延伸、y轴正方向朝Kinect上方延伸、z轴正方向朝Kinect正前方延伸；将深度图上一点的深度值乘以比例因子，即为该目标点在相机坐标系的z坐标，该点在深度图上的像素坐标可以通过成像投影的比例关系，计算出该点在相机坐标系的x坐标和y坐标，其中，比例因子和投影比例关系均由相机内部参数决定。

如果使用多个深度相机从不同角度同时获取数据，需要对多个相机的外部参数进行校准，然后再将多个相机各自的点云坐标变换到统一的世界坐标系下。

步骤S2：将所述空间点云数据所在的空间划分为多个子空间，若子空间包含的空间点云数据的个数大于预设阈值，则将所述子空间的中心点作为标准点云数据；

为了提高运行速度，达到实时性的要求，需要对原始的点云数据进行简化，本发明提出一种快速简单的点云简化方法：

分别根据空间点云数据的三维坐标中的x、y、z坐标的最大值和最小值确定空间点云数据X、Y、Z轴的界限，基于空间点云数据X、Y、Z轴的界限构建第一空间体，举例来说，只比较空间点云数据中所有点的x坐标的值，找出其中x坐标的最大值和最小值，得到第一空间体在X轴上的界限，同理，可以得到第一空间体在Y轴和Z轴上的界限，基于空间点云数据X、Y、Z轴的界限构建第一空间体，第一空间体包含所有的点云数据，并且根据点云数据的数量和分布情况，第一空间体可以是长方体、也可以是正方体。

设置距离误差为Xcm，则可将1立方米的空间划分为(100/X)^3个小立方体，具体地，以第一空间体为正方体为例，将第一空间体的每一边长按预设的距离误差进行分割，例如，第一空间体的每一边长的长度为1米，则每一边均被分割为100个距离误差的长度，第一空间体被分割为(100/1)^3个小立方体，具体的分割方法可以是以第一空间体的一个顶点为原点，同时沿与顶点连接三条边长进行分割，也可以是沿与顶点连接的两条边长进行分割，当两条边长所在的面分割完成后，再沿另一条边长进行分割，除了上述两种方式外，还可以有其他的分割方式，本发明在此不做限定。

将原始点云的各个坐标点填入各个小立方体进行计数，设置阈值为N，当一个小立方体中原始点云坐标点数大于N时，则可以认为此立方体中心存在一个坐标点。具体实现算法可以根据具体情况(如点云密度等)采用三维数组标记，或者使用二叉树建立空间索引，具体实现步骤如下：根据头部点云三维坐标最大值和最小值划出一个大立方体，再根据距离误差将大立方体分为多个小立方体，每个立方体用立方体中心坐标来代表，将头部点云中各点划分到距离最近的小立方体，若小立方体包含的点数大于阈值N，则将小立方体中心作为简化点云中的一个点。

此方法只需一次遍历即可获得结果，可以满足实时性的要求。在实际应用中，距离误差的值可以为1cm，也可以为1.5cm，阈值N的值可以为3，也可以为4，上述两者的具体的值可以根据精度要求进行设置，本实施例在此不做限定。

步骤S3：计算所述第一空间点云数据与预先构建的头部模型的拟合误差，得到人体头部的姿态参数。

在本发明实施例中，使用椭圆柱拟合人体头部，椭圆柱体相对椭圆体、圆柱体以及球体等模型能够更好地表达头部的方向性，为了使用椭圆柱拟合不同人物的不同头型，开始拟合前需要先确定椭圆柱长轴长度和短轴长度以契合不同人物的头部形状，为了减少运算量，增加结果精度，此步骤要求收集用户正视前方时的点云数据，这样在校准参数时不需要考虑头部的旋转情况，可以缩小解的搜索范围，之后通过最小优化算法求出椭圆柱长轴长度和短轴长度以使椭圆柱柱面与人体头部点云的拟合误差最小。

人体头部姿态可用头部绕颈部的旋转角度α、前倾角度β、绕垂地线旋转角度γ三个角度来表示，使用上述求得的椭圆柱与简化后的点云进行拟合，使用最小优化算法求出使得椭圆柱柱面与人体头部点云的拟合误差最小的(α,β,γ)三个参数，即为最终求得的人体头部姿态参数。上述的最小优化算法具体实现可以采用粒子群优化算法，具体步骤如下：

(1)随机初始化粒子群中每个粒子i在解空间的坐标x_i＝(α_i,β_i,γ_i)和速度v_i；

(2)计算每个粒子的适应值，即头部点云中所有点到该粒子对应的椭圆柱面的距离之和；

(3)将每个粒子计算出的适应值与该粒子历史最优适应值pbest_i进行比较，如果计算出的适应值小于历史最优值，则用当前粒子坐标替换历史最优值坐标；

(4)找出粒子群中所有粒子的适应值的最小值，与整个粒子群的历史最优值gbest作比较，如果当前粒子的最小适应值比历史最优值小，则用当前最小适应值替换历史最优值；

(5)更新每个粒子的速度v_i＝ωv_i+c₁r₁(pbest_i-x_i)+c₂r₂(gbest-x_i),其中ω为粒子惯性参数，c₁、c₂为粒子的“学习”速度权重，r₁、r₂为介于0与1之间的随机数；

(6)更新每个粒子i的位置x_i＝x_i+v_i；

(7)重复(2)-(6)的过程，当全局最优适应值连续φ＝100次稳定在一个值附近时，则达到迭代的结束条件，否则转跳到步骤(2)继续寻找最优解。

本发明基于深度相机识别人体头部姿态的方法将深度相机获取的深度图像转化为空间点云数据，对转化后的空间点云数据进行简化，计算简化后的空间点云数据与头部模型的拟合误差，将最小的拟合误差对应的空间点云数据作为人体头部的姿态参数，在保证本发明的技术方案适应多个人体头部的情况下，提高了估计人体头部姿态的实时性和鲁棒性。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行如上述的基于深度相机识别人体头部姿态的方法。

所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，本发明实施例存储装置的具体工作过程以及相关说明，可以参考前述基于深度相机识别人体头部姿态的方法实施例中的对应过程，且与上述方法具有相同的有益效果，在此不再赘述。

一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；所述程序适于由处理器加载并执行如上述的基于深度相机识别人体头部姿态的方法。

所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，本发明实施例处理装置的具体工作过程以及相关说明，可以参考前述基于深度相机识别人体头部姿态的方法实施例中的对应过程，且与上述方法具有相同的有益效果，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于深度相机识别人体头部姿态的方法，其特征在于，所述方法包括：

基于深度相机的相机参数将所述深度相机获取的头部深度图像转化为空间点云数据；

将所述空间点云数据所在的空间划分为多个子空间，若子空间包含的空间点云数据的个数大于预设阈值，则将所述子空间的中心点作为标准点云数据；

计算所述标准点云数据与预先构建的头部模型的拟合误差，得到人体头部的姿态参数。

2.根据权利要求1所述的方法，其特征在于，“将所述空间点云数据所在的空间划分为多个子空间”，其方法为：

分别根据所述空间点云数据的三维坐标中的x、y、z坐标的最大值和最小值确定所述空间点云数据X、Y、Z轴的界限；

基于所述空间点云数据X、Y、Z轴的界限构建第一空间体，所述第一空间体包含所述空间点云数据且所述第一空间体为长方体；

根据预设的距离误差将所述第一空间体分割为多个子空间，分割得到M个子空间，其中M＝A·(100/X)³，A表示所述第一空间体的体积，X表示所述预设的距离误差，M表示所述子空间的个数。

3.根据权利要求1所述的方法，其特征在于，所述头部模型的形状为椭圆柱体。

4.根据权利要求1所述的方法，其特征在于，“计算所述标准点云数据与预先构建的头部模型的拟合误差”，其方法为：

使用粒子群优化算法计算所述标准点云数据与预先构建的头部模型的拟合误差，将最小的拟合误差所对应的标准点云数据作为人体头部的姿态参数。

5.根据权利要求1-4任一项所述的方法，其特征在于，“计算所述标准点云数据与预先构建的头部模型的拟合误差”之前，该方法还包括：

获取用户正视所述深度相机正前方时头部的点云数据，并对所述深度相机的相机参数进行校准。

6.根据权利要求5所述的方法，其特征在于，“基于深度相机的相机参数将所述深度相机获取的头部深度图像转化为空间点云数据”，其方法为：

将所述头部深度图像中的图像点的像素坐标乘以所述深度相机的比例因子，得到该图像点在所述深度相机坐标系的Z坐标；

计算所述图像点的像素坐标的成像投影比例关系，得到该图像点在所述深度相机坐标系的X坐标和Y坐标，所述深度图像的图像点的X、Y、Z坐标作为所述深度图像对应的空间点云数据。

7.根据权利要求6所述的方法，其特征在于，所述人体头部的姿态参数包括头部绕颈部的旋转角度、头部的前倾角度以及头部绕垂地线的旋转角度。

8.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行如权利要求1-7任一项所述的基于深度相机识别人体头部姿态的方法。

9.一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行如权利要求1-7任一项所述的基于深度相机识别人体头部姿态的方法。