CN104751513A - 一种建立人体骨骼模型的方法及装置 - Google Patents

Abstract

本发明提供了一种建立人体骨骼模型的方法及装置，该方法包括：获取人体图像，识别所述人体图像中的人脸特征，根据所述人脸特征确定手部特征；获取人体深度图像；根据预设面积的圆形区域以及所述人体深度图像确定躯干特征，并根据所述躯干特征确定躯干骨骼点；根据所述手部特征确定手部骨骼点；根据述躯干骨骼点以及所述手部骨骼点，建立人体骨骼模型。采用本发明，可识别并区分人体模型的手部和躯干，建立人体骨骼模型。

Description

一种建立人体骨骼模型的方法及装置

技术领域

本发明涉及电子技术领域，尤其涉及一种建立人体骨骼模型的方法及装置。

背景技术

人体骨骼的提取技术是人机交互领域的一项重要技术，它在三维动画制作、网络游戏、医疗科学领域、手势捕捉以及自然人机交互环境中具有很广泛的应用前景。由于人体模型的复杂性和不规则形，以及人体姿态变化的多样性，使得骨骼的自动提取过程比较困难，因此用于分析骨骼提取的研究也得到了广泛的关注。

目前出现的从人体模型提取骨骼的方法包括如下几种：一种是通过在与躯干相连的四肢和头等五个突出部分上分别获取五个特征点，以这五个特征点为起点计算测地距离，从而建立人体骨骼模型。测地距离是指连接曲面上给定两点之间最短路径的长度，因此常将建立在测地距离基础上的测地模型应用到关节点定位、骨骼提取和识别之中。另一种是仅仅基于深度图像实现人体骨骼的提取，通过从获取到的深度图像提取人体外部轮廓，将外部轮廓曲线离散化为外部多边形，并在外部多边形中进行骨骼提取。

然而上述两种方法在识别精度较低的情况下容易导致建立的模型边缘闪烁，精确率低，并且对于精确率低的深度图像，会将人体模型采用统一的深度值表示，在人体模型的手部和躯干重叠时无法准确区分手部和躯干，因此容易产生误差，导致识别失败。

发明内容

本发明提供一种建立人体骨骼模型的方法及装置，可识别并区分人体模型的手部和躯干，建立人体骨骼模型。

本发明第一方面提供一种建立人体骨骼模型的方法，包括：

获取人体图像，识别所述人体图像中的人脸特征，根据所述人脸特征确定手部特征；

获取人体深度图像；

根据预设面积的圆形区域以及所述人体深度图像确定躯干特征，并根据所述躯干特征确定躯干骨骼点；

根据所述手部特征确定手部骨骼点；

根据所述躯干骨骼点以及所述手部骨骼点，建立人体骨骼模型。

结合本发明第一方面的实现方式，在本发明第一方面的第一种可能的实现方式中，所述根据所述人脸特征确定手部特征，具体包括：

对所述人体图像的所有像素点进行灰度直方图运算，得到所述人脸特征的灰度直方图以及除所述人脸特征之外的其他特征的灰度直方图；

将所述人脸特征的灰度直方图与所述其他特征的灰度直方图进行比较；

确定所述手部特征，所述手部特征的灰度直方图与所述人脸特征的灰度直方图的相似度大于或等于预设阈值。

结合本发明第一方面的实现方式，在本发明第一方面的第二种可能的实现方式中，所述根据预设面积的圆形区域以及所述人体深度图像确定躯干特征，具体包括：

根据所述人脸特征在所述人体图像的位置，在所述人体深度图像的对应位置上提取头部特征；

根据所述头部特征的面积大小划定所述圆形区域；

当所述圆形区域在所述人体深度图像内移动时，获取所述圆形区域的圆周上的点对应于所述人体深度图像上的坐标点的深度值以及圆心对应于所述人体深度图像上的坐标点的深度值；

若所述圆周线上的点对应于所述人体深度图像上的坐标点的深度值与所述圆心对应于所述人体深度图像上的坐标点的深度值相同，则确定所述圆形区域对应于所述人体深度图像上的区域属于所述躯干特征；

根据至少一个确定的所述圆形区域对应于所述人体深度图像上的区域获得所述躯干特征。

结合本发明第一方面的第二种可能的实现方式，在本发明第一方面的第三种可能的实现方式中，所述躯干骨骼点包括肩膀骨骼点以及胸部骨骼点，则所述根据所述躯干特征确定躯干骨骼点，具体包括：

获取所述躯干特征的第一预设边缘，提取所述第一预设边缘上的端点，将所述端点作为所述肩膀骨骼点；

获取所述躯干特征的第二预设边缘，根据所述第一预设边缘以及所述第二预设边缘得到所述躯干特征的中线；

根据所述躯干特征的中线与所述第一预设边缘的交点得到所述胸部骨骼点。

结合本发明第一方面的实现方式，在本发明第一方面的第四种可能的实现方式中，所述建立人体骨骼模型之前，所述方法还包括：

根据所述人体深度图像确定手臂的预设边缘，根据所述手臂的预设边缘确定所述手臂的中线；

判断所述手臂的中线与预设圆的两个交点是否关于所述预设圆的圆心对称，所述预设圆的圆心位于所述手臂的中线上；

若判断为否，则确定所述预设圆的圆心为所述手臂的关节骨骼点；

则根据所述躯干骨骼点以及所述手部骨骼点，建立人体骨骼模型，具体包括：

根据所述躯干骨骼点、所述手臂的关节骨骼点以及所述手部骨骼点，建立所述人体骨骼模型。

本发明第二方面提供一种建立人体骨骼模型的装置，包括：

识别模块，用于获取人体图像，识别所述人体图像中的人脸特征，根据所述人脸特征确定手部特征；

获取模块，用于获取人体深度图像；

第一确定模块，用于根据预设面积的圆形区域以及所述获取模块获取的人体深度图像确定躯干特征，并根据所述躯干特征确定躯干骨骼点；

第二确定模块，用于根据所述识别模块确定的手部特征确定手部骨骼点；

建立模块，用于根据所述第一确定模块确定的躯干骨骼点以及所述第二确定模块确定的手部骨骼点，建立人体骨骼模型。

结合本发明第二方面的实现方式，在本发明第二方面的第一种可能的实现方式中，所述识别模块包括：

运算单元，用于对所述人体图像的所有像素点进行灰度直方图运算，得到所述人脸特征的灰度直方图以及除所述人脸特征之外的其他特征的灰度直方图；

比较单元，用于将所述运算单元运算出的人脸特征的灰度直方图与所述其他特征的灰度直方图进行比较；

确定单元，用于确定所述手部特征，所述手部特征的灰度直方图与所述人脸特征的灰度直方图的相似度大于或等于预设阈值。

结合本发明第二方面的实现方式，在本发明第二方面的第二种可能的实现方式中，所述第一确定模块包括：

第一提取单元，用于根据所述人脸特征在所述人体图像的位置，在所述人体深度图像的对应位置上提取头部特征；

划定单元，用于根据所述第一提取单元提取的头部特征的面积大小划定所述圆形区域；

获取单元，用于当所述圆形区域在所述人体深度图像内移动时，获取所述圆形区域的圆周上的点对应于所述人体深度图像上的坐标点的深度值以及圆心对应于所述人体深度图像上的坐标点的深度值；

确定单元，用于若所述圆周线上的点对应于所述人体深度图像上的坐标点的深度值与所述圆心对应于所述人体深度图像上的坐标点的深度值相同，则确定所述圆形区域对应于所述人体深度图像上的区域属于所述躯干特征；

获得单元，用于根据至少一个所述确定单元确定的所述圆形区域对应于所述人体深度图像上的区域获得所述躯干特征。

结合本发明第二方面的第二种可能的实现方式，在本发明第二方面的第三种可能的实现方式中，所述躯干骨骼点包括肩膀骨骼点以及胸部骨骼点，则所述第一确定模块还包括：

第二提取单元，用于获取所述躯干特征的第一预设边缘，提取所述第一预设边缘上的端点，将所述端点作为所述肩膀骨骼点；

第一得到单元，用于获取所述躯干特征的第二预设边缘，根据所述第一预设边缘以及所述第二预设边缘得到所述躯干特征的中线；

第二得到单元，用于根据所述第一得到单元得到的躯干特征的中线与所述第一预设边缘的交点得到所述胸部骨骼点。

结合本发明第二方面的实现方式，在本发明第二方面的第一种可能的实现方式中，所述装置还包括：

第三确定模块，用于根据所述人体深度图像确定手臂的预设边缘，根据所述手臂的预设边缘确定所述手臂的中线；

判断模块，用于判断所述手臂的中线与预设圆的两个交点是否关于所述预设圆的圆心对称，所述预设圆的圆心位于所述手臂的中线上；

第四确定模块，用于当所述判断模块的判断结果为否时，则确定所述预设圆的圆心为所述手臂的关节骨骼点。

则建立模块，具体用于：

根据所述第一确定模块确定的躯干骨骼点、所述第四确定模块确定的手臂的关节骨骼点以及所述第二确定模块确定的手部骨骼点，建立所述人体骨骼模型。

采用本发明，通过获取人体图像，识别人体图像中的人脸特征，根据人脸特征确定手部特征；获取人体深度图像；根据预设面积的圆形区域以及人体深度图像确定躯干特征，并根据躯干特征确定躯干骨骼点；根据手部特征确定手部骨骼点；根据躯干骨骼点以及手部骨骼点，建立人体骨骼模型，可准确识别人体模型的关键特征，并区分人体模型的手部和躯干，根据关键特征建立人体模型，其计算结果准确性高，能提高建立人体骨骼模型的精确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种建立人体骨骼模型的方法的一实施例的流程示意图；

图2是本发明实施例的一种建立人体骨骼模型的方法的另一实施例的流程示意图；

图3是本发明实施例的一种建立人体骨骼模型的方法的另一实施例的人体图像示意图；

图4是本发明实施例的一种建立人体骨骼模型的方法的另一实施例的深度图像处理示意图；

图5是本发明实施例的一种建立人体骨骼模型的方法的另一实施例的确定躯干特征的示意图；

图6是本发明实施例的一种建立人体骨骼模型的方法的另一实施例的提取骨骼点的示意图；

图7是本发明实施例的一种建立人体骨骼模型的方法的另一实施例的确定手臂的关节骨骼点的示意图；

图8是本发明实施例的一种建立人体骨骼模型的装置的结构示意图；

图9是本发明实施例的一种建立人体骨骼模型的装置的识别模块的结构示意图；

图10是本发明实施例的一种建立人体骨骼模型的装置的第一确定模块的结构示意图；

图11是本发明实施例的另一种建立人体骨骼模型的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种建立人体骨骼模型的方法及装置，可识别并区分人体模型的手部和躯干，建立人体骨骼模型。

请参阅图1，图1是本发明实施例的一种建立人体骨骼模型的方法的一实施例的流程图。如图1所示，本发明实施例的一种建立人体骨骼模型的方法的一实施例可以包括以下步骤。

S100，获取人体图像，识别所述人体图像中的人脸特征，根据所述人脸特征确定手部特征。

具体实现中，可利用摄像头获取人体图像，通过Haar特征和AdaBoost算法在获取的人体图像中识别出人脸特征，即人脸图像，并计算人脸特征的灰度直方图。首先，利用人脸的Haar特征进行分类器训练，分类器训练完成后，可应用到人体图像中的感兴趣区域(本实施中感兴趣区域即为人脸特征的区域)的检测。检测到人脸特征分类器输出为1，否则输出为0。为了检测整幅人体图像，可在人体图像中移动搜索窗口，检测每一个位置来确定人脸特征，为了在人体图像中检测未知大小的人脸特征，通常需要用不同比例大小的搜索窗口对图片进行几次扫描，得到最终结果。利用Haar特征和AdaBoost算法识别人脸特征是现有技术，本实施例则不再赘述。

作为一种可实施的方式，由于手部特征与人脸特征的颜色相近，手部特征的灰度直方图与人脸特征的灰度直方图的相似度相对于其他特征的灰度直方图与人脸特征的灰度直方图的相似度更大，因此能在手部和躯干重叠时准确识别出手部。其中，其他特征可包括躯干特征、手部特征、腿部特征等特征，或者，可将图像划分为多个区域，每个区域作为一个特征，再计算每个区域的灰度直方图，将每个特征的灰度直方图与人脸特征的灰度直方图进行匹配。即，可计算每个区域的灰度直方图与人脸特征的灰度直方图的相似度，确定相似度大于或等于预设阈值的特征为手部特征。

S101，获取人体深度图像。

具体实现中，通过深度摄像头获取人体深度图像，其中人体深度图像包括头部的深度图像、躯干的深度图像以及四肢的深度图像。深度图像是指以物体纵向深度值代替灰度图像的灰度级形成的图像，由于这种图像有可以直接利用的三维信息，即较可靠的深度数据，而且深度数据独立于光照及物体表面的反射特性，因此可以通过检测物体的深度值得到更可靠的几何信息。

S102，根据预设面积的圆形区域以及所述人体深度图像确定躯干特征，并根据所述躯干特征确定躯干骨骼点。

具体实现中，可先设定预设面积的圆形区域，将圆形区域在人体图像内移动，判断圆形区域的圆周上的点对应于人体深度图像上的坐标点的深度值是否等于圆形区域的圆心对应于人体深度图像上的坐标点的深度值。若判断为是，则确定该圆形区域对应于人体深度图像上的区域属于躯干特征。最后在圆形区域的移动过程中通过重复上述步骤确定属于躯干特征的区域，最终得到躯干特征，并在躯干特征的深度图像上提取躯干骨骼点。

作为一种可实施的方式，圆形区域的面积可根据人脸特征进行设定。具体的，可根据识别到的人脸特征确定人脸在人体图像的位置。由于人脸特征在人体图像中的位置与在深度图像中的位置相对应，因此可根据人脸特征在人体图像中的位置在人体深度图像的对应位置上提取头部特征。在得到头部特征之后，计算头部特征的面积，根据头部特征的面积大小划定圆形区域。

S103，根据所述手部特征确定手部骨骼点。

具体实现中，对于精确率较低的深度摄像头获取到的深度图像的深度值可能相同，因此若手部与躯干重叠时精确率较低的深度摄像头可能无法准确区分手部和躯干，因此在步骤S100根据人脸特征确定手部特征后，确定手部的具***置，再根据手部特征确定手部骨骼点。

S104，根据所述躯干骨骼点以及所述手部骨骼点，建立人体骨骼模型。

具体实现中，在确定躯干骨骼点以及手部骨骼点之后，将上述骨骼点按照预设的方式相连，建立人体骨骼模型。

采用本发明实施例，通过获取人体图像，识别人体图像中的人脸特征，根据人脸特征确定手部特征；获取人体深度图像；根据预设面积的圆形区域以及人体深度图像确定躯干特征，并根据躯干特征确定躯干骨骼点；根据手部特征确定手部骨骼点；根据躯干骨骼点以及手部骨骼点，建立人体骨骼模型，可准确识别人体模型的关键特征，并区分人体模型的手部和躯干，根据关键特征建立人体模型，其计算结果准确性高，能提高建立人体骨骼模型的精确率。

请参阅图2，图2是本发明实施例的一种建立人体骨骼模型的方法的另一实施例的流程示意图。如图2所示，本发明实施例的一种建立人体骨骼模型的方法的另一实施例可以包括以下步骤。

S200，获取人体图像，识别所述人体图像中的人脸特征。

具体实现中，可利用摄像头获取人体图像，通过Haar特征和AdaBoost算法在获取的人体图像中识别出人脸特征，即人脸图像，并计算人脸特征的灰度直方图。利用Haar特征和AdaBoost算法识别人脸特征是现有技术，本实施例则不再赘述。

S201，对所述人体图像的所有像素点进行灰度直方图运算，得到所述人脸特征的灰度直方图以及除所述人脸特征之外的其他特征的灰度直方图。

具体实现中，如图3所示，由于手部特征与人脸特征的颜色相近，手部特征的灰度直方图与人脸特征的灰度直方图的相似度相对于其他特征的灰度直方图更大，因此能在手部和躯干重叠时准确识别出手部。其中，其他特征可包括躯干特征、手部特征、腿部特征等特征，或者，可将图像划分为多个区域，每个区域作为一个特征，再计算每个区域的灰度直方图。

S202，将所述人脸特征的灰度直方图与所述其他特征的灰度直方图进行比较。

具体实现中，可计算每个特征的灰度直方图与人脸特征的灰度直方图的相似度，查找出与人脸特征的灰度直方图匹配的区域的灰度直方图。

S203，确定所述手部特征，所述手部特征的灰度直方图与所述人脸特征的灰度直方图的相似度大于或等于预设阈值。

具体实现中，当比较出某个特征的灰度直方图与人脸特征的灰度直方图的相似度大于或等于预设阈值时，确定该特征为手部特征。

S204，获取人体深度图像。

具体实现中，可通过深度摄像头获取人体深度图像，其中人体深度图像包括头部的深度图像、躯干的深度图像以及四肢的深度图像。

作为一种可实施的方式，为了提高获取人体深度图像的精确度，可多次获取人体深度图像，将多次获取的人体深度图像进行结合判断，最终确定人体深度图像。如图4所示，图像F1、图像F2以及图像F3为三次获取到的人体深度图像，并对图像F1、图像F2以及图像F3进行预处理。通过对图像F1、图像F2以及图像F3取交集得到用于人体骨骼提取的图像F，即F＝F1∩F2∩F3。

作为一种可实施的方式，当获取到的人体图像包括至少两个人体模型时，可根据步骤S200识别到的人脸特征在人体图像中的位置以及获取到的至少两个人体模型的人体深度图像的相应位置区分人体轮廓，从而得到各个人体模型的人体深度图像，以获取各个人的头部的深度图像、躯干的深度图像以及四肢的深度图像。

S205，根据所述人脸特征在所述人体图像的位置，在所述人体深度图像的对应位置上提取头部特征。

具体实现中，为了从人体深度图像中提取躯干特征，可在人体深度图像中先剔除头部特征。在人体深度图像上，由于人体图像上的人脸特征的位置与深度图像上的位置对应，因此可在深度图像上提取头部特征。

作为一种可实施的方式，为了进一步得到躯干特征，可再剔除颈部特征。具体的，在人体深度图像中获取头部特征的深度信息的预设宽度的距离(如头部两耳之间的距离)，并根据该距离确定比较基准线，以该比较基准线为起点向躯干方向移动(即从头部、颈部至躯干的方向)，当发现移动的位置上的深度信息之间距离的最大值大于该距离时，停止移动，将移动经过的区域以及头部特征剔除。

S206，根据所述头部特征的面积大小划定所述圆形区域。

具体实现中，根据头部特征的面积大小划定圆形区域，通过划定圆形区域确定出躯干特征。

S207，当所述圆形区域在所述人体深度图像内移动时，获取所述圆形区域的圆周上的点对应于所述人体深度图像上的坐标点的深度值以及圆心对应于所述人体深度图像上的坐标点的深度值。

具体实现中，如图5所示，初始根据头部特征的面积大小划定圆形区域R1,其半径为r1。将圆形区域R1在人体深度图像上移动，每当将圆形区域R1移动到一个位置时，获取圆形区域R1的圆周上的点对应于人体深度图像上的坐标点的深度值，以及获取圆形区域R1的圆心对应于人体深度图像上的坐标点的深度值。

S208，若所述圆周线上的点对应于所述人体深度图像上的坐标点的深度值与所述圆心对应于所述人体深度图像上的坐标点的深度值相同，则确定所述圆形区域对应于所述人体深度图像上的区域属于所述躯干特征。

具体实现中，将圆形区域R1的圆周上的点对应于人体深度图像上的坐标点的深度值与圆心对应于人体深度图像上的坐标点的深度值进行一一比较。若圆周上的点对应于人体深度图像上的坐标点的深度值与圆心对应于人体深度图像上的坐标点的深度值相同，则说明圆形区域R1对应与人体深度图像上的区域属于躯干特征，并记录该区域在人体深度图像上的位置。若圆周上的点对应于人体深度图像上的坐标点的深度值与圆心对应于人体深度图像上的坐标点的深度值不相同，则说明圆形区域R1移动的位置可能属于手臂的位置，或者圆形区域R1移动的位置可能在躯干特征之外，则将排除圆形区域R1移动的位置属于躯干特征的可能性。

S209，根据至少一个确定的所述圆形区域对应于所述人体深度图像上的区域获得所述躯干特征。

在将圆形区域R1移动预设次数后，根据满足上述条件的确定的区域在人体深度图像上的位置确定躯干特征，由此确定躯干的深度图像。

作为一种可实施的方式，由于圆形区域的形状的局限性，根据上述确定的区域而得到的躯干特征可能不能完全包括人体深度图像中的躯干特征。因此可在根据至少一个属于躯干特征的区域得到躯干特征后，将确定的躯干特征的面积扩大预设倍数，如扩大r1/2的倍数(r1为圆形区域R1的半径)，从而使扩大预设倍数后的躯干特征更接近人体深度图像中的躯干特征。

作为一种可实施的方式，为了提高计算躯干特征的精确率，还可以基于圆形区域R1的大小设置圆形区域R2和圆形区域R3等。如图5所示，在根据移动的圆形区域R1确定属于躯干特征的区域从而得到躯干特征后，计算该躯干特征的面积S1。再设置圆形区域R2(如圆形区域R2的半径r2＝0.9*r1)，将圆形区域R2在人体深度图像内移动，确定属于躯干特征的区域，并根据确定的至少一个属于躯干特征的区域计算躯干特征的面积S2，并计算面积S2和面积S1之比(t1＝S2/S1)。最后设置圆形区域R3(如圆形区域R3的半径r3＝0.9*r2)，将圆形区域R3在人体深度图像内移动，在确定至少一个属于躯干特征的区域之后确定躯干特征的面积S3，并计算面积S3和面积S1之比(t2＝S3/S1)。当计算出的面积之比大于或等于预设值T时则停止，以当前设置的圆形区域的前一次设置的圆形区域确定的躯干特征作为输出的结果。其中预设值T可取为1.2。具体的，当在计算根据圆形区域R3得到的躯干特征与根据圆形区域R1得到的躯干特征的面积之比(t2＝S3/S1)大于或等于1.2时，则以根据圆形区域R2得到的躯干特征作为输出结果。

S210，获取所述躯干特征的第一预设边缘，提取所述第一预设边缘上的端点，将所述端点作为所述肩膀骨骼点。

具体实现中，如图6所示，躯干骨骼点包括肩膀骨骼点以及胸部骨骼点。在确定出躯干特征后，可利用最小二乘法根据给定的躯干特征的像素点的坐标(如第一预设边缘的像素点的坐标)，计算与第一预设边缘的偏差最小的近似曲线，从而根据计算出的近似曲线获取躯干特征的第一预设边缘L1，其中，第一预设边缘L1为躯干特征的肩部边缘，再提取肩部边缘的两个端点D1和D2作为肩膀骨骼点。利用最小二乘法获取图像中的边缘为现有技术，本实施例则不再赘述。

S211，获取所述躯干特征的第二预设边缘，根据所述第一预设边缘以及所述第二预设边缘得到所述躯干特征的中线。

具体实现中，如图6所示，可利用最小二乘法获取躯干特征的第二预设边缘L2，其中第二预设边缘L2可为躯干特征的底部边缘，再根据躯干特征的底部边缘以及肩部边缘得到躯干特征的中线L3。

作为一种可实施的方式，还可根据躯干特征的底部边缘获取底部边缘的两个端点D3和D4作为腿部骨骼点。

S212，根据所述躯干特征的中线与所述第一预设边缘的交点得到所述胸部骨骼点。

具体实现中，如图6所示，在得到躯干特征的中线L3后，将躯干特征的中线L3与第一预设边缘L1的交点D5作为胸部骨骼点。

S213，根据所述手部特征确定手部骨骼点。

具体实现中，对于精确率较低的深度摄像头获取到的深度图像的深度值可能相同，因此若手部与躯干重叠，精确率较低的深度摄像头可能无法准确区分手部和躯干，因此在步骤S203根据人脸特征确定手部特征后，确定手部的具***置，再根据手部特征确定手部骨骼点。

S214，根据所述人体深度图像确定手臂的预设边缘，根据所述手臂的预设边缘确定所述手臂的中线。

具体实现中，当手部特征与躯干特征在深度图像上呈现的状态是分离时，如图7所示，可通过最小二乘法在人体深度图像中确定手臂的边缘，得到手臂的中线。

S215，判断所述手臂的中线与预设圆的两个交点是否关于所述预设圆的圆心对称，所述预设圆的圆心位于所述手臂的中线上。

具体实现中，可设置预设半径的圆R4在手臂的中线上移动，在移动过程中判断圆R4与手臂的中线的两个交点(交点a和交点b)是否关于圆R4的圆心对称。若判断为否，则可确定当前位置的圆R4的圆心的坐标为关节骨骼点的坐标；若判断为是，则重复步骤S215。

S216，确定所述预设圆的圆心为所述手臂的关节骨骼点。

具体实现中，若判断为否，则可确定当前位置的圆R4的圆心的坐标为关节骨骼点的坐标。

作为一种可实施的方式，还可多次移动圆R4，得到至少两个满足上述条件的圆R4的圆心的坐标，再将至少两个满足上述条件的圆R4的圆心的坐标取平均值得到手臂的关节骨骼点的坐标。

S217，根据所述躯干骨骼点、所述手臂的关节骨骼点以及所述手部骨骼点，建立所述人体骨骼模型。

具体实现中，可将躯干骨骼点的肩膀骨骼点、胸部骨骼点以及腿部骨骼点与手臂的关节骨骼点和手部骨骼点按照预设的方式连接，建立人体骨骼模型。

作为一种可实施的方式，当手部特征与躯干特征在深度图像上呈现的状态是重叠时，则直接将手部骨骼点与对应的肩膀骨骼点连接，再与胸部骨骼点以及腿部骨骼点按照预设的方式相连，建立人体骨骼模型。

作为一种可实施的方式，若在人体深度图像中获取到脚部骨骼点，还可将脚部骨骼点与上述各个骨骼点按照预设的方式相连，建立人体骨骼模型。

采用本发明实施例，通过获取人体图像，识别人体图像中的人脸特征，根据人脸特征确定手部特征；获取人体深度图像；根据预设面积的圆形区域以及人体深度图像确定躯干特征，并根据躯干特征确定躯干骨骼点；根据手部特征确定手部骨骼点；根据躯干骨骼点以及手部骨骼点，建立人体骨骼模型，可准确识别人体模型的关键特征，并区分人体模型的手部和躯干，根据关键特征建立人体模型，其计算结果准确性高，能提高建立人体骨骼模型的精确率。

请参阅图8，图8是本发明实施例的一种建立人体骨骼模型的装置的结构示意图。如图8所示的建立人体骨骼模型的装置包括识别模块800、获取模块801、第一确定模块802、第二确定模块803以及建立模块804。

识别模块800，用于获取人体图像，识别所述人体图像中的人脸特征，根据所述人脸特征确定手部特征；

获取模块801，用于获取人体深度图像；

第一确定模块802，用于根据预设面积的圆形区域以及所述获取模块801获取的人体深度图像确定躯干特征，并根据所述躯干特征确定躯干骨骼点；

第二确定模块803，用于根据所述识别模块800确定的手部特征确定手部骨骼点；

建立模块804，用于根据所述第一确定模块802确定的躯干骨骼点以及所述第二确定模块803确定的手部骨骼点，建立人体骨骼模型。

具体实现中，可利用摄像头获取人体图像，通过Haar特征和AdaBoost算法在获取的人体图像中识别出人脸特征，即人脸图像，并计算人脸特征的灰度直方图。首先，利用人脸的Haar特征进行分类器训练，分类器训练完成后，可应用到人体图像中的感兴趣区域(本实施中感兴趣区域即为人脸特征的区域)的检测。检测到人脸特征分类器输出为1，否则输出为0。为了检测整幅人体图像，可在人体图像中移动搜索窗口，检测每一个位置来确定人脸特征，为了在人体图像中检测未知大小的人脸特征，通常需要用不同比例大小的搜索窗口对图片进行几次扫描，得到最终结果。利用Haar特征和AdaBoost算法识别人脸特征是现有技术，本实施例则不再赘述。

作为一种可实施的方式，由于手部特征与人脸特征的颜色相近，手部特征的灰度直方图与人脸特征的灰度直方图的相似度相对于其他特征的灰度直方图与人脸特征的灰度直方图的相似度更大，因此能在手部和躯干重叠时准确识别出手部。其中，其他特征可包括躯干特征、手部特征、腿部特征等特征，或者，可将图像划分为多个区域，每个区域作为一个特征，再计算每个区域的灰度直方图，将每个特征的灰度直方图与人脸特征的灰度直方图进行匹配。即，可计算每个区域的灰度直方图与人脸特征的灰度直方图的相似度，确定相似度大于或等于预设阈值的特征为手部特征。

具体实现中，通过深度摄像头获取人体深度图像，其中人体深度图像包括头部的深度图像、躯干的深度图像以及四肢的深度图像。深度图像是指以物体纵向深度值代替灰度图像的灰度级形成的图像，由于这种图像有可以直接利用的三维信息，即较可靠的深度数据，而且深度数据独立于光照及物体表面的反射特性，因此可以通过检测物体的深度值得到更可靠的几何信息。

具体实现中，可先设定预设面积的圆形区域，将圆形区域在人体图像内移动，判断圆形区域的圆周上的点对应于人体深度图像上的坐标点的深度值是否等于圆形区域的圆心对应于人体深度图像上的坐标点的深度值。若判断为是，则确定该圆形区域对应于人体深度图像上的区域属于躯干特征。最后在圆形区域的移动过程中通过重复上述步骤确定属于躯干特征的区域，最终得到躯干特征，并在躯干特征的深度图像上提取躯干骨骼点。

具体实现中，对于精确率较低的深度摄像头获取到的深度图像的深度值可能相同，因此若手部与躯干重叠时精确率较低的深度摄像头可能无法准确区分手部和躯干，因此在根据人脸特征确定手部特征后，确定手部的具***置，再根据手部特征确定手部骨骼点。

具体实现中，在确定躯干骨骼点以及手部骨骼点之后，将上述骨骼点按照预设的方式相连，建立人体骨骼模型。

作为一种可实施的方式，如图9所示，所述识别模块800包括运算单元8001、比较单元8002以及确定单元8003。

运算单元8001，用于对所述人体图像的所有像素点进行灰度直方图运算，得到所述人脸特征的灰度直方图以及除所述人脸特征之外的其他特征的灰度直方图；

比较单元8002，用于将所述运算单元8001运算出的人脸特征的灰度直方图与所述其他特征的灰度直方图进行比较；

确定单元8003，用于确定所述手部特征，所述手部特征的灰度直方图与所述人脸特征的灰度直方图的相似度大于或等于预设阈值。

具体实现中，如图3所示，由于手部特征与人脸特征的颜色相近，手部特征的灰度直方图与人脸特征的灰度直方图的相似度相对于其他特征的灰度直方图更大，因此能在手部和躯干重叠时准确识别出手部。其中，其他特征可包括躯干特征、手部特征、腿部特征等特征，或者，可将图像划分为多个区域，每个区域作为一个特征，再计算每个区域的灰度直方图。

具体实现中，可计算每个特征的灰度直方图与人脸特征的灰度直方图的相似度，查找出与人脸特征的灰度直方图匹配的区域的灰度直方图。

具体实现中，当比较出某个特征的灰度直方图与人脸特征的灰度直方图的相似度大于或等于预设阈值时，确定该特征为手部特征。

作为一种可实施的方式，如图10所示，所述第一确定模块802包括第一提取单元8020、划定单元8021、获取单元8022、确定单元8023以及获得单元8024。

第一提取单元8020，用于根据所述人脸特征在所述人体图像的位置，在所述人体深度图像的对应位置上提取头部特征；

划定单元8021，用于根据所述第一提取单元8020提取的头部特征的面积大小划定所述圆形区域；

获取单元8022，用于当所述圆形区域在所述人体深度图像内移动时，获取所述圆形区域的圆周上的点对应于所述人体深度图像上的坐标点的深度值以及圆心对应于所述人体深度图像上的坐标点的深度值；

确定单元8023，用于若所述圆周线上的点对应于所述人体深度图像上的坐标点的深度值与所述圆心对应于所述人体深度图像上的坐标点的深度值相同，则确定所述圆形区域对应于所述人体深度图像上的区域属于所述躯干特征；

获得单元8024，用于根据至少一个所述确定单元8023确定的所述圆形区域对应于所述人体深度图像上的区域获得所述躯干特征。

具体实现中，为了从人体深度图像中提取躯干特征，可在人体深度图像中先剔除头部特征。在人体深度图像上，由于人体图像上的人脸特征的位置与深度图像上的位置对应，因此可在深度图像上提取头部特征。

具体实现中，根据头部特征的面积大小划定圆形区域，通过划定圆形区域确定出躯干特征。

具体实现中，如图5所示，初始根据头部特征的面积大小划定圆形区域R1,其半径为r1。将圆形区域R1在人体深度图像上移动，每当将圆形区域R1移动到一个位置时，获取圆形区域R1的圆周上的点对应于人体深度图像上的坐标点的深度值，以及获取圆形区域R1的圆心对应于人体深度图像上的坐标点的深度值。

具体实现中，将圆形区域R1的圆周上的点对应于人体深度图像上的坐标点的深度值与圆心对应于人体深度图像上的坐标点的深度值进行一一比较。若圆周上的点对应于人体深度图像上的坐标点的深度值与圆心对应于人体深度图像上的坐标点的深度值相同，则说明圆形区域R1对应与人体深度图像上的区域属于躯干特征，并记录该区域在人体深度图像上的位置。若圆周上的点对应于人体深度图像上的坐标点的深度值与圆心对应于人体深度图像上的坐标点的深度值不相同，则说明圆形区域R1移动的位置可能属于手臂的位置，或者圆形区域R1移动的位置可能在躯干特征之外，则将排除圆形区域R1移动的位置属于躯干特征的可能性。

在将圆形区域R1移动预设次数后，根据满足上述条件的确定的区域在人体深度图像上的位置确定躯干特征，由此确定躯干的深度图像。

作为一种可实施的方式，如图10所示，所述躯干骨骼点包括肩膀骨骼点以及胸部骨骼点，则所述第一确定模块802还包括第二提取单元8025、第一得到单元8026以及第二得到单元8027。

第二提取单元8025，用于获取所述躯干特征的第一预设边缘，提取所述第一预设边缘上的端点，将所述端点作为所述肩膀骨骼点；

第一得到单元8026，用于获取所述躯干特征的第二预设边缘，根据所述第一预设边缘以及所述第二预设边缘得到所述躯干特征的中线；

第二得到单元8027，用于根据所述第一得到单元8026得到的躯干特征的中线与所述第一预设边缘的交点得到所述胸部骨骼点。

具体实现中，如图6所示，躯干骨骼点包括肩膀骨骼点以及胸部骨骼点。在确定出躯干特征后，可利用最小二乘法根据给定的躯干特征的像素点的坐标(如第一预设边缘的像素点的坐标)，计算与第一预设边缘的偏差最小的近似曲线，从而根据计算出的近似曲线获取躯干特征的第一预设边缘L1，其中，第一预设边缘L1为躯干特征的肩部边缘，再提取肩部边缘的两个端点D1和D2作为肩膀骨骼点。利用最小二乘法获取图像中的边缘为现有技术，本实施例则不再赘述。

具体实现中，如图6所示，可利用最小二乘法获取躯干特征的第二预设边缘L2，其中第二预设边缘L2可为躯干特征的底部边缘，再根据躯干特征的底部边缘以及肩部边缘得到躯干特征的中线L3。

具体实现中，如图6所示，在得到躯干特征的中线L3后，将躯干特征的中线L3与第一预设边缘L1的交点D5作为胸部骨骼点。

作为一种可实施的方式，如图11所示，所述装置还包括第三确定模块805、判断模块806以及第四确定模块807。

第三确定模块805，用于根据所述人体深度图像确定手臂的预设边缘，根据所述手臂的预设边缘确定所述手臂的中线；

判断模块806，用于判断所述手臂的中线与预设圆的两个交点是否关于所述预设圆的圆心对称，所述预设圆的圆心位于所述手臂的中线上；

第四确定模块807，用于当所述判断模块806的判断结果为否时，则确定所述预设圆的圆心为所述手臂的关节骨骼点。

则建立模块804，具体用于：

根据所述第一确定模块802确定的躯干骨骼点、所述第四确定模块807确定的手臂的关节骨骼点以及所述第二确定模块803确定的手部骨骼点，建立所述人体骨骼模型。

具体实现中，当手部特征与躯干特征在深度图像上呈现的状态是分离时，如图7所示，可通过最小二乘法在人体深度图像中确定手臂的边缘，得到手臂的中线。

具体实现中，可设置预设半径的圆R4在手臂的中线上移动，在移动过程中判断圆R4与手臂的中线的两个交点(交点a和交点b)是否关于圆R4的圆心对称。

具体实现中，若判断为否，则可确定当前位置的圆R4的圆心的坐标为关节骨骼点的坐标。

具体实现中，可将躯干骨骼点的肩膀骨骼点、胸部骨骼点以及腿部骨骼点与手臂的关节骨骼点和手部骨骼点按照预设的方式连接，建立人体骨骼模型。

采用本发明实施例，通过获取人体图像，识别人体图像中的人脸特征，根据人脸特征确定手部特征；获取人体深度图像；根据预设面积的圆形区域以及人体深度图像确定躯干特征，并根据躯干特征确定躯干骨骼点；根据手部特征确定手部骨骼点；根据躯干骨骼点以及手部骨骼点，建立人体骨骼模型，可准确识别人体模型的关键特征，并区分人体模型的手部和躯干，根据关键特征建立人体模型，其计算结果准确性高，能提高建立人体骨骼模型的精确率。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本发明实施例装置中的模块或单元可以根据实际需要进行合并、划分和删减。

本发明实施例的模块或模块,可以以通用集成电路(如中央处理器CPU),或以专用集成电路(ASIC)来实现。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。

Claims (10)

1.一种建立人体骨骼模型的方法，其特征在于，包括：

获取人体图像，识别所述人体图像中的人脸特征，根据所述人脸特征确定手部特征；

获取人体深度图像；

根据预设面积的圆形区域以及所述人体深度图像确定躯干特征，并根据所述躯干特征确定躯干骨骼点；

根据所述手部特征确定手部骨骼点；

根据所述躯干骨骼点以及所述手部骨骼点，建立人体骨骼模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸特征确定手部特征，具体包括：

对所述人体图像的所有像素点进行灰度直方图运算，得到所述人脸特征的灰度直方图以及除所述人脸特征之外的其他特征的灰度直方图；

将所述人脸特征的灰度直方图与所述其他特征的灰度直方图进行比较；

确定所述手部特征，所述手部特征的灰度直方图与所述人脸特征的灰度直方图的相似度大于或等于预设阈值。

3.根据权利要求1所述的方法，其特征在于，所述根据预设面积的圆形区域以及所述人体深度图像确定躯干特征，具体包括：

根据所述人脸特征在所述人体图像的位置，在所述人体深度图像的对应位置上提取头部特征；

根据所述头部特征的面积大小划定所述圆形区域；

当所述圆形区域在所述人体深度图像内移动时，获取所述圆形区域的圆周上的点对应于所述人体深度图像上的坐标点的深度值以及圆心对应于所述人体深度图像上的坐标点的深度值；

若所述圆周线上的点对应于所述人体深度图像上的坐标点的深度值与所述圆心对应于所述人体深度图像上的坐标点的深度值相同，则确定所述圆形区域对应于所述人体深度图像上的区域属于所述躯干特征；

根据至少一个确定的所述圆形区域对应于所述人体深度图像上的区域获得所述躯干特征。

4.根据权利要求3所述的方法，其特征在于，所述躯干骨骼点包括肩膀骨骼点以及胸部骨骼点，则所述根据所述躯干特征确定躯干骨骼点，具体包括：

获取所述躯干特征的第一预设边缘，提取所述第一预设边缘上的端点，将所述端点作为所述肩膀骨骼点；

获取所述躯干特征的第二预设边缘，根据所述第一预设边缘以及所述第二预设边缘得到所述躯干特征的中线；

根据所述躯干特征的中线与所述第一预设边缘的交点得到所述胸部骨骼点。

5.根据权利要求1所述的方法，其特征在于，所述建立人体骨骼模型之前，所述方法还包括：

根据所述人体深度图像确定手臂的预设边缘，根据所述手臂的预设边缘确定所述手臂的中线；

判断所述手臂的中线与预设圆的两个交点是否关于所述预设圆的圆心对称，所述预设圆的圆心位于所述手臂的中线上；

若判断为否，则确定所述预设圆的圆心为所述手臂的关节骨骼点；

则根据所述躯干骨骼点以及所述手部骨骼点，建立人体骨骼模型，具体包括：

根据所述躯干骨骼点、所述手臂的关节骨骼点以及所述手部骨骼点，建立所述人体骨骼模型。

6.一种建立人体骨骼模型的装置，其特征在于，包括：

识别模块，用于获取人体图像，识别所述人体图像中的人脸特征，根据所述人脸特征确定手部特征；

获取模块，用于获取人体深度图像；

第一确定模块，用于根据预设面积的圆形区域以及所述获取模块获取的人体深度图像确定躯干特征，并根据所述躯干特征确定躯干骨骼点；

第二确定模块，用于根据所述识别模块确定的手部特征确定手部骨骼点；

建立模块，用于根据所述第一确定模块确定的躯干骨骼点以及所述第二确定模块确定的手部骨骼点，建立人体骨骼模型。

7.根据权利要求6所述的装置，其特征在于，所述识别模块包括：

运算单元，用于对所述人体图像的所有像素点进行灰度直方图运算，得到所述人脸特征的灰度直方图以及除所述人脸特征之外的其他特征的灰度直方图；

比较单元，用于将所述运算单元运算出的人脸特征的灰度直方图与所述其他特征的灰度直方图进行比较；

确定单元，用于确定所述手部特征，所述手部特征的灰度直方图与所述人脸特征的灰度直方图的相似度大于或等于预设阈值。

8.根据权利要求6所述的装置，其特征在于，所述第一确定模块包括：

第一提取单元，用于根据所述人脸特征在所述人体图像的位置，在所述人体深度图像的对应位置上提取头部特征；

划定单元，用于根据所述第一提取单元提取的头部特征的面积大小划定所述圆形区域；

获取单元，用于当所述圆形区域在所述人体深度图像内移动时，获取所述圆形区域的圆周上的点对应于所述人体深度图像上的坐标点的深度值以及圆心对应于所述人体深度图像上的坐标点的深度值；

确定单元，用于若所述圆周线上的点对应于所述人体深度图像上的坐标点的深度值与所述圆心对应于所述人体深度图像上的坐标点的深度值相同，则确定所述圆形区域对应于所述人体深度图像上的区域属于所述躯干特征；

获得单元，用于根据至少一个所述确定单元确定的所述圆形区域对应于所述人体深度图像上的区域获得所述躯干特征。

9.根据权利要求8所述的装置，其特征在于，所述躯干骨骼点包括肩膀骨骼点以及胸部骨骼点，则所述第一确定模块还包括：

第二提取单元，用于获取所述躯干特征的第一预设边缘，提取所述第一预设边缘上的端点，将所述端点作为所述肩膀骨骼点；

第一得到单元，用于获取所述躯干特征的第二预设边缘，根据所述第一预设边缘以及所述第二预设边缘得到所述躯干特征的中线；

第二得到单元，用于根据所述第一得到单元得到的躯干特征的中线与所述第一预设边缘的交点得到所述胸部骨骼点。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第三确定模块，用于根据所述人体深度图像确定手臂的预设边缘，根据所述手臂的预设边缘确定所述手臂的中线；

判断模块，用于判断所述手臂的中线与预设圆的两个交点是否关于所述预设圆的圆心对称，所述预设圆的圆心位于所述手臂的中线上；

第四确定模块，用于当所述判断模块的判断结果为否时，则确定所述预设圆的圆心为所述手臂的关节骨骼点。

则建立模块，具体用于：

根据所述第一确定模块确定的躯干骨骼点、所述第四确定模块确定的手臂的关节骨骼点以及所述第二确定模块确定的手部骨骼点，建立所述人体骨骼模型。