CN106056053B

CN106056053B - 基于骨骼特征点提取的人体姿势识别方法

Info

Publication number: CN106056053B
Application number: CN201610348140.7A
Authority: CN
Inventors: 鲍亮; 张卓晟
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2016-05-23
Filing date: 2016-05-23
Publication date: 2019-04-23
Anticipated expiration: 2036-05-23
Also published as: CN106056053A

Abstract

本发明公开了一种基于骨骼特征点提取的人体姿势识别方法，主要用于解决利用单摄像头进行人体姿势的识别问题。其实现步骤为：(1)视频输入；(2)预处理；(3)提取粗骨骼；(4)提取骨骼特征点；(5)骨骼特征点分类；(6)姿势识别；(7)输出姿势识别结果。本发明利用廓形图的像素点到边缘的最短距离获得粗骨骼，然后利用与前胸节点的距离计算骨骼特征点并分类，再根据骨骼特征点与前胸节点的相对位置信息进行姿势判断。能够在只有单摄像头的视频流输入的情况下，避免大量的计算判断出人体动作。本发明的优势在于计算量小，硬件要求低，准确率高，适应性强。

Description

基于骨骼特征点提取的人体姿势识别方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种计算机视觉领域中基于骨骼特征点提取的人体姿势识别方法。本发明可用于智能监控***识别环境中人体的异常行为，本发明还可以用于常规摄像头识别人体动作实现远程遥控以及人机交互。

背景技术

目前，人体动作识别主要是基于复杂的纹理计算或者需要除单个摄像头以外其它设备的支持。如果是通过纹理计算来识别动作，大多需要对彩色图像或者灰度图进行采样学习匹配计算，在应用中有一个非常明显的问题：计算量大，大部分由于性能限制，需要长时间的计算才能获得结果，导致无法完成及时的遥控。如果是通过单个摄像头以外的其它设备支持，再应用中有以下几个问题：1)成本加大，无论是增加摄像头还是增加红外摄像头以及穿戴式无线遥感器都需要大幅提高设备的成本；2)使用场景受限，红外摄像头不适用于多人场合比如街道，穿戴式无线遥感器不适用于室外场景。因此，为了适应主流摄像设备上快速并且准确的判断人体动作，需要一种适应性更广的人体动作识别方法。

深圳同洲电子股份有限公司申请的专利“一种人体姿势识别的方法和装置”(申请号：201410505930.2，公开号：104281839A)公开的人体姿势识别方法：1)获得深度图像；2)获得人脸图和轮廓图；3)确定人体轮廓图；4)将轮廓图与预设动作图进行对比识别人体姿势。该方法存在的不足之处是：使用预设动作图使得动作识别数量受限，而拍摄角度的或轮廓图提取的差异会导致识别率低。

索尼公司申请的专利“人体三维姿势识别方法和装置”(申请号：201010272736.6，公开号：102385695A)公开的人体三维姿势识别方法：1)对包含人体的输入图像进行三维姿势识别；2)通过运动传感器信息矫正识别的三维姿势。该方法存在的不足之处是：通过特征提取判断动作计算量大，需要运动传感器的辅助使得应用成本上升，应用场景受限。

Jianhao Ding在其发表的论文“Extraction of Human Body Skeleton Based onSilhouette Images”(International Workshop on Education Technology&ComputerScience,2010,1:71-74)中提出了采用采用人体廓形图来提取人体骨骼从而判断姿势的方法。该方法使用廓形图的欧式距离转换和其欧式距离转换的梯度信息来获得骨骼和骨骼特征点，再采用深度搜索的方式将骨骼连接起来，从而通过骨骼形状判断姿势。该方法存在的不足之处是：抗噪声数据能力差；对于人体廓形图提取不理想的情况下，会导致骨骼特征点连接出错率高，从而无法判断出正确的人体姿势。

发明内容：

本发明的目的是克服上述现有技术中存在的不足，提出通过骨骼特征点提取的基于视频的人体姿势识别方法。本发明通过人体廓形图中每个像素点到边缘的最短距离提取出一个粗骨骼和前胸节点，再通过到前胸节点的距离，提取出骨骼特征点，通过判断特征点和前胸节点的距离和夹角特征信息，进行分类和筛选，再通过剩下的特征点的距离和夹角特征信息判断姿势，从而达到人体姿势的判断。

为实现上述目的，本发明的具体实现步骤包括如下：

(1)视频输入：

(1a)将摄像头拍摄的视频图像输入计算机，按照视频拍摄顺序逐帧读取视频图像，得到图像信息；

(2)预处理：

(2a)使用核化相关滤波器KCF追踪算法,从当前帧图像中裁剪包含人体廓形的矩形图像；

(2b)将裁剪后的矩形图像等比例缩放至宽度150像素的矩形图像，使用OneCut图像切割算法，从矩形图像中提取人体廓形图C；

(3)提取粗骨骼：

(3a)计算人体廓形图C中每个像素点到人体廓形图C的人体廓形边缘的最短欧式距离，并用每个像素点的最短欧式距离替换该最短欧式距离的人体廓形图C像素点的像素值，获得人体廓形图D；

(3b)遍历人体廓形图D中所有像素点，筛选出满足以下条件的像素点，加入粗骨骼像素点集合S中：

其中，D(p)表示人体廓形图D中像素点p的像素值，D(q)表示人体廓形图D中像素q的像素值，Q表示像素点p的8连通域，表示任意符号，∈表示属于符号；

(3c)遍历人体廓形图D中所有像素点，选择像素值最大的像素点作为前胸节点E；

(3d)判断计数器是否达到上限值20，若是，保留前胸节点E的坐标值，并将计数器清0；否则，计数器加1，比较上一帧的前胸节点E_i-1的y轴坐标值和当前帧的前胸节点E_i的y轴坐标值，将y轴坐标值更小的前胸节点赋给当前帧的前胸节点E；

(4)提取骨骼特征点：

(4a)遍历粗骨骼像素点集合S中的节点，计算每个节点与前胸节点E的欧式距离，将满足以下条件的节点加入到骨骼特征点点集合F中：

其中，d_chest(p)表示节点p与前胸节点E的欧式距离，，表示存在符号，n表示在{1,2,3…}范围内的一个正整数，∈表示属于符号；

(4b)遍历骨骼特征点集合F，计算每个骨骼特征点到其它骨骼特征点的欧式距离；

(4c)选取骨骼特征点之间欧式距离小于4的两个骨骼特征点，从骨骼特征点集合F中删除这两个骨骼特征点，将以所选的两个骨骼特征点为端点的线段的中点，作为新的骨骼特征点加入到骨骼特征点集合F中；

(4d)判断骨骼特征点集合F中每个骨骼特征点到其它骨骼特征点的欧式距离是否均小于4，若是，则执行步骤(4c)；否则，执行步骤(5)；

(5)骨骼特征点分类：

(5a)创建三个空的特征点集合，分别为躯干特征点集合M，左肢特征点集合L，右肢特征点集合R；

(5b)遍历骨骼特征点集合F，将满足以下条件的骨骼特征点加入躯干特征点集合M中：

|p_x-E_x|≤5

其中，p_.x表示骨骼特征点p的x轴坐标值，E_x表示前胸节点E的x轴坐标值，|·|表示取绝对值操作；

(5c)遍历躯干特征点集合M，以躯干特征点集合M中所有特征点为参数，使用最小二乘法进行直线拟合，获得直线k；

(5d)遍历骨骼特征点集合F，计算每个骨骼特征点到直线k的距离，将到直线k的欧式距离小于5的骨骼特征点加入到集合M中；

(5e)遍历躯干特征点集合M，计算躯干特征点集合M中每个节点到直线k的欧式距离，将到直线k的欧式距离大于5的节点从躯干特征点集合M中删除；

(5f)遍历骨骼特征点集合F，比较每个骨骼特征点的x轴坐标值和前胸节点的x轴坐标值的差值的大小，将差值小于0的骨骼特征点加入到左肢特征点集合L，将差值大于0的骨骼特征点加入到右肢特征点集合R；

(5g)遍历左肢特征点集合L，将属于躯干特征点集合M的特征点从左肢特征点集合L中删除；

(5h)遍历右肢特征点集合R，将属于躯干特征点集合M的特征点从右肢特征点集合R中删除；

(6)姿势识别：

(6a)遍历躯干特征点集合M，计算集合中特征点的y轴坐标值的最大值和最小值的平均值，将平均值作为人体腰部高度；

(6b)遍历左肢特征点集合L和右肢特征点集合R，比较两个集合中特征点的y轴坐标值与人体腰部高度，将y轴坐标值大于人体腰部高度的特征点删除；

(6c)遍历左肢特征点集合L和右肢特征点集合R，计算特征点的距离特征和夹角特征，并将得到的距离和夹角特征保存到各个特征点的特征信息中；

(6d)按照左肢特征点集合L和右肢特征点集合R中各个特征点的夹角特征从小到大的顺序，对左肢特征点集合L和右肢特征点集合R进行排序，将与相邻特征点的夹角特征差值大于30度的特征点从所在的集合中删除，得到筛选掉噪声骨骼特征点后的特征点集合；

(6e)按照左肢特征点集合L和右肢特征点集合R中各个特征点的距离特征从小到大的顺序，对左肢特征点集合和右肢特征点集合进行排序；

(6f)依次遍历左肢特征点集合L和右肢特征点集合R，比较步骤(6c)中计算的各特征点夹角特征，将夹角递减的特征点集合对应肢体识别为上举姿势，将夹角递减的幅度识别为对应肢体上举的幅度；将夹角递增的特征点集合对应肢体识别为下垂姿势，将夹角递增的幅度识别为对应肢体下垂的幅度；将夹角维持在大于80度小于100度的区间内的特征点集合对应的肢体识别为平举姿势；

(7)输出各姿势识别结果。

本发明与现有的技术相比具有以下优点：

第1、由于本发明采用了基于特征点的夹角和距离特征信息的方法来筛选掉噪声骨骼特征点，较之直接用深度搜索连接骨骼特征点，克服了现有技术中抗噪声数据差的问题，使得本发明具有适应性高的优点；

第2、由于本发明输入只有视频图像，克服了现有技术使用运动传感器，应用成本上升、应用场景受限的问题，使得本发明具有成本低，可用性高的优点；

第3、由于本发明通过每个像素点到人体轮廓边缘的最短欧式距离提取粗骨骼，克服了现有技术使用特征提取计算，计算量大的问题，使得本发明具有速度快，及时性高的优点；

第4、由于本发明通过计算特征点的距离特征和夹角特征来判断姿势，克服了现有技术将轮廓图与预设动作图进行对比识别人体姿势的方法，动作识别数量受限，识别率低的问题，使得本发明具有识别准确度高的优点。

附图说明

图1为本发明流程图；

图2为本发明廓形图提取粗骨骼的示意图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

参照图1，对本发明的具体实施步骤做进一步的详细描述。

步骤1，视频输入。

将摄像头拍摄的视频图像输入计算机，按照视频拍摄顺序逐帧读取视频图像，得到图像信息。

步骤2，预处理。

使用核化相关滤波器KCF追踪算法,从当前帧图像中裁剪包含人体廓形的矩形图像：

采用核化相关滤波器KCF追踪算法预测的方法，通过上一帧目标人体所在的矩形区域，预测当前帧人体所在的矩形区域。

按照核化相关滤波器KCF追踪器预测的当前帧所在的矩形区域，将当前帧矩形区域内的图像信息标记为正样本，将标记的正样本加入样本集，将当前帧矩形区域外的图像信息标记为负样本，将标记的负样本加入样本集。

采用核化相关滤波器KCF分类器训练的方法，对样本集进行训练，得到核化相关滤波器KCF分类器。

采用核化相关滤波器KCF分类器分类的方法，产生新的正样本加入样本集，计算正样本在空间上的置信度，并根据正样本在空间上的置信度，选择置信度最高的正样本的位置所在的矩形区域作为当前帧人体廓形所在的矩形区域，根据矩形区域的坐标裁剪图像，得到包含人体廓形的矩形图像。

将裁剪后的矩形图像等比例缩放至宽度150像素的矩形图像，使用OneCut图像切割算法，从矩形图像中提取人体廓形图C：

将逐帧读入的上一帧人体廓形图进行5次腐蚀操作，将矩形图像中和人体廓形图腐蚀后区域的像素点坐标相同的像素点标记为前景，将矩形图像边缘8个连续像素点宽的区域中的像素点标记为后景。

采用OneCut直方图采样的方法，对前景种子和后景种子进行采样，得到采样直方图。

建立S-T连通图模型，其中模型中的节点为矩形图像的各个像素点以及一个S节点和T节点，模型中的边为矩形图像的各个像素点到其四连通域中的像素点的边以及所有像素点到S节点和T节点的边。

采用OneCut能量函数计算的方法，通过采样直方图，计算出矩形图像各个像素点到S节点和T节点的边的权值。

采用OneCut能量函数计算的方法，计算出矩形图像的各个像素点到其四连通域中的像素点的边的权值。

采用最大流-最小割图论算法，计算S—T连通图的最佳切割，将矩形图像中切割后属于前景的像素点的像素值赋为255，将矩形图像中切割后属于后景的像素点的像素值赋为0，得到切割后的图像如图2(a)所示，图2(a)中的白色区域表示像素值为255的前景部分，黑色区域表示像素值为0的后景部分。

步骤3，提取粗骨骼。

计算人体廓形图C中每个像素点到人体廓形图C的人体廓形边缘的最短欧式距离，并用每个像素点的最短欧式距离替换该最短欧式距离的人体廓形图C像素点的像素值，获得人体廓形图D。

遍历人体廓形图D中所有像素点，筛选出满足以下条件的像素点，加入粗骨骼像素点集合S中，将图2(a)中属于集合S中像素点像素值置为255，不属于集合S的像素点的像素值置为0，得到图2(b)，图2(b)白色部分表示粗骨骼集合S中的像素点：

其中，D(p)表示人体廓形图D中像素点p的像素值，D(q)表示人体廓形图D中像素q的像素值，Q表示像素点p的8连通域，表示任意符号，∈表示属于符号。

遍历人体廓形图D中所有像素点，选择像素值最大的像素点作为前胸节点E。

判断计数器是否达到上限值20，若是，保留前胸节点E的坐标值，并将计数器清0；否则，计数器加1，比较上一帧的前胸节点E_i-1的y轴坐标值和当前帧的前胸节点E_i的y轴坐标值，将y轴坐标值更小的前胸节点赋给当前帧的前胸节点E。

步骤4，提取骨骼特征点。

第一步，遍历粗骨骼像素点集合S中的节点，计算每个节点与前胸节点E的欧式距离，将满足以下条件的节点加入到骨骼特征点点集合F中：

其中，d_chest(p)表示节点p与前胸节点E的欧式距离，，表示存在符号，n表示在{1,2,3…}范围内的一个正整数，∈表示属于符号。

第二步，遍历骨骼特征点集合F，计算每个骨骼特征点到其它骨骼特征点的欧式距离。

第三步，选取骨骼特征点之间欧式距离小于4的两个骨骼特征点，从骨骼特征点集合F中删除这两个骨骼特征点，将以所选的两个骨骼特征点为端点的线段的中点作为新的骨骼特征点加入到骨骼特征点集合F中。

第四步，判断骨骼特征点集合F中每个骨骼特征点到其它骨骼特征点的欧式距离是否均小于4，若是，则执行本步骤的第三步；否则，执行步骤5。

步骤5，骨骼特征点分类。

创建三个空的特征点集合，分别为躯干特征点集合M，左肢特征点集合L，右肢特征点集合R。

遍历骨骼特征点集合F，将满足以下条件的骨骼特征点加入躯干特征点集合M中：

|p_.x-E_x|≤5

其中，p_.x表示骨骼特征点p的x轴坐标值，E_x表示前胸节点E的x轴坐标值，|·|表示取绝对值操作。

遍历躯干特征点集合M，以躯干特征点集合M中所有特征点为参数，使用最小二乘法进行直线拟合，获得直线k。

遍历骨骼特征点集合F，计算每个骨骼特征点到直线k的距离，将到直线k的欧式距离小于5的骨骼特征点加入到集合M中。

遍历躯干特征点集合M，计算躯干特征点集合M中每个节点到直线k的欧式距离，将到直线k的欧式距离大于5的节点从躯干特征点集合M中删除。

遍历骨骼特征点集合F，比较每个骨骼特征点的x轴坐标值和前胸节点的x轴坐标值的差值的大小，将差值小于0的骨骼特征点加入到左肢特征点集合L，将差值大于0的骨骼特征点加入到右肢特征点集合R。

遍历左肢特征点集合L，将属于躯干特征点集合M的特征点从左肢特征点集合L中删除。

遍历右肢特征点集合R，将属于躯干特征点集合M的特征点从右肢特征点集合R中删除。

步骤6，姿势识别。

遍历躯干特征点集合M，计算集合中特征点的y轴坐标值的最大值和最小值的平均值，将平均值作为人体腰部高度。

遍历左肢特征点集合L和右肢特征点集合R，比较两个集合中特征点的y轴坐标值与人体腰部高度，将y轴坐标值大于人体腰部高度的特征点删除。

遍历左肢特征点集合L和右肢特征点集合R，计算特征点的距离特征和夹角特征，并将得到的距离和夹角特征保存到各个特征点的特征信息中：

计算特征点与前胸节点E的欧式距离，得到特征点的距离特征。

创建一个起始点为前胸节点E、方向为垂直向上的单位向量a，创建一个起始点为前胸节点E、方向为指向特征点的单位向量b。

通过余弦夹角公式，计算起始点为前胸节点E、方向为垂直向上的单位向量a和起始点为前胸节点E、方向为指向特征点的单位向量b的夹角，得到特征点的夹角特征。

按照左肢特征点集合L和右肢特征点集合R中各个特征点的夹角特征从小到大的顺序，对左肢特征点集合L和右肢特征点集合R进行排序，将与相邻特征点的夹角特征差值大于30度的特征点从所在的集合中删除，得到筛选掉噪声骨骼特征点后的特征点集合。

按照左肢特征点集合L和右肢特征点集合R中各个特征点的距离特征从小到大的顺序，对左肢特征点集合和右肢特征点集合进行排序。

依次遍历左肢特征点集合L和右肢特征点集合R，比较步骤(6c)中计算的各特征点夹角特征，将夹角递减的特征点集合对应肢体识别为上举姿势，将夹角递减的幅度识别为对应肢体上举的幅度；将夹角递增的特征点集合对应肢体识别为下垂姿势，将夹角递增的幅度识别为对应肢体下垂的幅度；将夹角维持在大于80度小于100度的区间内的特征点集合对应的肢体识别为平举姿势。

步骤7，输出各肢体姿势识别结果。

将识别的各肢体姿势结果结合到一起，得到人体姿势结果，并输出到电脑中。

Claims

1.一种基于骨骼特征点提取的人体姿势识别方法，其具体实现步骤如下：

(1)视频输入：

(2)预处理：

(3)提取粗骨骼：

(3a)计算人体廓形图C中每个像素点到人体廓形图C的人体轮廓边缘的最短欧式距离，并用每个像素点的最短欧式距离替换该最短欧式距离的人体廓形图C像素点的像素值，获得人体廓形图D；

(4)提取骨骼特征点：

其中，d_chest(p)表示节点p与前胸节点E的欧式距离，表示存在符号，n表示在{1,2,3…}范围内的一个正整数，∈表示属于符号；

(4c)选取骨骼特征点之间欧式距离小于4的两个骨骼特征点，从骨骼特征点集合F中删除所选的两个骨骼特征点，将以所选的两个骨骼特征点为端点的线段的中点，作为新的骨骼特征点加入到骨骼特征点集合F中；

(5)骨骼特征点分类：

|p_x-E_x|≤5

其中，p_x表示骨骼特征点p的x轴坐标值，E_x表示前胸节点E的x轴坐标值，|·|表示取绝对值操作；

(6)姿势识别：

(7)输出各姿势识别结果。

2.根据权利要求1所述的基于骨骼特征点提取的人体姿势识别方法，其特征在于：步骤(2a)中所述的核化相关滤波器KCF追踪算法是指按照以下步骤获得包含人体廓形的矩形图像：

第一步，采用核化相关滤波器KCF追踪算法预测的方法，通过上一帧目标人体所在的矩形区域，预测当前帧人体所在的矩形区域；

第二步，按照核化相关滤波器KCF追踪器预测的当前帧所在的矩形区域，将当前帧矩形区域内的图像信息标记为正样本，将标记的正样本加入样本集，将当前帧矩形区域外的图像信息标记为负样本，将标记的负样本加入样本集；

第三步，采用核化相关滤波器KCF分类器训练的方法，对样本集进行训练，得到核化相关滤波器KCF分类器；

第四步，采用核化相关滤波器KCF分类器分类的方法，产生新的正样本加入样本集，计算正样本在空间上的置信度，并根据正样本在空间上的置信度，选择置信度最高的正样本的位置所在的矩形区域作为当前帧人体廓形所在的矩形区域，根据矩形区域的坐标裁剪图像，得到包含人体廓形的矩形图像。

3.根据权利要求1所述的基于骨骼特征点提取的人体姿势识别方法，其特征在于：步骤(2b)中所述的OneCut图像切割算法是指按照以下步骤提取人体廓形图：

第一步，将逐帧读入的上一帧人体廓形图进行5次腐蚀操作，将矩形图像中和人体廓形图腐蚀后区域的像素点坐标相同的像素点标记为前景，将矩形图像边缘8个连续像素点宽的区域中的像素点标记为后景；

第二步，采用OneCut直方图采样的方法，对前景种子和后景种子进行采样，得到采样直方图；

第三步，建立S-T连通图模型，其中模型中的节点为矩形图像的各个像素点以及一个S节点和T节点，模型中的边为矩形图像的各个像素点到其四连通域中的像素点的边以及所有像素点到S节点和T节点的边；

第四步，采用OneCut能量函数计算的方法，通过采样直方图，计算出矩形图像各个像素点到S节点和T节点的边的权值；

第五步，采用OneCut能量函数计算的方法，计算出矩形图像的各个像素点到其四连通域中的像素点的边的权值；

第六步，采用最大流-最小割图论算法，计算S—T连通图的最佳切割，将矩形图像中切割后属于前景的像素点的像素值赋为255，将矩形图像中切割后属于后景的像素点的像素值赋为0，得到切割后的图像；

第七步，将切割后的图像由彩色图像转换成灰度图像，得到人体的廓形图。

4.根据权利要求1所述的基于骨骼特征点提取的人体姿势识别方法，其特征在于：步骤(6c)中所述的计算特征点的距离特征和夹角特征方法的具体步骤如下：

第一步，计算特征点与前胸节点E的欧式距离，得到特征点的距离特征；

第二步，创建一个起始点为前胸节点E、方向为垂直向上的单位向量a，创建一个起始点为前胸节点E、方向为指向特征点的单位向量b；

第三步，通过余弦夹角公式，计算起始点为前胸节点E、方向为垂直向上的单位向量a和起始点为前胸节点E、方向为指向特征点的单位向量b的夹角，得到特征点的夹角特征。