CN114612524A - 一种基于rgb-d相机的运动识别方法 - Google Patents

一种基于rgb-d相机的运动识别方法 Download PDF

Info

Publication number
CN114612524A
CN114612524A CN202210506139.8A CN202210506139A CN114612524A CN 114612524 A CN114612524 A CN 114612524A CN 202210506139 A CN202210506139 A CN 202210506139A CN 114612524 A CN114612524 A CN 114612524A
Authority
CN
China
Prior art keywords
point cloud
point
rgb
motion
nearest neighbor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210506139.8A
Other languages
English (en)
Other versions
CN114612524B (zh
Inventor
苟先太
顾凡
魏峰
蒋晓凤
程丽红
曾开心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Bawei Jiuzhang Technology Co ltd
Original Assignee
Sichuan Bawei Jiuzhang Technology Co ltd
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Bawei Jiuzhang Technology Co ltd, Southwest Jiaotong University filed Critical Sichuan Bawei Jiuzhang Technology Co ltd
Priority to CN202210506139.8A priority Critical patent/CN114612524B/zh
Publication of CN114612524A publication Critical patent/CN114612524A/zh
Application granted granted Critical
Publication of CN114612524B publication Critical patent/CN114612524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于RGB‑D相机的运动识别方法，利用RGB‑D相机采集RGB‑D图像，并对RGB‑D图像进行预处理，得到预处理后的点云；根据预处理后的点云，获取运动差分点云，对运动差分点云集进行优化，得到优化后的运动差分点云集；利用基于拉普拉斯算子的点云收缩算法根据优化后的运动差分点云集，得到运动线性点云模型，并根据运动线性点云模型构建人体关节点识别模板，从而完成人体运动识别；本发明对深度图像进行后续处理，在实际应用场景下没有可见摄像头的存在，可以较好地保护用户隐私；并利用K邻域去噪法，去除离散噪点的同时完成了点云的简化，大大减少了数据处理量，加快算法处理速度，提供一种快速提取且精准识别的方法。

Description

一种基于RGB-D相机的运动识别方法
技术领域
本发明涉及点云识别技术领域，具体涉及一种基于RGB-D相机的运动识别方法。
背景技术
随着经济发展，人口老龄化问题不断加剧，基于无人设备的室内人员姿态检测装置在家居和看护领域发挥巨大作用；当前常用的两种人体点云传感器是毫米波雷达和RGB-D深度相机；而毫米波雷达有着成本高昂、扫描时间长和穿透性差等缺点，无法满足大部分场景的需求；另一方面，当前基于RGB-D深度相机的室内人员动作虚拟重建方法，具有重建精度低和算力需求大等缺点。
发明内容
针对现有技术中的上述不足，本发明提供一种基于RGB-D相机的运动识别方法，提供一种快速提取且精准识别的方法。
为了达到上述发明目的，本发明采用的技术方案为：
一方面，一种基于RGB-D相机的运动识别方法，包括以下步骤：
S1、利用RGB-D相机采集RGB-D图像，并对RGB-D图像进行预处理，得到预处理后的点云；
S2、根据预处理后的点云，获取运动差分点云；
S3、对运动差分点云集进行优化，得到优化后的运动差分点云集；
S4、利用基于拉普拉斯算子的点云收缩算法根据优化后的运动差分点云集，得到运动线性点云模型；
S5、根据运动线性点云模型构建人体关节点识别模板；
S6、利用人体关节点识别模板进行人体运动识别。
本发明具有以下有益效果：
利用RGB-D相机采集RGB-D图像，并对RGB-D图像进行预处理，得到预处理后的点云；根据预处理后的点云，获取运动差分点云，对运动差分点云集进行优化，得到优化后的运动差分点云集；利用基于拉普拉斯算子的点云收缩算法根据优化后的运动差分点云集，得到运动线性点云模型，并根据运动线性点云模型构建人体关节点识别模板，从而完成人体运动识别；本发明基于深度相机采集RGB-D图像，且仅对深度图像进行后续处理，在实际应用场景下没有可见摄像头的存在，可以较好地保护用户隐私，且具有设备成本低、扫描周期短的优点；并利用K邻域去噪法的判定阈值，去除离散噪点的同时完成了点云的简化，得到简化后的精准的室内运动人员点云，大大减少了数据处理量，加快算法处理速度，提供一种快速提取且精准识别的方法。
附图说明
图1为本发明提供的一种基于RGB-D相机的运动识别方法的步骤流程图；
图2为本发明实施例中左手臂关节点角度示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种基于RGB-D相机的运动识别方法，包括以下分步骤：
S1、利用RGB-D相机采集RGB-D图像，并对RGB-D图像进行预处理，得到预处理后的点云；
优选地，步骤S1具体为：
利用RGB-D相机在预设时间间隔下采集两组RGB-D图像，并将RGB-D图像转换为不少于一维的点云，得到预处理后的点云。
本发明实施例中，利用RGB-D相机间隔50ms，前后分别采集两组RGB-D图像，并将两组RGB-D图像转换为六维点云，得到预处理后的点云；具体为：首先在t1时刻得到RGB-D相机A的一组室内人员图像，由该组图像构建t1时刻的场景六维点云PA1；然后在t1+50ms即t2时刻得到RGB-D相机A的另一组室内人员图像，由该组图像构建得到t2时刻的场景六维点云PA2；
其中RGB-D相机A悬挂在室内房间的天花板角落；每组图像包括一张彩色摄像头获取的RGB图像和一张深度摄像头获取的深度图像；RGB图像的全部像素都具有该像素对应的颜色值，分为R、G、B三个通道；深度图像中每个像素的值都对应该点的深度值，也就是该点距离相机焦点的距离。
其中，深度图像像素的二维坐标映射为点云数据，需要计算出每个像素点在三维空间中的坐标；其中由一个深度图像像素点(u,v,d)和一些相机参数，转换成该点对应三维空间的坐标值(x,y,z)，可以通过以下公式计算：
Figure 50298DEST_PATH_IMAGE001
其中，(u,v,d)是该像素点在深度图像中对应的像素坐标，
Figure 282696DEST_PATH_IMAGE002
为相机在x,y两个轴上的焦距，
Figure 788764DEST_PATH_IMAGE003
为相机的光圈中心坐标，s为深度图像的缩放因子，
Figure 473823DEST_PATH_IMAGE004
都为相机内部参数；
在得到每个像素点的空间坐标后，将每个像素对应的(x,y,z)和其彩色图像的三通道值(r,g,b)进行拼接，得到点云
Figure 90749DEST_PATH_IMAGE005
，经过逐像素点计算，即得到场景六维点云数据集合
Figure 177654DEST_PATH_IMAGE006
。
S2、根据预处理后的点云，获取运动差分点云；
优选地，步骤S2具体包括以下分步骤：
S21、对预处理后的点云进行交集处理；
优选地，步骤S21具体为：
A1、提取预处理后的点云中相同序号的点云数据，并判断该相同序号的点云数据的坐标是否一致，若是则记相同坐标的点云数据为交集点云的子数据，并进入步骤A2；否则进入步骤A3；
A2、遍历预处理后的点云，根据交集点云的子数据构建点云交集；
A3、预处理后的点云数据的序号加1，返回步骤A1，重新提取预处理后的点云中相同序号的点云数据，直至满足预设迭代条件，结束迭代循环。
本发明实施例中，具体为：
1）提取PA1和PA2中下标为i（i为PA1和PA2点云集中单个点数据的序号，初值为0）的点，对比二者的(x,y,z)坐标是否一致，若一致，则记录
Figure 854623DEST_PATH_IMAGE007
（j为PA3点云集中待存入的点数据序号，初值为0）；否则，进入步骤2）；
2）检查是否所有的点都对比完成，若所有点已全部对比完成，则求交集处理完毕，得到交集PA3，退出循环；否则，进入步骤3）
3）计数值i和j都加1，返回步骤1。
S22、对交集处理后的点云进行均化处理，得到平均点云数据集；
本发明实施例中，均化处理具体为：
对PA1和PA2的每个点的(x,y,z)进行一一对应取平均，得到平均点云数据集
Figure 276246DEST_PATH_IMAGE008
，公式如下所示：
Figure 431284DEST_PATH_IMAGE009
其中，i为PA1和PA2点云集中单个点数据的序号，j为PA3点云集中待存入的点数据序号，初值为0。
S23、利用预设欧氏距离阈值下对均化后的点云数据进行补集处理，得到运动差分点云。
优选地，步骤S23具体为：
提取平均点云数据集中相同序号的点云数据，并判断该提取的点云数据的欧式距离是否满足预设欧氏距离阈值，若是则剔除该点云数据，否则保留该点云数据；
遍历均化后的点云数据，得到补集点云，并根据补集点云构建运动差分点云集。
本发明实施例中，具体为：
预设欧氏距离阈值根据点云获取效果而定，通常为 0.05m。
S3、对运动差分点云集进行优化，得到优化后的运动差分点云集；
优选地，步骤S3具体包括以下分步骤：
B1、利用阈值分割法对运动差分点云集中各点云进行分割，得到分割后的点云数据集；
优选地，步骤B1具体为：
根据阈值分割法构建预设分割条件，并判断运动差分点云集合中各点云是否满足该第一预设条件，若是则剔除该点云，否则保留该点云；遍历运动差分点云集，得到分割后的点云数据集，其中，第一预设条件表示为：
Figure 638274DEST_PATH_IMAGE010
其中，（x，y，z）为运动差分点云集合中各点云的坐标，
Figure 220565DEST_PATH_IMAGE011
为距离阈值。
本发明实施例中，该分割后的点云数据集为去除背景的点云数据集。
B2、利用随机采样一致算法筛选分割后的点云数据集，得到内点集；
优选地，步骤B2具体为：
计算分割后的点云数据集中各点云的标准偏差，并判断各点云的标准偏差是否满足第二预设条件，若满足则保留该点云；否则剔除该点云；遍历分割后的点云数据集，根据筛选后的点云，构建筛选后的点云集合，作为内点集，其中，第二预设条件表示为：
Figure 880217DEST_PATH_IMAGE012
其中，
Figure 838945DEST_PATH_IMAGE013
为第i个点云到平面z的欧式距离，
Figure 634863DEST_PATH_IMAGE014
为第i个点云的坐标，其中，平面z为分割后的点云数据集中各点云构建的平面，满足：z= ax+by +c；a、b及c分别为平面z的系数。
本发明实施例中，具体为：
1）从点云PA6中随机选取三个点的xyz数据;
Figure 401437DEST_PATH_IMAGE015
2）通过公式计算得到平面方程z = ax + by + c，公式如下：
Figure 548385DEST_PATH_IMAGE016
3）计算点云PA6中剩余点云数据到平面z = ax + by + c的欧式空间距离
Figure 310805DEST_PATH_IMAGE013
，（i为PA6点云集中单个点数据的序号，初值为0，每次计算
Figure 226808DEST_PATH_IMAGE017
时加1）；
4）根据3）中得到的各个点云到平面的欧氏距离
Figure 150902DEST_PATH_IMAGE013
，计算得到其标准偏差
Figure 785145DEST_PATH_IMAGE018
，公式为
Figure 85677DEST_PATH_IMAGE019
，其中
Figure 121766DEST_PATH_IMAGE020
；
5）重复上述步骤，并按照条件condition2，判断满足条件的点为内点，不满足的点为外点，最终得到去除地面点云数据的内点集PA7。
B3、利用K邻域去噪法对内点集去噪，得到优化后的运动差分点云。
优选地，步骤B3具体为：
C1、对内点集中各点云进行邻近搜索，得到各点云的不少于一个的最近邻近点；
C2、计算各点云到最近邻近点的平均距离，其计算式表示为：
Figure 466028DEST_PATH_IMAGE021
其中，
Figure 587568DEST_PATH_IMAGE022
为第i个点云到最近邻近点的平均距离，k为第i个点云的最近邻近点个数，
Figure 691790DEST_PATH_IMAGE023
为第i个点云的空间坐标，
Figure 316807DEST_PATH_IMAGE024
为第i个点云的第j个最近邻近点的空间坐标，
Figure 848282DEST_PATH_IMAGE025
为三维数据的欧氏空间距离计算式；
C3、遍历内点集，根据各点云到最近邻近点的平均距离计算内点集中各点云的平均距离与均方差；
本发明实施例中，平均距离与均方差的计算式分别表示为：
Figure 191539DEST_PATH_IMAGE026
其中，N为内点集中点云总数，均方差
Figure 99452DEST_PATH_IMAGE027
可通过方差计算得到。
C4、根据内点集中各点云的平均距离与均方差构建第三预设条件，并判断内点集中各点云是否满足该第三预设条件，若满足则剔除点云，否则保留该点云，得到优化后的运动差分点云集，其中，第三预设条件表示为：
Figure 844554DEST_PATH_IMAGE028
其中，U为内点集中各点云的平均距离，
Figure 32084DEST_PATH_IMAGE029
为可调参数，
Figure 862637DEST_PATH_IMAGE027
为内点集中各点云的均方差，u i 为第i个点云到最近邻近点的平均距离。
本发明实施例中，预设条件还可表示为：
Figure 308662DEST_PATH_IMAGE030
，其中，
Figure 908270DEST_PATH_IMAGE031
亦为可调参数。
S4、利用基于拉普拉斯算子的点云收缩算法根据优化后的运动差分点云集，得到运动线性点云模型；
优选地，步骤S4具体为：
D1、利用空间二叉树法对优化后的运动差分点云集进行邻近搜索，得到不少于一个的最近邻点，并得到最近邻点集；
D2、利用基于拉普拉斯算子的点云收缩算法，根据最近邻点集计算得到初始的运动线性点云模型；其中，计算式表示为：
Figure 781548DEST_PATH_IMAGE032
其中，PA8为收缩前的点云，PA8’为收缩后的点云，W L 为用来控制收缩程度的对角矩阵，W H 为用来控制点云保持程度的对角矩阵，L为采用余弦切的拉普拉斯矩阵，满足：
Figure 99397DEST_PATH_IMAGE033
其中，
Figure 83534DEST_PATH_IMAGE034
为余弦切函数，
Figure 52496DEST_PATH_IMAGE035
为拉普拉斯矩阵的第i行第j列元素值，
Figure 96675DEST_PATH_IMAGE036
为拉普拉斯矩阵的第i行第j列元素值对应的余切权值，
Figure 901820DEST_PATH_IMAGE037
和
Figure 689647DEST_PATH_IMAGE038
为拉普拉斯矩阵的第i行第j列元素与其左右元素构建的外角角度值，它们的和是180度，
Figure 263848DEST_PATH_IMAGE039
为拉普拉斯矩阵的的第i行第i列，即右对角线元素的领域元素集合；
D3、迭代更新用来控制收缩程度的对角矩阵与用来控制点云保持程度的对角矩阵，并判断是否满足第四预设条件，若满足则结束迭代更新，并根据当前迭代结果，得到运动线性点云模型；否则，继续迭代更新。
优选地，步骤D3中用来控制收缩程度的对角矩阵与用来控制点云保持程度的对角矩阵的更新式分别表示为：
Figure 478929DEST_PATH_IMAGE040
其中，
Figure 505791DEST_PATH_IMAGE041
为迭代次数t+1下用来控制收缩程度的对角矩阵；
Figure 97309DEST_PATH_IMAGE042
为当前迭代次数t下用来控制收缩程度的对角矩阵；
Figure 273819DEST_PATH_IMAGE043
为初始的运动线性点云模型中第i个收缩点云
Figure 659801DEST_PATH_IMAGE044
的当前邻域；
Figure 439538DEST_PATH_IMAGE045
为初始的运动线性点云模型中第i个收缩点云
Figure 569168DEST_PATH_IMAGE044
的原始领域；
Figure 852382DEST_PATH_IMAGE046
为迭代次数t+1下第i个收缩点云
Figure 674845DEST_PATH_IMAGE044
所对应的用来控制点云保持程度的对角矩阵，
Figure 676299DEST_PATH_IMAGE047
为初始迭代中第i个收缩点云
Figure 609620DEST_PATH_IMAGE044
所对应的用来控制点云保持程度的对角矩阵。
优选地，步骤D3中第四预设条件表示为：
Condition 4：
Figure 996607DEST_PATH_IMAGE048
其中，t为迭代次数阈值，
Figure 989971DEST_PATH_IMAGE049
为初始的运动线性点云模型中第i个收缩点云
Figure 478721DEST_PATH_IMAGE044
的最新领域。
本发明实施例中，迭代更新具体为：
1）根据当前迭代次数，计算最新搜索点云；其计算式表示为：
Figure 950154DEST_PATH_IMAGE050
其中，
Figure 207960DEST_PATH_IMAGE051
为当前迭代次数t下用来控制收缩程度的对角矩阵；
Figure 372225DEST_PATH_IMAGE052
为当前迭代次数t下用来控制点云保持程度的对角矩阵；
Figure 82692DEST_PATH_IMAGE053
为当前迭代次数t下拉普拉斯矩阵；
Figure 357816DEST_PATH_IMAGE054
为当前迭代次数t下收缩点云；
Figure 486440DEST_PATH_IMAGE055
为最新迭代次数t+1下搜索点云，即为：最新搜索点云；t为迭代次数，代表点云二分遍历的深度值；
2）根据更新公式：
Figure 556027DEST_PATH_IMAGE056
，分别更新
Figure 19369DEST_PATH_IMAGE057
和
Figure 832605DEST_PATH_IMAGE052
的值，其中
Figure 65003DEST_PATH_IMAGE045
和
Figure 305491DEST_PATH_IMAGE043
分别为
Figure 256130DEST_PATH_IMAGE044
点的原始邻域和最新邻域；
3）按照条件condition4进行判断，若满足，则迭代停止，否则，继续迭代，重新计算新收缩点云
Figure 873056DEST_PATH_IMAGE058
，计算新的拉普拉斯矩阵
Figure 209228DEST_PATH_IMAGE059
。
S5、根据运动线性点云模型构建人体关节点识别模板。
优选地，步骤S5具体包括以下分步骤：
S51、根据运动线性点云模型构建人体肢体端点集合；
优选地，步骤S51具体包括以下分步骤：
S511、初始化运动线性点云模型中各点云序号及人体关节点序号，并对运动线性点云模型中点云分别进行最近邻点筛选，得到与各点云相关的第一最近邻点、第二最近邻点，并根据与各点云相关的第一最近邻点、第二最近邻点构建各点云相关的最近邻点集；
优选地，步骤S511具体为：
初始化运动线性点云模型中各点云的序号及人体关节点序号，对运动线性点云模型中点云分别进行最近邻点筛选，任选一个点云，获取其第一最近邻点，并对该第一最近邻点进行最近邻点筛选，得到该最近邻点的第一最近邻点，即作为该任意点云的第二最近邻点；该任意点云与该任意点云的第一最近邻点、及第二最近邻点共同构成该任意点云相关的最近邻点。
S512、根据各点云相关的最近邻点集计算各最近邻点集的欧式空间向量夹角，并判断该欧式空间向量夹角是否满足第五预设条件，若满足则进入步骤S513，否则以次一级的最近邻点构建各点云相关的最近邻点集，返回步骤S511；
本发明实施例中，
设向量
Figure 886197DEST_PATH_IMAGE060
=
Figure 58553DEST_PATH_IMAGE061
，
向量
Figure 213590DEST_PATH_IMAGE062
；
三点的欧氏空间向量夹角表示为：
Figure 420581DEST_PATH_IMAGE063
；中：
Figure 2872DEST_PATH_IMAGE064
为两向量夹角；并判断三点的欧氏空间向量夹角是否小于90°，若满足则进入步骤S513，否则以次一级的最近邻点构建各点云相关的最近邻点集，具体为：记否则重新选取点
Figure 662523DEST_PATH_IMAGE065
的次一级最近邻点作为
Figure 621252DEST_PATH_IMAGE066
，返回步骤S511；
S513、对各点云的第二最近邻点进行最近邻点搜索，得到各点云的第三最近邻点，并判断各点云的第三最近邻点是否满足第六预设条件，若满足则更新运动线性点云模型中点云中序号，并返回步骤S511；否则进入步骤S514；
本发明实施例中，对
Figure 430552DEST_PATH_IMAGE067
在运动线性点云模型
Figure 449323DEST_PATH_IMAGE068
中进行近邻搜索，得到点
Figure 596271DEST_PATH_IMAGE067
的最近邻点
Figure 93111DEST_PATH_IMAGE069
，判断最近邻点
Figure 9115DEST_PATH_IMAGE069
是否满足该最近邻点
Figure 198788DEST_PATH_IMAGE070
的标识为为0，即：
Figure 833031DEST_PATH_IMAGE071
，满足则更新运动线性点云模型中点云序号，即：点云序号加1，并返回步骤S511。
S514、记该点云的第三最近邻点为人体肢体端点集合的子集，并将该点云的序号加2，作为该子集的附属值；并判断当前人体关节点序号是否满足第七预设条件；若满足则结束迭代，得到人体肢体端点集合；否则将当前人体关节点序号加1，并返回步骤S511。
本发明实施例中，具体为：记录点
Figure 133563DEST_PATH_IMAGE070
为人体肢体端点集合P5的一个元素，其：
Figure 153340DEST_PATH_IMAGE072
，即
Figure 513914DEST_PATH_IMAGE073
，同时记录深度加2，并令深度为
Figure 635454DEST_PATH_IMAGE074
的附属值，并，判断当前人体关节点序号是否为5，即：人体肢体端点集合中子集数量，若满足则结束迭代，得到人体肢体端点集合；否则更新当前人体关节点序号，即：当前人体关节点序号加1；并返回步骤S511。
S52、根据人体肢体端点集合构建人体关节点识别模板。
步骤S52具体为：
遍历人体肢体端点集合，以最小的空间Z轴坐标值所对应的子集作为脚部的关节点；以最小深度值所对应的子集作为头部关节点；以筛选后的剩余子集作为手部关节点数据，并构建第八预设条件区分手部关节点数据；得到人体关节点识别模板；其中，第八预设条件标识为：
Condition 8：
Figure DEST_PATH_IMAGE075
其中，
Figure 942939DEST_PATH_IMAGE076
为人体肢体端点集合中
Figure 833534DEST_PATH_IMAGE077
的空间坐标，
Figure 16209DEST_PATH_IMAGE078
为人体肢体端点集合中
Figure 359466DEST_PATH_IMAGE079
的空间坐标；
若满足第八预设条件则人体肢体端点集合中
Figure 516646DEST_PATH_IMAGE077
为左手关节点数据，
Figure 261748DEST_PATH_IMAGE079
为右手关节点数据；否则
Figure 964125DEST_PATH_IMAGE077
为右手关节点数据，
Figure 529099DEST_PATH_IMAGE079
为左手关节点数据。
本发明实施例中，可通过查询解剖学相关资料，总结出人体15个关节点数据的分布规律，即头部、颈部、右肩、左肩、右肘、左肘、右手、左手、躯干、右髋、左髋、右膝、左膝、右脚、左脚，假定头部到颈部长度为1.5a，则其余关节点欧氏空间距离的规律如下所示：
1）左脚到左膝的距离为2a，右脚到右膝的距离为2a；
2）左膝到左髋的距离为2.3a，右膝到右髋的距离为2.3a；
3）左手到左肘的距离为2.1a，右手到右肘的距离为2.1a；
4）左肩到颈部的距离为a，右肩到颈部的距离为a；
5）左肩到左肘的距离为1.5a，右肩到右肘的距离为1.5a
6）躯干到左髋的距离为1.2a，躯干到右髋的距离为1.2a；
7）躯干到颈部的距离为2.2a；
依据上述人体关节点数据规律和已知的头部、左手、右手、左脚、右脚五肢点云数据，遍历人体线状点云模型
Figure 709544DEST_PATH_IMAGE080
，选取满足上述规律条件的人体关节点作为可用数据，得到人体15个关节点点云数据集合P15
Figure 574732DEST_PATH_IMAGE081
。
S6、利用人体关节点识别模板进行人体运动识别。
本发明实施例中，进行人体运动识别需要选取4个上半身角度特征与4个下半身角度特征，取其角度大小作为6种标准动作的特征数据，以便进行快速的动作识别；8个角度特征的选取表如表1-1所示：
表1-1各个关节点间角度特征选取表
Figure 448010DEST_PATH_IMAGE082
以图2所示，为左手臂关节点角度示意图，左手臂关节角度即特征a2为例，设左肩关节点为A，其空间坐标为
Figure DEST_PATH_IMAGE083
，左肘关节点为B，其空间坐标为
Figure 251012DEST_PATH_IMAGE084
，左手关节点为C，其空间坐标为
Figure 235149DEST_PATH_IMAGE085
，则向量
Figure 954843DEST_PATH_IMAGE086
和向量
Figure 999023DEST_PATH_IMAGE087
的夹角
Figure 804168DEST_PATH_IMAGE088
的求解公式如下所示：
Figure 591995DEST_PATH_IMAGE089
Figure 166196DEST_PATH_IMAGE090
定的人体动作运动特征，以便进行快速模板匹配动作识别。6种基准动作对应角度特征表如表1-2所示：
表1-2 六种基准动作对应角度特征表
Figure 630544DEST_PATH_IMAGE091
首先，定义第一个动作下的特征角度集为
Figure DEST_PATH_IMAGE092
，以及输入的实时动作特征角度集
Figure 391827DEST_PATH_IMAGE093
两个数据集进行做差得到
Figure 983345DEST_PATH_IMAGE094
；
2）计算C的归一化角度
Figure 412052DEST_PATH_IMAGE095
（
Figure 798034DEST_PATH_IMAGE096
为特征角度权值，满足
Figure 577771DEST_PATH_IMAGE097
，由于角度数据大小相差不大，这里取
Figure 707402DEST_PATH_IMAGE098
），记录
Figure 738418DEST_PATH_IMAGE099
数据；
3）将A更换为下一个动作的基准特征角度集，重复以上步骤，总共执行6次；
4）统计上述6个
Figure 560881DEST_PATH_IMAGE099
数据到数列D中，取出其中的最小值
Figure 562335DEST_PATH_IMAGE100
，其对应的基准动作即看作是动作识别结果。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种基于RGB-D相机的运动识别方法，其特征在于，包括以下步骤：
S1、利用RGB-D相机采集RGB-D图像，并对RGB-D图像进行预处理，得到预处理后的点云；
S2、根据预处理后的点云，获取运动差分点云；
S3、对运动差分点云集进行优化，得到优化后的运动差分点云集；
S4、利用基于拉普拉斯算子的点云收缩算法根据优化后的运动差分点云集，得到运动线性点云模型；
S5、根据运动线性点云模型构建人体关节点识别模板；
S6、利用人体关节点识别模板进行人体运动识别。
2.根据权利要求1中基于RGB-D相机的运动识别方法，其特征在于，步骤S1具体为：
利用RGB-D相机在预设时间间隔下采集两组RGB-D图像，并将RGB-D图像转换为不少于一维的点云，得到预处理后的点云。
3.根据权利要求1中基于RGB-D相机的运动识别方法，其特征在于，步骤S2具体包括以下分步骤：
S21、对预处理后的点云进行交集处理；
S22、对交集处理后的点云进行均化处理，得到平均点云数据集；
S23、利用预设欧氏距离阈值对均化后的点云数据进行补集处理，得到运动差分点云。
4.根据权利要求3中基于RGB-D相机的运动识别方法，其特征在于，步骤S21具体为：
A1、提取预处理后的点云中相同序号的点云数据，并判断该相同序号的点云数据的坐标是否一致，若是则记相同坐标的点云数据为交集点云的子数据，并进入步骤A2；否则进入步骤A3；
A2、遍历预处理后的点云，根据交集点云的子数据构建点云交集；
A3、预处理后的点云数据的序号加1，返回步骤A1，重新提取预处理后的点云中相同序号的点云数据，直至满足预设迭代条件，结束迭代循环。
5.根据权利要求3中基于RGB-D相机的运动识别方法，其特征在于，步骤S23具体为：
提取平均点云数据集中相同序号的点云数据，并判断该提取的点云数据的欧式距离是否满足预设欧氏距离阈值，若是则剔除该点云数据，否则保留该点云数据；
遍历均化后的点云数据，得到补集点云，并根据补集点云构建运动差分点云集。
6.根据权利要求3中基于RGB-D相机的运动识别方法，其特征在于，步骤S3具体包括以下分步骤：
B1、利用阈值分割法对运动差分点云集中各点云进行分割，得到分割后的点云数据集；
B2、利用随机采样一致算法筛选分割后的点云数据集，得到内点集；
B3、利用K邻域去噪法对内点集去噪，得到优化后的运动差分点云。
7.根据权利要求6中基于RGB-D相机的运动识别方法，其特征在于，步骤B3具体包括以下分步骤：
C1、对内点集中各点云进行邻近搜索，得到各点云的不少于一个的最近邻近点；
C2、计算各点云到最近邻近点的平均距离，其计算式表示为：
Figure 501816DEST_PATH_IMAGE001
其中，
Figure 724987DEST_PATH_IMAGE002
为第i个点云到最近邻近点的平均距离，k为第i个点云的最近邻近点个数，
Figure 461999DEST_PATH_IMAGE003
为第i个点云的空间坐标，
Figure 719805DEST_PATH_IMAGE004
为第i个点云的第j个最近邻近点的空间坐标，
Figure 369223DEST_PATH_IMAGE005
为三维数据的欧氏空间距离计算式；
C3、遍历内点集，根据各点云到最近邻近点的平均距离计算内点集中各点云的平均距离与均方差；
C4、根据内点集中各点云的平均距离与均方差构建第三预设条件，并判断内点集中各点云是否满足该第三预设条件，若满足则剔除点云，否则保留该点云，得到优化后的运动差分点云集，其中，第三预设条件表示为：
Figure 79690DEST_PATH_IMAGE006
其中，U为内点集中各点云的平均距离，
Figure 354814DEST_PATH_IMAGE007
为可调参数，
Figure 467126DEST_PATH_IMAGE008
为内点集中各点云的均方差，u i 为第i个点云到最近邻近点的平均距离。
8.根据权利要求1中基于RGB-D相机的运动识别方法，其特征在于，步骤S4具体为：
D1、利用空间二叉树法对优化后的运动差分点云集进行邻近搜索，得到不少于一个的最近邻点，并得到最近邻点集；
D2、利用基于拉普拉斯算子的点云收缩算法，根据最近邻点集计算得到初始的运动线性点云模型；其中，计算式表示为：
Figure 802292DEST_PATH_IMAGE009
其中，PA8为收缩前的点云，PA8’为收缩后的点云，W L 为用来控制收缩程度的对角矩阵，W H 为用来控制点云保持程度的对角矩阵，L为采用余弦切的拉普拉斯矩阵，满足：
Figure 56DEST_PATH_IMAGE010
其中，
Figure 78870DEST_PATH_IMAGE011
为余弦切函数，
Figure 560536DEST_PATH_IMAGE012
为拉普拉斯矩阵的第i行第j列元素值，
Figure 801024DEST_PATH_IMAGE013
为拉普拉斯矩阵的第i行第j列元素值对应的余切权值，
Figure 486084DEST_PATH_IMAGE014
和
Figure 103010DEST_PATH_IMAGE015
为拉普拉斯矩阵的第i行第j列元素与其左右元素构建的外角角度值，
Figure 189914DEST_PATH_IMAGE016
为拉普拉斯矩阵的的第i行第i列，即右对角线元素的领域元素集合；
D3、迭代更新用来控制收缩程度的对角矩阵与用来控制点云保持程度的对角矩阵，并判断是否满足第四预设条件，若满足则结束迭代更新，并根据当前迭代结果，得到运动线性点云模型；否则，继续迭代更新。
9.根据权利要求1中基于RGB-D相机的运动识别方法，其特征在于，步骤S5具体包括以下分步骤：
S51、根据运动线性点云模型构建人体肢体端点集合；
S52、根据人体肢体端点集合构建人体关节点识别模板。
10.根据权利要求9中基于RGB-D相机的运动识别方法，其特征在于，步骤S51具体包括以下分步骤：
S511、初始化运动线性点云模型中各点云序号及人体关节点序号，并对运动线性点云模型中点云分别进行最近邻点筛选，得到与各点云相关的第一最近邻点、第二最近邻点，并根据与各点云相关的第一最近邻点、第二最近邻点构建各点云相关的最近邻点集；
S512、根据各点云相关的最近邻点集计算各最近邻点集的欧式空间向量夹角，并判断该欧式空间向量夹角是否满足第五预设条件，若满足则进入步骤S513，否则以次一级的最近邻点构建各点云相关的最近邻点集，返回步骤S511；
S513、对各点云的第二最近邻点进行最近邻点搜索，得到各点云的第三最近邻点，并判断各点云的第三最近邻点是否满足第六预设条件，若满足则更新运动线性点云模型中点云中序号，并返回步骤S511；否则进入步骤S514；
S514、记该点云的第三最近邻点为人体肢体端点集合的子集，并将该点云的序号加2，作为该子集的附属值；并判断当前人体关节点序号是否满足第七预设条件；若满足则结束迭代，得到人体肢体端点集合；否则将当前人体关节点序号加1，并返回步骤S511。
CN202210506139.8A 2022-05-11 2022-05-11 一种基于rgb-d相机的运动识别方法 Active CN114612524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210506139.8A CN114612524B (zh) 2022-05-11 2022-05-11 一种基于rgb-d相机的运动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210506139.8A CN114612524B (zh) 2022-05-11 2022-05-11 一种基于rgb-d相机的运动识别方法

Publications (2)

Publication Number Publication Date
CN114612524A true CN114612524A (zh) 2022-06-10
CN114612524B CN114612524B (zh) 2022-07-29

Family

ID=81869634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210506139.8A Active CN114612524B (zh) 2022-05-11 2022-05-11 一种基于rgb-d相机的运动识别方法

Country Status (1)

Country Link
CN (1) CN114612524B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150091900A1 (en) * 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and Methods for Depth-Assisted Perspective Distortion Correction
US20170273665A1 (en) * 2016-03-28 2017-09-28 Siemens Medical Solutions Usa, Inc. Pose Recovery of an Ultrasound Transducer
JP2018119833A (ja) * 2017-01-24 2018-08-02 キヤノン株式会社 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
CN108573231A (zh) * 2018-04-17 2018-09-25 中国民航大学 基于运动历史点云生成的深度运动图的人体行为识别方法
CN109923583A (zh) * 2017-07-07 2019-06-21 深圳市大疆创新科技有限公司 一种姿态的识别方法、设备及可移动平台
WO2019217903A1 (en) * 2018-05-11 2019-11-14 Visionairy Health, Inc. Automated screening of medical data
CN110910426A (zh) * 2019-11-26 2020-03-24 爱菲力斯(深圳)科技有限公司 动作过程和动作趋势识别方法、存储介质和电子装置
CN111597974A (zh) * 2020-05-14 2020-08-28 哈工大机器人（合肥）国际创新研究院 一种基于tof相机车厢内人员活动的监控方法及***
CN113011381A (zh) * 2021-04-09 2021-06-22 中国科学技术大学 基于骨骼关节数据的双人动作识别方法
CN114038011A (zh) * 2021-11-08 2022-02-11 沈阳理工大学 一种室内场景下人体异常行为的检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150091900A1 (en) * 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and Methods for Depth-Assisted Perspective Distortion Correction
US20170273665A1 (en) * 2016-03-28 2017-09-28 Siemens Medical Solutions Usa, Inc. Pose Recovery of an Ultrasound Transducer
JP2018119833A (ja) * 2017-01-24 2018-08-02 キヤノン株式会社 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
CN109923583A (zh) * 2017-07-07 2019-06-21 深圳市大疆创新科技有限公司 一种姿态的识别方法、设备及可移动平台
CN108573231A (zh) * 2018-04-17 2018-09-25 中国民航大学 基于运动历史点云生成的深度运动图的人体行为识别方法
WO2019217903A1 (en) * 2018-05-11 2019-11-14 Visionairy Health, Inc. Automated screening of medical data
CN110910426A (zh) * 2019-11-26 2020-03-24 爱菲力斯(深圳)科技有限公司 动作过程和动作趋势识别方法、存储介质和电子装置
CN111597974A (zh) * 2020-05-14 2020-08-28 哈工大机器人（合肥）国际创新研究院 一种基于tof相机车厢内人员活动的监控方法及***
CN113011381A (zh) * 2021-04-09 2021-06-22 中国科学技术大学 基于骨骼关节数据的双人动作识别方法
CN114038011A (zh) * 2021-11-08 2022-02-11 沈阳理工大学 一种室内场景下人体异常行为的检测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
JAMIE SHOTTON等: "real time human pose recognition in parts from single depth images", 《CVPR 2011》 *
XINMEI TIAN等: "joints kinetic and relational features for action recognition", 《SIGNAL PROCESSING》 *
吴珍珍等: "利用骨架模型和格拉斯曼流形的3D人体动作识别", 《计算机工程与应用》 *
杨跃东等: "基于动作图的视角无关动作识别", 《软件学报》 *
王宪兵等: "基于Kinect传感器的教学手势识别", 《新型工业化》 *
陈曦等: "骨架关节点跟踪的人体行为识别方法", 《河南科技大学学报(自然科学版)》 *
陈福兴: "利用RGB-D相机进行人体三维重建关键技术研究", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *

Also Published As

Publication number Publication date
CN114612524B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
Melekhov et al. Dgc-net: Dense geometric correspondence network
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN110378997B (zh) 一种基于orb-slam2的动态场景建图与定位方法
CN110084243B (zh) 一种基于二维码和单目相机的档案识别与定位方法
CN112927353B (zh) 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
CN110827398A (zh) 基于深度神经网络的室内三维点云自动语义分割算法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
Li et al. Fast visual odometry using intensity-assisted iterative closest point
CN112734652B (zh) 一种基于双目视觉的近红外血管图像投影校正方法
CN111679661A (zh) 基于深度相机的语义地图构建方法及扫地机器人
Ozbay et al. A hybrid method for skeleton extraction on Kinect sensor data: Combination of L1-Median and Laplacian shrinking algorithms
CN111192194A (zh) 一种针对幕墙建筑立面的全景图像拼接方法
CN113936210A (zh) 塔吊防撞方法
CN114612524B (zh) 一种基于rgb-d相机的运动识别方法
Zhou Application and Analysis of Computer Vision Algorithms in Graphics and Image Processing
CN116563104A (zh) 一种基于粒子群算法的图像配准方法及图像拼接方法
CN115564915A (zh) 变电站环境数字化区域的地图构建方法及装置
CN112200850B (zh) 一种基于成熟特征点的orb提取方法
Magee et al. Building shape models from image sequences using piecewise linear approximation
Du et al. A high-precision vision-based mobile robot slope detection method in unknown environment
Kamencay et al. A new approach for disparity map estimation from stereo image sequences using hybrid segmentation algorithm
CN113379663B (zh) 一种空间定位方法和装置
Li et al. A real-time pineapple matching system based on speeded-up robust features
CN117078982B (zh) 基于深度学习的大倾角立体像对准密集特征匹配方法
Hu et al. Research and implementation of 3D reconstruction algorithm for multi-angle monocular garment image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231013

Address after: 610000 Chengdu, Sichuan Province, China (Sichuan) Free Trade Pilot Zone

Patentee after: Sichuan Bawei Jiuzhang Technology Co.,Ltd.

Address before: 610031 section 1, 2nd Ring Road North, Jinniu District, Chengdu City, Sichuan Province

Patentee before: SOUTHWEST JIAOTONG University

Patentee before: Sichuan Bawei Jiuzhang Technology Co.,Ltd.