CN114612524A - 一种基于rgb-d相机的运动识别方法 - Google Patents
一种基于rgb-d相机的运动识别方法 Download PDFInfo
- Publication number
- CN114612524A CN114612524A CN202210506139.8A CN202210506139A CN114612524A CN 114612524 A CN114612524 A CN 114612524A CN 202210506139 A CN202210506139 A CN 202210506139A CN 114612524 A CN114612524 A CN 114612524A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- rgb
- motion
- nearest neighbor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000000295 complement effect Effects 0.000 claims description 6
- 230000014759 maintenance of location Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000008602 contraction Effects 0.000 claims description 4
- 238000000265 homogenisation Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract 1
- 210000003414 extremity Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 210000003127 knee Anatomy 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 210000002478 hand joint Anatomy 0.000 description 3
- RZVAJINKPMORJF-UHFFFAOYSA-N Acetaminophen Chemical compound CC(=O)NC1=CC=C(O)C=C1 RZVAJINKPMORJF-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于RGB‑D相机的运动识别方法,利用RGB‑D相机采集RGB‑D图像,并对RGB‑D图像进行预处理,得到预处理后的点云;根据预处理后的点云,获取运动差分点云,对运动差分点云集进行优化,得到优化后的运动差分点云集;利用基于拉普拉斯算子的点云收缩算法根据优化后的运动差分点云集,得到运动线性点云模型,并根据运动线性点云模型构建人体关节点识别模板,从而完成人体运动识别;本发明对深度图像进行后续处理,在实际应用场景下没有可见摄像头的存在,可以较好地保护用户隐私;并利用K邻域去噪法,去除离散噪点的同时完成了点云的简化,大大减少了数据处理量,加快算法处理速度,提供一种快速提取且精准识别的方法。
Description
技术领域
本发明涉及点云识别技术领域,具体涉及一种基于RGB-D相机的运动识别方法。
背景技术
随着经济发展,人口老龄化问题不断加剧,基于无人设备的室内人员姿态检测装置在家居和看护领域发挥巨大作用;当前常用的两种人体点云传感器是毫米波雷达和RGB-D深度相机;而毫米波雷达有着成本高昂、扫描时间长和穿透性差等缺点,无法满足大部分场景的需求;另一方面,当前基于RGB-D深度相机的室内人员动作虚拟重建方法,具有重建精度低和算力需求大等缺点。
发明内容
针对现有技术中的上述不足,本发明提供一种基于RGB-D相机的运动识别方法,提供一种快速提取且精准识别的方法。
为了达到上述发明目的,本发明采用的技术方案为:
一方面,一种基于RGB-D相机的运动识别方法,包括以下步骤:
S1、利用RGB-D相机采集RGB-D图像,并对RGB-D图像进行预处理,得到预处理后的点云;
S2、根据预处理后的点云,获取运动差分点云;
S3、对运动差分点云集进行优化,得到优化后的运动差分点云集;
S4、利用基于拉普拉斯算子的点云收缩算法根据优化后的运动差分点云集,得到运动线性点云模型;
S5、根据运动线性点云模型构建人体关节点识别模板;
S6、利用人体关节点识别模板进行人体运动识别。
本发明具有以下有益效果:
利用RGB-D相机采集RGB-D图像,并对RGB-D图像进行预处理,得到预处理后的点云;根据预处理后的点云,获取运动差分点云,对运动差分点云集进行优化,得到优化后的运动差分点云集;利用基于拉普拉斯算子的点云收缩算法根据优化后的运动差分点云集,得到运动线性点云模型,并根据运动线性点云模型构建人体关节点识别模板,从而完成人体运动识别;本发明基于深度相机采集RGB-D图像,且仅对深度图像进行后续处理,在实际应用场景下没有可见摄像头的存在,可以较好地保护用户隐私,且具有设备成本低、扫描周期短的优点;并利用K邻域去噪法的判定阈值,去除离散噪点的同时完成了点云的简化,得到简化后的精准的室内运动人员点云,大大减少了数据处理量,加快算法处理速度,提供一种快速提取且精准识别的方法。
附图说明
图1为本发明提供的一种基于RGB-D相机的运动识别方法的步骤流程图;
图2为本发明实施例中左手臂关节点角度示意图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
如图1所示,一种基于RGB-D相机的运动识别方法,包括以下分步骤:
S1、利用RGB-D相机采集RGB-D图像,并对RGB-D图像进行预处理,得到预处理后的点云;
优选地,步骤S1具体为:
利用RGB-D相机在预设时间间隔下采集两组RGB-D图像,并将RGB-D图像转换为不少于一维的点云,得到预处理后的点云。
本发明实施例中,利用RGB-D相机间隔50ms,前后分别采集两组RGB-D图像,并将两组RGB-D图像转换为六维点云,得到预处理后的点云;具体为:首先在t1时刻得到RGB-D相机A的一组室内人员图像,由该组图像构建t1时刻的场景六维点云PA1;然后在t1+50ms即t2时刻得到RGB-D相机A的另一组室内人员图像,由该组图像构建得到t2时刻的场景六维点云PA2;
其中RGB-D相机A悬挂在室内房间的天花板角落;每组图像包括一张彩色摄像头获取的RGB图像和一张深度摄像头获取的深度图像;RGB图像的全部像素都具有该像素对应的颜色值,分为R、G、B三个通道;深度图像中每个像素的值都对应该点的深度值,也就是该点距离相机焦点的距离。
其中,深度图像像素的二维坐标映射为点云数据,需要计算出每个像素点在三维空间中的坐标;其中由一个深度图像像素点(u,v,d)和一些相机参数,转换成该点对应三维空间的坐标值(x,y,z),可以通过以下公式计算:
S2、根据预处理后的点云,获取运动差分点云;
优选地,步骤S2具体包括以下分步骤:
S21、对预处理后的点云进行交集处理;
优选地,步骤S21具体为:
A1、提取预处理后的点云中相同序号的点云数据,并判断该相同序号的点云数据的坐标是否一致,若是则记相同坐标的点云数据为交集点云的子数据,并进入步骤A2;否则进入步骤A3;
A2、遍历预处理后的点云,根据交集点云的子数据构建点云交集;
A3、预处理后的点云数据的序号加1,返回步骤A1,重新提取预处理后的点云中相同序号的点云数据,直至满足预设迭代条件,结束迭代循环。
本发明实施例中,具体为:
1)提取PA1和PA2中下标为i(i为PA1和PA2点云集中单个点数据的序号,初值为0)的点,对比二者的(x,y,z)坐标是否一致,若一致,则记录(j为PA3点云集中待存入的点数据序号,初值为0);否则,进入步骤2);
2)检查是否所有的点都对比完成,若所有点已全部对比完成,则求交集处理完毕,得到交集PA3,退出循环;否则,进入步骤3)
3)计数值i和j都加1,返回步骤1。
S22、对交集处理后的点云进行均化处理,得到平均点云数据集;
本发明实施例中,均化处理具体为:
其中,i为PA1和PA2点云集中单个点数据的序号,j为PA3点云集中待存入的点数据序号,初值为0。
S23、利用预设欧氏距离阈值下对均化后的点云数据进行补集处理,得到运动差分点云。
优选地,步骤S23具体为:
提取平均点云数据集中相同序号的点云数据,并判断该提取的点云数据的欧式距离是否满足预设欧氏距离阈值,若是则剔除该点云数据,否则保留该点云数据;
遍历均化后的点云数据,得到补集点云,并根据补集点云构建运动差分点云集。
本发明实施例中,具体为:
预设欧氏距离阈值根据点云获取效果而定,通常为 0.05m。
S3、对运动差分点云集进行优化,得到优化后的运动差分点云集;
优选地,步骤S3具体包括以下分步骤:
B1、利用阈值分割法对运动差分点云集中各点云进行分割,得到分割后的点云数据集;
优选地,步骤B1具体为:
根据阈值分割法构建预设分割条件,并判断运动差分点云集合中各点云是否满足该第一预设条件,若是则剔除该点云,否则保留该点云;遍历运动差分点云集,得到分割后的点云数据集,其中,第一预设条件表示为:
本发明实施例中,该分割后的点云数据集为去除背景的点云数据集。
B2、利用随机采样一致算法筛选分割后的点云数据集,得到内点集;
优选地,步骤B2具体为:
计算分割后的点云数据集中各点云的标准偏差,并判断各点云的标准偏差是否满足第二预设条件,若满足则保留该点云;否则剔除该点云;遍历分割后的点云数据集,根据筛选后的点云,构建筛选后的点云集合,作为内点集,其中,第二预设条件表示为:
本发明实施例中,具体为:
1)从点云PA6中随机选取三个点的xyz数据;
2)通过公式计算得到平面方程z = ax + by + c,公式如下:
5)重复上述步骤,并按照条件condition2,判断满足条件的点为内点,不满足的点为外点,最终得到去除地面点云数据的内点集PA7。
B3、利用K邻域去噪法对内点集去噪,得到优化后的运动差分点云。
优选地,步骤B3具体为:
C1、对内点集中各点云进行邻近搜索,得到各点云的不少于一个的最近邻近点;
C2、计算各点云到最近邻近点的平均距离,其计算式表示为:
C3、遍历内点集,根据各点云到最近邻近点的平均距离计算内点集中各点云的平均距离与均方差;
本发明实施例中,平均距离与均方差的计算式分别表示为:
C4、根据内点集中各点云的平均距离与均方差构建第三预设条件,并判断内点集中各点云是否满足该第三预设条件,若满足则剔除点云,否则保留该点云,得到优化后的运动差分点云集,其中,第三预设条件表示为:
S4、利用基于拉普拉斯算子的点云收缩算法根据优化后的运动差分点云集,得到运动线性点云模型;
优选地,步骤S4具体为:
D1、利用空间二叉树法对优化后的运动差分点云集进行邻近搜索,得到不少于一个的最近邻点,并得到最近邻点集;
D2、利用基于拉普拉斯算子的点云收缩算法,根据最近邻点集计算得到初始的运动线性点云模型;其中,计算式表示为:
其中,PA8为收缩前的点云,PA8’为收缩后的点云,W L 为用来控制收缩程度的对角矩阵,W H 为用来控制点云保持程度的对角矩阵,L为采用余弦切的拉普拉斯矩阵,满足:
其中,为余弦切函数,为拉普拉斯矩阵的第i行第j列元素值,为拉普拉斯矩阵的第i行第j列元素值对应的余切权值,和为拉普拉斯矩阵的第i行第j列元素与其左右元素构建的外角角度值,它们的和是180度,为拉普拉斯矩阵的的第i行第i列,即右对角线元素的领域元素集合;
D3、迭代更新用来控制收缩程度的对角矩阵与用来控制点云保持程度的对角矩阵,并判断是否满足第四预设条件,若满足则结束迭代更新,并根据当前迭代结果,得到运动线性点云模型;否则,继续迭代更新。
优选地,步骤D3中用来控制收缩程度的对角矩阵与用来控制点云保持程度的对角矩阵的更新式分别表示为:
其中,为迭代次数t+1下用来控制收缩程度的对角矩阵;为当前迭代次数t下用来控制收缩程度的对角矩阵;为初始的运动线性点云模型中第i个收缩点云的当前邻域;为初始的运动线性点云模型中第i个收缩点云的原始领域;为迭代次数t+1下第i个收缩点云所对应的用来控制点云保持程度的对角矩阵,为初始迭代中第i个收缩点云所对应的用来控制点云保持程度的对角矩阵。
优选地,步骤D3中第四预设条件表示为:
本发明实施例中,迭代更新具体为:
1)根据当前迭代次数,计算最新搜索点云;其计算式表示为:
其中,为当前迭代次数t下用来控制收缩程度的对角矩阵;为当前迭代次数t下用来控制点云保持程度的对角矩阵;为当前迭代次数t下拉普拉斯矩阵;为当前迭代次数t下收缩点云;为最新迭代次数t+1下搜索点云,即为:最新搜索点云;t为迭代次数,代表点云二分遍历的深度值;
2)根据更新公式:
S5、根据运动线性点云模型构建人体关节点识别模板。
优选地,步骤S5具体包括以下分步骤:
S51、根据运动线性点云模型构建人体肢体端点集合;
优选地,步骤S51具体包括以下分步骤:
S511、初始化运动线性点云模型中各点云序号及人体关节点序号,并对运动线性点云模型中点云分别进行最近邻点筛选,得到与各点云相关的第一最近邻点、第二最近邻点,并根据与各点云相关的第一最近邻点、第二最近邻点构建各点云相关的最近邻点集;
优选地,步骤S511具体为:
初始化运动线性点云模型中各点云的序号及人体关节点序号,对运动线性点云模型中点云分别进行最近邻点筛选,任选一个点云,获取其第一最近邻点,并对该第一最近邻点进行最近邻点筛选,得到该最近邻点的第一最近邻点,即作为该任意点云的第二最近邻点;该任意点云与该任意点云的第一最近邻点、及第二最近邻点共同构成该任意点云相关的最近邻点。
S512、根据各点云相关的最近邻点集计算各最近邻点集的欧式空间向量夹角,并判断该欧式空间向量夹角是否满足第五预设条件,若满足则进入步骤S513,否则以次一级的最近邻点构建各点云相关的最近邻点集,返回步骤S511;
本发明实施例中,
三点的欧氏空间向量夹角表示为:;中:为两向量夹角;并判断三点的欧氏空间向量夹角是否小于90°,若满足则进入步骤S513,否则以次一级的最近邻点构建各点云相关的最近邻点集,具体为:记否则重新选取点的次一级最近邻点作为,返回步骤S511;
S513、对各点云的第二最近邻点进行最近邻点搜索,得到各点云的第三最近邻点,并判断各点云的第三最近邻点是否满足第六预设条件,若满足则更新运动线性点云模型中点云中序号,并返回步骤S511;否则进入步骤S514;
S514、记该点云的第三最近邻点为人体肢体端点集合的子集,并将该点云的序号加2,作为该子集的附属值;并判断当前人体关节点序号是否满足第七预设条件;若满足则结束迭代,得到人体肢体端点集合;否则将当前人体关节点序号加1,并返回步骤S511。
本发明实施例中,具体为:记录点为人体肢体端点集合P5的一个元素,其:,即,同时记录深度加2,并令深度为的附属值,并,判断当前人体关节点序号是否为5,即:人体肢体端点集合中子集数量,若满足则结束迭代,得到人体肢体端点集合;否则更新当前人体关节点序号,即:当前人体关节点序号加1;并返回步骤S511。
S52、根据人体肢体端点集合构建人体关节点识别模板。
步骤S52具体为:
遍历人体肢体端点集合,以最小的空间Z轴坐标值所对应的子集作为脚部的关节点;以最小深度值所对应的子集作为头部关节点;以筛选后的剩余子集作为手部关节点数据,并构建第八预设条件区分手部关节点数据;得到人体关节点识别模板;其中,第八预设条件标识为:
Condition 8:
本发明实施例中,可通过查询解剖学相关资料,总结出人体15个关节点数据的分布规律,即头部、颈部、右肩、左肩、右肘、左肘、右手、左手、躯干、右髋、左髋、右膝、左膝、右脚、左脚,假定头部到颈部长度为1.5a,则其余关节点欧氏空间距离的规律如下所示:
1)左脚到左膝的距离为2a,右脚到右膝的距离为2a;
2)左膝到左髋的距离为2.3a,右膝到右髋的距离为2.3a;
3)左手到左肘的距离为2.1a,右手到右肘的距离为2.1a;
4)左肩到颈部的距离为a,右肩到颈部的距离为a;
5)左肩到左肘的距离为1.5a,右肩到右肘的距离为1.5a
6)躯干到左髋的距离为1.2a,躯干到右髋的距离为1.2a;
7)躯干到颈部的距离为2.2a;
S6、利用人体关节点识别模板进行人体运动识别。
本发明实施例中,进行人体运动识别需要选取4个上半身角度特征与4个下半身角度特征,取其角度大小作为6种标准动作的特征数据,以便进行快速的动作识别;8个角度特征的选取表如表1-1所示:
表1-1各个关节点间角度特征选取表
定的人体动作运动特征,以便进行快速模板匹配动作识别。6种基准动作对应角度特征表如表1-2所示:
表1-2 六种基准动作对应角度特征表
3)将A更换为下一个动作的基准特征角度集,重复以上步骤,总共执行6次;
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。
Claims (10)
1.一种基于RGB-D相机的运动识别方法,其特征在于,包括以下步骤:
S1、利用RGB-D相机采集RGB-D图像,并对RGB-D图像进行预处理,得到预处理后的点云;
S2、根据预处理后的点云,获取运动差分点云;
S3、对运动差分点云集进行优化,得到优化后的运动差分点云集;
S4、利用基于拉普拉斯算子的点云收缩算法根据优化后的运动差分点云集,得到运动线性点云模型;
S5、根据运动线性点云模型构建人体关节点识别模板;
S6、利用人体关节点识别模板进行人体运动识别。
2.根据权利要求1中基于RGB-D相机的运动识别方法,其特征在于,步骤S1具体为:
利用RGB-D相机在预设时间间隔下采集两组RGB-D图像,并将RGB-D图像转换为不少于一维的点云,得到预处理后的点云。
3.根据权利要求1中基于RGB-D相机的运动识别方法,其特征在于,步骤S2具体包括以下分步骤:
S21、对预处理后的点云进行交集处理;
S22、对交集处理后的点云进行均化处理,得到平均点云数据集;
S23、利用预设欧氏距离阈值对均化后的点云数据进行补集处理,得到运动差分点云。
4.根据权利要求3中基于RGB-D相机的运动识别方法,其特征在于,步骤S21具体为:
A1、提取预处理后的点云中相同序号的点云数据,并判断该相同序号的点云数据的坐标是否一致,若是则记相同坐标的点云数据为交集点云的子数据,并进入步骤A2;否则进入步骤A3;
A2、遍历预处理后的点云,根据交集点云的子数据构建点云交集;
A3、预处理后的点云数据的序号加1,返回步骤A1,重新提取预处理后的点云中相同序号的点云数据,直至满足预设迭代条件,结束迭代循环。
5.根据权利要求3中基于RGB-D相机的运动识别方法,其特征在于,步骤S23具体为:
提取平均点云数据集中相同序号的点云数据,并判断该提取的点云数据的欧式距离是否满足预设欧氏距离阈值,若是则剔除该点云数据,否则保留该点云数据;
遍历均化后的点云数据,得到补集点云,并根据补集点云构建运动差分点云集。
6.根据权利要求3中基于RGB-D相机的运动识别方法,其特征在于,步骤S3具体包括以下分步骤:
B1、利用阈值分割法对运动差分点云集中各点云进行分割,得到分割后的点云数据集;
B2、利用随机采样一致算法筛选分割后的点云数据集,得到内点集;
B3、利用K邻域去噪法对内点集去噪,得到优化后的运动差分点云。
7.根据权利要求6中基于RGB-D相机的运动识别方法,其特征在于,步骤B3具体包括以下分步骤:
C1、对内点集中各点云进行邻近搜索,得到各点云的不少于一个的最近邻近点;
C2、计算各点云到最近邻近点的平均距离,其计算式表示为:
C3、遍历内点集,根据各点云到最近邻近点的平均距离计算内点集中各点云的平均距离与均方差;
C4、根据内点集中各点云的平均距离与均方差构建第三预设条件,并判断内点集中各点云是否满足该第三预设条件,若满足则剔除点云,否则保留该点云,得到优化后的运动差分点云集,其中,第三预设条件表示为:
8.根据权利要求1中基于RGB-D相机的运动识别方法,其特征在于,步骤S4具体为:
D1、利用空间二叉树法对优化后的运动差分点云集进行邻近搜索,得到不少于一个的最近邻点,并得到最近邻点集;
D2、利用基于拉普拉斯算子的点云收缩算法,根据最近邻点集计算得到初始的运动线性点云模型;其中,计算式表示为:
其中,PA8为收缩前的点云,PA8’为收缩后的点云,W L 为用来控制收缩程度的对角矩阵,W H 为用来控制点云保持程度的对角矩阵,L为采用余弦切的拉普拉斯矩阵,满足:
其中,为余弦切函数,为拉普拉斯矩阵的第i行第j列元素值,为拉普拉斯矩阵的第i行第j列元素值对应的余切权值,和为拉普拉斯矩阵的第i行第j列元素与其左右元素构建的外角角度值,为拉普拉斯矩阵的的第i行第i列,即右对角线元素的领域元素集合;
D3、迭代更新用来控制收缩程度的对角矩阵与用来控制点云保持程度的对角矩阵,并判断是否满足第四预设条件,若满足则结束迭代更新,并根据当前迭代结果,得到运动线性点云模型;否则,继续迭代更新。
9.根据权利要求1中基于RGB-D相机的运动识别方法,其特征在于,步骤S5具体包括以下分步骤:
S51、根据运动线性点云模型构建人体肢体端点集合;
S52、根据人体肢体端点集合构建人体关节点识别模板。
10.根据权利要求9中基于RGB-D相机的运动识别方法,其特征在于,步骤S51具体包括以下分步骤:
S511、初始化运动线性点云模型中各点云序号及人体关节点序号,并对运动线性点云模型中点云分别进行最近邻点筛选,得到与各点云相关的第一最近邻点、第二最近邻点,并根据与各点云相关的第一最近邻点、第二最近邻点构建各点云相关的最近邻点集;
S512、根据各点云相关的最近邻点集计算各最近邻点集的欧式空间向量夹角,并判断该欧式空间向量夹角是否满足第五预设条件,若满足则进入步骤S513,否则以次一级的最近邻点构建各点云相关的最近邻点集,返回步骤S511;
S513、对各点云的第二最近邻点进行最近邻点搜索,得到各点云的第三最近邻点,并判断各点云的第三最近邻点是否满足第六预设条件,若满足则更新运动线性点云模型中点云中序号,并返回步骤S511;否则进入步骤S514;
S514、记该点云的第三最近邻点为人体肢体端点集合的子集,并将该点云的序号加2,作为该子集的附属值;并判断当前人体关节点序号是否满足第七预设条件;若满足则结束迭代,得到人体肢体端点集合;否则将当前人体关节点序号加1,并返回步骤S511。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210506139.8A CN114612524B (zh) | 2022-05-11 | 2022-05-11 | 一种基于rgb-d相机的运动识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210506139.8A CN114612524B (zh) | 2022-05-11 | 2022-05-11 | 一种基于rgb-d相机的运动识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114612524A true CN114612524A (zh) | 2022-06-10 |
CN114612524B CN114612524B (zh) | 2022-07-29 |
Family
ID=81869634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210506139.8A Active CN114612524B (zh) | 2022-05-11 | 2022-05-11 | 一种基于rgb-d相机的运动识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114612524B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150091900A1 (en) * | 2013-09-27 | 2015-04-02 | Pelican Imaging Corporation | Systems and Methods for Depth-Assisted Perspective Distortion Correction |
US20170273665A1 (en) * | 2016-03-28 | 2017-09-28 | Siemens Medical Solutions Usa, Inc. | Pose Recovery of an Ultrasound Transducer |
JP2018119833A (ja) * | 2017-01-24 | 2018-08-02 | キヤノン株式会社 | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 |
CN108573231A (zh) * | 2018-04-17 | 2018-09-25 | 中国民航大学 | 基于运动历史点云生成的深度运动图的人体行为识别方法 |
CN109923583A (zh) * | 2017-07-07 | 2019-06-21 | 深圳市大疆创新科技有限公司 | 一种姿态的识别方法、设备及可移动平台 |
WO2019217903A1 (en) * | 2018-05-11 | 2019-11-14 | Visionairy Health, Inc. | Automated screening of medical data |
CN110910426A (zh) * | 2019-11-26 | 2020-03-24 | 爱菲力斯(深圳)科技有限公司 | 动作过程和动作趋势识别方法、存储介质和电子装置 |
CN111597974A (zh) * | 2020-05-14 | 2020-08-28 | 哈工大机器人(合肥)国际创新研究院 | 一种基于tof相机车厢内人员活动的监控方法及*** |
CN113011381A (zh) * | 2021-04-09 | 2021-06-22 | 中国科学技术大学 | 基于骨骼关节数据的双人动作识别方法 |
CN114038011A (zh) * | 2021-11-08 | 2022-02-11 | 沈阳理工大学 | 一种室内场景下人体异常行为的检测方法 |
-
2022
- 2022-05-11 CN CN202210506139.8A patent/CN114612524B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150091900A1 (en) * | 2013-09-27 | 2015-04-02 | Pelican Imaging Corporation | Systems and Methods for Depth-Assisted Perspective Distortion Correction |
US20170273665A1 (en) * | 2016-03-28 | 2017-09-28 | Siemens Medical Solutions Usa, Inc. | Pose Recovery of an Ultrasound Transducer |
JP2018119833A (ja) * | 2017-01-24 | 2018-08-02 | キヤノン株式会社 | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 |
CN109923583A (zh) * | 2017-07-07 | 2019-06-21 | 深圳市大疆创新科技有限公司 | 一种姿态的识别方法、设备及可移动平台 |
CN108573231A (zh) * | 2018-04-17 | 2018-09-25 | 中国民航大学 | 基于运动历史点云生成的深度运动图的人体行为识别方法 |
WO2019217903A1 (en) * | 2018-05-11 | 2019-11-14 | Visionairy Health, Inc. | Automated screening of medical data |
CN110910426A (zh) * | 2019-11-26 | 2020-03-24 | 爱菲力斯(深圳)科技有限公司 | 动作过程和动作趋势识别方法、存储介质和电子装置 |
CN111597974A (zh) * | 2020-05-14 | 2020-08-28 | 哈工大机器人(合肥)国际创新研究院 | 一种基于tof相机车厢内人员活动的监控方法及*** |
CN113011381A (zh) * | 2021-04-09 | 2021-06-22 | 中国科学技术大学 | 基于骨骼关节数据的双人动作识别方法 |
CN114038011A (zh) * | 2021-11-08 | 2022-02-11 | 沈阳理工大学 | 一种室内场景下人体异常行为的检测方法 |
Non-Patent Citations (7)
Title |
---|
JAMIE SHOTTON等: "real time human pose recognition in parts from single depth images", 《CVPR 2011》 * |
XINMEI TIAN等: "joints kinetic and relational features for action recognition", 《SIGNAL PROCESSING》 * |
吴珍珍等: "利用骨架模型和格拉斯曼流形的3D人体动作识别", 《计算机工程与应用》 * |
杨跃东等: "基于动作图的视角无关动作识别", 《软件学报》 * |
王宪兵等: "基于Kinect传感器的教学手势识别", 《新型工业化》 * |
陈曦等: "骨架关节点跟踪的人体行为识别方法", 《河南科技大学学报(自然科学版)》 * |
陈福兴: "利用RGB-D相机进行人体三维重建关键技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN114612524B (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Melekhov et al. | Dgc-net: Dense geometric correspondence network | |
CN106709950B (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
CN110378997B (zh) | 一种基于orb-slam2的动态场景建图与定位方法 | |
CN110084243B (zh) | 一种基于二维码和单目相机的档案识别与定位方法 | |
CN112927353B (zh) | 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端 | |
CN110827398A (zh) | 基于深度神经网络的室内三维点云自动语义分割算法 | |
CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
Li et al. | Fast visual odometry using intensity-assisted iterative closest point | |
CN112734652B (zh) | 一种基于双目视觉的近红外血管图像投影校正方法 | |
CN111679661A (zh) | 基于深度相机的语义地图构建方法及扫地机器人 | |
Ozbay et al. | A hybrid method for skeleton extraction on Kinect sensor data: Combination of L1-Median and Laplacian shrinking algorithms | |
CN111192194A (zh) | 一种针对幕墙建筑立面的全景图像拼接方法 | |
CN113936210A (zh) | 塔吊防撞方法 | |
CN114612524B (zh) | 一种基于rgb-d相机的运动识别方法 | |
Zhou | Application and Analysis of Computer Vision Algorithms in Graphics and Image Processing | |
CN116563104A (zh) | 一种基于粒子群算法的图像配准方法及图像拼接方法 | |
CN115564915A (zh) | 变电站环境数字化区域的地图构建方法及装置 | |
CN112200850B (zh) | 一种基于成熟特征点的orb提取方法 | |
Magee et al. | Building shape models from image sequences using piecewise linear approximation | |
Du et al. | A high-precision vision-based mobile robot slope detection method in unknown environment | |
Kamencay et al. | A new approach for disparity map estimation from stereo image sequences using hybrid segmentation algorithm | |
CN113379663B (zh) | 一种空间定位方法和装置 | |
Li et al. | A real-time pineapple matching system based on speeded-up robust features | |
CN117078982B (zh) | 基于深度学习的大倾角立体像对准密集特征匹配方法 | |
Hu et al. | Research and implementation of 3D reconstruction algorithm for multi-angle monocular garment image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20231013 Address after: 610000 Chengdu, Sichuan Province, China (Sichuan) Free Trade Pilot Zone Patentee after: Sichuan Bawei Jiuzhang Technology Co.,Ltd. Address before: 610031 section 1, 2nd Ring Road North, Jinniu District, Chengdu City, Sichuan Province Patentee before: SOUTHWEST JIAOTONG University Patentee before: Sichuan Bawei Jiuzhang Technology Co.,Ltd. |