CN108875586A - 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 - Google Patents
一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 Download PDFInfo
- Publication number
- CN108875586A CN108875586A CN201810504966.7A CN201810504966A CN108875586A CN 108875586 A CN108875586 A CN 108875586A CN 201810504966 A CN201810504966 A CN 201810504966A CN 108875586 A CN108875586 A CN 108875586A
- Authority
- CN
- China
- Prior art keywords
- feature
- node
- depth
- movement
- depth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法,该方法包括以下步骤:使用Kinect设备获取人体的深度图像和骨骼图像;提取深度图像的运动特征FD;统一骨骼节点的坐标系;计算骨骼图的运动节点;将运动节点通过计算转换为轨迹;提取底层骨骼特征FB;对底层骨骼特征FB进行变换得到骨骼特征FS;深度特征FD与骨骼特征FS进行权重融合得到识别分类模型;根据模型判断当前行为是否为训练康复运动,进行相应的操作。本发明的有效效果:减少数据量、加快计算速度,对康复动作的检测正确率高。
Description
技术领域
本申请涉及行为识别、计算机视觉等领域,尤其涉及功能性肢体康复训练检测的方法。
背景技术
功能性肢体问题的症状主要症状为运动不能、肌力下降。功能性肢体问题对患者的日常生活造成极大的不便,采取及时有效的肢体康复方法,可以部分甚至完全恢复患者的肢体功能。常用的康复方法包括运动疗法、作业疗法、物理疗法等。由于康复训练过程的时间漫长,动作的重复性高,且需要患者具有积极性,导致了只有极少数的患者能够完全完成康复训练,此外由他人进行训练的监督增加了他人和社会的负担,所以迫切需要自动检测康复训练的方法。
康复训练包括了一系列的动作,与行为识别领域具有很大的相似性。基于机器视觉的行为识别具有广泛的应用前景,例如视频的监控,危险行为的检测,人机的交互,视频的检索等。几十年来,学者对行为识别的研究热度从未消退。Kinect设备是微软推出的体感周边外设,可以获取RGB图像和深度信息。与RGB图像相比,深度图像基本不受自然光线影响,还提供具有三维信息的数据,也可以通过微软的SDK提取骨骼数据,准确描述有关关节的具***置。
在视频图像中,人体行为包含了大量的冗余数据,如果将冗余数据和行为特征一同计算,首先需要大的计算能力,此外冗余数据还会对识别的精度造成一定的影响。
发明内容
本发明针对以上问题,提出一种基于深度图像与骨骼图像多特征融合的功能性肢体康复训练检测的方法,该方法从骨骼数据中提取运动节点,增强了行为的可辨别性并提高计算速度,并将深度特征与骨骼特征结合,减少了行为的歧义性。
为了实现上述技术目的,达到上述的技术效果,本发明专利包括以下步骤:
使用Kinect设备获取人体的深度图像和骨骼图像;提取深度图像的运动特征FD;统一骨骼节点的坐标系;计算骨骼图的运动节点;将运动节点通过计算转换为轨迹;提取底层骨骼特征FB;对底层骨骼特征FB进行变换得到骨骼特征FS;深度特征FD与骨骼特征FS进行权重融合得到识别分类模型;根据模型判断当前行为是否为训练康复运动,进行相应的操作。
图1是本发明方法的流程图,下面结合流程图对本发明所提出的方法做进一步说明。
所述使用Kinect设备获取人体的深度图像和骨骼图像,就是将Kinect设备与装有Windows操作***的台式机连接在一起,实时获取数据;
所述提取深度图像的运动特征FD,就是使用DMM描述行为的3D结构和形状信息,即将具有时间信息的深度图投影到笛卡尔积平面上。若一个深度图序列具有N帧,则DMMv特征计算公式:
其中表示第i帧深度图在v方向上的投影图;对投影图进行GLAC处理,对深度图序列进行STACOG处理,计算梯度空间和方向自相关性,得到深度特征FD1和FD2,用梯度大小n和方向θ稀疏表示。如图2,每个点r被编码为B=8个方向角,其梯度角度θ与邻近的方向角的权重构成梯度方向向量f,计算梯度在邻域内的特征:
0阶特征:
1阶特征:
其中a1是邻近点到r的位移矢量,取a1∈{±Δr,0},fd是向量f的第d个元素;进行ROI操作使得相同视角图像大小相同,得到深度特征FD={FD1,FD2};
所述统一骨骼节点的坐标系,就是以脊柱点为原点统一新的坐标系;
所述计算骨骼图的运动节点,就是运用骨骼节点到原点的方差来定义各部分肢体的活跃程度,方差越大说明该节点变化越剧烈,当方差大于平均值时,认为该点就是运动节点;
所述将运动节点通过计算转换为轨迹,就是将方差最大的节点运动转换为轨迹,用轨迹特征来表述行为的骨骼特征;
所述提取底层骨骼特征FB,就是运动节点和轨迹中提取帧间距离D、外接立方体轮廓比O和帧间角度差A作为底层骨骼特征FB;
所述对底层骨骼特征FB进行变换得到骨骼特征FS,就是通过归一化克服不同人体间的差异,然后对底层骨骼特征FB进行高斯混合模型的Fisher Vector处理,大小变为2pK×1,K在高斯混合模型中取128,p是FB的行数,得到骨骼特征FS;
所述深度特征与骨骼特征进行权重融合得到识别分类模型,就是将骨骼特征FS和深度特征FD1,FD2输入到分类器中,分配不同权重μ1,μ2,(1-μ1-μ2),通过对数函数估计全局隶属度,计算公式:
logP(lc|F)=
μ1p1(lc|FS)+μ2p2(lc|FD1)+(1-μ1-μ2)p3(lc|FD2)
隶属度最大时即得到最终标签l*,计算公式:
其中,p1(lc|FS)、p2(lc|FD1)与p3(lc|FD2)是FS,FD1,FD2通过Sigmoid函数计算得到的后验概率。
所述根据模型判断当前行为是否为训练康复运动,进行相应的操作,就是将当前行为用得到的识别模型进行判断,得到最终的结果;
进一步的,对提取底层骨骼特征FB,做具体说明:
(1)帧间距离
在行为运动中,运动节点的距离变化最明显,以求得的轨迹为标准,将轨迹上每个节点的大小称为帧间距离;
P∈R3表示在空间坐标系下的关节点坐标,计算公式:
(2)外接立方体轮廓比
行为不同形成的外接立方体是有差别的,计算运动节点构造的轮廓比,第i帧骨骼数据的轮廓比计算公式
其中,xi表示第i帧运动节点在笛卡尔坐标系中x轴上的值,人体第i帧外接立方体轮廓比特征Oi计算公式:
Oi=[LWi,HWi,LHi]T
(3)帧间角度差
由所求轨迹获得,即求运动节点相邻两帧之间的角度差,而不通过节点之间的角度差,可以避免其他相对静止节点的干扰,计算公式:
其中,Pi关节点第i帧的坐标值;
底层骨骼特征FB由3类特征构成,如式:
进一步地,对底层骨骼特征FB进行变换得到骨骼特征FS,做具体说明:
构建过程伪代码如下:
对FB进行高斯混合模型的Fisher Vector处理,大小变为2pK×1,K在高斯混合模型中取128,p是FB的行数;
输入:M张图像的底层骨骼特征
输出:归一化后的fisher vector:
1.初始化:平均值μk为随机数,方差σk为单位矩阵E,概率wk=1/K
2.计算混合高斯模型GMM参数λ={wk,μk,σk,k=1,…,K}
for|p(FB|Φ)-p(FB|Φ)′|<ε
概率
平均值:
方差:
权值:
end
3.计算统计量
for k←1to K
end
for j←1to M
计算特征由第k个高斯分布生成的概率γj(k)
for k←1to K
end
end
计算fisher vector,通过求关于GMM参数偏导获得
for k←1to K
end
取fisher vector:
向量归一化
由于采用了上述技术方案,本发明提供的深度图像与骨骼数据多特征融合的功能性肢体康复训练检测的方法具有以下优势
(1)剔除了与行为无关的信息,突出了运动肢体的变化,减少了数据量。
(2)权重融合了深度特征和骨骼特征,提高了识别率。
附图说明
为了更清楚的说明本发明的实施或现有的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来说,在不付出任何创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1描述发明方法流程图
图2稀疏向量计算过程
图3为发明实施例中深度图像与骨骼图像多特征融合的算法流程图
图4为发明实施例中深度运动图的形成过程
图5为发明实施例中运动节点的行为
图6为发明实施例中外接立方体
具体实施方式
一、实现过程
本发明所提供的方法主要步骤如下:使用Kinect设备获取人体的深度图像和骨骼图像;提取深度图像的运动特征FD;统一骨骼节点的坐标系;计算骨骼图的运动节点;将运动节点通过计算转换为轨迹;提取底层骨骼特征FB;对底层骨骼特征FB进行变换得到骨骼特征FS;深度特征FD与骨骼特征FS进行权重融合得到识别分类模型;根据模型判断当前行为是否为训练康复运动,进行相应的操作。
为使本发明的实施例的目的、技术方案和优点更加清楚,下面结合本发明的附图3,对本发明实施例中的技术方案进行完整清晰的描述:
步骤S201:使用Kinect体感摄像机获取人体的深度图像和骨骼图像;
步骤S202:用DMM描述行为的3D结构和形状信息,即将具有时间信息的深度图投影到笛卡尔积平面上。假设一个深度图序列具有N帧,则DMMv特征计算公式:
其中表示第i帧深度图在v方向上的投影图。
步骤S203:对投影图进行GLAC处理,对深度图序列进行STACOG处理,计算梯度空间和方向自相关性,用梯度大小n和方向θ稀疏表示,得到深度特征FD1和FD2。如图2,每个点r被编码为B=8个方向角,其梯度角度θ与邻近的方向角的权重构成梯度方向向量f。
计算梯度在邻域内的特征:
0阶特征:
1阶特征:
其中a1是邻近点到r的位移矢量,取a1∈{±Δr,0},fd是向量f的第d个元素。
以high wave的GLAC处理为例,图4(a)是深度图序列,图4(b)为主视图。为避免极大或极小值对DMMv的影响,须将DMMv分布于[0,1],同时进行ROI操作使得相同视角图像大小相同,如图4(c)。深度特征FD1可以表示为式:
FD1={F0,F1};
步骤S204:统一骨骼节点的坐标系,就是以Spine为原点统一新的坐标系;
步骤S205:计算骨骼节点到原点的方差来定义各部分肢体的活跃程度,方差越大说明该节点变化越剧烈,当方差大于平均值时,认为该点就是运动节点;
步骤S206:将运动节点通过计算转换为轨迹,就是将方差最大的节点运动转换为轨迹,用轨迹特征来表述行为的骨骼特征,如图5,high wave的运动节点为9、11、13,其表现为左手行为;
步骤S207:在运动节点和轨迹中提取帧间距离D、外接立方体轮廓比O和帧间角度差A作为底层骨骼特征FB;
步骤S208:通过归一化克服不同人体间的差异,然后对底层骨骼特征FB进行高斯混合模型的Fisher Vector处理,大小变为2pK×1,K在高斯混合模型中取128,p是FB的行数,得到骨骼特征FS;
步骤S209:将骨骼特征FS和深度特征FD1,FD2输入到分类器中,分配不同权重μ1,μ2,(1-μ1-μ2),通过对数函数估计全局隶属度,计算公式:
log P(lc|F)=
μ1p1(lc|FS)+μ2p2(lc|FD1)+(1-μ1-μ2)p3(lc|FD2)
隶属度最大时即得到最终标签l*,计算公式:
其中,p1(lc|FS)、p2(lc|FD1)与p3(lc|FD2)是FS,FD1,FD2通过Sigmoid函数计算得到的后验概率。
步骤S210:将当前行为用得到的识别模型进行判断,得到最终的结果;
对步骤S207提取底层骨骼特征FB,做进一步说明:
(1)帧间距离
在行为运动中,运动节点的距离变化最明显,以求得的轨迹为标准,将轨迹上每个节点的大小称为帧间距离。P∈R3表示在空间坐标系下的关节点坐标,以LH为例,LH到Spine的距离即为帧间距离特征如式:
(2)外接立方体轮廓比
行为不同形成的外接立方体是有差别的,计算运动节点构造的轮廓比,图6是highwave某一帧的左手轮廓,第i帧骨骼数据的轮廓比计算公式
其中,xi表示第i帧运动节点在笛卡尔坐标系中x轴上的值,人体第i帧外接立方体轮廓比特征Oi计算公式:
Oi=[LWi,HWi,LHi]T
(3)帧间角度差
帧间角度差由所求轨迹获得,即求运动节点相邻两帧之间的角度差,而不通过节点之间的角度差,可以避免其他相对静止节点的干扰,以LH为例,计算LH关节点的角度变化特征ALH,如式:
其中,为LH关节点第i帧的坐标值。
底层骨骼特征FB由3类特征构成,如式:
对步骤S208对底层骨骼特征FB进行变换得到骨骼特征FS,做进一步说明:
构建过程伪代码如下:
输入:M张图像的底层骨骼特征
输出:归一化后的fisher vector:
1.初始化:平均值μk为随机数,方差σk为单位矩阵E,概率wk=1/K
2.计算混合高斯模型GMM参数λ={wk,μk,σk,k=1,…,K}
for|p(FB|Φ)-p(FB|Φ)′|<ε
概率
平均值:
方差:
权值:
end
3.计算统计量
for k←1to K
end
for j←1to M
计算特征由第k个高斯分布生成的概率γj(k)
for k←1to K
end
end
4.计算fisher vector,通过求关于GMM参数偏导获得
for k←1to K
end
取fisher vector:
5.向量归一化
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应该在本发明的保护范围内。
Claims (4)
1.一种基于深度图像与骨骼数据的多特征融合的功能性肢体康复训练检测方法,其特征在于,包括以下步骤:
(1)使用Kinect设备获取人体的深度图像和骨骼图像;
(2)提取深度图像的运动特征FD;
(3)统一骨骼节点的坐标系;
(4)计算骨骼图的运动节点;
(5)将运动节点通过计算转换为轨迹;
(6)提取底层骨骼特征FB;
(7)对底层骨骼特征FB进行变换得到骨骼特征FS;
(8)深度特征FD与骨骼特征FS进行权重融合得到识别分类模型;
(9)根据模型判断当前行为是否为训练康复运动,进行相应的操作。
2.根据权利要求1所述的,深度图像与骨骼数据多特征融合的功能性肢体康复训练检测的方法,其特征在于,所述提取深度图像的运动特征FD,就是使用DMM描述行为的3D结构和形状信息,即将具有时间信息的深度图投影到笛卡尔积平面上。若一个深度图序列具有N帧,则DMMv特征计算公式:
其中表示第i帧深度图在v方向上的投影图;对投影图进行GLAC处理,对深度图序列进行STACOG处理,计算梯度空间和方向自相关性,得到深度特征FD1和FD2,用梯度大小n和方向θ稀疏表示。如图2,每个点r被编码为B=8个方向角,其梯度角度θ与邻近的方向角的权重构成梯度方向向量f,计算梯度在邻域内的特征:
0阶特征:
1阶特征:
其中a1是邻近点到r的位移矢量,取a1∈{±Δr,0},fd是向量f的第d个元素;进行ROI操作使得相同视角图像大小相同,得到深度特征FD={FD1,FD2};
所述统一骨骼节点的坐标系,即以脊柱点为原点统一新的坐标系;
计算骨骼图的运动节点,就是运用骨骼节点到原点的方差来定义各部分肢体的活跃程度,方差越大说明该节点变化越剧烈,当方差大于平均值时,认为该点就是运动节点;
将运动节点通过计算转换为轨迹,就是将方差最大的节点运动转换为轨迹,用轨迹特征来表述行为的骨骼特征;
提取底层骨骼特征FB,就是运动节点和轨迹中提取帧间距离D、外接立方体轮廓比O和帧间角度差A作为底层骨骼特征FB;
对底层骨骼特征FB进行变换得到骨骼特征FS,就是通过归一化克服不同人体间的差异,然后对底层骨骼特征FB进行高斯混合模型的Fisher Vector处理,大小变为2pK×1,K在高斯混合模型中取128,p是FB的行数,得到骨骼特征FS;
深度特征与骨骼特征进行权重融合得到识别分类模型,就是将骨骼特征FS和深度特征FD1,FD2输入到分类器中,分配不同权重μ1,μ2,(1-μ1-μ2),通过对数函数估计全局隶属度,计算公式:
logP(lc|F)=μ1p1(lc|FS)+μ2p2(lc|FD1)+(1-μ1-μ2)p3(lc|FD2)
隶属度最大时即得到最终标签l*,计算公式:
其中,p1(lc|FS)、p2(lc|FD1)与p3(lc|FD2)是FS,FD1,FD2通过Sigmoid函数计算得到的后验概率。
所述根据模型判断当前行为是否为训练康复运动,进行相应的操作,就是将当前行为用得到的识别模型进行判断,得到最终的结果。
3.根据权利要求2所述的深度图像与骨骼数据多特征融合的功能性肢体康复训练检测的方法,其特征在于提取底层骨骼特征,具体为:
(1)帧间距离
在行为运动中,运动节点的距离变化最明显,以求得的轨迹为标准,将轨迹上每个节点的大小称为帧间距离;
P∈R3表示在空间坐标系下的关节点坐标,计算公式:
(2)外接立方体轮廓比
行为不同形成的外接立方体是有差别的,计算运动节点构造的轮廓比,第i帧骨骼数据的轮廓比计算公式
其中,xi表示第i帧运动节点在笛卡尔坐标系中x轴上的值,人体第i帧外接立方体轮廓比特征Oi计算公式:Oi=[LWi,HWi,LHi]T
(3)帧间角度差
由所求轨迹获得,即求运动节点相邻两帧之间的角度差,而不通过节点之间的角度差,可以避免其他相对静止节点的干扰,计算公式:
其中,Pi关节点第i帧的坐标值;
底层骨骼特征FB由3类特征构成,如式:
。
4.根据权利要求3所述的深度图像与骨骼数据多特征融合的功能性肢体康复训练检测的方法,其特征在于,对底层骨骼特征FB进行变换得到骨骼特征FS,具体为:
对FB进行高斯混合模型的Fisher Vector处理,大小变为2pK×1,K在高斯混合模型中取128,p是FB的行数;
构建过程伪代码如下:
输入:M张图像的底层骨骼特征
输出:归一化后的fisher vector:
(1)初始化:平均值μk为随机数,方差σk为单位矩阵E,概率wk=1/K
(2)计算混合高斯模型GMM参数λ={wk,μk,σk,k=1,…,K}
for|p(FB|Φ)-p(FB|Φ)′|<ε
概率
平均值:
方差:
权值:
end
(3)计算统计量
for k←1 to K
end
for j←1 to M
计算特征由第k个高斯分布生成的概率γj(k)
for k←1 to K
end
end
计算fisher vector,通过求关于GMM参数偏导获得
for k←1 to K
end
取fisher vector:
向量归一化
。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810504966.7A CN108875586B (zh) | 2018-05-24 | 2018-05-24 | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810504966.7A CN108875586B (zh) | 2018-05-24 | 2018-05-24 | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108875586A true CN108875586A (zh) | 2018-11-23 |
CN108875586B CN108875586B (zh) | 2020-10-27 |
Family
ID=64333738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810504966.7A Active CN108875586B (zh) | 2018-05-24 | 2018-05-24 | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108875586B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110414316A (zh) * | 2019-06-11 | 2019-11-05 | 中国科学院自动化研究所 | 数据去噪方法、装置、计算机设备和存储介质 |
CN111488773A (zh) * | 2019-01-29 | 2020-08-04 | 广州市百果园信息技术有限公司 | 一种动作识别方法、装置、设备及存储介质 |
CN112233769A (zh) * | 2020-10-12 | 2021-01-15 | 安徽动感智能科技有限公司 | 一种基于数据采集的患后康复*** |
CN113111143A (zh) * | 2021-04-09 | 2021-07-13 | 河南交通发展研究院有限公司 | 公路多源异构数据重构整合及支撑共享成套方法及*** |
CN113100755A (zh) * | 2021-03-26 | 2021-07-13 | 河北工业大学 | 一种基于视觉追踪控制的肢体康复训练与评估*** |
CN114403855A (zh) * | 2021-12-31 | 2022-04-29 | 中山大学附属第一医院 | 瘫痪者上肢运动功能评估方法、***和计算机可读存储介质 |
US12051273B2 (en) | 2019-01-29 | 2024-07-30 | Bigo Technology Pte. Ltd. | Method for recognizing actions, device and storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101958007A (zh) * | 2010-09-20 | 2011-01-26 | 南京大学 | 一种采用草绘的三维动画姿态建模方法 |
CN103106604A (zh) * | 2013-01-23 | 2013-05-15 | 东华大学 | 基于体感技术的3d虚拟试衣方法 |
CN106156714A (zh) * | 2015-04-24 | 2016-11-23 | 北京雷动云合智能技术有限公司 | 基于骨骼关节特征和表面特征融合的人体行为识别方法 |
CN106618965A (zh) * | 2017-01-22 | 2017-05-10 | 无锡智开医疗机器人有限公司 | 一种穿戴式肢体康复训练***及控制方法 |
-
2018
- 2018-05-24 CN CN201810504966.7A patent/CN108875586B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101958007A (zh) * | 2010-09-20 | 2011-01-26 | 南京大学 | 一种采用草绘的三维动画姿态建模方法 |
CN103106604A (zh) * | 2013-01-23 | 2013-05-15 | 东华大学 | 基于体感技术的3d虚拟试衣方法 |
CN106156714A (zh) * | 2015-04-24 | 2016-11-23 | 北京雷动云合智能技术有限公司 | 基于骨骼关节特征和表面特征融合的人体行为识别方法 |
CN106618965A (zh) * | 2017-01-22 | 2017-05-10 | 无锡智开医疗机器人有限公司 | 一种穿戴式肢体康复训练***及控制方法 |
Non-Patent Citations (2)
Title |
---|
CHEN CHEN等: "Action recognition from depth sequences using weightedfusion of 2D and 3D auto-correlation of gradients features", 《MULTIMED TOOLS &APPLICATION》 * |
陆中秋等: "基于深度图像与骨骼数据的行为识别", 《计算机应用》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111488773A (zh) * | 2019-01-29 | 2020-08-04 | 广州市百果园信息技术有限公司 | 一种动作识别方法、装置、设备及存储介质 |
CN111488773B (zh) * | 2019-01-29 | 2021-06-11 | 广州市百果园信息技术有限公司 | 一种动作识别方法、装置、设备及存储介质 |
US12051273B2 (en) | 2019-01-29 | 2024-07-30 | Bigo Technology Pte. Ltd. | Method for recognizing actions, device and storage medium |
CN110414316A (zh) * | 2019-06-11 | 2019-11-05 | 中国科学院自动化研究所 | 数据去噪方法、装置、计算机设备和存储介质 |
CN112233769A (zh) * | 2020-10-12 | 2021-01-15 | 安徽动感智能科技有限公司 | 一种基于数据采集的患后康复*** |
CN113100755A (zh) * | 2021-03-26 | 2021-07-13 | 河北工业大学 | 一种基于视觉追踪控制的肢体康复训练与评估*** |
CN113100755B (zh) * | 2021-03-26 | 2023-01-24 | 河北工业大学 | 一种基于视觉追踪控制的肢体康复训练与评估*** |
CN113111143A (zh) * | 2021-04-09 | 2021-07-13 | 河南交通发展研究院有限公司 | 公路多源异构数据重构整合及支撑共享成套方法及*** |
CN114403855A (zh) * | 2021-12-31 | 2022-04-29 | 中山大学附属第一医院 | 瘫痪者上肢运动功能评估方法、***和计算机可读存储介质 |
CN114403855B (zh) * | 2021-12-31 | 2024-05-24 | 中山大学附属第一医院 | 瘫痪者上肢运动功能评估方法、***和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108875586B (zh) | 2020-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108875586A (zh) | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 | |
Wang et al. | A deep coarse-to-fine network for head pose estimation from synthetic data | |
Yoon et al. | Hand gesture recognition using combined features of location, angle and velocity | |
CN106066996B (zh) | 人体动作的局部特征表示方法及其在行为识别的应用 | |
Green et al. | Quantifying and recognizing human movement patterns from monocular video images-part i: a new framework for modeling human motion | |
Saini et al. | A novel framework of continuous human-activity recognition using Kinect | |
CN108875708A (zh) | 基于视频的行为分析方法、装置、设备、***及存储介质 | |
Liu et al. | Adaptive object tracking by learning hybrid template online | |
Guo et al. | DSRF: A flexible trajectory descriptor for articulated human action recognition | |
Santhalingam et al. | Sign language recognition analysis using multimodal data | |
CN102682452A (zh) | 基于产生式和判别式结合的人体运动跟踪方法 | |
CN105912991A (zh) | 基于3d点云与关键骨骼节点的行为识别 | |
Hu et al. | Human interaction recognition using spatial-temporal salient feature | |
Kumar et al. | Early estimation model for 3D-discrete indian sign language recognition using graph matching | |
CN109086667A (zh) | 基于智能终端的相似活动识别方法 | |
Amaliya et al. | Study on hand keypoint framework for sign language recognition | |
Liu et al. | Trampoline motion decomposition method based on deep learning image recognition | |
Liu et al. | Key algorithm for human motion recognition in virtual reality video sequences based on hidden markov model | |
Feng | Mask RCNN-based single shot multibox detector for gesture recognition in physical education | |
Sudha et al. | On-road driver facial expression emotion recognition with parallel multi-verse optimizer (PMVO) and optical flow reconstruction for partial occlusion in internet of things (IoT) | |
Usman et al. | Skeleton-based motion prediction: A survey | |
Saykol et al. | Posture labeling based gesture classification for Turkish sign language using depth values | |
Xu et al. | Isolated Word Sign Language Recognition Based on Improved SKResNet‐TCN Network | |
Ostovan et al. | Generation of Human Micro‐Doppler Signature Based on Layer‐Reduced Deep Convolutional Generative Adversarial Network | |
Tian et al. | [Retracted] Dance Movement Recognition Based on Modified GMM‐Based Motion Target Detection Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |