CN104463118A - 一种基于Kinect的多视角步态识别方法 - Google Patents

一种基于Kinect的多视角步态识别方法 Download PDF

Info

Publication number
CN104463118A
CN104463118A CN201410733760.3A CN201410733760A CN104463118A CN 104463118 A CN104463118 A CN 104463118A CN 201410733760 A CN201410733760 A CN 201410733760A CN 104463118 A CN104463118 A CN 104463118A
Authority
CN
China
Prior art keywords
gait
dynamic
neural network
kinect
visual angles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410733760.3A
Other languages
English (en)
Inventor
曾玮
邓木清
王清辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longyan University
Original Assignee
Longyan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longyan University filed Critical Longyan University
Priority to CN201410733760.3A priority Critical patent/CN104463118A/zh
Publication of CN104463118A publication Critical patent/CN104463118A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Kinect的多视角步态识别方法,采集骨架关节点三维空间位置信息并视角归一化到侧面视角下;提取视角归一化后的步态特征,对训练集里不同视角下的步态***动态进行神经网络建模、辨识;建立常值神经网络;构建动态估计器,利用不同视角下的步态模式之间在步态***动力学上的差异,根据最小误差原则实现对测试模式的识别。本发明利用Kinect获取骨架关节点的三维空间位置信息,无需借助其它传感设备,不用进行图像处理,降低了***复杂度,提高了特征数据的提取精度。

Description

一种基于Kinect的多视角步态识别方法
技术领域
本发明属于模式识别技术领域,具体涉及一种基于Kinect的多视角步态识别方法。
背景技术
目前,传统的步态识别方法主要是通过图像处理的方法来获取步态特征数据,该类方法对周围的光照环境较为敏感,光照条件不佳可能会影响步态特征提取的准确性;人体穿戴的衣服、饰物等遮挡物也会对步态特征的提取产生干扰和影响;整个图像处理***的设计较为复杂。而微软公司的Kinect采用主动红外线技术进行深度探测,避免了周围光照条件和遮挡物的影响,能够实时准确地获取人体骨架关节点的三维空间位置信息,无须借助其他传感设备,降低了***的复杂度,这对人体步态识别***的设计很有帮助。因此有必要设计一种基于Kinect的步态识别方法,以充分利用Kinect的优势来进行步态识别。
步态识别本质上可以看作是一个动态模式的辨识与识别问题,而动态模式识别本身就是模式识别领域的难题之一。在对径向基函数(RBF)神经网络的持续激励特性研究的基础上,C.Wang等提出了确定学习理论,其中包括对非线性动力学***产生的动态模式的辨识、表达和快速识别方法,即通过确定学习获得动态模式内在***动态的局部准确神经网络建模,把随时间变化的动态模式以时不变且空间分布的方式有效地表达,进一步利用动态模式内在的动力学拓扑相似给出动态模式之间的相似性定义,并提出了对动态模式进行快速识别的一套新方法。
在监控场景中进行步态识别时,最大的难点之一在于视角变化所带来的影响。由于监控摄像头通常安装在固定的位置,而监控场景中被识别对象的行走方向是随机的,不可能按照步态识别***设计者规定的方向行走,视角变化问题是步态识别无法回避的问题。现有的很多方法对视角变化的鲁棒性不足,处理多视角步态识别时性能会大大降低甚至失效。
发明内容
本发明的目的是克服现有技术存在的问题,提供一种更为简洁准确的基于Kinect的多视角步态识别方法。
本发明一种基于Kinect的多视角步态识别方法,包含如下步骤:
步骤1、利用Kinect获取若干试验者不同视角下人体行走时骨架关节点三维空间位置信息;
步骤2、将不同视角下的骨架关节点三维空间位置视角归一化到侧面视角下;
步骤3、提取视角归一化后的髋、膝和踝关节点的空间位置坐标计算得到双下肢膝关节角度和髋关节角度作为步态特征,构成一组步态特征变量,将所有试验者的步态特征变量存入形成训练集;
步骤4、基于确定学习理论,根据步骤3视角归一化后提取出来的双下肢膝关节和髋关节角度特征对训练集里每一个人在不同视角下的步态模式所对应的未知非线性步态***动态建模,设计RBF神经网络辨识器实现对步态***未知动态的局部准确逼近:
步骤5、根据确定学习理论,沿步态***特征轨迹的RBF神经网络的神经元满足持续激励条件,其权值收敛到最优值,取权值收敛后一段时间内各个权值的均值作为学习训练结果,并利用所述学习训练结果建立常值神经网络,所学到的步态动力学知识以常值神经网络权值的形式存储,将不同人在不同视角下的步态模式归一化到侧面视角下,组成训练步态模式库;
步骤6:利用Kinect获取某一视角下人体行走时的骨架关节点三维空间位置信息,将其视角归一化到侧面视角下,计算得到双下肢膝关节和髋关节特征数据,将其作为测试模式的步态特征数据存入测试集;
步骤7:利用常值神经网络构建一组动态估计器,把步骤4和步骤5学习到的训练步态模式库里每一个人在不同视角下的步态模式所对应的一般非线性步态***动力学知识嵌入到动态估计器中,将测试集里待识别的步态特征数据与这组动态估计器做差,形成一组识别误差,根据最小误差原则把测试模式准确分类识别出来,实现多视角下的步态识别。
进一步,在步骤1和6中,利用Kinect获取的三维空间位置信息,其中三维空间的坐标系是指Z轴与Kinect摄像机的摄像头中轴线平行,依右手螺旋定则定义与水平方向平行的方向为X轴,竖直平面为Y轴。
进一步,在步骤4中,所述非线性步态***动态建模方法如下:
x · = F ( x ; p ) + v ( x ; p ) ,
其中,x=[x1,…,xn]T∈Rn是视角归一化后获取到的双下肢膝关节和髋关节角度特征,即步态特征变量,n为步态特征变量的维数,p是***常参数值,F(x;p)=[f1(x;p),…,fn(x;p)]T是光滑且未知的非线性动态变量,代表了不同人在不同视角下的步态***动态,
v(x;p)=[v1(x;p),…,vn(x;p)]T是建模不确定项,将二者合并为一项:
并定义为一般非线性步态***动态;
设计神经网络辨识器辨识具体为:
采用动态RBF神经网络构造神经网络辨识器,动态RBF神经网络辨识器形式如下:
x ^ · = - A ( x ^ - x ) + W ^ T S ( x ) ,
其中,是神经网络辨识器的状态,即选取的步态特征变量;A=diag[a1,…,an]是对角矩阵,ai是设计的常数,满足0<|ai|<1;是动态RBF神经网络,用来逼近未知的一般非线性步态***动态S(x)=[S1(||X-ξ1||,…,SN(||X-ξn||]T是高斯型径向基函数;N>1是神经网络结点数目;ξi是神经元中心点;RBF神经网络权值的调节律如下:
W ^ · i = - Γ i S ( x ) x ~ i - σ i Γ i W ^ i , i = 1 , . . . , n ,
其中:i表示n维足底压力特征变量中第i维变量,是状态误差,Γi=Γi T>0,σi>0是调节律的调节参数,动态RBF神经网络的权值的初始值
对应的步骤5中所述常值神经网络权值是指在一段时间内权值收敛至最优的常值,选取收敛的部分权值取数值平均,获取相应的神经网络常值的权值所述神经网络常值由如下式表示:
W ‾ i = mea n t ∈ [ t a , t b ] W ^ i ,
其中,[ta,tb]代表神经网络权值在完成向其最优值收敛的过渡过程之后的一个时间段,使由常值神经网络进行局部准确逼近:
其中,εi2是逼近误差;
所述的步骤7具体如下:
根据步骤5所获取的训练步态模式库中每个人在不同视角下的一般非线性步态***动态的RBF神经网络辨识结果,即常值神经网络权值构造一组动态估计器,表述如下:
χ ‾ i k = - b i ( χ ‾ i k - x ti ) + W ‾ i k T S ( x ti ) , i = 1 , . . . , n , k = 1 , . . . , M ,
其中,χi为动态估计器的状态,k表示M个训练模式中的第k个训练模式,M为训练步态模式库中的模式总量,bi为动态估计器参数,xti为测试集中测试模式的步态特征数据;
将测试集里待识别的测试模式的步态特征数据xti与这组动态估计器做差,得到如下的识别误差***:
其中,是状态估计误差,计算的平均L1范数如下:
| | χ ~ i k ( t ) | | 1 = 1 T c ∫ t - T c t | χ ~ i k ( τ ) | dτ , t ≥ T c ,
其中,Tc表示步态周期;
如果存在一个有限时间ts,s∈{1,…,k}和某一i∈{1,…,n},使对所有t>ts成立,则出现的步态测试模式可被分类识别出来。
所述RBF神经网络权值的调节律根据李雅普洛夫稳定性定理和确定学习理论进行设计,使状态误差与权值估计都有界并指数收敛,其中,所述RBF神经网络的权值收敛有两种情况:
第一种情况:沿步态特征回归轨迹的RBF神经网络的神经元满足持续激励条件,其权值收敛到最优值的小邻域内;
第二种情况:远离步态特征回归轨迹的RBF神经网络的神经元不受激励而不被调节,其权值近似为零。
对一般非线性步态***动态的局部准确建模由如下公式表示:
其中,εi1是逼近误差,这里的局部准确建模是通过RBF神经网络对沿步态特征数据的内在***动态轨迹的逼近,而远离轨迹的内部动态则不被逼近。
本发明与现有技术相比,具有如下优点和有益效果:
1、利用微软公司的Kinect提供的主动红外线技术进行深度探测,避免了周围光照条件和遮挡物的影响,能够实时准确地获取人体骨架关节点的三维空间位置信息,无须借助其他传感设备,不用进行图像处理,避免了传统图像处理方法获取骨架关节点三维空间位置信息的相对复杂性,提高了步态特征提取的精度和速度,降低了步态识别***的复杂度;
2、通过视角归一化,将不同视角下的骨架关节点三维空间位置归一化到侧面视角下,并计算得到双下肢膝关节和髋关节角度作为步态特征,能够反映步态***动态,方便对不同视角下的步态模式进行比较,利用侧面视角下人体步态包含的识别信息最为丰富的特点进行识别,具有计算简单、特征维数低、计算量小、速度快等优点,在实践中也取得了很好的效果;
3、与传统的步态识别方法相比,本发明对不同视角下的非线性步态***动态局部准确建模,所学习到的步态动力学知识以常值神经网络权值的形式存储,利用不同视角下步态模式之间在步态动力学上的差异实现多视角下的步态识别,对视角变化具有更高的鲁棒性,提供更高的识别精度。
附图说明
图1是本发明提出的一种基于Kinect的多视角步态识别方法的流程图;
图2是本发明中Kinect三维空间坐标系和视角归一化示意图;
图3是本发明实施例中采用的12个视角示意图;
图4是本发明实施例中采用的RBF神经网络的拓扑结构示意图;
图5是本发明实施例中神经网络权值的收敛情况。
具体实施方式
下面结合具体实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
如图1所示,一种基于Kinect的多视角步态识别方法,包括以下步骤:
步骤1:利用Kinect获取若干试验者不同视角下人体行走时骨架关节点三维空间位置信息;
获取的每个试验者的骨架关节点数据包含20个骨架关节点的三维空间坐标数据;其中三维空间坐标系是指:Z轴与Kinect摄像机的摄像头中轴线平行,依右手螺旋定则定义与水平方向平行的方向为X轴,竖直平面为Y轴;如图2所示。本发明采用Kinect自建步态数据库,本实施例采集80个试验者的数据存入步态数据库中,其中男性50名,女性30名,对每个试验者分别拍摄12个不同的视角(0°,±30°,±60°,±90°,±120°,±150°,180°)下的行走视频,其视角分布如图3所示。每个视角分别拍摄6个正常行走的序列,共有80×12×6=5760个序列。对于每个试验者的每个视角,选取其中三个序列作为训练模式,剩余的三个序列作为测试模式。Kinect的采样频率是30Hz,平均长度约为100帧。利用Kinect获取步态数据库中每个试验者在12个不同视角下的20个骨架关节点的三维空间位置信息;
步骤2:将不同视角下的骨架关节点三维空间位置视角归一化到侧面视角下;
设定身体左右两肩的空间位置坐标分别为(xL,yL,zL)和(xR,yR,zR),身体姿态垂直于两肩连线,则任意视角下试验者从Kinect前走过时的身体姿态角α,即人体的原始身体姿态角α按以下公式计算得到:
α = arctan ( x L - x R z L - z R ) ;
分别把从X轴正半轴出发,沿逆时针方向角定义为正角,沿顺时针方向角定义为负角,根据以上定义,对原始的身体姿态角α进行修正,修正后的身体姿态角记为β:
将步骤1中不同视角下获取到的人体骨架关节点的三维空间位置视角归一化到侧面视角下,其视角归一化通过以下矩阵变换实现:
x ′ y ′ z ′ = cos β 0 - sin β 0 1 0 sin β 0 cos β x y z ,
其中,(x,y,z)表示变换前骨架关节点的三维空间位置坐标,(x,y,z)表示变换后骨架关节点的三维空间位置坐标,视角归一化示意图如图3所示。
步骤3:提取视角归一化后的髋、膝和踝关节点的空间位置坐标计算得到双下肢膝关节角度AKL,AKR和髋关节角度AHL,AHR作为步态特征,构成一组步态特征变量x=[AKL,AKR,AHL,AHR]T,将所有试验者的步态特征变量存入形成训练集;
本发明利用侧面视角下人体步态包含的识别信息最为丰富的特点来进行步态识别。所述双下肢膝关节和髋关节角度特征数据具有回归性质,在相空间构成回归轨迹;所述回归轨迹包括由非线性***产生的周期轨迹、类周期轨迹和混沌轨迹,所述双下肢膝关节和髋关节角度特征数据从回归轨迹上任一点出发,都能在一段有限时间内回归到该点的一个有限邻域之内,所述具有回归性质的双下肢膝关节和髋关节角度特征数据存在于人体步态中。
步骤4:基于确定学习理论,根据步骤3视角归一化后提取出来的双下肢膝关节和髋关节角度特征对训练集里每一个人在不同视角下的步态模式所对应的未知非线性步态***动态建模,设计RBF神经网络辨识器实现对步态***未知动态的局部准确逼近:
(1)步态***动态建模如下:
x · F ( x ; p ) + v ( x ; p ) ,
其中,x=[x1,…,xn]T∈Rn是视角归一化后获取到的双下肢膝关节和髋关节角度特征,即步态特征变量,n为步态特征变量的维数,p是***常参数值,F(x;p)=[f1(x;p),…,fn(x;p)]T是光滑且未知的非线性动态变量,代表了不同人在不同视角下的步态***动态,
v(x;p)=[v1(x;p),…,vn(x;p)]T是建模不确定项,由于建模不确定项v(x;p)和步态***动态F(x;p)无法互相解耦,因此,将二者合并为一项:并定义为一般非线性步态***动态;
(2)设计神经网络辨识器辨识
采用动态RBF神经网络构造神经网络辨识器,对非线性步态***动态进行学习的拓扑结构图如图4所示,动态RBF神经网络辨识器形式如下:
x ^ · = - A ( x ^ - x ) + W ^ T S ( x ) ,
其中,是神经网络辨识器的状态,即选取的步态特征变量;A=diag[a1,…,an]是对角矩阵,ai是设计的常数,满足0<|ai|<1,本实施例取ai=0.6;是动态RBF神经网络,用来逼近未知的一般非线性步态***动态S(x)=[S1(||X-ξ1||,…,SN(||X-ξn||]T是高斯型径向基函数;N>1是神经网络结点数目,例如N=83521;ξi是神经元中心点,本实施例将神经元均匀分布在区域[-1,1]×[-1,1]×[-1,1]×[-1,1]之内,且宽度取0.15,将所有的步态特征数据都归一化到[-1,1]区间;
RBF神经网络权值的调节律如下:
W ^ · i = - Γ i S ( x ) x ~ i - σ i Γ i W ^ i , i = 1 , . . . , n ,
其中:i表示n维足底压力特征变量中第i维变量,是状态误差,Γi=Γi T>0,σi>0是调节律的调节参数,本实施例取Γi=20σi=0.5,动态RBF神经网络的权值的初始值
RBF神经网络权值的调节律是根据李雅普洛夫稳定性定理和确定学习理论来设计,使状态误差与权值估计都有界并指数收敛,其中RBF神经网络的权值收敛有两种情况:沿步态特征数据回归轨迹的RBF神经网络的神经元满足持续激励条件,其权值收敛到最优值的小邻域内;远离步态特征数据回归轨迹的RBF神经网络的神经元不受激励而不被调节,其权值近似为零;
对一般非线性步态***动态局部准确建模可由如下公式表示:
其中,εi1是逼近误差。这里的局部准确建模是通过RBF神经网络对沿步态特征数据的内在***动态轨迹的逼近,而远离轨迹的内部动态则不被逼近,
在一段时间内权值收敛至常值(最优值),其学习阶段神经网络权值的收敛情况如图5所示,靠近***轨迹的神经元的权值满足部分持续激励条件,从而收敛到其最优值;而远离***轨迹的神经元受激励的程度很小而几乎不被调节,基本上保持在零的小邻域内。
步骤5:建立常值神经网络,构建训练步态模式库;
根据确定学习理论,沿步态***特征轨迹的RBF神经网络的神经元满足持续激励条件,其权值收敛到最优值,取权值收敛后的一段时间内各权值的均值作为学习训练结果,并利用这些结果建立常值神经网络,即对训练集里每一个人在不同视角下的步态***动态都利用RBF神经网络进行辨识,学习到的步态***动力学知识以常值神经网络权值形式存储起来,将不同人在不同视角下的步态模式归一化到侧面视角下,组成训练步态模式库;
所述常值神经网络是时不变的也是空间分布的,即有效的信息只存贮在靠近步态特征数据的内在***动态轨迹的神经元上,而远离轨迹的神经元没有存贮信息,常值神经网络只逼近沿步态特征数据空间轨迹的内部动态,远离轨迹的内部动态没有被逼近;
获取相应的神经网络常值权值由如下式表征:
W ‾ i = mea n t ∈ [ t a , t b ] W ^ i ,
其中,[ta,tb]代表神经网络权值在完成向其最优值收敛的过渡过程之后的一个时间段,这样使得可以由常值神经网络进行局部准确逼近:
其中,εi2是逼近误差。
步骤6:利用Kinect获取某一视角下人体行走时的骨架关节点三维空间位置信息,将其视角归一化到侧面视角下,计算得到双下肢膝关节和髋关节特征数据,将其作为测试模式的步态特征数据存入测试集;
步骤7:利用常值神经网络构建一组动态估计器,把步骤4和步骤5学习到的训练步态模式库里每一个人在不同视角下的步态模式所对应的一般非线性步态***动力学知识嵌入到动态估计器中,将测试集里待识别的步态特征数据与这组动态估计器做差,形成一组识别误差,根据最小误差原则把测试模式准确分类识别出来,实现多视角下的步态识别,其具体步骤如下:
(1)根据步骤5所获取的训练步态模式库中每个人在不同视角下的一般非线性步态***动态的RBF神经网络辨识结果,即常值神经网络权值构造一组动态估计器,表述如下:
χ ‾ i k = - b i ( χ ‾ i k - x ti ) + W ‾ i k T S ( x ti ) , i = 1 , . . . , n , k = 1 , . . . , M ,
其中,χi为动态估计器的状态,bi为动态估计器参数,取bi=-50,xti为测试集中测试模式的步态特征数据,k表示M个训练模式中的第k个训练模式,M为训练模式库中模式总量;试验对象每一次行走过程中提取出来的步态特征数据序列构成一个模式,试验过程中试验对象行走了多少次,对应的提取出来的步态特征数据序列就构成了多少个模式;
(2)将测试集里待识别的测试模式的步态特征数据xti与这组动态估计器做差,得到如下的识别误差***:
其中,是状态估计误差,计算的平均L1范数如下:
| | χ ~ i k ( t ) | | 1 = 1 T c ∫ t - T c t | χ ~ i k ( τ ) | dτ , t ≥ T c ,
其中,Tc表示步态周期。
如果测试集中待识别的某个人出现在某一视角下的步态模式相似于训练步态模式s(s∈{1,…,k}),则嵌入动态估计器s中的常值RBF神经网络能够快速回忆起学过的知识并提供对步态动力学的准确逼近,因此,相对应的误差在所有误差中变得最小,基于最小误差原则,这一出现的人能被快速分类识别出来;即如果存在一个有限时间ts,s∈{1,…,k}和某一i∈{1,…,n},使对所有t>ts成立,则出现的步态测试模式可被分类识别出来。
本发明利用Kinect获取不同视角下的骨架关节点三维空间位置信息,并将其视角归一化到侧面视角下,计算得到双下肢膝关节和髋关节角度并作为步态特征,能够反映步态***动态,方便不同视角下的步态模式进行比较,利用侧面视角下人体步态包含的识别信息最为丰富的特点进行识别,将确定学习理论应用于对不同视角下获取到的人体步态***动态进行局部准确建模和辨识,所学习到的步态动力学知识以常值神经网络权值的形式存储,利用不同视角下步态模式之间在步态动力学上的差异实现多视角下的步态识别。
如下表所示,是本发明中进行识别实验的识别率(CCR,%)表格,采用自建数据库,建立的训练步态模式库中包含80个人在12个视角下的行走模式,对测试集中所有80个人的12个视角逐一进行交叉识别实验。实验数据说明了本发明的优越性,可以看出本发明在每个视角下都可以取得较高的识别率,且每个视角下的平均识别率起伏不大,对视角变化具有较高的鲁棒性。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (5)

1.一种基于Kinect的多视角步态识别方法,其特征在于,包含如下步骤:
步骤1、利用Kinect获取若干试验者不同视角下人体行走时骨架关节点三维空间位置信息;
步骤2、将不同视角下的骨架关节点三维空间位置视角归一化到侧面视角下;
步骤3、提取视角归一化后的髋、膝和踝关节点的空间位置坐标计算得到双下肢膝关节角度和髋关节角度作为步态特征,构成一组步态特征变量,将所有试验者的步态特征变量存入形成训练集;
步骤4、基于确定学习理论,根据步骤3视角归一化后提取出来的双下肢膝关节和髋关节角度特征对训练集里每一个人在不同视角下的步态模式所对应的未知非线性步态***动态建模,设计RBF神经网络辨识器实现对步态***未知动态的局部准确逼近:
步骤5、根据确定学习理论,沿步态***特征轨迹的RBF神经网络的神经元满足持续激励条件,其权值收敛到最优值,取权值收敛后一段时间内各个权值的均值作为学习训练结果,并利用所述学习训练结果建立常值神经网络,所学到的步态动力学知识以常值神经网络权值的形式存储,将不同人在不同视角下的步态模式归一化到侧面视角下,组成训练步态模式库;
步骤6:利用Kinect获取某一视角下人体行走时的骨架关节点三维空间位置信息,将其视角归一化到侧面视角下,计算得到双下肢膝关节和髋关节特征数据,将其作为测试模式的步态特征数据存入测试集;
步骤7:利用常值神经网络构建一组动态估计器,把步骤4和步骤5学习到的训练步态模式库里每一个人在不同视角下的步态模式所对应的一般非线性步态***动力学知识嵌入到动态估计器中,将测试集里待识别的步态特征数据与这组动态估计器做差,形成一组识别误差,根据最小误差原则把测试模式准确分类识别出来,实现多视角下的步态识别。
2.根据权利要求1所述的基于Kinect的多视角步态识别方法,其特征在于:在步骤1和6中,利用Kinect获取的三维空间位置信息,其中三维空间的坐标系是指Z轴与Kinect摄像机的摄像头中轴线平行,依右手螺旋定则定义与水平方向平行的方向为X轴,竖直平面为Y轴。
3.根据权利要求1所述的基于Kinect的多视角步态识别方法,其特征在于:在步骤4中,所述非线性步态***动态建模方法如下:
x · = F ( x ; p ) + v ( x ; p ) ,
其中,x=[x1,…,xn]T∈Rn是视角归一化后获取到的双下肢膝关节和髋关节角度特征,即步态特征变量,n为步态特征变量的维数,p是***常参数值,F(x;p)=[f1(x;p),…,fn(x;p)]T是光滑且未知的非线性动态变量,代表了不同人在不同视角下的步态***动态,v(x;p)=[v1(x;p),…,vn(x;p)]T是建模不确定项,将二者合并为一项:
并定义为一般非线性步态***动态;
设计神经网络辨识器辨识具体为:
采用动态RBF神经网络构造神经网络辨识器,动态RBF神经网络辨识器形式如下:
x ^ · = - A ( x ^ - x ) + W ^ T S ( x ) ,
其中,是神经网络辨识器的状态,即选取的步态特征变量;A=diag[a1,…,an]是对角矩阵,ai是设计的常数,满足0<|ai|<1;是动态RBF神经网络,用来逼近未知的一般非线性步态***动态S(x)=[S1(||X-ξ1||,…,SN(||X-ξn||]T是高斯型径向基函数;N>1是神经网络结点数目;ξi是神经元中心点;RBF神经网络权值的调节律如下:
W ^ · i = - Γ i S ( x ) x ~ i - σ i Γ i W ^ i , i = 1 , · · · , n ,
其中:i表示n维足底压力特征变量中第i维变量,是状态误差,Γi=Γi T>0,σi>0是调节律的调节参数,动态RBF神经网络的权值的初始值
对应的步骤5中所述常值神经网络权值是指在一段时间内权值收敛至最优的常值,选取收敛的部分权值取数值平均,获取相应的神经网络常值的权值所述神经网络常值由如下式表示:
W ‾ i = mean t ∈ [ t a , t b ] w ^ i ,
其中,[ta,tb]代表神经网络权值在完成向其最优值收敛的过渡过程之后的一个时间段,使由常值神经网络进行局部准确逼近:
其中,εi2是逼近误差;
所述的步骤7具体如下:
根据步骤5所获取的训练步态模式库中每个人在不同视角下的一般非线性步态***动态的RBF神经网络辨识结果,即常值神经网络权值构造一组动态估计器,表述如下:
χ ‾ i k = - b i ( χ ‾ i k - x ti ) + W ‾ i k T S ( x ti ) , i = 1 , · · · , n , k = 1 , · · · , M ,
其中,χi为动态估计器的状态,i表示n维足底压力特征变量中第i维变量,k表示M个训练模式中的第k个训练模式,M为训练步态模式库中的模式总量,bi为动态估计器参数,xti为测试集中测试模式的步态特征数据;
将测试集里待识别的测试模式的步态特征数据xti与这组动态估计器做差,得到如下的识别误差***:
其中,是状态估计误差,计算的平均L1范数如下:
| | χ ~ i k ( t ) | | 1 = 1 T c ∫ t - T c t | χ ~ i k ( τ ) | dτ , t ≥ T c ,
其中,Tc表示步态周期;
如果存在一个有限时间ts,s∈{1,…,k}和某一i∈{1,…,n},使对所有t>ts成立,则出现的步态测试模式可被分类识别出来。
4.根据权利要求3所述的基于Kinect的多视角步态识别方法,其特征在于:所述RBF神经网络权值的调节律根据李雅普洛夫稳定性定理和确定学习理论进行设计,使状态误差与权值估计都有界并指数收敛,其中,所述RBF神经网络的权值收敛有两种情况:
第一种情况:沿步态特征回归轨迹的RBF神经网络的神经元满足持续激励条件,其权值收敛到最优值的小邻域内;
第二种情况:远离步态特征回归轨迹的RBF神经网络的神经元不受激励而不被调节,其权值近似为零。
5.根据权利要求3所述的基于Kinect的多视角步态识别方法,其特征在于:对一般非线性步态***动态的局部准确建模由如下公式表示:
其中,εi1是逼近误差,这里的局部准确建模是通过RBF神经网络对沿步态特征数据的内在***动态轨迹的逼近,而远离轨迹的内部动态则不被逼近。
CN201410733760.3A 2014-12-04 2014-12-04 一种基于Kinect的多视角步态识别方法 Pending CN104463118A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410733760.3A CN104463118A (zh) 2014-12-04 2014-12-04 一种基于Kinect的多视角步态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410733760.3A CN104463118A (zh) 2014-12-04 2014-12-04 一种基于Kinect的多视角步态识别方法

Publications (1)

Publication Number Publication Date
CN104463118A true CN104463118A (zh) 2015-03-25

Family

ID=52909134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410733760.3A Pending CN104463118A (zh) 2014-12-04 2014-12-04 一种基于Kinect的多视角步态识别方法

Country Status (1)

Country Link
CN (1) CN104463118A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518744A (zh) * 2015-06-29 2016-04-20 北京旷视科技有限公司 行人再识别方法及设备
CN106295544A (zh) * 2016-08-04 2017-01-04 山东师范大学 一种基于Kinect的视角不变性步态识别方法
CN107092865A (zh) * 2017-03-29 2017-08-25 西北工业大学 一种新型基于Kinect的步态识别***
CN107174255A (zh) * 2017-06-15 2017-09-19 西安交通大学 基于Kinect体感技术的三维步态信息采集与分析方法
CN107578019A (zh) * 2017-09-13 2018-01-12 河北工业大学 一种视觉触觉融合的步态识别***及识别方法
CN108229332A (zh) * 2017-12-08 2018-06-29 华为技术有限公司 骨骼姿态确定方法、装置及计算机可读存储介质
CN108778123A (zh) * 2016-03-31 2018-11-09 日本电气方案创新株式会社 步态分析装置、步态分析方法和计算机可读记录介质
CN111341412A (zh) * 2020-02-25 2020-06-26 南京理工大学 基于rbf-dmp振荡器的下肢康复型外骨骼步态规划方法
CN112163487A (zh) * 2020-09-21 2021-01-01 浙江师范大学 一种基于改进时空步态能量图的步态身份识别方法
CN112381048A (zh) * 2020-11-30 2021-02-19 重庆优乃特医疗器械有限责任公司 基于多用户同步检测的3d体态检测分析***及方法
CN112686111A (zh) * 2020-12-23 2021-04-20 中国矿业大学(北京) 基于注意力机制多视角自适应网络的交警手势识别方法
CN113887315A (zh) * 2021-09-06 2022-01-04 广东工业大学 一种基于多分类器协同的步态识别方法及***
CN114743664A (zh) * 2022-03-04 2022-07-12 山东大学 基于步态分析和确定学习的脊髓型颈椎病辅助诊断***
CN115563545A (zh) * 2022-12-01 2023-01-03 佛山科学技术学院 一种基于确定学习的神经元放电异常检测***
CN116619383A (zh) * 2023-06-21 2023-08-22 山东大学 基于确定学习的机械臂pid控制方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070104351A1 (en) * 2005-10-28 2007-05-10 Ming-Hsuan Yang Monocular tracking of 3d human motion with a coordinated mixture of factor analyzers
US20070103471A1 (en) * 2005-10-28 2007-05-10 Ming-Hsuan Yang Discriminative motion modeling for human motion tracking
CN103065192A (zh) * 2012-12-20 2013-04-24 华南理工大学 一种基于确定学习理论的海量时态数据建模方法
CN104091177A (zh) * 2014-06-30 2014-10-08 华南理工大学 一种基于确定学习理论的异常步态检测方法
CN104134077A (zh) * 2014-07-10 2014-11-05 华南理工大学 一种基于确定学习理论的与视角无关的步态识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070104351A1 (en) * 2005-10-28 2007-05-10 Ming-Hsuan Yang Monocular tracking of 3d human motion with a coordinated mixture of factor analyzers
US20070103471A1 (en) * 2005-10-28 2007-05-10 Ming-Hsuan Yang Discriminative motion modeling for human motion tracking
CN103065192A (zh) * 2012-12-20 2013-04-24 华南理工大学 一种基于确定学习理论的海量时态数据建模方法
CN104091177A (zh) * 2014-06-30 2014-10-08 华南理工大学 一种基于确定学习理论的异常步态检测方法
CN104134077A (zh) * 2014-07-10 2014-11-05 华南理工大学 一种基于确定学习理论的与视角无关的步态识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周瑾 等: "使用Kinect快速重建三维人体", 《计算机辅助设计与图形学学报》 *
彭彰: "基于肢体长度参数和视角归一化的多视角步态识别方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518744B (zh) * 2015-06-29 2018-09-07 北京旷视科技有限公司 行人再识别方法及设备
CN105518744A (zh) * 2015-06-29 2016-04-20 北京旷视科技有限公司 行人再识别方法及设备
WO2017000115A1 (zh) * 2015-06-29 2017-01-05 北京旷视科技有限公司 行人再识别方法及设备
US11089977B2 (en) 2016-03-31 2021-08-17 Nec Solution Innovators, Ltd. Gait analyzing device, gait analyzing method, and computer-readable recording medium
CN108778123B (zh) * 2016-03-31 2021-04-06 日本电气方案创新株式会社 步态分析装置、步态分析方法和计算机可读记录介质
CN108778123A (zh) * 2016-03-31 2018-11-09 日本电气方案创新株式会社 步态分析装置、步态分析方法和计算机可读记录介质
CN106295544B (zh) * 2016-08-04 2019-05-28 山东师范大学 一种基于Kinect的视角不变性步态识别方法
CN106295544A (zh) * 2016-08-04 2017-01-04 山东师范大学 一种基于Kinect的视角不变性步态识别方法
CN107092865A (zh) * 2017-03-29 2017-08-25 西北工业大学 一种新型基于Kinect的步态识别***
CN107174255B (zh) * 2017-06-15 2020-04-10 西安交通大学 基于Kinect体感技术的三维步态信息采集与分析方法
CN107174255A (zh) * 2017-06-15 2017-09-19 西安交通大学 基于Kinect体感技术的三维步态信息采集与分析方法
CN107578019B (zh) * 2017-09-13 2020-05-12 河北工业大学 一种视觉触觉融合的步态识别***及识别方法
CN107578019A (zh) * 2017-09-13 2018-01-12 河北工业大学 一种视觉触觉融合的步态识别***及识别方法
WO2019109729A1 (zh) * 2017-12-08 2019-06-13 华为技术有限公司 骨骼姿态确定方法、装置及计算机可读存储介质
CN108229332B (zh) * 2017-12-08 2020-02-14 华为技术有限公司 骨骼姿态确定方法、装置及计算机可读存储介质
CN108229332A (zh) * 2017-12-08 2018-06-29 华为技术有限公司 骨骼姿态确定方法、装置及计算机可读存储介质
US10963682B2 (en) 2017-12-08 2021-03-30 Huawei Technologies Co., Ltd. Skeleton posture determining method and apparatus, and computer readable storage medium
CN111341412A (zh) * 2020-02-25 2020-06-26 南京理工大学 基于rbf-dmp振荡器的下肢康复型外骨骼步态规划方法
CN111341412B (zh) * 2020-02-25 2022-09-13 南京理工大学 基于rbf-dmp振荡器的下肢康复型外骨骼步态规划方法
CN112163487A (zh) * 2020-09-21 2021-01-01 浙江师范大学 一种基于改进时空步态能量图的步态身份识别方法
CN112381048A (zh) * 2020-11-30 2021-02-19 重庆优乃特医疗器械有限责任公司 基于多用户同步检测的3d体态检测分析***及方法
CN112381048B (zh) * 2020-11-30 2024-05-10 重庆优乃特医疗器械有限责任公司 基于多用户同步检测的3d体态检测分析***及方法
CN112686111B (zh) * 2020-12-23 2021-07-27 中国矿业大学(北京) 基于注意力机制多视角自适应网络的交警手势识别方法
CN112686111A (zh) * 2020-12-23 2021-04-20 中国矿业大学(北京) 基于注意力机制多视角自适应网络的交警手势识别方法
CN113887315A (zh) * 2021-09-06 2022-01-04 广东工业大学 一种基于多分类器协同的步态识别方法及***
CN114743664A (zh) * 2022-03-04 2022-07-12 山东大学 基于步态分析和确定学习的脊髓型颈椎病辅助诊断***
CN115563545A (zh) * 2022-12-01 2023-01-03 佛山科学技术学院 一种基于确定学习的神经元放电异常检测***
CN115563545B (zh) * 2022-12-01 2023-08-25 佛山科学技术学院 一种基于确定学习的神经元放电异常检测***
CN116619383A (zh) * 2023-06-21 2023-08-22 山东大学 基于确定学习的机械臂pid控制方法及***
CN116619383B (zh) * 2023-06-21 2024-02-20 山东大学 基于确定学习的机械臂pid控制方法及***

Similar Documents

Publication Publication Date Title
CN104463118A (zh) 一种基于Kinect的多视角步态识别方法
CN107423730B (zh) 一种基于语义折叠的人体步态行为主动检测识别***和方法
CN104134077B (zh) 一种基于确定学习理论的与视角无关的步态识别方法
CN103824050B (zh) 一种基于级联回归的人脸关键点定位方法
CN109597087A (zh) 一种基于点云数据的3d目标检测方法
CN110008913A (zh) 基于姿态估计与视点机制融合的行人再识别方法
CN105320944A (zh) 一种基于人体骨架运动信息的人体行为预测方法
CN114067358A (zh) 一种基于关键点检测技术的人体姿态识别方法及***
CN104866829A (zh) 一种基于特征学习的跨年龄人脸验证方法
CN104615983A (zh) 基于递归神经网络和人体骨架运动序列的行为识别方法
CN103994765B (zh) 一种惯性传感器的定位方法
CN106127170A (zh) 一种融合关键特征点的训练方法、识别方法及***
CN107133569A (zh) 基于泛化多标记学习的监控视频多粒度标注方法
CN106846378B (zh) 一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法
CN106778796A (zh) 基于混合式协同训练的人体动作识别方法及***
CN103268500B (zh) 一种对行走状态变化具有鲁棒性的步态识别方法
CN103440510A (zh) 一种面部图像中特征点的定位方法
CN109101864A (zh) 基于关键帧和随机森林回归的人体上半身动作识别方法
CN104636732A (zh) 一种基于序列深信度网络的行人识别方法
CN107301376A (zh) 一种基于深度学习多层刺激的行人检测方法
CN102663351A (zh) 基于条件外观模型的人脸特征点自动标定方法
CN104036229A (zh) 基于回归的主动外观模型初始化方法
CN104463099A (zh) 一种基于图的半监督耦合度量的多角度步态识别方法
CN109447175A (zh) 结合深度学习与度量学习的行人再识别方法
CN112989889A (zh) 一种基于姿态指导的步态识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150325