CN105138995B - 基于骨架信息的时不变及视不变的人体行为识别方法 - Google Patents
基于骨架信息的时不变及视不变的人体行为识别方法 Download PDFInfo
- Publication number
- CN105138995B CN105138995B CN201510551025.5A CN201510551025A CN105138995B CN 105138995 B CN105138995 B CN 105138995B CN 201510551025 A CN201510551025 A CN 201510551025A CN 105138995 B CN105138995 B CN 105138995B
- Authority
- CN
- China
- Prior art keywords
- video
- feature vector
- frame
- vector
- constant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000004044 response Effects 0.000 title claims abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 140
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000012706 support-vector machine Methods 0.000 claims abstract description 10
- 210000003423 ankle Anatomy 0.000 claims description 8
- 210000003127 knee Anatomy 0.000 claims description 8
- 210000000707 wrist Anatomy 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 210000002683 foot Anatomy 0.000 claims description 4
- 210000001699 lower leg Anatomy 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 8
- 230000004927 fusion Effects 0.000 abstract description 4
- 230000006399 behavior Effects 0.000 description 48
- 230000000694 effects Effects 0.000 description 15
- 230000009471 action Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于骨架信息的时不变及视不变的人体行为识别方法,先提取相同视频长度的人体行为视频段;从视频的每一帧中提取表达人体行为的二十个关节信息;根据视频每一帧中二十个关节的信息计算处理得出以两髋中心为基准的特征向量HCBV,角度特征向量AV及相对位置特征向量PRPV;采用支持向量机分类器分别对以两髋中心为基准的特征向量HCBV进行分类识别,对角度特征向量AV进行分类识别,对相对位置特征向量PRPV行分类识别,得出各个行为类别的识别概率;最后对以两髋中心为基准的特征向量HCBV、角度特征向量AV及相对位置特征向量PRPV得出的各个行为类别的识别概率进行加权求和融合得到行为的识别结果。本发明识别方法简单直观,识别正确率高,识别时间短。
Description
技术领域
本发明涉及行为识别方法,具体涉及一种基于骨架信息的时不变及视不变的人体行为识别方法。
背景技术
人体行为识别在视频监控,人机交互,视频提取等很多领域都扮演着十分重要的角色。人体行为识别可以适用到犯罪侦查、病人照护、养老院等领域。在过去的一段时间,机器视觉类任务大多数基于人工设计的特征,如尺度不变特征变换(SIFT),方向梯度直方图(HOG),运动历史图像(MHI)等。然而很多经典的视觉识别方法仅仅是通过拼凑现有的一些成功方法而实现。有学者认为,行为识别的研究在近些年的研究进展非常缓慢。深度相机的出现使得研究者可以重新考虑图像处理和机器视觉的一些问题。与RGB相机相比拍摄颜色和纹理信息不同,深度相机能记录人体的深度信息,从这些信息中能够获得人体的几何信息和骨架信息。而且,深度相机对光线的变化不敏感,因而在视频分割、目标识别、行为识别等视觉任务中比传统的RGB视频具有更好的可分辨性。
现在人们对行为识别的研究专注于寻找人体行为类别和骨架信息之间的潜在关系,如:基于李群和3D骨架点的人体行为识别“Human action recognition byrepresenting 3D skeletons as points in a lie group,”见[1],该行为识别方法计算复杂度高,花费时间长,提取单个视频所有特征的平均时间为6.53秒,不便于推广使用。如:一种基于3D关节直方图的视不变人体行为识别方法“View invariant human actionrecognition using histograms of 3D joints,”见[2],该识别方法丢失了关节前后帧间的上下文信息,识别正确率低。如:3D人体行为识别中的时空姿势表示“Space-time poserepresentation for 3d human action recognition,”见[3],该行为识别方法仅仅研究姿势,即以图像为研究基准,通过图像进行识别,不仅对视频拍摄设备要求高,而且使获得的信息识别率低。又如:自然人机交互中的行为识别“Activity recognition for naturalhuman robot interaction,”见[4],该行为识别研究人机交互,识别效率低。因此通过骨架关节信息建模身体不同部位的3D几何关系可以表示人体的一个姿势,但是现有的识别效率低,时间开销更大。
文献[1]Vemulapalli,F.Arrate,and R.Chellappa,“Human action recognitionby representing 3D skeletons as points in a lie group,”in Computer Vision andPattern Recognition(CVPR),2014 IEEE Conference on,2014,pp.588–595。
文献[2]L.Xia,C.-C.Chen,and J.K.Aggarwal,“View invariant human actionrecognition using histograms of 3D joints,”in Computer Vision and PatternRecognition Workshops(CVPRW),2012 IEEE Computer Society Conference on,2012,pp.20–27。
文献[3]M.Devanne,H.Wannous,S.Berretti,P.Pala,M.Daoudi,and A.DelBimbo,“Space-time pose representation for 3d human action recognition,”in NewTrends in Image Analysis and Processing–ICIAP 2013.Springer,2013,pp.456–464。
文献[4]A.Chrungoo,S.Manimaran,and B.Ravindran,“Activity recognitionfor natural human robot interaction,”in Social Robotics.Springer,2014,pp.84–94。
发明内容
本发明的目的是为了克服现有技术的不足,提供一种基于骨架信息的时不变及视不变的人体行为识别方法,该识别方法简单直观,识别正确率高,且识别时间短。
本发明的目的可以通过以下技术方案实现:
一种基于骨架信息的时不变及视不变的人体行为识别方法,其特征在于:包括以下步骤:
1)提取人体行为视频段,并将不同长度的视频段规范化到一个固定的视频长度;
2)根据所得的固定长度的视频提取骨架信息,即从视频的每一帧中提取表达人体行为的二十个关节信息;
3)根据每一帧中提取表达人体行为的二十个关节信息提取三个特征向量,即从视频每一帧中二十个关节的信息计算处理得出以两髋中心为基准的特征向量HCBV,角度特征向量AV及相对位置特征向量PRPV,所述以两髋中心为基准的特征向量HCBV,以每一帧两髋中心关节为坐标原点,计算该帧其他关节到原点的距离d,仰角φ和方位角θ三个参数,将该视频所有帧中除原点以外的其他关节到原点的距离d,仰角φ和方位角θ三个参数串接即为HCBV;所述角度特征向量AV是将该视频所有帧中两相邻关节之间的夹角串接而成的向量;所述相对位置特征向量PRPV是将该视频所有帧中某一关节相对于其他关节之间的相对位置串接而成的向量;
4)对得到的三个特征向量分别进行分类识别:采用支持向量机分类器分别对以两髋中心为基准的特征向量HCBV进行分类识别,对角度特征向量AV进行分类识别,对相对位置特征向量PRPV行分类识别,得出各个行为类别的识别概率;
5)对各行为类别的识别概率进行融合:对以两髋中心为基准的特征向量HCBV、角度特征向量AV及相对位置特征向量PRPV得出的各个行为类别的识别概率进行加权求和融合得到行为的识别结果,其中以两髋中心为基准的特征向量HCBV的权值为0.4,角度特征向量AV的权值为0.3,相对位置特征向量PRPV的权值为0.3。
所述二十个关节分别是两髋中心、脊、两肩中心、头、左肩、左肘、左腕、左手、右肩、右肘、右腕、右手、左髋、左膝、左踝、左脚、右髋、右膝、右踝、右脚。
所述提取人体行为视频段,先要对各视频长度进行预处理,采用视频帧规则化插值法将不同视频长度的视频段规范化到一个相同的视频长度。
所述以两髋中心为基准的特征向量HCBV的计算方法是从视频的每一帧中提取以两髋中心关节为坐标原点,其他关节到原点的距离d,仰角φ和方位角θ三个参数,然后将该视频中所有帧的其他关节到原点的距离d,仰角φ和方位角θ进行向量化处理形成基准特征向量;若所述视频中含有tNum帧,则该特征向量的维度为3×19×tNum。
所述以两髋中心为基准的特征向量HCBV中其他关节到两髋中心关节的距离d均乘以高度因子λ规范化为D,参见公式(1):
D=λ×d (1)
公式中,高度因子λ等于两髋中心关节和脊关节之间距离的倒数。
所述角度特征向量AV的计算方法是从视频的每一帧中提取各相邻关节之间的夹角,然后将该视频所有帧中的相邻关节间的夹角进行向量化处理形成角度特征向量;若所述视频中含有tNum帧,则该角度特征向量AV的维度为19×tNum。
所述相对位置特征向量PRPV的计算方法是从视频的每一帧中提取某一关节相对于其他关节之间的相对位置,然后将该视频所有帧中所有关节间相对位置进行向量化处理形成相对位置特征向量;若该视频中含有tNum帧,则该特征向量的维度为19×20×tNum。
所述相对位置特征向量PRPV的计算方法中,对于第t帧中的某一个关节i,通过计算该关节i和其他关节j之间的距离来提取相对位置参数pt ij,参见公式(2):
其中为该t帧中关节i的坐标,t帧中关节i的三维相对位置属性,参见公式(3):
因此相对位置特征向量PRPV,参见公式(4);
在三个特征向量进行分类识别前采用min-max方法分别将视频中所有帧的x,y,z坐标值规范化到[0,1]范围。
本发明的有益效果:本行为识别方法包括:首先,对采集的视频长度进行预处理,将不同视频长度的视频段规范化到一个固定的视频长度,不但使得不同视频中所提取出的特征向量具有相同的维度,而且能够保持视频中的主要运动模式信息,从而保证了本方法时间不变的特点。其次,从视频的每一帧中提取人体行为二十个关节的信息,这二十个关节包含了描述人体行为的主要关节,因此已足够表达人体行为特征。根据每一帧中二十个关节的信息计算处理得出以两髋中心为基准的特征向量HCBV,角度特征向量AV及相对位置特征向量PRPV三个特征向量,从骨骼信息中提取角度信息和相对位置形成3种不同的特征向量HCBV,AV和PRPV,HVBC综合了每个关节的角度和方位信息,AV考虑所有关节间角度信息,PRPV考虑了所有关节相对位置信息,因而具有视不可变性的特点。然后,采用支持向量机分类器分别对三个特征向量进行分类识别,得出各个行为类别的识别概率。最后,对各行为类别的识别概率进行加权求和融合得到行为的识别结果。该方法计算简便,花费时间短。本发明方法能够在UTKinect-Action3D数据集上获得与当前方法一致的识别效果,本发明利用人体的骨架信息来提取视频中的特征,因而方法更简单直观,识别时间短,识别准确率高,提高了实时性,并且该方法具有时间不变和视角不变性的特点,使得本发明方法在应用于其他数据集时具有更强的鲁棒性。
所述二十个关节分别是两髋中心、脊、两肩中心、头、左肩、左肘、左腕、左手、右肩、右肘、右腕、右手、左髋、左膝、左踝、左脚、右髋、右膝、右踝、右脚。这二十个关节是表达人体行为的主要关节,对人体行为的表达力最强、更清楚,从而使识别效率更高。
采用基准特征向量的支持向量机分类器对以两髋中心为基准的特征向量HCBV进行分类,采用角度特征向量的支持向量机分类器对角度特征向量AV进行分类,采用相对位置特征向量的支持向量机分类器对相对位置特征向量PRPV进行分类。采用这三个支持向量机分类器分别进行分类,即形成先分类再融合,这种方法相对于先合并向量再分类的效果更好。
所述以两髋中心为基准的特征向量HCBV中其他关节到两髋中心关节的距离d均乘以高度因子λ规范化为D,降低了不同高度被试者对特征向量的影响。
在三个特征向量进行分类识别前采用min-max方法分别将视频中所有帧的x,y,z坐标值规范化到[0,1]范围,使数据标准化,提高了识别正确率。
附图说明
图1是本发明以两髋中心为基准的特征向量的示意图;
图2是本发明角度特征向量的示意图。
具体实施例
下面结合附图对本发明作进一步说明。
参见图1至图2所示,一种基于骨架信息的时不变及视不变的人体行为识别方法,
采用深度相机采集深度视频,深度相机相对于传统的RGB视频,深度视频不会随着光线的变化而变化,因此在视频分割,行为识别等视觉任务中比RGB视频具有更好的区分性。深度视频的速度是30帧/秒。
步骤1,提取人体行为视频段,并将不同长度的视频段规范化到一个固定的视频长度;从拍摄的深度视频中提取人体行为视频,先要对视频长度进行预处理,采用视频帧规则化插值法将不同视频长度的视频段规范化到一个相同(固定)的视频长度;这里的视频长度是指视频段包含的帧数,采用视频帧规则化插值法将不同帧数的视频段调整为相同帧数的统一视频段,该统一视频段的帧数为所有视频段帧数的中间值,视频帧规则化插值法是通过视频帧插值技术实现视频长度的规则化方法。视频段的长短无要求,只要该视频段中包含完整的动作行为就可以了,一般至少二十帧。例如,将时间长度为10秒的视频段调整为时间长度为15秒的视频段,则调整后的视频第i帧来自于原视频的第[10*i/15]帧,其中[]为上取整。一般情况下同一个数据集中的视频长度不能相差太大。将不同帧数的视频段调整为帧数相同的视频段,不但使得不同视频中所提取出的特征向量具有相同的维度,而且能够保持视频中的主要运动模式信息,从而保证了本方法时间不变性的特点。该步骤是在人体行为识别前的重要处理步骤。
步骤2,根据所得的固定长度的视频提取骨架信息,即从提取视频段的每一帧中提取表达人体行为的二十个关节信息,二十个关节信息即每个关节的x,y,z坐标信息,所述二十个关节分别是两髋中心、脊、两肩中心、头、左肩、左肘、左腕、左手、右肩、右肘、右腕、右手、左髋、左膝、左踝、左脚、右髋、右膝、右踝、右脚;本发明只需要提取这二十个关系的骨架信息,相对于现有方法利用帧中的所有像素点提取特征,本文的方法仅利用人体的骨架信息来提取深度视频中的特征,因而方法更简单,更高效,实时性更高。
步骤3:根据每一帧中提取表达人体行为的二十个关节信息提取三个特征向量,即从视频段的每一帧中二十个关节的信息计算处理得出以两髋中心为基准的特征向量HCBV(Hip Center Based Vector)角度特征向量AV(Angle Vector)及相对位置特征向量PRPV(Pair wise Relative Position Vector);
所述以两髋中心为基准的特征向量HCBV的计算方法是从视频的每一帧中提取以两髋中心关节为坐标原点,计算该帧其他关节到原点的距离d,仰角φ和方位角θ三个参数,根据各关节点的三维坐标计算得出所有帧的其他关节到原点的距离d,仰角φ和方位角θ三个参数,然后将该视频中所有除原点以外的其他关节到原点的距离d,仰角φ和方位角θ进行向量化处理形成基准特征向量。相对其他关节而言,两髋中心关节移动幅度最小,所以以两髋中心为基准的特征向量HCBV计算方法以两髋中心关节作为3D直角坐标的原点,对于深度视频的每一帧中除两髋中心关节之外的其他关节,可以计算以下三个参数,即该关节到原点的距离d,仰角φ和方位角θ。所述以两髋中心为基准的特征向量HCBV中其他关节到两髋中心关节的距离d均乘以高度因子λ规范化为D,参见公式(1):
D=λ×d (1)
公式中,高度因子λ等于两髋中心关节和脊关节之间距离的倒数,将规范化后的其他关节到两髋中心关节的距离D进行构成特征向量,降低了不同高度被者试对特征向量的影响。
每帧视频中共有3×19个参数,若视频中含有tNum帧,则该特征向量的维度为3×19×tNum。如Di_j为第i帧关节j的距离D,θi_j为第i帧关节j的方位角,φi_j为第i帧关节j的仰角,得出:D1_1,φ1_1θ1_1、D1_2 φ1_2 θ1_2、D1_3 φ1_3 θ1_3、.......D1_19 φ1_19 θ1_19, ......D2_19φ2_19 θ2_19,把某一帧中每个关节到两髋中心关节的距离D,仰角φ和方位角θ进行连接,然后将所有帧的这三个参数进行连接(向量化处理),得到一个以两髋中心为基准的特征向量HCBV。
所述角度特征向量AV是将该视频所有帧中两相邻关节之间的夹角串接而成的向量,先确定骨架结构中所有相邻关节的夹角,相邻关节的夹角根据各相邻关节的三维坐标计算得出,角度特征向量AV旨在提取人体的全局弯曲度信息。角度特征向量AV的计算方法是从视频的每一帧中提取各相邻关节之间的夹角,然后将该视频所有帧中的相邻关节间的夹角进行向量化处理形成角度特征向量;每帧视频中均有19个夹角参数,若视频中含有tNum帧,则该角度特征向量AV的维度为19×tNum。
所述相对位置特征向量PRPV是将该视频所有帧中某一关节相对于其他关节之间的相对位置串接而成的向量,先提取某一关节相对于其他所有关节间的相对位置信息,各关节的相对位置信息根据各相邻关节的三维坐标计算得出,所述相对位置特征向量PRPV的计算方法是从视频的每一帧中提取某一关节相对于其他关节之间的相对位置,然后将该视频所有帧中所有关节间相对位置进行向量化处理形成相对位置特征向量。
所述相对位置特征向量PRPV的计算方法中,对于第t帧中的某一个关节i,通过计算该关节i和其他关节j之间的距离来提取相对位置参数pt ij(保持原来的相对位置特征向量),参见公式(2):
其中为该t帧中关节i的坐标,t帧中关节i的三维相对位置属性,参见公式(3):
人体骨架的二十个关节,每帧视频中均有19×20个夹角参数,若该视频中含有tNum帧,则该特征向量的维度为19×20×tNum,因此相对位置特征向量PRPV,参见公式(4);
由于人与人的高度不一样,所以关节间的距离也会有差别,为了消除这种影响,对所有关节间的距离进行了规范化,其中入等于两髋之间关节和脊关节间距离的倒数,因此对两个关节间的相对位置进行了规范化处理见公式(5):
P=pt ij*λ (5)
在三个特征向量进行分类识别前均采用min-max方法将分别将视频中所有帧的x,y,z坐标值规范化到[0,1]范围。
步骤4,对得到的三个特征向量分别进行分类识别:采用三个支持向量机分类器(SVM)分别对以两髋中心为基准的特征向量HCBV进行分类识别,对角度特征向量AV进行分类识别,对相对位置特征向量PRPV行分类识别,得出各个行为类别的识别概率;本实施中所述支持向量机分类器采用LIBLINEAR分类器。支持向量机分类器SVM的分类方法直接使用的参考文献给出的源代码及方法,分类类别就是该数据集所含有的人体行为的类别,该算法对具有任何类别的数据集都可以适用。通过每个特征向量都能够得到一个该视频属于某个行为的概率,因此综合三个特征向量提高了识别效率。
步骤5,对各行为类别的识别概率进行融合:对以两髋中心为基准的特征向量HCBV、角度特征向量AV及相对位置特征向量PRPV得出的各个行为类别的识别概率进行加权求和融合得到行为的识别结果,其中以两髋中心为基准的特征向量HCBV的权值为0.4,角度特征向量AV的权值为0.3,相对位置特征向量PRPV的权值为0.3。通过将同一个视频的三个特征向量的分类结果综合起来,综合其实就是把三个特征向量在各行为上的预测概率进行加权求和,这样就可以得到求和后的每个行为的预测概率,概率大的就是识别出的行为,使得该分类结果的融合非常简单,提高了计算效率。这里的以两髋中心为基准的特征向量HCBV的权值为0.4,角度特征向量AV的权值为0.3,相对位置特征向量PRPV的权值为0.3,各特征向量的权值是根据多次实验及多年的经验得到的。
本发明的实验结果及分析
A.数据集和预处理
实验主机是一台主频为2.50GHz的Intel(R)Core(TM)i5-4200M4处理器CPU,内存为4G,本发明方法在UTKinect-Action3D数据集上进行了实验评估。
UTKinect-Action3D数据集是寻找人体行为类别和骨架信息之间的潜在关系的数据集,该数据集使用静止Kinect相机采集而成,由十个不同的被试者完成十种不同的行为动作见表I,每位被试者每个行为动作拍摄二次。去除一个无效视频,整个数据集总共含有一百九十九个有效视频,每个视频中均提供了二十个关节的三维坐标。为实验的方便,本文的实验中使用了两百个视频序列,即将缺失的第十位被试者扔(carry)动作的第二次拍摄使用原始数据中1242帧到1300帧的视频进行补充,原始数据是指最早没有被分段的原始长视频。
UTKinect-Action3D数据集包含了从多个不同的角度拍摄视频序列并且具有很高的类内差异性,因此十分具有挑战性。所述类内差异性是同一行为类别间也有很大的差异,比如不同人的挥手动作有很大差别。在实验前,我们对每个视频进行了简单的预处理,第一个处理是使用视频帧规则化插值法将数据集中的所有视频长度规范化到统一的视频长度,该视频长度即为所有视频长度的中间值。第二个处理是使用min-max,方法将分别将所有视频的x,y,z坐标值规范化到[0,1]范围。
B.性能评价
对于在UTKinect-Action3D数据集上的实验评估,本文使用交叉被试者的实验设置,即五个被试者的行为动作用于训练,用{1,3,5,7,9}表示他们的行为序列,另外五个被试者的行为动作用于测试,用{2,4,6,8,10}表示他们的行为序列,表I给出了每类行为的识别准确性。从表I中可以看出,各行为的平均识别准确率为95%。UTKinect-Action3D数据集是个从多视角拍摄的并富有挑战性的数据集,每个视频的长度也完全不一样。高识别率的实验结果表明了本文方法的视角不变性和时间不变性的特点。从表I中可看出,扔(carry),投掷(throw)和推(push)动作的识别率相对较低。其中被试者9和被试者10的扔(carry)动作分别被错误的识别为动作throw和push,是因为这两个动作含有的视频帧数太少而导致所提供的信息不足以用于分类识别,因此所选的视频帧数要基本包含完整动作行为,至少二十帧。
表I UTKINECT-Action 3D数据集上各行为动作的识别率(平均值:95%)。
行为 | walk | sit down | standu up | pick up | carry |
Accuracy | 100 | 100 | 100 | 100 | 80 |
行为 | throw | push | pull | wave hand | clap hand |
Accuracy | 80 | 90 | 100 | 100 | 100 |
本文方法和现有行为识别方法在UTKINECT-Action 3D数据集上识别效果进行了比较见表II。本文提出的方法(Proposed)获得了95%的分类性能,其他行为识别方法的识别正确率均低于本发明方法。与此同时,本发明方法提取单个视频所有特征的平均时间为0.18秒,基于李群和3D骨架点的人体行为识别的提取单个视频所有特征的平均时间为6.53秒,远远低于基于李群和3D骨架点的人体行为识别中所需要,因此本文的方法更简单直观,在时间开销上也更高效。
表II本文方法和已有方法在UTKINECT-Action 3D数据集上识别效果的比较
方法(Method) | 准确率(Accuracy) |
Xia et al.(2012)文献[2] | 90.92% |
Devanne et al.(2013)文献[3] | 91.5% |
Chrungoo et al.(2014)文献[4] | 91.96% |
Proposed | 95% |
本发明提出了一种基于深度视频的骨架信息直观并且简单有效的人体行为识别方法,该方法通过提取深度视频中关节间的角度信息和相对位置信息形成3种不同的特征向量HCBV,AV和PRPV。通过融合HCBV,AV,PRPV三个特征向量的分类结果,本文的方法在UTKinect-Action3D数据集获得了很好的识别结果,本文所提出方法更简单直观,时间开销更小。与此同时,本方法所提取的特征具有时间不变性和视角不变性的特点,使得本方法在应用于其他数据集时具有更强的鲁棒性。
Claims (9)
1.一种基于骨架信息的时不变及视不变的人体行为识别方法,其特征在于:包括以下步骤:
1)提取人体行为视频段,并将不同长度的视频段规范化到一个固定的视频长度;
2)根据所得的固定长度的视频提取骨架信息,即从视频的每一帧中提取表达人体行为的二十个关节信息;
3)根据每一帧中提取表达人体行为的二十个关节信息提取三个特征向量,即从视频每一帧中二十个关节的信息计算处理得出以两髋中心为基准的特征向量HCBV,角度特征向量AV及相对位置特征向量PRPV,所述以两髋中心为基准的特征向量HCBV,以每一帧两髋中心关节为坐标原点,计算该帧其他关节到原点的距离d,仰角φ和方位角θ三个参数,将该视频所有帧中除原点以外的其他关节到原点的距离d,仰角φ和方位角θ三个参数串接即为HCBV;所述角度特征向量AV是将该视频所有帧中两相邻关节之间的夹角串接而成的向量;所述相对位置特征向量PRPV是将该视频所有帧中某一关节相对于其他关节之间的相对位置串接而成的向量;
4)对得到的三个特征向量分别进行分类识别:采用支持向量机分类器分别对以两髋中心为基准的特征向量HCBV进行分类识别,对角度特征向量AV进行分类识别,对相对位置特征向量PRPV行分类识别,得出各个行为类别的识别概率;
5)对各行为类别的识别概率进行融合:对以两髋中心为基准的特征向量HCBV、角度特征向量AV及相对位置特征向量PRPV得出的各个行为类别的识别概率进行加权求和融合得到行为的识别结果,其中以两髋中心为基准的特征向量HCBV的权值为0.4,角度特征向量AV的权值为0.3,相对位置特征向量PRPV的权值为0.3。
2.根据权利要求1所述的基于骨架信息的时不变及视不变的人体行为识别方法,其特征在于:所述二十个关节分别是两髋中心、脊、两肩中心、头、左肩、左肘、左腕、左手、右肩、右肘、右腕、右手、左髋、左膝、左踝、左脚、右髋、右膝、右踝和右脚。
3.根据权利要求1所述的基于骨架信息的时不变及视不变的人体行为识别方法,其特征在于:所述提取人体行为视频段,先要对各视频长度进行预处理,采用视频帧规则化插值法将不同视频长度的视频段规范化到一个相同的视频长度。
4.根据权利要求1所述的基于骨架信息的时不变及视不变的人体行为识别方法,其特征在于:所述以两髋中心为基准的特征向量HCBV的计算方法是从视频的每一帧中提取以两髋中心关节为坐标原点,其他关节到原点的距离d,仰角φ和方位角θ三个参数,然后将该视频中所有帧的其他关节到原点的距离d,仰角φ和方位角θ进行向量化处理形成基准特征向量;若所述视频中含有tNum帧,则该特征向量的维度为3×19×tNum。
5.根据权利要求1或4所述的基于骨架信息的时不变及视不变的人体行为识别方法,其特征在于:所述以两髋中心为基准的特征向量HCBV中其他关节到两髋中心关节的距离d均乘以高度因子λ规范化为D,参见公式(1):
D=λ×d (1)
公式中,高度因子λ等于两髋中心关节和脊关节之间距离的倒数。
6.根据权利要求1所述的基于骨架信息的时不变及视不变的人体行为识别方法,其特征在于:所述角度特征向量AV的计算方法是从视频的每一帧中提取各相邻关节之间的夹角,然后将该视频所有帧中的相邻关节间的夹角进行向量化处理形成角度特征向量;若所述视频中含有tNum帧,则该角度特征向量AV的维度为19×tNum。
7.根据权利要求1所述的基于骨架信息的时不变及视不变的人体行为识别方法,其特征在于:所述相对位置特征向量PRPV的计算方法是从视频的每一帧中提取某一关节相对于其他关节之间的相对位置,然后将该视频所有帧中所有关节间相对位置进行向量化处理形成相对位置特征向量;若该视频中含有tNum帧,则该特征向量的维度为19×20×tNum。
8.根据权利要求1或7所述的基于骨架信息的时不变及视不变的人体行为识别方法,其特征在于:所述相对位置特征向量PRPV的计算方法中,对于第t帧中的某一个关节i,通过计算该关节i和其他关节j之间的距离来提取相对位置参数pt ij,参见公式(2):
其中为该t帧中关节i的坐标,t帧中关节i的三维相对位置属性,参见公式(3):
因此相对位置特征向量PRPV,参见公式(4);
PRPV={Attrt i|i=1,...,20;t=1,...,tNum}(4)。
9.根据权利要求1所述的基于骨架信息的时不变及视不变的人体行为识别方法,其特征在于:在三个特征向量进行分类识别前采用min-max方法分别将视频中所有帧的x,y,z坐标值规范化到[0,1]范围。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510551025.5A CN105138995B (zh) | 2015-09-01 | 2015-09-01 | 基于骨架信息的时不变及视不变的人体行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510551025.5A CN105138995B (zh) | 2015-09-01 | 2015-09-01 | 基于骨架信息的时不变及视不变的人体行为识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105138995A CN105138995A (zh) | 2015-12-09 |
CN105138995B true CN105138995B (zh) | 2019-06-25 |
Family
ID=54724339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510551025.5A Expired - Fee Related CN105138995B (zh) | 2015-09-01 | 2015-09-01 | 基于骨架信息的时不变及视不变的人体行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105138995B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6443393B2 (ja) * | 2016-06-01 | 2018-12-26 | トヨタ自動車株式会社 | 行動認識装置,学習装置,並びに方法およびプログラム |
CN106295544B (zh) * | 2016-08-04 | 2019-05-28 | 山东师范大学 | 一种基于Kinect的视角不变性步态识别方法 |
CN107392131A (zh) * | 2017-07-14 | 2017-11-24 | 天津大学 | 一种基于人体骨骼节点距离的动作识别方法 |
CN108446583A (zh) * | 2018-01-26 | 2018-08-24 | 西安电子科技大学昆山创新研究院 | 基于姿态估计的人体行为识别方法 |
CN111860086A (zh) * | 2019-06-26 | 2020-10-30 | 广州凡拓数字创意科技股份有限公司 | 基于深度神经网络的手势识别方法、装置及*** |
CN112668359A (zh) * | 2019-10-15 | 2021-04-16 | 富士通株式会社 | 动作识别方法、动作识别装置和电子设备 |
CN113822250A (zh) * | 2021-11-23 | 2021-12-21 | 中船(浙江)海洋科技有限公司 | 一种船舶驾驶异常行为检测方法 |
CN114783059B (zh) * | 2022-04-20 | 2022-10-25 | 浙江东昊信息工程有限公司 | 一种基于深度相机的寺庙香客参拜管理方法和*** |
-
2015
- 2015-09-01 CN CN201510551025.5A patent/CN105138995B/zh not_active Expired - Fee Related
Non-Patent Citations (5)
Title |
---|
Mining Actionlet Ensemble for Action Recognition with Depth Cameras;Jiang Wang etal.;《2012 IEEE Conference on Computer Vision and Pattern Recognition》;20121231;第2012年卷;第3.1节第2-3段 |
一种基于关节点信息的人体行为识别新方法;田国会等;《机器人》;20140531;第36卷(第3期);第3.1-3.3节和图7 |
基于3D模型的行为识别;杜靖;《中国优秀硕士学位论文全文数据库信息科技辑》;20150315;第2015年卷(第3期);第3.1-3.3节以及图3.7 |
基于无线传感器网络和概率融合的行为识别方法;李阳;《中国优秀硕士学位论文全文数据库信息科技辑》;20100315;第2010年卷(第03期);第3、5、6节以及图3-4、图5-4 |
基于深度信息的动态手势识别算法;于静等;《山东大学学报(工学版)》;20140630;第44卷(第3期);全文 |
Also Published As
Publication number | Publication date |
---|---|
CN105138995A (zh) | 2015-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105138995B (zh) | 基于骨架信息的时不变及视不变的人体行为识别方法 | |
Zeng et al. | Silhouette-based gait recognition via deterministic learning | |
Li et al. | Classification of gait anomalies from kinect | |
Zhang et al. | Active energy image plus 2DLPP for gait recognition | |
CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
Kusakunniran et al. | Gait recognition across various walking speeds using higher order shape configuration based on a differential composition model | |
Jalal et al. | Human daily activity recognition with joints plus body features representation using Kinect sensor | |
Luo et al. | Robust arbitrary view gait recognition based on parametric 3D human body reconstruction and virtual posture synthesis | |
Patruno et al. | People re-identification using skeleton standard posture and color descriptors from RGB-D data | |
CN107392187B (zh) | 一种基于梯度方向直方图的人脸活体检测方法 | |
Chen et al. | A benchmark for geometric facial beauty study | |
Do et al. | Real-time and robust multiple-view gender classification using gait features in video surveillance | |
Liu et al. | Survey of gait recognition | |
Krzeszowski et al. | Gait recognition based on marker-less 3D motion capture | |
Mogan et al. | Gait recognition using temporal gradient patterns | |
Ming et al. | A unified 3D face authentication framework based on robust local mesh SIFT feature | |
Liu et al. | Gender recognition using dynamic gait energy image | |
Ma et al. | A gait recognition method based on the combination of human body posture and human body contour | |
CN110765925B (zh) | 基于改进的孪生神经网络的携带物检测与步态识别方法 | |
Kurniawan et al. | A review on 2D ear recognition | |
Singh et al. | Bayesian gait-based gender identification (BGGI) network on individuals wearing loosely fitted clothing | |
Ti et al. | GenReGait: Gender Recognition using Gait Features | |
Su et al. | A gait recognition method using L1-PCA and LDA | |
Hou et al. | Gait object extraction and recognition in dynamic and complex scene using pulse coupled neural network and feature fusion | |
Chen et al. | Human Gait Identification Based on Difference Image. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190625 |