CN109508686B - 一种基于层次化特征子空间学习的人体行为识别方法 - Google Patents
一种基于层次化特征子空间学习的人体行为识别方法 Download PDFInfo
- Publication number
- CN109508686B CN109508686B CN201811415195.0A CN201811415195A CN109508686B CN 109508686 B CN109508686 B CN 109508686B CN 201811415195 A CN201811415195 A CN 201811415195A CN 109508686 B CN109508686 B CN 109508686B
- Authority
- CN
- China
- Prior art keywords
- subspace
- features
- sample
- feature
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
- G06F18/21322—Rendering the within-class scatter matrix non-singular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
- G06F18/21322—Rendering the within-class scatter matrix non-singular
- G06F18/21328—Rendering the within-class scatter matrix non-singular involving subspace restrictions, e.g. nullspace techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于层次化特征子空间学习的人体行为识别方法,方法包括:将人体行为视频样本划分成训练样本和测试样本,提取并编码视频样本的手工特征和深度特征,分别以手工特征和深度特征的特征向量表示每一视频样本;设置视频样本的样本标签,采用训练样本的手工特征和深度特征的特征向量以及对应的样本标签作为输入,训练层次化特征子空间学习模型,生成子空间投影矩阵和行为类别的决策边界;利用子空间投影矩阵学习测试样本的手工特征和深度特征的子空间特征向量;计算并比较测试样本的子空间特征向量到各个行为类别的决策边界的距离,判别测试样本的行为类完成识别操作;本发明提高了子空间特征表达的辨识力,且具有良好的识别精度和效率。
Description
技术领域
本发明属于视频行为识别技术领域,具体涉及一种基于层次化特征子空间学习的人体行为识别方法。
背景技术
基于视频的行为识别是人工智能发展和计算机视觉领域的研究热点,在智能安全监控、智能机器人、人机交互、虚拟现实和游戏控制等领域都有重要的市场需求和应用价值。学习辨识力强的视频特征表达是提高行为识别精度的关键,然而,不同行为的相似性和同一行为的差异性,增加了行为描述和识别的复杂性。
目前,大多数学者致力于挖掘新的手工底层特征、或者构建更深更复杂的深度学习模型,探索包含更多信息的特征表示。这些算法虽然能够在一定程度上提高识别精度,但复杂的模型也降低了算法的效率和识别速度。
发明内容
本发明目的是针对上述现有技术的人体行为识别模型复杂、算法效率低和识别速度慢的问题,提供一种基于层次化特征子空间学习的人体行为识别方法,该方法考虑从多视角子空间学习的角度,融合基于手工特征和深度特征的互补特征表达实现对人体行为的识别操作,具体技术方案如下:
一种基于层次化特征子空间学习的人体行为识别方法,所述方法包括:
将人体行为识别的视频样本划分成训练样本和测试样本,提取并编码视频样本的手工特征和深度特征,并分别以所述手工特征和所述深度特征的特征向量表示每一视频样本;
对每一视频样本设置独有的样本标签,采用训练样本的所述手工特征和所述深度特征的特征向量以及对应视频样本的所述样本标签作为输入,训练层次化特征子空间学习模型,生成子空间投影矩阵和行为类别的决策边界;
利用所述子空间投影矩阵,学习测试样本的所述手工特征和所述深度特征的子空间特征向量;
计算并比较测试样本的子空间特征向量到各个行为类别的所述决策边界的距离,并判别测试样本的行为类,完成人体行为识别操作。
进一步的,将人体行为识别的视频样本划分成训练样本和测试样本,提取并编码视频样本的手工特征和深度特征,并分别以所述手工特征和所述深度特征的特征向量表示每一视频样本的步骤包括:
生成手工特征的特征向量:稠密采样并跟踪视频多帧图像的特征点,提取视频样本的稠密运动轨迹,并计算基于稠密运动轨迹的梯度方向直方图、光流方向直方图和运动边界方向直方图,将所述梯度方向直方图、光流方向直方图和运动边界方向直方图连接,作为手工特征;将所述手工特征进行Fisher Vector编码,生成基于所述手工特征的列向量;
生成深度特征的特征向量:将训练样本的RGB图像、光流图像分别输入两个深度卷积神经网络中,训练深度空间模型和深度时间模型,并采用所述深度空间模型或所述深度时间模型的顶层全连接层作为空间流或时间流的深度特征;并池化每个视频所有帧图像的空间流或所有光流图像的时间流深度特征,并将池化的结果连接,生成基于所述深度特征的列向量。
进一步的,对每一视频样本设置独有的样本标签,采用训练样本的所述手工特征和所述深度特征的特征向量以及对应视频样本的所述样本标签作为输入,训练层次化特征子空间学习模型,生成子空间投影矩阵和行为类别的决策边界的步骤包括:
构建训练样本的层次化特征子空间学习模型:
将所述列向量Zv以及所述样本标签H作为所述层次化特征子空间学习模型的输入,采用迭代交替算法来优化所述层次化特征子空间学习模型,获得所述子空间投影矩阵Pv和所述决策边界W。
进一步的,利用所述子空间投影矩阵,学习测试样本的所述手工特征和所述深度特征的子空间特征向量的步骤包括:
构建测试样本的层次化特征到子空间的变换模型:
进一步的,所述计算并比较测试样本的子空间特征向量到各个行为类别的所述决策边界的距离,并判别测试样本的行为类,完成人体行为识别操作的步骤包括:
将所述子空间特征向量和所述类决策边界做矩阵乘法运算,得到测试样本对所有行为类别的响应值,选择最大响应值对应的行为类别作为测试样本的识别结果,完成人体行为的识别操作。
与现有技术相比,本发明的基于层次化特征子空间学习的人体行为识别方法,以基于手工特征和深度特征的视频表达为基础,考虑手工特征和深度特征两个层次特征之间的互补性,采用监督多视角子空间学习的方法,充分融合手工特征和深度特征的优势,可有效提高人体识别视频特征表达的辨识力;同时具有良好的识别精度和识别效率;此外,本发明通过基于层次化特征子空间学习对人体行为进行识别,为人体行为识别的特征学习问题提供了新的研究思路。
附图说明
图1为本发明实施例所述基于层次化特征子空间学习的人体行为识别方法的基本框架图示意;
图2为本发明实施例所述基于层次化特征子空间学习的人体行为识别方法的流程图示意;
图3为本发明实施例中所述迭代交替算法的流程图示意。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
参阅图1,在本发明实施例中,提供了一种基于层次化特征子空间学习的人体行为识别方法,包括提取层次化特征表达、训练层次化特征子空间模型和识别测试样本的行为类别;具体的,参阅图2,所述方法的具体步骤过程为:
S1、将人体行为识别的视频样本划分成训练样本和测试样本,提取并编码视频样本的手工特征和深度特征,并分别以手工特征和深度特征的特征向量表示每一视频样本。
在具体实施例中,生成手工特征的特征向量的过程为:首先通过稠密采样并跟踪人体行为视频多帧图像的特征点,提取视频样本的稠密运动轨迹,对每一视频样本提取稠密运动轨迹,并计算基于稠密运动轨迹的梯度方向直方图、光流方向直方图和运动边界方向直方图,同时,将梯度方向直方图、光流方向直方图和运动边界方向直方图连接,作为手工特征;将手工特征进行Fisher Vector编码,生成基于手工特征的列向量;优选的,本发明每个视频用一个M维的基于手工特征的全局列向量特征表示。
在具体实施例中,生成深度特征的特征向量的过程为:首先,将训练样本的RGB图像、光流图像分别输入两个深度卷积神经网络中,训练深度空间模型和深度时间模型,并采用深度空间模型或深度时间模型的顶层全连接层作为空间流或时间流的深度特征;其中,提取得到的空间流的深度特征为d1维,时间流的深度特征为d2维;随后,池化每个视频所有帧图像的空间流或所有光流图像的时间流深度特征,并将池化的结果连接,生成基于所述深度特征的列向量;优选的,本发明每个视频用一个N维的基于深度特征的全局列向量特征表示,其中,N=d1+d2。
S2、对每一视频样本设置独有的样本标签,采用训练样本的所述手工特征和所述深度特征的特征向量以及对应视频样本的所述样本标签作为输入,训练层次化特征子空间学习模型,生成子空间投影矩阵和行为类别的决策边界。
在本发明的具体实施例中,首先,构建训练样本层次化特征子空间学习模型:
其中,Zv为训练样本在第v个视角下的列向量表示;本实施例中,Zv即表示所述手工特征和所述深度特征两个视角下的列向量;Pv为子空间投影矩阵,X为所述手工特征和所述深度特征的共有特征子空间,H表示样本标签,W表示决策边界;然后,将层次化特征列向量Zv以及样本标签H作为层次化特征子空间学习模型的输入;最后,采用迭代交替算法来优化层次化特征子空间学习模型,获得子空间投影矩阵Pv和决策边界W。
优选的,本实施例在采用迭代交替算法来求解层次化特征子空间学习模型时,进一步计算时,保持其他变量固定不变,只求解一个变量,直至层次化特征子空间学习模型在若干次迭代之后收敛;最后,求解出子空间投影矩阵Pv和行为类别的决策边界W;具体可参阅图3,从中可知,本发明的迭代交替算法通过固定共有特征子空间X、子空间投影矩阵Pv和决策边界W中的任意两个变量,并对另一个变量进行更新操作,直到得到的层次化特征子空间学习模型收敛即可获得子空间投影矩阵Pv和行为类别的决策边界W。
S3、利用子空间投影矩阵Pv,学习测试样本所述手工特征和所述深度特征的子空间特征向量。
具体的,构建测试样本的层次化特征到子空间的变换模型:其中,Pv表示子空间投影矩阵,和分别表示测试样本的层次化特征表达、测试样本和训练样本的共有子空间特征表达,并采用最小二乘法求解测试样本的层次化特征到子空间的变换模型,其中,得到的共有子空间特征表达为:
S4、计算并比较测试样本的子空间特征向量到各个行为类别的所述决策边界的距离,并判别测试样本的行为类,完成人体行为识别操作。
具体的,本发明的方法通过将测试样本的共有子空间特征表示和决策边界W做矩阵乘法运算,得到测试样本对所有行为类别的响应值R=[r1,r2,...,rn]∈Rc×n,其中c表示行为类别数,n表示测试样本数;对第i(i=1,2,…,n)个测试样本的响应向量ri,取最大值所对应的行(即所对应的行为类别类)作为该测试样本的人体行为的识别结果,完成人体行为的识别操作。
与现有技术相比,本发明的基于层次化特征子空间学习的人体行为识别方法,以基于手工特征和深度特征的视频表达为基础,考虑手工特征和深度特征两个层次特征之间的互补性,采用监督多视角子空间学习的方法,充分融合手工特征和深度特征的优势,可有效提高人体识别视频特征表达的辨识力;同时具有良好的识别精度和识别效率;此外,本发明通过基于层次化特征子空间学习对人体行为进行识别,为人体行为识别的特征学习问题提供了新的研究思路。
以上仅为本发明的较佳实施例,但并不限制本发明的专利范围,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本发明专利保护范围之内。
Claims (4)
1.一种基于层次化特征子空间学习的人体行为识别方法,其特征在于,所述方法包括:
将人体行为识别的视频样本划分成训练样本和测试样本,提取并编码视频样本的手工特征和深度特征,并分别以所述手工特征和所述深度特征的特征向量表示每一视频样本;
对每一视频样本设置独有的样本标签,采用训练样本的所述手工特征和所述深度特征的特征向量以及对应视频样本的所述样本标签作为输入,训练层次化特征子空间学习模型,生成子空间投影矩阵和行为类别的决策边界;其步骤为:
构建训练样本的层次化特征子空间学习模型:
将所述列向量Zv以及所述样本标签H作为所述层次化特征子空间学习模型的输入,采用迭代交替算法来优化所述层次化特征子空间学习模型,获得所述子空间投影矩阵Pv和所述决策边界W;
利用所述子空间投影矩阵,学习测试样本的所述手工特征和所述深度特征的子空间特征向量;
计算并比较测试样本的子空间特征向量到各个行为类别的所述决策边界的距离,并判别测试样本的行为类,完成人体行为识别操作。
2.如权利要求1所述的层次化特征子空间学习的人体行为识别方法,其特征在于,将人体行为识别的视频样本划分成训练样本和测试样本,提取并编码视频样本的手工特征和深度特征,并分别以所述手工特征和所述深度特征的特征向量表示每一视频样本的步骤包括:
生成手工特征的特征向量:稠密采样并跟踪视频多帧图像的特征点,提取视频样本的稠密运动轨迹,并计算基于稠密运动轨迹的梯度方向直方图、光流方向直方图和运动边界方向直方图,将所述梯度方向直方图、光流方向直方图和运动边界方向直方图连接,作为手工特征;将所述手工特征进行Fisher Vector编码,生成基于所述手工特征的列向量;
生成深度特征的特征向量:将训练样本的RGB图像、光流图像分别输入两个深度卷积神经网络中,训练深度空间模型和深度时间模型,并采用所述深度空间模型或所述深度时间模型的顶层全连接层作为空间流或时间流的深度特征;并池化每个视频所有帧图像的空间流或所有光流图像的时间流深度特征,并将池化的结果连接,生成基于所述深度特征的列向量。
4.如权利要求3所述的基于层次化特征子空间学习的人体行为识别方法,其特征在于,所述计算并比较测试样本的子空间特征向量到各个行为类别的所述决策边界的距离,并判别测试样本的行为类,完成人体行为识别操作的步骤包括:将所述子空间特征向量和所述决策边界做矩阵乘法运算,得到测试样本对所有行为类别的响应值,选择最大响应值对应的行为类别作为测试样本的识别结果,完成人体行为的识别操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811415195.0A CN109508686B (zh) | 2018-11-26 | 2018-11-26 | 一种基于层次化特征子空间学习的人体行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811415195.0A CN109508686B (zh) | 2018-11-26 | 2018-11-26 | 一种基于层次化特征子空间学习的人体行为识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109508686A CN109508686A (zh) | 2019-03-22 |
CN109508686B true CN109508686B (zh) | 2022-06-28 |
Family
ID=65750452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811415195.0A Active CN109508686B (zh) | 2018-11-26 | 2018-11-26 | 一种基于层次化特征子空间学习的人体行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109508686B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109903339B (zh) * | 2019-03-26 | 2021-03-05 | 南京邮电大学 | 一种基于多维融合特征的视频群体人物定位检测方法 |
CN111523361B (zh) * | 2019-12-26 | 2022-09-06 | 中国科学技术大学 | 一种人体行为识别方法 |
CN111082879B (zh) * | 2019-12-27 | 2022-02-01 | 南京邮电大学 | 一种基于深度时空模型的wifi感知方法 |
CN111680543B (zh) * | 2020-04-23 | 2023-08-29 | 北京迈格威科技有限公司 | 动作识别方法、装置及电子设备 |
CN113705507B (zh) * | 2021-09-02 | 2023-09-19 | 上海交通大学 | 基于深度学习的混合现实开集人体姿态识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975897A (zh) * | 2015-12-14 | 2016-09-28 | 乐视网信息技术(北京)股份有限公司 | 图片的人脸性别识别方法及*** |
CN107203745A (zh) * | 2017-05-11 | 2017-09-26 | 天津大学 | 一种基于跨域学习的跨视角动作识别方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103093248B (zh) * | 2013-01-28 | 2016-03-23 | 中国科学院自动化研究所 | 一种基于多视角学习的半监督图像分类方法 |
CN103226713B (zh) * | 2013-05-16 | 2016-04-13 | 中国科学院自动化研究所 | 一种多视角行为识别方法 |
CN103577841A (zh) * | 2013-11-11 | 2014-02-12 | 浙江大学 | 一种无监督多视图特征选择的人体行为识别方法 |
KR101575857B1 (ko) * | 2014-12-23 | 2015-12-08 | 영남대학교 산학협력단 | 다중시점의 동작의 세기와 방향에 대한 히스토그램을 이용한 행동패턴 인식방법 |
CN106845351A (zh) * | 2016-05-13 | 2017-06-13 | 苏州大学 | 一种用于视频的基于双向长短时记忆单元的行为识别方法 |
CN106815600B (zh) * | 2016-12-27 | 2019-07-30 | 浙江工业大学 | 用于人类行为识别的深度联合结构化和结构化学习方法 |
CN106971151B (zh) * | 2017-03-14 | 2020-04-28 | 天津大学 | 一种基于线性判别分析的开放视角动作识别方法 |
CN108388903B (zh) * | 2018-03-01 | 2021-12-21 | 南开大学 | 一种基于多视角多特征的图像印象性预测方法 |
CN108596245B (zh) * | 2018-04-20 | 2021-10-15 | 九江学院 | 一种基于多视图协同完整鉴别子空间学习的人脸识别方法 |
-
2018
- 2018-11-26 CN CN201811415195.0A patent/CN109508686B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975897A (zh) * | 2015-12-14 | 2016-09-28 | 乐视网信息技术(北京)股份有限公司 | 图片的人脸性别识别方法及*** |
CN107203745A (zh) * | 2017-05-11 | 2017-09-26 | 天津大学 | 一种基于跨域学习的跨视角动作识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109508686A (zh) | 2019-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109508686B (zh) | 一种基于层次化特征子空间学习的人体行为识别方法 | |
CN109858390B (zh) | 基于端到端时空图学习神经网络的人体骨架行为识别方法 | |
CN110021051B (zh) | 一种基于生成对抗网络通过文本指导的人物图像生成方法 | |
CN110147743B (zh) | 一种复杂场景下的实时在线行人分析与计数***及方法 | |
CN108288051B (zh) | 行人再识别模型训练方法及装置、电子设备和存储介质 | |
CN108399435B (zh) | 一种基于动静特征的视频分类方法 | |
CN106909938B (zh) | 基于深度学习网络的视角无关性行为识别方法 | |
CN109753897B (zh) | 基于记忆单元强化-时序动态学习的行为识别方法 | |
CN111259738A (zh) | 人脸识别模型构建方法、人脸识别方法及相关装置 | |
CN112307995A (zh) | 一种基于特征解耦学习的半监督行人重识别方法 | |
CN112651360B (zh) | 一种小样本下骨架动作识别方法 | |
CN112364708B (zh) | 基于知识蒸馏与对抗学习的多模态人体动作识别方法 | |
CN112906520A (zh) | 一种基于姿态编码的动作识别方法及装置 | |
CN113989943B (zh) | 一种基于蒸馏损失的人体动作增量识别方法及装置 | |
CN114943990A (zh) | 基于ResNet34网络-注意力机制的连续手语识别方法及装置 | |
Wang et al. | A novel multiface recognition method with short training time and lightweight based on ABASNet and H-softmax | |
Zhang et al. | IA-CNN: A generalised interpretable convolutional neural network with attention mechanism | |
CN117115911A (zh) | 一种基于注意力机制的超图学习动作识别*** | |
Mozafari et al. | A novel fuzzy hmm approach for human action recognition in video | |
Du | The computer vision simulation of athlete’s wrong actions recognition model based on artificial intelligence | |
CN116208399A (zh) | 一种基于元图的网络恶意行为检测方法及设备 | |
CN115512214A (zh) | 一种基于因果注意力的室内视觉导航方法 | |
Hu et al. | Data-free dense depth distillation | |
CN114202801A (zh) | 基于注意力引导空域图卷积简单循环单元的手势识别方法 | |
CN113158870A (zh) | 2d多人姿态估计网络的对抗式训练方法、***及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |