CN108446583A - 基于姿态估计的人体行为识别方法 - Google Patents

基于姿态估计的人体行为识别方法 Download PDF

Info

Publication number
CN108446583A
CN108446583A CN201810079476.7A CN201810079476A CN108446583A CN 108446583 A CN108446583 A CN 108446583A CN 201810079476 A CN201810079476 A CN 201810079476A CN 108446583 A CN108446583 A CN 108446583A
Authority
CN
China
Prior art keywords
video
artis
matrix
human
position coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810079476.7A
Other languages
English (en)
Inventor
姬红兵
薛飞
张文博
***
曹奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Kunshan Innovation Institute of Xidian University
Original Assignee
Xidian University
Kunshan Innovation Institute of Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University, Kunshan Innovation Institute of Xidian University filed Critical Xidian University
Priority to CN201810079476.7A priority Critical patent/CN108446583A/zh
Publication of CN108446583A publication Critical patent/CN108446583A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于姿态估计的人体行为识别方法，主要解决现有技术在视频人体行为中处理速度过慢的问题。其实现步骤是：1.利用Open‑pose方法对视频中人体进行姿态估计，提取视频中每帧人体关节点位置坐标；2.根据每帧人体关节点位置坐标，计算相邻两帧人体关节点距离变化量矩阵；3.将视频进行分段，利用每段视频距离变化量矩阵生成视频特征；4.将数据集中视频分为训练集和测试集两部分，用训练集的视频特征训练分类器，利用训练好的分类器对测试集中的视频进行分类。本发明提高了视频中人体行为识别的速度，可用于智能视频监控、人机交互、视频检索。

Description

基于姿态估计的人体行为识别方法
技术领域
本发明属于图像处理技术领域，特别涉及一种视频人体行为识别方法，可用于智能视频监控、人机交互、视频检索。
背景技术
随着计算机学科与人工智能的发展和应用，视频分析技术迅速兴起并得到了广泛关注。视频分析中的一个核心就是人体行为识别，行为识别的准确性和快速性将直接影响视频分析***后续工作的结果。因此，如何提高视频中人体行为识别的准确性和快速性，已成为视频分析***研究中的重点问题。
目前，典型的视频人体行为识别方法主要有：时空兴趣点、密集轨迹等。其中：
时空兴趣点，是通过检测视频中的角点、提取角点的特征进行人体行为识别，但是一部分角点是由背景噪声产生，不但会影响最后的结果，还会降低识别的运行速度。
密集轨迹，是先对视频每一帧进行多个尺度上的密集采样，然后对采样的点进行跟踪得到轨迹，再提取轨迹的特征进行行为识别。但是该方法的计算复杂度高，并且产生的特征维度高，会占用大量的内存，很难做到实时识别。
发明内容
本发明的目的在于针对上述已有技术中实时性差的问题，提出一种基于姿态估计的人体行为识别方法，以提高人体行为识别的速度。
本发明的技术思路是：通过估计视频中人体的姿态，得到每一帧人体关节点的位置，利用人体关节点的位置变化量分析人体的动作，从而快速地进行人体行为识别。
根据上述思路，本发明的实现方案包括如下：
(1)提取视频中每帧人体关节点位置坐标：
(1a)利用Open-pose方法对视频中每帧人体进行姿态估计，得到人体脖子、胸部、头部、右肩、左肩、右臀部、左臀部、右手肘、左手肘、右膝盖、左膝盖、右手腕、左手腕、右脚踝和左脚踝这15个关节点的位置坐标，其中第k个关节点的坐标表示为Lk＝(xk,yk)，k从1到15；
(1b)对每个关节点的位置坐标进行归一化；
(1c)用归一化之后的15个关节点位置坐标构成坐标矩阵P，P＝[(x1,y1),(x2,y2),...,(xk,yk),...,(x15,y15)],其中(xk,yk)表示第k个关节点归一化之后的坐标；
(2)计算相邻两帧人体关节点距离变化量矩阵：
(2a)根据相邻两帧的坐标矩阵Pn和Pn-1，计算相邻两帧关节点位置坐标变化量矩阵
(2b)根据关节点位置坐标变化量矩阵计算关节点距离变化量矩阵D；
(3)生成视频特征：
(3a)按照视频的时间长度将视频平均分成4段，将每一段视频中相邻两帧产生的距离变化量矩阵D相加，得到各段累计距离变化量矩阵Di，i从1到4；
(3b)对Di进行L2归一化，得到归一化之后的Di'；
(3c)将累计距离变化量矩阵Di'串联起来作为整个视频的特征：F＝[D1',D2',D3',D4']；
(4)训练分类器对视频进行分类：
(4a)把sub-JHMDB数据集的视频分成训练集和测试集两部分，将训练集视频的特征输入到支持向量机中进行训练，得到训练好的支持向量机；
(4b)把测试集视频的特征输入到训练好的支持向量机中得到分类结果。
本发明具有以下优点：
本发明由于采用了Open-pose方法对视频中人体进行姿态估计，能够快速地得到视频中每帧人体的关节点位置坐标，同时由于对视频进行分段处理，能够获取人体在视频不同时间段上的关节点位置变化量，从而利用位置变化量对视频中人体行为做出分类。
附图说明
图1是本发明的实现流程图；
图2是用Open-pose估计得到的人体关节点位置示意图；
具体实施方式
以下参照附图，对本发明的技术方案和效果进行进一步说明：
参照图1，本发明的实施步骤如下：
步骤1.提取视频中每帧人体关节点位置信息。
1.1)利用Open-pose方法对视频中每帧人体进行姿态估计，得到人体脖子、胸部、头部、右肩、左肩、右臀部、左臀部、右手肘、左手肘、右膝盖、左膝盖、右手腕、左手腕、右脚踝和左脚踝这15个关节点的位置坐标，其中第k个关节点的坐标表示为Lk＝(xk,yk)，k从1到15，如图2所示；
1.2)对每个关节点的位置坐标进行归一化：
其中x,y表示归一化前的坐标，x',y'表示归一化后的坐标，W表示视频每一帧的宽度，H表示视频每一帧的高度；
1.3)用归一化之后的15个关节点位置坐标构成坐标矩阵P，P＝[(x1,y1),(x2,y2),...,(xk,yk),...,(x15,y15)],其中(xk,yk)表示第k个关节点归一化之后的坐标。
步骤2.计算相邻两帧人体关节点距离变化量矩阵。
2.1)根据相邻两帧的坐标矩阵Pn和Pn-1，计算相邻两帧关节点位置坐标变化量矩阵
其中Pn和Pn-1分别表示前一帧和后一帧的关节点位置坐标矩阵，dx和dy表示同一个关节点相邻两帧坐标变化量；
2.2)根据关节点位置坐标变化量矩阵计算关节点距离变化量矩阵D：
其中dxk和dyk表示中第k个元素。
步骤3.生成视频特征。
3.1)按照视频的时间长度将视频平均分成4段，将每一段视频中相邻两帧产生的距离变化量矩阵D相加，得到各段累计距离变化量矩阵Di，i从1到4。
3.2)对Di进行L2归一化，得到归一化之后的Di'：
其中Di＝[d1,d2,...,dk,...,d15]是第i段视频累计距离变化量矩阵，dk表示Di中第k个元素，是Di的L2范数，表示Di中第k个元素的平方；
3.3)将累计距离变化量矩阵Di'串联起来作为整个视频的特征：
F＝[D1',D2',D3',D4'] <5>
步骤4.训练分类器对视频进行分类。
4.1)把sub-JHMDB数据集的视频分成训练集和测试集两部分，将训练集视频的特征输入到支持向量机中进行训练，得到训练好的支持向量机；
4.2)把测试集视频的特征输入到训练好的支持向量机中得到分类结果。
本发明的效果可通过以下实验进一步说明：
1.实验条件。
实验环境：计算机采用Intel(R)Core(TM)[email protected]，16GB内存，GPU为GTX1080，软件采用Matlab2014b仿真实验平台。
实验参数：支持向量机选用线性核，参数c＝8。
2.实验内容与结果。
实验在sub-JHMDB数据集上进行，sub-JHMDB数据集一共包含12类人体动作，总共包括316个视频片段，每个视频片段包含一种人体行为。按照sub-JHMDB数据集提供方预先设定，将数据集中视频分成训练集和测试集两部分。利用本发明方法对sub-JHMDB数据集中视频进行处理得到视频特征，训练集视频的特征用于训练分类器，然后用训练好的分类器对测试集视频进行分类，测试集视频正确分类的比例作为最终的分类结果。
在sub-JHMDB数据集上的分类结果达到43.9％，对视频的处理速度平均为10fps。
综上可以得出，本发明可以实现对视频中人体行为的快速识别。

Claims (5)

1.一种基于姿态估计的人体行为识别方法，包括：
(1)提取视频中每帧人体关节点位置坐标：
(1a)利用Open-pose方法对视频中每帧人体进行姿态估计，得到人体脖子、胸部、头部、右肩、左肩、右臀部、左臀部、右手肘、左手肘、右膝盖、左膝盖、右手腕、左手腕、右脚踝和左脚踝这15个关节点的位置坐标，其中第k个关节点的坐标表示为Lk＝(xk,yk)，k从1到15；
(1b)对每个关节点的位置坐标进行归一化；
(1c)用归一化之后的15个关节点位置坐标构成坐标矩阵P，P＝[(x1,y1),(x2,y2),...,(xk,yk),...,(x15,y15)],其中(xk,yk)表示第k个关节点归一化之后的坐标；
(2)计算相邻两帧人体关节点距离变化量矩阵：
(2a)根据相邻两帧的坐标矩阵Pn和Pn-1，计算相邻两帧关节点位置坐标变化量矩阵
(2b)根据关节点位置坐标变化量矩阵计算关节点距离变化量矩阵D；
(3)生成视频特征：
(3a)按照视频的时间长度将视频平均分成4段，将每一段视频中相邻两帧产生的距离变化量矩阵D相加，得到各段累计距离变化量矩阵Di，i从1到4；
(3b)对Di进行L2归一化，得到归一化之后的Di'；
(3c)将累计距离变化量矩阵Di'串联起来作为整个视频的特征：
F＝[D1',D2',D3',D4']；
(4)训练分类器对视频进行分类：
(4a)把sub-JHMDB数据集的视频分成训练集和测试集两部分，将训练集视频的特征输入到支持向量机中进行训练，得到训练好的支持向量机；
(4b)把测试集视频的特征输入到训练好的支持向量机中得到分类结果。
2.根据权利要求1所述的方法，其中步骤(1b)中对每个关节点的位置坐标进行归一化，按如下公式进行：
其中x,y表示归一化前的坐标，x',y'表示归一化后的坐标，W表示视频的每一帧宽度，H表示视频的每一帧高度。
3.根据权利要求1所述的方法，其中步骤(2a)中计算相邻两帧关节点位置坐标变化量矩阵按如下公式计算：
其中Pn和Pn-1分别表示前一帧和后一帧的关节点位置矩阵，dxk和dyk表示第k个关节点相邻两帧坐标变化量。
4.根据权利要求1所述的方法，其中步骤(2b)中计算关节点距离变化量矩阵D，按如下公式计算：
其中dxk和dyk表示中第k个元素。
5.根据权利要求1所述的方法，其中步骤(3b)中对Di进行L2归一化得到Di'，按如下公式计算：
其中Di＝[d1,d2,...,dk,...,d15]是第i段视频累计距离变化量矩阵，dk表示Di中第k个元素，是Di的L2范数，表示Di中第k个元素的平方。
CN201810079476.7A 2018-01-26 2018-01-26 基于姿态估计的人体行为识别方法 Pending CN108446583A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810079476.7A CN108446583A (zh) 2018-01-26 2018-01-26 基于姿态估计的人体行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810079476.7A CN108446583A (zh) 2018-01-26 2018-01-26 基于姿态估计的人体行为识别方法

Publications (1)

Publication Number Publication Date
CN108446583A true CN108446583A (zh) 2018-08-24

Family

ID=63191076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810079476.7A Pending CN108446583A (zh) 2018-01-26 2018-01-26 基于姿态估计的人体行为识别方法

Country Status (1)

Country Link
CN (1) CN108446583A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344790A (zh) * 2018-10-16 2019-02-15 浩云科技股份有限公司 一种基于姿态分析的人体行为分析方法及***
CN109815921A (zh) * 2019-01-29 2019-05-28 北京融链科技有限公司 加氢站中活动类别的预测方法及装置
CN109871750A (zh) * 2019-01-02 2019-06-11 东南大学 一种基于骨架图序列异常关节修复的步态识别方法
CN110147723A (zh) * 2019-04-11 2019-08-20 苏宁云计算有限公司 一种无人店中顾客异常行为的处理方法及***
CN110503077A (zh) * 2019-08-29 2019-11-26 郑州大学 一种基于视觉的实时人体动作分析方法
CN110956139A (zh) * 2019-12-02 2020-04-03 郑州大学 一种基于时间序列回归预测的人体运动动作分析方法
CN111626137A (zh) * 2020-04-29 2020-09-04 平安国际智慧城市科技股份有限公司 基于视频的运动评估方法、装置、计算机设备及存储介质
CN112182282A (zh) * 2020-09-01 2021-01-05 浙江大华技术股份有限公司 音乐推荐方法、装置、计算机设备和可读存储介质
CN112702570A (zh) * 2020-12-18 2021-04-23 中国南方电网有限责任公司超高压输电公司柳州局 一种基于多维行为识别的安防管理***
CN113392758A (zh) * 2021-06-11 2021-09-14 北京科技大学 一种面向救援培训的行为检测与效果评价的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573665A (zh) * 2015-01-23 2015-04-29 北京理工大学 一种基于改进维特比算法的连续动作识别方法
US20150186713A1 (en) * 2013-12-31 2015-07-02 Konica Minolta Laboratory U.S.A., Inc. Method and system for emotion and behavior recognition
CN104866860A (zh) * 2015-03-20 2015-08-26 武汉工程大学 一种室内人体行为识别方法
CN105138995A (zh) * 2015-09-01 2015-12-09 重庆理工大学 基于骨架信息的时不变及视不变的人体行为识别方法
CN105518744A (zh) * 2015-06-29 2016-04-20 北京旷视科技有限公司 行人再识别方法及设备
CN106066996A (zh) * 2016-05-27 2016-11-02 上海理工大学 人体动作的局部特征表示方法及其在行为识别的应用

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150186713A1 (en) * 2013-12-31 2015-07-02 Konica Minolta Laboratory U.S.A., Inc. Method and system for emotion and behavior recognition
CN104573665A (zh) * 2015-01-23 2015-04-29 北京理工大学 一种基于改进维特比算法的连续动作识别方法
CN104866860A (zh) * 2015-03-20 2015-08-26 武汉工程大学 一种室内人体行为识别方法
CN105518744A (zh) * 2015-06-29 2016-04-20 北京旷视科技有限公司 行人再识别方法及设备
CN105138995A (zh) * 2015-09-01 2015-12-09 重庆理工大学 基于骨架信息的时不变及视不变的人体行为识别方法
CN106066996A (zh) * 2016-05-27 2016-11-02 上海理工大学 人体动作的局部特征表示方法及其在行为识别的应用

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DING WENWEN 等: "Skeleton-Based Human Action Recognition via", 《CHINESE JOURNAL OF ELECTRONICS》 *
ZHECAO 等: "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344790A (zh) * 2018-10-16 2019-02-15 浩云科技股份有限公司 一种基于姿态分析的人体行为分析方法及***
CN109871750A (zh) * 2019-01-02 2019-06-11 东南大学 一种基于骨架图序列异常关节修复的步态识别方法
CN109871750B (zh) * 2019-01-02 2023-08-18 东南大学 一种基于骨架图序列异常关节修复的步态识别方法
CN109815921A (zh) * 2019-01-29 2019-05-28 北京融链科技有限公司 加氢站中活动类别的预测方法及装置
CN110147723A (zh) * 2019-04-11 2019-08-20 苏宁云计算有限公司 一种无人店中顾客异常行为的处理方法及***
CN110147723B (zh) * 2019-04-11 2022-08-19 苏宁云计算有限公司 一种无人店中顾客异常行为的处理方法及***
CN110503077B (zh) * 2019-08-29 2022-03-11 郑州大学 一种基于视觉的实时人体动作分析方法
CN110503077A (zh) * 2019-08-29 2019-11-26 郑州大学 一种基于视觉的实时人体动作分析方法
CN110956139A (zh) * 2019-12-02 2020-04-03 郑州大学 一种基于时间序列回归预测的人体运动动作分析方法
CN110956139B (zh) * 2019-12-02 2023-04-28 河南财政金融学院 一种基于时间序列回归预测的人体运动动作分析方法
CN111626137A (zh) * 2020-04-29 2020-09-04 平安国际智慧城市科技股份有限公司 基于视频的运动评估方法、装置、计算机设备及存储介质
CN112182282A (zh) * 2020-09-01 2021-01-05 浙江大华技术股份有限公司 音乐推荐方法、装置、计算机设备和可读存储介质
CN112702570A (zh) * 2020-12-18 2021-04-23 中国南方电网有限责任公司超高压输电公司柳州局 一种基于多维行为识别的安防管理***
CN113392758A (zh) * 2021-06-11 2021-09-14 北京科技大学 一种面向救援培训的行为检测与效果评价的方法及装置

Similar Documents

Publication Publication Date Title
CN108446583A (zh) 基于姿态估计的人体行为识别方法
WO2021047232A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN109657631B (zh) 人体姿态识别方法及装置
CN104038738B (zh) 一种提取人体关节点坐标的智能监控***及方法
Abdat et al. Human-computer interaction using emotion recognition from facial expression
CN110457999B (zh) 一种基于深度学习和svm的动物姿态行为估计与心情识别方法
CN111160269A (zh) 一种人脸关键点检测方法及装置
CN103310194B (zh) 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN103443804B (zh) 面部标志检测方法
Ko et al. Development of a Facial Emotion Recognition Method based on combining AAM with DBN
CN108171133B (zh) 一种基于特征协方差矩阵的动态手势识别方法
CN103020614B (zh) 基于时空兴趣点检测的人体运动识别方法
CN109620244A (zh) 基于条件生成对抗网络和svm的婴儿异常行为检测方法
CN110688929A (zh) 一种人体骨架关节点定位方法及装置
Kusakunniran et al. Automatic gait recognition using weighted binary pattern on video
CN112200074A (zh) 一种姿态对比的方法和终端
CN106529377A (zh) 一种基于图像的年龄估计方法、装置及***
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN109993116B (zh) 一种基于人体骨骼相互学习的行人再识别方法
CN106570479B (zh) 一种面向嵌入式平台的宠物运动识别方法
Sun et al. Human action recognition using a convolutional neural network based on skeleton heatmaps from two-stage pose estimation
CN112541870A (zh) 一种视频处理的方法、装置、可读存储介质和电子设备
CN106156775B (zh) 基于视频的人体特征提取方法、人体识别方法和装置
CN103123689B (zh) 一种基于人腿检测的奔跑检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180824