CN106022236A - 一种基于人体轮廓的动作识别方法 - Google Patents

一种基于人体轮廓的动作识别方法 Download PDF

Info

Publication number
CN106022236A
CN106022236A CN201610314296.3A CN201610314296A CN106022236A CN 106022236 A CN106022236 A CN 106022236A CN 201610314296 A CN201610314296 A CN 201610314296A CN 106022236 A CN106022236 A CN 106022236A
Authority
CN
China
Prior art keywords
human body
carried out
profile
method based
identification method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610314296.3A
Other languages
English (en)
Inventor
翁肇杰
翟恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Grand Softcom Ltd Of Upper Hypon
Original Assignee
Grand Softcom Ltd Of Upper Hypon
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Grand Softcom Ltd Of Upper Hypon filed Critical Grand Softcom Ltd Of Upper Hypon
Priority to CN201610314296.3A priority Critical patent/CN106022236A/zh
Publication of CN106022236A publication Critical patent/CN106022236A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人体轮廓的动作识别方法，包括以下步骤：首先，利用数学形态学以及种子区域生长法提取出人体的轮廓；然后，将人体的轮廓拟合成多边形；最后，通过多边形各个顶点的位置关系识别人体的动作。本发明并未采用相对复杂的分类器识别样本的方式，易于实现，且对硬件设备的要求较低，在某些应用场合，比如无人机操控，具备非常高的实用价值。

Description

一种基于人体轮廓的动作识别方法
技术领域
本发明属于计算机视觉与模式识别领域，具体涉及一种基于人体轮廓的动作识别方法。
背景技术
人体动作识别技术的应用范围相当广泛，在人机交互、安防监控、互动游戏以及视频标注等应用场景都发挥着不可替代的作用。
目前，常用的人体动作识别方法大体可以分为两类：（1）在人体关节处安装无线传感器和加速度感应器，采集人体的动作信息，这类方法原理简单、易于实现，但应用范围十分有限；（2）基于视觉的人体动作识别正逐渐成为计算机视觉与模式识别领域的研究热点，这类方法能够广泛地应用于智能监控、数字娱乐、视频标注等领域。
基于视觉的人体动作识别方法一般将人体动作识别看作分类或者检测问题，利用全标记的训练数据来训练分类器，但是获得全标记的训练数据是费时费力的；或者通过多摄像头监控***的搭建解决遮挡问题；或者通过多种特征融合的方式提高动作识别的性能。总体来说，这类方法可以识别各种比较复杂的人体动作，比如开车、打电话、握手、坐下和起立等，但是从难易度、成本方面考虑，这类方法代价较大，难以应用于某些场合，比如无人机操控，只需要能够识别人体的简单动作（单/双手平伸、单/双手举起等）。
发明内容
针对特定场合的应用，比如无人机操控，只需要能够识别人体的简单动作（单/双手平伸、单/双手举起等），本发明提出了一种基于人体轮廓的动作识别方法，具体包括以下步骤：
（1）视频的第m帧，标出人体区域ROI，其中1≤m<M，M为视频的全部帧数；
（2）对区域ROI内的视频数据进行预处理，即执行步骤A-C：
A、将步骤（1）的ROI进行特定比例的扩展，得到区域RExpand；
B、读取RExpand内的视频数据，得到Video；
C、将Video缩放至特定大小，得到VScale；
（3）分割出人体目标，即执行步骤A＇-H＇：
A＇、将步骤（2）的VScale进行二值化，得到VBin；
B＇、将VBin进行数学形态学处理，得到VPro；
C＇、对VPro进行轮廓提取，得到T个轮廓{C1，C2，…，Ct，…，CT}，其中1≤t≤T；
D＇、从T个轮廓{C1，C2，…，Ct，…，CT}中，选择最大的轮廓Ci；
E＇、对轮廓Ci包围的区域ROIi进行数学形态学处理，得到VMM；
F＇、从VMM中选取初始的种子点；
G＇、利用最大流算法，从VMM中分割出前景目标Foreground；
H＇、对前景目标Foreground进行数学形态学处理，得到Tar；
（4）对人体目标进行多边形拟合，即执行步骤A＂-E＂：
A＂、对步骤（3）的Tar进行轮廓提取，得到ST个轮廓{SC1，SC2，…，SCt，…，SCST}，其中1≤t≤ST；
B＂、从ST个轮廓{SC1，SC2，…，SCt，…，SCST}中，选择最大的轮廓SCi；
C＂、对轮廓SCi包围的区域SROIi进行数学形态学处理，得到SVMM；
D＂、对SVMM进行多边形拟合，得到多边形Poly，Poly的顶点数目为Num；
E＂、根据Poly各个顶点的位置关系，得到第m帧图像的动作识别结果Act；
（5）输出结果，即对步骤（4）的动作识别结果Act进行判断，若已经连续N帧的Act相同，输出Act，m加1，如果m = M，结束，否则进入步骤（1）；若尚未连续N帧的Act相同，m加1，如果m= M，结束，否则进入步骤（1）。
本发明的有益效果是：
1）本发明提出的利用多边形拟合识别人体动作的方法，易于实现，对硬件设备没有严格的限制，普通的单摄像头即可满足要求，而且在一定程度上能够克服摄像头俯仰角的影响。
2）本发明在多种场景下均可准确地识别人体的简单动作，比如单/双手平伸、单/双手举起等，在某些应用场合，比如无人机操控，具备非常高的实用价值。
附图说明
图1为动作识别的处理流程。
图2为二值图像。
图3为初始的前景种子。
图4为初始的背景种子。
图5为提取的人体目标。
图6为拟合多边形。
具体实施方式
为了使本发明的目的、技术方案以及优点更加清楚明白，以下对本发明进行进一步的详细说明。
一种基于人体轮廓的动作识别方法，处理流程如图1所示，具体包括以下步骤：
（1）视频的第m帧，标出1块包含人体的区域ROI，其中1≤m<M，M为视频的全部帧数；
（2）对区域ROI内的视频数据进行预处理，即执行步骤A-C：
A、将步骤（1）的ROI进行特定比例的扩展，得到区域RExpand；
特定比例可以根据动作的幅度计算，比如双手平伸的宽度是肩宽的2倍，则需要将ROI的水平方向至少扩展2倍；
B、读取RExpand内的视频数据，得到Video；
C、将Video缩放至特定大小，得到VScale；
（3）分割出人体目标，即执行步骤A＇-H＇：
A＇、将步骤（2）的VScale进行二值化，得到VBin；
B＇、将VBin进行数学形态学处理，得到VPro；
数学形态学处理可以包括腐蚀、膨胀等处理；
C＇、对VPro进行轮廓提取，得到T个轮廓{C1，C2，…，Ct，…，CT}，其中1≤t≤T；
提取轮廓的方法很多，此处不再赘述；
D＇、从T个轮廓{C1，C2，…，Ct，…，CT}中，选择最大的轮廓Ci；
E＇、对轮廓Ci包围的区域ROIi进行数学形态学处理，得到VMM；
数学形态学处理可以包括腐蚀、膨胀等处理；
F＇、从VMM中选取初始的种子点；
为了避免错误的分割，应从VMM的中央位置选取初始的前景种子点，而从VMM的边界选取初始的背景种子点，二值图像及初始的种子点如图2-图4所示；
G＇、利用最大流算法，从VMM中分割出前景目标Foreground,如图5所示；
H＇、对前景目标Foreground进行数学形态学处理，得到Tar；
（4）对人体目标进行多边形拟合，即执行步骤A＂-E＂：
A＂、对步骤（3）的Tar进行轮廓提取，得到ST个轮廓{SC1，SC2，…，SCt，…，SCST}，其中1≤t≤ST；
B＂、从ST个轮廓{SC1，SC2，…，SCt，…，SCST}中，选择最大的轮廓SCi；
C＂、对轮廓SCi包围的区域SROIi进行数学形态学处理，得到SVMM；
D＂、对SVMM进行多边形拟合，得到多边形Poly，Poly的顶点数目为Num，Num=8；
E＂、根据Poly各个顶点的位置关系，得到第m帧图像的动作识别结果Act；
比如，双手举起的拟合多边形如图6所示，根据各个顶点的位置关系可以判断出顶点0代表头部，顶点1和顶点2所成的直线代表左手，通过直线斜率可以判断出左手是否举起。
（5）输出结果，即对步骤（4）的动作识别结果Act进行判断，若已经连续N帧的Act相同，输出Act，m加1，如果m = M，结束，否则进入步骤（1）；若尚未连续N帧的Act相同，m加1，如果m= M，结束，否则进入步骤（1）。
以上所述仅为本发明的较佳实施例而已，并不限制本发明，凡在本发明的精神和原则之内所作的的任何修改、等同替换和改进等，均应包括在本发明的保护范围之内。

Claims (5)

1.一种基于人体轮廓的动作识别方法，其特征在于包含以下步骤：
1）视频的第m帧，标出人体区域ROI,其中1≤m<M，M为视频的全部帧数；
2）对区域ROI内的视频数据进行预处理；
3）分割出人体目标；
4）对人体目标进行多边形拟合；
5）输出结果。
2.根据权利要求1所述的一种基于人体轮廓的动作识别方法，其特征在于，所述的步骤2）为：
（1）对ROI进行特定比例的扩展，得到区域RExpand；
（2）读取RExpand内的视频数据，得到Video；
（3）将Video缩放至特定大小，得到VScale。
3.根据权利要求1所述的一种基于人体轮廓的动作识别方法，其特征在于，所述的步骤3）为：
（1）将预处理后的视频数据VScale进行二值化，得到VBin；
（2）将VBin进行数学形态学处理，得到VPro；
（3）对VPro进行轮廓提取，得到T个轮廓{C1，C2，…，Ct，…，CT}，其中1≤t≤T；
（4）从T个轮廓{C1，C2，…，Ct，…，CT}中，选择最大的轮廓Ci；
（5）对轮廓Ci包围的区域ROIi进行数学形态学处理，得到VMM；
（6）从VMM中选取初始的种子点；
（7）利用最大流算法，从VMM中分割出前景目标Foreground；
（8）对前景目标Foreground进行数学形态学处理，得到Tar。
4.根据权利要求1所述的一种基于人体轮廓的动作识别方法，其特征在于，所述的步
骤4）为：
（1）对分割出的人体目标Tar进行轮廓提取，得到ST个轮廓{SC1，SC2，…，SCt，…，SCST}，其中1≤t≤ST；
（2）从ST个轮廓{SC1，SC2，…，SCt，…，SCST}中，选择最大的轮廓SCi；
（3）对轮廓SCi包围的区域SROIi进行数学形态学处理，得SVMM；
（4）对SVMM进行多边形拟合，得到多边形Poly，Poly的顶点数目为Num；
（5）根据Poly各个顶点的位置关系，得到第m帧图像的动作识别结果Act。
5.根据权利要求1所述的一种基于人体轮廓的动作识别方法，其特征在于，所述的步
骤5）为：对步骤（4）的动作识别结果Act进行判断，若已经连续N帧的Act相同，输出Act，m加1，如果m = M，结束，否则进入步骤（1）；若尚未连续N帧的Act相同，m加1，如果m = M，结束，否则进入步骤（1）。
CN201610314296.3A 2016-05-13 2016-05-13 一种基于人体轮廓的动作识别方法 Pending CN106022236A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610314296.3A CN106022236A (zh) 2016-05-13 2016-05-13 一种基于人体轮廓的动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610314296.3A CN106022236A (zh) 2016-05-13 2016-05-13 一种基于人体轮廓的动作识别方法

Publications (1)

Publication Number Publication Date
CN106022236A true CN106022236A (zh) 2016-10-12

Family

ID=57100268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610314296.3A Pending CN106022236A (zh) 2016-05-13 2016-05-13 一种基于人体轮廓的动作识别方法

Country Status (1)

Country Link
CN (1) CN106022236A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598226A (zh) * 2016-11-16 2017-04-26 天津大学 一种基于双目视觉和深度学习的无人机人机交互方法
CN110197117A (zh) * 2019-04-18 2019-09-03 北京奇艺世纪科技有限公司 人体轮廓点提取方法、装置、终端设备及计算机可读存储介质
CN110852138A (zh) * 2018-08-21 2020-02-28 北京图森未来科技有限公司 一种图像数据中物体的标注方法和装置
CN111526422A (zh) * 2019-02-01 2020-08-11 网宿科技股份有限公司 一种视频帧中目标对象的拟合方法、***及设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598226A (zh) * 2016-11-16 2017-04-26 天津大学 一种基于双目视觉和深度学习的无人机人机交互方法
CN106598226B (zh) * 2016-11-16 2019-05-21 天津大学 一种基于双目视觉和深度学习的无人机人机交互方法
CN110852138A (zh) * 2018-08-21 2020-02-28 北京图森未来科技有限公司 一种图像数据中物体的标注方法和装置
CN110852138B (zh) * 2018-08-21 2021-06-01 北京图森智途科技有限公司 一种图像数据中物体的标注方法和装置
CN111526422A (zh) * 2019-02-01 2020-08-11 网宿科技股份有限公司 一种视频帧中目标对象的拟合方法、***及设备
CN110197117A (zh) * 2019-04-18 2019-09-03 北京奇艺世纪科技有限公司 人体轮廓点提取方法、装置、终端设备及计算机可读存储介质
CN110197117B (zh) * 2019-04-18 2021-07-06 北京奇艺世纪科技有限公司 人体轮廓点提取方法、装置、终端设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
Yan et al. Mirrornet: Bio-inspired camouflaged object segmentation
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
Chi et al. Pedhunter: Occlusion robust pedestrian detector in crowded scenes
He et al. Multi-scale FCN with cascaded instance aware segmentation for arbitrary oriented word spotting in the wild
Yuan et al. Robust traffic sign recognition based on color global and local oriented edge magnitude patterns
CN103218605B (zh) 一种基于积分投影与边缘检测的快速人眼定位方法
CN103098076B (zh) 电视机控制用手势识别***
US8958641B2 (en) Moving object detection device
CN106022236A (zh) 一种基于人体轮廓的动作识别方法
CN108154151B (zh) 一种快速多方向文本行检测方法
CN102147867B (zh) 一种基于主体的国画图像和书法图像的识别方法
CN111832568A (zh) 车牌识别方法、车牌识别模型的训练方法和装置
CN103020614B (zh) 基于时空兴趣点检测的人体运动识别方法
Mahjoub et al. Human action recognition using RGB data
Li et al. Estimating visual saliency through single image optimization
CN104102904A (zh) 一种静态手势识别方法
CN110472625A (zh) 一种基于傅里叶描述子的象棋棋子视觉识别方法
Deng et al. Detection and recognition of traffic planar objects using colorized laser scan and perspective distortion rectification
CN103544478A (zh) 一种全方位人脸检测的方法及***
Ou et al. FAMN: feature aggregation multipath network for small traffic sign detection
Ikemura et al. Human detection by Haar-like filtering using depth information
CN103996207A (zh) 一种物体跟踪方法
CN105930789A (zh) 基于对数欧式空间词袋模型的人体行为识别
CN102779268A (zh) 基于方向运动历史图及竞争机制的手挥运动方向判定方法
Youlian et al. Face detection method using template feature and skin color feature in rgb color space

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161012