CN110910426A - 动作过程和动作趋势识别方法、存储介质和电子装置 - Google Patents
动作过程和动作趋势识别方法、存储介质和电子装置 Download PDFInfo
- Publication number
- CN110910426A CN110910426A CN201911171884.6A CN201911171884A CN110910426A CN 110910426 A CN110910426 A CN 110910426A CN 201911171884 A CN201911171884 A CN 201911171884A CN 110910426 A CN110910426 A CN 110910426A
- Authority
- CN
- China
- Prior art keywords
- human body
- action
- angle
- difference
- trend
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000009471 action Effects 0.000 title claims abstract description 60
- 230000008569 process Effects 0.000 title claims abstract description 49
- 230000033001 locomotion Effects 0.000 claims description 32
- 210000000988 bone and bone Anatomy 0.000 claims description 25
- 210000000707 wrist Anatomy 0.000 claims description 19
- 230000036544 posture Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 210000003127 knee Anatomy 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种动作过程和动作趋势识别方法、存储介质和电子装置，通过获取连续的包含人体的目标空间深度图像，从中分离出人体深度图像数据，检测出各人体深度图像中人体各骨骼关节的位置和角度，并据此判断出各人体深度图像中的人体动作姿势，最后通过各相邻前后帧人体深度图像中的人体动作姿势之间的差异来判断人体的动作过程，还能够据此判断出人体的动作趋势。通过本发明可在人体动作识别中准确识别出人体的动作过程甚至预判人体动作趋势，可广泛应用于体育、健身、舞蹈、竞技等运动领域。
Description
技术领域
本发明涉及机器视觉识别技术，具体涉及一种动作过程和动作趋势识别方法、存储介质和电子装置。
背景技术
在视觉识别中，可以识别人体信息，可以对人体信息识别动作和姿势，这是一个静态的识别，对于人体做一个连贯动作，是一个动态的过程，要识别人体的一个连贯动作过程，单凭一瞬间的人体识别是无法做到趋势的识别的。
发明内容
本发明要解决的技术问题是，提供一种动作过程和动作趋势识别方法、存储介质和电子装置，实现对动作趋势的识别。
本发明是通过如下技术方案实现的：
一种动作过程识别方法，包括：
步骤A：在人体运动过程中，实时获取连续的包含所述人体的目标空间深度图像；
步骤B：从各目标空间深度图像中分离出人体深度图像；
步骤C：从各人体深度图像中识别出所述人体的各骨骼关节；
步骤D：检测各人体深度图像中人体的各骨骼关节的位置和角度；
步骤E：根据各人体深度图像中所述人体的各骨骼关节的位置和角度，判断各人体深度图像中的人体动作姿势；
步骤F：计算各相邻前后帧人体深度图像中的人体动作姿势之间的差异；
步骤G：根据各相邻前后帧人体深度图像中的人体动作姿势之间的差异，判断所述人体的动作过程。
进一步地，所述步骤A中，通过深度摄像头获取连续的包含所述人体的目标空间深度图像。
进一步地，相邻前后帧人体深度图像中的人体动作姿势之间的差异包括，相邻前后帧人体深度图像中的人体各骨骼关节的位置差异和角度差异。
进一步地，所述人体的各骨骼关节包括头部、颈部、躯干、左肩膀、左手肘、左手腕、右肩膀、右手肘、右手腕、左臀、左膝盖、左脚跟、右臀、右膝盖、右脚跟。
进一步地，所述步骤G包括：
根据所述相邻前后帧人体深度图像中的人体各骨骼关节的位置差异和角度差异，判断所述人体各骨骼关节的位置和角度的变化过程；
根据所述人体各骨骼关节的位置和角度的变化过程判断所述人体的动作过程。
一种动作趋势识别方法，包括如上所述的动作过程识别方法，还包括：
步骤H：根据所述人体各骨骼关节的位置和角度的变化过程，判断所述人体各骨骼关节的位置和角度的变化趋势；
步骤I：根据所述人体各骨骼关节的位置和角度的变化趋势判断所述所述人体的动作趋势。
一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的动作过程识别方法和/或如上所述的动作趋势识别方法。
一种电子装置，包括存储器、处理器及存储在所述存储器中并可在所述处理器中运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的动作过程识别方法和/或如上所述的动作趋势识别方法。
与现有技术相比，本发明提供的动作过程和动作趋势识别方法、存储介质和电子装置，通过获取连续的包含人体的目标空间深度图像，从中分离出人体深度图像数据，检测出各人体深度图像中人体各骨骼关节的位置和角度，并据此判断出各人体深度图像中的人体动作姿势，最后通过各相邻前后帧人体深度图像中的人体动作姿势之间的差异来判断人体的动作过程，还能够据此判断出人体的动作趋势。通过本发明可在人体动作识别中准确识别出人体的动作过程甚至预判人体动作趋势，可广泛应用于体育、健身、舞蹈、竞技等运动领域。
附图说明
图1为本发明动作识别比对方法的总体流程示意图；
图2为人体骨骼关节示意图；
图3为本发明动作识别比对方法的具体实施流程举例。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步详细说明。
本发明主要应用于动作识别中。本文中动作识别主要是指人体动作识别，即通过图像采集设备采集人体动作图像或视频，从人体动作图像或视频中识别出人体的动作姿势或动作趋势。人体动作识别能够广泛应用于体感游戏、运动健身指导等领域。如图1所示，本发明实施例提供的动作过程识别方法可包括如下步骤A至步骤G。
步骤A：在人体运动过程中，实时获取连续的包含所述人体的目标空间深度图像。具体可通过深度摄像头(如Tof摄像头)、结构光投影仪等设备来获取连续的包含所述人体的目标空间深度图像。人体处于目标空间中，其深度图像一并被获取。所述目标空间深度图像为实时获取的连续的目标空间深度图像，这样，通过后续步骤B、C、D、E分析处理后可以得到每一帧人体深度图像中的人体动作姿势，为后续计算相邻相邻前后帧人体深度图像中的人体动作姿势之间的差异提供计算数据。
步骤B：从各目标空间深度图像中分离出人体深度图像。分离出的人体深度图像用以供后续步骤进行分析计算。
步骤C：从各人体深度图像中识别出所述人体的各骨骼关节。骨骼关节的识别可采用微软Kinect的体感算法对人体深度图像进行分析计算以实现。
步骤D：检测各人体深度图像中人体的各骨骼关节的位置和角度。各骨骼关节的位置和角度同样可采用微软Kinect的体感算法对从人体深度图像中识别出的人体各骨骼关节进行分析计算以实现。
步骤E：根据各人体深度图像中所述人体的各骨骼关节的位置和角度，判断各人体深度图像中的人体动作姿势。人体所处的动作姿势是由人体全身各骨骼关节的位置和角度决定的，因此根据所述人体的各骨骼关节的位置和角度，可以判断出所述人体当前正处于何种动作姿势。由于人体骨骼关节数量众多，对于一般的动作识别精度要求而言，只需要准确识别出人体的主要动作即可实现很多目的，而不需要识别出人体的细微动作，因此，在对人体骨骼关节进行识别的过程中，只需要识别出人体各主要骨骼关节的位置和角度即可，而不需要识别出人体每个骨骼关节的位置和角度。鉴于此，在确定要识别的人体的各骨骼关节时，可按照图2所示，选择头部101、颈部102、躯干103、左肩膀104、左手肘105、左手腕106、右肩膀107、右手肘108、右手腕109、左臀110、左膝盖111、左脚跟112、右臀113、右膝盖114、右脚跟115等15个人体骨骼关节进行识别即可。通过对这15个骨骼关节的位置和角度的识别，可以识别出人体的各种主要动作姿势。
步骤F：计算各相邻前后帧人体深度图像中的人体动作姿势之间的差异。相邻前后帧人体深度图像中的人体动作姿势之间的差异包括，相邻前后帧人体深度图像中的人体各骨骼关节的位置差异和角度差异。在具体计算时，以上述15个骨骼关节为例，如图3所示，可对这15个骨骼关节进行分批计算差异，最后再汇总。
步骤G：根据各相邻前后帧人体深度图像中的人体动作姿势之间的差异，判断所述人体的动作过程。具体执行该步骤时，先根据所述相邻前后帧人体深度图像中的人体各骨骼关节的位置差异和角度差异，判断所述人体各骨骼关节的位置和角度的变化过程，然后再根据所述人体各骨骼关节的位置和角度的变化过程判断所述人体的动作过程。由于是获取的连续的深度图像，因此，每两帧相邻人体深度图像间都会形成一定的骨骼关节的位置差异和角度差异，都表示人体骨骼关节的位置和角度关系的一个变化，通过计算各相邻前后帧人体深度图像中的人体各骨骼关节的位置差异和角度差异，即可得到所述人体各骨骼关节的位置和角度关系的变化过程。以人体举起双手和下落过程为例，在这个过程中，可以得出手肩膀、手肘和手腕的空间位置关系和角度关系，左右手同理。以右手举例，记录前一帧人体深度图像中右肩膀(x6,y6,z6)，右手肘(x7,y7,z7)，右手腕(x8,y8,z8)的空间位置和角度关系和后一帧人体深度图像中右肩膀(x’6,y’6,z’6)，右手肘(x’7,y’7,z’7)，右手腕(x’8,y’8,z’8)的空间位置和角度关系。由前一帧向后一帧运动的过程中，通过空间位置和空间角度关系可以得出，y’7>y7,y’8>y8,向量x7到x6和向量x7到x8的角度α，向量x’7到x’6和向量x’7到x’8的角度β,β>α，即得出该前后帧右肩膀、右手肘、右手腕的空间位置和角度关系的变化，通过不断计算各前后帧人体深度图像中右肩膀、右手肘、右手腕的空间位置和角度差异，即可得出用户在举起双手的过程中右肩膀、右手肘、右手腕的位置和角度的变化过程。通过预先定义好这个变化过程，当对用户运动时的人体深度图像的实时检测数据符合该变化过程，就可以判定为用户在进行举起双手的动作。同理根据空间位置和空间角度，利用投影在坐标系xyz的角度，可以判断双手的举起方向。人体其他部位同理。通过同样的方法，可以预先定义好其他动作过程中各相应骨骼关节的位置和角度的变化过程。当在用户运动过程中，对用户的人体深度图像的检测结果符合预设的相应动作过程中的各相应骨骼关节的位置和角度的变化过程，即可判定用户在进行相应的动作过程。
基于上述的运动过程识别方法，本发明另一实施例还提供了一种动作趋势识别方法。动作趋势是指对即将发生的动作的预测。该动作趋势识别方法包括上述动作过程识别方法。在前述运动过程识别方法的基础上，还包括如下步骤H和步骤I。
步骤H：根据所述人体各骨骼关节的位置和角度的变化过程，判断所述人体各骨骼关节的位置和角度的变化趋势。例如，如果对连续的3组相邻前后帧的人体深度图像的分析计算都显示出人体的左肩膀、左手肘、左手腕、右肩膀、右手肘、右手腕都的位置和角度都是呈向上运动的运动过程，则可以判定人体的左肩膀、左手肘、左手腕、右肩膀、右手肘、右手腕紧接着还会继续向上运动。
步骤I：根据所述人体各骨骼关节的位置和角度的变化趋势判断所述所述人体的动作趋势。接前述假设，当判定人体的左肩膀、左手肘、左手腕、右肩膀、右手肘、右手腕紧接着还会继续向上运动时，就可以得出人体的动作趋势为继续举起双手。
本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的动作过程识别方法和/或如上所述的动作趋势识别方法。
本发明实施例还提供了一种电子装置，包括存储器、处理器及存储在所述存储器中并可在所述处理器中运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的动作过程识别方法和/或如上所述的动作趋势识别方法。
上述实施例仅为优选实施例，并不用以限制本发明的保护范围。在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种动作过程识别方法，其特征在于，包括：
步骤A：在人体运动过程中，实时获取连续的包含所述人体的目标空间深度图像；
步骤B：从各目标空间深度图像中分离出人体深度图像；
步骤C：从各人体深度图像中识别出所述人体的各骨骼关节；
步骤D：检测各人体深度图像中人体的各骨骼关节的位置和角度；
步骤E：根据各人体深度图像中所述人体的各骨骼关节的位置和角度，判断各人体深度图像中的人体动作姿势；
步骤F：计算各相邻前后帧人体深度图像中的人体动作姿势之间的差异；
步骤G：根据各相邻前后帧人体深度图像中的人体动作姿势之间的差异，判断所述人体的动作过程。
2.如权利要求1所述的动作过程识别方法，其特征在于，所述步骤A中，通过深度摄像头获取连续的包含所述人体的目标空间深度图像。
3.如权利要求1所述的动作过程识别方法，其特征在于，相邻前后帧人体深度图像中的人体动作姿势之间的差异包括，相邻前后帧人体深度图像中的人体各骨骼关节的位置差异和角度差异。
4.如权利要求3所述的动作过程识别方法，其特征在于，所述人体的各骨骼关节包括头部、颈部、躯干、左肩膀、左手肘、左手腕、右肩膀、右手肘、右手腕、左臀、左膝盖、左脚跟、右臀、右膝盖、右脚跟。
5.如权利要求4所述的动作过程识别方法，其特征在于，所述步骤G包括：
根据所述相邻前后帧人体深度图像中的人体各骨骼关节的位置差异和角度差异，判断所述人体各骨骼关节的位置和角度的变化过程；
根据所述人体各骨骼关节的位置和角度的变化过程判断所述人体的动作过程。
6.一种动作趋势识别方法，其特征在于，包括如权利要求5所述的动作过程识别方法，还包括：
步骤H：根据所述人体各骨骼关节的位置和角度的变化过程，判断所述人体各骨骼关节的位置和角度的变化趋势；
步骤I：根据所述人体各骨骼关节的位置和角度的变化趋势判断所述所述人体的动作趋势。
7.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至5中任一所述的动作过程识别方法和/或权利要求6所述的动作趋势识别方法。
8.一种电子装置，其特征在于，包括存储器、处理器及存储在所述存储器中并可在所述处理器中运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1至5中任一所述的动作过程识别方法和/或权利要求6所述的动作趋势识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911171884.6A CN110910426A (zh) | 2019-11-26 | 2019-11-26 | 动作过程和动作趋势识别方法、存储介质和电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911171884.6A CN110910426A (zh) | 2019-11-26 | 2019-11-26 | 动作过程和动作趋势识别方法、存储介质和电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110910426A true CN110910426A (zh) | 2020-03-24 |
Family
ID=69819521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911171884.6A Pending CN110910426A (zh) | 2019-11-26 | 2019-11-26 | 动作过程和动作趋势识别方法、存储介质和电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110910426A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065504A (zh) * | 2021-04-15 | 2021-07-02 | 希亚思(上海)信息技术有限公司 | 一种行为识别方法及装置 |
| CN114612524A (zh) * | 2022-05-11 | 2022-06-10 | 西南交通大学 | 一种基于rgb-d相机的运动识别方法 |
| CN116246350A (zh) * | 2023-05-11 | 2023-06-09 | 山东工程职业技术大学 | 基于动作捕捉的运动监测方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899561A (zh) * | 2015-05-27 | 2015-09-09 | 华南理工大学 | 一种并行化的人体行为识别方法 |
| CN106022213A (zh) * | 2016-05-04 | 2016-10-12 | 北方工业大学 | 一种基于三维骨骼信息的人体动作识别方法 |
| US20190251341A1 (en) * | 2017-12-08 | 2019-08-15 | Huawei Technologies Co., Ltd. | Skeleton Posture Determining Method and Apparatus, and Computer Readable Storage Medium |
-
2019
- 2019-11-26 CN CN201911171884.6A patent/CN110910426A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899561A (zh) * | 2015-05-27 | 2015-09-09 | 华南理工大学 | 一种并行化的人体行为识别方法 |
| CN106022213A (zh) * | 2016-05-04 | 2016-10-12 | 北方工业大学 | 一种基于三维骨骼信息的人体动作识别方法 |
| US20190251341A1 (en) * | 2017-12-08 | 2019-08-15 | Huawei Technologies Co., Ltd. | Skeleton Posture Determining Method and Apparatus, and Computer Readable Storage Medium |
Non-Patent Citations (1)
| Title |
|---|
| 刘剑等: "基于深度和LLE的人体动作趋势分析研究", 《控制工程》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065504A (zh) * | 2021-04-15 | 2021-07-02 | 希亚思(上海)信息技术有限公司 | 一种行为识别方法及装置 |
| CN114612524A (zh) * | 2022-05-11 | 2022-06-10 | 西南交通大学 | 一种基于rgb-d相机的运动识别方法 |
| CN116246350A (zh) * | 2023-05-11 | 2023-06-09 | 山东工程职业技术大学 | 基于动作捕捉的运动监测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6525453B2 (ja) | オブジェクト位置推定システム、及びそのプログラム | |
| CA2748037C (en) | Method and system for gesture recognition | |
| Ye et al. | A depth camera motion analysis framework for tele-rehabilitation: Motion capture and person-centric kinematics analysis | |
| CN110738101A (zh) | 行为识别方法、装置及计算机可读存储介质 | |
| CN109685037B (zh) | 一种实时动作识别方法、装置及电子设备 | |
| EP3379396A1 (en) | Method for acting on augmented reality virtual objects | |
| Ding et al. | STFC: Spatio-temporal feature chain for skeleton-based human action recognition | |
| Schwarz et al. | Manifold learning for tof-based human body tracking and activity recognition. | |
| JP2016099982A (ja) | 行動認識装置、行動学習装置、方法、及びプログラム | |
| CN110910426A (zh) | 动作过程和动作趋势识别方法、存储介质和电子装置 | |
| KR100651034B1 (ko) | 대상 물체 검출 시스템 및 그 방법 | |
| KR102371127B1 (ko) | 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템 | |
| TW202133036A (zh) | 行為預測方法及裝置、步態識別方法及裝置、電子設備和電腦可讀存儲介質 | |
| JP2013065103A (ja) | 追跡装置、追跡方法およびプログラム | |
| JP6362085B2 (ja) | 画像認識システム、画像認識方法およびプログラム | |
| Monir et al. | Rotation and scale invariant posture recognition using Microsoft Kinect skeletal tracking feature | |
| KR20190099537A (ko) | 동작 학습 장치, 기능 판별 장치 및 기능 판별 시스템 | |
| JP2020135747A (ja) | 行動分析装置および行動分析方法 | |
| CN110991292A (zh) | 动作识别比对方法、***、计算机存储介质和电子装置 | |
| Das | Human gait classification using combined HMM & SVM hybrid classifier | |
| JPH09179988A (ja) | 手振り認識装置 | |
| JP2021081804A (ja) | 状態認識装置、状態認識方法及び状態認識プログラム | |
| KR101447958B1 (ko) | 신체 부분 검출 방법 및 장치 | |
| Siam et al. | Human computer interaction using marker based hand gesture recognition | |
| CN115223240A (zh) | 基于动态时间规整算法的运动实时计数方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200324 |