CN113065505A - 身体动作快速识别方法及*** - Google Patents

身体动作快速识别方法及*** Download PDF

Info

Publication number
CN113065505A
CN113065505A CN202110408054.1A CN202110408054A CN113065505A CN 113065505 A CN113065505 A CN 113065505A CN 202110408054 A CN202110408054 A CN 202110408054A CN 113065505 A CN113065505 A CN 113065505A
Authority
CN
China
Prior art keywords
action
joint
motion
human body
discrimination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110408054.1A
Other languages
English (en)
Other versions
CN113065505B (zh
Inventor
刘曦泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China National Institute of Standardization
Original Assignee
China National Institute of Standardization
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China National Institute of Standardization filed Critical China National Institute of Standardization
Priority to CN202110408054.1A priority Critical patent/CN113065505B/zh
Publication of CN113065505A publication Critical patent/CN113065505A/zh
Application granted granted Critical
Publication of CN113065505B publication Critical patent/CN113065505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种身体动作快速识别方法及***,属于身体动作识别领域。所述方法包括:选择人体关节点中的身体动作判别关节点,建立人体关节精简模型;将人体关节精简模型中的关节夹角参数和关节垂直高度参数作为动作判别参数;以人体关节精简模型中的一身体动作判别关节点作为坐标原点,建立用于获取动作判别参数的人体中心投影坐标系;根据身体动作对应的动作判别参数的变化特征,建立动作识别模型;连续采集动作图像帧,根据动作图像帧从人体中心投影坐标系中获取动作判别参数,根据获取的动作判别参数使用动作识别模型实现具体动作识别。本发明提供的身体动作快速识别方法及***在保证识别率的基础上有效简化了识别过程,提升了识别速度。

Description

身体动作快速识别方法及***
技术领域
本发明涉及身体动作识别领域,具体地涉及一种身体动作快速识别方法及一种身体动作快速识别***。
背景技术
随着科技的进步,基于计算机视觉的动作识别成为人类行为数据的重要来源之一,也为基于人因的设计决策提供了依据。
基于关节点数据的人体动作识别方法主要有两类,首先是通过概率统计对识别结果进行动态分类,主要包括基于动态贝叶斯网络、隐马尔可夫模型以及支持向量机三种方法;其次是通过建立分类特征数据库进行模板匹配的方法,该方法的典型代表是动态时间规整算法,实时将采集到的动作数据与标准模板进行特征匹配,实现迅速识别的目的。近年,深度学习方法也被引入动作识别领域,能够提供较好的识别结果。但是上述研究均将识别的准确度作为主要目标,需要较大的数据集与计算量,识别时间较长,而且并未考虑不同应用场景对识别目标的需求。
动作识别的应用场景非常丰富,包括事件监控、人机交互、医疗康复、机器设备仿真模拟等。不同应用场景对动作识别的效率、精度、成本要求不同。在大部分场景中,如体育锻炼、医疗康复时的人机交互过程中,仅需要识别出走、蹲、跑、跳等主要身体动作而非肢端的细节动作,但对识别的响应时间要求较高,以提高人机交互的效率。因此,在这类场景中,对手足的关节点以及对人体整***移进行识别的需求较低。在以往的研究中很少综合讨论关节点精简以及整***移对识别结果的影响,对提升识别速度的研究也相对较少。
发明内容
为解决上述问题,本发明提供一种身体动作快速识别方法及一种身体动作快速识别***。
为了实现上述目的,本发明第一方面提供一种身体动作快速识别方法,所述方法包括:
选择人体关节点中的身体动作判别关节点,建立人体关节精简模型,所述身体动作判别关节点至少包括人体头、脊肩交点、髋关节中心点、左肘、右肘、左膝、右膝、左手、右手、左脚和右脚;
将人体关节精简模型中的关节夹角参数和关节垂直高度参数作为动作判别参数;
以人体中心作为坐标原点O,建立用于获取动作判别参数的人体中心投影坐标系(X,Y,Z),所述人体中心对应人体关节精简模型中的一身体动作判别关节点;
根据身体动作对应的动作判别参数的变化特征,建立动作识别模型;
连续采集动作图像帧,根据动作图像帧从人体中心投影坐标系中获取动作判别参数,根据获取的动作判别参数使用动作识别模型实现具体动作识别。
可选的,所述根据身体动作对应的动作判别参数的变化特征,建立动作识别模型,包括:
连续采集动作图像帧,并根据动作图像帧从人体中心投影坐标系中获取多个动作周期内的动作判别参数,并获取的多个动作周期内的动作判别参数中提取动作判别特征值;
进行动作分类,对每一类动作采集预设数量的动作判别特征值作为动作样本;
通过动作样本建立动作识别模型;
其中,所述动作识别模型包括动作判别函数和动作识别规则库;
所述动作判别函数用于根据动作判别特征值计算动作判别指标值;
所述动作识别规则库由动作判别函数对采集的每一类动作的动作样本进行分类计算,得到每一类动作的动作判别指标值集合,并根据每一类动作对应的动作判别指标值集合之间的差异和覆盖范围建立。
可选的,所述动作判别特征值包括夹角特征值和关节垂直高度特征值;
所述夹角特征值为多个动作周期内的动作判别参数中的夹角参数在多个动作周期内的平均值;
所述关节垂直高度特征值为多个动作周期内的动作判别参数中的关节垂直高度参数在多个动作周期内的平均值。
可选的,根据每一类动作对应的动作判别指标值集合之间的差异和覆盖范围建立动作识别规则库,包括:
对动作判别指标值集合存在交集的两类动作,在交集范围内无法区分所述两类动作时,根据所述两类动作的区别特征,定义每一类动作对应的特殊关节点;
所述特殊关节点用于在无法根据动作识别规则库进行动作识别时,从人体中心坐标系中获取动作对应的特殊关节点的坐标,结合该特殊关节点的坐标进行动作二次识别。
可选的,所述根据动作图像帧从人体中心投影坐标系中获取动作判别参数,根据获取的动作判别参数使用动作识别模型实现具体动作识别,包括:
根据动作图像帧从人体中心投影坐标系中获取多个动作周期内的动作判别参数,并从获取的多个动作判别参数中提取动作判别特征值输入动作识别模型;
动作识别模型中的动作判别函数根据输入的动作判别特征值计算动作判别指标值,根据计算出的动作判别指标值由动作识别规则库识别出具体动作。
可选的,所述动作判别函数包括大类动作综合判别函数和具体动作综合判别函数;
大类动作综合判别函数用于根据夹角特征值无量纲化处理后的数值和关节垂直高度特征值无量纲化处理后的数值计算出大类动作综合判别指标值;
具体动作综合判别函数用于根据夹角特征值无量纲化处理后的数值计算出具体动作综合判别指标值。
可选的,所述将人体关节精简模型中的关节夹角参数和关节垂直高度参数作为动作判别参数,包括:
将人体关节精简模型中连接同一关节的两躯体的夹角参数作为关节夹角参数,所述关节夹角参数包括左臂与身体躯干的夹角φ1、右臂与躯干夹角φ2、左右腿夹角φ3、右肘关节夹角φ4、左肘关节夹角φ5、右膝关节夹角φ6和左膝关节夹角φ7,所述夹角参数用于识别具体动作;
所述关节垂直高度参数,包括髋关节中心距离脚部的高度和头距离脚部的高度,所述关节垂直高度参数用于识别大类动作,所述大类动作包括垂直运动和水平运动。
可选的,所述以人体中心作为坐标原点O,建立用于获取动作判别参数的人体中心投影坐标系(X,Y,Z),所述人体中心对应人体关节精简模型的一身体动作判别关节点,包括:
将身体动作判别关节点中的人体髋关节中心点作为人体中心投影坐标系的坐标原点O,垂直水平面向上为Y轴的正向,视频采集设备指向髋关节中心的方向为Z轴正向,垂直于YOZ平面的方向为X轴方向。
可选的,设置视频采集设备指向髋关节中心的方向,使人体中心投影坐标系中XOY平面显示人体的侧面投影,从XOY平面获取动作判别参数。
本发明第二方面提供一种身体动作快速识别***,所述***包括:存储器和处理器,所述存储器中存储有计算机程序指令,所述处理器执行存储器中的计算机程序指令实现上述身体动作快速识别方法。
通过上述技术方案,建立人体关节精简模型、人体中心投影坐标系和动作识别模型,在进行身体动作识别时,只需获取动作判别参数,输入动作识别模型即可实现身体动作的快速识别。在保证识别率的基础上有效简化了识别过程,提升了识别速度。
本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施方式的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明实施方式,但并不构成对本发明实施方式的限制。在附图中:
图1是本发明一种实施方式提供的一种身体动作快速识别方法的人体关节精简模型示意图;
图2是本发明一种实施方式提供的一种身体动作快速识别方法的中心投影坐标系示意图;
图3是本发明一种实施方式提供的一种基于人体关节精简模型的动作判别参数示意图;
图4是本发明一种实施方式提供的奔跑动作中夹角参数φ1和夹角参数φ4的变化示意图;
图5是本发明一种实施方式提供的一种身体动作快速识别方法的一个动作周期的图像帧;
图6是本发明一种实施方式提供的一种身体动作快速识别方法流程图。
附图标记说明
101-头;102-脊肩交点;103-髋关节中心;104-左肘;
105-右肘;106-左膝;107-右膝;108-左手;
109-右手;110-左脚;111-右脚。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
实施例一
本发明一种实施方式提供一种身体动作快速识别方法,所述方法包括:
选择人体关节点中的身体动作判别关节点,建立人体关节精简模型,所述身体动作判别关节点至少包括人体头、脊肩交点、髋关节中心点、左肘、右肘、左膝、右膝、左手、右手、左脚和右脚;
将人体关节精简模型中的关节夹角参数和关节垂直高度参数作为动作判别参数;
以人体中心作为坐标原点O,建立用于获取动作判别参数的人体中心投影坐标系(X,Y,Z),所述人体中心对应人体关节精简模型中的一身体动作判别关节点;
根据身体动作对应的动作判别参数的变化特征,建立动作识别模型;
连续采集动作图像帧,根据动作图像帧从人体中心投影坐标系中获取动作判别参数,根据获取的动作判别参数使用动作识别模型实现具体动作识别。
由于关节点的数量决定了动作识别计算的复杂程度,关节点越多会导致计算周期越长,从而无法及时给出动作判定结果。本发明一种实施方式提供的一种身体动作快速识别方法,通过选择人体关节点中的最能代表身体动作的关节点作为身体动作判别关节点建立一种人体关节精简模型,在保证动作识别的基础上有效减少了关节点的数量,提高了动作识别的速率。
并且本发明一种实施方式提供的一种身体动作快速识别方法,以人体在人体关节精简模型中的一身体动作判别关节点为坐标原点建立人体中心投影坐标系。人体动作时将人体按人体关节精简模型在人体中心投影坐标系中进行投影,根据人体在人体中心投影坐标系中的投影能快速有效的获取身体动作的动作判别参数,并且不受人***移变化的影响。
通过建立人体关节精简模型、人体中心投影坐标系和动作识别模型,本发明一种实施方式提供的一种身体动作快速识别方法在进行身体动作识别时,只需获取动作判别参数,输入动作识别模型即可实现身体动作的快速识别。在保证识别率的基础上有效简化了识别过程,提升了识别速度。
图1是本发明一种实施方式提供的一种身体动作快速识别方法的人体关节精简模型示意图。
如图1所示,图1中的图(A)是现有技术中使用Kinect V2生成的关节点模型,所述模型包括髋关节中心、脊柱中心、脖子、头、左肩、左肘、左腕、左手、右肩、右肘、右腕、右手、左髋、左膝、左踝、左脚、右髋、右膝、右踝、右脚、脊肩交点、左手指尖、左拇指、右手指尖和右拇指,共25个关节点。
基于GB/T10000-1988《中国成年人人体尺寸》以及人因工程学的部分研究对Kinect V2生成的关节点模型中的25个关键点进行层次分类,如表1。
第一层,为身体躯干关节点,即人体的躯干相关关节点,是某些动作所需的特征信息的部分来源。
第二层,为四肢关节点,人体的大多数动作都主要依靠人体的四肢来表达,它们包含了大量的人体运动或姿态的特征信息。
第三层,手、脚关节点。手和脚的关节点是对局部动作(如手势识别、脚部运动等)进行精细动作捕捉的信息来源。
对体育锻炼、医疗康复等场景中的各类身体主要动作(如行走、奔跑、蹲下起立和跳跃等)进行了大量实验研究。研究表明第一层关节点中头、脖子、脊肩交点、左肩、右肩、脊柱中心、髋关节中心、左髋、右髋在运动中相对位置基本固定不变,不影响身体动作的判定;第二层关节点中,省略左腕、右腕、左踝、右踝不影响动作分类;第三层关节点中,手脚的细节对身体整体动作识别无影响。
基于上述分析,本发明的一种实施方式对现有人体关节模型中部分相邻且对身体动作识别影响不大的关节点进行合并,对手脚的细节关节点进行精简,得到如表1中所示的精简后的关节点,根据精简后的关节点得到人体关节精简模型。如图1中的图(B)所示,所述人体关节精简模型包括头101、脊肩交点102、髋关节中心103、左肘104、右肘105、左膝106、右膝107、左手108、右手109、左脚110和右脚111。所述人体关节精简模型包括11个身体动作判别关节点。
Figure BDA0003023078000000081
表1
具体的,如表1所示,根据精简后的关节点的层次划分,可优先对层次级别高的关节点进行动作的定义与识别,如首先根据层次级别高的头和髋关节中心的垂直高度的变化确定是垂直运动或水平运动。
具体的,身体在动作时随着身体的关节点的位置变化会使身体的肢体间形成的不同夹角,将所述夹角定义为关节夹角参数,并将人体关节精简模型中的关节夹角参数和关节垂直高度参数作为动作判别参数。
图2是本发明一种实施方式提供的一种身体动作快速识别方法的中心投影坐标系示意图。如图2所示,现有的人体动作识别一般都建立在图像坐标系的基础上,根据图像坐标系获取的数据反映了人体各部分的相对运动以及整体的位移,在身体动作识别过程中,整***移仅对移动方向的识别有帮助,在动作识别方面属于无效参数。本发明一种实施方式提供一种以人体关节精简模型中的一关节点作为坐标原点建立的人体中心投影坐标系,根据人体动作时在该人体中心投影坐标系中的投影,能体现出身体关节夹角参数和关节垂直高度参数的变化,能够剥离身***移对动作识别的干扰,使识别过程专注于身体动作,进一步提升动作识别的准确度与速度。
进一步的,如图2所示,本发明一种实施方式提供一种以髋关节中心为坐标原点O建立的人体中心投影坐标系,所述人体中心投影坐标系以垂直水平面向上的方向为Y轴的正向,以视频采集设备指向髋关节中心的方向为Z轴正向,以垂直于YOZ平面的方向为X轴方向。根据人体在所述人体中心投影坐标系XOY平面的投影,获取动作判别参数中的关节夹角参数和关节垂直高度参数。
进一步的,设置视频采集设备指向髋关节中心的方向,使人体中心投影坐标系中XOY平面显示人体的侧面投影,再从XOY平面获取动作判别参数。
图3是本发明一种实施方式提供的一种基于人体关节精简模型的动作判别参数示意图。
如图3所示,将人体关节精简模型中连接同一关节的两躯体的夹角参数作为关节夹角参数,所述关节夹角参数包括左臂与身体躯干的夹角φ1、右臂与躯干夹角φ2、左右腿夹角φ3、右肘关节夹角φ4、左肘关节夹角φ5、右膝关节夹角φ6和左膝关节夹角φ7,所述夹角参数可用于识别具体动作。
如图3所示,所述关节垂直高度参数,包括髋关节中心距离脚部的高度h和头距离脚部的高度H,所述关节垂直高度参数可用于识别大类动作,所述大类动作包括垂直运动和水平运动。
具体的,获取人体在人体中心投影坐标系中头的Y轴坐标值y、髋关节中心的Y轴坐标值y中心和左右脚的Y轴坐标的平均值y脚均值。髋关节中心距离脚部的高度h=|y中心-y脚均值|,头距离脚部的高度H=|y-y脚均值|。
进一步的,根据身体动作对应的动作判别参数的变化特征,建立动作识别模型,包括:
连续采集动作图像帧,并根据动作图像帧从人体中心投影坐标系中获取多个动作周期内的动作判别参数,并从获取的多个动作周期内的动作判别参数中提取动作判别特征值;
进行动作分类,对每一类动作采集预设数量的动作判别特征值作为动作样本;
通过动作样本建立动作识别模型;
其中,所述动作识别模型包括动作判别函数和动作识别规则库;
所述动作判别函数用于根据动作判别特征值计算动作判别指标值;
所述动作识别规则库由动作判别函数对采集的每一类动作的动作样本进行分类计算,得到每一类动作的动作判别指标值集合,并根据每一类动作对应的动作判别指标值集合之间的差异和覆盖范围建立。
进一步的,所述动作判别特征值为最能代表该动作特征的值,包括夹角特征值和关节垂直高度特征值;
所述夹角特征值为多个动作周期内的动作判别参数中的夹角参数在多个动作周期内的平均值;
所述关节垂直高度特征值为多个动作周期内的动作判别参数中的关节垂直高度参数在多个动作周期内的平均值。
具体的,关于所述夹角特征值中每一运动周期的夹角参数的选取规则为:在动作前,如果一运动周期内夹角参数处于一个较大的值,在该动作周期内夹角的变化为从大变小,再从小变大,则选取该动作周期内该夹角参数的最小值;反之,在动作前,如果一运动周期内夹角参数处于一个较小的值,在该动作周期内夹角的变化为从小变大,再从大变小,则选取该动作周期内夹角参数的最大值。
同理,关于关节垂直高度特征值中每一运动周期的关节垂直高度参数的选取规则为:在动作前,如果一运动周期内关节垂直高度参数处于一个较大的值,在该动作周期内关节垂直高度的变化为从大变小,再从小变大,则选取该动作周期内垂直高度参数的最小值;反之,在动作前,如果一运动周期内关节垂直高度参数处于一个较小的值,在该动作周期内关节垂直高度的变化为从小变大,再从大变小,则选取该动作周期内垂直高度参数的最大值。
图4是本发明一种实施方式提供的奔跑动作中夹角参数φ1和夹角参数φ4的变化示意图。采集奔跑过程中的图像帧,通过图像帧中人体在人体中心投影坐标系中的投影获取夹角参数,如图4所示,奔跑过程中左臂与身体躯干的夹角参数φ1和右肘关节的夹角参数φ4的角度随运动周期循环变化。如图4中图(A)所示,在一个奔跑动作周期中夹角参数φ1是由小变大再变小的数据,根据上述夹角参数特征值的选取规则,选取每个奔跑动作周期中的最大值作为夹角参数φ1的特征值。同理,如图4中图(B)所示,在一个奔跑动作周期中夹角参数φ4是由大变小再变大的数据,根据上述夹角参数特征值的选取规则,选取每个奔跑动作周期中的最小值作为夹角参数φ4的特征值。如图4所示,图中每一虚线对应的点即为一动作周期内夹角参数特征值对应的点。
具体的,关于动作图像帧的采集,可以运用Total_Video_Converter-影音转换V3.11软件,将视频采集设备拍摄好的视频转化成jpg格式的静态图片帧。并以每个动作一个动作周期的时间(一个循环时间)为标准,进行视频分段,将每段视频包含的一个完整循环动作以每帧若干秒为间隔进行分帧处理。
图5是本发明一种实施方式提供的一种身体动作快速识别方法的一个动作周期的图像帧。如图5所示,例举了行走、跳跃、蹲下起立和奔跑的一个动作周期的图像帧,根据多个图像帧在人体中心投影坐标系中的投影,即可获得多个动作周期的动作判别特征值。
进一步的,进行动作分类,对每一类动作采集预设数量的动作判别特征值作为动作样本,包括:
对动作进行分类,根据运动方向进行大类划分(如垂直动作和水平动作),再对大类运动进行小类划分(如垂直动作包括跳跃动作和蹲下起立动作,水平动作包括奔跑动作和行走动作);
根据样本实验实际需求,选择多人作为动作样本采集对象,对每一类动作采集预设数量的动作判别特征值作为动作样本;
优选的,选取采集对象的人越多,每一类动作的预设数量设置越大,则动作样本越具有代表性和多样性,根据动作样本建立的动作识别模型就越准确。
优选的,为保证动作样本的质量,设置视频采集设备的位置,使视频采集设备始终采用人的侧面进行拍摄,如行走或奔跑时的运动方向与摄像机镜头的方向成90度视角,跳跃等动作时人的正面朝向与摄像机镜头成90度视角。
优选的,为保证动作样本的质量,对与速度有关的动作进行速度划分(如,慢、正常或快等),采集每种速度下该动作的动作样本,并汇总每种速度下采集的该动作的样本作为最终该动作的动作样本。如下表2所示,每一类动作的样本采集预设数量设置为100,每类动作采集100个动作判别特征值作为每类动作的动作样本,由于行走和奔跑与速度有关,所以对行走和奔跑两类动作进行速度划分,并在每种速度下采集该动作的动作样本。
Figure BDA0003023078000000131
表2
进一步的,所述动作判别函数包括大类动作综合判别函数和具体动作综合判别函数;
大类动作综合判别函数用于根据夹角特征值无量纲化处理后的数值和关节垂直高度特征值无量纲化处理后的数值计算出大类动作综合判别指标值;
具体动作综合判别函数用于根据夹角特征值无量纲化处理后的数值计算出具体动作综合判别指标值。
本发明一种实施方式提供一种对夹角特征值和关节垂直高度特征值进行无量纲化处理的方法。
具体的,本发明一种实施方式提供一种关节垂直高度特征值的无量纲化处理为使用髋关节中心距离脚部的高度h与头距离脚部的高度H的比值作为中心参数η,如式(1)。
Figure BDA0003023078000000132
定义每一夹角参数在不同类型动作下的取值上限和下限,如下表3所示。
角度 下限/°(所处状态) 上限/°(所处状态) 范围/°
φ<sub>1</sub> 0(站立) 180(跳跃) 0~180
φ<sub>2</sub> 0(站立) 180(跳跃) 0~180
φ<sub>3</sub> 0(站立) 60(奔跑) 0~60
φ<sub>4</sub> 35(奔跑/跳跃) 180(站立) 40~180
φ<sub>5</sub> 35(奔跑/跳跃) 180(站立) 40~180
φ<sub>6</sub> 30(跳跃/蹲下) 180(站立) 30~180
φ<sub>7</sub> 30(跳跃/蹲下) 180(站立) 30~180
表3
根据采集的每一类动作的动作样本,计算每一类动作中每一夹角的夹角特征值的平均值,作为该夹角在该类动作下的夹角参照值。根据每一类动作的动作样本中的关节垂直高度特征值,根据式(1)计算得到每一类动作的中心参数的平均值作为该类动作的中心参照值。如表4所示,列举了行走、奔跑、蹲下起立和跳跃四类动作中每一夹角的夹角参照值和中心参照值。
Figure BDA0003023078000000141
表4
利用表3给出的每一夹角的夹角参数范围,可分别对大类运动夹角和具体运动夹角进行无量纲化处理,如式(2)和(3)。
Figure BDA0003023078000000151
Figure BDA0003023078000000152
其中,φi表示实测的对应夹角的夹角特征值,φ是该夹角的参照值(如表4),φn表示人体自然站立时各关节夹角,φmax和φmin表示人体运动时各关节夹角的理论极限值(如表3)。
进一步的,当人体静止站立时,中心参数η≈1/2,中心参数η在行走或奔跑时的变化不大,在跳跃或蹲下起立时变化显著,因此建立两类判别函数:大类动作综合判别函数,如下式(4);和具体动作综合判别函数,如下式(5)。其中,大类动作综合判别函数基于中心参数和夹角参数实现,可将中心参数的两倍作为分母以增强识别显著性如式(4),大类动作综合判别函数可用于判别水平或垂直运动大类。具体动作综合判别函数基于夹角参数实现,可用于识别具体动作。
Figure BDA0003023078000000153
Figure BDA0003023078000000154
其中,wj表示参数权重,可采用层次分析法计算得到,εj和μj为无量纲化后的夹角数值,η为实测中心参数,F1为大类动作综合判别指标值、F2为具体动作综合判别指标值。F1用以判别中心参数是否显著变化,确定动作属于水平运动或垂直运动等动作大类,如行走、奔跑之类的水平运动或跳跃、下蹲之类的垂直运动,F2用以判别具体动作。
进一步的,结合上述公式(1)、(2)和(3)对采集的每类动作的动作样本中的夹角特征值和关节垂直高度特征值进行无量纲化处理,再使用上述动作判别函数的公式(4)和(5)对每一类动作无量纲化后的数据进行动作判别指标计算,得到每类动作的大类动作综合判别指标值集合和具体动作综合判别指标值集合。根据采集的动作样本计算出的每类动作的大类动作综合判别指标值集合和具体动作综合判别指标值集合的阈值和范围,建立动作识别规则库。
如计算出奔跑、行走、跳跃和蹲下起立每一动作的大类动作综合判别指标值F1集合和具体动作综合判别指标值F2集合,并根据F1集合和F2集合确定每一类动作对应的F1的范围和F2的范围,从而根据每一类动作对应的F1的范围和F2的范围建立动作识别规则库,如下表5所示。
Figure BDA0003023078000000161
表5
进一步的,根据每一类动作对应的动作判别指标值集合之间的差异和覆盖范围建立动作识别规则库,包括:
对动作判别指标值集合存在交集的两类动作,在交集范围内无法区分所述两类动作时,根据所述两类动作的区别特征,定义每一类动作对应的特殊关节点;
所述特殊关节点用于在无法根据动作识别规则库进行动作识别时,从人体中心坐标系中获取动作对应的特殊关节点的坐标,结合该特殊关节点的坐标进行动作二次识别。
如表5所示跳跃和蹲下起立的具体动作综合判别指标值F2的取值范围存在交集,当实测时计算出的具体动作综合判别指标值F2落入该交集范围时,上述表5所示的规则库无法识别动作是属于哪一类动作。所以可以进一步根据跳跃和蹲下起立两者之间的区别特征,如跳跃时左右手关节点一般会高于头部,在蹲下起立的过程中则不会,因此可以通过进一步判断手腕关节的Y坐标是否高于头的Y坐标,进一步判定是跳跃还是蹲下起立。
图6是本发明一种实施方式提供的一种身体动作快速识别方法流程图。如图6所示,本发明一种实施方式提供的一种身体动作快速识别方法分为3个阶段,包括:
阶段1:建立人体关节点精简模型,定义动作判别参数,建立人体中心投影坐标系,包括:获取动作视频,提取关节点建立人体关节精简模型,并根据人体关节精简模型建立人体中心投影坐标系,定义关节夹角参数和中心参数;
阶段2:设计动作判别函数,通过采集的每一类动作的动作样本得到夹角参照值和中心参照值,将参照值代入动作判别函数,确定动作判别阈值和动作判别指标值的取值范围,根据动作判别阈值和动作判别指标值的范围建立动作分类库和动作识别规则库;
阶段3:实际动作识别,使用实时采集人体关节点坐标,获取关节夹角特征值和关节垂直高度特征值,并计算动作判别指标值,使用动作识别规则库对动作判别指标值进行规则匹配,匹配成功,输出动作识别结果,识别失败则获取动作的特殊关节坐标进行二次判定,得到动作识别结果。
本发明实施方式提供的一种身体动作快速识别方法,通过建立人体关节精简模型和人体中心投影坐标系,定义夹角参数和关节垂直高度参数为动作判别参数,设计动作判别函数,通过对动作进行分类并对每一类动作采集预设数量的动作判别特征值作为该动作的动作样本,根据采集的每类动作的动作样本和动作判别函数建立动作识别规则库。在实际测试中,只需获取动作的动作判别特征值,根据动作判别函数即可计算出动作判别指标值,再根据已建立的动作识别规则库对计算出的动作判别指标值进行规则匹配,即可实现动作识别。
本发明实施方式提供的一种身体动作快速识别方法根据动作样本获取参数的参照值,并根据动作样本建立动作识别规则库后,在实际动作识别过程中只需将采集的动作判别参数经过动作判别函数简单计算后与动作识别规则库进行规则匹配,即可达到快速识别身体动作的目的。本发明不需要大量的数据作为数据库进行一维或者二维的匹配,判别简单,计算量小。
表6为本发明提供的方法与现有技术中的三种动作识别方法的实验对比,从表6可知,本发明提供的动作识别方法在保证动作识别率的基础上有效简化了识别过程,提升了识别速度,识别时间稳定。
Figure BDA0003023078000000181
表6
本发明实施方式还提供一种身体动作快速识别***,所述***包括:存储器和处理器,所述存储器中存储有计算机程序指令,所述处理器执行存储器中的计算机程序指令实现上述身体动作快速识别方法。
本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上结合附图详细描述了本发明的可选实施方式,但是,本发明实施方式并不限于上述实施方式中的具体细节,在本发明实施方式的技术构思范围内,可以对本发明实施方式的技术方案进行多种简单变型,这些简单变型均属于本发明实施方式的保护范围。另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本发明实施方式对各种可能的组合方式不再另行说明。
此外,本发明的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明实施方式的思想,其同样应当视为本发明实施方式所公开的内容。

Claims (10)

1.一种身体动作快速识别方法,其特征在于,所述方法包括:
选择人体关节点中的身体动作判别关节点,建立人体关节精简模型,所述身体动作判别关节点至少包括人体头、脊肩交点、髋关节中心点、左肘、右肘、左膝、右膝、左手、右手、左脚和右脚;
将人体关节精简模型中的关节夹角参数和关节垂直高度参数作为动作判别参数;
以人体中心作为坐标原点O,建立用于获取动作判别参数的人体中心投影坐标系(X,Y,Z),所述人体中心对应人体关节精简模型中的一身体动作判别关节点;
根据身体动作对应的动作判别参数的变化特征,建立动作识别模型;
连续采集动作图像帧,根据动作图像帧从人体中心投影坐标系中获取动作判别参数,根据获取的动作判别参数使用动作识别模型实现具体动作识别。
2.根据权利要求1所述的身体动作快速识别方法,其特征在于,所述根据身体动作对应的动作判别参数的变化特征,建立动作识别模型,包括:
连续采集动作图像帧,并根据动作图像帧从人体中心投影坐标系中获取多个动作周期内的动作判别参数,并从获取的多个动作周期内的动作判别参数中提取动作判别特征值;
进行动作分类,对每一类动作采集预设数量的动作判别特征值作为动作样本;
通过动作样本建立动作识别模型;
其中,所述动作识别模型包括动作判别函数和动作识别规则库;
所述动作判别函数用于根据动作判别特征值计算动作判别指标值;
所述动作识别规则库由动作判别函数对采集的每一类动作的动作样本进行分类计算,得到每一类动作的动作判别指标值集合,并根据每一类动作对应的动作判别指标值集合之间的差异和覆盖范围建立。
3.根据权利要求2所述的身体动作快速识别方法,其特征在于,所述动作判别特征值包括夹角特征值和关节垂直高度特征值;
所述夹角特征值为多个动作周期内的动作判别参数中的夹角参数在多个动作周期内的平均值;
所述关节垂直高度特征值为多个动作周期内的动作判别参数中的关节垂直高度参数在多个动作周期内的平均值。
4.根据权利要求3所述的身体动作快速识别方法,其特征在于,根据每一类动作对应的动作判别指标值集合之间的差异和覆盖范围建立动作识别规则库,包括:
对动作判别指标值集合存在交集的两类动作,在交集范围内无法区分所述两类动作时,根据所述两类动作的区别特征,定义每一类动作对应的特殊关节点;
所述特殊关节点用于在无法根据动作识别规则库进行动作识别时,从人体中心坐标系中获取动作对应的特殊关节点的坐标,结合该特殊关节点的坐标进行动作二次识别。
5.根据权利要求4所述的身体动作快速识别方法,其特征在于,所述根据动作图像帧从人体中心投影坐标系中获取动作判别参数,根据获取的动作判别参数使用动作识别模型实现具体动作识别,包括:
根据动作图像帧从人体中心投影坐标系中获取多个动作周期内的动作判别参数,并从获取的多个动作判别参数中提取动作判别特征值输入动作识别模型;
动作识别模型中的动作判别函数根据输入的动作判别特征值计算动作判别指标值,根据计算出的动作判别指标值由动作识别规则库识别出具体动作。
6.根据权利要求5所述的身体动作快速识别方法,其特征在于,所述动作判别函数包括大类动作综合判别函数和具体动作综合判别函数;
大类动作综合判别函数用于根据夹角特征值无量纲化处理后的数值和关节垂直高度特征值无量纲化处理后的数值计算出大类动作综合判别指标值;
具体动作综合判别函数用于根据夹角特征值无量纲化处理后的数值计算出具体动作综合判别指标值。
7.根据权利要求1-6中任一项权利要求所述的身体动作快速识别方法,其特征在于,所述将人体关节精简模型中的关节夹角参数和关节垂直高度参数作为动作判别参数,包括:
将人体关节精简模型中连接同一关节的两躯体的夹角参数作为关节夹角参数,所述关节夹角参数包括左臂与身体躯干的夹角φ1、右臂与躯干夹角φ2、左右腿夹角φ3、右肘关节夹角φ4、左肘关节夹角φ5、右膝关节夹角φ6和左膝关节夹角φ7,所述夹角参数用于识别具体动作;
所述关节垂直高度参数,包括髋关节中心距离脚部的高度和头距离脚部的高度,所述关节垂直高度参数用于识别大类动作,所述大类动作包括垂直运动和水平运动。
8.根据权利要求7所述的身体动作快速识别方法,其特征在于,所述以人体中心作为坐标原点O,建立用于获取动作判别参数的人体中心投影坐标系(X,Y,Z),所述人体中心对应人体关节精简模型的一身体动作判别关节点,包括:
将身体动作判别关节点中的人体髋关节中心点作为人体中心投影坐标系的坐标原点O,垂直水平面向上为Y轴的正向,视频采集设备指向髋关节中心的方向为Z轴正向,垂直于YOZ平面的方向为X轴方向。
9.根据权利要求8所述的身体动作快速识别方法,其特征在于,设置视频采集设备指向髋关节中心的方向,使人体中心投影坐标系中XOY平面显示人体的侧面投影,从XOY平面获取动作判别参数。
10.一种身体动作快速识别***,其特征在于,所述***包括:存储器和处理器,所述存储器中存储有计算机程序指令,所述处理器执行存储器中的计算机程序指令实现权利要求1-9中任一项权利要求所述的身体动作快速识别方法。
CN202110408054.1A 2021-04-15 2021-04-15 身体动作快速识别方法及*** Active CN113065505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110408054.1A CN113065505B (zh) 2021-04-15 2021-04-15 身体动作快速识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110408054.1A CN113065505B (zh) 2021-04-15 2021-04-15 身体动作快速识别方法及***

Publications (2)

Publication Number Publication Date
CN113065505A true CN113065505A (zh) 2021-07-02
CN113065505B CN113065505B (zh) 2023-05-09

Family

ID=76566834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110408054.1A Active CN113065505B (zh) 2021-04-15 2021-04-15 身体动作快速识别方法及***

Country Status (1)

Country Link
CN (1) CN113065505B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627365A (zh) * 2021-08-16 2021-11-09 南通大学 一种群体运动识别与时序分析方法
CN115223240A (zh) * 2022-07-05 2022-10-21 北京甲板智慧科技有限公司 基于动态时间规整算法的运动实时计数方法和***
CN115861381A (zh) * 2023-02-28 2023-03-28 中国民用航空飞行学院 球体协同运动中鱼跃救球动作标准性的检测方法及***
CN115966016A (zh) * 2022-12-19 2023-04-14 天翼爱音乐文化科技有限公司 一种跳跃状态识别方法、***、电子设备及存储介质
CN115966016B (zh) * 2022-12-19 2024-07-05 天翼爱音乐文化科技有限公司 一种跳跃状态识别方法、***、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012065723A (ja) * 2010-09-21 2012-04-05 Dainippon Printing Co Ltd 歩行状態表示システム等
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助***和方法
JP2015077643A (ja) * 2013-10-16 2015-04-23 国立大学法人信州大学 鉛直多関節油圧マニピュレータのパラメータ同定法、同定装置および同定用プログラム
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN107301370A (zh) * 2017-05-08 2017-10-27 上海大学 一种基于Kinect三维骨架模型的肢体动作识别方法
CN107930048A (zh) * 2017-03-20 2018-04-20 深圳市太空科技南方研究院 一种太空体感识别运动分析***及运动分析方法
CN109086706A (zh) * 2018-07-24 2018-12-25 西北工业大学 应用于人机协作中的基于分割人体模型的动作识别方法
CN109308438A (zh) * 2017-07-28 2019-02-05 上海形趣信息科技有限公司 动作识别库的建立方法、电子设备、存储介质
CN109344694A (zh) * 2018-08-13 2019-02-15 西安理工大学 一种基于三维人体骨架的人体基本动作实时识别方法
CN111353346A (zh) * 2018-12-21 2020-06-30 上海形趣信息科技有限公司 动作识别方法、装置、***、电子设备、存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012065723A (ja) * 2010-09-21 2012-04-05 Dainippon Printing Co Ltd 歩行状態表示システム等
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助***和方法
JP2015077643A (ja) * 2013-10-16 2015-04-23 国立大学法人信州大学 鉛直多関節油圧マニピュレータのパラメータ同定法、同定装置および同定用プログラム
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN107930048A (zh) * 2017-03-20 2018-04-20 深圳市太空科技南方研究院 一种太空体感识别运动分析***及运动分析方法
CN107301370A (zh) * 2017-05-08 2017-10-27 上海大学 一种基于Kinect三维骨架模型的肢体动作识别方法
CN109308438A (zh) * 2017-07-28 2019-02-05 上海形趣信息科技有限公司 动作识别库的建立方法、电子设备、存储介质
CN109086706A (zh) * 2018-07-24 2018-12-25 西北工业大学 应用于人机协作中的基于分割人体模型的动作识别方法
CN109344694A (zh) * 2018-08-13 2019-02-15 西安理工大学 一种基于三维人体骨架的人体基本动作实时识别方法
CN111353346A (zh) * 2018-12-21 2020-06-30 上海形趣信息科技有限公司 动作识别方法、装置、***、电子设备、存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627365A (zh) * 2021-08-16 2021-11-09 南通大学 一种群体运动识别与时序分析方法
CN115223240A (zh) * 2022-07-05 2022-10-21 北京甲板智慧科技有限公司 基于动态时间规整算法的运动实时计数方法和***
CN115966016A (zh) * 2022-12-19 2023-04-14 天翼爱音乐文化科技有限公司 一种跳跃状态识别方法、***、电子设备及存储介质
CN115966016B (zh) * 2022-12-19 2024-07-05 天翼爱音乐文化科技有限公司 一种跳跃状态识别方法、***、电子设备及存储介质
CN115861381A (zh) * 2023-02-28 2023-03-28 中国民用航空飞行学院 球体协同运动中鱼跃救球动作标准性的检测方法及***

Also Published As

Publication number Publication date
CN113065505B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN113065505B (zh) 身体动作快速识别方法及***
CN103839040B (zh) 基于深度图像的手势识别方法和装置
Várkonyi-Kóczy et al. Human–computer interaction for smart environment applications using fuzzy hand posture and gesture models
Pazhoumand-Dar et al. Joint movement similarities for robust 3D action recognition using skeletal data
Chaudhari et al. Yog-guru: Real-time yoga pose correction system using deep learning methods
Wen et al. A robust method of detecting hand gestures using depth sensors
CN104932804B (zh) 一种智能虚拟装配动作识别方法
WO2013027091A1 (en) Systems and methods of detecting body movements using globally generated multi-dimensional gesture data
CN109308437B (zh) 动作识别纠错方法、电子设备、存储介质
JP2012518236A (ja) ジェスチャー認識のための方法及びシステム
CN105868779B (zh) 一种基于特征增强和决策融合的行为识别方法
CN109308438A (zh) 动作识别库的建立方法、电子设备、存储介质
McCall et al. Macro-class Selection for Hierarchical k-NN Classification of Inertial Sensor Data.
CN112800892B (zh) 一种基于openpose的人体姿态识别方法
Monir et al. Rotation and scale invariant posture recognition using Microsoft Kinect skeletal tracking feature
Xu et al. Robust hand gesture recognition based on RGB-D Data for natural human–computer interaction
KR20120089948A (ko) Mhi의 형태 정보를 이용한 실시간 동작 인식시스템 및 실시간 동작 인식 방법
Sooai et al. Comparison of recognition accuracy on dynamic hand gesture using feature selection
Sharma et al. Real-time recognition of yoga poses using computer vision for smart health care
CN113975775A (zh) 可穿戴式惯性体感乒乓运动训练***及其工作方法
Elakkiya et al. Intelligent system for human computer interface using hand gesture recognition
Hachaj et al. Human actions recognition on multimedia hardware using angle-based and coordinate-based features and multivariate continuous hidden Markov model classifier
Xu et al. A novel method for hand posture recognition based on depth information descriptor
KR101447958B1 (ko) 신체 부분 검출 방법 및 장치
CN111353347A (zh) 动作识别纠错方法、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant