CN109344692B - 一种运动质量评价方法及*** - Google Patents
一种运动质量评价方法及*** Download PDFInfo
- Publication number
- CN109344692B CN109344692B CN201810909854.XA CN201810909854A CN109344692B CN 109344692 B CN109344692 B CN 109344692B CN 201810909854 A CN201810909854 A CN 201810909854A CN 109344692 B CN109344692 B CN 109344692B
- Authority
- CN
- China
- Prior art keywords
- motion
- quality evaluation
- classification
- joint point
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种运动质量评价方法及***。其中，所述方法包括：从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，并建立对该运动模式进行判别的行为分类，进而根据该建立的对该运动模式进行判别的行为分类，建立基于人体关节点位移关联的姿态特征表示和质量评价模型，进而根据该建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，对摄像头采集到的视频中的人体运动进行质量评分。通过上述方式，能够实现不需要人工对人体运动数据进行标注，能够准确反馈人体运动质量的评价信息。
Description
技术领域
本发明涉及运动质量评价技术领域，尤其涉及一种运动质量评价方法及***。
背景技术
在体育产业方面，运动质量评价技术可以使得运动员在摄像头下进行训练的同时实时获得动作质量的评分，可视化的反馈数据能够帮助运动员改进表现。基于该技术的运动辅助***可以通过添加人体运动生理学约束，检测错误的姿势以防止运动过程造成的损伤，因此在竞技体育训练、体育教学和运动康复等相关领域有着广泛的应用前景。在基于内容的视频检索领域，搜索引擎不仅能够依据相似性度量值返回与查询条件相关的视频，还可以在运动质量评价算法的辅助下对检索出的视频进行排序，提供给用户更准确、更有效的检索体验。
在数十年来计算机视觉蓬勃发展的背景下，基于机器学习的人体行为识别和视频处理技术取得了较大的进展，如何对视频中的人体运动进行有效地评价受到人们越来越多的关注。目前运动质量评价技术主要依靠借鉴已有的行为识别、视频分割和图像/视频质量评估等提出的特征表示方案提取人体运动特征数据，并建立相应的回归模型实现对视频中的人体运动质量进行评价。
现有的运动质量评价方案的主要思路是首先采用局部特征检测算法从视频中提取出显著性特征点或兴趣点代表人体运动，然后运用手工设计的特征描述方式对兴趣点的空间特性、时间特性或时空特性进行描述；最后在特征空间中建立运动质量评分的线性回归模型。
然而现有的运动质量评价方案，将所有运动类别的特征表示和回归预测集成在一个评价函数中进行优化，因此验证过程只针对一到两个类别的运动数据，当增加运动类别时需要特定领域的专家对数据进行标注。此外当不同类别的运动模式存在较大差异时，采用单一一个评价函数进行评价容易受到样本数据分布的影响造成较大的近似误差。而且不同行为类别的相似姿态可能存在混淆，对关节点的位置反馈造成较大的偏差甚至产生不合理的反馈信息。
发明内容
有鉴于此，本发明的目的在于提出一种运动质量评价方法及***，能够实现不需要人工对人体运动数据进行标注，能够准确反馈人体运动质量的评价信息。
根据本发明的一个方面，提供一种运动质量评价方法，包括：
从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，并建立对所述运动模式进行判别的行为分类；
根据所述建立的对所述运动模式进行判别的行为分类，建立基于人体关节点位移关联的姿态特征表示和质量评价模型；
根据所述建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，对摄像头采集到的视频中的人体运动进行质量评分。
其中，在所述从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，并建立对所述运动模式进行判别的行为分类之前，还包括：
采用OpenPose姿态估计方式，从视频中提取出人体关节点运动轨迹。
其中，所述从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，并建立对所述运动模式进行判别的行为分类，包括：
从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，给所述运动模式关联的运动轨迹表示视频长度的帧长，以关节点在每帧图像中的位置为中心，提取出一个预设大小的图像块，因此在所述视频长度的帧长的视频中沿着时间轴方向可以得到一个预设大小乘以所述视频长度的帧长的时空立方体，并对所述时空立方体中每帧图像块在空间域上进行高斯平滑去除噪音点的影响，和采用计算方式计算出所述时空立方体每个超像素点沿时间轴的中心矩特征，将所述时空立方体所有超像素点的中心矩特征串联起来得到所述关节点的局部运动特征向量，并将关节点的中心矩特征向量串联起来得到视频的运动特征描述子，以及采用计算机视觉中的词袋模型特征编码和一对多支持向量机分类，为行为类别集合中的每一种行为类别训练出一个行为分类，建立对所述运动模式进行判别的行为分类。
其中，所述根据所述建立的对所述运动模式进行判别的行为分类，建立基于人体关节点位移关联的姿态特征表示和质量评价模型，包括：
根据所述建立的对所述运动模式进行判别的行为分类，计算人体关节点位移关联的姿态特征表示，并训练基于支持向量机回归方式的质量评价模型估计经过提取的人体姿态特征评分值，建立基于人体关节点位移关联的姿态特征表示和质量评价模型。
其中，所述根据所述建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，对摄像头采集到的视频中的人体运动进行质量评分，包括：
根据所述建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，地所述摄像头采集到的视频进行特征提取和表示，假设得到的用于分类的运动特征为第一分类运动特征、用于质量评价的运动特征为第一质量评价运动特征，将所述第一分类运动特征输入到所述建立的对所述运动模式进行判别的行为分类中，输出所述第一分类运动特征的分类类别标签，选择相应分类类别的质量评价函数进行估计，从所述分类类别中选取得分最高的视频，根据所述关节点位移关联特征向量，通过所述词典映射还原得到所述类别最佳的关节点位移向量，计算当前视频关节点位置与最佳运动轨迹中关节点位置的差异，得到关节点误差位置反馈，对所述摄像头采集到的视频中的人体运动进行质量评分和误差反馈。
根据本发明的另一个方面，提供一种运动质量评价***，包括：
行为分类建立单元、质量评价模型、质量评分单元；
所述建立单元，用于从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，并建立对所述运动模式进行判别的行为分类；
所述质量评价模型，用于根据所述建立的对所述运动模式进行判别的行为分类，建立基于人体关节点位移关联的姿态特征表示和质量评价模型；
所述质量评分单元，用于根据所述建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，对摄像头采集到的视频中的人体运动进行质量评分。
其中，所述运动质量评价***，还包括：
运动轨迹提取单元，用于采用OpenPose姿态估计方式，从视频中提取出人体关节点运动轨迹。
其中，所述建立单元，具体用于：
从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，给所述运动模式关联的运动轨迹表示视频长度的帧长，以关节点在每帧图像中的位置为中心，提取出一个预设大小的图像块，因此在所述视频长度的帧长的视频中沿着时间轴方向可以得到一个预设大小乘以所述视频长度的帧长的时空立方体，并对所述时空立方体中每帧图像块在空间域上进行高斯平滑去除噪音点的影响，和采用计算方式计算出所述时空立方体每个超像素点沿时间轴的中心矩特征，将所述时空立方体所有超像素点的中心矩特征串联起来得到所述关节点的局部运动特征向量，并将关节点的中心矩特征向量串联起来得到视频的运动特征描述子，以及采用计算机视觉中的词袋模型特征编码和一对多支持向量机分类，为行为类别集合中的每一种行为类别训练出一个行为分类，建立对所述运动模式进行判别的行为分类。
其中，所述质量评价模型，具体用于：
根据所述建立的对所述运动模式进行判别的行为分类，计算人体关节点位移关联的姿态特征表示，并训练基于支持向量机回归方式的质量评价模型估计经过提取的人体姿态特征评分值，建立基于人体关节点位移关联的姿态特征表示和质量评价模型。
其中，所述质量评分单元，具体用于：
根据所述建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，地所述摄像头采集到的视频进行特征提取和表示，假设得到的用于分类的运动特征为第一分类运动特征、用于质量评价的运动特征为第一质量评价运动特征，将所述第一分类运动特征输入到所述建立的对所述运动模式进行判别的行为分类中，输出所述第一分类运动特征的分类类别标签，选择相应分类类别的质量评价函数进行估计，从所述分类类别中选取得分最高的视频，根据所述关节点位移关联特征向量，通过所述词典映射还原得到所述类别最佳的关节点位移向量，计算当前视频关节点位置与最佳运动轨迹中关节点位置的差异，得到关节点误差位置反馈，对所述摄像头采集到的视频中的人体运动进行质量评分和误差反馈。
可以发现，以上方案，可以根据该建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，对摄像头采集到的视频中的人体运动进行质量评分，能够实现不需要人工对人体运动数据进行标注，能够准确反馈人体运动质量的评价信息。
进一步的，以上方案，可以计算当前视频关节点位置与最佳运动轨迹中关节点位置的差异，得到关节点误差位置反馈，能够实现在准确反馈人体运动质量的评价信息的同时，反馈人体运动关节点误差位置。
进一步的，以上方案，提出了基于图像中心矩的局部运动特征描述方式，能够实现克服行为分类内存在的尺度、外观和复杂背景造成的差异。
进一步的，以上方案，提出了关节点位移关联特征，能够实现解决单纯依靠关节点位置差异进行质量评价受到视角变化影响造成估计不准确、误差较大的问题。
进一步的，以上方案，可以采用OpenPose姿态估计方式，从视频中提取出人体关节点运动轨迹，能够实现从视频中提取出人体关节点运动轨迹。
附图说明
图1是本发明运动质量评价方法一实施例的流程示意图；
图2是本发明运动质量评价方法另一实施例的流程示意图；
图3是本发明运动质量评价***一实施例的结构示意图；
图4是本发明运动质量评价***另一实施例的结构示意图；
图5是本发明运动质量评价***又一实施例的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供一种运动质量评价方法，能够实现不需要人工对人体运动数据进行标注，能够准确反馈人体运动质量的评价信息。
请参见图1，图1是本发明运动质量评价方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括如下步骤：
S101：从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，并建立对该运动模式进行判别的行为分类。
其中，在该从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，并建立对该运动模式进行判别的行为分类之前，还可以包括：
采用OpenPose姿态估计方式，从视频中提取出人体关节点运动轨迹。
其中，该从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，并建立对该运动模式进行判别的行为分类，可以包括：
从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，给该运动模式关联的运动轨迹表示视频长度的帧长T，以关节点在每帧图像中的位置为中心，提取出一个预设大小如n×n大小的图像块，因此在该视频长度的帧长T帧长度的视频中沿着时间轴方向可以得到一个预设大小乘以该视频长度的帧长即n×n×T大小的时空立方体，并对该时空立方体中每帧图像块在空间域上进行高斯平滑去除噪音点的影响，和采用计算方式计算出该时空立方体每个超像素点沿时间轴的中心矩特征，将该时空立方体所有超像素点的中心矩特征串联起来得到该关节点的局部运动特征向量，并将关节点的中心矩特征向量串联起来得到视频的运动特征描述子，以及采用BOW(Bag Of Words，计算机视觉中的词袋模型)特征编码和一对多支持向量机分类，为行为类别集合中的每一种行为类别训练出一个行为分类，建立对该运动模式进行判别的行为分类。
S102：根据该建立的对该运动模式进行判别的行为分类，建立基于人体关节点位移关联的姿态特征表示和质量评价模型。
其中，该根据该建立的对该运动模式进行判别的行为分类，建立基于人体关节点位移关联的姿态特征表示和质量评价模型，可以包括：
根据该建立的对该运动模式进行判别的行为分类，计算人体关节点位移关联的姿态特征表示，并训练基于SVM(Support Vector Machine，支持向量机)回归方式的质量评价模型估计经过提取的人体姿态特征评分值，建立基于人体关节点位移关联的姿态特征表示和质量评价模型。
其中，该根据该建立的对该运动模式进行判别的行为分类，计算人体关节点位移关联的姿态特征表示，并训练基于支持向量机SVM回归方式的质量评价模型估计经过提取的人体姿态特征评分值，建立基于人体关节点位移关联的姿态特征表示和质量评价模型，可以包括：
采用OpenPose姿态估计方式，输出视频中人体关节点运动轨迹，以人体臀部中心点为参考点，计算其它关节点相对于参考点的位置偏移，按照人体尺度大小进行归一化后得到关节点的位移向量，和采用基于超完备词典的稀疏表示方式对该关节点的位移向量进行编码，首先运用变换方式从对该预设维度的特征向量进行离散余弦变换，提取出预设数量个的低频的变换系数进行表示，并将该经过频域变化后的关节位移向量串联起来，采用算法方式，从关节点位移向量集合中学习出一个超完备词典，利用特征向量在该词典上的稀疏表示系数来描述关节点之间的位移关联，建立基于人体关节点位移关联的姿态特征表示和质量评价模型。
S103：根据该建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，对摄像头采集到的视频中的人体运动进行质量评分。
其中，根据该建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，对摄像头采集到的视频中的人体运动进行质量评分，可以包括：
根据该建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，地该摄像头采集到的视频进行特征提取和表示，假设得到的用于分类的运动特征为第一分类运动特征、用于质量评价的运动特征为第一质量评价运动特征，将该第一分类运动特征输入到该建立的对该运动模式进行判别的行为分类中，输出该第一分类运动特征的分类类别标签，选择相应分类类别的质量评价函数进行估计，从该分类类别中选取得分最高的视频，根据该关节点位移关联特征向量，通过该词典映射还原得到该类别最佳的关节点位移向量，计算当前视频关节点位置与最佳运动轨迹中关节点位置的差异，得到关节点误差位置反馈，对该摄像头采集到的视频中的人体运动进行质量评分和误差反馈。
在本实施例中，通过训练不同行为类别的回归模型，并利用分类器输出的类别标签指导相应的回归器进行质量评价并输出反馈结果。行为分类采用基于图像中心矩的局部运动特征和基于BOW的特征编码表示，并建立姿态分类模型。质量评价则从关节点运动轨迹中提取出位移关系向量对关节点运动特性进行描述，运用超完备词典学习的稀疏表示方法建立不同行为类别的码本表示和稀疏编码，最后训练出对运动质量进行评价的SVM回归模型。利用分类器的输出结果指导回归器的选择，对测试样本的运动质量进行评价。此外通过计算高质量运动模式特征与测试样本的差异为测试样本提供有效的反馈，本方法还可以进一步将运动质量评价问题扩展为一个弱监督学习问题，解决缺乏专家标注的训练数据的采集。
在本实施例中，提出的人体运动质量评价方式包括基于姿态估计的特征提取、行为分类、质量评价和反馈等。
在本实施例中，训练过程可以包括：首先对采集到的带标记视频进行姿态估计，得到人体关节点的运动轨迹；针对行为分类和质量评价两个不同的任务，分别从关节点运动轨迹中提取出局部运动特征进行分类识别、以及关节位移关系向量特征进行质量评价；行为识别通过训练最大化分类间隔的SVM分类器估计样本数据的行为类别标签；质量评价则采用线性回归方法对视频特征向量进行质量评分估计；反馈模型通过建立特定类别的高质量运动特征模板，并计算测试样本与对应类别模板之间的差异反馈需要调整的关节点位置。
在本实施例中，使用训练得到的模型对真实场景下的人体运动数据进行评价，对摄像头采集到的人体运动视频分别进行分类特征和评价特征提取，利用训练好的行为分类器判定视频的行为类别标签，根据该标签指导对应类别的评价函数输出视频的运动质量评分，同时利用反馈函数计算关节点位置差异并对结果进行可视化输出。
在本实施例中，可以采用OpenPose姿态估计方式从视频中提取出人体关节点运动轨迹，该OpenPose姿态估计方式可以采用18个关节点的人体部位模型，例如可按序号依次为0_鼻、1_颈、2_右肩、3_右肘、4_右手、5_左肩、6_左肘、7_左手、8_右臀、9_右膝、10_右脚、11_左臀、12_左膝、13_左脚、14_右眼、15_左眼、16_右耳、17_左耳。针对运动质量评价主要取决于肢体各个关节点在时间上发生的位置变化，例如可以从中选取出1～13号关节点运动轨迹进行分析。
可以发现，在本实施例中，可以根据该建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，对摄像头采集到的视频中的人体运动进行质量评分，能够实现不需要人工对人体运动数据进行标注，能够准确反馈人体运动质量的评价信息。
进一步的，在本实施例中，可以计算当前视频关节点位置与最佳运动轨迹中关节点位置的差异，得到关节点误差位置反馈，能够实现在准确反馈人体运动质量的评价信息的同时，反馈人体运动关节点误差位置。
进一步的，在本实施例中，提出了基于图像中心矩的局部运动特征描述方式，能够实现克服行为分类内存在的尺度、外观和复杂背景造成的差异。
进一步的，在本实施例中，提出了关节点位移关联特征，能够实现解决单纯依靠关节点位置差异进行质量评价受到视角变化影响造成估计不准确、误差较大的问题。
请参见图2，图2是本发明运动质量评价方法另一实施例的流程示意图。本实施例中，该方法包括以下步骤：
S201：采用OpenPose姿态估计方式，从视频中提取出人体关节点运动轨迹。
S202：从该人体关节点运动轨迹中提取出身体各个部位的局部运动模式，并建立对该运动模式进行判别的行为分类。
可如上S101所述，在此不作赘述。
S203：根据该建立的对该运动模式进行判别的行为分类，建立基于人体关节点位移关联的姿态特征表示和质量评价模型。
可如上S102所述，在此不作赘述。
S204：根据该建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，对摄像头采集到的视频中的人体运动进行质量评分。
可如上S103所述，在此不作赘述。
可以发现，在本实施例中，可以采用OpenPose姿态估计方式，从视频中提取出人体关节点运动轨迹，能够实现从视频中提取出人体关节点运动轨迹。
本发明还提供一种运动质量评价***，能够实现不需要人工对人体运动数据进行标注，能够准确反馈人体运动质量的评价信息。
请参见图3，图3是本发明运动质量评价***一实施例的结构示意图。本实施例中，该运动质量评价***包括行为分类建立单元31、质量评价单元32、质量评分单元33。
该建立单元31，用于从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，并建立对该运动模式进行判别的行为分类。
该质量评价单元32，用于根据该建立的对该运动模式进行判别的行为分类，建立基于人体关节点位移关联的姿态特征表示和质量评价模型。
该质量评分单元33，用于根据该建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，对摄像头采集到的视频中的人体运动进行质量评分。
可选地，该建立单元31，可以具体用于：
从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，给该运动模式关联的运动轨迹表示视频长度的帧长T，以关节点在每帧图像中的位置为中心，提取出一个预设大小如n×n大小的图像块，因此在该视频长度的帧长T帧长度的视频中沿着时间轴方向可以得到一个预设大小乘以该视频长度的帧长即n×n×T大小的时空立方体，并对该时空立方体中每帧图像块在空间域上进行高斯平滑去除噪音点的影响，和采用计算方式计算出该时空立方体每个超像素点沿时间轴的中心矩特征，将该时空立方体所有超像素点的中心矩特征串联起来得到该关节点的局部运动特征向量，并将关节点的中心矩特征向量串联起来得到视频的运动特征描述子，以及采用计算机视觉中的词袋模型BOW特征编码和一对多支持向量机分类，为行为类别集合中的每一种行为类别训练出一个行为分类，建立对该运动模式进行判别的行为分类。
可选地，该质量评价单元32，可以具体用于：
根据该建立的对该运动模式进行判别的行为分类，计算人体关节点位移关联的姿态特征表示，并训练基于支持向量机回归方式的质量评价模型估计经过提取的人体姿态特征评分值，建立基于人体关节点位移关联的姿态特征表示和质量评价模型。
可选地，该质量评价单元32，可以具体用于：
采用OpenPose姿态估计方式，输出视频中人体关节点运动轨迹，以人体臀部中心点为参考点，计算其它关节点相对于参考点的位置偏移，按照人体尺度大小进行归一化后得到关节点的位移向量，和采用基于超完备词典的稀疏表示方式对该关节点的位移向量进行编码，首先运用变换方式从对该预设维度的特征向量进行离散余弦变换，提取出预设数量个的低频的变换系数进行表示，并将该经过频域变化后的关节位移向量串联起来，采用算法方式，从关节点位移向量集合中学习出一个超完备词典，利用特征向量在该词典上的稀疏表示系数来描述关节点之间的位移关联，建立基于人体关节点位移关联的姿态特征表示和质量评价模型。
可选地，该质量评分单元33，可以具体用于：
根据该建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，地该摄像头采集到的视频进行特征提取和表示，假设得到的用于分类的运动特征为第一分类运动特征、用于质量评价的运动特征为第一质量评价运动特征，将该第一分类运动特征输入到该建立的对该运动模式进行判别的行为分类中，输出该第一分类运动特征的分类类别标签，选择相应分类类别的质量评价函数进行估计，从该分类类别中选取得分最高的视频，根据该关节点位移关联特征向量，通过该词典映射还原得到该类别最佳的关节点位移向量，计算当前视频关节点位置与最佳运动轨迹中关节点位置的差异，得到关节点误差位置反馈，对该摄像头采集到的视频中的人体运动进行质量评分和误差反馈。
请参见图4，图4是本发明运动质量评价***另一实施例的结构示意图。区别于上一实施例，本实施例所述运动质量评价***40还包括：运动轨迹提取单元41。
该运动轨迹提取单元41，采用OpenPose姿态估计方式，从视频中提取出人体关节点运动轨迹。
该运动质量评价***30/40的各个单元模块可分别执行上述方法实施例中对应步骤，故在此不对各单元模块进行赘述，详细请参见以上对应步骤的说明。
请参见图5，图5是本发明运动质量评价***又一实施例的结构示意图。该运动质量评价***的各个单元模块可以分别执行上述方法实施例中对应步骤。相关内容请参见上述方法中的详细说明，在此不再赘叙。
本实施例中，该运动质量评价***包括：处理器51、与处理器51耦合的存储器52、模型器53及评分器54。
该处理器51，用于采用OpenPose姿态估计方式，从视频中提取出人体关节点运动轨迹。
该处理器51，还用于从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，并建立对该运动模式进行判别的行为分类。
该存储器52，用于存储操作***、处理器51执行的指令等。
该模型器53，用于根据该建立的对该运动模式进行判别的行为分类，建立基于人体关节点位移关联的姿态特征表示和质量评价模型。
该评分器54，用于根据该建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，对摄像头采集到的视频中的人体运动进行质量评分。
可选地，该处理器51，可以具体用于：
从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，给该运动模式关联的运动轨迹表示视频长度的帧长T，以关节点在每帧图像中的位置为中心，提取出一个预设大小如n×n大小的图像块，因此在该视频长度的帧长T帧长度的视频中沿着时间轴方向可以得到一个预设大小乘以该视频长度的帧长即n×n×T大小的时空立方体，并对该时空立方体中每帧图像块在空间域上进行高斯平滑去除噪音点的影响，和采用计算方式计算出该时空立方体每个超像素点沿时间轴的中心矩特征，将该时空立方体所有超像素点的中心矩特征串联起来得到该关节点的局部运动特征向量，并将关节点的中心矩特征向量串联起来得到视频的运动特征描述子，以及采用计算机视觉中的词袋模型BOW特征编码和一对多支持向量机分类，为行为类别集合中的每一种行为类别训练出一个行为分类，建立对该运动模式进行判别的行为分类。
可选地，该质量评价单元32，可以具体用于：
根据该建立的对该运动模式进行判别的行为分类，计算人体关节点位移关联的姿态特征表示，并训练基于支持向量机回归方式的质量评价模型估计经过提取的人体姿态特征评分值，建立基于人体关节点位移关联的姿态特征表示和质量评价模型。
可选地，该模型器53，可以具体用于：
采用OpenPose姿态估计方式，输出视频中人体关节点运动轨迹，以人体臀部中心点为参考点，计算其它关节点相对于参考点的位置偏移，按照人体尺度大小进行归一化后得到关节点的位移向量，和采用基于超完备词典的稀疏表示方式对该关节点的位移向量进行编码，首先运用变换方式从对该预设维度的特征向量进行离散余弦变换，提取出预设数量个的低频的变换系数进行表示，并将该经过频域变化后的关节位移向量串联起来，采用算法方式，从关节点位移向量集合中学习出一个超完备词典，利用特征向量在该词典上的稀疏表示系数来描述关节点之间的位移关联，建立基于人体关节点位移关联的姿态特征表示和质量评价模型。
可选地，该评分器54，可以具体用于：
根据该建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，地该摄像头采集到的视频进行特征提取和表示，假设得到的用于分类的运动特征为第一分类运动特征、用于质量评价的运动特征为第一质量评价运动特征，将该第一分类运动特征输入到该建立的对该运动模式进行判别的行为分类中，输出该第一分类运动特征的分类类别标签，选择相应分类类别的质量评价函数进行估计，从该分类类别中选取得分最高的视频，根据该关节点位移关联特征向量，通过该词典映射还原得到该类别最佳的关节点位移向量，计算当前视频关节点位置与最佳运动轨迹中关节点位置的差异，得到关节点误差位置反馈，对该摄像头采集到的视频中的人体运动进行质量评分和误差反馈。
可以发现，以上方案，可以根据该建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，对摄像头采集到的视频中的人体运动进行质量评分，能够实现不需要人工对人体运动数据进行标注，能够准确反馈人体运动质量的评价信息。
进一步的，以上方案，可以计算当前视频关节点位置与最佳运动轨迹中关节点位置的差异，得到关节点误差位置反馈，能够实现在准确反馈人体运动质量的评价信息的同时，反馈人体运动关节点误差位置。
进一步的，以上方案，提出了基于图像中心矩的局部运动特征描述方式，能够实现克服行为分类内存在的尺度、外观和复杂背景造成的差异。
进一步的，以上方案，提出了关节点位移关联特征，能够实现解决单纯依靠关节点位置差异进行质量评价受到视角变化影响造成估计不准确、误差较大的问题。
进一步的，以上方案，可以采用OpenPose姿态估计方式，从视频中提取出人体关节点运动轨迹，能够实现从视频中提取出人体关节点运动轨迹。
在本发明所提供的几个实施方式中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的部分实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种运动质量评价方法，其特征在于，包括：
从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，并建立对所述运动模式进行判别的行为分类；其中，具体为：从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，给所述运动模式关联的运动轨迹表示视频长度的帧长，以关节点在每帧图像中的位置为中心，提取出一个预设大小的图像块，因此在所述视频长度的帧长的视频中沿着时间轴方向可以得到一个预设大小乘以所述视频长度的帧长的时空立方体，并对所述时空立方体中每帧图像块在空间域上进行高斯平滑去除噪音点的影响，和采用计算方式计算出所述时空立方体每个超像素点沿时间轴的中心矩特征，将所述时空立方体所有超像素点的中心矩特征串联起来得到所述关节点的局部运动特征向量，并将关节点的中心矩特征向量串联起来得到视频的运动特征描述子，以及采用计算机视觉中的词袋模型特征编码和一对多支持向量机分类，为行为类别集合中的每一种行为类别训练出一个行为分类，建立对所述运动模式进行判别的行为分类；
根据所述建立的对所述运动模式进行判别的行为分类，建立基于人体关节点位移关联的姿态特征表示和质量评价模型；其中，具体为：采用OpenPose姿态估计方式，输出视频中人体关节点运动轨迹，以人体臀部中心点为参考点，计算其它关节点相对于参考点的位置偏移，按照人体尺度大小进行归一化后得到关节点的位移向量，和采用基于超完备词典的稀疏表示方式对该关节点的位移向量进行编码，首先运用变换方式对该关节点的位移向量进行离散余弦变换，提取出预设数量个的低频的变换系数进行表示，并将该经过频域变化后的关节点的位移向量串联起来，采用基于超完备词典的稀疏表示方式，从关节点的位移向量集合中学习出一个超完备词典，利用关节点的位移向量在该超完备词典上的稀疏表示系数来描述关节点之间的位移关联，建立基于人体关节点位移关联的姿态特征表示和质量评价模型；
根据所述建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，对摄像头采集到的视频中的人体运动进行质量评分。
2.如权利要求1所述的运动质量评价方法，其特征在于，所述根据所述建立的对所述运动模式进行判别的行为分类，建立基于人体关节点位移关联的姿态特征表示和质量评价模型，包括：
根据所述建立的对所述运动模式进行判别的行为分类，计算人体关节点位移关联的姿态特征表示，并训练基于支持向量机回归方式的质量评价模型估计经过提取的人体姿态特征评分值，建立基于人体关节点位移关联的姿态特征表示和质量评价模型。
3.如权利要求1所述的运动质量评价方法，其特征在于，所述根据所述建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，对摄像头采集到的视频中的人体运动进行质量评分，包括：
根据所述建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，对所述摄像头采集到的视频进行特征提取和表示，假设得到的用于分类的运动特征为第一分类运动特征、用于质量评价的运动特征为第一质量评价运动特征，将所述第一分类运动特征输入到所述建立的对所述运动模式进行判别的行为分类中，输出所述第一分类运动特征的分类类别标签，选择相应分类类别的质量评价函数进行估计，从所述分类类别中选取得分最高的视频，根据所述关节点位移关联特征向量，通过所述超完备词典映射还原得到所述分类类别最佳的关节点的位移向量，计算当前视频关节点位置与最佳运动轨迹中关节点位置的差异，得到关节点误差位置反馈，对所述摄像头采集到的视频中的人体运动进行质量评分和误差反馈。
4.一种运动质量评价***，其特征在于，包括：
行为分类建立单元、质量评价模型、质量评分单元；
所述建立单元，用于从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，并建立对所述运动模式进行判别的行为分类；其中，所述建立单元，具体用于：从人体关节点运动轨迹中提取出身体各个部位的局部运动模式，给所述运动模式关联的运动轨迹表示视频长度的帧长，以关节点在每帧图像中的位置为中心，提取出一个预设大小的图像块，因此在所述视频长度的帧长的视频中沿着时间轴方向可以得到一个预设大小乘以所述视频长度的帧长的时空立方体，并对所述时空立方体中每帧图像块在空间域上进行高斯平滑去除噪音点的影响，和采用计算方式计算出所述时空立方体每个超像素点沿时间轴的中心矩特征，将所述时空立方体所有超像素点的中心矩特征串联起来得到所述关节点的局部运动特征向量，并将关节点的中心矩特征向量串联起来得到视频的运动特征描述子，以及采用计算机视觉中的词袋模型特征编码和一对多支持向量机分类，为行为类别集合中的每一种行为类别训练出一个行为分类，建立对所述运动模式进行判别的行为分类；
所述质量评价模型，用于根据所述建立的对所述运动模式进行判别的行为分类，建立基于人体关节点位移关联的姿态特征表示和质量评价模型；其中，具体为：采用OpenPose姿态估计方式，输出视频中人体关节点运动轨迹，以人体臀部中心点为参考点，计算其它关节点相对于参考点的位置偏移，按照人体尺度大小进行归一化后得到关节点的位移向量，和采用基于超完备词典的稀疏表示方式对该关节点的位移向量进行编码，首先运用变换方式对关节点的位移向量进行离散余弦变换，提取出预设数量个的低频的变换系数进行表示，并将该经过频域变化后的关节点的位移向量串联起来，采用基于超完备词典的稀疏表示方式，从关节点的位移向量集合中学习出一个超完备词典，利用关节点的位移向量在该超完备词典上的稀疏表示系数来描述关节点之间的位移关联，建立基于人体关节点位移关联的姿态特征表示和质量评价模型；
所述质量评分单元，用于根据所述建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，对摄像头采集到的视频中的人体运动进行质量评分。
5.如权利要求4所述的运动质量评价***，其特征在于，所述质量评价模型，具体用于：
根据所述建立的对所述运动模式进行判别的行为分类，计算人体关节点位移关联的姿态特征表示，并训练基于支持向量机回归方式的质量评价模型估计经过提取的人体姿态特征评分值，建立基于人体关节点位移关联的姿态特征表示和质量评价模型。
6.如权利要求4所述的运动质量评价***，其特征在于，所述质量评分单元，具体用于：
根据所述建立的基于人体关节点位移关联的姿态特征表示和质量评价模型，地所述摄像头采集到的视频进行特征提取和表示，假设得到的用于分类的运动特征为第一分类运动特征、用于质量评价的运动特征为第一质量评价运动特征，将所述第一分类运动特征输入到所述建立的对所述运动模式进行判别的行为分类中，输出所述第一分类运动特征的分类类别标签，选择相应分类类别的质量评价函数进行估计，从所述分类类别中选取得分最高的视频，根据所述关节点位移关联特征向量，通过所述超完备词典映射还原得到所述分类类别最佳的关节点的位移向量，计算当前视频关节点位置与最佳运动轨迹中关节点位置的差异，得到关节点误差位置反馈，对所述摄像头采集到的视频中的人体运动进行质量评分和误差反馈。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810909854.XA CN109344692B (zh) | 2018-08-10 | 2018-08-10 | 一种运动质量评价方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810909854.XA CN109344692B (zh) | 2018-08-10 | 2018-08-10 | 一种运动质量评价方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109344692A CN109344692A (zh) | 2019-02-15 |
| CN109344692B true CN109344692B (zh) | 2020-10-30 |
Family
ID=65291434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810909854.XA Active CN109344692B (zh) | 2018-08-10 | 2018-08-10 | 一种运动质量评价方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109344692B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298279A (zh) * | 2019-06-20 | 2019-10-01 | 暨南大学 | 一种肢体康复训练辅助方法及***、介质、设备 |
| CN110414453A (zh) * | 2019-07-31 | 2019-11-05 | 电子科技大学成都学院 | 一种基于机器视觉的多重视角下人体动作状态监测方法 |
| CN110705418B (zh) * | 2019-09-25 | 2021-11-30 | 西南大学 | 一种基于DeepLabCut的跆拳道踢腿运动视频捕捉和评分*** |
| US11625646B2 (en) * | 2020-04-06 | 2023-04-11 | Huawei Cloud Computing Technologies Co., Ltd. | Method, system, and medium for identifying human behavior in a digital video using convolutional neural networks |
| CN111507301B (zh) * | 2020-04-26 | 2021-06-08 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机设备以及存储介质 |
| CN111860157B (zh) * | 2020-06-15 | 2023-12-26 | 北京体育大学 | 一种运动分析方法、装置、设备和存储介质 |
| CN112329571B (zh) * | 2020-10-27 | 2022-12-16 | 同济大学 | 一种基于姿态质量评估的自适应人体姿态优化方法 |
| CN113221627B (zh) * | 2021-03-08 | 2022-05-10 | 广州大学 | 一种人脸遗传特征分类数据集构建方法、***、装置及介质 |
| CN113611387B (zh) * | 2021-07-30 | 2023-07-14 | 清华大学深圳国际研究生院 | 一种基于人***姿估计的运动质量评估方法及终端设备 |
| CN115019240B (zh) * | 2022-08-04 | 2022-11-11 | 成都西交智汇大数据科技有限公司 | 化学实验操作的评分方法、装置、设备及可读存储介质 |
| CN115393964B (zh) * | 2022-10-26 | 2023-01-31 | 天津科技大学 | 基于BlazePose的健身动作识别方法及装置 |
| CN116453693B (zh) * | 2023-04-20 | 2023-11-14 | 深圳前海运动保网络科技有限公司 | 基于人工智能的运动风险防护方法、装置及计算设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622603A (zh) * | 2011-01-31 | 2012-08-01 | 索尼公司 | 用于评价人体姿势识别技术的方法和装置 |
| CN102693413A (zh) * | 2011-02-18 | 2012-09-26 | 微软公司 | 运动识别 |
| CN105825240A (zh) * | 2016-04-07 | 2016-08-03 | 浙江工业大学 | 一种基于ap聚类词袋建模的行为识别方法 |
| CN105957103A (zh) * | 2016-04-20 | 2016-09-21 | 国网福建省电力有限公司 | 一种基于视觉的运动特征提取方法 |
| CN106446847A (zh) * | 2016-09-30 | 2017-02-22 | 深圳市唯特视科技有限公司 | 一种基于视频数据的人体动作分析方法 |
| CN108256433A (zh) * | 2017-12-22 | 2018-07-06 | 银河水滴科技（北京）有限公司 | 一种运动姿态评估方法及*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8774499B2 (en) * | 2011-02-28 | 2014-07-08 | Seiko Epson Corporation | Embedded optical flow features |
-
2018
- 2018-08-10 CN CN201810909854.XA patent/CN109344692B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622603A (zh) * | 2011-01-31 | 2012-08-01 | 索尼公司 | 用于评价人体姿势识别技术的方法和装置 |
| CN102693413A (zh) * | 2011-02-18 | 2012-09-26 | 微软公司 | 运动识别 |
| CN105825240A (zh) * | 2016-04-07 | 2016-08-03 | 浙江工业大学 | 一种基于ap聚类词袋建模的行为识别方法 |
| CN105957103A (zh) * | 2016-04-20 | 2016-09-21 | 国网福建省电力有限公司 | 一种基于视觉的运动特征提取方法 |
| CN106446847A (zh) * | 2016-09-30 | 2017-02-22 | 深圳市唯特视科技有限公司 | 一种基于视频数据的人体动作分析方法 |
| CN108256433A (zh) * | 2017-12-22 | 2018-07-06 | 银河水滴科技（北京）有限公司 | 一种运动姿态评估方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| 一种结合姿态和场景的图像中人体行为分类方法;雷庆,李绍滋,陈锻生;《小型微型计算机***》;20150515;全文 * |
| 基于局部时空兴趣点特征包的事件识别;杜吉祥,郭一兰,翟传敏;《南京大学学报(自然科学版)》;20120130;全文 * |
| 复杂场景下的人体行为识别研究新进展;雷庆,陈锻生,李绍滋;《计算机科学》;20141215;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109344692A (zh) | 2019-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109344692B (zh) | 一种运动质量评价方法及*** | |
| CN108256433B (zh) | 一种运动姿态评估方法及*** | |
| CN111709409B (zh) | 人脸活体检测方法、装置、设备及介质 | |
| CN108304876B (zh) | 分类模型训练方法、装置及分类方法及装置 | |
| CN112560665B (zh) | 基于深度迁移学习实现人体姿态检测的专业舞蹈评价方法 | |
| Tao et al. | Moving poselets: A discriminative and interpretable skeletal motion representation for action recognition | |
| CN104200203B (zh) | 一种基于动作字典学习的人体动作检测方法 | |
| WO2017161734A1 (zh) | 通过电视和体感配件矫正人体动作及*** | |
| Hachaj et al. | Effectiveness comparison of Kinect and Kinect 2 for recognition of Oyama karate techniques | |
| CN113255522A (zh) | 基于时间一致性的个性化运动姿态估计与分析方法及*** | |
| Bianco et al. | Karate moves recognition from skeletal motion | |
| CN116844084A (zh) | 一种融合区块链的体育运动动作分析与纠正方法及*** | |
| Zhang et al. | Intelligent sports performance scoring and analysis system based on deep learning network | |
| Hachaj et al. | Human actions recognition on multimedia hardware using angle-based and coordinate-based features and multivariate continuous hidden Markov model classifier | |
| Morel et al. | Automatic and generic evaluation of spatial and temporal errors in sport motions | |
| CN113239849A (zh) | 健身动作质量评估方法、***、终端设备及存储介质 | |
| Ashraf et al. | View invariant action recognition using weighted fundamental ratios | |
| CN116386137A (zh) | 一种轻量级识别太极拳动作的移动端设计方法 | |
| CN116012942A (zh) | 手语教学方法、装置、设备及存储介质 | |
| Hachaj et al. | Application of hidden markov models and gesture description language classifiers to oyama karate techniques recognition | |
| Huang et al. | Automatic dancing assessment using Kinect | |
| Al Shami | Generating Tennis Player by the Predicting Movement Using 2D Pose Estimation | |
| Tsai et al. | Temporal-variation skeleton point correction algorithm for improved accuracy of human action recognition | |
| WO2022070175A1 (en) | Method of scoring a move of a user and system thereof | |
| CN113392744A (zh) | 舞蹈动作美感确认方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |