CN111931804B - 一种基于rgbd摄像机的人体动作自动评分方法 - Google Patents
一种基于rgbd摄像机的人体动作自动评分方法 Download PDFInfo
- Publication number
- CN111931804B CN111931804B CN202010557419.2A CN202010557419A CN111931804B CN 111931804 B CN111931804 B CN 111931804B CN 202010557419 A CN202010557419 A CN 202010557419A CN 111931804 B CN111931804 B CN 111931804B
- Authority
- CN
- China
- Prior art keywords
- similarity
- motion
- human body
- standard
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physiology (AREA)
- Biophysics (AREA)
- Social Psychology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Dentistry (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于RGBD摄像机的人体动作自动评分方法,包括步骤如下:(1)关节点坐标数据的获取;(2)关节向量坐标的数据处理;(3)计算标准帧与测试帧相似度;(4)时间序列相似性度量;(5)自动评分。本发明在医疗领域,使有运动障碍病人的运动姿态按照正常人的标准进行康复训练,有助于病人身体的康复;在体育赛事、舞蹈训练等场合,能够有效解决人为动作打分缺乏客观性或尺度不统一的问题,将运动人员的动作与标准数据库中合成的动作相对比,进行评分操作,形成一个自动评分方法。
Description
技术领域
本发明涉及人体动作自动评分方法,尤其涉及一种基于RGBD摄像机的人体动作自动评分方法。
背景技术
随着信息技术的发展,对于人体运动的研究引起了国内外多家机构的关注和投入。由麻省理工大学负责的美国国防部项目,致力于对于视频监控中的动作识别与监控。国内对于人体运动的研究起步较晚,但也取得了较好的成果,中科院计算所进行的手语研究实现了很高的识别率。
近些年兴起的RGBD摄像机能够利用深度信息获取实时的3维空间中的人体关节坐标,为人体运动研究提供了更多的形式和方向。人体动作评分的主要任务是将待评分运动序列与标准运动序列间的相似度转化成分数,其核心在于运动序列间的相似性度量。现有的基于RGBD摄像机的运动相似性度量方法对运动的建模不够全面,准确性难以保证。如李红波等在《基于kinect骨骼数据的人体动作姿势识别方法》一文中提出了一种针对单个运动帧的姿势识别方法,其通过简单的平移操作后,通过姿态的余弦距离度量了帧与帧之间的相似性,无法实现对整个序列的相似性度量。朱大勇等在《基于kinect三维骨骼节点的动作识别方法》提出了一种基于行为树的运动识别方法,该方法以头部、肩部、腹部、臀部等多个关节点所在平面为参考平面,实现对运动帧的矫正和相似性度量,并以姿态到达时间为运动序列的时序信息,参与最终的识别。然而,构成参考平面的这几个关节点并不会精确地位于同一平面,且很有可能出现较大幅度的扭曲,导致姿态矫正的失败。隋龙飞在硕士学位论文《基于Kinect骨骼信息人体动作识别的研究与应用》中提出通过旋转平移将人体姿态的坐标系和相机坐标系进行校准以实现运动的归一化,此种归一化的方式只消除了两个坐标***之间的差异,未考虑不同运动个体之间差异对相似度计算的影响。
发明内容
发明目的:本发明的目的是提供一种通过动态时间规整算法量化运动序列间的相似度,并转化成分数的基于RGBD摄像机的人体动作自动评分方法。
技术方案:本发明的人体动作自动评分方法,包括步骤如下:(1)关节点坐标数据的采集;(2)关节向量坐标的数据处理;(3)计算标准帧与测试帧相似度;(4)时间序列相似性度量;(5)自动评分;通过RGBD摄像机获取测试人体运动关节点坐标数据以及标准人体运动关节点数据并保存,作为测试样本和标准样本,分别进行数据处理,实现人体的位置矫正、姿态矫正以及骨骼尺寸矫正,再计算出两个样本各骨骼向量之间的余弦相似度,最后通过DTW算法得出总体运动相似度的最大值并给出分数。
步骤(1)中,建立人体骨架模型,通过摄像机采集三维人体运动的25组关节点坐标数据并保存。
步骤(2)中,对步骤(1)中获取的关节坐标数据,选取其中某一关节点为参考点,用矢量平移将其移至相机坐标系原点,即实现人体运动模型位置矫正;
再选取某一骨段作为基向量,利用向量叉乘构建人体骨架坐标系,通过单位化得到骨架坐标系三个轴正方向上的单位矢量,矢量坐标值即可构成一旋转矩阵,利用该旋转矩阵实现坐标变换,实现人体运动模型的姿态矫正;
最后对24组骨骼向量进行归一化,实现人体运动模型的骨骼尺寸矫正。
步骤(3)中,将预先采集到的标准样本坐标数据根据步骤(2)完成数据处理。分别在标准样本和测试样本中取一帧,利用余弦相似度公式,得出标准样本以及测试样本对应骨骼向量之间的相似度,对24组骨骼向量的相似度取平均值,得到平均相似度即为该标准模板帧和测试模板帧之间的相似度,构成标准运动和测试运动帧与帧之间的相似度矩阵。
步骤(4)中,在步骤(3)中得到的相似度矩阵上,采用动态时间规整算法进行路径规划,找到相似度最大的路径,实现相似度的匹配,得出两个运动序列的相似度值。
步骤(5)中,根据步骤(4)所得的相似度值对运动评判结果按区间分为五档进行自动评分。
有益效果:本发明与现有技术相比,其显著效果如下:1、在医疗领域,使有运动障碍病人的运动姿态按照正常人的标准进行康复训练,同时进行对比,有助于病人身体的康复;2、在体育赛事、舞蹈训练等场合,能够有效解决人为动作打分缺乏客观性或尺度不统一的问题,根据相同的原理,将运动人员的动作与标准数据库中合成的动作相对比,进行评分操作,形成一个自动评分方法;3、提供一种运动姿态矫正全面、相似性度量准确的人体动作自动评分方法。
附图说明
图1为本发明的流程图;
图2为本发明的人体骨架模型图。
具体实施方式
下面结合说明书附图和具体实施方式对本发明做进一步详细描述。
本发明通过RGBD摄像机获取测试人体运动关节点坐标数据以及标准人体运动关节点数据并保存,作为测试样本和标准样本,分别进行数据处理,实现人体的位置矫正、姿态矫正以及骨骼尺寸矫正。计算出两个样本各骨骼向量之间的余弦相似度,最终通过DTW算法得出总体运动相似度的最大值并给出分数。在开始测试时,可选择直接读取已有的标准模板,无需对关节点坐标数据进行采集。现以采集标准模板为例,本发明的实现过程详细步骤如下:
步骤一:关节点坐标数据的采集
步骤二:坐标数据的处理与校正
1、位置矫正
Xi=Ji-J20=(xi,yi,zi)(i=1,2,....,25) (1)
2、姿态矫正
经过位置矫正后X20点在A坐标原点,取某一和X20点相邻的关节点,则可构成一段从原点出发的向量,定义其为参考骨骼向量。以左肩关节点X8为例,则可定义构成的参考骨骼坐标为xq=(xq,yq,zq)。计算出旋转矩阵中的参数并进行坐标变换,具体步骤如下:(2.1)将向量xq单位化
式(2)中,‖xq‖2为向量xq模长。
同时得出方向余弦值:
(2.2)在{A}中另取一单位向量
利用向量叉乘公式:
(2.3)将zr单位化
式(8)中,‖zr‖2为向量zr模长。
同时得出方向余弦值
(2.4)再次利用向量叉乘公式
同时得出方向余弦值
(2.5)得出人体骨骼坐标系B和标准坐标系A之间的转换矩阵
求解变换坐标:
3、骨骼尺寸矫正
定义ηm(m=1,2,....,25)为骨骼向量,则
处理步骤如下:
(3.1)将所有骨骼向量进行单位化处理
对骨骼向量进行单位化:
(3.2)将尺寸矫正后的骨骼向量复原,定义复原所得单位骨骼向量为
步骤三:计算帧相似度
定义标准模板的单位骨骼向量即为∈i(i=1,2,....,25),测试模板的单位骨骼向量为∈′i(i=1,2,....,25)。
利用余弦相似度公式:
计算标准模板帧和测试模板帧的相似度。
又因余弦值的范围为[-1,1],为了能将余弦值表示为相似度值,可定义
Sn(i,j)(n=1,2,…,25,i>0,j>0)为测试模板第i帧和标准模板中第j帧同一骨骼向量;
ηm,n的余弦值加1除以2,即
此时,Sn(i,j)的范围为[0,1],乘以100即可表示相似度。
式(25)中,SUM(Sn(i,j))为测试模板第i帧和标准模板第j帧的25个对应骨骼向量相似度之和。
步骤四:时间序列相似性度量
定义累计相似度为S* k(i,j)(k=n或m),
根据DTW(Dynamic Time Warping动态时间规整)算法,通过递推公式得到累计相似度的最优解(最大值),即
直到k-1=0为止。
根据步骤四,最终评估分数按区间分为以下5档:
1)相似度百分比小于30%,显示测试重构的结果为25分,“运动相似性较差”;
2)相似度百分比在30%~50%,在30分基础上相似度每提高5%,分数相应提升5分,“运动相似性一般”;
3)相似度百分比在50%~70%,在50分基础上相似度每提高5%,分数相应提升5分,“运动相似性中等”;
4)相似度百分比在70%~90%,在70分基础上相似度每提高5%,分数相应提升5分.“运动相似性良好”;
5)相似度百分比大于90%,在90分基础上相似度每提高5%,分数相应提升5分,“运动相似性较高。
Claims (5)
1.一种基于RGBD摄像机的人体动作自动评分方法,其特征在于,包括步骤如下:(1)关节点坐标数据的采集;(2)关节向量坐标的数据处理;(3)计算标准帧与测试帧相似度;(4)时间序列相似性度量;(5)自动评分;通过RGBD摄像机获取测试人体运动关节点坐标数据以及标准人体运动关节点数据并保存,作为测试样本和标准样本,分别进行数据处理,实现人体的位置矫正、姿态矫正以及骨骼尺寸矫正,再计算出两个样本各骨骼向量之间的余弦相似度,最后通过DTW算法得出总体运动相似度的最大值并给出分数;
步骤(2)中,对步骤(1)中获取的关节坐标数据,选取其中某一关节点为参考点,用矢量平移将其移至相机坐标系原点,即实现人体运动模型位置矫正;
再选取某一骨段作为基向量,利用向量叉乘构建人体骨架坐标系,通过单位化得到骨架坐标系三个轴正方向上的单位矢量,矢量坐标值即可构成一旋转矩阵,利用该旋转矩阵实现坐标变换,实现人体运动模型的姿态矫正;最后对24组骨骼向量进行归一化,实现人体运动模型的骨骼尺寸矫正。
2.根据权利要求1所述的基于RGBD摄像机的人体动作自动评分方法,其特征在于:步骤(1)中,建立人体骨架模型,通过摄像机采集三维人体运动的25组关节点坐标数据并保存。
3.根据权利要求1所述的基于RGBD摄像机的人体动作自动评分方法,其特征在于:步骤(3)中,将预先采集到的标准样本坐标数据根据步骤(2)完成数据处理;分别在标准样本和测试样本中取一帧,利用余弦相似度公式,得出标准样本以及测试样本对应骨骼向量之间的相似度,对24组骨骼向量的相似度取平均值,得到平均相似度即为标准模板帧和测试模板帧之间的相似度,构成标准运动和测试运动帧与帧之间的相似度矩阵。
4.根据权利要求1所述的基于RGBD摄像机的人体动作自动评分方法,其特征在于:步骤(4)中,在步骤(3)中得到的相似度矩阵上,采用动态时间规整算法进行路径规划,找到相似度最大的路径,实现相似度的匹配,得出两个运动序列的相似度值。
5.根据权利要求1所述的基于RGBD摄像机的人体动作自动评分方法,其特征在于:步骤(5)中,根据步骤(4)所得的相似度值对运动评判结果按区间分为五档进行自动评分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010557419.2A CN111931804B (zh) | 2020-06-18 | 2020-06-18 | 一种基于rgbd摄像机的人体动作自动评分方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010557419.2A CN111931804B (zh) | 2020-06-18 | 2020-06-18 | 一种基于rgbd摄像机的人体动作自动评分方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111931804A CN111931804A (zh) | 2020-11-13 |
CN111931804B true CN111931804B (zh) | 2023-06-27 |
Family
ID=73317800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010557419.2A Active CN111931804B (zh) | 2020-06-18 | 2020-06-18 | 一种基于rgbd摄像机的人体动作自动评分方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111931804B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112641441B (zh) * | 2020-12-18 | 2024-01-02 | 河南翔宇医疗设备股份有限公司 | 一种体态评估方法、***、装置及计算机可读存储介质 |
CN112597933B (zh) * | 2020-12-29 | 2023-10-20 | 咪咕互动娱乐有限公司 | 动作评分方法、装置及可读存储介质 |
CN112990011A (zh) * | 2021-03-15 | 2021-06-18 | 上海工程技术大学 | 基于机器视觉和深度学习的健身动作识别评估方法 |
CN113063804B (zh) * | 2021-03-16 | 2022-07-15 | 太原科技大学 | 一种基于图像处理的热切机视觉***自动定位方法 |
CN113197572A (zh) * | 2021-05-08 | 2021-08-03 | 解辉 | 一种基于视觉的人体工作矫正*** |
CN113611387B (zh) * | 2021-07-30 | 2023-07-14 | 清华大学深圳国际研究生院 | 一种基于人***姿估计的运动质量评估方法及终端设备 |
CN113850150A (zh) * | 2021-09-02 | 2021-12-28 | 苏州爱可尔智能科技有限公司 | 一种基于深度学习3d姿态分析的运动评分方法及装置 |
CN114187657A (zh) * | 2021-12-01 | 2022-03-15 | 广州穗海新峰医疗设备制造股份有限公司 | 心脏模型的模拟手术指导方法、装置、设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103810496A (zh) * | 2014-01-09 | 2014-05-21 | 江南大学 | 基于图像深度信息的3d高斯空间人体行为识别方法 |
CN107349594A (zh) * | 2017-08-31 | 2017-11-17 | 华中师范大学 | 一种虚拟舞蹈***的动作评价方法 |
CN108764120A (zh) * | 2018-05-24 | 2018-11-06 | 杭州师范大学 | 一种人体规范动作评价方法 |
CN108846348A (zh) * | 2018-06-07 | 2018-11-20 | 四川大学 | 一种基于三维骨骼特征的人体行为识别方法 |
CN109064486A (zh) * | 2018-06-20 | 2018-12-21 | 华南理工大学 | 一种人形机器人与人体姿态相似度评价方法 |
CN109086706A (zh) * | 2018-07-24 | 2018-12-25 | 西北工业大学 | 应用于人机协作中的基于分割人体模型的动作识别方法 |
CN111144217A (zh) * | 2019-11-28 | 2020-05-12 | 重庆邮电大学 | 一种基于人体三维关节点检测的动作评价方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160042227A1 (en) * | 2014-08-06 | 2016-02-11 | BAE Systems Information and Electronic Systems Integraton Inc. | System and method for determining view invariant spatial-temporal descriptors for motion detection and analysis |
-
2020
- 2020-06-18 CN CN202010557419.2A patent/CN111931804B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103810496A (zh) * | 2014-01-09 | 2014-05-21 | 江南大学 | 基于图像深度信息的3d高斯空间人体行为识别方法 |
CN107349594A (zh) * | 2017-08-31 | 2017-11-17 | 华中师范大学 | 一种虚拟舞蹈***的动作评价方法 |
CN108764120A (zh) * | 2018-05-24 | 2018-11-06 | 杭州师范大学 | 一种人体规范动作评价方法 |
CN108846348A (zh) * | 2018-06-07 | 2018-11-20 | 四川大学 | 一种基于三维骨骼特征的人体行为识别方法 |
CN109064486A (zh) * | 2018-06-20 | 2018-12-21 | 华南理工大学 | 一种人形机器人与人体姿态相似度评价方法 |
CN109086706A (zh) * | 2018-07-24 | 2018-12-25 | 西北工业大学 | 应用于人机协作中的基于分割人体模型的动作识别方法 |
CN111144217A (zh) * | 2019-11-28 | 2020-05-12 | 重庆邮电大学 | 一种基于人体三维关节点检测的动作评价方法 |
Non-Patent Citations (2)
Title |
---|
Skeleton embedded motion body partition for human action recognition using depth sequences;Ji, X.等;《Signal Processing》;第143卷(第C期);56–68 * |
基于RGBD的人体行为识别***;周康等;《中国优秀硕士学位论文全文数据库:信息科技辑》(第2期);I138-1612 * |
Also Published As
Publication number | Publication date |
---|---|
CN111931804A (zh) | 2020-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111931804B (zh) | 一种基于rgbd摄像机的人体动作自动评分方法 | |
CN108537191B (zh) | 一种基于结构光摄像头的三维人脸识别方法 | |
Uddin et al. | Human activity recognition using body joint‐angle features and hidden Markov model | |
CN104063702B (zh) | 一种基于遮挡修复和局部相似性匹配的三维步态识别方法 | |
CN106600626B (zh) | 三维人体运动捕获方法与*** | |
CN110544301A (zh) | 一种三维人体动作重建***、方法和动作训练*** | |
CN110728220A (zh) | 基于人体动作骨骼信息的体操辅助训练方法 | |
CN110555408B (zh) | 一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法 | |
CN107229920B (zh) | 基于整合深度典型时间规整及相关修正的行为识别方法 | |
CN113449570A (zh) | 图像处理方法和装置 | |
Wei et al. | Real-time facial expression recognition for affective computing based on Kinect | |
CN111914643A (zh) | 一种基于骨骼关键点检测的人体动作识别方法 | |
CN113856186B (zh) | 一种引体向上动作判定与计数的方法、***及装置 | |
CN111985579A (zh) | 基于相机协同和三维骨骼估计的双人跳水同步性分析方法 | |
CN117496409B (zh) | 一种基于多视角三维人体重建的细粒度舞蹈动作评分方法 | |
CN111914618A (zh) | 基于对抗式相对深度约束网络的三维人体姿态估计方法 | |
CN109670401A (zh) | 一种基于骨骼运动图的动作识别方法 | |
CN111833439A (zh) | 基于人工智能的弹药投掷分析及移动仿真训练方法 | |
CN111046715A (zh) | 一种基于图像检索的人体动作对比分析方法 | |
CN116502923B (zh) | 虚拟仿真教学实训平台的仿真方法及*** | |
CN112085105B (zh) | 一种基于人体形状与姿态估计的动作相似度评价方法 | |
CN113947811A (zh) | 一种基于生成对抗网络的太极拳动作校正方法及*** | |
CN111539364B (zh) | 基于特征融合和多分类器投票的多体感人体行为识别算法 | |
CN109544530B (zh) | X射线头影测量图像结构特征点自动定位方法及*** | |
CN109993818B (zh) | 三维人体模型运动合成的方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |