CN109446871B - 一种基于多项式拟合的模特走秀动作评价方法 - Google Patents

一种基于多项式拟合的模特走秀动作评价方法 Download PDF

Info

Publication number
CN109446871B
CN109446871B CN201810556789.7A CN201810556789A CN109446871B CN 109446871 B CN109446871 B CN 109446871B CN 201810556789 A CN201810556789 A CN 201810556789A CN 109446871 B CN109446871 B CN 109446871B
Authority
CN
China
Prior art keywords
polynomial fitting
polynomial
data
fitting
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810556789.7A
Other languages
English (en)
Other versions
CN109446871A (zh
Inventor
童基均
柏雁捷
常晓龙
张瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN201810556789.7A priority Critical patent/CN109446871B/zh
Publication of CN109446871A publication Critical patent/CN109446871A/zh
Application granted granted Critical
Publication of CN109446871B publication Critical patent/CN109446871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多项式拟合的模特走秀动作评价方法，包括以下步骤：模特图像采集，通过摄像机对模特进行人体关节点进行检测；其中，所述人体面部关节点是相机正对人体面部时，人体关节在二维平面上的坐标点；对检测的人体关节点进行归一化处理后，再进行多项式拟合，得到多项式拟合系数；将多项式拟合系数作为特征进行PCA数据降维；利用降维后的数据训练SVM分类器，而后利用训练好的SVM分类器对模特走秀动作进行评价。本发明通过摄像机采集模特走秀视频数据，对该数据利用多项式拟合后进行分析，可训练一个评价动作的模型，可实现自动准确的对模特的走秀动作进行评价。

Description

一种基于多项式拟合的模特走秀动作评价方法
技术领域
本发明涉及一种基于多项式拟合的模特走秀动作评价方法。
背景技术
目前,近几年随着计算运算能力的提升，计算机视觉领域也取得的快速的发展。其中，人体动作识别受到计算机视觉领域的极大关注，其对动画、人机交互、运动分析和监控等都有重要的现实意义。但是人体运动的多变性和高复杂性，使得动作识别具有很高的挑战性。人体动作识别是计算机视觉研究最重要的领域之一，它是指基于刚体运动、关节角度和身体关键部位的人体运动姿态的预测和估计。
动作识别的方法主要有基于生物电学、生物力学、轮廓和图像等几种方法。生物力学信息包括关节角度、脚底压力等信息；生物电学信息一般指表面肌电信号(sEMG)，是通过传感器获取人体肌肉表面的神经肌肉***活动时的生物电信号，通过分析生物电信号(sEMG)来实现动作识别。但是这两种方法所需设备昂贵，且使用不便。轮廓和图像都是通过摄像机来获取人体运动的信息，通过分析视频图像中每一帧的人体信息来进行动作识别。如基于轮廓的方法，是计算步态能量图来实现动作识别，但只能实现识别简单的动作。基于图像主要是从图像中获取人体运动数据来进行动作识别，该方法是现阶段科研人员研究动作识别的主要方法，需要从图像中提取我们所需要的人体动作信息，而且数据处理相对繁琐。
发明内容
本发明目的是针对现有技术存在的缺陷提供一种基于多项式拟合的模特走秀动作评价方法。
本发明为实现上述目的，采用如下技术方案：一种基于多项式拟合的模特走秀动作评价方法，包括以下步骤：
1)、模特图像采集，通过摄像机对模特进行人体关节点进行检测；其中，所述人体面部关节点是相机正对人体面部时，人体关节在二维平面上的坐标点；
2)、对检测的人体关节点进行归一化处理后，再进行多项式拟合，得到多项式拟合系数；
3)、将多项式拟合系数作为特征进行PCA数据降维；
4)、利用降维后的数据训练SVM分类器，而后利用训练好的SVM分类器对模特走秀动作进行评价。
进一步的，利用深度学习中的基于局部亲和域的方法来进行人体关节点检测。
进一步的，所述的人体关节点检测为18个关节点。
进一步的，步骤2)中的所述归一化处理为以人体两胯骨的中点为坐标原点，将所有关节点按比例缩放到预定范围内。
进一步的，步骤2)中的多项式拟合包括：BB部分、UB部分和LB部分，三部分分别进行多项式拟合。
进一步的，所述的BB部分、UB部分和LB部分的多项式拟合方法具体如下：
1)、BB部分为3个坐标点：鼻子、颈部和坐标原点，进行二阶多项式拟合： BBt＝(α0+α2i+α3i2)t，α0、α1和α2为BB部分多项式拟合的各阶系数；
2)、UB部分为7个坐标点：左右手、左右手肘以及左右肩和颈，该部分进行6阶多项式拟合：UBt＝(β0+β1i+β2i2+β3i3+β4i4+β5i5+β6i6)t，β0～β6为 UB部分多项式拟合的各阶系数；
3)、LB部分为7个坐标点，左右脚，左右膝盖，左右胯骨和坐标原点，该部分进行6阶多项式拟合：LBt＝(γ0+γ1i+γ2i2+γ3i3+γ4i4+γ5i5+γ6i6)t，γ0～γ6为 LB部分多项式拟合的各阶系数。
进一步的，在多项式拟合后，将3份部分的拟合系数一起进行PCA数据降维。
本发明的有益效果：本发明通过摄像机采集模特走秀视频数据，对该数据利用多项式拟合后进行分析，可训练一个评价动作的模型，可实现自动准确的对模特的走秀动作进行评价。
附图说明
图1为本发明人体BB、UB、和LB部分关键点图；
图2为本发明模特关节点检测图；
图3为本发明三部分关节点x轴y轴方向拟合；
图4为本发明不同阶数数据拟合结果；
图5为本发明实验流程图。
具体实施方式
图1至图5所示，公开了一种基于多项式拟合的模特走秀动作评价方法，具体实现步骤如下：
1)、将摄像机放在模特走秀舞台的正前面，对模特进行数据采集。
2)、将采集的数据结果利用深度学习中基于局部亲和域的方法来对模特的人体关节点进行实时检测，本实验中所用的计算机显卡为英伟达的GTX1080Ti。检测结果如图1、2所示，总共18个人体关节点，分别为左右眼睛、左右耳朵、鼻子，颈、左右肩、左右手肘、左右手、左右胯骨、左右膝盖和左右脚。
3)、对检测的关节点进行归一化处理。由于相机的位置是不变的，而模特在 T台上是一直移动的，这会导致检测结果会有差异，因此根据人体身高比例，颈每一个模特的关节点的x值和y值分别归一化到[-200,200]，[-800,800]范围内。
4)、对归一化后的数据进行多项式拟合，拟合时将人体关节点分为BB、UB 和LB这三部分进行，如图2所示，BB部分连接0、1、2这三个点，UB部分为连接5、4、3、2、6、7、8这7个关节点，LB部分为连接11、10、9、0、12、13、 14这7个点。多项式拟合的一般公式为P(x)＝c0+c1x+…+cnxn，其中cn为多项式拟合系数。图3为BB、UB、BB三部分分别在x轴和y轴的拟合结果图。
其中，BB部分为3个坐标点：鼻子、颈部和坐标原点，进行二阶多项式拟合：BBt＝(α0+α2i+α3i2)t，α0、α1和α2为BB部分多项式拟合的各阶系数；
UB部分为7个坐标点：左右手、左右手肘以及左右肩和颈，该部分进行6 阶多项式拟合：UBt＝(β0+β1i+β2i2+β3i3+β4i4+β5i5+β6i6)t，β0～β6为 UB部分多项式拟合的各阶系数；
LB部分为7个坐标点，左右脚，左右膝盖，左右胯骨和坐标原点，该部分进行6阶多项式拟合：LBt＝(γ0+γ1i+γ2i2+γ3i3+γ4i4+γ5i5+γ6i6)t，γ0～γ6为 LB部分多项式拟合的各阶系数。
由于三部分的形状复杂程度不一样，因此根据它们的复杂程度来进行拟合：在BB部分用二阶系数进行拟合，UB和LB部分用6阶系数进行拟合，分别将三部分的想x轴和y轴拟合的结果结合成一个坐标点，得到的结果如图4所示，只有UB和LB部分用6阶系数拟合时才能达到较好的拟合效果。
5)将拟合的系数作为特征来进行PCA数据降维处理。首先要将所有采集的数据分成训练集与测试集，用训练集的数据计算样本均值，计算样本协方差矩阵、对协方差矩阵进行特征值分解，求解K-L变换矩阵、选取K-L变换矩阵的主成分构建降维矩阵，最后对训练数据进行数据降维。测试数据只需要减去样本均值后在乘以降维矩阵就可以实现PCA数据降维处理。
6)随后用处理过的训练集进行SVM分类器的训练，SVM训练时采用高斯径向基函数作为核函数，参数δ为8，其他参数为默认值。在用训练好的数据进行SVM分类器对测试集进行测试。本发明实施流程如图5所示。
本发明随机抽取5个专业模特和5个业余模特进行个体测试实验，实验结果如表1所示。
表1个体检测结果表
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于多项式拟合的模特走秀动作评价方法，其特征在于，包括以下步骤：
1)、模特图像采集，通过摄像机对模特进行人体关节点进行检测；其中，所述人体关节点是相机正对人体面部时，人体关节在二维平面上的坐标点；
2)、对检测的人体关节点进行归一化处理后，再进行多项式拟合，得到多项式拟合系数；
3)、将多项式拟合系数作为特征进行PCA数据降维；
4)、利用降维后的数据训练SVM分类器，而后利用训练好的SVM分类器对模特走秀动作进行评价；
利用深度学习中的基于局部亲和域的方法来进行人体关节点检测；
步骤2)中的所述归一化处理为以人体两胯骨的中点为坐标原点，将所有关节点按比例缩放到预定范围内；
步骤2)中的多项式拟合包括：BB部分、UB部分和LB部分，三部分分别进行多项式拟合；
所述的BB部分、UB部分和LB部分的多项式拟合方法具体如下：
1)、BB部分为3个坐标点：鼻子、颈部和坐标原点，进行二阶多项式拟合：BBt＝(α0+α1i+α2i2)t，α0、α1和α2为BB部分多项式拟合的各阶系数；
2)、UB部分为7个坐标点：左右手、左右手肘以及左右肩和颈，该部分进行6阶多项式拟合：UBt＝(β0+β1i+β2i2+β3i3+β4i4+β5i5+β6i6)t，β0～β6为UB部分多项式拟合的各阶系数；
3)、LB部分为7个坐标点，左右脚，左右膝盖，左右胯骨和坐标原点，该部分进行6阶多项式拟合：LBt＝(γ0+γ1i+γ2i2+γ3i3+γ4i4+γ5i5+γ6i6)t，γ0～γ6为LB部分多项式拟合的各阶系数；
在多项式拟合后，将3份部分的拟合系数一起进行PCA数据降维；
将拟合的系数作为特征来进行PCA数据降维处理；首先要将所有采集的数据分成训练集与测试集，用训练集的数据计算样本均值，计算样本协方差矩阵、对协方差矩阵进行特征值分解，求解K-L变换矩阵、选取K-L变换矩阵的主成分构建降维矩阵，最后对训练数据进行数据降维；测试数据只需要减去样本均值后再乘以降维矩阵即可实现PCA数据降维处理；
随后用处理过的训练集进行SVM分类器的训练，SVM训练时采用高斯径向基函数作为核函数，参数δ为8，其他参数为默认值。
2.如权利要求1所述的基于多项式拟合的模特走秀动作评价方法，其特征在于，所述的人体关节点检测为18个关节点。
CN201810556789.7A 2018-06-01 2018-06-01 一种基于多项式拟合的模特走秀动作评价方法 Active CN109446871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810556789.7A CN109446871B (zh) 2018-06-01 2018-06-01 一种基于多项式拟合的模特走秀动作评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810556789.7A CN109446871B (zh) 2018-06-01 2018-06-01 一种基于多项式拟合的模特走秀动作评价方法

Publications (2)

Publication Number Publication Date
CN109446871A CN109446871A (zh) 2019-03-08
CN109446871B true CN109446871B (zh) 2024-02-09

Family

ID=65533036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810556789.7A Active CN109446871B (zh) 2018-06-01 2018-06-01 一种基于多项式拟合的模特走秀动作评价方法

Country Status (1)

Country Link
CN (1) CN109446871B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027473B (zh) * 2019-12-09 2023-05-26 山东省科学院自动化研究所 一种基于人体关节运动实时预测的目标识别方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助***和方法
CN104866860A (zh) * 2015-03-20 2015-08-26 武汉工程大学 一种室内人体行为识别方法
CN105512621A (zh) * 2015-11-30 2016-04-20 华南理工大学 一种基于Kinect的羽毛球动作指导***
CN105631420A (zh) * 2015-12-23 2016-06-01 武汉工程大学 一种基于3d骨架的多视角室内人体行为识别方法
CN107301370A (zh) * 2017-05-08 2017-10-27 上海大学 一种基于Kinect三维骨架模型的肢体动作识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10186041B2 (en) * 2015-04-09 2019-01-22 Electronics And Telecommunications Research Institute Apparatus and method for analyzing golf motion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助***和方法
CN104866860A (zh) * 2015-03-20 2015-08-26 武汉工程大学 一种室内人体行为识别方法
CN105512621A (zh) * 2015-11-30 2016-04-20 华南理工大学 一种基于Kinect的羽毛球动作指导***
CN105631420A (zh) * 2015-12-23 2016-06-01 武汉工程大学 一种基于3d骨架的多视角室内人体行为识别方法
CN107301370A (zh) * 2017-05-08 2017-10-27 上海大学 一种基于Kinect三维骨架模型的肢体动作识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
C.K. Chan.Human motion classification using 2D stick-model matching regression coefficients.Applied Mathematics and Computation.2016,第283卷第1、3-5节. *
Effective 3D action recognition using EigenJoints;Xiaodong Yang;《Journal of Visual Communication and Image Representation》;1-10页 *
Zhe Cao.Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields.2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).2017,第1-9页. *
基于视频的人体动作识别关键技术研究;王健弘;《中国博士学位论文全文数据库 (信息科技辑)》(第09期);I138-45 *
苑玮琦.主成分分析重建误差掌纹识别方法.光学学报.2008,第2-5节. *

Also Published As

Publication number Publication date
CN109446871A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN107103298B (zh) 基于图像处理的引体向上计数***及计数方法
Qiu et al. Finger-vein recognition based on dual-sliding window localization and pseudo-elliptical transformer
Li et al. Identifying emotions from non-contact gaits information based on microsoft kinects
Liu et al. Vision-based method for automatic quantification of parkinsonian bradykinesia
CN106384093B (zh) 一种基于降噪自动编码器和粒子滤波的人体动作识别方法
CN109993068B (zh) 一种基于心率和面部特征的非接触式的人类情感识别方法
CN110490080B (zh) 一种基于图像的人体跌倒判别方法
Dentamaro et al. Gait analysis for early neurodegenerative diseases classification through the kinematic theory of rapid human movements
US11663845B2 (en) Method and apparatus for privacy protected assessment of movement disorder video recordings
CN112970074A (zh) 身体活动量化和监测
CN110991268B (zh) 一种基于深度图像的帕金森手部运动量化分析方法和***
CN108875586A (zh) 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法
Tsai et al. Enhancing accuracy of human action Recognition System using Skeleton Point correction method
Zariffa et al. Computer vision-based classification of hand grip variations in neurorehabilitation
CN109446871B (zh) 一种基于多项式拟合的模特走秀动作评价方法
Razzaq et al. Unskem: unobtrusive skeletal-based emotion recognition for user experience
Cai et al. Combining chrominance features and fast ICA for noncontact imaging photoplethysmography
Kotak et al. Yoga Pose Classification using Angle Heuristic Approach
CN112085105A (zh) 一种基于人体形状与姿态估计的动作相似度评价方法
Sun et al. Cooperative warp of two discriminative features for skeleton based action recognition
Saha et al. Fingerprint recognition using texture features
Liu et al. A posture recognition method applied to smart product service
Chinnaiah et al. A new deliberation of embedded based assistive system for Yoga
Lin et al. Egocentric object recognition leveraging the 3d shape of the grasping hand
Abraham et al. Ensemble of shape functions and support vector machines for the estimation of discrete arm muscle activation from external biceps 3D point clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant