CN116844084A - 一种融合区块链的体育运动动作分析与纠正方法及*** - Google Patents

一种融合区块链的体育运动动作分析与纠正方法及*** Download PDF

Info

Publication number
CN116844084A
CN116844084A CN202310739669.1A CN202310739669A CN116844084A CN 116844084 A CN116844084 A CN 116844084A CN 202310739669 A CN202310739669 A CN 202310739669A CN 116844084 A CN116844084 A CN 116844084A
Authority
CN
China
Prior art keywords
motion
video
sports
standard
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310739669.1A
Other languages
English (en)
Inventor
赵志丹
杜宇轩
吴逸南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shantou University
Original Assignee
Shantou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shantou University filed Critical Shantou University
Priority to CN202310739669.1A priority Critical patent/CN116844084A/zh
Publication of CN116844084A publication Critical patent/CN116844084A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种融合区块链的体育运动动作分析与纠正方法，包括：利用***中的Fabric区块链网络来记录用户行为记录，通过Fabric区块链网络中的访问控制机制来授权云数据库来分发相应跟练课程给用户跟练，最后给出相应评分，使用关节特征实时***模型PostEX，用于提取运动视频的骨架图，动作序列相似度计算算法以及动作比对评分算法。本发明实施例还公开了一种融合区块链的体育运动动作分析与纠正***。采用本发明，对于动作识别与评分具有良好的实用性与鲁棒性，并能降低计算量，可以解决并纠正体育运动爱好者在学习相关体育运动时的错误姿势的问题。

Description

一种融合区块链的体育运动动作分析与纠正方法及***
技术领域
本发明涉及体育运动领域的图像识别及处理，尤其涉及一种基于Fabric区块链网络和关节特征余弦相似度的体育运动动作分析与纠正方法及***。
背景技术
随便经济文化水平的提高，人们对精神文化消费意识逐步增强，也更加注重身体素质方面的提高，并开始对体育运动有更高的追求。
然而有很多体育爱好者苦于没有专门的教练1对1辅导，只能从网上获取学习资源并学习一系列的体育运动动作，而在学习过程中的错误动作难以得到发现与及时纠正。
人体的运动分析领域一直都是一个非常受到学者们关注的一个重要领域。 而人体动作相似度的评估任务是人体的运动分析领域的一个重要的部分。随着机器学习和深度学习的飞速发展，学者们提出来许多算法可以应用于人体动作相似度的评估任务。
如中国专利公开号为CN112464918A所公开的一种健身动作纠正方法、装置、计算机设备和存储介质，所述方法通过采集位于跑步机上目标用户不同角度的图像数据，对目标用户不同角度的图像数据进行融合处理，得到目标用户的三维健身动作图像，基于预设的健身动作标准图像库确定与目标用户的三维健身动作图像匹配的目标健身动作标准图像，进而根据目标健身动作标准图像的关键点特征，获取目标用户的三维健身动作图像的评分，若评分低于目标评分，则输出对目标用户的三维健身动作图像的纠正信息，以实现对用户的不规范健身动作进行及时纠正，且整个过程用户无感。然而获取的是三维建身动作，对于计算消耗非常大，对于动作识别与评分的实用性与鲁棒性并不理想。此外现有技术中的体育动作均没有使用区块链技术存储，其数据安全以及数据管理方面存在短板。
发明内容
本发明实施例所要解决的技术问题在于，提供一种融合区块链的体育运动动作分析与纠正方法及***，可使用较低的运算开销解决并纠正体育运动爱好者在学习相关体育运动时的错误姿势的问题，并使用区块链技术对数据进行保存与跟进。
为了解决上述技术问题，本发明实施例提供了一种基于Fabric区块链网络以及关节特征余弦相似度算法的体育运动动作分析与纠正方法，包括以下步骤：
S1：在云数据库中构建标准体育动作视频序列教学素材库，
S2：获取用户存入Fabric区块链网络中的相应体育运动动作视频的购买记录，由Fabric区块链网络对云数据库进行授权，所述云数据库分发相应已购买的运动教学视频给用户，对用户的整个跟练过程会用摄像头进行拍摄并保存为待纠正运动动作视频，用户完成训练后，所述待纠正运动动作视频被传入***中等待处理；
S3：对待纠正运动动作视频序列进行预处理，使视频每一帧与标准动作视频素材库中相应的标准动作视频序列里的每一帧一一匹配；
S4：输入预处理后的视频序列，使用关节特征实时***模型PostEX进行实时计算，输出并提取出该运动动作视频序列每一帧的肢体关键点坐标，当用户设置成精准模式下，输出为三维热图的形式；
S5：利用人体肢体夹角余弦值的特征提取算法把提取出来的肢体关键点坐标值特征转化为肢体向量值特征，再转化为肢体余弦相似度特征值；将经过提取之后的动作表征来在运动动作素材视频库中搜索向量值余弦相似度最相近的运动动作，从而识别出用户所作出的具体运动动作名称，并使待纠正运动动作视频与标准运动动作视频对应；
S6：使用评分与纠正算法进行待纠正运动动作骨架图与标准运动动作骨架图的比较，提供相应的评分以及动作纠正建议，使用交互界面把配比的反馈结果返回给用户，并提供差异详情和具体动作详细指导文字；
S7：将评分记录加密并以区块的形式存入Fabric区块链网络中，并且根据预先写入的智能合约，如果评分达到一定标准时，区块链网络授权相关用户获取到相应的新的一期运动课程跟练视频，并继续跟练学习。
其中，所述Fabric区块链网络的上链步骤包括：
S21：Fabric区块链网络中的某个节点中的待验证区块已经写满，则将该验证区块提交到Fabric区块链网络中，并将其发送给所有的节点；
S22：在接受到该验证区块后，Fabric区块链网络中的每个节点都对该区块进行验证，验证的内容包括检查区块信息是否符合网络中的规则和标准，以及验证发起方是否具有足够的权限和资格提交该区块；
S23：验证通过的节点会对该待验证区块进行背书，在Fabric区块链网络中，设定达到至少有50%的节点对该区块进行背书，则确认该区块的有效性；
S24：一旦达到背书阈值，Fabric区块链网络会将该区块标记为已确认，并将该区块正式地存储在Fabric区块链网络中，同时各个节点更新分布式账本的副本，永久保存于Fabric区块链网络中。
其中，所述摄像头包括单目摄像头与红外传感器，所述单目摄像头用于跟练并保存视频，所述红外传感器用于实时跟练拆解动作。
其中，所述对待纠正运动动作视频序列进行预处理的步骤包括：使用滑动窗口的方法得到与视频库中帧数量相同的视频序列、将原RGB帧都转换为灰度表示、空间增强的方法去除了背景、使用平均滤波器减小随机噪声的产生。
其中，所述关节特征实时***模型PostEX进行特征提取的方法包括：
将预处理的视频序列首先经过前10层VGG19网络的特征预处理，然后视频序列转化成图像特征F, 再分成两个分支分别预测每个点的关键点置信度和亲和度向量，其中S是置信度网络, L是亲和度向量场网络:，/>，通过预测到的各个关节点置信度以后通过非极大值抑制检测出关节点，而后把检测出的关节点之间的亲和度向量进行线积分得到各关节点之间的亲和度，而后以图论的角度对求出来的人体关键点以及对应的亲和度进行建模，最后使用匈牙利算法得到人体骨架的最终识别结果。
其中，在所述精准模式下，在预处理过程中还要进行标准化和归一化处理，归一化公式为： 。其中，/>和/>分别为10ms内获取的三维数据的均值和方差；/>为原三维坐标向量，/>为标准动作归一化处理后的结果；还包括对骨架尺度进行标准化的步骤以及数据标准处理的步骤，所述数据标准处理的步骤包括：建立人体坐标系，以两个骨骼点取坐标平均值的方法，获取骨骼的标准中心点Pc(a,b,c,)，a,b,c为获取的中心点的x,y,z坐标值，取25个骨骼点与中心点的差，从而得到中心标准化后的人体骨骼坐标点Ps，通过欧式距离获取人体身高D，对中心标准化后的25个骨骼点坐标的x,y和z都除以身高D，得到尺度标准化的骨骼坐标，通过训练分类器来分析身体的不同部位。
其中，所述S5还包括以关节特征实时***关键点提取为基础的动作序列相似度度量的方法，包括以下步骤：
S51：对通过关节特征实时***后提取出来的25个关键点进行两两组合组成肢体向量特征
S52：将每两个肢体向量之间都做一次夹角余弦值计算，得到276个夹角余弦值，并组成一个向量，转化成了一个276维的余弦相似度向量；
S53：对所得到的跟练动作序列A与标准动作序列B的两组照片的每一张照片进行特征抽取，可以分别得到两组向量An和Bn，其中An代表动作序列A的第n张图片的向量表示结果，Bn代表动作序列B的第n张图片的向量表示结果，而后把所有的An拼接起来得到矩阵1，所有的Bn拼接起来得到矩阵2；
S54：使用对矩阵进行特征选择的方法去除多余的矩阵。
其中，所述S54还包括步骤：
S541：使用G3D数据集并将其中所有的动作序列都进行一次矩阵的提取，而后把所有的矩阵都展平为一维特征向量；
S542：计算所有特征的方差，把方差低于0.05的特征全部去掉；
S543：使用递归特征消除法来选择特征；
S544：将S541-S543所选出来的特征保存起来，命名为动作识别特征子集。
其中，所述S5还包括步骤：
S55：先把矩阵1和矩阵2按照所述动作识别特征子集进行提取，出来的结果就是矩阵1和矩阵2变成向量1和向量2，而后按计算向量1和向量2的余弦相似度；
S56：视频库中的运动视频已经提前经过余弦相似度算法计算得出对应的动作矩阵。
其中，所述S6具体包括步骤：
S61：由于An={a1,a2,a3,...,an}与Bn={b1,b2,b3,...,bn}都为n*276的矩阵， A矩阵与B矩阵的相似度算法为：
其中，表示矩阵A中的第i帧的余弦相似度向量，/>表示矩阵B中的第j帧的余弦相似度向量，/>表示矩阵A第i帧与矩阵B第j帧的相似度大小；
S62：根据上式求出的，通过下式评分公式计算得出具体评分：
其中，、/>为从相似度换算为百分制的映射参数，故得出的相应评分分数Score为百分制分数，/>表示矩阵A第i帧与矩阵B第j帧的相似度大小。
本发明还提供了一种使用上述方法的***，包括：
视频加载模块，用户购买了相应的视频后，通过Fabric的相关资源授权，在云数据库中预加载已购买的标准动作视频序列，供用户学习与模仿；
动作学习模块，用户跟练相关的体育运动视频，生成待纠正的动作视频序列并上传；
特征提取模块，对待对比的运动动作视频序列进行预处理，并作为关节特征实时***模型PostEX的输入，经过该模型的实时计算，输出并提取出该运动动作视频序列每一帧的骨架肢点二维图，在设置为***精准模式下，可以耗费更多流量与算力将运动动作视频序列输出为三维热图的形式；
动作识别模块，利用人体肢体夹角余弦值的特征提取算法，识别出运动具体的动作分类，然后从视频库中提取相对应的标准动作视频，使待纠正运动视频与标准动作视频相对应起来，并通过关节特征实时***模型PostEX转化为标准视频骨架肢点二维图，在精准模式下同样可输出为三维热图；
肢体纠正模块，利用待纠正运动视频和标准运动视频的骨架图序列，通过一个动作比对评分算法来计算出该运动员所做的运动动作与标准运动动作的相差度，并给出相应的评分以及纠正建议，评分记录也会相应的记录于Fabric区块链网络中，根据预先写入的智能合约，如果评分达到一定标准时，区块链网络可授权相关用户获取到相应的新的一期运动课程跟练视频，并继续跟练学习。
实施本发明实施例，具有如下有益效果：本发明针对现有运动爱好者准确地学习体育运动动作的这一需求，提出了一种多模块，人机交互，内嵌一系列体育运动动作识别及对比纠正算法的体育运动动作分析与纠正***，本发明使用一个评分与纠正算法将对应的带纠正运动动作和标准运动动作进行比对，计算两个动作序列之间的差异性，并且给出相应的评分以及具体纠正建议，从使用效果看具有不错的实用性与鲁棒性，本发明使用了区块链技术存储对用户的行为记录（包括课程购买记录、运动评分记录），运动标准视频全部存储于云数据库中，并通过Fabric区块链网络中的访问控制机制来授权云数据库来分发相应跟练课程给用户跟练，最后给出相应评分。评分记录也会相应的记录于Fabric区块链网络中，根据预先写入的智能合约，如果评分达到一定标准时，区块链网络可授权相关用户获取到相应的运动课程跟练第二期视频，并继续跟练学习。
附图说明
图1是本发明的方法总流程示意图；
图2 是本发明的模块分类图；
图3是本发明视频加载模块的结构流程图；
图4是本发明特征提取模块的结构流程图；
图5是本发明动作识别模块的结构流程图；
图6是本发明肢体纠正模块的结构流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，本发明实施例的一种基于Fabric区块链网络和关节特征余弦相似度的体育运动动作分析与纠正方法，主要步骤包括使用了区块链技术存储对用户的行为记录（包括课程购买记录、运动评分记录），运动标准视频全部存储于云数据库中，并通过Fabric区块链网络中的访问控制机制来授权云数据库来分发相应跟练课程给用户跟练。提出了一种新的关节特征实时***模型PostEX，用于提取运动视频的骨架图，提出了一种动作序列相似度计算算法，用于识别具体动作并从视频库中匹配相应动作进行对比，最后在运动动作分析与纠正***中通过一种评分与纠正算法给出相应评分与纠正反馈建议。评分记录也会相应的记录于Fabric区块链网络中，根据预先写入的智能合约，如果评分达到一定标准时，区块链网络可授权相关用户获取到相应的运动课程跟练第二期视频，并继续跟练学习。
具体实施步骤如下。
S1：预先在云数据库中预加载了标准动作视频序列，供用户进行有针对性、选择性地学习。视频加载模块分为两大部分，分别为标准视频加载和用户视频加载。标准视频加载文件夹包括多种热门运动训练项目分别为射击、拳击、高尔夫、网球、保龄球、开车等。每类中均有多种片段供用户选择作为标准视频进行跟练。用户视频加载文件夹为动作学习模块中用户保存的跟练视频，可加载进入***总结经验。
S2：获取用户存入Fabric区块链网络中的相应体育运动动作视频的购买记录，由Fabric区块链网络对云数据库进行授权，所述云数据库分发相应已购买的运动教学视频给用户，对用户的整个跟练过程会用摄像头进行拍摄并保存为待纠正运动动作视频，用户完成训练后，所述待纠正运动动作视频被传入***中等待处理。
用户购买了相应的视频后，可通过Fabric的相关资源授权，在云数据库中预加载已购买的标准动作视频序列，可供用户学习与模仿。
具体的Fabric资源授权流程如下：
首先，在Fabric区块链网络中，设置一个日志通道，并在日志通道中设置一个分布式账本，用于记录用户行为以及存储日志记录。该分布式账本是去中心化的，其副本存储在所有的用户节点中，并进行同步更新。用户行为记录会以追加的方式记录到Fabric区块链网络中，并使用加密技术保证一旦将记录添加到账本中的话就无法再次修改。
用户首次在应用程序端登录需要注册自己的身份信息，并且返回用户的密钥对(sk，pk)，需要注意的是只有用户知道自己的私钥sk，Fabric区块链网络中的其他节点都可以轻易得到用户的公钥pk。后面用户需要再次登录时，可以直接使用该密钥对登录应用程序进行相关运动学习流程操作。
用户进入应用程序后，可以购买相关运动教学课程视频，购买的记录会记录在本地区块中，待区块写满后会广播到Fabric区块链网络并进行验证和正式的上链过程。完成上链过程后，存储了该用户行为记录的区块才正式地加入进来Fabric区块链网络中。
Fabric区块链网络中的管理员节点可以查询到相关用户行为记录，并根据该行为记录对指定教学课程进行签名和分发给相应用户。其中，管理员节点使用管理员私钥、用户公钥对指定教学课程进行签名，而用户端使用用户私钥对该签名进行解密，从而得到教学课程索引，并在云数据库中下载相关教学课程进行学习。
在Fabric资源授权流程中所提到的待验证区块的上链过程主要有如下步骤：
步骤1：Fabric区块链网络中的某个节点中的待验证区块已经写满，则将该验证区块提交到Fabric区块链网络中，并将其发送给所有的节点。
步骤2：在接受到该验证区块后，Fabric区块链网络中的每个节点都会对该区块进行验证，验证的内容包括检查区块信息是否符合网络中的规则和标准，以及验证发起方是否具有足够的权限和资格提交该区块。
步骤3：验证通过的节点会对该待验证区块进行背书，即对该区块的有效性以及正确性进行认可和验证。在Fabric区块链网络中，设定达到至少有50%的节点对该区块进行背书，就可以确认该区块的有效性。
步骤4：一旦达到背书阈值，Fabric区块链网络会将该区块标记为“已确认”，并将该区块正式地存储在Fabric区块链网络中，同时各个节点更新分布式账本的副本，永久保存于Fabric区块链网络中。
S3：对待纠正运动动作视频序列进行预处理，使视频每一帧与标准动作视频素材库中相应的标准动作视频序列里的每一帧一一匹配。
当用户需要对跟练过的体育动作进行比对和纠正时，在该模块中会先对跟练视频动作序列A进行采样（视频库中的标准运动动作视频序列已预先采样）。采样流程如下：
为了从跟练视频动作序列提取出来的帧数与视频库中视频序列的帧数一致，本发明采用的采样方法是滑动窗口采样法。具体地说就是在跟练视频动作序列中等间距地取x张图片（视频库中的标准运动动作视频序列同样已提前采样滑动窗口采样法等间距地取了x张图片），从而得到帧数量相同的视频序列。
该模块主要使用了关节特征实时***PostEX，即一种人体关键点识别网络结构。该网络结构可以对包括受体、脚、面部等关键点进行坐标提取，适用于单人和多人，可以很好地完成人体动作、面部表情、手指运动等姿态估计任务，具有很好的鲁棒性。以25个身体部位作为关键点识别，运算时间与检测出的人数无关。输入主要为一组图片，一个视频序列或者是网络摄像头的视频流。输出为原有图片组或者视频帧+关键点展示。
特征提取的整体流程如下：
首先，将输入的视频进行预处理，预处理过程有：1）采用滑动窗口采样法对视频进行等间距采样，得到与视频库视频帧数一样的待纠正运动视频。2）因为此***的目的为捕获人体动作，与视频的背景无关，故设法排除视频背景的干扰，本发明采用将原RGB帧都转换为灰度表示，减小视频内存的同时也能避免颜色差异。3）还采用了空间增强的方法去除了背景，从而达到只研究人体动作本身的效果。4）另外在RGB帧转换为灰度帧的过程中可能会因为随机噪声产生尖锐过渡，为了消除此类影响，本发明使用了一个平均滤波器减小随机噪声的产生。
接着，将预处理的视频序列首先经过前10层VGG19网络的特征预处理，然后视频序列转化成图像特征F, 再分成两个分支分别预测每个点的关键点置信度和亲和度向量。其中S是置信度网络, L是亲和度向量场网络:，/>。通过预测到的各个关节点置信度以后通过NMS（非极大值抑制）来检测出关节点。而后把检测出的关节点之间的亲和度向量进行线积分得到各关节点之间的亲和度。而后就可以图论的角度对求出来的人体关键点以及对应的亲和度进行建模。这样接下来就把人体骨架的姿态估计问题转化成了多个二分匹配的问题，最后使用匈牙利算法得到人体骨架的最终识别结果。
在精准模式下，因为需要输出为三维人体骨架图，且由于拍摄角度与人物高度的不同，从而提取出来的三维骨架图坐标容易出现偏差，故在预处理过程中还要进行标准化和归一化处理。归一化公式为： 。其中，/>和/>分别为10ms内获取的三维数据的均值和方差；/>为原三维坐标向量，/>为标准动作归一化处理后的结果。由于不同人的身高以及胖瘦存在很大区别，造成同一个动作序列的骨骼关节点坐标存在差异，因此需要对骨架尺度进行标准化。虽然人的个体有差异，但是人的各部分尺寸和身高的比例相差无几。因此，利用人体各关节和身高比例，提出数据标准化的方法。三维骨骼数据标准化思路是，建立人体坐标系，以两个骨骼点取坐标平均值的方法，获取骨骼的标准中心点Pc(a,b,c,)，a,b,c为获取的中心点的x,y,z坐标值，取25个骨骼点与中心点的差，从而得到中心标准化后的人体骨骼坐标点Ps。通过欧式距离获取人体身高D，对中心标准化后的25个骨骼点坐标的x,y和z都除以身高D，得到尺度标准化的骨骼坐标。
该实时计算***利用机器学习的方法对人体的深度图像进行部位分配，这里是通过训练分类器来分析身体的不同部位（比如手臂、头部、躯干、手部等）。对于训练分类器，从一个大型运动捕捉数据库中进行采样，生成各种形状和大小的人体姿势深度图像，同时使用的是一个随机决策森林分类器，决策树事先用一些标记了人体区位的深度图像来训练，决策树在训练过程中不断地优化，待到决策树在指定人体区位的深度图像上得到了准确的分类，这些经过训练的决策树会得到每个像素在每个人体区位上的概率，接下来的步骤可为每个人体区位计算出可能性最高的区域。最后是计算分类器预测的人体关节点位置，形成最后的骨骼数据。
S4：输入预处理后的视频序列，使用关节特征实时***模型PostEX进行实时计算，输出并提取出该运动动作视频序列每一帧的肢体关键点坐标，当用户设置成精准模式下，输出为三维热图的形式。
一些传统的人体相似度度量算法设计简单，耗费的运算资源和运算时间也少，但是效果不是那么好。而使用深度学习方法训练所需要的数据集太大，耗费的计算资源太多，且训练的时间也太长。因此，本发明通过一个以关节特征实时***关键点提取为基础的动作序列相似度度量算法。
该模块计算出跟练动作序列A与标准动作序列B的相似度具体流程如下：
步骤1：对通过关节特征实时***后提取出来的25个关键点进行两两组合组成肢体向量特征。组合的规则为：如果关节点i（坐标为（，/>））与关节点j（坐标为（/>，/>））之间存在肢体，则肢体向量特征表示为（/>-/>-/>）;如果关节点i与关节点j之间不存在肢体，则肢体向量特征表示为/>。
步骤2：根据人体动作的识别结果可以得到每一幅人体骨架都可以得到24个肢体，所以经过步骤1的公式本发明一共可以得到24个有效的非零肢体肢体向量。每两个肢体向量之间都做一次夹角余弦值计算，共可得到276个夹角余弦值，再把这276个夹角余弦值组成一个向量，这样一张图片在经过上面的单张图片特征抽取之后就转化成了一个276维的余弦相似度向量。
步骤3：而后本发明对所得到的跟练动作序列A与标准动作序列B的两组照片的每一张照片进行特征抽取，可以分别得到两组向量An和Bn,其中An代表动作序列A的第n张图片的向量表示结果,Bn代表动作序列B的第n张图片的向量表示结果。而后本发明把所有的An拼接起来得到矩阵1，所有的Bn拼接起来得到矩阵2。
步骤4：在得到矩阵之后，还要考虑到一个问题就是经过上述步骤以后所得到的矩阵所得到的维数为276n。这个维数是非常大的，而且在动作序列完成的过程当中肯定有一些矩阵的值是比较多余的。而无法把那些多余的特征找出来并且清除是当前基于骨架的人体动作识别的一个难题。所以本发明设计了一个对矩阵进行特征选择的方法，具体的步骤如下所示：
①本发明先找到一个人体动作数据集叫做G3D数据集
②把G3D数据集里面的所有的动作序列都进行一次矩阵的提取，而后把所有的矩阵都展平为一维特征向量。
③计算所有特征的方差。把方差低于0.05的特征全部去掉。因为这代表着在所有的动作序列的过程当中这些特征根本就没什么变化，所以这些特征对于人体动作序列的表征根本就是多余的，没有什么参考价值。
④过滤掉方差较低的特征以后使用递归特征消除法来选择特征。递归特征消除法的具体实施步骤如下所示：
（1）先把原始的特征集 D 按照全部作为训练集作为输入输进去机器学习算法，然后根据机器学习算法的效果对原有的特征根据某些属性（例如 feature_importances_属性进行排序)
（2）剔除掉一些在机器学习算法中表现比较差的特征，保留在机器学习算法中表现较好的特征构成新的特征集 D1。
（3）D1 作为输入再次输入机器学习算法当中，进行和①②一样的操作，而后往复循环地进重复①②的操作，直到所选特征数量达到要求缩减的数量。
在这里本发明分别使用随机森林，Lightgbm和xgboost来进行RFE特征选择。每一个学习器都可以得到一个特征子集。而后取三个特征子集的交集作为最终的特征选择输出。
⑤把从①到④所选出来的特征保存起来，命名为“动作识别特征子集”
步骤5：先把矩阵1和矩阵2按照“动作识别特征子集”进行提取，出来的结果就是矩阵1和矩阵2变成向量1和向量2。而后按计算向量1和向量2的余弦相似度，计算的结果就是两个动作序列的相似度。该相似度值越高，表示跟练动作越标准。
步骤6：视频库中的运动视频已经提前经过余弦相似度算法计算得出对应的动作矩阵。计算出跟练动作矩阵后，只需要按照步骤5的方法在视频库中搜索相似度最高的相关标准运动矩阵，这样跟练动作视频便与标准运动视频匹对了，从而得到跟练动作具体名称。
S5：利用人体肢体夹角余弦值的特征提取算法把提取出来的肢体关键点坐标值特征转化为肢体向量值特征，再转化为肢体余弦相似度特征值；将经过提取之后的动作表征来在运动动作素材视频库中搜索向量值余弦相似度最相近的运动动作，从而识别出用户所作出的具体运动动作名称，并使待纠正运动动作视频与标准运动动作视频对应。
以动作识别模块中的待纠正运动矩阵An与标准运动矩阵Bn作为输入，通过一个动作比对评分算法计算出该运动员所做的运动动作与标准运动动作的相差度，并给出相应的评分以及纠正建议。具体算法流程如下。
步骤1：由于An={a1,a2,a3,...,an}(ai为第i帧的余弦相似度向量)与Bn={b1,b2,b3,...,bn}(bi为第i帧的余弦相似度向量)都为n*276的矩阵（由n个余弦相似度向量组成），故A矩阵与B矩阵的相似度算法为：
其中，表示矩阵A中的第i帧的余弦相似度向量，/>表示矩阵B中的第j帧的余弦相似度向量，/>表示矩阵A第i帧与矩阵B第j帧的相似度大小。
步骤2：根据上式求出的，通过下式评分公式计算得出具体评分：
其中，、/>为从相似度换算为百分制的映射参数，故得出的相应评分分数Score为百分制分数，/>表示矩阵A第i帧与矩阵B第j帧的相似度大小。
用户可以查看视频序列相似度得分柱状图，从而观察自己肢体的动作得分。之后，查看学习视频图像帧的人体姿态相似度，观察每个图像帧的相似度，计算结果为百分制的数值。最后，查看视频人体每部分肢体的相似度，通过选择各肢体部位，生成整个时间序列上该肢体相似度计算结果的曲线，更细致地提供需要训练修正的时刻信息，以便针对性地纠正动作。
每一次的评分记录会相应地加密成哈希数据后以区块的形式存入Fabric区块链网络中，并且根据预先写入的智能合约，如果评分达到一定标准时，区块链网络中的管理员节点可授权相关用户获取到相应的运动课程跟练第二期视频，并继续跟练学习。
S6：使用评分与纠正算法进行待纠正运动动作骨架图与标准运动动作骨架图的比较，提供相应的评分以及动作纠正建议，使用交互界面把配比的反馈结果返回给用户，并提供差异详情和具体动作详细指导文字。
为方便用户使用功能界面实现各种功能，***首页展示给用户一些操作指导的使用说明文字。功能界面中将***设计并实现的功能通过按钮、文字等方式引导用户使用并实现各种功能的效果。反馈提示为用户根据***提示进行相应操作后，***将提供基于该操作对应的反馈结果供用户查看。
S7：将评分记录加密并以区块的形式存入Fabric区块链网络中，并且根据预先写入的智能合约，如果评分达到一定标准时，区块链网络授权相关用户获取到相应的新的一期运动课程跟练视频，并继续跟练学习。
本发明实施例还提供了一种使用上述方法的基于Fabric区块链网络以及关节特征余弦相似度算法的体育运动动作分析与纠正方法的***，如图2所示，包括：
一、视频加载模块：
如图3所示，预先在云数据库中预加载了标准动作视频序列，供用户进行有针对性、选择性地学习。视频加载模块分为两大部分，分别为标准视频加载和用户视频加载。标准视频加载文件夹包括多种热门运动训练项目分别为射击、拳击、高尔夫、网球、保龄球、开车等。每类中均有多种片段供用户选择作为标准视频进行跟练。用户视频加载文件夹为动作学习模块中用户保存的跟练视频，可加载进入***总结经验。用户购买了相应的视频后，可通过Fabric的相关资源授权，在云数据库中预加载已购买的标准动作视频序列，可供用户学习与模仿。
具体的Fabric资源授权流程如下：
首先，在Fabric区块链网络中，设置一个日志通道，并在日志通道中设置一个分布式账本，用于记录用户行为以及存储日志记录。该分布式账本是去中心化的，其副本存储在所有的用户节点中，并进行同步更新。用户行为记录会以追加的方式记录到Fabric区块链网络中，并使用加密技术保证一旦将记录添加到账本中的话就无法再次修改。
用户首次在应用程序端登录需要注册自己的身份信息，并且返回用户的密钥对(sk，pk)，需要注意的是只有用户知道自己的私钥sk，Fabric区块链网络中的其他节点都可以轻易得到用户的公钥pk。后面用户需要再次登录时，可以直接使用该密钥对登录应用程序进行相关运动学习流程操作。
用户进入应用程序后，可以购买相关运动教学课程视频，购买的记录会记录在本地区块中，待区块写满后会广播到Fabric区块链网络并进行验证和正式的上链过程。完成上链过程后，存储了该用户行为记录的区块才正式地加入进来Fabric区块链网络中。
Fabric区块链网络中的管理员节点可以查询到相关用户行为记录，并根据该行为记录对指定教学课程进行签名和分发给相应用户。其中，管理员节点使用管理员私钥、用户公钥对指定教学课程进行签名，而用户端使用用户私钥对该签名进行解密，从而得到教学课程索引，并在云数据库中下载相关教学课程进行学习。
在Fabric资源授权流程中所提到的待验证区块的上链过程主要有如下步骤：
步骤1：Fabric区块链网络中的某个节点中的待验证区块已经写满，则将该验证区块提交到Fabric区块链网络中，并将其发送给所有的节点。
步骤2：在接受到该验证区块后，Fabric区块链网络中的每个节点都会对该区块进行验证，验证的内容包括检查区块信息是否符合网络中的规则和标准，以及验证发起方是否具有足够的权限和资格提交该区块。
步骤3：验证通过的节点会对该待验证区块进行背书，即对该区块的有效性以及正确性进行认可和验证。在Fabric区块链网络中，设定达到至少有50%的节点对该区块进行背书，就可以确认该区块的有效性。
步骤4：一旦达到背书阈值，Fabric区块链网络会将该区块标记为“已确认”，并将该区块正式地存储在Fabric区块链网络中，同时各个节点更新分布式账本的副本，永久保存于Fabric区块链网络中。
二、动作学习模块：
该模块供用户观看视频加载模块导入的标准视频，并根据标准视频的动作跟练。用户开始学习时，可以选择学习视频关键动作，待所有动作学习完成后，再跟练完整视频。选用红外传感器实时跟练拆解动作，并根据反馈结果及时矫正动作。完成拆解动作学习后，选用单目摄像头进行跟练并保存视频，方便姿态感知模块提取骨骼关键点。跟练完成后生成跟练动作视频序列并上传。
三、特征提取模块：
如图4所示，当用户需要对跟练过的体育动作进行比对和纠正时，在该模块中会先对跟练视频动作序列A进行采样（视频库中的标准运动动作视频序列已预先采样）。采样流程如下：
为了从跟练视频动作序列提取出来的帧数与视频库中视频序列的帧数一致，本发明采用的采样方法是滑动窗口采样法。具体地说就是在跟练视频动作序列中等间距地取x张图片（视频库中的标准运动动作视频序列同样已提前采样滑动窗口采样法等间距地取了x张图片），从而得到帧数量相同的视频序列。
该模块主要使用了关节特征实时***PostEX，即一种人体关键点识别网络结构。该网络结构可以对包括受体、脚、面部等关键点进行坐标提取，适用于单人和多人，可以很好地完成人体动作、面部表情、手指运动等姿态估计任务，具有很好的鲁棒性。以25个身体部位作为关键点识别，运算时间与检测出的人数无关。输入主要为一组图片，一个视频序列或者是网络摄像头的视频流。输出为原有图片组或者视频帧+关键点展示。
特征提取的整体流程如下：
首先，将输入的视频进行预处理，预处理过程有：1）采用滑动窗口采样法对视频进行等间距采样，得到与视频库视频帧数一样的待纠正运动视频。2）因为此***的目的为捕获人体动作，与视频的背景无关，故设法排除视频背景的干扰，本发明采用将原RGB帧都转换为灰度表示，减小视频内存的同时也能避免颜色差异。3）还采用了空间增强的方法去除了背景，从而达到只研究人体动作本身的效果。4）另外在RGB帧转换为灰度帧的过程中可能会因为随机噪声产生尖锐过渡，为了消除此类影响，本发明使用了一个平均滤波器减小随机噪声的产生。
接着，将预处理的视频序列首先经过前10层VGG19网络的特征预处理，然后视频序列转化成图像特征F, 再分成两个分支分别预测每个点的关键点置信度和亲和度向量。其中S是置信度网络, L是亲和度向量场网络:，/>。通过预测到的各个关节点置信度以后通过NMS（非极大值抑制）来检测出关节点。而后把检测出的关节点之间的亲和度向量进行线积分得到各关节点之间的亲和度。而后就可以图论的角度对求出来的人体关键点以及对应的亲和度进行建模。这样接下来就把人体骨架的姿态估计问题转化成了多个二分匹配的问题，最后使用匈牙利算法得到人体骨架的最终识别结果。
在精准模式下，因为需要输出为三维人体骨架图，且由于拍摄角度与人物高度的不同，从而提取出来的三维骨架图坐标容易出现偏差，故在预处理过程中还要进行标准化和归一化处理。归一化公式为：。其中，/>和/>分别为10ms内获取的三维数据的均值和方差；/>为原三维坐标向量，/>为标准动作归一化处理后的结果。由于不同人的身高以及胖瘦存在很大区别，造成同一个动作序列的骨骼关节点坐标存在差异，因此需要对骨架尺度进行标准化。虽然人的个体有差异，但是人的各部分尺寸和身高的比例相差无几。因此，利用人体各关节和身高比例，提出数据标准化的方法。三维骨骼数据标准化思路是，建立人体坐标系，以两个骨骼点取坐标平均值的方法，获取骨骼的标准中心点Pc(a,b,c,)，a,b,c为获取的中心点的x,y,z坐标值，取25个骨骼点与中心点的差，从而得到中心标准化后的人体骨骼坐标点Ps。通过欧式距离获取人体身高D，对中心标准化后的25个骨骼点坐标的x,y和z都除以身高D，得到尺度标准化的骨骼坐标。
该实时计算***利用机器学习的方法对人体的深度图像进行部位分配，这里是通过训练分类器来分析身体的不同部位（比如手臂、头部、躯干、手部等）。对于训练分类器，从一个大型运动捕捉数据库中进行采样，生成各种形状和大小的人体姿势深度图像，同时使用的是一个随机决策森林分类器，决策树事先用一些标记了人体区位的深度图像来训练，决策树在训练过程中不断地优化，待到决策树在指定人体区位的深度图像上得到了准确的分类，这些经过训练的决策树会得到每个像素在每个人体区位上的概率，接下来的步骤可为每个人体区位计算出可能性最高的区域。最后是计算分类器预测的人体关节点位置，形成最后的骨骼数据。
四、动作识别模块：
如图5所示，一些传统的人体相似度度量算法设计简单，耗费的运算资源和运算时间也少，但是效果不是那么好。而使用深度学习方法训练所需要的数据集太大，耗费的计算资源太多，且训练的时间也太长。因此，本发明设计了一个以关节特征实时***关键点提取为基础的动作序列相似度度量算法。
该模块计算出跟练动作序列A与标准动作序列B的相似度具体流程如下：
步骤1：对通过关节特征实时***后提取出来的25个关键点进行两两组合组成肢体向量特征。组合的规则为：如果关节点i（坐标为（，/>））与关节点j（坐标为（/>，/>））之间存在肢体，则肢体向量特征表示为（/>-/>-/>）;如果关节点i与关节点j之间不存在肢体，则肢体向量特征表示为/>。
步骤2：根据人体动作的识别结果可以得到每一幅人体骨架都可以得到24个肢体，所以经过步骤1的公式本发明一共可以得到24个有效的非零肢体肢体向量。每两个肢体向量之间都做一次夹角余弦值计算，共可得到276个夹角余弦值，再把这276个夹角余弦值组成一个向量，这样一张图片在经过上面的单张图片特征抽取之后就转化成了一个276维的余弦相似度向量。
步骤3：而后本发明对所得到的跟练动作序列A与标准动作序列B的两组照片的每一张照片进行特征抽取，可以分别得到两组向量An和Bn,其中An代表动作序列A的第n张图片的向量表示结果,Bn代表动作序列B的第n张图片的向量表示结果。而后本发明把所有的An拼接起来得到矩阵1，所有的Bn拼接起来得到矩阵2。
步骤4：在得到矩阵之后，还要考虑到一个问题就是经过上述步骤以后所得到的矩阵所得到的维数为276n。这个维数是非常大的，而且在动作序列完成的过程当中肯定有一些矩阵的值是比较多余的。而无法把那些多余的特征找出来并且清除是当前基于骨架的人体动作识别的一个难题。所以本发明设计了一个对矩阵进行特征选择的方法，具体的步骤如下所示：
①本发明先找到一个人体动作数据集叫做G3D数据集
②把G3D数据集里面的所有的动作序列都进行一次矩阵的提取，而后把所有的矩阵都展平为一维特征向量。
③计算所有特征的方差。把方差低于0.05的特征全部去掉。因为这代表着在所有的动作序列的过程当中这些特征根本就没什么变化，所以这些特征对于人体动作序列的表征根本就是多余的，没有什么参考价值。
④过滤掉方差较低的特征以后使用递归特征消除法来选择特征。递归特征消除法的具体实施步骤如下所示：
（1）先把原始的特征集 D 按照全部作为训练集作为输入输进去机器学习算法，然后根据机器学习算法的效果对原有的特征根据某些属性（例如 feature_importances_属性进行排序)
（2）剔除掉一些在机器学习算法中表现比较差的特征，保留在机器学习算法中表现较好的特征构成新的特征集 D1。
（3）D1 作为输入再次输入机器学习算法当中，进行和①②一样的操作，而后往复循环地进重复①②的操作，直到所选特征数量达到要求缩减的数量。
在这里本发明分别使用随机森林，Lightgbm和xgboost来进行RFE特征选择。每一个学习器都可以得到一个特征子集。而后取三个特征子集的交集作为最终的特征选择输出。
⑤把从①到④所选出来的特征保存起来，命名为“动作识别特征子集”
步骤5：先把矩阵1和矩阵2按照“动作识别特征子集”进行提取，出来的结果就是矩阵1和矩阵2变成向量1和向量2。而后按计算向量1和向量2的余弦相似度，计算的结果就是两个动作序列的相似度。该相似度值越高，表示跟练动作越标准。
步骤6：视频库中的运动视频已经提前经过余弦相似度算法计算得出对应的动作矩阵。计算出跟练动作矩阵后，只需要按照步骤5的方法在视频库中搜索相似度最高的相关标准运动矩阵，这样跟练动作视频便与标准运动视频匹对了，从而得到跟练动作动作具体名称。
五：肢体纠正模块：
如图6所示，以动作识别模块中的待纠正运动矩阵An与标准运动矩阵Bn作为输入，通过一个动作比对评分算法计算出该运动员所做的运动动作与标准运动动作的相差度，并给出相应的评分以及纠正建议。具体算法流程如下。
步骤1：由于An={a1,a2,a3,...,an}(ai为第i帧的余弦相似度向量)与Bn={b1,b2,b3,...,bn}(bi为第i帧的余弦相似度向量)都为n*276的矩阵（由n个余弦相似度向量组成），故A矩阵与B矩阵的相似度算法为：
其中，表示矩阵A中的第i帧的余弦相似度向量，/>表示矩阵B中的第j帧的余弦相似度向量，/>表示矩阵A第i帧与矩阵B第j帧的相似度大小。
步骤2：根据上式求出的，通过下式评分公式计算得出具体评分：
其中，、/>为从相似度换算为百分制的映射参数，故得出的相应评分分数Score为百分制分数，/>表示矩阵A第i帧与矩阵B第j帧的相似度大小。
用户可以查看视频序列相似度得分柱状图，从而观察自己肢体的动作得分。之后，查看学习视频图像帧的人体姿态相似度，观察每个图像帧的相似度，计算结果为百分制的数值。最后，查看视频人体每部分肢体的相似度，通过选择各肢体部位，生成整个时间序列上该肢体相似度计算结果的曲线，更细致地提供需要训练修正的时刻信息，以便针对性地纠正动作。
每一次的评分记录会相应地加密成哈希数据后以区块的形式存入Fabric区块链网络中，并且根据预先写入的智能合约，如果评分达到一定标准时，区块链网络中的管理员节点可授权相关用户获取到相应的运动课程跟练第二期视频，并继续跟练学习。
该模块还包含功能界面及反馈提示。为方便用户使用功能界面实现各种功能，***首页展示给用户一些操作指导的使用说明文字。功能界面中将***设计并实现的功能通过按钮、文字等方式引导用户使用并实现各种功能的效果。反馈提示为用户根据***提示进行相应操作后，***将提供基于该操作对应的反馈结果供用户查看。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种基于Fabric区块链网络以及关节特征余弦相似度算法的体育运动动作分析与纠正方法，其特征在于，包括以下步骤：
S1：在云数据库中构建标准体育动作视频序列教学素材库；
S2：获取用户存入Fabric区块链网络中的相应体育运动动作视频的购买记录，由Fabric区块链网络对云数据库进行授权，所述云数据库分发相应已购买的运动教学视频给用户，对用户的整个跟练过程会用摄像头进行拍摄并保存为待纠正运动动作视频，用户完成训练后，所述待纠正运动动作视频被传入***中等待处理；
S3：对待纠正运动动作视频序列进行预处理，使视频每一帧与标准动作视频素材库中相应的标准动作视频序列里的每一帧一一匹配；
S4：输入预处理后的视频序列，使用关节特征实时***模型PostEX进行实时计算，输出并提取出该运动动作视频序列每一帧的肢体关键点坐标，当用户设置成精准模式下，输出为三维热图的形式；
S5：利用人体肢体夹角余弦值的特征提取算法把提取出来的肢体关键点坐标值特征转化为肢体向量值特征，再转化为肢体余弦相似度特征值；将经过提取之后的动作表征来在运动动作素材视频库中搜索向量值余弦相似度最相近的运动动作，从而识别出用户所作出的具体运动动作名称，并使待纠正运动动作视频与标准运动动作视频对应；
S6：使用评分与纠正算法进行待纠正运动动作骨架图与标准运动动作骨架图的比较，提供相应的评分以及动作纠正建议，使用交互界面把配比的反馈结果返回给用户，并提供差异详情和具体动作详细指导文字；
S7：将评分记录加密并以区块的形式存入Fabric区块链网络中，并且根据预先写入的智能合约，如果评分达到一定标准时，区块链网络授权相关用户获取到相应的新的一期运动课程跟练视频，并继续跟练学习。
2.根据权利要求1所述的基于Fabric区块链网络以及关节特征余弦相似度算法的体育运动动作分析与纠正方法，其特征在于，所述Fabric区块链网络的上链步骤包括：
S21：Fabric区块链网络中的某个节点中的待验证区块已经写满，则将该验证区块提交到Fabric区块链网络中，并将其发送给所有的节点；
S22：在接受到该验证区块后，Fabric区块链网络中的每个节点都对该区块进行验证，验证的内容包括检查区块信息是否符合网络中的规则和标准，以及验证发起方是否具有足够的权限和资格提交该区块；
S23：验证通过的节点会对该待验证区块进行背书，在Fabric区块链网络中，设定达到至少有50%的节点对该区块进行背书，则确认该区块的有效性；
S24：一旦达到背书阈值，Fabric区块链网络会将该区块标记为已确认，并将该区块正式地存储在Fabric区块链网络中，同时各个节点更新分布式账本的副本，永久保存于Fabric区块链网络中。
3.根据权利要求1所述的基于Fabric区块链网络以及关节特征余弦相似度算法的体育运动动作分析与纠正方法，其特征在于，所述摄像头包括单目摄像头与红外传感器，所述单目摄像头用于跟练并保存视频，所述红外传感器用于实时跟练拆解动作。
4.所述对待纠正运动动作视频序列进行预处理的步骤包括：使用滑动窗口的方法得到与视频库中帧数量相同的视频序列、将原RGB帧都转换为灰度表示、空间增强的方法去除了背景、使用平均滤波器减小随机噪声的产生；所述关节特征实时***模型PostEX进行特征提取的方法包括：
将预处理的视频序列首先经过前10层VGG19网络的特征预处理，然后视频序列转化成图像特征F, 再分成两个分支分别预测每个点的关键点置信度和亲和度向量，其中S是置信度网络, L是亲和度向量场网络:，/>，通过预测到的各个关节点置信度以后通过非极大值抑制检测出关节点，而后把检测出的关节点之间的亲和度向量进行线积分得到各关节点之间的亲和度，而后以图论的角度对求出来的人体关键点以及对应的亲和度进行建模，最后使用匈牙利算法得到人体骨架的最终识别结果。
5.根据权利要求4所述的基于Fabric区块链网络以及关节特征余弦相似度算法的体育运动动作分析与纠正方法，其特征在于，在所述精准模式下，在预处理过程中还要进行标准化和归一化处理，归一化公式为： 。其中，/>和/>分别为10ms内获取的三维数据的均值和方差；/>为原三维坐标向量，/>为标准动作归一化处理后的结果；还包括对骨架尺度进行标准化的步骤以及数据标准处理的步骤，所述数据标准处理的步骤包括：建立人体坐标系，以两个骨骼点取坐标平均值的方法，获取骨骼的标准中心点Pc(a,b,c,)，a,b,c为获取的中心点的x,y,z坐标值，取25个骨骼点与中心点的差，从而得到中心标准化后的人体骨骼坐标点Ps，通过欧式距离获取人体身高D，对中心标准化后的25个骨骼点坐标的x,y和z都除以身高D，得到尺度标准化的骨骼坐标，通过训练分类器来分析身体的不同部位。
6.根据权利要求5所述的基于Fabric区块链网络以及关节特征余弦相似度算法的体育运动动作分析与纠正方法，其特征在于，所述S5还包括以关节特征实时***关键点提取为基础的动作序列相似度度量的方法，包括以下步骤：
S51：对通过关节特征实时***后提取出来的25个关键点进行两两组合组成肢体向量特征；
S52：将每两个肢体向量之间都做一次夹角余弦值计算，得到276个夹角余弦值，并组成一个向量，转化成了一个276维的余弦相似度向量；
S53：对所得到的跟练动作序列A与标准动作序列B的两组照片的每一张照片进行特征抽取，可以分别得到两组向量An和Bn，其中An代表动作序列A的第n张图片的向量表示结果，Bn代表动作序列B的第n张图片的向量表示结果，而后把所有的An拼接起来得到矩阵1，所有的Bn拼接起来得到矩阵2；
S54：使用对矩阵进行特征选择的方法去除多余的矩阵。
7.根据权利要求6所述的基于Fabric区块链网络以及关节特征余弦相似度算法的体育运动动作分析与纠正方法，其特征在于，所述S54还包括步骤：
S541：使用G3D数据集并将其中所有的动作序列都进行一次矩阵的提取，而后把所有的矩阵都展平为一维特征向量；
S542：计算所有特征的方差，把方差低于0.05的特征全部去掉；
S543：使用递归特征消除法来选择特征；
S544：将S541-S543所选出来的特征保存起来，命名为动作识别特征子集。
8.根据权利要求7所述的基于Fabric区块链网络以及关节特征余弦相似度算法的体育运动动作分析与纠正方法，其特征在于，所述S5还包括步骤：
S55：先把矩阵1和矩阵2按照所述动作识别特征子集进行提取，出来的结果就是矩阵1和矩阵2变成向量1和向量2，而后按计算向量1和向量2的余弦相似度；
S56：视频库中的运动视频已经提前经过余弦相似度算法计算得出对应的动作矩阵。
9.根据权利要求8所述的基于Fabric区块链网络以及关节特征余弦相似度算法的体育运动动作分析与纠正方法，其特征在于，所述S6具体包括步骤：
S61：由于An={a1,a2,a3,...,an}与Bn={b1,b2,b3,...,bn}都为n*276的矩阵， A矩阵与B矩阵的相似度算法为：
其中，表示矩阵A中的第i帧的余弦相似度向量，/>表示矩阵B中的第j帧的余弦相似度向量，/>表示矩阵A第i帧与矩阵B第j帧的相似度大小；
S62：根据上式求出的，通过下式评分公式计算得出具体评分：
其中，、/>为从相似度换算为百分制的映射参数，故得出的相应评分分数Score为百分制分数，/>表示矩阵A第i帧与矩阵B第j帧的相似度大小。
10.一种运行权利要求1-9任一项的所述基于Fabric区块链网络以及关节特征余弦相似度算法的体育运动动作分析与纠正方法的***，包括：
视频加载模块，用户购买了相应的视频后，通过Fabric的相关资源授权，在云数据库中预加载已购买的标准动作视频序列，供用户学习与模仿；
动作学习模块，用户跟练相关的体育运动视频，生成待纠正的动作视频序列并上传；
特征提取模块，对待对比的运动动作视频序列进行预处理，并作为关节特征实时***模型PostEX的输入，经过该模型的实时计算，输出并提取出该运动动作视频序列每一帧的骨架肢点二维图，在设置为***精准模式下，可以耗费更多流量与算力将运动动作视频序列输出为三维热图的形式；
动作识别模块，利用人体肢体夹角余弦值的特征提取算法，识别出运动具体的动作分类，然后从视频库中提取相对应的标准动作视频，使待纠正运动视频与标准动作视频相对应起来，并通过关节特征实时***模型PostEX转化为标准视频骨架肢点二维图，在精准模式下同样可输出为三维热图；
肢体纠正模块，利用待纠正运动视频和标准运动视频的骨架图序列，通过一个动作比对评分算法来计算出该运动员所做的运动动作与标准运动动作的相差度，并给出相应的评分以及纠正建议，评分记录也会相应的记录于Fabric区块链网络中，根据预先写入的智能合约，如果评分达到一定标准时，区块链网络可授权相关用户获取到相应的新的一期运动课程跟练视频，并继续跟练学习。
CN202310739669.1A 2023-06-21 2023-06-21 一种融合区块链的体育运动动作分析与纠正方法及*** Pending CN116844084A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310739669.1A CN116844084A (zh) 2023-06-21 2023-06-21 一种融合区块链的体育运动动作分析与纠正方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310739669.1A CN116844084A (zh) 2023-06-21 2023-06-21 一种融合区块链的体育运动动作分析与纠正方法及***

Publications (1)

Publication Number Publication Date
CN116844084A true CN116844084A (zh) 2023-10-03

Family

ID=88171769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310739669.1A Pending CN116844084A (zh) 2023-06-21 2023-06-21 一种融合区块链的体育运动动作分析与纠正方法及***

Country Status (1)

Country Link
CN (1) CN116844084A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746513A (zh) * 2024-02-19 2024-03-22 成都体育学院 基于视频运动目标检测与融合的运动技术教学方法及***
CN118016242A (zh) * 2024-04-09 2024-05-10 南京康尼机电股份有限公司 一种人体运动功能纠正训练方案的生成方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746513A (zh) * 2024-02-19 2024-03-22 成都体育学院 基于视频运动目标检测与融合的运动技术教学方法及***
CN117746513B (zh) * 2024-02-19 2024-04-30 成都体育学院 基于视频运动目标检测与融合的运动技术教学方法及***
CN118016242A (zh) * 2024-04-09 2024-05-10 南京康尼机电股份有限公司 一种人体运动功能纠正训练方案的生成方法及***
CN118016242B (zh) * 2024-04-09 2024-06-07 南京康尼机电股份有限公司 一种人体运动功能纠正训练方案的生成方法及***

Similar Documents

Publication Publication Date Title
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
CN109191588B (zh) 运动教学方法、装置、存储介质及电子设备
US11776421B2 (en) Systems and methods for monitoring and evaluating body movement
CN108764120B (zh) 一种人体规范动作评价方法
CN116844084A (zh) 一种融合区块链的体育运动动作分析与纠正方法及***
CN110448870B (zh) 一种人体姿态训练方法
US11113988B2 (en) Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same
US11954869B2 (en) Motion recognition-based interaction method and recording medium
Zou et al. Intelligent fitness trainer system based on human pose estimation
CN114022512A (zh) 运动辅助方法、装置及介质
KR20220013347A (ko) 인공지능에 기반한 사용자 동작 인식을 이용한 체육 교육 관리 및 평가 시스템
CN112149472A (zh) 一种基于人工智能的肢体动作识别比对方法
Lin et al. The effect of real-time pose recognition on badminton learning performance
Yang et al. Research on face recognition sports intelligence training platform based on artificial intelligence
Guo et al. PhyCoVIS: A visual analytic tool of physical coordination for cheer and dance training
CN113947811A (zh) 一种基于生成对抗网络的太极拳动作校正方法及***
KR20170140756A (ko) 동작 교본 저작 장치, 동작 자가 학습 장치 및 방법
Li et al. [Retracted] Intelligent Correction Method of Shooting Action Based on Computer Vision
Talaat Novel deep learning models for yoga pose estimator
CN112185508A (zh) 一种基于人工智能的眼保健操质量评估***
Jiang Application of motion trajectory recognition based on remote sensing image optical processing in optimizing swimming training schemes
CN115578786A (zh) 运动视频检测方法、装置、设备及存储介质
Chen et al. Digital Twin Coaching for Openpose
CN117423166B (zh) 一种根据人体姿态图像数据的动作识别方法及***
CN114821812B (zh) 一种基于深度学习的花样滑冰选手骨骼点动作识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination