CN109635644A - 一种用户动作的评价方法、装置和可读介质 - Google Patents

一种用户动作的评价方法、装置和可读介质 Download PDF

Info

Publication number
CN109635644A
CN109635644A CN201811296176.0A CN201811296176A CN109635644A CN 109635644 A CN109635644 A CN 109635644A CN 201811296176 A CN201811296176 A CN 201811296176A CN 109635644 A CN109635644 A CN 109635644A
Authority
CN
China
Prior art keywords
movement
standard
frame image
posture information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811296176.0A
Other languages
English (en)
Inventor
李宇欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Health Technology Co Ltd
Original Assignee
Beijing Health Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Health Technology Co Ltd filed Critical Beijing Health Technology Co Ltd
Priority to CN201811296176.0A priority Critical patent/CN109635644A/zh
Publication of CN109635644A publication Critical patent/CN109635644A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用户动作的评价方法、装置和可读介质，涉及运动健康技术领域，本发明提供的方法中，采集用户跟随标准运动视频进行运动时的若干帧图像；针对每一帧图像，利用预先训练的姿态识别模型对该图像进行姿态识别，确定表征该图像中用户动作呈现的姿态信息；分别确定基于各个帧图像确定出的姿态信息和标准运动视频中与采集的图像相对应的标准图像中呈现的姿态信息之间的差距；基于各个帧图像确定出差距，确定用户动作的评价结果。通过采用上述方法，可以客观且准确地确定出用户跟随标准运动视频运动时的动作的评价结果。

Description

一种用户动作的评价方法、装置和可读介质
技术领域
本发明涉及运动健康技术领域，尤其涉及一种用户动作的评价方法、装置和可读介质。
背景技术
人体关节数量众多，活动范围比较大，因而人体运动具有很强的灵活性和多变性。同时运动种类繁多，在不同运动专业领域，运动的评判标准大不相同。目前针对运动准确性的评判主要依据有经验的专业人士人工判断，这种方法对人的依赖性很高，因此会存在对用户完成的动作的评判结果不准确的问题。
发明内容
本发明实施例提供一种用户动作的评价方法、装置和可读介质，用以提高运动的评价结果的准确性。
第一方面，本发明实施例提供一种用户动作的评价方法，包括：
采集用户跟随标准运动视频进行运动时的至少一帧帧图像；
针对每一帧图像，利用预先训练的姿态识别模型对该图像进行姿态识别，确定表征该图像中用户动作呈现的姿态信息；
分别确定基于各个帧图像确定出的姿态信息和标准运动视频中与采集的图像相对应的标准图像中呈现的姿态信息之间的差距；
基于各个帧图像确定出差距，确定用户动作的评价结果。
较佳地，所述姿态信息包括人体特征部位的特征信息；以及分别确定基于各个帧图像确定出的姿态信息和标准运动视频中与采集的图像相对应的标准图像中呈现的姿态信息之间的差距，具体包括：
针对每一帧图像，均执行下述过程：
确定该帧图像的人体特征部位的特征信息构成的至少一个基础动作；
针对每一基础动作，确定该基础动作与标准运动动作库中与该基础动作对应的标准基础动作之间的差距，其中，所述标准运动动作库中包含若干个标准基础动作，所述标准基础动作为对所述标准运动视频中的用户动作进行分解得到的；
基于各个基础动作确定出的差距，确定该帧图像的姿态信息和标准运动视频中与该帧图像相对应的标准图像中呈现的姿态信息之间的差距。
优选地，所述姿态识别模型为对VGG网络与卷积层组进行训练得到的，其中，所述卷积层组包含若干个连续的卷积层。
可选地，所述方法，还包括：
对所述评价结果进行量化处理，得到量化运动结果；以及
基于量化运动结果，输出针对所述用户动作的指导建议。
第二方面，本发明实施例提供一种用户动作的评价装置，包括：
采集单元，用于采集用户跟随标准运动视频进行运动时的至少一帧图像；
姿态识别单元，用于针对每一帧图像，利用预先训练的姿态识别模型对该图像进行姿态识别，确定表征该图像中用户动作呈现的姿态信息；
第一确定单元，用于分别确定基于各个帧图像确定出的姿态信息和标准运动视频中与采集的图像相对应的标准图像中呈现的姿态信息之间的差距；
第二确定单元，基于各个帧图像确定出差距，确定用户动作的评价结果。
较佳地，所述姿态信息包括人体特征部位的特征信息；以及
所述第一确定单元，具体用于针对每一帧图像，均执行下述过程：确定该帧图像的人体特征部位的特征信息构成的至少一个基础动作；针对每一基础动作，确定该基础动作与标准运动动作库中与该基础动作对应的标准基础动作之间的差距，其中，所述标准运动动作库中包含若干个标准基础动作，所述标准基础动作为对所述标准运动视频中的用户动作进行分解得到的；基于各个基础动作确定出的差距，确定该帧图像的姿态信息和标准运动视频中与该帧图像相对应的标准图像中呈现的姿态信息之间的差距。
优选地，所述姿态识别模型为对VGG网络与卷积层组进行训练得到的，其中，所述卷积层组包含若干个连续的卷积层。
可选地，所述装置，还包括：
量化处理单元，用于对所述评价结果进行量化处理，得到量化运动结果；
输出单元，用于基于量化处理单元得到的量化运动结果，输出针对所述用户动作的指导建议。
第三方面，本发明实施例提供一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行本申请提供的用户动作的评价装置方法。
第四方面，本发明实施例提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请提供的用户动作的评价装置方法。
本发明有益效果：
本发明实施例提供的用户动作的评价方法、装置和可读介质，采集用户跟随标准运动视频进行运动时的至少一帧图像；针对每一帧图像，利用预先训练的姿态识别模型对该图像进行姿态识别，确定表征该图像中用户动作呈现的姿态信息；分别确定基于各个帧图像确定出的姿态信息和标准运动视频中与采集的图像相对应的标准图像中呈现的姿态信息之间的差距；基于各个帧图像确定出差距，确定用户动作的评价结果。通过采用上述方法，可以客观且准确地确定出用户跟随标准运动视频运动时的动作的评价结果。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的实施用户动作的评价方法的计算装置10的结构示意图；
图2为本发明实施例提供的用户动作的评价方法的流程示意图之一；
图3为本发明实施例提供的确定基于各个帧图像确定出的姿态信息和标准运动视频中与采集的图像相对应的标准图像中呈现的姿态信息之间的差距的流程示意图；
图4为本发明实施例提供的用户动作的评价方法的流程示意图之二；
图5为本发明实施例提供的用户动作的评价装置的结构示意图；
图6为本发明实施例提供的实施用户动作的评价方法的电子设备的硬件结构示意图。
具体实施方式
本发明实施例提供的用户动作的评价方法、装置和可读介质，用以提高运动的评价结果的准确性。
以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
为了更好地理解本发明，首先对本发明涉及的技术术语进行解释：
1、VGG网络简介VGG网络是在AlexNet网络的基础上发展而来的，其主要贡献在于使用非常小的3*3的卷积核进行网络设计，并且将网络深度增加到16-19层。
2、卷积神经网络(Convolutional Neural Networks，CNN)，通常被用来张量形式的输入，例如一张彩色图象对应三个二维矩阵，分别表示在三个颜色通道的像素强度。一个典型CNN的结构可以被解释为一系列阶段的组合。最开始的几个阶段主要由两种层组成：卷积层(convolutional layer)和采样层(pooling layer)；其中，卷积层的输入和输出都是多重矩阵，卷积层包含多个卷积核，每个卷积核都是一个矩阵，每一个卷积核相当于是一个滤波器，将二维矩阵输入到卷积层中，该卷积层可以输出一张特定的特征图，每张特征图也就是卷积层的一个输出单元。然后通过一个非线性激活函数(如ReLU)进一步把特征图传递到下一层。不同特征图使用不同卷积核，但是同一个特征图中的不同位置和输入图之间的连接均为共享权值，最后通过softmax计算最优解。
3、基于深度学习的图像识别技术具有自动提取特征的能力，是一种针对表示的学习。深度学习允许多个处理层组成复杂的计算模型，从而自动获取数据的表示和多个抽象级别。深度学习方法包括多个层次，每一层完成一次变换，而每一次变换通常是非线性变换，把某个较低级别的特征表示成更抽象的特征。更多的层数意味着可以学习到更加复杂的特征。对于图像分类，神经网络会自动剔除不相关的特征，如背景，位置等，并自动放大有用的特征，例如形状等。后续的网络层会把学习到特征组合起来，实现物体识别，这往往通过全连接层来完成。
为了解决现有技术无法客观地评价用户的运动动作的问题，本发明实施例给出了解决方案，提出了一种计算装置10，由计算装置10来实施本发明提供的用户动作的评价方法，该计算装置可以以通用计算设备的形式表现，该通用计算设备可以为终端或服务器等。下面参照图1来描述根据本发明的计算装置10。图1显示的计算装置10仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图1所示，计算装置10以通用计算设备的形式表现。计算装置10的组件可以包括但不限于：上述至少一个处理单元11、上述至少一个存储单元12、连接不同***组件(包括存储单元12和处理单元11)的总线13。
总线13表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、***总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储单元12可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)121和/或高速缓存存储器122，还可以进一步包括只读存储器(ROM)123。
存储单元12还可以包括具有一组(至少一个)程序模块124的程序/实用工具125，这样的程序模块124包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算装置10也可以与一个或多个外部设备14(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置10交互的设备通信，和/或与使得该计算装置10能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口15进行。并且，计算装置10还可以通过网络适配器16与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器16通过总线13与用于计算装置10的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置10使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
本发明实施例提供的用户动作的评价方法的应用场景是，当用户跟随标准运动视频进行运动时，用户期望获知用户基于标准运动视频中的动作而做出的动作的效果，基于此目的提出本发明提供的方法，即：计算装置10采集用户跟随标准运动视频进行运动时的至少一帧图像；针对每一帧图像，利用预先训练的姿态识别模型对该图像进行姿态识别，确定表征该图像中用户动作呈现的姿态信息；分别确定基于各个帧图像确定出的姿态信息和标准运动视频中与采集的图像相对应的标准图像中呈现的姿态信息之间的差距；基于各个帧图像确定出差距，确定用户动作的评价结果。通过执行上述方法，可以准确且客观地确定出用户执行的运动动作的评价结果，无需再依靠主观意识；此外，用户基于本发明确定出的评价结果可以获知自身做出的动作偏离标准运动视频中动作的程度，从而帮助用户高效管理自己的运动。
基于上述应用场景和图1中实施本发明提供的用户动作的评价方法的计算装置的结构示意图，接下来对本发明提供的用户动作的评价方法进行说明。如图2所示，为本发明实施例提供的用户动作的评价方法的流程示意图，包括以下步骤：
S21、采集用户跟随标准运动视频进行运动时的至少一帧图像。
具体实施时，计算装置10可以利用摄像头采集用户跟随标准运动视频进行运动时的至少一帧图像。在采集帧图像时，可以从用户执行某一动作起始点采集一帧图像，然后中间采集几帧图像，最后在用户执行完该动作的结束点采集一帧图像。即：在标准基础动作的起止点及其间选取若干时间点之间的动作作为标准分析点，基于选定的时间点采集用户执行的动作的帧图像，用于与用户运动中相应时间点姿态进行比对分析。
需要说明的是，计算装置10与摄像头可以分开设置，二者可以利用通信线缆进行连接，计算装置10在接收到用户动作评价指令后，向驱动摄像头采集用户跟随标准运动视频进行运动时的若干帧图像。
需要说明的是，本发明中的标准运动视频是指，用户跟随任一运动视频进行运动的视频，则该视频记为指导用户动作的标准运动视频。
S22、针对每一帧图像，利用预先训练的姿态识别模型对该图像进行姿态识别，确定表征该图像中用户动作呈现的姿态信息。
本步骤中，本发明中的姿态识别模型为对VGG网络与卷积层组进行训练得到的，其中，所述卷积层组包含若干个连续的卷积层。
具体地，可以选择开源框架Tensor Flow进行网络构建及模型训练。TensorFlow是谷歌开源的机器学习框架。在用于深度学习研究时，可以方便构建自己的模型，同时自动计算反向梯度，在计算的各个环节都减少代码难度。本发明中可以选择基于paf算法来确定表征图像中用户动作呈现的姿态信息，该算法在计算人体姿态信息方面具有较高的精度。本发明中姿态识别模型为VGG网络与卷积层组的结合，上述卷积成组包含若干个连续的卷基层。该网络分为并行两路，分别计算人体关节和局部亲和向量场。
较佳地，还可以将残差网络应用到姿态识别模型中，该网络借鉴了残差网络的结构，残差结构和中继监督的使用可以解决网络加深过程中梯度退化的问题，可以成功的训练更深的神经网络，并且可以加快训练的速度，同时能够获得更好的表现能力。
较佳地，本发明中训练姿态识别模型的训练样本为标注的大量用户基于标准运动视频完成的运动动作。利用上述训练样本对VGG网络与卷积层组进行训练，得到姿态识别模型。通过实施上述训练过程，可以得到具有较深的结构的姿态识别模型，对人体关键点的特征提取起到了重要作用。
基于上述训练得到的姿态识别模型，先利用训练的VGG网络进行前期特征提取，然后再利用训练的卷积层组逐渐提取人体姿态信息。
S23、分别确定基于各个帧图像确定出的姿态信息和标准运动视频中与采集的图像相对应的标准图像中呈现的姿态信息之间的差距。
具体地，用户在跟随标准运动视频运动时，用户的所有特征部位都是跟着运动的，因此，姿态识别模型中可以确定出某一时刻采集的图像中的用户特征部位呈现的姿态，然后将该姿态与标准运动视频中该时刻中视频中用户呈现的姿态进行差异比较，由此可以确定出用户的动作是否到位等等。
较佳地，本发明中的姿态信息包括人体特征部位的特征信息；以及针对采集到的每一帧图像，均可以按照图3所示的流程执行步骤S23，包括以下步骤：
S31、确定该帧图像的人体特征部位的特征信息构成的至少一个基础动作。
具体地，用户在跟随标准运动视频运动时，用户的所有特征部位都是跟着运动的，因此，姿态识别模型中可以确定出用户特征部位的特征信息。
实际应用中，用户动作并不是比较单一且简单的动作，往往是复杂运动，故为了便于后续分析，将复杂运动分解为简单的运动动作组合，因此，本发明中基于确定出的人体特征部位的特征信息，确定出至少一个基础动作。例如，一个复杂运动为高抬腿动作，该动作四肢都在动，故可以将其分解成若干个基础动作，例如分解的基础动作为双手向前伸展和双腿弯曲向上跳等。
S32、针对每一基础动作，确定该基础动作与标准运动动作库中与该基础动作对应的标准基础动作之间的差距。
其中，所述标准运动动作库中包含若干个标准基础动作，所述标准基础动作为对所述标准运动视频中的用户动作进行分解得到的。
具体实施时，根据已有的标准运动视频，分析制定标准运动规范。首先将复杂运动分解为简单动作的组合，随后根据每个简单动作的特点，将简单动作分解为标准基础动作，标准基础动作是最小的运动单元。基于上述描述，本发明预先对标准运动视频中的各个动作进行分解，将每一个复杂动作分解成若干个标准基础动作，然后将该标准运动视频分解得到的标准基础动作存储到标准运动动作库中。
具体地，在对标准运动视频中的动作进行分解时，也是选取若干时间点采集的帧图像展示的动作进行分解，而选取的时间点一般可以为某一动作的起始点、中间点和结束点。例如某一动作标准运动视频的第11分开始至12分结束，则可以采集第11分时的帧图像、第11分半的帧图像和第12分时的帧图像等，为当然还可以选择其他时间点或更多的时间点，具体根据实际情况而定。具体以采集标准运动视频中第11分、11分半和12分的帧图像为例，则本发明中在确定出用户开始练习第11分帧图像中的动作时，摄像头采集用户练习的第11分展示的动作的帧图像、采集用户练习标准运动视频中第11分半展示的动作的帧图像以及采集用户练习标准运动视频中第12分展示的动作的帧图像。然后执行步骤S22～S24。也就是说，本发明采集帧图像的时间点根据采集标准运动视频的时间点而定。
步骤S31中确定出至少一个基础动作后，该基础动作可以用像素值来表征，这样一来，可以将该基础动作的像素值与标准运动动作库中与该基础动作对应的标准基础动作的像素值进行比较，以此确定出该基础动作与标准基础动作之间的差距。以此类推，可以确定出各个基础动作与其对应的标准基础动作之间的差距。
S33、基于各个基础动作确定出的差距，确定该帧图像的姿态信息和标准运动视频中与该帧图像相对应的标准图像中呈现的姿态信息之间的差距。
本步骤中，例如可以利用加权平均的方式执行步骤S33。
S24、基于各个帧图像确定出差距，确定用户动作的评价结果。
在利用图3所示的流程确定出各个帧图像的差距，可以进行加权平均计算出用户作出的运动动作的评价结果。基于此，可以客观且准确地确定出用户动作的评价结果。
优选地，本发明提供的方法还包括图4所示的流程，可以包括以下步骤：
S41、对评价结果进行量化处理，得到量化运动结果。
S42、基于量化运动结果，输出针对所述用户动作的指导建议。
具体地，本发明中在基于图2所示的流程确定出用户动作的评价结果后，为了提高用户体验，方便用户获知其完成的动作与标准动作的差距，本发明中对评价结果进行量化处理，得到便于用户可视化且可直观读取的量化运动结果并输出展示，如量化运动结果为分值，评价结果越好其分值越高，这样，用户基于该量化运动结果可以直观且快速的确定出其练习的动作的完成情况。
较佳地，为了提高用户的满意度，本发明还可以给出针对用户练习的动作的指导建议，这样，用户在查看其练习的动作的同时，还可以基于展示的指导建议调整动作，有助于用户更好地练习，提高用户体验。
采用本发明提供的用户动作的评价方法，一方面可以准确且客观地确定出用户跟随标准运动视频进行运动时的动作的评价结果，无需主观意识的参与；另一方面，还有助于用户高效管理自己的运动，提高用户体验。
基于同一发明构思，本发明实施例中还提供了一种用户动作的评价装置，由于上述装置解决问题的原理与用户动作的评价方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。
如图5所示，为本发明实施例提供的用户动作的评价装置的结构示意图，包括：
采集单元51，用于采集用户跟随标准运动视频进行运动时的至少一帧图像；
姿态识别单元52，用于针对每一帧图像，利用预先训练的姿态识别模型对该图像进行姿态识别，确定表征该图像中用户动作呈现的姿态信息；
第一确定单元53，用于分别确定基于各个帧图像确定出的姿态信息和标准运动视频中与采集的图像相对应的标准图像中呈现的姿态信息之间的差距；
第二确定单元54，基于各个帧图像确定出差距，确定用户动作的评价结果。
优选地，所述姿态信息包括人体特征部位的特征信息；以及
所述第一确定单元53，具体用于针对每一帧图像，均执行下述过程：确定该帧图像的人体特征部位的特征信息构成的至少一个基础动作；针对每一基础动作，确定该基础动作与标准运动动作库中与该基础动作对应的标准基础动作之间的差距，其中，所述标准运动动作库中包含若干个标准基础动作，所述标准基础动作为对所述标准运动视频中的用户动作进行分解得到的；基于各个基础动作确定出的差距，确定该帧图像的姿态信息和标准运动视频中与该帧图像相对应的标准图像中呈现的姿态信息之间的差距。
较佳地，所述姿态识别模型为对VGG网络与卷积层组进行训练得到的，其中，所述卷积层组包含若干个连续的卷积层。
优选地，本发明提供的用户动作的评价装置，还包括：
量化处理单元55，用于对所述评价结果进行量化处理，得到量化运动结果；
输出单元56，用于基于量化处理单元得到的量化运动结果，输出针对所述用户动作的指导建议。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
基于同一发明构思，本发明实施例还提供了实施用户动作的评价方法的电子设备，图6给出了电子设备的硬件结构示意图，如图6所示，该电子设备包括：
一个或多个处理器610以及存储器620，图6中以一个处理器610为例。
执行用户动作的评价方法的电子设备还可以包括：输入装置660和输出装置640。
处理器610、存储器620、输入装置660和输出装置640可以通过总线或者其他方式连接，图6中以通过总线连接为例。
存储器620作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的用户动作的评价方法对应的程序指令/模块/单元(例如，附图5所示的采集单元51、姿态识别单元52、第一确定单元53和第二确定单元53)。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块/单元，从而执行服务器或者智能终端的各种功能应用以及数据处理，即实现上述方法实施例用户动作的评价方法。
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据用户动作的评价装置的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至用户动作的评价装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置660可接收输入的数字或字符信息，以及产生与用户动作的评价装置的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行上述任意方法实施例中的用户动作的评价方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(6)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、***总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
基于同一发明构思，本发明还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的用户动作的评价方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种用户动作的评价方法，其特征在于，包括：
采集用户跟随标准运动视频进行运动时的至少一帧图像；
针对每一帧图像，利用预先训练的姿态识别模型对该图像进行姿态识别，确定表征该图像中用户动作呈现的姿态信息；
分别确定基于各个帧图像确定出的姿态信息和标准运动视频中与采集的图像相对应的标准图像中呈现的姿态信息之间的差距；
基于各个帧图像确定出差距，确定用户动作的评价结果。
2.如权利要求1所述的方法，其特征在于，所述姿态信息包括人体特征部位的特征信息；以及分别确定基于各个帧图像确定出的姿态信息和标准运动视频中与采集的图像相对应的标准图像中呈现的姿态信息之间的差距，具体包括：
针对每一帧图像，均执行下述过程：
确定该帧图像的人体特征部位的特征信息构成的至少一个基础动作；
针对每一基础动作，确定该基础动作与标准运动动作库中与该基础动作对应的标准基础动作之间的差距，其中，所述标准运动动作库中包含若干个标准基础动作，所述标准基础动作为对所述标准运动视频中的用户动作进行分解得到的；
基于各个基础动作确定出的差距，确定该帧图像的姿态信息和标准运动视频中与该帧图像相对应的标准图像中呈现的姿态信息之间的差距。
3.如权利要求1所述的方法，其特征在于，所述姿态识别模型为对VGG网络与卷积层组进行训练得到的，其中，所述卷积层组包含若干个连续的卷积层。
4.如权利要求1～3任一所述的方法，其特征在于，还包括：
对所述评价结果进行量化处理，得到量化运动结果；以及
基于量化运动结果，输出针对所述用户动作的指导建议。
5.一种用户动作的评价装置，其特征在于，包括：
采集单元，用于采集用户跟随标准运动视频进行运动时的至少一帧图像；
姿态识别单元，用于针对每一帧图像，利用预先训练的姿态识别模型对该图像进行姿态识别，确定表征该图像中用户动作呈现的姿态信息；
第一确定单元，用于分别确定基于各个帧图像确定出的姿态信息和标准运动视频中与采集的图像相对应的标准图像中呈现的姿态信息之间的差距；
第二确定单元，基于各个帧图像确定出差距，确定用户动作的评价结果。
6.如权利要求5所述的装置，其特征在于，所述姿态信息包括人体特征部位的特征信息；以及
所述第一确定单元，具体用于针对每一帧图像，均执行下述过程：确定该帧图像的人体特征部位的特征信息构成的至少一个基础动作；针对每一基础动作，确定该基础动作与标准运动动作库中与该基础动作对应的标准基础动作之间的差距，其中，所述标准运动动作库中包含若干个标准基础动作，所述标准基础动作为对所述标准运动视频中的用户动作进行分解得到的；基于各个基础动作确定出的差距，确定该帧图像的姿态信息和标准运动视频中与该帧图像相对应的标准图像中呈现的姿态信息之间的差距。
7.如权利要求5所述的装置，其特征在于，所述姿态识别模型为对VGG网络与卷积层组进行训练得到的，其中，所述卷积层组包含若干个连续的卷积层。
8.如权利要求5～7任一所述的装置，其特征在于，还包括：
量化处理单元，用于对所述评价结果进行量化处理，得到量化运动结果；
输出单元，用于基于量化处理单元得到的量化运动结果，输出针对所述用户动作的指导建议。
9.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行如权利要求1至4任一权利要求所述的方法。
10.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4任一权利要求所述的方法。
CN201811296176.0A 2018-11-01 2018-11-01 一种用户动作的评价方法、装置和可读介质 Pending CN109635644A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811296176.0A CN109635644A (zh) 2018-11-01 2018-11-01 一种用户动作的评价方法、装置和可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811296176.0A CN109635644A (zh) 2018-11-01 2018-11-01 一种用户动作的评价方法、装置和可读介质

Publications (1)

Publication Number Publication Date
CN109635644A true CN109635644A (zh) 2019-04-16

Family

ID=66067055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811296176.0A Pending CN109635644A (zh) 2018-11-01 2018-11-01 一种用户动作的评价方法、装置和可读介质

Country Status (1)

Country Link
CN (1) CN109635644A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110600132A (zh) * 2019-08-31 2019-12-20 深圳市广宁股份有限公司 基于振动检测的数字孪生智能健康预测方法及装置
CN110801233A (zh) * 2019-11-05 2020-02-18 上海电气集团股份有限公司 一种人体步态监测方法及装置
CN111881867A (zh) * 2020-08-03 2020-11-03 北京融链科技有限公司 视频分析方法及装置、电子设备
CN111967407A (zh) * 2020-08-20 2020-11-20 咪咕互动娱乐有限公司 动作评价方法、电子设备和计算机可读存储介质
CN112101315A (zh) * 2019-11-20 2020-12-18 北京健康有益科技有限公司 一种基于深度学习的运动评判指导方法和***
CN112749684A (zh) * 2021-01-27 2021-05-04 萱闱(北京)生物科技有限公司 心肺复苏术训练和评估的方法及装置、设备、存储介质
CN113392746A (zh) * 2021-06-04 2021-09-14 北京格灵深瞳信息技术股份有限公司 动作标准挖掘方法、装置、电子设备和计算机存储介质
CN113743237A (zh) * 2021-08-11 2021-12-03 北京奇艺世纪科技有限公司 跟随动作的准确度判定方法、装置、电子设备及存储介质
CN114707779A (zh) * 2020-12-30 2022-07-05 香港中文大学 用于对基础动作技能进行评估的方法和装置
CN117978937A (zh) * 2024-03-28 2024-05-03 之江实验室 一种视频生成的方法、装置、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助***和方法
CN108256433A (zh) * 2017-12-22 2018-07-06 银河水滴科技（北京）有限公司 一种运动姿态评估方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助***和方法
CN108256433A (zh) * 2017-12-22 2018-07-06 银河水滴科技（北京）有限公司 一种运动姿态评估方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨洁 等: "基于卷积网络的视频目标检测", 《南华大学学报（自然科学版）》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110600132B (zh) * 2019-08-31 2023-12-15 深圳市广宁股份有限公司 基于振动检测的数字孪生智能健康预测方法及装置
CN110600132A (zh) * 2019-08-31 2019-12-20 深圳市广宁股份有限公司 基于振动检测的数字孪生智能健康预测方法及装置
CN110801233B (zh) * 2019-11-05 2022-06-07 上海电气集团股份有限公司 一种人体步态监测方法及装置
CN110801233A (zh) * 2019-11-05 2020-02-18 上海电气集团股份有限公司 一种人体步态监测方法及装置
CN112101315A (zh) * 2019-11-20 2020-12-18 北京健康有益科技有限公司 一种基于深度学习的运动评判指导方法和***
CN111881867A (zh) * 2020-08-03 2020-11-03 北京融链科技有限公司 视频分析方法及装置、电子设备
CN111967407A (zh) * 2020-08-20 2020-11-20 咪咕互动娱乐有限公司 动作评价方法、电子设备和计算机可读存储介质
CN111967407B (zh) * 2020-08-20 2023-10-20 咪咕互动娱乐有限公司 动作评价方法、电子设备和计算机可读存储介质
CN114707779A (zh) * 2020-12-30 2022-07-05 香港中文大学 用于对基础动作技能进行评估的方法和装置
CN112749684A (zh) * 2021-01-27 2021-05-04 萱闱(北京)生物科技有限公司 心肺复苏术训练和评估的方法及装置、设备、存储介质
CN113392746A (zh) * 2021-06-04 2021-09-14 北京格灵深瞳信息技术股份有限公司 动作标准挖掘方法、装置、电子设备和计算机存储介质
CN113743237A (zh) * 2021-08-11 2021-12-03 北京奇艺世纪科技有限公司 跟随动作的准确度判定方法、装置、电子设备及存储介质
CN113743237B (zh) * 2021-08-11 2023-06-02 北京奇艺世纪科技有限公司 跟随动作的准确度判定方法、装置、电子设备及存储介质
CN117978937A (zh) * 2024-03-28 2024-05-03 之江实验室 一种视频生成的方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN109635644A (zh) 一种用户动作的评价方法、装置和可读介质
Trejo et al. Recognition of yoga poses through an interactive system with kinect device
CN108764120B (zh) 一种人体规范动作评价方法
CN109191588B (zh) 运动教学方法、装置、存储介质及电子设备
CN107203953B (zh) 一种基于互联网、表情识别和语音识别的教学***及其实现方法
CN110279425B (zh) 基于智能分析的心理评估方法及***
CN111191599B (zh) 姿态识别方法、装置、设备及存储介质
CN107423398A (zh) 交互方法、装置、存储介质和计算机设备
CN108920490A (zh) 辅助化妆的实现方法、装置、电子设备以及存储介质
CN109637207A (zh) 一种学前教育互动教学装置及教学方法
CN111027403A (zh) 手势估计方法、装置、设备及计算机可读存储介质
CN117541445B (zh) 一种虚拟环境交互的口才训练方法、***、设备及介质
CN112116589B (zh) 虚拟形象的评测方法、装置、设备及计算机可读存储介质
CN112070865A (zh) 课堂互动方法、装置、存储介质及电子设备
Ali et al. Virtual reality as a physical training assistant
CN114998491B (zh) 数字人驱动方法、装置、设备及存储介质
CN114022512A (zh) 运动辅助方法、装置及介质
CN113516064A (zh) 体育运动的动作判定方法、装置、设备及存储介质
CN108038802A (zh) 演讲教学方法、装置及计算机可读存储介质
CN114847932A (zh) 运动提示的确定方法、装置及计算机可读存储介质
CN109407826A (zh) 球类运动模拟方法、装置、存储介质及电子设备
CN107729983B (zh) 一种利用机器视觉实现人机对弈的方法、装置及电子设备
CN115984059A (zh) 基于协同的融合教育注意力训练方法、***、设备及介质
Zidianakis et al. Building a sensory infrastructure to support interaction and monitoring in ambient intelligence environments
CN116386136A (zh) 基于人体骨骼关键点的动作评分方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416

RJ01 Rejection of invention patent application after publication