CN111488824B - 运动提示方法、装置、电子设备和存储介质 - Google Patents

运动提示方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111488824B
CN111488824B CN202010274415.3A CN202010274415A CN111488824B CN 111488824 B CN111488824 B CN 111488824B CN 202010274415 A CN202010274415 A CN 202010274415A CN 111488824 B CN111488824 B CN 111488824B
Authority
CN
China
Prior art keywords
dimensional
user
human body
limb key
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010274415.3A
Other languages
English (en)
Other versions
CN111488824A (zh
Inventor
孟庆月
赵晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010274415.3A priority Critical patent/CN111488824B/zh
Publication of CN111488824A publication Critical patent/CN111488824A/zh
Priority to US17/193,214 priority patent/US11816847B2/en
Application granted granted Critical
Publication of CN111488824B publication Critical patent/CN111488824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种运动提示方法、装置、电子设备和存储介质，涉及图像识别技术领域，具体实现方案为：获取用户运动图像，并在所述用户运动图像中获取各肢体关键点的三维识别坐标；根据各所述三维识别坐标，确定与所述用户运动图像匹配的用户动作；根据用户动作与肢体关键点之间的映射关系，在识别出的全部肢体关键点中，筛选出目标肢体关键点；获取各目标肢体关键点与所述用户动作对应的三维标准坐标；根据目标肢体关键点的三维标准坐标与三维识别坐标之间的差异值，进行运动提示。本申请能够在用户健身过程中，对用户进行有效的动作提示。

Description

运动提示方法、装置、电子设备和存储介质
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及图像识别技术领域，具体涉及一种运动提示方法、装置、电子设备和存储介质。
背景技术
目前，越来越多的人具备健康意识，进而主动健身，而在用户自己通过视频影像进行健身的应用场景中，用户无法准确的获知自己的动作是否标准以及动作是否能够起到有效健身目的。
发明内容
本申请实施例公开了一种运动提示方法、装置、电子设备和存储介质，能够在用户健身过程中，对用户进行有效的动作提示。
第一方面，本申请实施例公开了一种运动提示方法，包括：
获取用户运动图像，并在所述用户运动图像中获取各肢体关键点的三维识别坐标；
根据各所述三维识别坐标，确定与所述用户运动图像匹配的用户动作；
根据用户动作与肢体关键点之间的映射关系，在识别出的全部肢体关键点中，筛选出目标肢体关键点；
获取各目标肢体关键点与所述用户动作对应的三维标准坐标；
根据目标肢体关键点的三维标准坐标与三维识别坐标之间的差异值，进行运动提示。
另外，根据本申请上述实施例的运动提示方法，还可以具有如下附加的技术特征：
可选的，在获取用户运动图像之前，还包括：
实时进行图像采集，并对所采集的图像中进行人体识别，获取人体识别结果；
其中，所述人体识别结果中包括：是否包含人体，以及人体识别位置；
如果确定目标图像的人体识别结果为包含人体，则根据与目标图像匹配的人体识别位置，在目标图像中截取所述用户运动图像。
可选的，对所采集的图像中进行人体识别，获取人体识别结果，包括：
将所述图像输入至预先训练的人体识别模型中，获取所述人体识别模型输出的所述人体识别结果；
其中，所述人体识别模型使用预先标注有人***置的训练图片，对预设的深度学习模型进行训练得到。
可选的，所述用户运动图像为彩色图像；
在所述用户运动图像中获取各肢体关键点的三维识别坐标，包括：
将所述用户运动图像输入至预先训练的三维关节点回归模型中，获取所述三维关节点回归模型输出的肢体关键点热力图集合以及肢体关键点深度信息图集合；
将肢体关键点热力图集合中各肢体关键点的二维图像信息，与肢体关键点深度信息图集合中各肢体关键点的深度信息进行组合，得到各肢体关键点的三维识别坐标。
可选的，在将所述用户运动图像输入至预先训练的三维关节点回归模型中之前，还包括：
获取附有二维标签的样本图像和附有三维标签的样本图像；
将所述附有二维标签的样本图像作为第一输入，将与二维标签对应的关节点热力图集合作为第一期望输出，训练基础三维关节点回归模型的输出层中的部分通道；
将所述附有三维标签的样本图像作为第二输入，将与三维标签对应的关节点热力图集合作为第二期望输出的第一部分输出、与三维标签对应的关节点深度信息图集合作为第二期望输出的第二部分输出，训练所述基础三维关节点回归模型的输出层中的所有通道，以得到所述三维关节点回归模型。
可选的，根据各所述三维识别坐标，确定与所述用户运动图像匹配的用户动作，包括：
在各所述肢体关键点中选择基准肢体关键点；
根据各所述三维识别坐标，计算各所述肢体关键点相对于所述基准肢体关键点的三维坐标差值集合；
将所述三维坐标差值集合与各动作的标准三维坐标差值集合进行匹配，并根据匹配结果，确定与所述用户运动图像匹配的用户动作。
可选的，根据目标肢体关键点的三维标准坐标与三维识别坐标之间的差异值，进行运动提示，包括：
分别计算每个目标肢体关键点的三维标准坐标与三维识别坐标之间的距离值，并筛选出距离值大于预设阈值门限的差异肢体关键点；
根据所述差异肢体关键点所在的人***置，以及差异肢体关键点的三维识别坐标与匹配的三维标准坐标之间的偏离程度，进行运动提示。
可选的，在根据目标肢体关键点的三维标准坐标与三维识别坐标之间的差异值，进行运动提示之后，还包括：
获取与每次运动阶段分别匹配的多张用户运动图像，并对每张用户运动图像，进行用户动作的标准度评分；
根据评分结果，计算与运动阶段对应的运动得分；
根据与不同运动阶段分别对应的运动得分，生成运动进步曲线。
第二方面，本申请实施例公开了一种运动提示装置，包括：
三维识别坐标获取模块，用于获取用户运动图像，并在所述用户运动图像中获取各肢体关键点的三维识别坐标；
用户动作确定模块，用于根据各所述三维识别坐标，确定与所述用户运动图像匹配的用户动作；
目标肢体关键点筛选模块，用于根据用户动作与肢体关键点之间的映射关系，在识别出的全部肢体关键点中，筛选出目标肢体关键点；
关键点和三维标准坐标获取模块，用于获取各目标肢体关键点与所述用户动作对应的三维标准坐标；
运动提示模块，用于根据目标肢体关键点的三维标准坐标与三维识别坐标之间的差异值，进行运动提示。
第三方面，本申请实施例公开了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例中任一项所述的方法。
第四方面，本申请实施例公开了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请实施例中任一项所述的方法。
上述申请中的一个实施例具有如下优点或有益效果：通过对用户动作进行识别，并确定用户动作中的目标肢体关键点与三维标准识别坐标的差异值，能够确定用户在实际运动过程中与标准动作的差距，并对用户运动中出现的不标准的动作进行提示，使得用户能够自己纠正动作。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例提供的一种运动提示方法的流程示意图；
图2是根据本申请第二实施例提供的一种运动提示方法的流程示意图；
图3是根据本申请第三实施例提供的一种运动提示方法的流程示意图；
图4是根据本申请第四实施例提供一种运动提示装置的结构示意图；
图5是用来实现本申请实施例的运动提示的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
第一实施例
图1是根据本申请第一实施例提供的一种运动提示方法的流程示意图，本实施例可用于健康训练时，纠正用户的错误动作的情况下，该方法可以由运动提示装置来执行，该装置可以采用软件和/或硬件的方式实现，并一般可集成于具有图像采集功能的电子设备(例如，手机、平板电脑或者台式机等)中，或者与图像采集设备(摄像头)配合使用的电子设备中。如图1所示，本实施例提供的一种运动提示方法可以包括：
S101、获取用户运动图像，并在所述用户运动图像中获取各肢体关键点的三维识别坐标。
本实施例中，用户运动图像可以是通过单独的图像采集器获取的，也可以是通过内置于电子设备中的彩色摄像头获取的。其中，图像采集器可以是摄录设备，也可以是照相机。各肢体关键点的三维识别坐标是指在用户运动图像所识别出的用户的每一个肢体关键点的三维坐标。
示例性的，肢体关键点可以包括：与左膝盖、右膝盖、左脚脚趾、右脚脚趾、左手手指、右手手指、颈部和左右跨部的位置匹配的关键点。其中，该三维识别坐标具体包括：肢体关键点在用户运动图像中的二维图像坐标，以及肢体关键点在实际物理空间中的深度坐标；或者，该三维识别坐标可以为各肢体关键点在世界坐标系中的世界坐标等。
在本实施例中，可以首先基于标注有肢体关键点的三维坐标的大量的用户运动图像，学习得到二维图像中的三维特征信息，进而可以根据上述三维特征信息，确定出与当前输入的用户运动图像对应的各肢体关键点的三维识别坐标。
相应的，在所述用户运动图像中获取各肢体关键点的三维识别坐标的方式可以包括：
将该用户运动图像输入至预先训练的三维坐标识别模型中，获取各肢体关键点的三维识别坐标。典型的，该三维坐标识别模型可以通过标注有肢体关键点的三维坐标的大量的用户运动图像训练得到。
该三维坐标识别模型的模型参数的选取，以及模型训练方式可以根据实际情况进行预设。
当然，可以理解的是，还可以采用其他的方式获取所述用户运动图像中各肢体关键点的三维识别坐标，例如，首先通过关键点识别的方式，在该用户运动图像中，识别出各个肢体关键点；之后通过预先标定的相机坐标系与世界坐标系之间的映射关系，计算用户运动图像中，各个肢体关键点的世界坐标，作为所述三维识别坐标等，本实施例对此并不进行限制。
S102、根据各所述三维识别坐标，确定与所述用户运动图像匹配的用户动作。
本实施例中，与用户运动图像匹配的用户动作是指用户当前执行的动作。
可以理解的是，用户执行不同的训练动作时，其各个肢体关键点理论上应该处于设定的，可预知的空间位置中，或者说各个肢体关键点之间的相对位置关系应该是可预知的，因此，可以首先建立各个用户动作与各个肢体关键点的理论位置或者理论相对位置之间的映射关系，进而基于各所述三维识别坐标，确定与所述用户运动图像匹配的用户动作。
S103、根据用户动作与肢体关键点之间的映射关系，在识别出的全部肢体关键点中，筛选出目标肢体关键点。
本实施例中，考虑到不同的用户动作，需要重点关注的肢体关键点其实并不相同，例如，如果用户主要进行了手部动作，则需要重点关注的肢体关键点主要位于手部区域，如果用户进行了腿部动作，则需要重点关注的肢体关键点主要位于下肢区域，因此，为了使得后续的计算更加简便、快速，可以预先建立不同用户动作，与匹配的重点关注的肢体关键点之间的映射关系，也即，所述用户动作与肢体关键点之间的映射关系。
其中，映射关系是一一对应的，不同的用户动作所对应的肢体关键点是不同的。目标肢体关键点是指用户动作中比较重要的肢体关键点，不同的动作中目标肢体关键点是固定的。
S104、获取各目标肢体关键点与所述用户动作对应的三维标准坐标。
在本实施例中，首先针对不同的用户动作，确定各个目标肢体关键点的三维标准坐标，也即，三维标准坐标是指用户动作为标准动作时各个目标肢体关键点的三维坐标。
S105、根据目标肢体关键点的三维标准坐标与三维识别坐标之间的差异值，进行运动提示。
本实施例中，目标肢体关键点的三维标准坐标与三维识别坐标之间的差异值是将三维坐标对应的数值进行作差，差异值越大，则说明用户当前所做的动作越不标准。
上述申请中的一个实施例具有如下优点或有益效果：通过对用户动作进行识别，并确定用户动作中的目标肢体关键点与三维标准识别坐标的差异值，能够确定用户在实际运动过程中与标准动作的差距，并对用户运动中出现的不标准的动作进行提示，使得用户能够自己纠正动作。
第二实施例
图2是根据本申请第二实施例提供的一种运动提示方法的流程示意图，本实施例可用于健康训练时，纠正用户的错误动作的情况下，该方法可以由运动提示装置来执行，该装置可以采用软件和/或硬件的方式实现，并一般可集成于电子设备中。如图2所示，本实施例提供的一种运动提示方法可以包括：
S201、实时进行图像采集，并对所采集的图像中进行人体识别，获取人体识别结果。
本申请实施例中，用户运动图像是实时进行获取的，并根据获取到的每一张图像进行分析。其中，所述人体识别结果中包括：是否包含人体，以及人体识别位置。
人体识别位置是指在确定所述图像中包含人体后，人体在该图像中的识别位置，或者说，人体在图像中的坐标范围。
这样设置的好处在于，用户无需站在指定的位置就能够对用户的动作进行识别，使得用户的运动更加自由，活动范围更大，提高了方法的通用性。
可选的，对所采集的图像中进行人体识别，获取人体识别结果，可以包括：
将所述图像输入至预先训练的人体识别模型中，获取所述人体识别模型输出的所述人体识别结果；
其中，所述人体识别模型使用预先标注有人***置的训练图片，对预设的深度学习模型进行训练得到。
本实施例中，通过将图像出入至预先训练的人体识别模型中，能够准确定确定图像中是否包括人体，并且能够将人体不同的位置进行标注。
其中，所述深度学习模型可以为CNN(Convolutional Neural Networks，卷积神经网络)或者RNN(Recurrent Neural Network，循环神经网络)。
其中，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学***移不变分类，因此也被称为“平移不变人工神经网络”。循环神经网络是一类以序列数据为输入，在序列的演进方向进行递归且所有节点(按链式连接的递归神经网络。
本实施例中通过预先训练的人体识别模型能够更加准确地确定图像中是否包含人体，提升人体识别的准确率。
S202、如果确定目标图像的人体识别结果为包含人体，则根据与目标图像匹配的人体识别位置，在目标图像中截取所述用户运动图像。
本实施例中，目标图像是能够呈现出用户运动的图像，目标图像是包括周围的环境信息的图像。在识别出目标图像中包括人体后，能够确定目标图像中用户在目标图像中的位置，并得到用户运动图像，其中，用户运动图像中不包括周围的环境信息和环境图像。具体的，在目标图像中截取用户运动图像的方式可以是沿着用户的人体轮廓进行截图，也可以是用户的人体轮廓的最大外接矩形。
S203、获取用户运动图像，并在所述用户运动图像中获取各肢体关键点的三维识别坐标。
S204、根据各所述三维识别坐标，确定与所述用户运动图像匹配的用户动作。
S205、根据用户动作与肢体关键点之间的映射关系，在识别出的全部肢体关键点中，筛选出目标肢体关键点。
S206、获取各目标肢体关键点与所述用户动作对应的三维标准坐标。
S207、根据目标肢体关键点的三维标准坐标与三维识别坐标之间的差异值，进行运动提示。
S208、获取与每次运动阶段分别匹配的多张用户运动图像，并对每张用户运动图像，进行用户动作的标准度评分。
本实施例中，运动阶段可以是同一天不同的时刻的运动阶段，也可以是用户每天晚上的运动阶段。标准度评分是用于衡量用户动作是否标准的指标，具体的可以是具体的数值，也可以是百分数。将获取到的多张用户运动图像进行评分，能够详细地记录用户的运行情况。
S209、根据评分结果，计算与运动阶段对应的运动得分。
运动得分是用户在该运动阶段最终的得分，示例性的，在用户每天晚上运动的一小时内，将这一小时内用户的运动图像均进行标准度评分，并随机性地选择几张进行求平均值，以得到用户在这个运动阶段对应的运动得分。
S210、根据与不同运动阶段分别对应的运动得分，生成运动进步曲线。
本实施例中，运动进步曲线能够显示用户在该运动阶段所取得的成果。其中，运动进步曲线可以在固定的时间进行生成，示例性的，可以是三个月进行生成一次。本实施例能够记录用户的练习时间和状态，使得用户可以更容易地看到坚持练习的成果，更容易激励用户坚持练习。
上述申请中的一个实施例具有如下优点或有益效果：能够在获取图像后确定在图像中是否包括人体，以及人体在图像中的位置，能够让用户不必限制在一个固定的区域内部，同时本实施例可以具体记录用户的练习时间和状态，能够让用户更容易地看到坚持练习的成果，更容易激励用户坚持练习。
第三实施例
图3是根据本申请第三实施例提供的一种运动提示方法的流程示意图，本实施例可用于健康训练时，纠正用户的错误动作的情况下，该方法可以由运动提示装置来执行，该装置可以采用软件和/或硬件的方式实现，并一般可集成于电子设备中。如图3所示，本实施例提供的一种运动提示方法可以包括：
S301、在用户运动图像中获取各肢体关键点的三维识别坐标。
在本实施例中，用户运动图像可以为彩色图像。
本实施例中，在所述用户运动图像中获取各肢体关键点的三维识别坐标，可以包括：
将所述用户运动图像输入至预先训练的三维关节点回归模型中，获取所述三维关节点回归模型输出的肢体关键点热力图集合以及肢体关键点深度信息图集合；
将肢体关键点热力图集合中各肢体关键点的二维图像信息，与肢体关键点深度信息图集合中各肢体关键点的深度信息进行组合，得到各肢体关键点的三维识别坐标。
本实施例中，三维关节点回归模型用于识别用户运动图像中的各肢体关键点。肢体关键点热力图集合是指用特殊高亮的形式将肢体关键点进行标出的图像的集合。肢体关键点深度信息图集合是指将肢体关键点屈伸的深度信息进行标出的图像的集合。
本实施例能够从肢体关键点热力图集合中确定肢体关键点的二维图像信息，具体的，可以是在每一张肢体关键点热力图中建立坐标系。将二维图像信息结合各肢体关键点的深度信息能够得到各肢体关键点的立体信息，并得到各肢体关键点的三维识别坐标。通过将用户运动图像输入至三维关节点回归模型中，能够得到用户各肢体关键点的三维识别坐标，进而能够准确地获知用户每个动作的具体姿势和幅度。
在将所述用户运动图像输入至预先训练的三维关节点回归模型中之前，还包括：
获取附有二维标签的样本图像和附有三维标签的样本图像；
将所述附有二维标签的样本图像作为第一输入，将与二维标签对应的关节点热力图集合作为第一期望输出，训练基础三维关节点回归模型的输出层中的部分通道；
将所述附有三维标签的样本图像作为第二输入，将与三维标签对应的关节点热力图集合作为第二期望输出的第一部分输出、与三维标签对应的关节点深度信息图集合作为第二期望输出的第二部分输出，训练所述基础三维关节点回归模型的输出层中的所有通道，以得到所述三维关节点回归模型。
本实施例中，生成三维关节点回归模型的方法的执行主体可以从本地或云端获取附有二维标签的样本图像和附有三维标签的样本图像。
本实施例中，附有二维标签的样本图像，是指用于训练基础三维关节点回归模型的附有二维坐标标签的训练样本图像。关节点热力图标示了指示关节的关键点的热力图。部分通道是指输出层中的部分卷积核。
上述基础三维关节点回归模型，可以包括一下任意一项：初始三维关节点回归模型；或采用附有二维标签的样本图像训练初始三维关节点回归模型所得到的预训练的三维关节点回归模型。
其中，初始关节点回归模型可以采用级联的沙漏模型(hourglass)来实现；还可以采用基于序列化的全卷积网络结构来学习空间信息和纹理信息、估计人体姿态的Convolutional Pose Machines(CPM)模型来实现；此外，还可以采用人体姿态识别项目模型(OpenPose)、人体姿态估计模型(A1phaPose)等来实现。
在这里，在采用附有二维标签的样本图像训练初始三维关节点回归模型，得到预训练的三维关节点回归模型之后，以预训练的三维关节点回归模型为基础三维关节点回归模型，相当于使用预训练的三维关节点回归模型的前几层，来提取浅层特征，最后再落入新训练的分类中。这样，可以无需完全重新训练初始三维关节点回归模型，从而可以提高生成三维关节点回归模型的效率。由于新训练初始三维关节点回归模型，准确率会从很低的值开始慢慢上升，采用预训练的三维关节点回归模型能够在比较少的迭代次数之后得到一个比较好的效果。
在将附有二维标签的样本图像作为第一输入，将与二维标签对应的关节点热力图集合作为第一期望输出，训练基础三维关节点回归模型的输出层中的部分通道时，可以采用现有技术或未来发展的技术中的损失函数来对训练效果进行约束，例如，可以采用均方误差损失函数、平均绝对误差损失函数、Huber损失函数、Log-Cosh损失函数、分位数损失函数中的一个或多个作为损失函数。
在一个具体的示例中，预训练的三维关节点回归模型可以经由以下步骤确定:将附有二维标签的样本图像作为输入、将二维标签作为期望输出、将基于关节点回归模型输出的关节点热力图集合所确定的关节点坐标与二维标签中的二维关节点坐标之间的欧式距离作为损失函数，训练初始三维关节点回归模型得到。
在本实施例的一些可选实现方式中，将附有二维标签的样本图像作为第一输入，将与二维标签对应的关节点热力图集合作为第一期望输出，训练基础三维关节点回归模型的输出层中的部分通道包括:将附有二维标签的样本图像作为第一输入，将与二维标签对应的关节点热力图集合作为第一期望输出，将与附有二维标签的样本图像对应的Huber损失函数(当然，还可以选择Log-Cosh损失函数或者分位数损失函数等其他类型的损失函数)作为对应第一期望输出的损失函数，训练基础三维关节点回归模型的输出层中的部分通道。
本实施例中，附有三维标签的样本图像，是指用于训练基础三维关节点回归模型的附有三维坐标标签的训练样本图像。关节点深度信息图为指示关节点的深度信息的图像。所有通道是指输出层中的所有卷积核。在将附有三维标签的样本图像作为第二输入，将与三维标签对应的关节点热力图集合作为第二期望输出的第一部分输出、将与三维标签对应的深度信息图集合作为第二期望输出的第二部分输出，训练基础三维关节点回归模型的输出层中的部分通道时，可以采用现有技术或未来发展的技术中的损失函数来对训练效果进行约束，例如，可以采用均方误差损失函数、平均绝对误差损失函数、Huber损失函数、Log-Cosh损失函数、分位数损失函数中的一个或多个作为损失函数。
在本实施例的一些可选实现方式中，将附有三维标签的样本图像作为第二输入，将与三维标签对应的关节点热力图集合作为第二期望输出的第一部分输出、与三维标签对应的关节点深度信息图集合作为第二期望输出的第二部分输出，训练基础三维关节点回归模型的输出层中的所有通道包括:将附有三维标签的样本图像作为第二输入，将与三维标签对应的关节点热力图集合作为第二期望输出的第一部分输出、与三维标签对应的关节点深度信息图集合作为第二期望输出的第二部分输出，并将与附有三维标签的样本图像对应的Huber损失函数(当然，还可以选择Log-Cosh损失函数或者分位数损失函数等其他类型的损失函数)的加权值作为对应第二期望输出的第一部分输出的损失函数，将与附有三维标签的样本图像对应的欧式距离损失函数的加权值作为对应第二期望输出的第二部分输出的损失函数，训练基础三维关节点回归模型的输出层中的所有通道。
在本实现方式中，通过将与三维标签对应的关节点热力图集合作为第二期望输出的第一部分输出、与三维标签对应的关节点深度信息图集合作为第二期望输出的第二部分输出，并将与附有三维标签的样本图像对应的Huber损失函数(当然，还可以选择Log-Cosh损失函数或者分位数损失函数等其他类型的损失函数)的加权值作为对应第二期望输出的第一部分输出的损失函数，将与附有三维标签的样本图像对应的欧式距离损失函数的加权值作为对应第二期望输出的第二部分输出的损失函数，训练基础三维关节点回归模型的输出层中的所有通道，可以在采用附有二维标签的数据训练基础三维关节点回归模型的输出层中的部分通道的基础上，采用附有三维标签的样本图像进一步训练基础三维关节点回归模型的输出层中的所有通道，可以在比较少的迭代次数之后，提高训练完成的基础三维关节点回归模型的输出层中的所有通道的输出的准确性。
在本实施例的一些可选实现方式中，与附有三维标签的样本图像对应的欧式距离损失函数包括:在将附有三维标签的样本图像作为第二输入时，基础三维关节点回归模型输出的关节点深度信息图集合中的深度信息与三维标签中标注的关节点深度信息的欧式距离。
在本实现方式中，对于完全标注三维坐标信息的样本图像，可以先计算与附有三维标签的样本图像对应的欧式距离作为欧式距离损失函数，再将欧式距离损失函数的加权值作为对应第二期望输出的第二部分输出的损失函数，从而提高计算损失函数的效率，进而提高生成三维关节点回归模型的效率。
本实施例能够在附有三维标签的样本图像有限的情况下训练出具有较高预测能力的关节点回归模型。
S302、在各所述肢体关键点中选择基准肢体关键点。
本实施例中，可以基于不同动作对应的各个肢体关键点之间的相对位置关系应该是可预知的这一结论，首先，确定与某一个用户动作对应的各个肢体关键点的标准三维坐标，然后，预先在各个肢体关键点中，选择一个肢体关键点作为一个定点(也即，基准肢体关键点)，进而计算其他肢体关键点相对于该肢体关键点的坐标差值，作为与一个动作对应的标准三维坐标差值集合。
本实施例中，基准肢体关键点可以在全部肢体关键点中任意选取，也可以选择处于人体中间位置的一个肢体关键点，例如，髋关节关键点，或者胯关节关键点等，以简化差值计算，本实施例对此并不进行限制。
S303、根据各所述三维识别坐标，计算各所述肢体关键点相对于所述基准肢体关键点的三维坐标差值集合。
S304、将所述三维坐标差值集合与各动作的标准三维坐标差值集合进行匹配，并根据匹配结果，确定与所述用户运动图像匹配的用户动作。
各动作的标准三维坐标差值集合是指不同的用户动作中各肢体关键点与基准肢体关键点之间的三维坐标的差值的集合。将所有的肢体关键点的三维坐标与基准肢体关键点的三维坐标进行差值计算，能够得到用户当前所做的动作的幅度和姿势。将该动作的幅度和姿势与标准三维坐标差值集合进行匹配，匹配程度高的就是与用户运动图像匹配的用户动作。
本实施例从肢体关键点中确定基准肢体关键点，并根据基准肢体关键点与每一个肢体关键点的三维坐标的差值，能够确定该用户当前的肢体动作，并将该用户当前的肢体动作与标准动作进行匹配，能够确定与用户匹配的用户动作。
S305、根据用户动作与肢体关键点之间的映射关系，在识别出的全部肢体关键点中，筛选出目标肢体关键点。
S306、获取各目标肢体关键点与所述用户动作对应的三维标准坐标。
S307、分别计算每个目标肢体关键点的三维标准坐标与三维识别坐标之间的距离值，并筛选出距离值大于预设阈值门限的差异肢体关键点。
本实施例中，阈值门限可以是***默认的数值，也可以是用户自行设置的，示例性的，用户为初步进行训练，初步要求是学会动作，则可以将阈值门限设置较大一些。若用户为专业人士，则可以将阈值门限设置较小。
S308、根据所述差异肢体关键点所在的人***置，以及差异肢体关键点的三维识别坐标与匹配的三维标准坐标之间的偏离程度，进行运动提示。
本实施例中，偏离程度是指用于衡量差异肢体关键点与匹配的三维标准坐标之间上下、高低或者左右的不同程度。若确定出胳膊的位置偏离程度较大，则可以提示用户进行修改。示例性的，确定出差异肢体关键点所在的位置为胳膊，偏离程度为向下偏移，则可以提示用户抬高胳膊。
本实施例中无需计算所有的肢体关键点的差异肢体关键点，能够减少比对的次数，提高比对的效率。
第四实施例
图4是根据本申请第四实施例提供一种运动提示装置的结构示意图，可执行本申请实施例所提供的运动提示装置方法，具备执行方法相应的功能模块和有益效果。如图4所示，该装置400可以包括：
三维识别坐标获取模块410，用于获取用户运动图像，并在所述用户运动图像中获取各肢体关键点的三维识别坐标；
用户动作确定模块420，用于根据各所述三维识别坐标，确定与所述用户运动图像匹配的用户动作；
目标肢体关键点筛选模块430，用于根据用户动作与肢体关键点之间的映射关系，在识别出的全部肢体关键点中，筛选出目标肢体关键点；
关键点和三维标准坐标获取模块440，用于获取各目标肢体关键点与所述用户动作对应的三维标准坐标；
运动提示模块450，用于根据目标肢体关键点的三维标准坐标与三维识别坐标之间的差异值，进行运动提示。
本实施例通过对用户动作进行识别，并确定用户动作中的目标肢体关键点与三维标准识别坐标的差异值，能够确定用户在实际运动过程中与标准动作的差距，并对用户运动中出现的不标准的动作进行提示，使得用户能够自己纠正动作。
所述装置还包括：
人体识别结果获取模块460，用于实时进行图像采集，并对所采集的图像中进行人体识别，获取人体识别结果；
其中，所述人体识别结果中包括：是否包含人体，以及人体识别位置；
用户运动图像截取模块470，用于如果确定目标图像的人体识别结果为包含人体，则根据与目标图像匹配的人体识别位置，在目标图像中截取所述用户运动图像。
所述人体识别结果获取模块460，具体用于：
将所述图像输入至预先训练的人体识别模型中，获取所述人体识别模型输出的所述人体识别结果；
其中，所述人体识别模型使用预先标注有人***置的训练图片，对预设的深度学习模型进行训练得到。
所述用户运动图像为彩色图像；
所述三维识别坐标获取模块410，包括：
热力图集合和深度信息图集合获取单元411，用于将所述用户运动图像输入至预先训练的三维关节点回归模型中，获取所述三维关节点回归模型输出的肢体关键点热力图集合以及肢体关键点深度信息图集合；
三维识别坐标获取单元412，用于将肢体关键点热力图集合中各肢体关键点的二维图像信息，与肢体关键点深度信息图集合中各肢体关键点的深度信息进行组合，得到各肢体关键点的三维识别坐标。
所述三维识别坐标获取模块410，包括：
样本图像获取单元413，用于获取附有二维标签的样本图像和附有三维标签的样本图像；
基础三维关节点回归模型第一训练单元414，用于将所述附有二维标签的样本图像作为第一输入，将与二维标签对应的关节点热力图集合作为第一期望输出，训练基础三维关节点回归模型的输出层中的部分通道；
基础三维关节点回归模型第二训练单元415，用于将所述附有三维标签的样本图像作为第二输入，将与三维标签对应的关节点热力图集合作为第二期望输出的第一部分输出、与三维标签对应的关节点深度信息图集合作为第二期望输出的第二部分输出，训练所述基础三维关节点回归模型的输出层中的所有通道，以得到所述三维关节点回归模型。
所述用户动作确定模块420，包括：
基准肢体关键点选择单元421，用于在各所述肢体关键点中选择基准肢体关键点；
三维坐标差值集合计算单元422，用于根据各所述三维识别坐标，计算各所述肢体关键点相对于所述基准肢体关键点的三维坐标差值集合；
用户动作确定单元423，用于将所述三维坐标差值集合与各动作的标准三维坐标差值集合进行匹配，并根据匹配结果，确定与所述用户运动图像匹配的用户动作。
所述运动提示模块450，包括：
距离值计算单元451，用于分别计算每个目标肢体关键点的三维标准坐标与三维识别坐标之间的距离值，并筛选出距离值大于预设阈值门限的差异肢体关键点；
运动提示单元452，用于根据所述差异肢体关键点所在的人***置，以及差异肢体关键点的三维识别坐标与匹配的三维标准坐标之间的偏离程度，进行运动提示。
所述装置还包括：
标准度评分确定模块480，用于获取与每次运动阶段分别匹配的多张用户运动图像，并对每张用户运动图像，进行用户动作的标准度评分；
运动得分计算模块490，用于根据评分结果，计算与运动阶段对应的运动得分；
运动进步曲线生成模块500，用于根据与不同运动阶段分别对应的运动得分，生成运动进步曲线。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图5所示，是根据本申请实施例的运动提示的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的运动提示的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的运动提示的方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的运动提示的方法对应的程序指令/模块(例如，附图4所示的模块)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的运动提示的方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据运动提示的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至运动提示的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
运动提示的方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与运动提示的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过对用户动作进行识别，并确定用户动作中的目标肢体关键点与三维标准识别坐标的差异值，能够确定用户在实际运动过程中与标准动作的差距，并对用户运动中出现的不标准的动作进行提示，使得用户能够自己纠正动作。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (18)

1.一种运动提示方法，其特征在于，包括：
获取用户运动图像，并在所述用户运动图像中获取各肢体关键点的三维识别坐标；
根据各所述三维识别坐标，确定与所述用户运动图像匹配的用户动作；
根据用户动作与肢体关键点之间的映射关系，在识别出的全部肢体关键点中，筛选出目标肢体关键点；
获取各目标肢体关键点与所述用户动作对应的三维标准坐标；
根据目标肢体关键点的三维标准坐标与三维识别坐标之间的差异值，进行运动提示。
2.根据权利要求1所述的方法，其特征在于，在获取用户运动图像之前，还包括：
实时进行图像采集，并对所采集的图像中进行人体识别，获取人体识别结果；
其中，所述人体识别结果中包括：是否包含人体，以及人体识别位置；
如果确定目标图像的人体识别结果为包含人体，则根据与目标图像匹配的人体识别位置，在目标图像中截取所述用户运动图像。
3.根据权利要求2所述的方法，其特征在于，对所采集的图像中进行人体识别，获取人体识别结果，包括：
将所述图像输入至预先训练的人体识别模型中，获取所述人体识别模型输出的所述人体识别结果；
其中，所述人体识别模型使用预先标注有人***置的训练图片，对预设的深度学习模型进行训练得到。
4.根据权利要求1所述的方法，其特征在于，所述用户运动图像为彩色图像；
在所述用户运动图像中获取各肢体关键点的三维识别坐标，包括：
将所述用户运动图像输入至预先训练的三维关节点回归模型中，获取所述三维关节点回归模型输出的肢体关键点热力图集合以及肢体关键点深度信息图集合；
将肢体关键点热力图集合中各肢体关键点的二维图像信息，与肢体关键点深度信息图集合中各肢体关键点的深度信息进行组合，得到各肢体关键点的三维识别坐标。
5.根据权利要求4所述的方法，其特征在于，在将所述用户运动图像输入至预先训练的三维关节点回归模型中之前，还包括：
获取附有二维标签的样本图像和附有三维标签的样本图像；
将所述附有二维标签的样本图像作为第一输入，将与二维标签对应的关节点热力图集合作为第一期望输出，训练基础三维关节点回归模型的输出层中的部分通道；
将所述附有三维标签的样本图像作为第二输入，将与三维标签对应的关节点热力图集合作为第二期望输出的第一部分输出、与三维标签对应的关节点深度信息图集合作为第二期望输出的第二部分输出，训练所述基础三维关节点回归模型的输出层中的所有通道，以得到所述三维关节点回归模型。
6.根据权利要求1所述的方法，其特征在于，根据各所述三维识别坐标，确定与所述用户运动图像匹配的用户动作，包括：
在各所述肢体关键点中选择基准肢体关键点；
根据各所述三维识别坐标，计算各所述肢体关键点相对于所述基准肢体关键点的三维坐标差值集合；
将所述三维坐标差值集合与各动作的标准三维坐标差值集合进行匹配，并根据匹配结果，确定与所述用户运动图像匹配的用户动作。
7.根据权利要求1所述的方法，其特征在于，根据目标肢体关键点的三维标准坐标与三维识别坐标之间的差异值，进行运动提示，包括：
分别计算每个目标肢体关键点的三维标准坐标与三维识别坐标之间的距离值，并筛选出距离值大于预设阈值门限的差异肢体关键点；
根据所述差异肢体关键点所在的人***置，以及差异肢体关键点的三维识别坐标与匹配的三维标准坐标之间的偏离程度，进行运动提示。
8.根据权利要求1所述的方法，其特征在于，在根据目标肢体关键点的三维标准坐标与三维识别坐标之间的差异值，进行运动提示之后，还包括：
获取与每次运动阶段分别匹配的多张用户运动图像，并对每张用户运动图像，进行用户动作的标准度评分；
根据评分结果，计算与运动阶段对应的运动得分；
根据与不同运动阶段分别对应的运动得分，生成运动进步曲线。
9.一种运动提示装置，其特征在于，包括：
三维识别坐标获取模块，用于获取用户运动图像，并在所述用户运动图像中获取各肢体关键点的三维识别坐标；
用户动作确定模块，用于根据各所述三维识别坐标，确定与所述用户运动图像匹配的用户动作；
目标肢体关键点筛选模块，用于根据用户动作与肢体关键点之间的映射关系，在识别出的全部肢体关键点中，筛选出目标肢体关键点；
关键点和三维标准坐标获取模块，用于获取各目标肢体关键点与所述用户动作对应的三维标准坐标；
运动提示模块，用于根据目标肢体关键点的三维标准坐标与三维识别坐标之间的差异值，进行运动提示。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
人体识别结果获取模块，用于实时进行图像采集，并对所采集的图像中进行人体识别，获取人体识别结果；
其中，所述人体识别结果中包括：是否包含人体，以及人体识别位置；
用户运动图像截取模块，用于如果确定目标图像的人体识别结果为包含人体，则根据与目标图像匹配的人体识别位置，在目标图像中截取所述用户运动图像。
11.根据权利要求10所述的装置，其特征在于，所述人体识别结果获取模块包括：
将所述图像输入至预先训练的人体识别模型中，获取所述人体识别模型输出的所述人体识别结果；
其中，所述人体识别模型使用预先标注有人***置的训练图片，对预设的深度学习模型进行训练得到。
12.根据权利要求9所述的装置，其特征在于，所述用户运动图像为彩色图像；
所述三维识别坐标获取模块，包括：
热力图集合和深度信息图集合获取单元，用于将所述用户运动图像输入至预先训练的三维关节点回归模型中，获取所述三维关节点回归模型输出的肢体关键点热力图集合以及肢体关键点深度信息图集合；
三维识别坐标获取单元，用于将肢体关键点热力图集合中各肢体关键点的二维图像信息，与肢体关键点深度信息图集合中各肢体关键点的深度信息进行组合，得到各肢体关键点的三维识别坐标。
13.根据权利要求12所述的装置，其特征在于，所述三维识别坐标获取模块，包括：
样本图像获取单元，用于获取附有二维标签的样本图像和附有三维标签的样本图像；
基础三维关节点回归模型第一训练单元，用于将所述附有二维标签的样本图像作为第一输入，将与二维标签对应的关节点热力图集合作为第一期望输出，训练基础三维关节点回归模型的输出层中的部分通道；
基础三维关节点回归模型第二训练单元，用于将所述附有三维标签的样本图像作为第二输入，将与三维标签对应的关节点热力图集合作为第二期望输出的第一部分输出、与三维标签对应的关节点深度信息图集合作为第二期望输出的第二部分输出，训练所述基础三维关节点回归模型的输出层中的所有通道，以得到所述三维关节点回归模型。
14.根据权利要求9所述的装置，其特征在于，所述用户动作确定模块，包括：
基准肢体关键点选择单元，用于在各所述肢体关键点中选择基准肢体关键点；
三维坐标差值集合计算单元，用于根据各所述三维识别坐标，计算各所述肢体关键点相对于所述基准肢体关键点的三维坐标差值集合；
用户动作确定单元，用于将所述三维坐标差值集合与各动作的标准三维坐标差值集合进行匹配，并根据匹配结果，确定与所述用户运动图像匹配的用户动作。
15.根据权利要求9所述的装置，其特征在于，所述运动提示模块，包括：
距离值计算单元，用于分别计算每个目标肢体关键点的三维标准坐标与三维识别坐标之间的距离值，并筛选出距离值大于预设阈值门限的差异肢体关键点；
运动提示单元，用于根据所述差异肢体关键点所在的人***置，以及差异肢体关键点的三维识别坐标与匹配的三维标准坐标之间的偏离程度，进行运动提示。
16.根据权利要求9所述的装置，其特征在于，所述装置还包括：
标准度评分确定模块，用于获取与每次运动阶段分别匹配的多张用户运动图像，并对每张用户运动图像，进行用户动作的标准度评分；
运动得分计算模块，用于根据评分结果，计算与运动阶段对应的运动得分；
运动进步曲线生成模块，用于根据与不同运动阶段分别对应的运动得分，生成运动进步曲线。
17.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
CN202010274415.3A 2020-04-09 2020-04-09 运动提示方法、装置、电子设备和存储介质 Active CN111488824B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010274415.3A CN111488824B (zh) 2020-04-09 2020-04-09 运动提示方法、装置、电子设备和存储介质
US17/193,214 US11816847B2 (en) 2020-04-09 2021-03-05 Method and apparatus for prompting motion, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010274415.3A CN111488824B (zh) 2020-04-09 2020-04-09 运动提示方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111488824A CN111488824A (zh) 2020-08-04
CN111488824B true CN111488824B (zh) 2023-08-08

Family

ID=71810896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010274415.3A Active CN111488824B (zh) 2020-04-09 2020-04-09 运动提示方法、装置、电子设备和存储介质

Country Status (2)

Country Link
US (1) US11816847B2 (zh)
CN (1) CN111488824B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101102A (zh) * 2020-08-07 2020-12-18 亿匀智行(深圳)科技有限公司 一种基于人工智能获取rgb视频中3d肢体动作的方法
CN111986260A (zh) * 2020-09-04 2020-11-24 北京小狗智能机器人技术有限公司 一种图像处理的方法、装置及终端设备
CN112163516B (zh) * 2020-09-27 2024-05-10 深圳市悦动天下科技有限公司 跳绳计数的方法、装置及计算机存储介质
CN112200041B (zh) * 2020-09-29 2022-08-02 Oppo（重庆）智能科技有限公司 视频动作识别方法、装置、存储介质与电子设备
CN112287865B (zh) * 2020-11-10 2024-03-26 上海依图网络科技有限公司 一种人体姿态识别的方法及装置
CN114627546A (zh) * 2020-11-26 2022-06-14 广州源动智慧体育科技有限公司 跑步姿态的识别方法、装置和计算机设备
CN112967221B (zh) * 2020-12-04 2024-05-14 江苏龙冠新型材料科技有限公司 一种盾构管片生产与拼装信息管理***
CN112926440A (zh) * 2021-02-22 2021-06-08 北京市商汤科技开发有限公司 动作比对方法、装置、电子设备及存储介质
CN113262459B (zh) * 2021-05-26 2022-06-14 上海大动科技有限公司 应用于运动健身镜的动作标准性的判定方法，装置和介质
CN113516064A (zh) * 2021-07-02 2021-10-19 深圳市悦动天下科技有限公司 体育运动的动作判定方法、装置、设备及存储介质
CN113569688A (zh) * 2021-07-21 2021-10-29 上海健指树健康管理有限公司 基于肢体识别技术的体适能测试方法、装置及存储介质
CN114527873A (zh) * 2022-02-11 2022-05-24 广州虎牙科技有限公司 虚拟人物模型控制方法、装置及电子设备
WO2024040547A1 (zh) * 2022-08-26 2024-02-29 深圳市韶音科技有限公司 一种运动监控***、设备和方法
CN115294660B (zh) 2022-10-08 2023-03-07 南京硅基智能科技有限公司 健身动作识别模型、模型的训练方法及健身动作识别方法
CN115550251B (zh) * 2022-12-01 2023-03-10 杭州蚂蚁酷爱科技有限公司 区块链网络、节点集合的维护方法及装置
CN115661254B (zh) * 2022-12-08 2023-05-16 粤港澳大湾区数字经济研究院(福田) 一种多人姿态估计方法及相关装置
CN116434296A (zh) * 2023-03-02 2023-07-14 深圳市华方信息产业有限公司 一种实时人脸识别监控行为方法、装置、设备和介质
CN117853507B (zh) * 2024-03-06 2024-06-18 阿里巴巴（中国）有限公司 交互式图像分割方法、设备、存储介质和程序产品
CN117975574B (zh) * 2024-04-02 2024-07-09 泉州装备制造研究所 一种用于人体关键点回归的单阶段识别方法及装置
CN118015711B (zh) * 2024-04-10 2024-07-12 华南农业大学 基于多角度下的表演动作识别方法、***、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214231A (zh) * 2017-06-29 2019-01-15 深圳泰山体育科技股份有限公司 基于人体姿态识别的体育教学辅助***和方法
CN109858524A (zh) * 2019-01-04 2019-06-07 北京达佳互联信息技术有限公司 手势识别方法、装置、电子设备及存储介质
CN110008857A (zh) * 2019-03-21 2019-07-12 浙江工业大学 一种基于关节点的人体动作匹配评分方法
CN110020633A (zh) * 2019-04-12 2019-07-16 腾讯科技（深圳）有限公司 姿态识别模型的训练方法、图像识别方法及装置
CN110045823A (zh) * 2019-03-12 2019-07-23 北京邮电大学 一种基于动作捕捉的动作指导方法和装置
CN110738192A (zh) * 2019-10-29 2020-01-31 腾讯科技（深圳）有限公司 人体运动功能辅助评估方法、装置、设备、***及介质
CN110782482A (zh) * 2019-10-21 2020-02-11 深圳市网心科技有限公司 运动评估方法、装置、计算机设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527046B (zh) * 2009-04-28 2012-09-05 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和***
CN110163048B (zh) * 2018-07-10 2023-06-02 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
US11222428B2 (en) * 2019-04-08 2022-01-11 Sony Group Corporation Determining golf swing characteristics
CN112259191A (zh) * 2019-08-30 2021-01-22 华为技术有限公司 辅助健身的方法和电子装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214231A (zh) * 2017-06-29 2019-01-15 深圳泰山体育科技股份有限公司 基于人体姿态识别的体育教学辅助***和方法
CN109858524A (zh) * 2019-01-04 2019-06-07 北京达佳互联信息技术有限公司 手势识别方法、装置、电子设备及存储介质
CN110045823A (zh) * 2019-03-12 2019-07-23 北京邮电大学 一种基于动作捕捉的动作指导方法和装置
CN110008857A (zh) * 2019-03-21 2019-07-12 浙江工业大学 一种基于关节点的人体动作匹配评分方法
CN110020633A (zh) * 2019-04-12 2019-07-16 腾讯科技（深圳）有限公司 姿态识别模型的训练方法、图像识别方法及装置
CN110782482A (zh) * 2019-10-21 2020-02-11 深圳市网心科技有限公司 运动评估方法、装置、计算机设备及存储介质
CN110738192A (zh) * 2019-10-29 2020-01-31 腾讯科技（深圳）有限公司 人体运动功能辅助评估方法、装置、设备、***及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马运超 等."基于深度学习的艺术体操动作识别与评价研究".第十一届全国体育科学大会论文摘要汇编》.2019,2832-2833. *

Also Published As

Publication number Publication date
US20210319213A1 (en) 2021-10-14
US11816847B2 (en) 2023-11-14
CN111488824A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN111488824B (zh) 运动提示方法、装置、电子设备和存储介质
CN111694429B (zh) 虚拟对象驱动方法、装置、电子设备及可读存储
CN111259751B (zh) 基于视频的人体行为识别方法、装置、设备及存储介质
CN112528850B (zh) 人体识别方法、装置、设备和存储介质
Yao et al. Contour model-based hand-gesture recognition using the Kinect sensor
EP3198373B1 (en) Tracking hand/body pose
CN111369602B (zh) 点云数据的处理方法、装置、电子设备及可读存储介质
CN112330730B (zh) 图像处理方法、装置、设备及存储介质
WO2020156245A1 (zh) 动作识别方法、装置、设备及存储介质
CN111709874A (zh) 图像调整的方法、装置、电子设备及存储介质
CN107832736B (zh) 实时人体动作的识别方法和实时人体动作的识别装置
CN113378770B (zh) 手势识别方法、装置、设备、存储介质
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN112001248B (zh) 主动交互的方法、装置、电子设备和可读存储介质
CN112241716B (zh) 训练样本的生成方法和装置
CN111462179B (zh) 三维物体跟踪方法、装置及电子设备
CN116311519B (zh) 动作识别方法、模型训练方法及装置
JP2017037424A (ja) 学習装置、認識装置、学習プログラム、及び認識プログラム
CN109858402B (zh) 一种图像检测方法、装置、终端以及存储介质
CN111832611A (zh) 动物识别模型的训练方法、装置、设备及存储介质
CN113496168B (zh) 手语数据采集方法、设备、存储介质
CN116766213B (zh) 一种基于图像处理的仿生手控制方法、***和设备
CN116092120B (zh) 基于图像的动作确定方法、装置、电子设备及存储介质
CN109407826A (zh) 球类运动模拟方法、装置、存储介质及电子设备
CN112488126A (zh) 特征图处理方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant