CN114022512A - 运动辅助方法、装置及介质 - Google Patents

运动辅助方法、装置及介质 Download PDF

Info

Publication number
CN114022512A
CN114022512A CN202111277917.2A CN202111277917A CN114022512A CN 114022512 A CN114022512 A CN 114022512A CN 202111277917 A CN202111277917 A CN 202111277917A CN 114022512 A CN114022512 A CN 114022512A
Authority
CN
China
Prior art keywords
data
target object
target
motion
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111277917.2A
Other languages
English (en)
Inventor
曾起
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202111277917.2A priority Critical patent/CN114022512A/zh
Publication of CN114022512A publication Critical patent/CN114022512A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例涉及智能设备技术领域和人工智能技术领域,公开了一种运动辅助方法、装置及介质。该方法包括:获取教学视频,以及教学视频对应的标准姿态数据;在目标对象根据教学视频进行运动的过程中,通过摄像装置采集目标对象的目标三维图像数据;通过训练后的姿态数据提取模型对目标三维图像数据进行姿态识别处理,得到目标对象的目标姿态数据;根据目标姿态数据和标准姿态数据,确定目标对象的运动辅助方案,运动辅助方案用于指示目标对象的姿态偏差;输出运动辅助方案,以辅助目标对象纠正运动姿态。采用本申请实施例能够实现对目标对象的运动动作进行精准指导,提高训练效率。

Description

运动辅助方法、装置及介质
技术领域
本申请涉及智能设备技术领域,尤其涉及一种运动辅助方法、装置及介质。
背景技术
随着健康生活的理念日渐被大众所重视,越来越多的人在繁忙的工作和生活中开始了运动训练。现有的运动教学或运动练习方法主要有两种:第一种是由专业教练进行动作演示,学员根据教练演示的动作进行模仿和训练,最后再通过教练对学员的动作进行纠正;第二种是预先将专业教练的动作演示过程拍摄并制成视频,学员通过观看视频进行自我练习。前者由于同一个教练需要指导多名学员,导致专业教练的时间和精力有限,往往不能对学员进行更细致、准确的指导;后者由于是学员自己进行模仿练习,没有专业人士的指导,往往使得在练习过程中的很多动作不合规范,效果不佳。因此,现有的运动教学或运动练习方法无法做到对训练者的运动动作进行精准指导,从而提高训练者的训练效率。
发明内容
本申请实施例提供了一种运动辅助方法、装置及介质,可实现对训练者的运动动作进行精准指导,提高训练效率。
一方面,本申请实施例提供一种运动辅助方法,该方法包括:
获取教学视频,以及所述教学视频对应的标准姿态数据;
在目标对象根据所述教学视频进行运动的过程中,通过摄像装置采集所述目标对象的目标三维图像数据;
通过训练后的姿态数据提取模型对所述目标三维图像数据进行姿态识别处理,得到所述目标对象的目标姿态数据;
根据所述目标姿态数据和所述标准姿态数据,确定所述目标对象的运动辅助方案,所述运动辅助方案用于指示所述目标对象的姿态偏差;
输出所述运动辅助方案,以辅助所述目标对象纠正运动姿态。
在一个实施例中,所述获取教学视频,以及所述教学视频对应的标准姿态数据之前,还包括:通过摄像装置采集标准对象的教学视频,所述教学视频包括多帧标准三维图像数据;确定所述多帧标准三维图像数据中的关键帧三维图像数据,所述关键帧三维图像数据包括用于指示所述标准对象的各个运动动作的图像帧的三维图像数据;通过训练后的姿态数据提取模型对所述关键帧三维图像数据进行姿态识别处理,得到所述标准对象的标准姿态数据;将所述教学视频与所述标准姿态数据对应存储。
在一个实施例中,还包括:确定各个关键帧三维图像数据对应的各个运动动作的在所述教学视频中的播放时间;所述通过摄像装置采集所述目标对象的目标三维图像数据,包括:在所述目标对象根据所述教学视频进行运动的过程中,到达任一运动动作的播放时间时,通过所述摄像装置采集所述目标对象的目标三维图像数据。
在一个实施例中,所述方法还包括:确定各个关键帧三维图像数据对应的各个标准姿态数据的播放时间,所述标准姿态数据的播放时间为所述关键帧三维图像数据对应的运动动作的播放时间;对各个播放时间的标准姿态数据进行分析处理,得到所述标准姿态数据对应的评估向量集合,所述评估向量集合用于指示标准对象在所述播放时间内各个姿态关键点的起点位置和运动方向;所述根据所述目标姿态数据和所述标准姿态数据,确定所述目标对象的运动辅助方案,包括:确定属于同一播放时间的目标姿态数据和标准姿态数据;获取所述标准姿态数据的评估向量集合;对所述目标姿态数据进行分析处理,得到待评估向量集合,所述待评估向量集合用于指示目标对象在所述播放时间内各个姿态关键点的起点位置和运动方向;将所述评估向量集合和所述待评估向量集合进行比较,确定所述目标对象在所述播放时间内各个姿态关键点的偏差值;基于所述各个姿态关键点的偏差值,以及所述目标对象在所述播放时间内各个姿态关键点的起点位置,确定所述目标对象在所述播放时间内的运动辅助方案。
在一个实施例中,所述方法还包括:基于所述目标对象在各个播放时间内的各个姿态关键点的偏差值,以及运动辅助方案,生成所述目标对象关于所述教学视频的运动记录,所述运动记录用于指示所述目标对象需要增强练习的运动动作和/或已经掌握的运动动作;当检测到所述目标对象再一次根据所述教学视频进行运动时,获取所述运动记录;基于所述运动记录调整所述教学视频中各个运动动作的运动时间。
在一个实施例中,所述方法还包括:基于各个播放时间内的各个姿态关键点的偏差值,得到所述目标对象在各个播放时间内的评论等级;当到达预设输出时间时,输出所述评论等级。
在一个实施例中,所述方法还包括:获取训练样本,所述训练样本包括训练对象的平面图像数据和深度图像数据,以及训练对象的实际姿态数据;通过姿态数据提取模型中的第一特征提取网络对所述平面图像数据进行特征提取,得到平面特征;通过所述姿态数据提取模型中的第二特征提取网络对所述深度图像数据进行特征提取,得到深度特征;通过所述姿态数据提取模型对所述平面特征和所述深度特征进行特征融合,得到预测姿态数据;根据所述预测姿态数据和所述实际姿态数据,对所述姿态数据提取模型进行训练,得到所述训练后的姿态数据提取模型。
在一个实施例中,所述通过摄像装置采集所述目标对象的目标三维图像数据,包括:通过多个摄像装置采集所述目标对象在多个预设方向的目标三维图像数据;所述通过训练后的姿态数据提取模型对所述目标三维图像数据进行姿态识别处理,得到所述目标对象的目标姿态数据,包括:通过所述训练后的姿态数据提取模型对各个预设方向的目标三维图像数据进行姿态识别处理,得到所述目标对象在各个预设方向的目标三维姿态数据;对所述目标对象在各个预设方向的目标三维姿态数据进行融合处理,得到所述目标对象的目标姿态数据。
另一方面,本申请实施例提供了一种运动辅助方案生成装置,该运动辅助装置包括:
获取单元,用于获取教学视频,以及所述教学视频对应的标准姿态数据;
采集单元,用于在目标对象根据所述教学视频进行运动的过程中,通过摄像装置采集所述目标对象的目标三维图像数据;
处理单元,用于通过训练后的姿态数据提取模型对所述目标三维图像数据进行姿态识别处理,得到所述目标对象的目标姿态数据;
所述处理单元,还用于将所述目标姿态数据和所述标准姿态数据进行比较,确定所述目标对象的运动辅助方案,所述运动辅助方案用于指示所述目标对象的姿态偏差;
输出单元,用于输出所述运动辅助方案,以辅助所述目标对象纠正运动姿态。
再一方面,本申请实施例提供一种电子设备,包括处理器、存储装置和通信接口,处理器、存储装置和通信接口相互连接,其中,存储装置用于存储支持终端执行上述方法的计算机程序,计算机程序包括程序指令,处理器被配置用于调用程序指令,执行如下步骤:获取教学视频,以及所述教学视频对应的标准姿态数据;在目标对象根据所述教学视频进行运动的过程中,通过摄像装置采集所述目标对象的目标三维图像数据;通过训练后的姿态数据提取模型对所述目标三维图像数据进行姿态识别处理,得到所述目标对象的目标姿态数据;根据所述目标姿态数据和所述标准姿态数据,确定所述目标对象的运动辅助方案,所述运动辅助方案用于指示所述目标对象的姿态偏差;输出所述运动辅助方案,以辅助所述目标对象纠正运动姿态。
又一方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序包括程序指令,程序指令当被处理器执行时使处理器执行上述运动辅助方法。
本申请实施例中,通过获取教学视频,以及教学视频对应的标准姿态数据,并在目标对象根据所述教学视频进行运动的过程中,利用摄像装置采集目标对象的目标三维图像数据,以及通过训练后的姿态数据提取模型对目标三维图像数据进行姿态识别处理,得到目标姿态数据;最后根据目标姿态数据和标准姿态数据,确定目标对象的运动辅助方案,以辅助目标对象纠正运动姿态。本申请实施例通过预先获取教学视频和标准姿态数据,可以方便后续快速确定运动辅助方案;通过摄像装置采集目标对象的目标三维图像数据,以及训练后的姿态数据提取模型对目标三维图像数据进行姿态识别处理,可以实时得到目标对象的目标姿态数据;最后根据目标姿态数据和标准姿态数据,确定运动辅助方案以辅助目标对象纠正运动姿态,可以实现对目标对象的运动动作进行精准指导,提高训练效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种运动辅助***的结构示意图;
图2是本申请实施例提供的一种智能终端的结构示意图;
图3是本申请实施例提供的第一种运动辅助方法的流程示意图;
图4是本申请实施例提供的一种教学视频的选择界面示意图;
图5是本申请实施例提供的第一种运动辅助方案的显示界面示意图;
图6是本申请实施例提供的第二种运动辅助方法的流程示意图;
图7是本申请实施例提供的第二种运动辅助方案的显示界面示意图;
图8是本申请实施例提供的一种运动记录的显示界面示意图;
图9是本申请实施例提供的一种评论等级的显示界面示意图;
图10是本申请实施例提供的一种运动辅助装置的结构示意图;
图11是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着健康生活的理念日渐被大众所重视,现代生活中刮起了运动健身的潮流,越来越多的人在繁忙的工作和生活中开始去进行如瑜伽、跳舞、健身器械等运动训练。传统的运动教学或运动练习方法主要有两种:第一种是由专业教练进行动作演示,学员根据教练演示的动作进行模仿和训练,最后再通过教练对学员的动作进行纠正;第二种是预先将专业教练的动作演示过程拍摄并制成视频,学员通过观看视频进行自我练习。前者由于同一个教练需要指导多名学员,导致专业教练的时间和精力有限,往往不能对学员进行更细致、准确的指导;后者由于是学员自己进行模仿练习,没有专业人士的指导,往往使得在练习过程中的很多动作不合规范,效果不佳。此外,现有的运动练习方法中还可以通过三维重建***去捕获运动对象的运动数据,然后基于运动数据对运动对象进行运动指导,然而三维重建***往往价格昂贵、捕获设备操作复杂,同时由于捕获到的数据过多,往往不能做到及时处理,无法精准、实时地对运动对象进行运动动作指导,从而导致练习效率不高。因此,现有的运动教学或运动练习方法不能做到在降低成本的同时对训练者的运动动作进行精准指导,从而提高训练者的训练效率。
基于此,本申请实施例提供一种运动辅助***。参见图1,为本申请实施例提供的一种运动辅助***的结构示意图。图1所示的运动辅助***可以包括智能终端101以及管理中心102。其中,智能终端101可以包括智能手机、平板电脑、笔记本电脑、台式计算机中的任意一种或多种,也可以是智能电视、智能镜子等具有显示功能的智能设备中的任意一种或多种;管理中心102可以是服务器,例如可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。智能终端101以及管理中心102之间可以通过有线或无线通信方式进行直接或间接地通信连接,本申请在此不做限制。
在一个实施例中,请参见附图2,图2为一种智能终端的结构示意图。图2所示的智能终端201可以包括显示设备202和摄像装置203。摄像装置203可以用于采集目标对象的目标三维图像数据,也可以用于采集目标对象的运动图像;显示设备202可以用于显示教学视频,也可以同时显示教学视频和目标对象的运动图像。优选地,智能终端201还可以包括运动感知区域204,运动感知区域204可以处于摄像装置203采集中心,当目标对象处于运动感知区域204时,摄像装置203采集目标对象的图像或数据会更为准确,此外,运动感知区域204中还可以包括位置传感器和光学传感器等,以辅助摄像装置203进行数据采集。
在一种可能的实现方式中,目标对象可以通过无线遥控或触摸点击的方式在显示设备202所展示的教学视频中选择一个,此时显示设备202会生成一个视频请求,并发送至管理中心。管理中心接收到视频请求后,对视频请求进行解析,从教学视频库中查找到与该视频请求匹配的教学视频和该教学视频对应的标准姿态数据,并发送至智能终端201。在显示设备202上播放教学视频,目标对象根据教学视频进行运动,此时摄像装置可以采集目标对象的目标三维图像数据,并发送至智能终端201的处理器,由智能终端201的处理器先通过训练后的姿态数据提取模型对目标三维图像数据进行姿态识别处理,得到目标对象的目标姿态数据;然后根据目标姿态数据和标准姿态数据,确定目标对象的运动辅助方案,其中,运动辅助方案可以实时在显示设备202上进行显示,从而使得目标对象可以根据运动辅助方案及时地纠正姿态。优选地,摄像装置还可以将采集到的目标三维图像数据发送至管理中心,由管理中心进行姿态识别处理和确定目标对象的运动辅助方案,最后管理中心将运动辅助方案发送至智能终端201。
基于上述运动辅助***,本申请实施例还提供了一种运动辅助方法,该运动辅助方法,第一方面,通过摄像装置采集目标对象的目标三维图像数据,并通过训练后的姿态数据提取模型对目标三维图像数据进行姿态识别处理,得到目标姿态数据,实现了在可以获取准确的目标对象姿态数据的同时最大幅度地降低了设备的成本;第二方面,可以通过直接获取到的教学视频对应的标准姿态数据和实时处理所计算得到的目标姿态数据,确定所述目标对象的运动辅助方案,实现了对训练者的运动动作进行精准指导,从而提高训练者的训练效率。
需要说明的是,本申请实施例以瑜伽练习的相关场景为例介绍本申请实施例提及的运动辅助方法,并不会对本申请实施例起到限定作用,本申请实施例提及的运动辅助方法还可以运用于其他运动的教学、练习、比赛等场景,本申请实施例对此不作限定。
请参见图3,图3是本申请实施例提供的一种运动辅助方法的流程示意图;如图3所示的运动辅助方案可由图1所示的智能终端来执行,可以应用于图1所示的运动辅助***,该方案包括但不限于步骤S301~步骤S305,其中:
S301,获取教学视频,以及教学视频对应的标准姿态数据。
在本申请实施例中,所述标准姿态数据指的是教学视频中的各个运动动作的姿态数据,其中,姿态数据可以是两个维度的姿态数据、三个维度的姿态数据或者多个维度的姿态数据;所述三个维度可以指的是平面中X轴和Y轴的两个维度,以及立体空间中用于表示物体高度或深度的Z轴的维度。
在本申请实施例中,所述获取教学视频,以及所述教学视频对应的标准姿态数据的方式可以是响应运动请求,然后基于运动请求获取教学视频,以及所述教学视频对应的标准姿态数据。其中,运动请求是根据用户的运动需求生成的,也可以是基于用户的运动历史记录或者预先输入的训练计划所生成的。
示例性地,请参见附图4,图4为教学视频的选择界面S401,选择界面S401中可以基于用户的之前运动历史记录为用户推荐“继续上次练***衡力的瑜伽,可以通过在搜索栏S402或者点击语音图标S403输入搜索关键词“平衡力”和“瑜伽”,然后智能终端会基于用户A的运动需求生成运动请求,并基于该运动请求从教学视频数据库中查找与“平衡力”和“瑜伽”相关的教学视频,以及与教学视频对应的标准姿态数据,并在智能终端的显示界面S402显示所查找到的教学视频;智能终端还可以将运动请求发送至云端的管理中心,由管理中心从教学视频数据库中查找与“平衡力”和“瑜伽”相关的教学视频,以及与教学视频对应的标准姿态数据,并发送至智能终端,由智能终端的显示界面S404显示所查找到的教学视频。最后用户A可以从多个教学视频中选择一个教学视频进行运动训练。优选地,还可以是用户直接在智能终端上点击选择已经预先缓存好的教学视频,然后获取该教学视频对应的标准姿态数据。优选地,还可以是其他方式获取教学视频,以及所述教学视频对应的标准姿态数据,在此不限定。
S302,在目标对象根据教学视频进行运动的过程中,通过摄像装置采集目标对象的目标三维图像数据。
在本申请实施例中,所述摄像装置指的是能够采集三维图像数据的摄像仪器和/或采集深度图像数据的摄像仪器与其他能够拍摄的设备的组合。示例性地,摄像装置可以是深度摄像机,也可以是一个普通摄像机和一个深度摄像机,还可以是一个深度摄像机和一台能够摄像的移动设备。优选地,还可以是其他摄像装置,在此不限定。此外,标准对象指的是练习每个运动动作的对象,目标对象可以是人、动物等具有生物,也可以是立体的虚拟形象等,在此不限定。
在一种可能的实现方式中,所述通过摄像装置采集目标对象的目标三维图像数据时,为了使得摄像装置所采集的目标三维图像数据更准确,该目标对象可以在规定的位置范围内根据教学视频进行运动;其中,所述规定的位置范围可以基于教学视频中标准对象进行教学过程中的位置范围来进行确定,有利于保证目标对象的三维图像数据的采集环境与标准对象的三维图像数据的采集环境保持相对一致。优选地,还可以在规定的位置范围内安装位置传感器、光传感器等可以感知目标对象的位置和姿态的传感器,便于对摄像装置所采集的目标三维图像数据进行修正,提高准确性。
示例性地,在目标对象A选择好了教学视频之后,智能终端的显示屏幕会被划分成两个区域,一个区域显示教学视频,另一个区域显示摄像装置所拍摄的目标对象A的实时图像;目标对象A在准备根据教学视频进行运动时,可以通过观察显示屏幕显示自己的实时图像的那个显示区域中所划定出的标准位置范围,然后进入标准位置范围准备开始根据教学视频进行运动。优选地,当目标对象A在根据教学视频进行运动的过程中,偏离标准位置范围时,还可以通过语音、文字、灯光等方式提示目标对象A已经偏离了标准位置范围,从而使得目标对象A在根据教学视频进行运动的整个过程中所采集的到的三维图像数据都是较为准确的。
S303,通过训练后的姿态数据提取模型对目标三维图像数据进行姿态识别处理,得到目标对象的目标姿态数据。
在本申请实施例中,所述训练后的姿态数据提取模型可以是通过人工智能的机器学***面数据和深度图像数据,以及通过摄像装置或者运动捕捉设备获取到训练对象的实际姿态数据,然后通过平面数据、深度图像数据以及实际姿态数据对机器学习模型进行训练,最后得到训练后的姿态数据提取模型。优选地,还可以通过其他方法或者构建其他的机器学习模型去得到能计算出实际姿态的姿态数据提取模型,在此不赘述。
在一种可能的实现方式中,所述获得训练后的姿态数据提取模型的方式可以是:1)获取训练样本,训练样本包括训练对象的平面图像数据和深度图像数据,以及训练对象的实际姿态数据;2)通过姿态数据提取模型中的第一特征提取网络对平面图像数据进行特征提取,得到平面特征;3)通过姿态数据提取模型中的第二特征提取网络对深度图像数据进行特征提取,得到深度特征;4)通过姿态数据提取模型对平面特征和深度特征进行特征融合,得到预测姿态数据;5)根据预测姿态数据和实际姿态数据,对姿态数据提取模型进行训练,得到训练后的姿态数据提取模型。其中,关于步骤2)和步骤3)的顺序不作限定。
具体来说,步骤5)中根据预测姿态数据和实际姿态数据,对姿态数据提取模型进行训练的方式可以是通过预测姿态数据和实际姿态数据构建自定义损失函数,然后基于该自定义损失函数对姿态数据提取模型进行收敛训练,最后得到训练后的姿态数据提取模型。优选地,可以定时或者不定时地更新训练样本和损失函数,重新对姿态数据提取模型进行优化训练,使得训练后的姿态数据提取模型所提取的姿态数据更加准确。
举例来说,获取训练样本中训练对象的平面图像数据、深度图像数据和实际姿态数据的方式,以及根据训练样本对姿态数据提取模型的训练过程具体可以是:通过RGB-D摄像头获取训练对象的平面图像数据,即RGB图像,以及深度图像数据即深度图像;将RGB图像输入至姿态数据提取模型中的卷积神经网络(CNN),即第一特征提取网络,提取训练对象的平面特征;然后将深度图像输入至姿态数据提取模型中的渐进校准网络(PCN),即第二特征提取网络,提取训练对象的深度特征;最后通过姿态数据提取模型中的多层感知器(MLP)对平面特征和深度特征进行特征融合,最终预测得到训练对象的各个姿态关键点的三维数据,即预测姿态数据;而训练对象的实际姿态数据可以是通过在训练对象的身体上安装姿态传感器等用于测量姿态的装备去获取到实际姿态数据,也可以是通过专业的动作捕捉设备去获取到训练对象的实际姿态数据,还可以是其他方式获取实际姿态数据,在此不限定。示例性地,可以通过在训练对象的右脚踝、右膝、右股、左股、左膝、左脚踝、脖子、头部、右手腕、右手肘、右肩、左肩、左手肘、左手腕等14个姿态关键点贴上发光器,然后在RGB图像中标记出各个发光器的二维姿态数据,即X、Y坐标点,同时在深度图像中可以标记出发光器的深度姿态数据,即Z坐标点,最后综合二维姿态数据和深度姿态数据,得到实际姿态数据。最后可以通过连续采集训练对象的多个视频,获取多张图片进行整合形成训练样本对姿态数据提取模型进行训练。
在一种可能的实现方式中,由于在进行大部分运动的过程中,人体的方向会发生转变,因此为了更准确地识别目标对象的目标三维图像数据,还可以通过多个摄像装置采集所述目标对象在多个预设方向的目标三维图像数据。那么,通过训练后的姿态数据提取模型对目标三维图像数据进行姿态识别处理,得到目标对象的目标姿态数据的方式可以是:通过训练后的姿态数据提取模型对各个预设方向的目标三维图像数据进行姿态识别处理,得到目标对象在各个预设方向的目标三维姿态数据;对所述目标对象在各个预设方向的目标三维姿态数据进行融合处理,得到目标对象的目标姿态数据。
S304,根据目标姿态数据和标准姿态数据,确定目标对象的运动辅助方案,运动辅助方案用于指示目标对象的姿态偏差。
在本申请实施例中,所述根据目标姿态数据和标准姿态数据,确定目标对象的运动辅助方案的方式可以是对目标姿态数据和标准姿态数据进行比较,得到两者之间的差值,从而确定运动辅助方案;也可以是分别对目标姿态数据和标准姿态数据进行预处理,然后将预处理后的目标姿态数据和标准姿态数据进行比较,从而确定运动辅助方案,其中,预处理的方式可以是将目标姿态数据和标准姿态数据向量化,也可以是将目标姿态数据和标准姿态数据简化,还可以是其他便于目标姿态数据和标准姿态数据计算偏差的方法,在此不限定。
S305,输出运动辅助方案,以辅助目标对象纠正运动姿态。
在本申请实施例中,输出所述运动辅助方案的方式可以是文字、语音、图像中的一种或多种。具体来说,可以是通过文字、语音或图像的方式提示目标对象的姿态纠正的方向和角度等。
举例来说,请参见附图5,图5为运动过程中的显示界面S501,在目标对象进行运动的过程中,可以对识别出的目标对象的各个运动动作的目标姿态数据和获取到的标准姿态数据进行处理,实时确定目标对象的运动辅助方案为需要目标对象的右肩上抬20度以及右臂上抬30度;那么可以通过在显示屏幕上显示“左腿下移20度”和“右臂上抬30度”等文字提示目标对象对该运动动作中的右肩的姿态进行纠正,当目标对象的右肩上抬超过20度,可以通过文字提示或者改变问题颜色等方式提示目标对象右肩上抬角度过高;当目标对象达到标准姿态后,提示文字消失。优选地,还可以是在通过语音提示目标对象“右腿上抬2厘米”、“左手腕下移1厘米”等,并循环播放,直至目标对象达到标准姿态;也可以是在显示屏幕中划出标准线,以提示目标对象纠正姿态。
本申请实施例中,通过获取教学视频,以及教学视频对应的标准姿态数据,并在目标对象根据所述教学视频进行运动的过程中,利用摄像装置采集目标对象的目标三维图像数据,以及通过训练后的姿态数据提取模型对目标三维图像数据进行姿态识别处理,得到目标姿态数据;最后根据目标姿态数据和标准姿态数据,确定目标对象的运动辅助方案,以辅助目标对象纠正运动姿态。本申请实施例通过预先获取教学视频和标准姿态数据,可以方便后续确定运动辅助方案;通过摄像装置采集目标对象的目标三维图像数据,以及训练后的姿态数据提取模型对目标三维图像数据进行姿态识别处理,可以实时得到目标对象的目标姿态数据;最后根据目标姿态数据和标准姿态数据,确定运动辅助方案以辅助目标对象纠正运动姿态,可以实现对目标对象的运动动作进行精准指导,提高训练效率。
请参见图6,图6是本申请实施例提供的另一种运动辅助方法的流程示意图;如图6所示的运动辅助方案可由图1所示的智能终端来执行,可以应用于图1所示的运动辅助***,该方案可包括但不限于步骤S601~步骤S609,其中:
S601,通过摄像装置采集标准对象的教学视频,教学视频包括多帧标准三维图像数据。
本申请实施例中,当摄像装置为深度摄像机时,可以对深度摄像机采集到的标准三维图像数据中的二维图像数据进行处理,可以生成教学视频。优选地,当摄像装置包括一个深度摄像机和一个普通摄像机时,可以直接将普通摄像机所采集到的图像数据生成教学视频。
需要说明的是,步骤S601的摄像装置的具体采集过程可参见图3所示实施例步骤S302所示的具体实施过程的相关描述,在此不做赘述。
S602,确定多帧标准三维图像数据中的关键帧三维图像数据,关键帧三维图像数据包括用于指示标准对象的各个运动动作的图像帧的三维图像数据。
本申请实施例中,所述确定多帧标准三维图像数据中的关键帧三维图像数据的方式可以是***利用相关算法在标准三维图像数据中标定关键帧三维图像数据;也可以是通过机器学习等方法构建并训练出运动动作识别模型,通过运动动作识别模型标定关键帧三维图像数据;还可以是通过人工标记的方式在标准三维图像数据中标定关键帧三维图像数据。优选地,还可以是其他方法确定关键帧三维图像数据,在此不限定。
举例来说,确定关键帧三维图像数据的过程可以是:根据不同运动的特性,确定各种运动的关键特征。例如瑜伽的关键特征可以有坐、立、跪、躺等,因此可以对标准三维图像数据所指示的图像进行图像识别,筛选出具有关键特征的三维图像数据;然后再对与筛选后的三维图像数据所指示的图像连续的一个或多个图像进行识别,识别得到筛选后的三维图像数据所指示的图像中的训练对象的运动动作,将最符合运动动作标准的图像的三维图像数据作为关键帧三维图像数据。优选地,确定关键帧三维图像数据的过程还可以是:获取多张不同瑜伽动作的标准动作图像,并对各个标准动作图像所对应的瑜伽动作进行标记,通过卷积神经网络构建机器学习模型,然后将所述多张标准动作图像输入至机器学习模型,通过机器学习模型对标准动作图像进行识别并分类,来实现对机器学习模型的训练,最后得到训练好的机器学习模型,通过训练好的机器学习模型可以准确地从标准三维图像数据所指示的图像中识别出代表训练对象的瑜伽动作的图像,将该图像的三维图像数据作为关键帧三维图像数据。
S603,通过训练后的姿态数据提取模型对关键帧三维图像数据进行姿态识别处理,得到标准对象的标准姿态数据。
需要说明的是,步骤S603的具体实施过程可参见图3所示实施例步骤S303所示的具体实施过程的相关描述,在此不做赘述。
S604,将教学视频与标准姿态数据对应存储。
本申请实施例中将教学视频与标准姿态数据对应存储的方式可以是将教学视频与标准姿态数据对应存储在同一个数据库,也可以是将教学视频与标准姿态数据存储在不同的数据库,但是教学视频与标准姿态数据具有相同的识别信息,可以通过识别信息建立教学视频与标准姿态数据的对应关系。优选地,还可以通过其他的方式进行对应存储,在此不限定。
S605,获取教学视频,以及教学视频对应的标准姿态数据。
需要说明的是,步骤S605的具体实施过程可参见图3所示实施例步骤S301所示的具体实施过程的相关描述,在此不做赘述。
S606,在目标对象根据教学视频进行运动的过程中,通过摄像装置采集目标对象的目标三维图像数据。
本申请实施例中,所述通过摄像装置采集所述目标对象的目标三维图像数据的方式可以是:预先确定各个关键帧三维图像数据对应的各个运动动作在教学视频中的播放时间;在所述目标对象根据教学视频进行运动的过程中,到达任一运动动作的播放时间时,通过摄像装置采集目标对象的目标三维图像数据。
具体来说,在标准对象进行教学的过程中,通过摄像装置所采集到的多帧图像形成了教学视频,由于视频时通过一帧帧画面播放形成的,因此可以确定每帧图像在教学视频中的播放时间。关键帧三维图像数据包括用于指示所述标准对象的各个运动动作的图像帧的三维图像数据,因此在确定了关键帧三维图像数据后,可以通过关键帧三维图像数据包括的图像帧的播放时间来确定该图像帧指示的运动动作的播放时间。在目标对象根据教学视频进行运动时,由于目标对象是根据教学视频进行模仿训练,因此当教学视频中标准对象的运动动作的播放时间也是目标对象的运动动作的播放时间;所以可以在到达运动动作的播放时间时,通过摄像装置采集目标对象的目标三维图像数据。
举例来说,通过教学视频可以确定瑜伽动作“猫式伸展动作1”的播放时间为2分20秒至2分30秒,“猫式伸展动作2”播放时间为2分35秒至2分45秒,因此,摄像装置可以在教学视频播放到2分20秒至2分30秒,以及2分35秒至2分45秒时采集目标对象的目标三维图像数据,此时采集到的目标三维图像数据分别表示目标对象在做的“猫式伸展动作1”和“猫式伸展动作2”这两个瑜伽动作的三维图像数据。优选地,还可以是到达了各个运动动作的播放时间时同时通过深度摄像机和普通摄像机采集得到目标对象的目标三维图像数据;在没有到达各个运动动作的播放时间时只通过普通摄像机拍摄目标对象的图像数据。
S607,通过训练后的姿态数据提取模型对目标三维图像数据进行姿态识别处理,得到目标对象的目标姿态数据。
需要说明的是,步骤S607的具体实施过程可参见图3所示实施例步骤S303所示的具体实施过程的相关描述,在此不做赘述。
S608根据目标姿态数据和标准姿态数据,确定目标对象的运动辅助方案,运动辅助方案用于指示目标对象的姿态偏差。
S609,输出运动辅助方案,以辅助目标对象纠正运动姿态。
本申请实施例中,可以预先确定各个关键帧三维图像数据对应的各个标准姿态数据的播放时间,其中,标准姿态数据的播放时间为关键帧三维图像数据对应的运动动作的播放时间;然后对各个播放时间的标准姿态数据进行分析处理,得到标准姿态数据对应的评估向量集合,其中,评估向量集合用于指示标准对象在播放时间内各个姿态关键点的起点位置和运动方向。
那么,根据目标姿态数据和标准姿态数据,确定目标对象的运动辅助方案的方式可以是:确定属于同一播放时间的目标姿态数据和标准姿态数据;获取标准姿态数据的评估向量集合;对目标姿态数据进行分析处理,得到待评估向量集合,待评估向量集合用于指示目标对象在播放时间内各个姿态关键点的起点位置和运动方向;将评估向量集合和待评估向量集合进行比较,确定目标对象在播放时间内各个姿态关键点的偏差值;基于各个姿态关键点的偏差值,以及目标对象在播放时间内各个姿态关键点的起点位置,确定目标对象在播放时间内的运动辅助方案。其中,姿态关键点指的是形成各个运动动作的人体或者动物体的关键位置,在此不限定。
具体来说,在通过训练后的姿态数据提取模型对标准对象的标准三维图像数据进行处理,得到标准对象的各个运动动作的标准姿态数据后,还可以预先对标准姿态数据进行分析处理,得到指示标准对象在播放时间内各个姿态关键点的起点位置和运动方向的评估向量集合。然后,通过确定属于同一播放时间的目标姿态数据和标准姿态数据,来确定目标姿态数据所指示的目标对象的运动动作的姿态与标准姿态数据所指示的标准对象的运动动作的姿态是相同的,那么通过对目标姿态数据和标准姿态数据的比较,可以确定目标对象与标准对象的姿态偏差,从而有利于形成运动辅助方案。优选地,本申请实施例可以通过预先分析出标准姿态数据对应的评估向量集合,然后在对目标姿态数据进行分析处理得到待评估集合后直接获取评估向量集合,最后通过直接比较评估向量集合与待评估集合之间的各个姿态关键点的起始位置和方向的偏差来得到偏差值,从而减小了计算量,有利于实时形成运动辅助方案,对运动者进行精准指导,提高训练效率。
举例来说,请参见附图7,显示界面S701在标示出了目标对象A在实时训练图像中的身体的实时姿态关键点,并构建成了一个人体骨架,其中姿态关键点包括右脚踝、右膝、右股、左股、左膝、左脚踝、脖子、头部、右手腕、右手肘、右肩、左肩、左手肘、左手腕等14个形成运动动作的关键位置。当目标对象A根据显示界面S701中的教学视频进行运动时,摄像装置可以采集目标对象A运动时的实时训练图像并显示在显示界面S701的一个区域,其中,目标对象A的实时训练图像在显示界面S701的位置和大小不作限定。
显示界面S701中显示当前教学视频播放的运动动作为“跑前准备”,教学视频播放至1分10秒,因此可以确定运动动作“跑前准备”的播放时间为1分10秒,获取1分10秒的标准姿态数据的评估向量集合;同时,在1分10秒时采集目标对象的目标三维图像数据并进行处理,得到目标姿态数据,然后对目标姿态数据进行分析处理,得到待评估向量集合;通过比较评估向量集合和待评估向量集合中相同姿态关键点的起点位置和运动方向所组成的向量的角度差值,可以得到1分10秒时对目标对象的运动辅助方案。具体来说,显示界面S701的实时训练图像区域中目标对象A的右手腕与左脚踝与教学视频区域中标准对象的右手臂和左脚踝的角度差值分别为30度和90度,大于第一预设角度区间5度,因此运动辅助方案为需要目标对象A的右手腕向上抬25~35度,左脚踝下移85~95度。优选地,第一预设角度区间可以是人为设定的,也可以是智能终端或者管理中心等设备或***设定的,在此不限定。
其中,运动辅助方案可以以人体骨架的方式在显示界面S701中实时训练图像区域进行显示,而显示界面S701的实时训练图像区域中颜色较深的姿态关键点为“不标准”的姿态关键点,还可以在实时训练图像区域标记出正确位置,以方便目标对象A进行动作纠正。当目标对象A的运动动作达到标准角度区间时,姿态关键点的颜色达到全部一致。优选地,运动辅助方案还可以如显示界面S702所示,在实时训练图像区域中只显示并标记出需要纠正姿态关键点的人体骨架线,从而方便目标对象A进行纠正,当目标对象A的运动动作达到标准角度区间时,姿态关键点所组成的人体骨架线消失。
在一种可能的实现方式中,还可以基于目标对象在各个播放时间内的各个姿态关键点的偏差值,以及运动辅助方案,生成目标对象关于教学视频的运动记录,运动记录用于指示目标对象需要增强练习的运动动作和/或已经掌握的运动动作;当检测到目标对象再一次根据教学视频进行运动时,获取运动记录;基于运动记录调整教学视频中各个运动动作的运动时间。其中,基于姿态关键点的偏差值,以及运动辅助方案,生成运动记录的方式可以是:当目标对象的任一运动动作的任一姿态关键点的偏差值以及运动辅助方案中目标对象的运动动作纠正角度大于第二预设角度区间时,认定该运动动作为“仍需练习”;其中,第二预设角度区间大于第一预设角度区间,如于第一预设角度区间为5度,那么第二预设角度区间为10度。优选地,第二预设角度区间可以是人为设定的,也可以是智能终端或者管理中心等设备或***设定的,在此不限定。
示例性地,请参见附图8,目标对象B上一次练习“瑜伽入门01”这个视频时,智能终端根据目标对象B在各个播放时间内的各个姿态关键点的偏差值,以及运动辅助方案,生成目标对象B关于教学视频“瑜伽入门01”的运动记录,并将运动记录与教学视频“瑜伽入门01”对应存储。当目标对象B在显示界面S801点击教学视频“瑜伽入门01”,准备再次进行运动练习时,显示界面S801切换至显示界面S802,目标对象B可以看到上一次练习“瑜伽入门01”的运动情况;如果目标对象B想要多练习动作二和动作五,使得整个“瑜伽入门01”的动作均达到标准,可以选择“智能训练模式”,从而在目标对象B进行运动练习的过程中可以基于运动记录调整教学视频中各个运动动作的运动时间,比如适当延长动作二和动作五的运动时间和运动次数等。优选地,还可以根据姿态关键点的偏差值的偏差大小,以及目标对象的所有历史运动记录对所有运动动作的掌握程度进行精准确定,如掌握程度69%、掌握程度80%,以及动作一的右肩掌握较差、动作二的左腿掌握较好等,在此不限定。
在一种可能的实现方式中,还可以基于各个播放时间内的各个姿态关键点的偏差值,得到目标对象在各个播放时间内的评论等级;当到达预设输出时间时,输出评论等级。
具体来说,基于各个播放时间内的各个姿态关键点的偏差值,得到目标对象在各个播放时间内的评论等级的方式可以是:通过偏差值的大小情况对等级分类,如偏差值在0~5度的评论等级为A,偏差值在6~10度的评论等级为B,偏差值在10~20度的评论等级为C,偏差值在20~30度的评论等级为D,偏差值大于30度的评论等级为F;基于各偏差值,得到目标对象的评论等级的方式还可以是综合任一运动动作的偏差值,以及该运动动作的前一个或多个运动动作的偏差值对该运动动作进行评级,得到目标对象在该运动动作对应的播放时间内的评论等级。优选地,预设输出时间可以是每个运动动作结束前2秒至下一个开始前的这一个时间段;也可以是在运动结束时,综合目标对象在各个播放时间内的评论等级得到并输出一个总的评论等级,在此不限定。
举例来说,设定预设输出时间为距离动作结束前3秒至动作结束,请参见附图9,由于该运动动作的两个姿态关键点的偏差值均大于了30度,因此当显示界面S901中提示距离动作结束还有2秒时,显示界面S901的实时训练图像区域的右上方显示出了该运动动作的评论等级为D。
本申请实施例中,通过采集标准对象的教学视频,所述教学视频中包括多帧标准三维图像数据,从多帧标准三维图像数据中确定关键帧三维图像数据,以及通过训练后的姿态数据提取模型对关键帧三维图像数据进行姿态识别处理,可以得到标准对象的标准姿态数据;然后确定各个关键帧三维图像数据对应的各个运动动作的在教学视频中的播放时间;在目标对象根据教学视频进行运动的过程中,可以在到达任一运动动作的播放时间时,再通过摄像装置采集目标对象的目标三维图像数据;最后可以根据属于同一播放时间目标姿态数据和标准姿态数据,可以确定目标对象在各个播放时间的运动辅助方案,以实现实时纠正目标对象的姿态。本申请实施例通过确定关键帧三维图像数据的对应的运动动作的播放时间来确定属于同一播放时间目标姿态数据和标准姿态数据;可以预先对标准姿态数据进行处理得到评估向量集合,然后对目标姿态数据处理得到待评估向量集合,通过待评估向量集合和评估向量集合来进行姿态比较,可以有效减小计算量,有利于实时形成运动辅助方案,从而实现对运动者进行精准指导,提高训练效率。
本申请实施例还提供了一种计算机存储介质,该计算机存储介质中存储有程序指令,该程序指令被执行时,用于实现上述实施例中描述的相应方法。
再请参见图10,图10是本申请实施例的提供一种运动辅助装置的结构示意图。
本申请实施例的装置的一个实现方式中,装置包括如下结构。
获取单元1001,用于获取教学视频,以及教学视频对应的标准姿态数据;
采集单元1002,用于在目标对象根据教学视频进行运动的过程中,通过摄像装置采集目标对象的目标三维图像数据;
处理单元1003,用于通过训练后的姿态数据提取模型对目标三维图像数据进行姿态识别处理,得到目标对象的目标姿态数据;
处理单元1003,还用于将目标姿态数据和标准姿态数据进行比较,确定目标对象的运动辅助方案,运动辅助方案用于指示目标对象的姿态偏差;
输出单元1004,用于输出运动辅助方案,以辅助目标对象纠正运动姿态。
在一个实施例中,获取教学视频,以及教学视频对应的标准姿态数据之前,采集单元1002还用于:通过摄像装置采集标准对象的教学视频,教学视频包括多帧标准三维图像数据;
处理单元1003还用于:
确定标准三维图像数据中的关键帧三维图像数据,关键帧三维图像数据用于指示标准对象的各个运动动作的图像帧的三维图像数据;
通过训练后的姿态数据提取模型对关键帧三维图像数据进行姿态识别处理,得到标准对象的标准姿态数据;
将教学视频与标准姿态数据对应存储。
在一个实施例中,处理单元1003还用于:确定各个关键帧三维图像数据对应的各个运动动作在所述教学视频中的播放时间;
采集单元1002还用于:
在目标对象根据教学视频进行运动的过程中,到达任一运动动作的播放时间时,通过摄像装置采集目标对象的目标三维图像数据。
在一个实施例中,处理单元1003还用于:
确定各个关键帧三维图像数据对应的各个标准姿态数据的播放时间,标准姿态数据的播放时间为关键帧三维图像数据对应的标准对象的运动动作的图像帧的播放时间;
对各个播放时间的标准姿态数据进行分析处理,得到标准姿态数据对应的评估向量集合,评估向量集合用于指示标准对象在播放时间内各个姿态关键点的起点位置和运动方向;
确定属于同一播放时间的目标姿态数据和标准姿态数据;
获取标准姿态数据的评估向量集合;
对目标姿态数据进行分析处理,得到待评估向量集合,待评估向量集合用于指示目标对象在播放时间内各个姿态关键点的起点位置和运动方向;
将评估向量集合和待评估向量集合进行比较,确定目标对象在播放时间内各个姿态关键点的偏差值;
基于各个姿态关键点的偏差值,以及目标对象在播放时间内各个姿态关键点的起点位置,确定目标对象在播放时间内的运动辅助方案。
在一个实施例中,处理单元1003还用于:
基于目标对象在各个播放时间内的各个姿态关键点的偏差值,以及运动辅助方案,生成目标对象关于教学视频的运动记录,运动记录用于指示目标对象需要增强练习的运动动作和/或已经掌握的运动动作;
当检测到目标对象再一次根据教学视频进行运动时,获取运动记录;
基于运动记录调整教学视频中各个运动动作的运动时间。
在一个实施例中,处理单元1003还用于:
基于各个播放时间内的各个姿态关键点的偏差值,得到目标对象在各个播放时间内的评论等级;
当到达预设输出时间时,输出评论等级。
在一个实施例中,处理单元1003还用于:
获取训练样本,训练样本包括训练对象的平面图像数据和深度图像数据,以及训练对象的实际姿态数据;
通过姿态数据提取模型中的第一特征提取网络对平面图像数据进行特征提取,得到平面特征;
通过姿态数据提取模型中的第二特征提取网络对深度图像数据进行特征提取,得到深度特征;
通过姿态数据提取模型对平面特征和深度特征进行特征融合,得到预测姿态数据;
根据预测姿态数据和实际姿态数据,对姿态数据提取模型进行训练,得到训练后的姿态数据提取模型。
在一个实施例中,采集单元1002还用于:通过多个摄像装置采集目标对象在多个预设方向的目标三维图像数据;
处理单元1003还用于:
通过训练后的姿态数据提取模型对各个预设方向的目标三维图像数据进行姿态识别处理,得到目标对象在各个预设方向的目标三维姿态数据;
对目标对象在各个预设方向的目标三维姿态数据进行融合处理,得到目标对象的目标姿态数据。
本申请实施例中,通过获取教学视频,以及教学视频对应的标准姿态数据,并在目标对象根据所述教学视频进行运动的过程中,利用摄像装置采集目标对象的目标三维图像数据,以及通过训练后的姿态数据提取模型对目标三维图像数据进行姿态识别处理,得到目标姿态数据;最后根据目标姿态数据和标准姿态数据,确定目标对象的运动辅助方案,以辅助目标对象纠正运动姿态。本申请实施例通过预先获取教学视频和标准姿态数据,可以方便后续确定运动辅助方案;通过摄像装置采集目标对象的目标三维图像数据,以及训练后的姿态数据提取模型对目标三维图像数据进行姿态识别处理,可以实时得到目标对象的目标姿态数据;最后根据目标姿态数据和标准姿态数据,确定运动辅助方案以辅助目标对象纠正运动姿态,可以实现对目标对象的运动动作进行精准指导,提高训练效率。
再请参见图11,图11是本申请实施例提供的一种电子设备的结构示意图,本申请实施例的电子设备包括供电模块等结构,并包括处理器1101、存储装置1102以及通信接口1103。处理器1101、存储装置1102以及通信接口1103之间可以交互数据,由处理器1101实现相应的运动辅助方法。
存储装置1102可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储装置1102也可以包括非易失性存储器(non-volatilememory),例如快闪存储器(flash memory),固态硬盘(solid-state drive,SSD)等;存储装置1102还可以包括上述种类的存储器的组合。
处理器1101可以是中央处理器1101(central processing unit,CPU)。处理器1101也可以是由CPU和GPU的组合。在电子设备中,可以根据需要包括多个CPU和GPU进行相应的数据处理。在一个实施例中,存储装置1102用于存储程序指令。处理器1101可以调用程序指令,实现如本申请实施例中上述涉及的各种方法。
在第一个可能的实施方式中,电子设备的处理器1101,调用存储装置1102中存储的程序指令,用于获取教学视频,以及教学视频对应的标准姿态数据;在目标对象根据教学视频进行运动的过程中,通过摄像装置采集目标对象的目标三维图像数据;通过训练后的姿态数据提取模型对目标三维图像数据进行姿态识别处理,得到目标对象的目标姿态数据;根据目标姿态数据和标准姿态数据,确定目标对象的运动辅助方案,运动辅助方案用于指示目标对象的姿态偏差;输出运动辅助方案,以辅助目标对象纠正运动姿态。
在一个实施例中,获取教学视频,以及教学视频对应的标准姿态数据之前,处理器1101还用于:
通过摄像装置采集标准对象的教学视频,教学视频包括多帧标准三维图像数据;
确定多帧标准三维图像数据中的关键帧三维图像数据,关键帧三维图像数据包括用于指示标准对象的各个运动动作的图像帧的三维图像数据;
通过训练后的姿态数据提取模型对关键帧三维图像数据进行姿态识别处理,得到标准对象的标准姿态数据;
基于标准三维图像数据生成教学视频,并将教学视频与标准姿态数据对应存储。
在一个实施例中,处理器1101还用于:
确定各个关键帧三维图像数据对应的各个运动动作在教学视频中的播放时间;
在目标对象根据教学视频进行运动的过程中,到达任一运动动作的播放时间时,通过摄像装置采集目标对象的目标三维图像数据。
在一个实施例中,处理器1101还用于:
确定各个关键帧三维图像数据对应的各个标准姿态数据的播放时间,标准姿态数据的播放时间为关键帧三维图像数据对应的标准对象的运动动作的图像帧的播放时间;
对各个播放时间的标准姿态数据进行分析处理,得到标准姿态数据对应的评估向量集合,评估向量集合用于指示标准对象在播放时间内各个姿态关键点的起点位置和运动方向;
确定属于同一播放时间的目标姿态数据和标准姿态数据;
获取标准姿态数据的评估向量集合;
对目标姿态数据进行分析处理,得到待评估向量集合,待评估向量集合用于指示目标对象在播放时间内各个姿态关键点的起点位置和运动方向;
将评估向量集合和待评估向量集合进行比较,确定目标对象在播放时间内各个姿态关键点的偏差值;
基于各个姿态关键点的偏差值,以及目标对象在播放时间内各个姿态关键点的起点位置,确定目标对象在播放时间内的运动辅助方案。
在一个实施例中,处理器1101还用于:
基于目标对象在各个播放时间内的各个姿态关键点的偏差值,以及运动辅助方案,生成目标对象关于教学视频的运动记录,运动记录用于指示目标对象需要增强练习的运动动作和/或已经掌握的运动动作;
当检测到目标对象再一次根据教学视频进行运动时,获取运动记录;
基于运动记录调整教学视频中各个运动动作的运动时间。
在一个实施例中,处理器1101还用于:
基于各个播放时间内的各个姿态关键点的偏差值,得到目标对象在各个播放时间内的评论等级;
当到达预设输出时间时,输出评论等级。
在一个实施例中,处理器1101还用于:
获取训练样本,训练样本包括训练对象的平面图像数据和深度图像数据,以及训练对象的实际姿态数据;
通过姿态数据提取模型中的第一特征提取网络对平面图像数据进行特征提取,得到平面特征;
通过姿态数据提取模型中的第二特征提取网络对深度图像数据进行特征提取,得到深度特征;
通过姿态数据提取模型对平面特征和深度特征进行特征融合,得到预测姿态数据;
根据预测姿态数据和实际姿态数据,对姿态数据提取模型进行训练,得到训练后的姿态数据提取模型。
在一个实施例中,处理器1101还用于:
通过多个摄像装置采集所述目标对象在多个预设方向的目标三维图像数据;
所述通过训练后的姿态数据提取模型对所述目标三维图像数据进行姿态识别处理,得到所述目标对象的目标姿态数据,包括:
通过所述训练后的姿态数据提取模型对各个预设方向的目标三维图像数据进行姿态识别处理,得到所述目标对象在各个预设方向的目标三维姿态数据;
对所述目标对象在各个预设方向的目标三维姿态数据进行融合处理,得到所述目标对象的目标姿态数据。
本申请实施例中,通过获取教学视频,以及教学视频对应的标准姿态数据,并在目标对象根据所述教学视频进行运动的过程中,利用摄像装置采集目标对象的目标三维图像数据,以及通过训练后的姿态数据提取模型对目标三维图像数据进行姿态识别处理,得到目标姿态数据;最后根据目标姿态数据和标准姿态数据,确定目标对象的运动辅助方案,以辅助目标对象纠正运动姿态。本申请实施例通过预先获取教学视频和标准姿态数据,可以方便后续确定运动辅助方案;通过摄像装置采集目标对象的目标三维图像数据,以及训练后的姿态数据提取模型对目标三维图像数据进行姿态识别处理,可以实时得到目标对象的目标姿态数据;最后根据目标姿态数据和标准姿态数据,确定运动辅助方案以辅助目标对象纠正运动姿态,可以实现对目标对象的运动动作进行精准指导,提高训练效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。的计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
其中,本申请所指的人工智能技术是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
以上所揭露的仅为本申请的部分实施例而已,当然不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本申请权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (10)

1.一种运动辅助方法,其特征在于,包括:
获取教学视频,以及所述教学视频对应的标准姿态数据;
在目标对象根据所述教学视频进行运动的过程中,通过摄像装置采集所述目标对象的目标三维图像数据;
通过训练后的姿态数据提取模型对所述目标三维图像数据进行姿态识别处理,得到所述目标对象的目标姿态数据;
根据所述目标姿态数据和所述标准姿态数据,确定所述目标对象的运动辅助方案,所述运动辅助方案用于指示所述目标对象的姿态偏差;
输出所述运动辅助方案,以辅助所述目标对象纠正运动姿态。
2.根据权利要求1所述的方法,其特征在于,所述获取教学视频,以及所述教学视频对应的标准姿态数据之前,还包括:
通过摄像装置采集标准对象的教学视频,所述教学视频包括多帧标准三维图像数据;
确定所述多帧标准三维图像数据中的关键帧三维图像数据,所述关键帧三维图像数据包括用于指示所述标准对象的各个运动动作的图像帧的三维图像数据;
通过训练后的姿态数据提取模型对所述关键帧三维图像数据进行姿态识别处理,得到所述标准对象的标准姿态数据;
将所述教学视频与所述标准姿态数据对应存储。
3.根据权利要求2所述的方法,其特征在于,还包括:
确定各个关键帧三维图像数据对应的各个运动动作在所述教学视频中的播放时间;
所述通过摄像装置采集所述目标对象的目标三维图像数据,包括:
在所述目标对象根据所述教学视频进行运动的过程中,到达任一运动动作的播放时间时,通过所述摄像装置采集所述目标对象的目标三维图像数据。
4.根据权利要求3所述的方法,其特征在于,还包括:
确定各个关键帧三维图像数据对应的各个标准姿态数据的播放时间,所述标准姿态数据的播放时间为所述关键帧三维图像数据对应的运动动作的播放时间;
对各个播放时间的标准姿态数据进行分析处理,得到所述标准姿态数据对应的评估向量集合,所述评估向量集合用于指示标准对象在所述播放时间内各个姿态关键点的起点位置和运动方向;
所述根据所述目标姿态数据和所述标准姿态数据,确定所述目标对象的运动辅助方案,包括:
确定属于同一播放时间的目标姿态数据和标准姿态数据;
获取所述标准姿态数据的评估向量集合;
对所述目标姿态数据进行分析处理,得到待评估向量集合,所述待评估向量集合用于指示目标对象在所述播放时间内各个姿态关键点的起点位置和运动方向;
将所述评估向量集合和所述待评估向量集合进行比较,确定所述目标对象在所述播放时间内各个姿态关键点的偏差值;
基于所述各个姿态关键点的偏差值,以及所述目标对象在所述播放时间内各个姿态关键点的起点位置,确定所述目标对象在所述播放时间内的运动辅助方案。
5.根据权利要求4所述的方法,其特征在于,还包括:
基于所述目标对象在各个播放时间内的各个姿态关键点的偏差值,以及运动辅助方案,生成所述目标对象关于所述教学视频的运动记录,所述运动记录用于指示所述目标对象需要增强练习的运动动作和/或已经掌握的运动动作;
当检测到所述目标对象再一次根据所述教学视频进行运动时,获取所述运动记录;
基于所述运动记录调整所述教学视频中各个运动动作的播放时间。
6.根据权利要求4所述的方法,其特征在于,还包括:
基于各个播放时间内的各个姿态关键点的偏差值,得到所述目标对象在各个播放时间内的评论等级;
当到达预设输出时间时,输出所述评论等级。
7.根据权利要求1所述的方法,其特征在于,还包括:
获取训练样本,所述训练样本包括训练对象的平面图像数据和深度图像数据,以及训练对象的实际姿态数据;
通过姿态数据提取模型中的第一特征提取网络对所述平面图像数据进行特征提取,得到平面特征;
通过所述姿态数据提取模型中的第二特征提取网络对所述深度图像数据进行特征提取,得到深度特征;
通过所述姿态数据提取模型对所述平面特征和所述深度特征进行特征融合,得到预测姿态数据;
根据所述预测姿态数据和所述实际姿态数据,对所述姿态数据提取模型进行训练,得到所述训练后的姿态数据提取模型。
8.根据权利要求1-6任一项所述的方法,其特征在于,所述通过摄像装置采集所述目标对象的目标三维图像数据,包括:
通过多个摄像装置采集所述目标对象在多个预设方向的目标三维图像数据;
所述通过训练后的姿态数据提取模型对所述目标三维图像数据进行姿态识别处理,得到所述目标对象的目标姿态数据,包括:
通过所述训练后的姿态数据提取模型对各个预设方向的目标三维图像数据进行姿态识别处理,得到所述目标对象在各个预设方向的目标三维姿态数据;
对所述目标对象在各个预设方向的目标三维姿态数据进行融合处理,得到所述目标对象的目标姿态数据。
9.一种运动辅助方案生成装置,其特征在于,所述装置包括:
获取单元,用于获取教学视频,以及所述教学视频对应的标准姿态数据;
采集单元,用于在目标对象根据所述教学视频进行运动的过程中,通过摄像装置采集所述目标对象的目标三维图像数据;
处理单元,用于通过训练后的姿态数据提取模型对所述目标三维图像数据进行姿态识别处理,得到所述目标对象的目标姿态数据;
所述处理单元,还用于将所述目标姿态数据和所述标准姿态数据进行比较,确定所述目标对象的运动辅助方案,所述运动辅助方案用于指示所述目标对象的姿态偏差;
输出单元,用于输出所述运动辅助方案,以辅助所述目标对象纠正运动姿态。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序指令,所述计算机程序指令被处理器执行时,用于执行如权利要求1-8任一项所述的运动辅助方法。
CN202111277917.2A 2021-10-30 2021-10-30 运动辅助方法、装置及介质 Pending CN114022512A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111277917.2A CN114022512A (zh) 2021-10-30 2021-10-30 运动辅助方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111277917.2A CN114022512A (zh) 2021-10-30 2021-10-30 运动辅助方法、装置及介质

Publications (1)

Publication Number Publication Date
CN114022512A true CN114022512A (zh) 2022-02-08

Family

ID=80059094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111277917.2A Pending CN114022512A (zh) 2021-10-30 2021-10-30 运动辅助方法、装置及介质

Country Status (1)

Country Link
CN (1) CN114022512A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114333071A (zh) * 2022-03-10 2022-04-12 天津市天泽恒升科技有限公司 一种基于人体姿态估计的视频教学方法、***和存储介质
CN114993243A (zh) * 2022-08-04 2022-09-02 深圳粤讯通信科技有限公司 一种基于物联网的天线姿态监控预警***
CN115205740A (zh) * 2022-07-08 2022-10-18 温州医科大学 一种健身操辅助教学方法及***
CN117138317A (zh) * 2023-10-27 2023-12-01 深圳市千岩科技有限公司 运动动作监督提示方法及其装置、设备、介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114333071A (zh) * 2022-03-10 2022-04-12 天津市天泽恒升科技有限公司 一种基于人体姿态估计的视频教学方法、***和存储介质
CN114333071B (zh) * 2022-03-10 2022-05-06 天津市天泽恒升科技有限公司 一种基于人体姿态估计的视频教学方法、***和存储介质
CN115205740A (zh) * 2022-07-08 2022-10-18 温州医科大学 一种健身操辅助教学方法及***
CN114993243A (zh) * 2022-08-04 2022-09-02 深圳粤讯通信科技有限公司 一种基于物联网的天线姿态监控预警***
CN117138317A (zh) * 2023-10-27 2023-12-01 深圳市千岩科技有限公司 运动动作监督提示方法及其装置、设备、介质
CN117138317B (zh) * 2023-10-27 2024-01-09 深圳市千岩科技有限公司 运动动作监督提示方法及其装置、设备、介质

Similar Documents

Publication Publication Date Title
CN109191588B (zh) 运动教学方法、装置、存储介质及电子设备
US10898755B2 (en) Method for providing posture guide and apparatus thereof
US11776421B2 (en) Systems and methods for monitoring and evaluating body movement
CN108256433B (zh) 一种运动姿态评估方法及***
CN114022512A (zh) 运动辅助方法、装置及介质
CN112237730B (zh) 健身动作纠正方法及电子设备
KR102125748B1 (ko) 4d 아바타를 이용한 동작가이드장치 및 방법
CN112464918B (zh) 健身动作纠正方法、装置、计算机设备和存储介质
EP2203896B1 (en) Method and system for selecting the viewing configuration of a rendered figure
US11945125B2 (en) Auxiliary photographing device for dyskinesia analysis, and control method and apparatus for auxiliary photographing device for dyskinesia analysis
KR20220028654A (ko) 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법
KR102320960B1 (ko) 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템
CN109545003A (zh) 一种显示方法、装置、终端设备及存储介质
CN111967407A (zh) 动作评价方法、电子设备和计算机可读存储介质
CN112288766A (zh) 运动评估方法、装置、***及存储介质
KR20230086874A (ko) 3d 신체 정밀 추적 기술을 이용한 재활 훈련 시스템
KR102171319B1 (ko) 동작 교본 저작 장치, 동작 자가 학습 장치 및 방법
KR20220058790A (ko) 듀얼 열화상 카메라를 이용한 운동 자세 분석 방법 및 이를 이용한 자세 교정 가이드 방법, 이를 구현한 컴퓨터 프로그램
CN113842622B (zh) 一种运动教学方法、装置、***、电子设备及存储介质
CN116386136A (zh) 基于人体骨骼关键点的动作评分方法、设备及介质
CN116271757A (zh) 一种基于ai技术的篮球练习的辅助***和方法
CN115530814A (zh) 一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法
CN114067953A (zh) 康复训练方法、***及计算机可读存储介质
CN113257055A (zh) 一种智能舞蹈步伐学习装置及方法
CN117423166B (zh) 一种根据人体姿态图像数据的动作识别方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination