CN115131879A - 一种动作评价方法及装置 - Google Patents

Abstract

本申请公开了一种动作评价方法及装置。首先启动动作评价模式；在动作评价模式启动之前，已预先录入有动作数据，包括动作与动作包含的姿态的映射关系，姿态的判定依据，姿态的评价规则。接着基于动作数据中的判定依据对目标视频中目标对象进行姿态识别；根据从目标视频中连续识别出的多个姿态以及动作数据中的映射关系，确定多个姿态匹配的目标动作；最后根据动作数据中目标动作包含的姿态的评价规则，获得目标对象执行目标动作的评价结果。只需要预先录入动作数据，即可根据目标视频对目标对象进行动作识别和评价。此方案不需要配合专业的教练视频构建个性化动作的识别程序，可以提升动作评分方案的适用范围，更好地满足个性化动作的评价需求。

Description

一种动作评价方法及装置

技术领域

本申请涉及图像识别技术领域，特别是涉及一种动作评价方法及装置。

背景技术

人们在日常生活中，常常通过进行一些体育类、艺术类活动丰富自身的体验或增强身体素质，例如，健身、武术、跳舞、瑜伽等。但是针对这些活动进行动作评分较难实现。

以健身为例，在初始阶段，人们一般是跟随着教练练习一些通用的健身动作。为了获悉动作执行得标准与否，目前有一种技术：针对指定的健身教练的视频，开发人员可以根据教练动作编写动作识别代码，当用户（健身学员）需要获得自己执行的动作的评价时，根据教练的健身动作进行锻炼，程序能够对其动作的标准程度进行评分。但是随着经验的增加，人们有可能针对自身的情况进行个性化健身动作的锻炼，并希望获得评价。

若依照上述方法实现对个性化健身动作的评价，需要提前根据包含上述健身动作的视频创建识别程序。一方面特地去创建视频中动作的识别程序，实现对动作的识别，需要消耗较高的成本；另一方面若无法找到与之对应的清晰视频，则无法提前录入识别程序中。因此，现有技术方案进行动作评分的适用范围较窄，难以满足更多的个性化动作的评价需求。

发明内容

基于上述问题，本申请提供了一种动作评价方法及装置，以提升动作评分方案的适用范围，更好地满足个性化动作的评价需求。

本申请实施例公开了如下技术方案：

本申请第一方面，提供了一种动作评价方法，包括：

启动动作评价模式；在所述动作评价模式启动之前，已预先录入有动作数据，所述动作数据包括：动作与动作包含的姿态的映射关系，姿态的判定依据，姿态的评价规则；

基于所述动作数据中的判定依据对目标视频中目标对象进行姿态识别；

根据从所述目标视频中连续识别出的多个姿态以及所述动作数据中的映射关系，确定所述多个姿态匹配的目标动作；

根据所述动作数据中所述目标动作包含的姿态的评价规则，获得所述目标对象执行所述目标动作的评价结果。

可选地，所述判定依据包括以下一种条件或者多种条件的组合：对关键点位的距离条件或角度条件；所述基于所述动作数据中的判定依据对目标视频中目标对象进行姿态识别，包括：

通过基于神经网络架构的人体姿态估计技术，从所述目标视频的图像帧中识别得到所述目标对象的多个关键点位；

根据所述目标对象的多个关键点位得到距离信息和角度信息；

当根据所述距离信息和所述角度信息确定目标姿态的判定依据中所有条件均满足时，确定所述目标对象在所述图像帧中的姿态为所述目标姿态。

可选地，所述多个姿态包括：在所述目标视频的第一图像帧中识别得到的第一姿态和在所述目标视频的第二图像帧中识别得到的第二姿态；其中，所述第一图像帧的记录时间早于所述第二图像帧的记录时间；所述第一图像帧为所述目标视频中首个识别到所述第一姿态的图像帧，所述第二图像帧为所述目标视频中首个识别到所述第二姿态的图像帧；所述动作数据中所述目标动作包含在前的所述第一姿态和在后的所述第二姿态；所述动作数据还包括所述目标动作中所述第一姿态与所述第二姿态的时间条件；

所述根据从所述目标视频中连续识别出的多个姿态以及所述动作数据中的映射关系，确定所述多个姿态匹配的目标动作，包括：

获取所述第一图像帧的记录时间与所述第二图像帧的记录时间之间的间隔；

当所述间隔满足所述时间条件时，确定所述第一图像帧中的所述第一姿态和所述第二图像帧中的所述第二姿态共同匹配的动作为所述目标动作；

当所述间隔不满足所述时间条件时，判定所述第二图像帧中的所述第二姿态无法与所述第一图像帧中的所述第一姿态共同匹配一个完整动作。

可选地，所述动作数据中所述目标动作包含第一姿态和第二姿态；

所述根据所述动作数据中所述目标动作包含的姿态的评价规则，获得所述目标对象执行所述目标动作的评价结果，包括：

根据所述目标对象处于所述第一姿态的图像帧，以及所述第一姿态的评价规则，获得所述目标对象执行所述目标动作的所述第一姿态的第一分值；

根据所述目标对象处于所述第二姿态的图像帧，以及所述第二姿态的评价规则，获得所述目标对象执行所述目标动作的所述第二姿态的第二分值；

根据所述第一分值和所述第二分值获得所述目标对象执行所述目标动作的评价结果。

可选地，若所述目标视频中连续多帧图像帧中所述目标对象处于所述第一姿态，所述根据所述目标对象处于所述第一姿态的图像帧，以及所述第一姿态的评价规则，获得所述目标对象执行所述目标动作的所述第一姿态的第一分值，包括：

根据所述连续多帧图像帧中在前的一帧图像帧和所述第一姿态的评价规则得到初始第一分值；

根据所述连续多帧图像帧中在后的一帧图像帧和所述第一姿态的评价规则得到新的第一分值；

若所述新的第一分值大于所述初始第一分值，则利用所述新的第一分值覆盖所述初始第一分值。

可选地，录入动作数据包括：

录入动作名称、动作包含的姿态个数以及动作包含的姿态的名称；

录入动作包含的姿态的判定依据和评价规则。

可选地，姿态的评价规则包括以下一种或者多种的组合：

姿态的维持时间的评价规则，姿态的关键点位的距离评价规则，或者姿态的关键点位构成的角度的评价规则。

可选地，所述姿态的维持时间的评价规则，包括以下一种或者多种的组合：

构成所述姿态的关键点位连续满足目标距离条件的时间评价规则，或者构成所述姿态的关键点位连续满足目标角度条件的时间评价规则。

可选地，姿态的维持时间的评价规则包括：

姿态的维持时间的区间和所述区间对应的时间分数系数。

可选地，所述距离信息表示为手腕到手肘的桡骨的距离的倍数。

本申请第二方面，提供了一种动作评价装置，包括：

模式启动模块，用于启动动作评价模式；在所述动作评价模式启动之前，已预先录入有动作数据，所述动作数据包括：动作与动作包含的姿态的映射关系，姿态的判定依据，姿态的评价规则；

姿态识别模块，用于基于所述动作数据中的判定依据对目标视频中目标对象进行姿态识别；

动作确定模块，用于根据从所述目标视频中连续识别出的多个姿态以及所述动作数据中的映射关系，确定所述多个姿态匹配的目标动作；

动作评价模块，用于根据所述动作数据中所述目标动作包含的姿态的评价规则，获得所述目标对象执行所述目标动作的评价结果。

相较于现有技术，本申请具有以下有益效果：

本申请提供的一种动作评价方法及装置，首先启动动作评价模式；在动作评价模式启动之前，已预先录入有动作数据，包括动作与动作包含的姿态的映射关系，姿态的判定依据，姿态的评价规则。接着基于动作数据中的判定依据对目标视频中目标对象进行姿态识别；根据从目标视频中连续识别出的多个姿态以及动作数据中的映射关系，确定多个姿态匹配的目标动作；最后根据动作数据中目标动作包含的姿态的评价规则，获得目标对象执行目标动作的评价结果。只需要预先录入动作数据，即可根据目标视频对目标对象进行动作识别和评价。此方案不需要配合专业的教练视频构建个性化动作的识别程序，可以提升动作评分方案的适用范围，更好地满足个性化动作的评价需求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种动作评价方法的流程图；

图2为本申请实施例提供的一种录入动作数据的流程图；

图3为本申请实施例提供的一种人体关键点位的分布示意图；

图4为本申请实施例提供的一种姿态识别流程图；

图5为本申请实施例提供的一种识别目标动作的流程图；

图6为本申请实施例提供的另一种动作评价方法的流程图；

图7为本申请实施例提供的一种动作评价装置的结构示意图；

图8为本申请实施例提供的另一种动作评价装置的结构示意图。

具体实施方式

正如前文描述，瑜伽、拳击、健身、武术、跳舞等活动日益盛行，很多人希望对自己完成的个性化动作进行打分评价。针对个性化动作，因为不易找到合适的视频创建动作识别程序，因此动作评价比较困难，成本高。可见现有技术方案进行动作评分的适用范围较窄，难以满足更多的个性化动作的评价需求。

发明人经过研究，提出了一种提前录入动作数据的方案，以实现动作评价。为了实现对个性化动作的自动评价，只需要提前录入与之有关的动作数据，例如动作包含的姿态、姿态的判定依据以及姿态的评价规则。在此基础上，针对目标对象在视频中执行的动作，可以进行评价。解决了现有技术需要特意创建动作的识别程序的问题。该方案能够更易于满足个性化动作的评价需求。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

方法实施例

参见图1，该图为本申请实施例提供的一种动作评价方法的流程图。如图1所示的动作评价方法包括：

步骤101、启动动作评价模式。

动作评价模式可以由用户选择去启动或关闭。具体而言，如果用户选择启用，则针对用户对应的目标视频（即待评价的视频），实施本申请后续步骤进行动作识别和评价。如果用户选择不启用该动作评价模式或者此模式默认不开启，则即便用户提供了目标视频，也不必对该视频中的目标对象的动作进行识别与评分。此处所指的用户是指触发启动动作评价模式的用户，其具体可以为目标对象（即动作待评价的对象）本人，也可以是目标对象的联系人，例如家长或者教练等。

需要说明得失，在所述动作评价模式启动之前，已预先录入有动作数据。此处，为了便于理解，可以将本方案的实施例理解为建立在一个动作评价***上执行。动作评价***可以收到用户的模式触发指令，根据指令获知需要启动动作评价模式后，即可以针对接收到的目标视频进行动作评价。该***中可以包括存储介质，用于存储预先录入的动作数据。录入该动作数据的操作可以由目标对象执行或者前文提及的用户去执行。

在本申请实施例中，动作数据包括：动作与动作包含的姿态的映射关系，姿态的判定依据，姿态的评价规则。举例而言，直拳动作包括两个姿态：出拳和收拳。因此，动作数据中包括直拳动作与出拳和收拳两个姿态的映射关系。此外，还包括出拳姿态的判定依据、收拳姿态的判定依据、出拳姿态的评价规则和收拳姿态的评价规则。

步骤102、基于所述动作数据中的判定依据对目标视频中目标对象进行姿态识别。

如前面介绍，动作数据中包含动作所包含姿态的判定依据。需要说明的是，一个姿态的判定依据可以包括一种条件或者包括多种条件的组合。一般来说，人体的姿态可以通过关键点位来确定，例如特定的几个关键点位可以确定一个姿态。因此判定条件也是与关键点位相关。例如，姿态的判定依据包括关键点位的距离条件，和/或，关键点位的角度条件。举例而言，右手直拳动作中出拳姿态的判定依据包括：右侧的手腕、手肘、肩膀三个点形成的角度大于预设角度（三个关键点位的角度条件）。右手直拳动作中收拳姿态的判定依据包括：右拳在左拳之后，二者距离达到预设距离（两个关键点位的距离条件）。

基于已录入的动作数据中的姿态判定依据便可以对目标视频中目标对象进行姿态识别，以确定视频的图像帧中目标对象所处的具体的姿态。

步骤103、根据从所述目标视频中连续识别出的多个姿态以及所述动作数据中的映射关系，确定所述多个姿态匹配的目标动作。

视频是由多个沿着时间序列的图像帧构成。对于目标视频的各个图像帧均可以依照前述步骤102进行姿态识别，基于其在各图像帧的关键点位，有些图像帧可以识别到有效的姿态（即已录入的姿态），而有些图像帧可能无法识别到有效的姿态（例如姿态不达标或者未在已录入的姿态中找到匹配的姿态）。

前面提到，动作数据中包括了动作包含的姿态与动作之间的映射关系。如果能够识别到目标视频中联系识别出的多个不同姿态均为与同一个动作具有映射关系的姿态，则便可以确定出这多个不同姿态匹配的动作作为目标动作。例如，识别出出拳姿态和收拳姿态，可以确定出动作为出拳动作。

步骤104、根据所述动作数据中所述目标动作包含的姿态的评价规则，获得所述目标对象执行所述目标动作的评价结果。

前面提到，动作数据中包含了姿态的评价规则，因此基于目标视频中呈现的目标对象对于此动作中个姿态的完成情况，并结合对应的评价规则，便可以获得目标对象执行目标动作的评价结果。这里需要特别说明的是，在不同动作可能包含同样的一个或者多个姿态，对于不同姿态的要求可能是不同的，因此不同动作包含的相同姿态的评价规则也可能是不同的。在进行评价时，具体还是要基于姿态在所属的目标动作中的评价规则进行姿态评价，进而得到对应的动作的评价。此外，在同一动作中也可能包含前后需要是别的相同的姿态，例如一个动作包含依照时间先后顺序的第一姿态、第二姿态和第三姿态，其中第一姿态与第三姿态相同，只不过对于其的关键点位的角度要求不同或者距离要求不同。因此，在同一动作中相同姿态的评价规则也可以是相同的或者不同的。以上动作数据中评价规则和判定条件均可以根据实际的个性化动作要求来进行设定并录入。

在本申请技术方案中，只需要预先录入动作数据，即可根据目标视频对目标对象进行动作识别和评价。此方案不需要配合专业的教练视频构建个性化动作的识别程序，可以提升动作评分方案的适用范围，更好地满足个性化动作的评价需求。

需要说明的是，图1仅为本申请实施例提供的一种动作评价方法的示例流程图，在图1中步骤102-步骤104依序执行。实际应用中，步骤104还可以在步骤103的执行期间执行，或者先对动作中的姿态进行评价，并不断匹配姿态对应的动作，最后在确定目标动作的同时也能得到目标动作的评价结果。故本申请中对于步骤103和步骤104的先后执行顺序不进行限定。

前面提到，对于动作数据是可以在动作评价之前进行提前录入的。下面结合图2介绍一种录入动作数据的流程。图2为本申请实施例提供的一种录入动作数据的流程图，录入动作数据包括：

步骤201、录入动作名称、动作包含的姿态个数以及动作包含的姿态的名称。

例如，录入动作名称为：右手直拳。动作包含的姿态个数为2，分别是出拳和收拳两个姿态。在录入时还可以具体录入动作所包含的姿态的先后关系，例如依照时序录入出拳和收拳两个姿态的名称。

步骤202、录入动作包含的姿态的判定依据和评价规则。

仍以上面的例子继续解释：

录入出拳姿态的判定依据和评价规则；录入收拳姿态的判定依据和评价规则。需要说明的是，一个姿态的判定依据可以包括一种或者多种判定条件。评价规则可以是多方面的，例如涉及到关键点位的距离或者角度的评价规则。在其他示例实现方式中，评价规则还可以涉及时间维度。例如，对于一些特定的姿态，在评价其完成程度或者标准度时，还会考量姿态的维持时间。因此，姿态的评价规则可以包括以下一种或者多种的组合：姿态的维持时间的评价规则，姿态的关键点位的距离评价规则，或者姿态的关键点位构成的角度的评价规则。

例如出拳的判定依据是角度，右手腕、右手肘、右肩膀三个点形成的角度，达到150°以上。因此，评价规则可以包括：上述角度大于 170°，对应分数为 0.5分；大于 160°且小于或者等于170°，对应分数0.4分；大于 150°且小于或者等于160°，对应分数0.2分。

收拳的判定依据是，右拳要在左拳之后，即判定依据是距离，即左拳X轴坐标减去右拳X轴坐标（摄像头在人右侧，图像右侧为X轴正方向，图像上方为Y轴正方向）之差要小于等于0，对应分数0.2分。此外，再加上维持时间的评价规则，即达到收拳标准后，大于1秒，对应分数0.5分。

在本申请实施例中，所述姿态的维持时间的评价规则包括以下一种或者多种的组合：构成所述姿态的关键点位连续满足目标距离条件的时间评价规则，或者构成所述姿态的关键点位连续满足目标角度条件的时间评价规则。目标距离条件为要求维持一定时间的距离条件，目标角度条件为要求满足一定时间的角度条件，具体这些条件均与姿态的判定条件有关。

其中，姿态的维持时间的评价规则可以包括两个部分：姿态的维持时间的区间和所述区间对应的时间分数系数。举例而言，如果构成所述姿态的关键点位连续满足目标距离条件的时间在第一时间区间内，对应的时间分数系数为第一系数；如果构成所述姿态的关键点位连续满足目标距离条件的时间在第二时间区间内，对应的时间分数系数为第二系数。对于该姿态进行评分时，可以在其姿态的分数基础上基于实际情况（姿态的维持时间所处区间）乘以第一系数或者第二系数。得到该姿态的最终分值。

前面提到姿态的识别依赖于图像帧中目标对象的关键点位。这些关键点位可以通过一些相对成熟的识别技术进行识别和判定。在一种可选实现方式中，关键点位可以由基于神经网络架构的人体姿态估计技术实现。可选地，该技术为MediaPipe Pose。MediaPipe:MediaPipe是一个用于构建机器学***移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）。BlazePose：一种轻量级卷积神经网络架构，用于人体姿态估计，可用于移动设备上的实时推断。在推理过程中，网络为一个人产生33个身体关键点。MediaPipe Pose是基于BlazePose从RGB视频帧中推断出整个身体上的33个3D地标和背景分割蒙版的解决方案，33个关键点位可以参照图3。图3为本申请实施例提供的一种人体关键点位的分布示意图。

图3中33个关键点位的标号含义为：

0代表鼻子；1代表左眼内侧；2代表左眼；3代表左眼外侧；4代表右眼内侧；5代表右眼；6代表右眼外侧；7代表左耳；8代表右耳；9代表左侧嘴角；10代表右侧嘴角；11代表左肩；12代表右肩；13代表左手肘；14代表右手肘；15代表左手腕；16代表右手腕；17代表左手小手指；18代表右手小手指；19代表左手食指；20代表右手食指；21代表左手大拇指；22代表右手大拇指；23代表左髋；24代表右髋；25代表左膝；26代表右膝；27代表左脚脚踝；28代表右脚脚踝；29代表左脚后跟；30代表右脚后跟；31代表左脚食指；32代表右脚食指。本申请实施例中，关键点位是指图像帧中能够反映目标对象所处的姿态的点位，可以是依照人体骨骼特征和面部特征人为规定的。

下面介绍一种基于所述动作数据中的判定依据对目标视频中目标对象进行姿态识别的实现方式。图4为一种姿态识别流程图。

步骤401、通过基于神经网络架构的人体姿态估计技术，从所述目标视频的图像帧中识别得到所述目标对象的多个关键点位。

在实际应用中，鉴于图像帧中出现的目标对象可能因具体姿势的原因，只能识别出少数几个关键点位，而非图3所示的全部33个关键点位。

步骤402、根据所述目标对象的多个关键点位得到距离信息和角度信息。

距离信息可以根据图像帧中的两个关键点位得到（例如左右拳之间的距离）。角度信息可以根据图像帧中三个关键点位能够围合的三角形得到（例如同一侧的手腕、手肘、肩膀围合的三角形）。

摄像头、视频存在近大远小的特点，所以计算距离时为了提升计算精度或者动作评价准确度，可以以相对距离来反映距离信息而非使用绝对距离来反映距离信息。比如如果目标对象站的距离摄像头近 100像素可能右手指长短，如果站得远可能就有前臂那么长了。在一种可选实现方式中，计算距离时距离信息表示为手腕到手肘的桡骨的距离的倍数。相当于以手腕到手肘的桡骨的距离作为度量距离信息的单位。

步骤403、当根据所述距离信息和所述角度信息确定目标姿态的判定依据中所有条件均满足时，确定所述目标对象在所述图像帧中的姿态为所述目标姿态。

如果目标姿态的判定依据仅包括距离条件，如果步骤402中获得的距离信息满足该条件，则可以确定姿态为目标姿态；

如果目标姿态的判定依据仅包括角度条件，如果步骤402中获得的角度信息满足该条件，则可以确定姿态为目标姿态；

如果目标姿态的判定依据包括距离条件和角度条件，仅在步骤402中获得的距离信息满足该距离条件且步骤402中获得的角度信息满足该角度条件时，可以确定姿态为目标姿态。

前面提到，在动作的识别上还可以考虑到姿态维持的时间。此外，还可以考虑到两个姿态发生的时间间隔。在一种可选实现方式中，所述多个姿态包括：在所述目标视频的第一图像帧中识别得到的第一姿态和在所述目标视频的第二图像帧中识别得到的第二姿态；其中，所述第一图像帧的记录时间早于所述第二图像帧的记录时间；所述第一图像帧为所述目标视频中首个识别到所述第一姿态的图像帧，所述第二图像帧为所述目标视频中首个识别到所述第二姿态的图像帧；所述动作数据中所述目标动作包含在前的所述第一姿态和在后的所述第二姿态。

所述动作数据还包括所述目标动作中所述第一姿态与所述第二姿态的时间条件。例如，要求目标对象首次完成第一姿态的时间与首次完成第二姿态的时间短于或者长于特定时间，满足时间条件，才能认为两个姿态组合成一个目标动作。图5介绍了一种识别目标动作的示例流程。如图5所示，根据从所述目标视频中连续识别出的多个姿态以及所述动作数据中的映射关系，确定所述多个姿态匹配的目标动作的过程包括：

步骤501、获取所述第一图像帧的记录时间与所述第二图像帧的记录时间之间的间隔。

根据帧的记录时间可以得到间隔。另外，根据帧的序数也可以得到两帧的时间间隔。

步骤502、判断间隔是否满足目标动作的时间条件，如果满足，进入步骤503；如果不满足，进入步骤504。

作为示例，时间条件为大于8秒。

步骤503、当所述间隔满足所述时间条件时，确定所述第一图像帧中的所述第一姿态和所述第二图像帧中的所述第二姿态共同匹配的动作为所述目标动作。

例如间隔为10秒，满足时间条件，则两个姿态匹配出的动作为目标动作。

步骤504、当所述间隔不满足所述时间条件时，判定所述第二图像帧中的所述第二姿态无法与所述第一图像帧中的所述第一姿态共同匹配一个完整动作。

例如间隔为3秒，不满足时间条件，则无法根据这两帧图像中的姿态匹配一个完整动作。在此基础上，还需要继续识别第二图像帧之后的连续的各图像帧，以期获得满足时间条件的姿态的图像帧。从而识别出目标动作。

若所述动作数据中所述目标动作包含第一姿态和第二姿态，本申请还提供了一种获取目标动作评价结果的示例实现方式。例如：所述根据所述动作数据中所述目标动作包含的姿态的评价规则，获得所述目标对象执行所述目标动作的评价结果，包括：

根据所述目标对象处于所述第一姿态的图像帧，以及所述第一姿态的评价规则，获得所述目标对象执行所述目标动作的所述第一姿态的第一分值；并且，根据所述目标对象处于所述第二姿态的图像帧，以及所述第二姿态的评价规则，获得所述目标对象执行所述目标动作的所述第二姿态的第二分值。根据所述第一分值和所述第二分值获得所述目标对象执行所述目标动作的评价结果。

即，目标动作的整体评价要考虑到构成该动作的姿态各自的分值。例如将第一分值与第二分值相加，得到总分值作为目标动作的评价结果。在一个具体示例中，完整的右直勾拳动作得分1分，其分值包括出拳姿态的0.5分和收拳动作的0.5分。

此外如果考虑到姿态的维持时间，如果评价规则里涉及到为维持时间的区间设置对应的时间分数系数，也可以将系数与分值相乘得到该姿势的最终分值。再将构成一个动作的不同姿势的最终分值相加得到动作的评价结果。

需要说明的是，对于一个姿态，有可能在前面的一帧或几帧图像中完成度或者标准度不足，但是后面的一帧或几帧图像中完成度或者标准度趋于上升。如果仅依据前面的图像帧进行姿态评分，有可能忽视了真正能够达到的完成度或者标准度。为此，本申请提出了一种连续多帧图像中姿态分值覆盖的实现方式，以记录最标准的姿态的评分。

以第一姿态为例，若所述目标视频中连续多帧图像帧中所述目标对象处于所述第一姿态，所述根据所述目标对象处于所述第一姿态的图像帧，以及所述第一姿态的评价规则，获得所述目标对象执行所述目标动作的所述第一姿态的第一分值，具体可以包括：

根据所述连续多帧图像帧中在前的一帧图像帧和所述第一姿态的评价规则得到初始第一分值；根据所述连续多帧图像帧中在后的一帧图像帧和所述第一姿态的评价规则得到新的第一分值；若所述新的第一分值大于所述初始第一分值，则利用所述新的第一分值覆盖所述初始第一分值。

图6介绍了一种动作评价方法的流程。如图6所示，在采集目标对象的视频的过程中同步进行动作评价。采集未结束的情况下，获取每一帧图像中目标对象身体关键点位的信息（在图像中的点位像素坐标）。如果当前帧符合姿态判定依据，则判断是否存在重复姿态。如果重复姿态存在，且当前帧的姿态分值达到重复姿态中的最高分值，则覆盖此前该姿态的最高分，并累计记录该姿态的维持时间。如果不存在重复姿态，则表示当前帧中识别到的姿态为目标视频中首次识别到该姿态。如果目前不存在可进行匹配的其他姿态，无法识别出一个完整动作，则记录该姿态的分值作为最高分值，并记录该姿态的维持时间；如果目前存在可以与当前帧的姿态匹配构成一个完整动作的其他姿态，则将该姿态匹配到该动作中，记录构成该动作的各姿态的分值，并记录时间戳，得到整个动作的分值。在动作评价结果中也可以体现时间戳。时间戳可以包括完成动作的某个姿态的首个时间和末尾时间。

举例：假设摄像头第6、7、8、9帧画面用户出拳姿态，且角度在160°到170°之间，则此时出拳姿态得分0.4分 但是第10帧出现大于170°时，此时出拳姿态就应该为0.5分，因为到此刻为止，仍然没有收拳姿态同出拳姿态匹配，出现一个完整右直拳动作，所以分数覆盖。同理，假设第100帧画面采集到用户收拳姿态，得分0.2分，继续采集，假设到了130帧画面，用户仍然时收拳姿态，且时间上距离第100帧画面超过了1秒，则收拳姿态得分0.5分。直到不在满足收拳姿态条件时。可以记录用户此次完整的右直拳动作，得分为1分（出拳0.5+收拳0.5）。

基于前述实施例提供的动作评价方法，相应地，本申请还提供了一种动作评价装置。以下结合实施例进行介绍。

图7所示的动作评价装置，包括：模式启动模块701、姿态识别模块702、动作确定模块703和动作评价模块704。

模式启动模块701，用于启动动作评价模式；在所述动作评价模式启动之前，已预先录入有动作数据，所述动作数据包括：动作与动作包含的姿态的映射关系，姿态的判定依据，姿态的评价规则；

姿态识别模块702，用于基于所述动作数据中的判定依据对目标视频中目标对象进行姿态识别；

动作确定模块703，用于根据从所述目标视频中连续识别出的多个姿态以及所述动作数据中的映射关系，确定所述多个姿态匹配的目标动作；

动作评价模块704，用于根据所述动作数据中所述目标动作包含的姿态的评价规则，获得所述目标对象执行所述目标动作的评价结果。

只需要预先录入动作数据，即可根据目标视频对目标对象进行动作识别和评价。此方案不需要配合专业的教练视频构建个性化动作的识别程序，可以提升动作评分方案的适用范围，更好地满足个性化动作的评价需求。

可选地，所述判定依据包括以下一种条件或者多种条件的组合：对关键点位的距离条件或角度条件；所述姿态识别模块702，包括：

关键点位识别单元，用于通过基于神经网络架构的人体姿态估计技术，从所述目标视频的图像帧中识别得到所述目标对象的多个关键点位；

信息获取单元，用于根据所述目标对象的多个关键点位得到距离信息和角度信息；

姿态确定单元，用于当根据所述距离信息和所述角度信息确定目标姿态的判定依据中所有条件均满足时，确定所述目标对象在所述图像帧中的姿态为所述目标姿态。

可选地，所述多个姿态包括：在所述目标视频的第一图像帧中识别得到的第一姿态和在所述目标视频的第二图像帧中识别得到的第二姿态；其中，所述第一图像帧的记录时间早于所述第二图像帧的记录时间；所述第一图像帧为所述目标视频中首个识别到所述第一姿态的图像帧，所述第二图像帧为所述目标视频中首个识别到所述第二姿态的图像帧；所述动作数据中所述目标动作包含在前的所述第一姿态和在后的所述第二姿态；所述动作数据还包括所述目标动作中所述第一姿态与所述第二姿态的时间条件；

所述动作确定模块703，包括：

间隔获取单元，用于获取所述第一图像帧的记录时间与所述第二图像帧的记录时间之间的间隔；

动作确定单元，用于当所述间隔满足所述时间条件时，确定所述第一图像帧中的所述第一姿态和所述第二图像帧中的所述第二姿态共同匹配的动作为所述目标动作；当所述间隔不满足所述时间条件时，判定所述第二图像帧中的所述第二姿态无法与所述第一图像帧中的所述第一姿态共同匹配一个完整动作。

可选地，所述动作数据中所述目标动作包含第一姿态和第二姿态；

所述动作评价模块704，包括：

分值获取单元，用于根据所述目标对象处于所述第一姿态的图像帧，以及所述第一姿态的评价规则，获得所述目标对象执行所述目标动作的所述第一姿态的第一分值；还用于根据所述目标对象处于所述第二姿态的图像帧，以及所述第二姿态的评价规则，获得所述目标对象执行所述目标动作的所述第二姿态的第二分值；

评价结果获取单元，用于根据所述第一分值和所述第二分值获得所述目标对象执行所述目标动作的评价结果。

可选地，若所述目标视频中连续多帧图像帧中所述目标对象处于所述第一姿态，所述分值获取单元，包括：

初始分值获取子单元，用于根据所述连续多帧图像帧中在前的一帧图像帧和所述第一姿态的评价规则得到初始第一分值；

新分值获取子单元，用于根据所述连续多帧图像帧中在后的一帧图像帧和所述第一姿态的评价规则得到新的第一分值；

分值覆盖子单元，用于若所述新的第一分值大于所述初始第一分值，则利用所述新的第一分值覆盖所述初始第一分值。

图8示意的另一种动作评价装置中，除了上述模块以外，还包括：录入模块705；所述录入模块705，用于：录入动作名称、动作包含的姿态个数以及动作包含的姿态的名称；录入动作包含的姿态的判定依据和评价规则。

可选地，姿态的评价规则包括以下一种或者多种的组合：

姿态的维持时间的评价规则，姿态的关键点位的距离评价规则，或者姿态的关键点位构成的角度的评价规则。

可选地，所述姿态的维持时间的评价规则，包括以下一种或者多种的组合：

构成所述姿态的关键点位连续满足目标距离条件的时间评价规则，或者构成所述姿态的关键点位连续满足目标角度条件的时间评价规则。

可选地，姿态的维持时间的评价规则包括：

姿态的维持时间的区间和所述区间对应的时间分数系数。

可选地，所述距离信息表示为手腕到手肘的桡骨的距离的倍数。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (11)

1.一种动作评价方法，其特征在于，包括：

启动动作评价模式；在所述动作评价模式启动之前，已预先录入有动作数据，所述动作数据包括：动作与动作包含的姿态的映射关系，姿态的判定依据，姿态的评价规则；

基于所述动作数据中的判定依据对目标视频中目标对象进行姿态识别；

根据从所述目标视频中连续识别出的多个姿态以及所述动作数据中的映射关系，确定所述多个姿态匹配的目标动作；

根据所述动作数据中所述目标动作包含的姿态的评价规则，获得所述目标对象执行所述目标动作的评价结果。

2.根据权利要求1所述的方法，其特征在于，所述判定依据包括以下一种条件或者多种条件的组合：对关键点位的距离条件或角度条件；所述基于所述动作数据中的判定依据对目标视频中目标对象进行姿态识别，包括：

通过基于神经网络架构的人体姿态估计技术，从所述目标视频的图像帧中识别得到所述目标对象的多个关键点位；

根据所述目标对象的多个关键点位得到距离信息和角度信息；

当根据所述距离信息和所述角度信息确定目标姿态的判定依据中所有条件均满足时，确定所述目标对象在所述图像帧中的姿态为所述目标姿态。

3.根据权利要求1所述的方法，其特征在于，所述多个姿态包括：在所述目标视频的第一图像帧中识别得到的第一姿态和在所述目标视频的第二图像帧中识别得到的第二姿态；其中，所述第一图像帧的记录时间早于所述第二图像帧的记录时间；所述第一图像帧为所述目标视频中首个识别到所述第一姿态的图像帧，所述第二图像帧为所述目标视频中首个识别到所述第二姿态的图像帧；所述动作数据中所述目标动作包含在前的所述第一姿态和在后的所述第二姿态；所述动作数据还包括所述目标动作中所述第一姿态与所述第二姿态的时间条件；

所述根据从所述目标视频中连续识别出的多个姿态以及所述动作数据中的映射关系，确定所述多个姿态匹配的目标动作，包括：

获取所述第一图像帧的记录时间与所述第二图像帧的记录时间之间的间隔；

当所述间隔满足所述时间条件时，确定所述第一图像帧中的所述第一姿态和所述第二图像帧中的所述第二姿态共同匹配的动作为所述目标动作；

当所述间隔不满足所述时间条件时，判定所述第二图像帧中的所述第二姿态无法与所述第一图像帧中的所述第一姿态共同匹配一个完整动作。

4.根据权利要求2所述的方法，其特征在于，所述动作数据中所述目标动作包含第一姿态和第二姿态；

所述根据所述动作数据中所述目标动作包含的姿态的评价规则，获得所述目标对象执行所述目标动作的评价结果，包括：

根据所述目标对象处于所述第一姿态的图像帧，以及所述第一姿态的评价规则，获得所述目标对象执行所述目标动作的所述第一姿态的第一分值；

根据所述目标对象处于所述第二姿态的图像帧，以及所述第二姿态的评价规则，获得所述目标对象执行所述目标动作的所述第二姿态的第二分值；

根据所述第一分值和所述第二分值获得所述目标对象执行所述目标动作的评价结果。

5.根据权利要求4所述的方法，其特征在于，若所述目标视频中连续多帧图像帧中所述目标对象处于所述第一姿态，所述根据所述目标对象处于所述第一姿态的图像帧，以及所述第一姿态的评价规则，获得所述目标对象执行所述目标动作的所述第一姿态的第一分值，包括：

根据所述连续多帧图像帧中在前的一帧图像帧和所述第一姿态的评价规则得到初始第一分值；

根据所述连续多帧图像帧中在后的一帧图像帧和所述第一姿态的评价规则得到新的第一分值；

若所述新的第一分值大于所述初始第一分值，则利用所述新的第一分值覆盖所述初始第一分值。

6.根据权利要求1所述的方法，其特征在于，录入动作数据包括：

录入动作名称、动作包含的姿态个数以及动作包含的姿态的名称；

录入动作包含的姿态的判定依据和评价规则。

7.根据权利要求1所述的方法，其特征在于，姿态的评价规则包括以下一种或者多种的组合：

姿态的维持时间的评价规则，姿态的关键点位的距离评价规则，或者姿态的关键点位构成的角度的评价规则。

8.根据权利要求7所述的方法，其特征在于，所述姿态的维持时间的评价规则，包括以下一种或者多种的组合：

构成所述姿态的关键点位连续满足目标距离条件的时间评价规则，或者构成所述姿态的关键点位连续满足目标角度条件的时间评价规则。

9.根据权利要求7所述的方法，其特征在于，姿态的维持时间的评价规则包括：

姿态的维持时间的区间和所述区间对应的时间分数系数。

10.根据权利要求2所述的方法，其特征在于，所述距离信息表示为手腕到手肘的桡骨的距离的倍数。

11.一种动作评价装置，其特征在于，包括：

模式启动模块，用于启动动作评价模式；在所述动作评价模式启动之前，已预先录入有动作数据，所述动作数据包括：动作与动作包含的姿态的映射关系，姿态的判定依据，姿态的评价规则；

姿态识别模块，用于基于所述动作数据中的判定依据对目标视频中目标对象进行姿态识别；

动作确定模块，用于根据从所述目标视频中连续识别出的多个姿态以及所述动作数据中的映射关系，确定所述多个姿态匹配的目标动作；

动作评价模块，用于根据所述动作数据中所述目标动作包含的姿态的评价规则，获得所述目标对象执行所述目标动作的评价结果。

Images