CN114565976A - 一种训练智能测试方法以及装置 - Google Patents

Abstract

本发明提供了一种训练智能测试方法以及装置，本发明的训练智能测试方法包括：采用人脸识别技术进行人员核验，然后通过视觉模型技术对采集的训练视频进行人体姿势识别，动作标准评判，自动计时计数；采用大数据技术针对所述判断结果建立训练数据模型，以用于训练提升指导。本发明的训练智能测试方法通过将机器视觉技术成功的应用在训练测试过程中，能够降低人工投入量，提高了成绩的准确性，也避免了人为舞弊替考，不公平的情况发生。

Description

一种训练智能测试方法以及装置

技术领域

本发明涉及运动训练领域，具体而言，涉及一种训练智能测试方法以及装置。

背景技术

机器视觉技术广泛应用于食品和饮料、化妆品、制药、建材和化工、金属加工、电子制造、包装、汽车制造等行业，代替人工视觉实现检测、测量和控制；机器视觉技术主要用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制；机器视觉包括数字图像处理技术、深度学习技术、模拟识别技术、光源照明技术、光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。

然而将机器视觉技术成功的应用在运动训练领域方面现如今还是比较少见，尤其是在进行双杠(杠端臂屈伸、摇动臂屈伸)训练过程中，训练测试大部分采用人工核验身份，人工评判动作标准性，人工统计成绩，这种人为的方式往往存在人为舞弊替考，成绩不准确，不公平的情况，人工投入量大等问题。

有鉴于此，特提出本发明。

发明内容

有鉴于此，本发明公开了一种训练智能测试方法以及装置，通过将机器视觉技术成功的应用在训练测试过程中，能够降低人工投入量，提高了成绩的准确性，也避免了人为舞弊替考，不公平的情况发生。

具体地，本发明是通过以下技术方案实现的：

第一方面，本发明公开了一种训练智能测试方法，包括如下步骤：

采用人脸识别技术进行人员核验，然后通过视觉模型技术对采集的训练视频进行人体姿势识别，动作标准评判，动作点评，自动计时计数；

采用大数据技术针对所述判断结果建立训练数据模型，以用于进行训练评估，辅助指导训练。

第二方面，本发明公开了一种训练智能测试装置，包括：

测试模块：用于采用人脸识别技术进行人员核验，然后通过视觉模型技术对采集的训练视频进行评估和识别人体姿势，以与标准姿势进行对比判断；

指导模块：用于采用大数据技术针对所述判断结果建立训练数据模型，以用于训练指导。

第三方面，本发明公开了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述训练智能测试方法的步骤。

第四方面，本发明公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述训练智能测试方法的步骤。

总之，本发明提出的训练智能测试方法以及智能测试装置，具体操作时，只需要训练人员通过平板刷人脸核验身份，根据平板语音提示进入准备区，操作员在平板点击发令，语音播报提示开始，人员开始训练，双杠垂直侧布设摄像机，采用机器视觉视频分析技术和深度学***台根据采集的运动数据进行评估定级，同时结合评估模型给出针对性的训练提升指导建议，操作方便，准确性高。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例提供的训练智能测试方法的流程示意图；

图2为本发明实施例提供的评估和识别人体姿势的原理示意图；

图3为本发明实施例提供的评估和识别人体姿势的网络结构图；

图4-5为本发明实施例提供的训练智能测试方法的效果图；

图6为本发明实施例提供的肢干关节点的坐标图；

图7为本发明实施例提供的训练智能***的结构图；

图8为本发明实施例提供的一种计算机设备的流程示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

参照图1所示，本发明公开了一种训练智能测试方法，包括如下步骤：

S1、采用人脸识别技术进行人员核验，然后通过视觉模型技术对采集的训练视频进行人体姿势识别，动作标准评判，动作点评，自动计时计数；

S2、采用大数据技术针对所述判断结果建立训练数据模型，以用于进行训练评估，辅助指导训练。

其中，所述S1步骤中，进行人员核验时，采用人脸识别技术，通过预先采集运动员人脸特征信息，进行人脸建模，构建统一人脸信息库，通过在平板刷人脸，提取人脸特征数据传入模型库进行人脸特征比对，反馈比对结果和人员信息，完成人员身份核验。

进行了人员核验之后，就是需要通过视觉模型技术对训练视频进行具体的评估和识别，通过在视频上对人体关节点位进行定位、标注、链线，利用图像处理技术，将视频骤帧分解生成图片，通过图片分析和识别运动过程姿势和关节运动幅度，并采集和记录每一次完整动作的关节运动幅度数据，通过幅度数据和动作标准规则进行比对判断。

具体地，所述人体姿势的识别方法包括：

将训练视频的原始位图对象缩放，从PoseNet库中调用函数来获取Person对象，将位图缩放回屏幕大小；

在Canvas对象上绘制新的位图，从Person对象中获取的关键点位置在画布上绘制骨架，显示置信度超过特定阈值的关键点，用单个SurfaceView来显示输出；

SurfaceView通过获取、锁定和在View画布上绘图，显示在屏幕上。

深入到具体的原理上是通过一系列卷积神经网络后，得到关节点的置信图以及肢干的矢量图，将所述置信图以及矢量图结合得到新的绘制骨架，具体进行卷积神经网络的原理图可见图2所示：

1.图a为输入数据，是一张RGB图像。通过一系列卷基神经网络后，同时得到b和c。

2.b图表示关节点置信图，需要检测多少个关节点，就有多少张相应的置信图，一张图像中有可能有多个人的同一个关节点。

如上图b左侧的置信图就同时检测出两个人的左肘，右侧的置信图检测出两个人的左肩。

3.c图表示肢干的矢量图，每个关节对应两个矢量图。

4.b和c结合起来就得到d，即某个肢干的关节点的连接。

5.所有的d组合起来就得到e，即所有我们要检测的肢干的连接结果。

具体卷积过程中的网络结构图如图3所示。从图3中可以知晓，F是原始图像经过VGG19的前10层网络后得到的特征图。经过Branch1的网络得到的是关节点的置信图S，经过Branch2的网络得到的是肢干的矢量图L，F经过Stage1得到S1和L1，从Stage2开始，Stage t网络的输入由前一个网络Stage t-1得到的置信图S和矢量图L加上特征图F组成，表达式如下：

VGG19的前10层网络如下表1圈出来的部分：

表1网格结果

每个Stage网络都可以得到两个损失，Staget网络的损失函数如下：

其中，

和

为通过数据集数据标注的准确的置信图和矢量图，W(p)是一个二元掩码，在训练模型时，当数据集未标注某个关节点或关节点无法组成一个肢干时，令W(p)＝0，从而避免本次损失“错误”的增大。总损失函数如下：

模型训练中，计算损失用的置信图

是根据COCO数据集的数据生成的，

代表某个关节点j的置信图，因为我们要检测19个关节点，所以，每张图片要生成19个置信图。通过训练之后的效果图如图4所示，图4中的左图是原始图像，右图是生成的所有的关节点的置信图，为了方便比较才将原始图像的缩放图作为背景，真正的关节点(所有的关节点)置信图如图5的右图所示。

假设关节点(x，y)为人物k的关节点j的坐标，则以A(x0，y0)为左上角坐标，以B(x1，y1)为右下角坐标，由A、B组成一个矩形Z，而关节点坐标为矩形Z的中心。令width和height为图片的宽和高，则x0，y0，x1，y1的定义如下，

x0＝int(max(0，x-β))

y0＝int(max(0，y-β))

x1＝int(min(width，x+β))

y1＝int(min(height，y+β))

然后，在去遍历矩形Z中的每一个坐标点p，求点p和x_j，k的高斯核函数，得到置信图中该坐标点p的值

公式如下：

所有人物k的关节点j组成的

就组成了该关节点的置信图

模型训练中，损失函数中矢量图

也是根据COCO数据集生成。

如图6所示，假设

和

表示数据集图片中人物k的肢干c的关节点j1和j2的坐标，如果点p在肢干上，则

为j1到j2方向的单位向量，否则，

为0，公式如下：

P点满足条件，

其中，l_c，k是肢干的长度，σ_l是肢干的宽度，v_⊥是单位向量v的垂直向量。

实际计算时，需要添加一个具体的阈值，所以先设置一个常量th：

实际计算中，假设肢干两端的关节点坐标分别为(x1，y1)和(x2，y2)，分别肢干两端的关节点坐标减去或加上一个阈值th，得到两个新的坐标点(x1-th，y1-th)和(x2+th，y2+th)，以这两个坐标点为左上角和右下角得到一个矩阵Z，遍历该矩阵的每一个像素点p，求点p到肢干的距离dist，如果dist＜th，则认为点p在属于肢干的上，点p则保存肢干c的方向余弦和方向正弦。每一个关节点对应的有一个关节点置信图，而每一个肢干则对应有两个矢量图，分别对应于肢干的方向余弦和方向正弦。公式如下：

假设

和

是检测到的两个候选连接关节点，这两个关节点连接成肢干c，现在我们在这两个关节点中间取样，然后用矢量图L_c沿着线段去衡量它们连接的可能性，计算公式如下：

其中，p(u)是在

和

之间***的坐标点，一般是通过等距离抽样来近似求积分：

求得的E越大，则这两个关节点应该连接的可能性就越大。

承接上述S1步骤之后，所述S2步骤中，采用大数据技术针对所述判断结果建立训练数据模型，以用于训练指导。

所述S2步骤中，在进行大数据技术分析之前还涉及对人体触线检测的方法，具体方法包括：摄像机地面或杠柱绘线，采用机器视觉视频分析技术获取实时视频流，对视频进行骤帧分解并生成图片进行临时存储，利用图像处理技术，分析生成的图片是否有触线，如有则抓拍照片，数据推送上报给软件平台，训练结束，语音提示，平台统计成功数作为最终成绩。

然后进行完上述步骤之后再采用大数据分析技术，建立运动训练数据模型、训练基础知识库模型、专家指导模型，通过对训练数据分析与模式的比对分析，综合得出针对性提升指导训练意见。

最后采用视频流媒体技术，摄像机运动过程中全程录像，在视频上对人体关节点位进行定位、标注、链线，实现视频片段切割和储存，支持视频回放，回放视频可看到人姿体关节绘线。

本发明的方案在实际应用时所需要的软件程序只需要一个智慧训练平台、AI算法，具体针对不用的移动端应用的方式略有差别，具体如下：

1.手机端APP：结合智慧训练管理平台，利用智能感知现代化科技手段开展训练考评、成绩记录、数据分析，通过移动APP实现日常训练计划查看、移动训练、运动圈、成绩查询、排名查询、评估指导、数据分析等场景快速支撑。

2.平板端APP：训练现场使用，提供人脸识别身份认证、发令、计时、计成绩、录像，提供日常训练报告和考核报告成绩查询、成绩排名查看，可以查看训练详情、回放视频、诊断和指导建议。

3.智慧训练管理平台：对接前端硬件设备和算法***，统一采集和记录相关训练数据，提供基础训练的软件管理和数据分析功能，包括：训练计划、训练档案、训练考核、训练成绩、评估指导、***管理等功能。

4.AI算法：利用机器视觉，机器学习技术，对不同训练场景进行算法定制和训练迭代，提供人体姿势识别、大数据评估模型、人员标记、人员跟踪、触线识别，规则研判，数据采集等能力。

具体软件操作时的流程可按照以下步骤：

1.运动员刷人脸进行人员核验检录，如检验失败，则语音提示，否则平板展示人员信息，并且语音提示运动员进入指定区域。

2.操作员发令，语音播报发令信息，运动员开始训练，过程中如果屈臂时双肩关节高于肘关节或伸臂时双肘关节未伸直，则该次动作计失败，语音进行提示，否则动作计数成功，语音进行提示。

3.如果脚触及地面或脚触及立柱，则考试结束，语音进行提示并播报成绩。

总之，本发明的训练智能测试方法通过采用机器学***性，减少大量人力组织，训练考核数据有沉淀，通过数据便于辅助和指导更科学训练。

除此之外，本发明还提供了一种训练智能测试装置，如图7所示，具体包括：

测试模块101：用于采用人脸识别技术进行人员核验，然后通过视觉模型技术对采集的训练视频进行评估和识别人体姿势，以与标准姿势进行对比判断；

指导模块102：用于采用大数据技术针对所述判断结果建立训练数据模型，以用于训练指导。

该***主要由上述两个模块构成，通过该装置的搭建很好的实现采用机器学习的方式对整个训练过程进行评估并给予指导建议，方便准确率高。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

图8为本发明公开的一种计算机设备的结构示意图。参考图8所示，该计算机设备400，至少包括存储器402和处理器401；所述存储器402通过通信总线403和处理器连接，用于存储所述处理器401可执行的计算机指令，所述处理器401用于从所述存储器402读取计算机指令以实现上述任一实施例所述的训练智能测试方法的步骤。

对于上述装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部磁盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

最后应说明的是：虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种***模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和***通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (8)

1.一种训练智能测试方法，其特征在于，包括如下步骤：

采用人脸识别技术进行人员核验，然后通过视觉模型技术对采集的训练视频进行人体姿势识别，动作标准评判，动作点评，自动计时计数；

采用大数据技术针对所述判断结果建立训练数据模型，以用于进行训练评估，辅助指导训练。

2.根据权利要求1所述的训练智能测试方法，其特征在于，所述人体姿势的识别方法包括：

将训练视频的原始位图对象缩放，从PoseNet库中调用函数来获取Person对象，将位图缩放回屏幕大小；

在Canvas对象上绘制新的位图，从Person对象中获取的关键点位置在画布上绘制骨架，显示置信度超过特定阈值的关键点，用单个SurfaceView来显示输出；

SurfaceView通过获取、锁定和在View画布上绘图，显示在屏幕上。

3.根据权利要求2所述的训练智能测试方法，其特征在于，所述原始位图对象通过一系列卷积神经网络后，得到关节点的置信图以及肢干的矢量图，将所述置信图以及矢量图结合得到新的绘制骨架。

4.根据权利要求3所述的训练智能测试方法，其特征在于，所述一系列卷积神经网络的方法包括：

原始位图经过Branch1的网络得到的是关节点的置信图S，经过Branch2的网络得到的是肢干的矢量图L，F经过Stage1得到S1和L1，从Stage2开始，Stage t网络的输入由前一个网络Stage t-1得到的置信图S和矢量图L加上特征图F组成，表达式如下：

每个Stage网络都可以得到两个损失，Staget网络的损失函数如下：

上式中，

和

为通过数据集数据标注的准确的置信图和矢量图，W(p)为二元掩码，总损失函数如下：

其中，计算损失用的置信图

以及矢量图

是根据COCO数据集的数据生成的；

设定关节点(x，y)为人物k的关节点j的坐标，则以A(x0，y0)为左上角坐标，以B(x1，y1)为右下角坐标，由A、B组成一个矩形Z，而关节点坐标为矩形Z的中心；令width和height为图片的宽和高，则x0，y0，x1，y1的定义如下：

x0＝int(max(0，x-β))

y0＝int(max(0，y-β))

x1＝int(min(width，x+β))

y1＝int(min(height，y+β))；

然后，在去遍历矩形Z中的每一个坐标点p，求点p和x_j，k的高斯核函数，得到置信图中该坐标点p的值

公式如下：

所有人物k的关节点j组成的

就组成了该关节点的置信图

如下公式：

假设

和

表示数据集图片中人物k的肢干c的关节点j1和j2的坐标，如果点p在肢干上，则

为j1到j2方向的单位向量，否则，

为0，公式如下：

其中点P满足以下公式：

其中，l_c，k是肢干的长度，σ_l是肢干的宽度，V_⊥是单位向量v的垂直向量。

5.根据权利要求4所述的训练智能测试方法，其特征在于，对于置信图

以及矢量图

的计算过程中添加一个具体的阈值，具体的计算过程如下：

假设上式中的th为常数，肢干两端的关节点坐标分别为(x1，y1)和(x2，y2)，分别肢干两端的关节点坐标减去或加上一个阈值th，得到两个新的坐标点(x1-th，y1-th)和(x2+th，y2+th)；

以上述两个坐标点为左上角和右下角得到一个矩阵Z，遍历该矩阵的每一个像素点p，求点p到肢干的距离dist，如果dist＜th，则认为点p在属于肢干的上，点p则保存肢干c的方向余弦和方向正弦，每一个关节点对应的有一个关节点置信图，而每一个肢干则对应有两个矢量图，分别对应于肢干的方向余弦和方向正弦，公式如下：

假设

和

是检测到的两个候选连接关节点，这两个关节点连接成肢干c，在这两个关节点中间取样，然后用矢量图L_c沿着线段去衡量它们连接的可能性，计算公式如下：

其中，p(u)是在

和

之间***的坐标点，通过等距离抽样来近似求积分：

求得的E越大，则这两个关节点应该连接的可能性就越大。

6.采用权利要求1-5任一项所述的训练智能测试方法的智能测试装置，其特征在于，包括：

测试模块：用于采用人脸识别技术进行人员核验，然后通过视觉模型技术对采集的训练视频进行评估和识别人体姿势，以与标准姿势进行对比判断；

指导模块：用于采用大数据技术针对所述判断结果建立训练数据模型，以用于训练指导。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序执行时实现权利要求1-5任一项所述训练智能测试方法的步骤。

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述训练智能测试方法的步骤。

Images