WO2011009302A1

WO2011009302A1 - 一种基于多跟踪点的人体动作识别方法

Info

Publication number: WO2011009302A1
Application number: PCT/CN2010/070883
Authority: WO
Inventors: 王跃; 甘泉; 彭立焱; 周琨; 沈伟
Original assignee: 深圳泰山在线科技有限公司
Priority date: 2009-07-22
Filing date: 2010-03-05
Publication date: 2011-01-27
Also published as: CN101964047B; CN101964047A

Description

说明书

一种基于多 «点的人 #¾J作识别雄餘领域

本发明涉及计算机应用领域，更具体地说，涉及一种基于多卿宗点的人体动作识别方法。背景脉

随着计算机技术的发展，人们可以通过计算机来完成很多高难度的工作。通过结合计算机細人体动作进行准确识别，可广泛应用于智能人机交互、视频监控和数字娱乐等领域，是目前计算机视觉与模式识别领域的研究热点。在某些虚拟现实的领域中，如数字娱乐，通常需要计算机一方面向人的感官传送刺激信号，另一方面接收操作者的反应，如体态姿势的变动等，然后根据这些人体本身位置和状态的变换来调整刺激信号。因此，需要准确 ¾X寸人体动作或姿态进行识别。

目前一些利用动作进行识别控制的方法都是基于传统的图像识别方法，通过摄像头拍摄人体的行为姿态或动作，对拍摄的图像进行分析处理，利用相应的识别算法进行识别，判断出人体的行为姿态或动作。此种方法一方面需要相当大的存储空间以存放拍摄的图像，另一方面也需要非常优化的算法細角识别人体姿态或动作。

针对上述传统方法的缺陷，发展了一种基于加速度传来识别人手动作的方式。该技术棚了加速度传和陀螺仪，一般是将加速度传和陀螺仪放置在手柄中。任天堂公司的 Wii Sport产品即采用了这样一种实时捕捉人体运动信息的技术，该公司产品的手柄里面包含了重力传，陀螺仪这两个重要设备，其中重力传用于捕获人体运动的加速度信息，陀螺仪用于捕获人体运动的方向信息。通过蓝牙信号，手柄可以将加速度信息和运动方向信息传递给终端计算机，终端计算机通过加速度信息和运动方向信息就可以建模人体运动的动作。由手柄发送手部运动的数据，在健身娱乐时存在多方面的问题，比如：

1、不 t 行身***置多个部位的 £ 宗，因此也就无法对娱乐健身者的整体身体运动做出分析； 2、发送的只有运动信息而无空间位置坐标信息，因此不能真实的反应出人体的运动情况；

3、由于无人体部位的空间位置坐标信息，因此不能对人体部位运动轨迹进行跟踪，更无法对人体姿态进行定位和描述；

4、手柄需要电源，在没有电源或者没有手柄的情况下，根本不能棚。

从真实运动健身的需求来说，这种技术只能用作于游戏，只能简单地识别人体的手部动作，而不能用于运动健身。

发明内容

本发明要解决的技术问题在于，针对现有人体动作识别方法技术的上述无法记录人体多个部位的位置以及运动信息的缺陷，提供一种基于多跟踪点人体动作或姿态的直接识别方法。

本发明解决其技术问题所采用的技术方案是：在人体或相关运动器材上设置多个跟踪点，记录每个卿宗点不同时刻的位置数据，对其进行分析计算每个卿宗点的相应动作数据，从而识别出待测人体的运动动作或人体姿态。

本发明提供了一种基于多 £ 宗点的人体动作识别方法，包括以下步骤：

S1: 基于需要判断的动作要求，在待测人体或运动器材上设置至少一个宗点；

S2:对每个卿宗点不同时亥啲空间位置进行采集，并记录为该卿宗点对应的一组数据点；

S3：利用上述每个艮踪点对应的一组数据点的空间位置数据，基于需要判断的动作要求，计算每个«点的相应动作数据；

S4: 根据每个卿宗点的相应动作数据，识别出待测人体的运动动作。

在本发明所述的基于多跟踪点的人体动作识别方法中，所述步骤 S3还包括：利用上述每个 £ 宗点对应的一组数据点的空间位置数据，基于需要判断的动作要求，计算不同宗点之间的位置关系数据。

在本发明所述的基于多跟踪点的人体动作识别方法中，所述步骤 S4还包括：根据每个卿宗点的相应动作数据以及不同卿宗点之间的位置关系数据，识别出待测人体的运动动作。在本发明所述的基于多跟踪点的人体动作识别方法中，所述步骤 S1还包括：基于需要判断的人体姿态要求，在待测人体或运动器材上设置至少两个宗点；所述步骤 S3还包括: 利用上述每个卿宗点对应的一组数据点的空间位置数据，基于需要判断的人体姿态要求，计算每个卿宗点的相应动作数据以及不同卿宗点之间的位置关系数据；所述步骤 S4还包括：根据每个卿宗点的相应动作数据以及不同卿宗点之间的位置关系数据，识别出待测人体的人体姿态。

在本发明所述的基于多跟踪点的人体动作识别方法中，所述步骤 S4还包括：根据每个卿宗点的相应动作数据以及不同卿宗点之间的位置关系数据，识别出待测人体的人体姿持膚况。

在本发明所述的基于多跟踪点的人体动作识别方法中，计算每个跟踪点的相应动作数据，包括计算位移、速度、力口速度和 /或作用力大小。

在本发明所述的基于多卿宗点的人体动作识别方法中，还包括步骤 S5:利用所述每个跟踪点对应的一组数据点的空间位置数据，描绘出每个卿宗点的运动轨迹。

在本发明所述的基于多跟踪点的人体动作识别方法中，所述步骤 S2进一步包括：将采集的每个 £ 宗点对应的一组数据点都表示为三元组 (x, y， z), 其中 x代表数据点在 X轴的位置，所述 X轴为第一水平方向，且 X值增大代宗点位置右移； y代表数据点在 Y轴的位置，所述 Y轴为垂直方向，且 y值增大代表跟踪点位置上移； z代表数据点在 Z轴的位置，所述 Z轴为与第一水平方向垂直的第二水平方向，且 z值增大代表艮踪点位置前移。

在本发明所述的基于多跟踪点的人体动作识别方法中，需要判断的动作从以下一组动作中选择：平移、下蹲、跳起、跑步、击球、拳击、踢足 ί斜口跳舞。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体是否发生平移或下蹲动作时，包括以下步骤：

A1: 在待测人体上设置至少一个卿宗点； A2: 对跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点 (χ,,γ,,ζ,) ·, 其中， i代表不同时间，数据点 (x。,;y。,z。）为开始时刻该 £ 宗点的位置；

A3：对上述数据点进行分析；当 yi-ycxd 其中为预设阈值，则该卿宗点位置下移，即待测人体发生了下蹲动作，下蹲距离为 I y_ry。 I；当 _Zi-z 0，则该 ¾ί宗点位置前移，即待测人体发生了前移动作，当 _¾- <0，则待测人体发生了后移动作，且移动距离为 I ¾-Ζο I；当则该 £ 宗点位置右移，即待测人体发生了右移动作，当 _Xi-xo<0，则待测人体发生了左移动作，且移动距离为 I _Xi-Xo I。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体是否发生平移或下蹲动作时，所述步骤 A1中，在待测人体戴的帽子上设置一个宗点。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体是否发生跳起的动作时，包括以下步骤：

B1: 在待测人体上设置至少一个卿宗点；

B2: 对跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点 (χ,,γ,,ζ,) ·, 其中， i代表不同时间，数据点 (x。,;y。,z。）为开始时刻该 £ 宗点的位置；

B3: 对上述数据点进行分析；实时计算头部竖直方向上的速度其中 T为由检验装置决定的预设值， ¾v. >v, 其中 v为根据平时运动试验得到的预设值，贝 IJ记录下该时刻卿宗点的位置信息，记为开始数据点( ,}^,¾)；

B4: 计算各个时刻的 L = (¾ _ )² + (X. _ Λ )² + ( _ ¾ )²，若 L大于预设阈值，则待测人体发生了跳起的动作。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体是否发生跑步动作时，包括以下步骤：

C1: 在待测人体腿部设置至少一个卿宗点；

C2: 对跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点 χ,,γ,,ζ,) ; 其中， i代表不同时间，数据点 (x。,;y。,z。）为开始时刻该卿宗点的位置； C3: 对上述数据点进行分析；每个时刻检查 _yi，与 y_i+1、 _的关系，当 y_i+1<yi且 y yi—i 时，则 _yi为 £ 宗点在 Y轴方向上的最高点；记录一段时间 T内， £ 宗点经历的最高点次数为 n，贝 IJ得到跑步时的频率 f=n T; 从某时刻开始，记录其后一段时间内的 n个位置最高点

(yi,y2,-, yn)，由此可以计算出跑步时上下运动的平均振幅为 s = + + n…十 ― ，其中为 ί¾ί宗点的高度。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体是否发生跑步动作时，所 ^ 宗点设置在待测人体膝盖上。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体的拳击动作时，包括以下步骤：

D1: 至少在待测人体左右手上分别设置一个宗点，取 X轴上数据较小的卿宗点即左手宗点标识为 Α , 另一个 ΐί宗点即右手 ΐί宗点标识为 Β 宗点；

D2:对 ί ^宗点不同时亥啲空间位置进行采集，并记录为 ί ^宗点对应的数据点

和其中， i代表不同时刻；

D3: 对上述数据点进行分析；根据卿宗点在 Z轴方向上的速度值判断打拳动作是否发生；然后依据«点在其他两个坐标轴上的速度或位置来判断拳形。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体的击球动作时，包括以下步骤：

E1: 至少在待测人体手部设置一个卿宗点；

E2: 对宗点不同时亥啲空间位置进行采集，并记录为宗点对应的数据点；

E3: 对上述数据点进行分析；根据卿宗点在 Y轴方向上的速度值判断抛球动作是否发生，并根据卿宗点在 Z轴方向上的速度值判断击球动作是否发生。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体的击球动作时，所述步骤 E3还包括：根据卿宗点在 Y轴方向上的速度值和 Z轴方向上的速度判断削球动作是否发生；并根据卿宗点的运动方向与三坐标平面的夹角判断削球动作对球运动的影响。在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体的击球动作时，所 ^ 宗点设置在球拍上。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体的击球动作时，所述步骤 E1还包括：在所述待测人体头部设置«点。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体的击球动作时，所述步骤 E3还包括：根据所述手部上的卿宗点与所述头部上的卿宗点的位置关系判断是右手球还手球。

实施本发明的基于多跟踪点的人体动作识别方法，具有以下有益效果：实现了多目标跟踪，育^ t待测人体全身多部位进行 li宗；由于卿宗的基本数据是娱乐健身者在时刻各跟踪部位的空间位置信息，因此能够记录下卿宗部位的运动轨迹，对人体姿态进行定位、描述，更真实的反应人体的运动情况。且本发明的方法简单实用，对人体动作或姿态识别的准确度高。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图 1是本发明的基于多艮踪点的人体动作识别方法实施例的流程图；

图 2是本发明基于多跟踪点的人体动作识别方¾¾据点所棚的坐标系示意图；图 3是本发明基于多卿宗点的人体动作识别方法在判断跑步动作时卿宗点的位置数据图。

具体 «

以下对本发明的较佳实施例进 fin羊细说明。

如图 1所示，本发明的基于多卿宗点的人体动作识别方法的实现过程，包括以下步骤：在步骤 S1中，基于需要判断的动作要求，在待测人体或运动器材上设置至少一个跟踪点；在步骤 S2中，对卿宗点不同时亥啲空间位置进行采集，并记录为该卿宗点对应的一组数据点；在步骤 S3中，利用上述宗点对应的一组数据点的空间位置数据，基于需要判断的动作要求，计算宗点的相应动作数据；在步骤 S4中，根据^ ^ 宗点的相应动作数据，识别出待测人体的运动动作。如果需要判断的动作要求设置多个宗点，且需要判断^卿宗点之间的关系，贝 IJ在步骤 S3中，还可利用 ^ ΐί宗点对应的一 a¾据点的空间位置数据，基于需要判断的动作要求，计算不同宗点之间的位置关系数据。同时在步骤 S4中，再根据卿宗点的相应动作数据以及不同卿宗点之间的位置关系数据，识别出待测人体的运动动作。

本发明撒的基于多卿宗点的人体动作识别方法还可应用到人体姿态的识别，只需在上述人体动作识别方法的步骤中做相应调整：在步骤 S1中，基于需要判断的人体姿态要求，在待测人体或运动器材上设置至少两个 li宗点；在步骤 S3中，利用上述^ ΐί宗点对应的一组数据点的空间位置数据，基于需要判断的人体姿态要求，计算宗点的相应动作数据以及不同卿宗点之间的位置关系数据；在步骤 S4中，根据卿宗点的相应动作数据以及不同卿宗点之间的位置关系数据，识另咄待测人体的人体姿态。还可根据卿宗点的相应动作数据以及不同卿宗点之间的位置关系数据，识另咄待测人体的人体姿^ f呆持膚况。具体的方法将在后面进 fiH羊细说明。

值得一提的是，本发明还可利用所述每个卿宗点对应的一 a¾据点的空间位置数据，描绘出卿宗点的运动轨迹。在本发明所述的基于多卿宗点的人体动作识别方法中，计算每个跟踪点的相应动作数据，包括计算其位移、速度、力口速度和 /或作用力大小等有利于判断该动作的数据。

需要说明的是，本发明中设置卿宗点，并对其空间位置数据进行采集的过程可以通过多种方法实现。在一个实施例中，卿宗点可以为具有高反光特性的材料，由红外发射装置向其发射红外光，再通过摄像头捕宗点不同时刻的数字图像。输入到计算机或者棚控制芯片对其进行识别，从而确定宗点的空间位置坐标，进行后续的处理。

本发明棚三元组来代雜宗点的空间位置数据。在步骤 S2中：将采集的^ 卿宗点对应的一^¾据点都表示为三元组 (x, y， z)，其中 x代表数据点在 X轴的位置，所述 X 轴为第一水平方向，且 X值增大代雜宗点位置右移； y代表数据点在 Y轴的位置，所述 Y 轴为垂直方向，且 y值增大代表卿宗点位置上移； 2代表数据点在 Z轴的位置，所述 Z轴为与第一水平方向垂直的第二水平方向，且 z值增大代雜宗点位置前移。根据不同的硬件，本实施例中硬件每秒对一个宗点产生三十个这样的三元组，因此利用同一个宗点在一段时间内的空间位置数据就能描述出跟踪点的运动状态，同时利用多个跟踪点的空间位置数据，就能描述出人体姿态变化。这里给出本发明底层硬件得出数据点所使用的坐标系如图 2 所示。由此坐标系可以看出，向左运动 X变小，向右运动 X变大；向上运动 y变大，向下运动 y变小；向前运动 z变大，向后运动 z变小。

下面将详细的阐述本发明方法的技术原理。在具体介绍本发明是怎么识别人体动作之前，先给出本发明棚底层软硬专上来的数据点来判断动作开始点和结束点的流程图。如图 3所示，先将层^ /硬专来数据点，表现为三元组（x， y， z), 然后根据这一 a¾据点，计算^ ^数据点出的速度、力口速度和作用力大小。依据某个方向上的速度是否达到给定阈值，判断某个方向上是否有动作发生；同样，依据某个方向上的速度是否减小到给定阈值，判断某个方向上动作是否结束；然后可以依据动作开始点、结束点来计算动作的距离。在判断动作需要时，可以根据该流程图得到动作开始点和结束点的信息，再进一步计算其它数据。

本发明所述的基于多卿宗点的人体动作识别方法，可以用于判断以下动作：平移、下蹲、跳起、跑步、击球、拳击、踢足： E斜口跳舞等，这些动作能够根据在人体或运动器械上设置的多个宗点来判断并计算动作数据。

下面分别对不同动作的判断方法和过程进行说明。

1、判断人体动作

人体动作是极其复杂的，但是可以从动作的效果给人体动作做出些分类，如：移动，下蹲，跳起，跑步，手部动作，以及各种各样的组合动作。本发明就是将人体动作细分为身体的各个部位的动作，然后依据各个部位的动作来表现人体整个动作。

A、平移，下蹲动作，将这两个动作归为一类的原因，是在判断这两个动作的时候，都只用考虑一个点的坐标就可以了。比如让人戴上帽子，取开始卿宗到帽子位置时，它的坐标是^，^，^，此后^^时亥啲帽子位置的坐标是^,，)^,)，可以用这两个点的相对关系来看人是往哪个方向移动了。若 -^ ^^，则可以判断头的位置变低了。依据 4的取值，可以判断人是不是下蹲了，若的取值较大的话，人下蹲了。同样道理可以判断人是不是往前、后、左、右移动了。这里只以往前，后移动为例，若 - >0，则人往前移动了；若 z_t-z₀<0, 则人往后移动了，移动的距离为 | -z。|。

左右移动的判断方法与前后移动方法相同，只是棚的 X轴坐标信息。

B、跳起动作，即判断人的身体有没有发生上跳行为。首先在人的头部做上滅己，比如戴上帽子，站在视频摄像头前，这时取得了头部在正常站立时的位置坐标 (x。, 人在运动的过程中，可以实时得到人头部的位置信息，用坐标表示为 (χ ;ν )，即第 i时刻头部的位置，正常站立时亥 I」和以后时亥啲头部位置坐标都是由底层软专上来的。有了时刻头部位置坐标，就可以实时计算头部竖直方向上的速度 =(χ.-) 其中： r = l/30s,这个时间也是由底层硬件决定的。若发现某时刻 i有向上的较大速度，即 ≥v，其中： V为事先给出的定值，是从平时运动试验中得到的。记录下该时刻帽子的位置信息，记为开始点位置（ ,}^, )，且此后计算各个时刻帽子位置离开始点的距离

_{L =} , 若距离达到预先给定的阈值，贝 IJ判断有一个跳起的

动作，若没有，以后的时刻，依旧以此方法判断是否有跳起动作。跳起判断具体可以应用到头球攻门等运动项目中。

C、跑步动作，即判断人是不是在跑步，主要考虑人的腿是不是上下往复运动。首先在人的腿部，比如膝盖上戴一护膝，这样就可以实时得到人膝盖的位置信息 (χ,υ,.),取竖直方向上位置信息 _yi，如图 3所示，开始跑步时，竖直方向位置信息的数值不断增大，并很快达到最大值，然后又很快的减小，直到膝盖最初高度为止。判断膝盖有没有达到最大值的方法是，时刻检查 _yi，与 y_i+1、 _yi丄的关系，若 y_i+1<_yi且 yi>_yi— i，贝 ij _yi是最高时刻膝盖在 Y轴方向上的大小。可以记录下一段时间段内，膝盖经历的最高点时次数，和时间，我们记次数为 n，时间为 T，贝 ij每一个最高点到下一个最高点之间的时间为 Τ/η，由此可以得到跑步时的频率 f=nT。此外还可以计算出跑步时上下运动的平均振幅，从第某时刻开始，取其后一段时间内的 n 个位置最高点 (_yi,y₂,〜， y_n)，由此就可以计算出平均振幅 _s= ^{yi+ y2+}"'^{+ yn}-h , 其中/ z为膝盖的高度。跑步动作可以应用到各种跑步、

n m 中。

D、拳击动作，拳击动作在这里主要考虑打拳的动作，以判断直拳，左右手钩拳为例。考虑左右手，和不同的拳型，需要使用两个卿宗点 A和首先，给左右手打上滅己，方法是戴拳击手套。拳击运动开始时，就卿宗到了两个运动点的数据，取 X轴上数据较小的运动点作为左手数据点，标识为 A卿宗点；另一个数据点作为右手数据点，标识为 Βί¾ί宗点。对 ^卿宗点进行分析，虽然是两个点，但是分析禾辦只需要一个。实时计算 A， B 点在 Z轴方向的速度， v^ =(z_iA-z_(i__1)A)/T , v_ziB =(z_iB -z_(i__1)B)/T , 其中：是 i时刻 A 宗点在 Ζ轴上速度， V_ziB是 i时刻 B 宗点在 Ζ轴上速度，

若宗点在 Ζ 轴方向上的速度值较小，贝 IJ认为拳击动作没有发生；若卿宗点在 ζ轴负方向上速度值达到一定阈值，则可以认为打拳动作发生了，记下此动作开始的位 fi( ,;y_A, )，然后还要判断是什么拳形，就要再依据跟踪点在其它两个坐标轴上的速度或位置来判断，这里以位置来判断，出拳后，若卿宗点在 Y轴方向上数值增大了一定数量，即卿宗点在某 i时亥啲 Y轴坐标，减去开始时的 Y轴坐标大于一定值， y_i -y_k≥d₂, 其中： d₂是预先改定的值，则可以判断此拳是向上的钩拳。若 ί¾ί宗点在 X轴方向上数值增大了一定数量，且出拳的左手，则可以判断此拳手钩拳，出拳的是右手的话，贝何以判断此次是右手向右前方运动了，没有拳型; 若宗点在 X轴方向上数值减少了一定数量，且出拳的右手，则可以判断此拳是右手钩拳，出拳的手的话，贝何以判断只手向左前方运动了，没有拳型；不是这几种情形的话，贝 |J表明此次出拳的拳型是直拳。拳击动作可以应该在拳击等运动项目中。

Ε、以上 4个动作分析都只是针对简单动作的，或者说是针对人体局部部位的。但本发明方法绝不仅如此，可以对人体的复杂动作做出识别。以^^球运动为例，说明本发明是如何识别人体全身运动动作的。乒乓球运动中主要有两大类型的运动，一个是身体的移动，这个移动是水平方向上任意角度的，另一个是打球的动作，主要是持球拍的手的动作。 ^^球运动开始前，动者身体打上 ¾Η己，方法是戴上帽子，手持^^球拍，面向摄像头，帽子

(即头部位置）用 ί¾ί宗点 Α表示，球拍用 ί¾ί宗点 B表示。贝宗点 Α反应了人的移动， X 轴坐标变小，人往左运动，反之往右运动； Z轴坐标变小，人往后运动，反之人往前运动； X, z轴坐标同时变化，表明人在两个坐标方向上都有运动，可以看成是先沿一个坐标轴运动，然后按另一个坐标轴运动。

像^^球这样的运动中，最重要的是识别到手的动作，下面将以两个动作（发球，向下削球）为例说明本方法是如何识别打球动作的。首先需要从卿宗点在各个时刻的位置坐标出发，计算出卿宗点在时刻的速度，力口速度，以及手发力的情况，第 i时刻的速度公式： =(H )/T、 v^iy -y^lT , v_iz={z ~z_i__l) IT , 其中： T= l/30s; 速度 ¾≡个方向上各个方向上的速度。第 i 时刻的加速度公式： _1)Χ)/Γ 、 a_iy =(a_iy-a_i—_1)y)/T、 a_iz = (v_iz-v_(i__1)z) / T , 其中： T=l/30s_; 加速度个方向上方向上的加速度。有了各个时刻各个方向上的加速度，就可以对对应时刻对应方向上的用力情况作出分析， f_ix=a_ix k, f_iy=a_iyxk, f_iz=a_izxk, 其中：是一个比例系数。发球时，手向上挥动，实时检测手部向上的速度，若 ≥d₃，其中 d₃为预设阈值，表示有向上抛球动作，否则没有抛球动作；有抛球动作后，实时检测手部向前的速度 v_¾，若 v«≥^，其中为预设阈值，贝猜示有击球动作，抛球动作和击球动作结合起来，贝 IJ表明运动者做了发球动作。打^^球时，向下削球有个明显特征，就是球拍向下前方运动，且速度比抽霸肖慢。以上面介绍的公式计算球拍宗点实时速度，力口速度，用力情况，并实时检测向下，向前速度，即 Υ轴负方向速度和 Ζ后正方向速度，若两个方向速度的 fe寸值都大于给定的阈值，则表明有向下削球的动作，记录下此时球拍 ί¾ί宗点的位置 ( ,Λ, )，此后依然实时检测 Υ 轴负方向速度和 Ζ后正方向速度，若两个方向速度的 fe寸值中有一个小于给定的阈值，贝 IJ表明削球动作结束，记录下此时刻球拍 ί¾ί宗点的位置 ( ,Λ, )，当然这个过程中，球拍可能击打到球了，如果击打到了球的话，就用击打点的位置代替削球动作结束点的位置，但依旧棚表示。判定了动作是个削球动作，需要进一步考察这个削球动作对球的影响

(如果在削球动作的过程中没有击打到球，则可以忽略这个步骤)。这个影响由球的速度，削球的角度，球拍的对球的力度决定的，球的速度是由球本身决定的，不在本发明考虑到范围内，球拍对球的力度，上面已经给出了计算公式，因此这里只需要考虑球拍的运动方向了。记球拍击打到球时的速度为 (v_x , ），因此可以计算出击球瞬间，球拍运动方向与三坐标平面的夹角，与 XOY平面夹角为： I _x ² + v_y ² + v_z ²

) ，与 YOZ平面夹角为： arccos(^v₂ ² + v_y ² I ^v_x ² + v_y ² + v_z ² ) ，与 XOZ 平面夹角为： ar_CCOS(» ² / » ² )，有了这些夹角，力度，以及乒乓球自身的运动信息，具体^ ^球项目就可以得出此次削球动作对球运动的影响。

此外，求发球，削球等动作都有左右手之分，在发球或削球动作发生时，取得头部 i (x_t, y_t , z_t) , 手部坐标 (x_s , ;y_s , z_s)，若 x _t< x_s，则在做发球，削球等动作时，手在头的右边，可以判断是右手球。

2、判断人体姿态

由本发明使用了人体多部位空间位置信息，因此可以对某时刻人体姿态进行描述。这里以瑜伽动作过程中对人体姿态进行检测为例，说明如何对人体姿态进行描述。由于瑜伽动作过程中保持每个固定姿态的稳定性非常重要，因此要时刻计算固定姿态时的卿宗点之间的角度，以及这些点的晃动情况，以此来衡量姿态是否保持得好。

在姿态描述中，一个宗点无姿态可言，至少要用到两个宗点，本例中棚了三个跟踪点，因此更具有代表性。在开始描述姿态之前，需要对宗点做出滅己，记右手宗点为 1号 ί¾ί宗点，左手 ί¾ί宗点为 2号 ί¾ί宗点， fl退上的 ί¾ί宗点为 3号 ί¾ί宗点，确定它们的准则是，瑜伽运动开始时，最低位置的宗点为腿上的 3号宗点，剩下两个点中， X轴坐标较大的点为右手 1号宗点，最后一个宗点是 1号宗点了。

人眼是很容易识别一个动作定位是否标准，定位是否稳定，倒于计算机来说，得到的只是三个有编号的一系列空间位置坐标，并无更高级的直接描述姿态是什么姿态，姿态保持得怎么样的语义。本发明要解决的第二个问题就是利用各个卿宗点的空间位置坐标信息，产生描述姿态，姿态保持膚况的高级语义。首先比较三个卿宗点 Y轴坐标值大小关系，若不符合现实情况，贝 IJ明显没有做出需要保持的姿态；若满足了，则需要进一步考虑三个卿宗点之间的角度关系，将三个宗点看成一个三角形的三个顶点，组成一个三角形，计算三角形的各个内角，若三个内角都在给定的阈值区间以内，贝 ij认为做出了需要保持的动作。这里使用角度阈值区间的原因，是符合现实情况的，原因至少有两个： a、每个人的手脚比例不完全一样，同一个姿势形成的角度也就会不相同； b、保持姿态的过程中出现小的晃动，抖动，是允许的，因此需要角度区间。

判定了一个姿态出现后，还需要继续计算保持姿态的时间，和保持的稳定性如何。保持时间很容易得到，满足姿态要求时，记录下此刻的时间，记为开始时间，此后，若某时刻不满足姿态要求了，视姿^ f呆持结束，同样记录下此刻的时间，记为结束时间，将结束时间减去开始时间，即得出姿持的时间。姿态稳定性在一些运动项目中非常重要，瑜伽就匕类的项目。做出一定的瑜伽姿态后，不可能每个人都可以保持几乎不动的情况，这样就必须区分开哪些人动得比较大，哪些人动得比较少。从姿态开始时起，保存三个卿宗点的时刻的数据，直到姿态结束，计算^ ^ 宗点的平均位置，然后计算^^ 宗点在时刻的位置离平均位置距离的方差，以这个距离方差来衡量保持姿态的好坏，处理方法是，距离方差越小，姿态保持越好。如果记距离方差为 D，姿势保持好坏程度为 F，则 F = k/D，其中， k是个比例系数。至此，一个描述姿态的方法产生了，它包含了三征，姿态开始时间，姿态经历的时间，姿^ f呆持的好坏程度。

本发明对人体姿态的识别可具体用于瑜伽等健身项目，下面以瑜珈为例说明本发明的技术方案。

首先，启动终端计算机，进入虚拟健身大厅，启动瑜伽项目，做些必要的准备工作，比如戴上左右手套，戴上护膝。随后显示器或电视机屏幕上会出现健身教练，她会先做一套瑜伽动作，然后进入 5秒倒计时，健身教练再一次做出整套瑜伽动作，此时健身者按照教练的动作学习瑜伽动作，动作的过程中，视频摄像头实时拍摄人体照片，并通过底层软件分析，将双手和护膝的空间位置坐标实时发送出来，瑜伽项目软件，通过本发明说明的方法使用三个宗点的空间位置坐标数据，具体使用方式如下文的详细阐述：

瑜伽动作开始之前，健身者面向视频摄像头，处于准备状态，通 ¾££ 宗点坐标之间的相对位置，给^^ ^宗点做上滅己，健身开始后，实时计算健身者的运动状态，如三个宗点之间的距离、角度，运动速度，当运动速度慢 '侵趋近于零时，可以判定健身者一个动作已经到位，此时，滅己一个固定姿态开始了，记录下开始时间，计算三个卿宗点组成的三角形的内角，若^ ^内角满足牛，贝 ϋ表明健身者的固定姿态是符合标准的，此后的某时刻，内角如果有不满足的情况出现，滅己一个固定姿势结束，记录下结束时间，结束时间和开始时间之差就是姿势保持的时间。姿势保持过程中，三个卿宗点的所有空间位置信息也被保存并利用，首先计算艮踪点的平均位置，然后计算隨在姿势保持过程中所有经历过的位置到其平均位置的方差。一个瑜伽动作结束后，会对这个动作完成的情况进行打分，打分依据是姿纖寺的时间和平均方差 (平均方差为謹方差之和的平均值)。保持时间没有达到给定的阈值，直接判定保持动作失败；保持时间达到一定阈值以上，分数与保持时间成正比，与平均方差成反比。计算出每个动作的分数后，就可以计算整套动作的得分，整套动作的得分为各个动作得分的平均值，这个平均分可以用来衡量健身者的健身效果。至此，一个判断人体动作是否符合瑜伽健身项目，以及符合程度，健身效果的完整描述结束了。

本发明可用于娱乐健身，让人能够在显示器或电视机屏幕前看到自己的动作特征，或可以跟显示器或电视剧屏幕里的虚拟健身教练学习，并反馈学习效果，但本发明的用途绝不仅仅如此。还有其它的许多用途,如：

A、验证体育动作速度、幅度：以跑步为例，在跑步判断方法中，我们计算得出了跑步动作一只脚从上到下动作的时间和幅度，因此可以同理计算出从下到上动作的时间，以此来衡量一个人跑步动作的快慢，和幅度。其它动作快慢，幅度也可以依此类推。 B、用于校验人体动作是否符合规范：以画圆动作为例，人在空中画圆动作是否符合一个真正的圆，和真正的圆的接近程度如何，可以按照本发明所说的方法给出度量，事先给定的阈值越小的情况下，如果画圆动作还能满足要求，则画圆动作越符合标准。其它动作也可以按此方法类推。

本发明更真实的反应出了人体动作，比如，是跳起，还是跑步，还是手中空中画圆，还是在打拳，出什么类型的拳等。能够描述出人的姿态，比如，两个手之间的距离，两手连线是否平行于水平面，人体三个部位姿态是否符合某项运动要求等等，能够判断人体某个姿态保持在情况如何，是保持的标准，几乎固定；还是保持的一般，保持过程中经常抖动。本发明可以通过人体身体部位^ ^时亥啲空间位置，描述出运动轨迹，运动动作，或者通 ¾ϋ ^宗人体多部位空间位置信息，判定人体姿态，用于视频健身，网络健身，视频游戏，网络游戏。

虽然本发明已参照当前的实施方式进行了描述，但本技术领域的普通技术人员应当认识到，上述实施方式仅用来说明本发明，并非用来限定本发明的保护范围，佑可在本发明的精神和原则范围之内，所做的佑可修饰、等效替换、改进，均应包含在本发明的权利保护范围之内。

Claims

权利要求书

1、一种基于多跟踪点的人体动作识别方法，其特征在于，包括以下步骤: S1 : 基于需要判断的动作要求，在待测人体或运动器材上设置至少一个跟踪点；

S2: 对每个跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点；

S3：利用上述每个跟踪点对应的一组数据点的空间位置数据，基于需要判断的动作要求，计算每个跟踪点的相应动作数据；

S4: 根据每个跟踪点的相应动作数据，识别出待测人体的运动动作。

2、根据权利要求 1所述的基于多跟踪点的人体动作识别方法，其特征在于，所述步骤 S3还包括：利用上述每个跟踪点对应的一组数据点的空间位置数据，基于需要判断的动作要求，计算不同跟踪点之间的位置关系数据。

3、根据权利要求 2所述的基于多跟踪点的人体动作识别方法，其特征在于，所述步骤 S4还包括：根据每个跟踪点的相应动作数据以及不同跟踪点之间的位置关系数据，识别出待测人体的运动动作。

4、根据权利要求 1所述的基于多跟踪点的人体动作识别方法，其特征在于，

所述步骤 S1还包括：基于需要判断的人体姿态要求，在待测人体或运动器材上设置至少两个跟踪点；

所述步骤 S3还包括：利用上述每个跟踪点对应的一组数据点的空间位置数据，基于需要判断的人体姿态要求，计算每个跟踪点的相应动作数据以及不同跟踪点之间的位置关系数据；

所述步骤 S4还包括：根据每个跟踪点的相应动作数据以及不同跟踪点之间的位置关系数据，识别出待测人体的人体姿态。

5、根据权利要求 4所述的基于多跟踪点的人体动作识别方法，其特征在于，所述步骤 S4还包括：根据每个跟踪点的相应动作数据以及不同跟踪点之间的位置关系数据，识别出待测人体的人体姿呆持清况。

6、根据权利要求 1-5中任意一项所述的基于多跟踪点的人体动作识别方法，其特征在于，计算每个跟踪点的相应动作数据，包括计算位移、速度、加速度和 /或作用力大小。

7、根据权利要求 1-5中任意一项所述的基于多跟踪点的人体动作识别方法，其特征在于，还包括步骤 S5: 利用所述每个跟踪点对应的一组数据点的空间位置数据，描绘出每个跟踪点的运动轨迹。

8、根据权利要求 1-5中任意一项所述的基于多跟踪点的人体动作识别方法，其特征在于，所述步骤 S2进一步包括：将采集的每个跟踪点对应的一组数据点都表示为三元组（X, y， z) , 其中 x代表数据点在 X轴的位置，所述 X 轴为第一水平方向，且 X值增大代表跟踪点位置右移； y代表数据点在 Y轴的位置，所述 Y轴为垂直方向，且 y值增大代表跟踪点位置上移； z代表数据点在 Z轴的位置，所述 Z轴为与第一水平方向垂直的第二水平方向，且 z值增大代表跟踪点位置前移。

9、根据权利要求 1-5中任意一项所述的基于多跟踪点的人体动作识别方法，其特征在于，需要判断的动作从以下一组动作中选择：平移、下蹲、跳起、跑步、击球、拳击、踢足球和跳舞。

10、根据权利要求 9所述的基于多跟踪点的人体动作识别方法，其特征在于，当判断待测人体是否发生平移或下蹲动作时，包括以下步骤：

A1 : 在待测人体上设置至少一个跟踪点；

A2: 对跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点 (χ,υ, ; 其中， i代表不同时间，数据点( ,)¾, )为开始时刻该跟踪点的位置；

A3：对上述数据点进行分析；当 yry^d 其中 ^为预设阈值，则该跟踪点位置下移，即待测人体发生了下蹲动作，下蹲距离为 I y_ry。 I；当 _Zl-z。>0，则该跟踪点位置前移，即待测人体发生了前移动作，当 -2。<0，则待测人体发生了后移动作，且移动距离为 I -z。 I；当 χ。>0，则该跟踪点位置右移，即待测人体发生了右移动作，当 χ。<0，则待测人体发生了左移动作，且移动距离为 I Xj-Xo I

11、根据权利要求 10所述的基于多跟踪点的人体动作识别方法，其特征在于，所述步骤 A1中，在待测人体戴的帽子上设置一个跟踪点。

12、根据权利要求 9所述的基于多跟踪点的人体动作识别方法，其特征在于，当判断待测人体是否发生跳起的动作时，包括以下步骤：

B1: 在待测人体上设置至少一个跟踪点；

B2: 对跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点 (χ,υ, ; 其中， i代表不同时间，数据点( ,}¾, )为开始时刻该跟踪点的位置；

B3: 对上述数据点进行分析；实时计算头部竖直方向上的速度 =(H )/r，其中 T为由检验装置决定的预设值，当 ≥v，其中 V为根据平时运动试验得到的预设值，则记录下该时刻跟踪点的位置信息，记为开始数据点 ( ,Λ,¾);

Β4: 计算各个时亥 IJ的 L = _Xi -x_k)² + (y_t -y_k)² + (_Zl— ¾ )²，若 L大于预设阈值，则待测人体发生了跳起的动作。

13、根据权利要求 9所述的基于多跟踪点的人体动作识别方法，其特征在于，当判断待测人体是否发生跑步动作时，包括以下步骤：

C1: 在待测人体腿部设置至少一个跟踪点； C2: 对跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点 (χ,υ, ; 其中， i代表不同时间，数据点( ,}¾, )为开始时刻该跟踪点的位置；

C3:对上述数据点进行分析;每个时刻检查 _yi，与 y₁₊₁、y_l4的关系，当 y₁₊₁<_yi 且时，则^为跟踪点在 Y轴方向上的最高点；记录一段时间 T内，跟踪点经历的最高点次数为 n，贝 lj得到跑步时的频率 f=n T_; 从某时刻开始，记录其后一段时间内的 n个位置最高点 ( , ,…， y_n)，由此可以计算出跑步时上下运动的平均振幅为 s = + +… + ，其中/ ^为跟踪点的高度。

n

14、根据权利要求 13所述的基于多跟踪点的人体动作识别方法，其特征在于，所艮踪点设置在待测人体膝盖上。

15、根据权利要求 9所述的基于多跟踪点的人体动作识别方法，其特征在于，当判断待测人体的拳击动作时，包括以下步骤：

D1 : 至少在待测人体左右手上分别设置一个跟踪点，取 X轴上数据较小的跟踪点即左手跟踪点标识为 A跟踪点，另一个跟踪点即右手跟踪点标识为 B 跟踪点；

D2: 对跟踪点不同时刻的空间位置进行采集，并记录为跟踪点对应的数据点 (xiA, yiA, ΖΪΑ)禾口 yiB, ΖΪΒ)；其中， i代表不同时刻；

D3: 对上述数据点进行分析；根据跟踪点在 Z轴方向上的速度值判断打拳动作是否发生；然后依据跟踪点在其他两个坐标轴上的速度或位置来判断拳形。

16、根据权利要求 9所述的基于多跟踪点的人体动作识别方法，其特征在于，当判断待测人体的击球动作时，包括以下步骤：

E1: 至少在待测人体手部设置一个跟踪点；

E2: 对跟踪点不同时刻的空间位置进行采集，并记录为跟踪点对应的数据点；

E3: 对上述数据点进行分析；根据跟踪点在 Y轴方向上的速度值判断抛球动作是否发生，并根据跟踪点在 Z轴方向上的速度值判断击球动作是否发生。

17、根据权利要求 16所述的基于多跟踪点的人体动作识别方法，其特征在于，所述步骤 E3还包括：根据跟踪点在 Y轴方向上的速度值和 Z轴方向上的速度判断削球动作是否发生；并根据跟踪点的运动方向与三坐标平面的夹角判断削球动作对球运动的影响。

18、根据权利要求 16所述的基于多跟踪点的人体动作识别方法，其特征在于，所述步骤 E1还包括：在所述待测人体头部设置跟踪点。

19、根据权利要求 18所述的基于多跟踪点的人体动作识别方法，其特征在于，所述步骤 E3还包括：根据所述手部上的跟踪点与所述头部上的跟踪点的位置关系判断是右手球还手球。