CN1790235A - 利用移动终端和动作捕捉传感器的动作识别装置及方法 - Google Patents

Abstract

本发明公开了一种利用移动通信终端和动作捕捉传感器的动作识别装置及方法，所述动作识别装置包含有如下几个部分：动作捕捉传感器，紧贴在人体的某一位置并检测识别人体的动作；移动通信终端，连接于上述动作捕捉传感器，存储上述动作捕捉传感器的数据并进行显示。本发明具有如下效果，即，用户可利用移动通信终端和动作捕捉传感器监视自己的动作(跳舞、运动等)并且，与现有技术进行比较时，本发明中将处理传感器值而不是现有技术中的影像数据，从而使数据的大小变得很小，并且，在本发明中，可将移动通信终端中存储的数据传送给专家并进行咨询。

Description

利用移动终端和动作捕捉传感器的动作识别装置及方法

技术领域

本发明涉及利用移动通信终端和动作捕捉传感器的动作识别装置及方法，特别是利用移动通信终端和动作捕捉传感器(Motion Capture Sensor)适合监视用户自身动作(跳舞、运动等)的利用移动通信终端和动作捕捉传感器的动作识别装置及方法。

背景技术

与上述技术对应的现有技术有：利用移动体视频通信的运动中的动作法指导检索方法(申请号：10-2001-0086041)。

图1是针对利用现有技术视频通信的运动中使用于动作法指导检索方法的装置结构框图；图2是图1中的结构框图的说明图。

如图1所示，附图标记1是移动电话等具有高功能高性能的移动体通信机器(移动电话终端)；附图标记2是PDC(Personal Digital Cellular-个人数字蜂窝电话)/PHS(Personal Handy Phone System-个人便携电话***)等移动体通信网络***；附图标记3是用于协议转换等的网关(Gateway)；附图标记4是因特网。

如图2所示，附图标记B是高尔夫训练场；附图标记6是用于拍摄俯瞰影像7或多视角影像8等的多个相机，上述多个相机与包含数字盘式录音机、静态影像文件装置、帧同步化装置等的具有时间压缩功能、多重化功能、信息包传送功能的编码器9进行连接。并且，附图标记10是通过因特网4连接于上述编码器9的影像服务器。

上述相机6为使捕捉用户的逼真的动作，例如，为使捕捉练习高尔夫时的身体和手脚的动作而需要拍摄俯瞰影像7，或者拍摄把杆等重要拍点时，为使拍摄出多视角影像8而需要准备多个相机6进行拍摄。

并且，附图标记13是用于输入选手一举一动的数据的数据终端，为使防止漏输入情况以提高输入操作的准确性，在附图2中准备有2台数据终端。

此外，附图标记12是数据服务器，用于存储从上述数据终端13通过数据传送装置14及因特网4传送的数据，并且需要时，还可存储各选手的个人信息或附加的数据(内容)。

并且，上述数据服务器12中包含有：具有主管(master)维修功能、终端侧主管更新功能、数据检索功能及检索结果数据传送功能的数据库服务器程序；具有输入数据实时显示及数据转换功能、输入数据文件收发功能、数据库更新功能及主管更新文件终端传输功能的数据转换程序。

针对上述时间压缩功能，由于已存在有称为MPEG2(Moving PictureExperts Group 2-运动图像专家组2)的协议，可利用上述特性对信息进行时间压缩，并通过时间和影像的链接或时间和数据的链接等组合编入上述各种数据信息。

即，在上述MPEG2协议中，将不按照接收帧的顺序进行解码，上述时间压缩的帧有I(Intra-picture；帧内图像)帧、P(Predictive-picture；预测图像)帧、上述I帧和P帧构成的B(Bidirectional predictive-picture；双向预测图像)帧。

例如，以IBBP接收的帧将按照IPPB的顺序进行解码，为使首先计算出上述P帧，使用上述I帧计算上述2个B帧，并继续使用新的I帧制作2个B帧。

即，利用上述帧的加工技术，通过软件处理基本的2个数据流格式可实现组(bucket)多种传送。并且，利用TS(Transform Stream-转换流)信息包编入具有闭合字幕(Closed Caption)的文本数据并将其传送给被指导者(用户)，从而使上述被指导者(用户)根据自己兴趣选择相应的数据。

并且，如图1及图2所示，附图标记A是个人计算机等固定终端，当然也可利用上述固定终端A在因特网4上检索数据，但在现有技术中是利用移动电话等移动体通信机器1进行数据检索。

在实施现有技术的过程中，被指导者在如图2所示的高尔夫训练场B或实际的高尔夫场地上，例如，利用相机6拍摄摆杆姿势(driver swing form)，并将上述拍摄出的动作通过编码器9及因特网4存储在影像服务器10中。

但是，上述现有技术中存在有如下问题。

即，指导者和被指导者将通过相机影像进行实时指导操作，此时，需要固定上述进行拍摄操作的相机，使在相机的摆放位置问题上存在有限制。

并且，当是影像数据的情况下，由于接收较多的数据量而导致发生过多的费用。

此外，在现有技术中使用相机进行拍摄，但无法实现本发明中的利用多个位置传感器录制动作的效果。

发明内容

本发明所要解决的技术问题在于提供一种利用移动通信终端和动作捕捉传感器的动作识别装置及方法，使可利用移动通信终端和动作捕捉传感器监视自己的动作(跳舞、运动等)。

为实现上述目的，本发明一实施例中的利用移动通信终端和动作捕捉传感器的动作识别装置，其特征在于，包含有如下几个部分：

动作捕捉传感器，紧贴在人体的某一位置并检测识别人体的动作；移动通信终端，连接于上述动作捕捉传感器，存储上述动作捕捉传感器的数据并进行显示。

并且，为实现上述目的，本发明一实施例中的利用移动通信终端和动作捕捉传感器的动作识别方法，其特征在于，包含有如下几个步骤：第1步骤，将动作捕捉传感器紧贴在人体的主要关节上，并将上述动作捕捉传感器与移动通信终端进行连接；第2步骤，在上述第1步骤后，上述移动通信终端录制(recording)上述动作捕捉传感器中检测的数据；第3步骤，在上述第2步骤后，存储上述动作捕捉传感器的数据；第4步骤，在上述第3步骤后，显示上述存储的数据。

根据本发明中的利用移动通信终端和动作捕捉传感器的动作识别装置及方法，用户可利用移动通信终端和动作捕捉传感器监视自己的动作(跳舞、运动等)。并且，与现有技术进行比较时，本发明中将处理传感器值而不是现有技术中的影像数据，从而使数据的大小变得很小。并且，在本发明中，可将移动通信终端中存储的数据传送给专家并进行咨询。

附图说明

图1是针对利用现有技术视频通信的运动中使用于动作法指导检索方法的装置结构框图；

图2是图1中的结构框图的说明图；

图3是利用移动通信终端和动作捕捉传感器的动作识别装置的结构框图；

图4是利用移动通信终端和动作捕捉传感器的动作识别方法的流程图；

图5是图4中的步骤ST50的详细流程图。

其中，附图标记：

A：固定终端                 B：高尔夫训练场

1：移动体通信机器           2：移动体通信网络***

3：网关(gateway)            4：因特网

6：相机                     7：俯瞰影像

8：多视角影像(zoom wide)    9：编码器

10：影像服务器              12：数据服务器

13：数据终端                14：数据传送装置

20：移动通信终端            30：动作捕捉传感器

40：专家服务器

具体实施方式

下面参照附图对本发明中的利用移动通信终端和动作捕捉传感器的动作识别装置及方法的一实施例进行说明。

图3是利用移动通信终端和动作捕捉传感器的动作识别装置的结构框图。

如图所示，其包含有如下几个部分：动作捕捉传感器30，紧贴在人体的某一位置并检测识别人体的动作；移动通信终端20，连接于上述动作捕捉传感器30，存储上述动作捕捉传感器的数据并进行显示。

本发明其特征在于：上述移动通信终端20利用包含EMG(Electromyogram-眼动图)、超声波、有线的连接装置中的一个以上，与上述动作捕捉传感器30进行连接并存储显示上述动作捕捉传感器30的数据。

本发明其特征在于：上述移动通信终端20在服务提供商提供的内容中，即，在包含有迪斯科、黏巴达、SALSA、探戈的各种跳舞；包含有高尔夫、篮球、棒球的球类项目；包含有跆拳道、柔道、田径、游泳的非球类项目；雪橇、滑冰的休闲运动；利用身体的运动等内容中接收一个以上的内容并进行显示。

在上述利用移动通信终端和动作捕捉传感器的动作识别装置中，还包含有：连接于上述移动通信终端20，接收上述移动通信终端20)中存储的上述动作捕捉传感器30的数据，使可与专家进行咨询的专家服务器40。

图4是利用移动通信终端和动作捕捉传感器的动作识别方法的流程图；图5是图4中的步骤ST50的详细流程图。

如图所示，其包含有如下几个步骤：第1步骤(步骤ST10)，将动作捕捉传感器30紧贴在人体的主要关节上，并将上述动作捕捉传感器30与移动通信终端20进行连接；第2步骤(步骤ST20，步骤ST30)，在上述第1步骤后，上述移动通信终端20录制(recording)上述动作捕捉传感器30中检测的数据；第3步骤(步骤ST40)，在上述第2步骤录制结束后，存储上述动作捕捉传感器30的数据；第4步骤(步骤ST50)，在上述第3步骤后，显示上述存储的数据。

上述第4步骤还包含有：下载内容(contents)的第11步骤(步骤ST51)；在上述第11步骤后，输出上述下载内容的动作和存储数据的动作并进行比较的第12步骤(步骤ST52)。

本发明其特征在于：在上述第11步骤中，将在包含有迪斯科、黏巴达、SALSA、探戈的各种跳舞；包含有高尔夫、篮球、棒球的球类项目；包含有跆拳道、柔道、田径、游泳的非球类项目；雪橇、滑冰的休闲运动；利用身体的运动等内容中下载一个以上的内容。

在上述利用移动通信终端和动作捕捉传感器的动作识别方法中，还包含有：在上述第4步骤后需要与专家进行咨询时，将上述移动通信终端20中存储的数据传送给专家服务器40，并与专家进行咨询的第5步骤(步骤ST60，ST70)。

下面参照附图对如上结构的本发明中的利用移动通信终端和动作捕捉传感器的动作识别装置及方法进行更为详细的说明。

首先，本发明旨在利用移动通信终端和动作捕捉传感器监视自己的动作(跳舞、运动等)。

因此，本发明中包含有移动通信终端20和动作捕捉传感器30。

此外，上述移动通信终端20与动作捕捉传感器30进行连接，用于存储上述动作捕捉传感器30的数据并进行显示。

并且，上述动作捕捉传感器30紧贴在身体的一部分并检测识别人体的动作。

上述动作捕捉传感器30中作为位置传感器组件(Location Sensor Kit)有紧贴型或衣类一体型。

此外，为使连接上述移动通信终端20和动作捕捉传感器30，可采用EMG(Electromyogram-眼动图)连接方式、超声波连接、有线连接方式等。

其中，上述EMG是用于获取肌肉相关的特定信息的一种装置，用于检测肌肉的电活动，并在身体运动时记录肌肉的电位(Potential)。它利用在身体运动的过程中，从体轴(Axon)传送给肌肉的动作电位(Action Potential)而发生肌肉收缩(Muscle Contraction)并产生电活动(Electrical Activity)的原理。

当通过EMG接收上述动作捕捉传感器30的数据时，将上述EMG信号进行放大并过滤，求出基于过滤操作的临界值并生成锯齿波形。接着，通过处理上述求出的值而获得安装有动作捕捉传感器30的用户动作相关的数据，处理上述获得的数据并将其显示在移动通信终端20中。

并且，还可利用临界值形成莫尔斯电码(Morse Code)，此时，将上述莫尔斯电码转换为文本后，将上述转换的文本值再转换成语音模块，并将对应的语音信号在移动通信终端20中进行输出。由此，可根据用户的动作而输出适当的语音。

此外，当通过EMG捕捉用户的动作时，可形成无线信号(Radio Frequency，RF)并传送给移动通信终端20。此时，上述移动通信终端20对利用无线信号接收的用户的动作数据进行分析，并经过处理后进行显示。

并且，当使用超声波连接方式时，与上述EMG方式相同，接收用户动作相关的数据并进行处理后，将上述处理后的数据显示在移动通信终端20中。

还有，当以有线方式连接上述移动通信终端20和动作捕捉传感器30时，将以有线方式接收上述动作捕捉传感器30中检测到的用户动作相关的数据，进行处理后将其显示在移动通信终端20中。

此外，上述移动通信终端20可直接存储并显示上述存储的数据，还可连接于外部存储装置进行传送，从而可在计算机等装置中进行输出。

并且，专家服务器40通过有线或无线方式与上述移动通信终端20进行连接，从而接收上述移动通信终端20中存储的动作捕捉传感器30的数据并与专家进行咨询。

下面对本发明的动作进行更为详细的说明。

首先，用户将作为位置传感器组件的紧贴型或衣类一体型等构成的动作捕捉传感器30紧贴在身体上，接着利用EMG或超声波、有线等方式连接上述移动通信终端20和动作捕捉传感器30(步骤ST10)。

当在腿臂等身体主要关节上紧贴上述动作捕捉传感器30后，在移动通信终端20中按下录制按钮并进行录制(步骤ST20)。

接下继续进行上述录制操作直至录制结束(步骤ST30)。

当上述录制操作结束时，移动通信终端20存储上述动作捕捉传感器30中接收的数据(步骤ST40)。

并且，在存储数据后，将上述存储的数据进行显示(步骤ST50)。

在上述显示操作中，移动通信终端20可将用户的动作以3D(ThreeDimension)动态影像进行显示。

接着，输出下载内容的动作和存储数据的动作并进行比较，从而将选手的动作或预先存储的动作与用户的动作比较并进行显示(步骤ST51，ST52)。

其中，服务提供商可提供的内容服务有如下部分：

1)各种跳舞(迪斯科、黏巴达、SALSA、探戈等等)

2)球类项目(高尔夫、篮球、棒球等等)

3)非球类项目(跆拳道、柔道、田径、游泳等等)

4)休闲运动(雪橇、滑冰等等)

5)其它利用身体的运动等等

此外，移动通信终端20中还设置有如下程序：

1)录制功能/显示功能

2)与下载的内容进行比较/补正的功能

因此，与现有技术进行比较时，本发明中将处理传感器值而不是现有技术中的影像数据，从而使数据的大小变得很小。

并且，可将上述移动通信终端20中存储的数据传送给专家并进行咨询。

即，当移动通信终端20的用户需要与专家进行咨询时(步骤ST60)，可将上述移动通信终端20中存储的数据传送给专家服务器40。此时，专家观看上述传送给专家服务器40的动作捕捉传感器30的动作内容，并指导上述移动通信终端20的用户准确的动作(步骤ST70)。

通过上述步骤，可将最大限度应用移动通信终端20的便携性。

如上所述，本发明中可利用移动通信终端和动作捕捉传感器监视自己的动作(跳舞、运动等)。

如上详细所述，根据本发明中的利用移动通信终端和动作捕捉传感器的动作识别装置及方法，用户可利用移动通信终端和动作捕捉传感器监视自己的动作(跳舞、运动等)。

并且，与现有技术进行比较时，本发明中将处理传感器值而不是现有技术中的影像数据，从而使数据的大小变得很小。

并且，在本发明中，可将移动通信终端中存储的数据传送给专家并进行咨询。

并且，在本发明中只要有上述移动通信终端，用户可在随时随地记录自己的动作并观看，服务提供商可开发出多种内容并提供用户所需的多种服务，移动通信服务提供商和内容提供商还可通过上述提供的信息服务而获取利润。

由此，上述效果最大限度利用了移动通信终端的便携性。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种利用移动通信终端和动作捕捉传感器的动作识别装置，其特征在于：包含有如下几个部分：

动作捕捉传感器，紧贴在人体的某一位置并检测识别人体的动作；

移动通信终端，连接于所述动作捕捉传感器，存储所述动作捕捉传感器的数据并进行显示。

2.根据权利要求1所述的利用移动通信终端和动作捕捉传感器的动作识别装置，其特征在于：所述移动通信终端利用包含眼动图、超声波、有线的连接装置中的一个以上，与所述动作捕捉传感器进行连接并存储显示所述动作捕捉传感器的数据。

3.根据权利要求1所述的利用移动通信终端和动作捕捉传感器的动作识别装置，其特征在于：所述移动通信终端在服务提供商提供的内容中，即，在包含有迪斯科、黏巴达、SALSA、探戈的各种跳舞；包含有高尔夫、篮球、棒球的球类项目；包含有跆拳道、柔道、田径、游泳的非球类项目；雪橇、滑冰的休闲运动；利用身体的运动内容中接收一个以上的内容并进行显示。

4.根据权利要求1至3中任何一项所述的利用移动通信终端和动作捕捉传感器的动作识别装置，其特征在于，还包含有：连接于所述移动通信终端，接收所述移动通信终端中存储的所述动作捕捉传感器的数据，使可与专家进行咨询的专家服务器。

5.一种利用移动通信终端和动作捕捉传感器的动作识别方法，其特征在于，包含有如下几个步骤：

第1步骤，将动作捕捉传感器紧贴在人体的主要关节上，并将所述动作捕捉传感器与移动通信终端进行连接；

第2步骤，在所述第1步骤后，所述移动通信终端录制所述动作捕捉传感器中检测的数据；

第3步骤，在所述第2步骤后，存储所述动作捕捉传感器的数据；

第4步骤，在所述第3步骤后，显示所述存储的数据。

6.根据权利要求5所述的利用移动通信终端和动作捕捉传感器的动作识别方法，其特征在于，所述第4步骤包含有：

下载内容的第11步骤；

在所述第11步骤后，输出所述下载内容的动作和存储数据的动作并进行比较的第12步骤。

7.根据权利要求6所述的利用移动通信终端和动作捕捉传感器的动作识别方法，其特征在于：在所述第11步骤中，将在包含有迪斯科、黏巴达、SALSA、探戈的各种跳舞；包含有高尔夫、篮球、棒球的球类项目；包含有跆拳道、柔道、田径、游泳的非球类项目；雪橇、滑冰的休闲运动；利用身体的运动内容中下载一个以上的内容。

8.根据权利要求5至7中任何一项所述的利用移动通信终端和动作捕捉传感器的动作识别方法，其特征在于：在所述利用移动通信终端和动作捕捉传感器的动作识别方法中，还包含有：在所述第4步骤后需要与专家进行咨询时，将所述移动通信终端中存储的数据传送给专家服务器，并与专家进行咨询的第5步骤。

Images