CN114467113A - 运动识别方法、运动识别程序以及信息处理装置 - Google Patents

运动识别方法、运动识别程序以及信息处理装置 Download PDF

Info

Publication number
CN114467113A
CN114467113A CN201980100910.8A CN201980100910A CN114467113A CN 114467113 A CN114467113 A CN 114467113A CN 201980100910 A CN201980100910 A CN 201980100910A CN 114467113 A CN114467113 A CN 114467113A
Authority
CN
China
Prior art keywords
motion
recognition method
basic
recognition
motion recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980100910.8A
Other languages
English (en)
Inventor
草岛育生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN114467113A publication Critical patent/CN114467113A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/805—Optical or opto-electronic sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00—Sports without balls
    • A63B2244/12—Acrobats
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605—Decision makers and devices using detection means facilitating arbitration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

识别装置按时间序列取得包含被摄体的各关节位置的骨骼信息，该被摄体的各关节位置实施包含多个基本运动的一系列运动。识别装置根据基本运动的类别，决定采用使用了确定为基本运动的结果的第一特征量的第一运动识别方法和使用了在基本运动的过程中转变的第二特征量的第二运动识别方法中的哪一种方法。识别装置通过所决定的第一运动识别方法或者第二运动识别方法中的任意一种方法，使用骨骼信息来决定基本运动的类别，并输出所决定的基本运动的类别。

Description

运动识别方法、运动识别程序以及信息处理装置
技术领域
本发明涉及运动识别方法、运动识别程序以及信息处理装置。
背景技术
在体操、医疗等广泛的领域中，使用选手、患者等人物的骨骼信息来自动识别人物的动作。近年来，利用了基于感测到人物的距离的3D(Three Dimensions：三维)激光传感器(以下，也称作距离传感器、深度传感器)所输出的距离图像来识别人物的三维骨骼坐标并使用识别结果来自动识别人物的动作的装置。
例如，如果以体操为例进行说明，则使用按时间序列取得的表演者的骨骼信息的识别结果来分节一系列的动作，分割为基本运动单位。然后，针对分节后的各区间，计算使用了关节的朝向等的特征量，将确定基本运动的特征量与预先设定的规则进行比较，由此从一系列的动作中自动识别所表演的行为。
现有技术文献
专利文献
专利文献1：国际公开第2018/070414号
发明内容
发明要解决的课题
然而，基本运动是使用骨骼信息并基于支承状态的变化来分节一系列的动作而得到的运动，能够进行多种多样的运动，自由度较高。作为这样的自由度较高的基本运动的识别手段，考虑利用对识别各基本运动所需的特征量进行定义并对每个特征量的规则以基本运动的数量进行定义而得到的上述规则库、和使用了机器学习等的学习模型。
在利用规则库的情况下，基本运动的自由度越高，用于识别各基本运动的特征量越多，作为结果，必须定义的规则变得复杂。另一方面，在使用学习模型的情况下，不需要定义特征量。但是，虽然从学习模型输出基本运动的识别结果，但不一定与运动等中的准确的判定基准一致。例如，即使得到了“空翻”这样的输出，根据在学习时利用的数据的不同，有时该输出结果也没有可靠地满足体操比赛的规则簿上的空翻的必要条件。
因此，关于本发明，在一个侧面中，其目的在于提供一种能够通过使用适于运动性质的方法来提高自由度较高的运动的识别精度的运动识别方法、运动识别程序以及信息处理装置。
用于解决课题的手段
在第1方案中，在运动识别方法中，计算机执行以下处理：按时间序列取得包含被摄体的各关节位置的骨骼信息，该被摄体实施包含多个基本运动的一系列运动。在运动识别方法中，计算机执行以下处理：根据所述基本运动的类别，决定采用使用了确定为所述基本运动的结果的第一特征量的第一运动识别方法和使用了在所述基本运动的过程中转变的第二特征量的第二运动识别方法中的哪一种方法。在运动识别方法中，计算机执行以下处理：利用所决定的所述第一运动识别方法或者所述第二运动识别方法中的任意一种方法，使用所述骨骼信息来决定所述基本运动的类别，并输出所决定的所述基本运动的类别。
发明效果
在一个侧面中，能够提高自由度较高的运动的识别精度。
附图说明
图1是示出实施例1的自动打分***的整体结构例的图。
图2是说明实施例1的识别装置的图。
图3是示出实施例1的识别处理的流程的流程图。
图4是示出实施例1的学习装置的功能结构的功能框图。
图5是说明距离图像的图。
图6是说明骨骼定义的图。
图7是说明骨骼数据的图。
图8是说明学习数据的生成的图。
图9是说明识别模型的学习的图。
图10是示出实施例1的识别装置的功能结构的功能框图。
图11是说明结果特征量用规则的图。
图12是说明行为识别规则的图。
图13是说明使用了特征量的基本运动的识别的图。
图14是说明使用了过程特征量的基本运动的识别的图。
图15是示出实施例1的打分装置的功能结构的功能框图。
图16是示出学习处理的流程的流程图。
图17是示出自动打分处理的流程的流程图。
图18是示出过程识别处理的流程的流程图。
图19是说明针对过程识别结果的基于结果特征量的校正的图。
图20是说明硬件结构例的图。
具体实施方式
以下，根据附图详细地说明本发明的运动识别方法、运动识别程序以及信息处理装置的实施例。另外，本发明不受该实施例限定。此外，各实施例能够在不矛盾的范围内适当地组合。
[实施例1]
[整体结构]
图1是示出实施例1的自动打分***的整体结构例的图。如图1所示，该***具有3D(Three-Dimensional：三维)激光传感器5、学习装置10、识别装置50、打分装置90，是拍摄作为被摄体的表演者1的三维数据并识别骨骼等来进行准确的行为的打分的***。在本实施例中，作为一例，以识别体操比赛中的表演者的骨骼信息的例子进行说明。
另外，3D激光传感器5是拍摄表演者1的距离图像的传感器的一例，学习装置10是执行识别装置50所利用的学习模型的学习的装置的一例。识别装置50是使用基于距离图像的、表示表演者1的三维骨骼位置的骨骼信息来自动识别表演的行为等的装置的一例，打分装置90是使用识别装置50的识别结果来对表演者1的表演进行自动打分的装置的一例。
通常，体操比赛中的当前的打分方法是由多个打分者通过目视来进行的，但随着行为的高度化，通过打分者的目视难以打分的情况增加。近年来，已知有使用了3D激光传感器的、打分比赛的自动打分***、打分辅助***。例如，在这些***中，由3D激光传感器取得作为选手的三维数据的距离图像，根据距离图像来识别作为选手的各关节的朝向、各关节的角度等的骨骼。而且，在打分辅助***中，通过利用3D模型显示骨骼识别的结果，打分者通过确认表演者的细节的状况等，辅助实施更准确的打分。此外，在自动打分***中，根据骨骼识别的结果，识别所表演的行为等，并参照打分规则进行打分。
在此，关于所表演的行为的自动识别，使用由骨骼识别的结果得到的骨骼信息来确定根据支承状态的变化来分节表演者1的一系列运动而得到的运动即基本运动，利用各分节间的基本运动的组合来进行行为的确定。
然而，在通过规则库方法进行基本运动的识别的情况下，需要记述关于自由度较高的运动在时间上转变的身体部位彼此的关系，规则变得复杂。此外，通过使用机器学习，能够在不记述复杂的规则的情况下，进行识别，但有时也无法保证满足比赛的打分规则上的必要条件，表演整体中的识别率有时会降低。
因此，在实施例1中，通过识别装置50将分节后的基本运动分类为需要观测过程的基本运动和不需要观测过程的基本运动，使用在基本运动的过程中转变的过程特征量进行识别，并使用确定为区间内的基本运动的结果的结果特征量进行识别，利用它们的组合来识别基本运动。
图2是说明实施例1的识别装置50的图。如图2所示，基本运动大致分为复合且连续地评价全身各关节的运动的必要性较高的基本运动A(自由度较高)和复合且连续地评价全身各关节的动作的必要性较低的基本运动B(自由度较低)。基本运动A例如是跳跃类的运动。基本运动B例如是空翻类的运动。
关于跳跃类的基本运动A，在区间内的帧中存在多个正在进行跳跃的帧的情况较多，难以仅根据1个帧来判断是怎样的运动(动作)。因此，优选使用在区间内的各帧的过程中转变的特征量(过程特征量)来判断跳跃类的基本运动的详细情况。另一方面，关于空翻类的基本运动B，只要在区间内的帧中存在1个正旋转的帧，就能够判断为空翻类的运动。因此，能够使用根据区间内的帧整体的一系列运动而在结果上确定的特征量(结果特征量)来判断空翻类的基本运动的详细情况。
由此，识别装置50根据运动的性质，对使用过程特征量进行深层学习而得到的识别模型和将结果特征量与基本运动名称建立对应而得到的规则库进行切换，由此执行准确的运动识别。
图3是示出实施例1的识别处理的流程的流程图。如图3所示，识别装置50取得时间序列的骨骼信息(S1)，判定表演中的项目的运动的性质(S2)。然后，在鞍马等无旋转的项目的情况下(S3：否)，识别装置50提取分节区间内的过程特征量(S4)，执行基于识别模型的基本运动识别(S5)。另一方面，在平衡木、自由体操等有旋转的项目的情况下(S3：是)，识别装置50提取分节区间内的结果特征量(S6)，执行基于规则库的基本运动识别(S7)。然后，识别装置50使用所识别的基本运动来识别表演者1所表演的行为(S8)。
例如，如图2所示，识别装置50针对跳跃类的基本运动，通过使用了识别模型的过程识别，确定为基本运动名称“向前交叉腿前后分腿跳”。此外，识别装置50针对空翻类的基本运动，利用使用了规则库的结果识别来确定为基本运动名称“屈体后空翻”。
这样，识别装置50针对各种各样的运动，通过使用适于运动性质的识别方法来实现准确的行为识别。
[功能结构]
接着，对图1所示的***所具有的各装置的功能结构进行说明。另外，此处，分别对学习装置10、识别装置50、打分装置90进行说明。
(学习装置10的结构)
图4是示出实施例1的学习装置10的功能结构的功能框图。如图4所示，学习装置10具有通信部11、存储部12和控制部20。
通信部11是对与其他装置之间的通信进行控制的处理部，例如是通信接口等。例如，通信部11接收由3D激光传感器5拍摄到的表演者1的距离图像，从管理者终端等接收各种数据、指示，向识别装置50发送学习完毕的识别模型。
存储部12是存储数据、控制部20所执行的程序等的存储装置，例如是存储器、处理器等。该存储部12存储距离图像13、骨骼定义14、骨骼数据15、识别模型16。
距离图像13是由3D激光传感器5拍摄的表演者1的距离图像。图5是说明距离图像13的图。如图5所示，距离图像13是包含从3D激光传感器5到像素的距离的数据，到3D激光传感器5的距离越近，则以越浓的颜色显示。另外，距离图像13是在表演者1的表演中随时拍摄的。
骨骼定义14是用于确定骨骼模型上的各关节的定义信息。在此存储的定义信息可以通过3D激光传感器的3D感测针对每个表演者进行测量，也可以使用一般体系的骨骼模型进行定义。
图6是说明骨骼定义14的图。如图6所示，骨骼定义14存储对由公知的骨骼模型确定的各关节进行了编号的18个(0号至17号)定义信息。例如，如图4所示，对右肩关节(SHOULDER_RIGHT)赋予7号，对左肘关节(ELBOW_LEFT)赋予5号，对左膝关节(KNEE_LEFT)赋予11号，对右股关节(HIP_RIGHT)赋予14号。在此，在实施例中，有时将7号的右肩关节的X坐标记作X7、Y坐标记作Y7、Z坐标记作Z7。另外，例如，Z轴可以定义为从3D激光传感器5朝向对象的距离方向，Y轴可以定义为与Z轴垂直的高度方向，X轴可以定义为水平方向。
骨骼数据15是包含与使用各距离图像而生成的骨骼相关的信息的数据。具体而言，骨骼数据15包含使用距离图像而取得的、骨骼定义14定义的各关节的位置。图7是说明骨骼数据15的图。如图7所示，骨骼数据15是将“帧、图像信息、骨骼信息”建立对应而得到的信息。
在此，“帧”是识别由3D激光传感器5拍摄的各帧的识别符，“图像信息”是关节等位置已知的距离图像的数据。“骨骼信息”是骨骼的三维位置信息，并且是与图6所示的18个各关节对应的关节位置(三维坐标)。在图7的例子中，示出了如下内容：在作为距离图像的“图像数据A1”中，包含HEAD的坐标“X3、Y3、Z3”等的18个关节的位置是已知的。另外，关节位置例如是预先学习而得的学习模型，也能够使用从距离图像中提取各关节位置的学习模型等来提取。
识别模型16是根据时间序列的骨骼信息来识别表演者1所表演的基本运动的学习模型，是使用了由后述的学习部23学习的神经网络等的学习模型。例如，识别模型16通过将表演者的骨骼信息的时间序列的变化作为特征量(过程特征量)学习，估计多个基本运动中的、表演者1所表演的基本运动。
控制部20是负责整个学习装置10的处理部，例如是处理器等。控制部20具有取得部21、学习数据生成部22和学习部23，执行识别模型16的学习。另外，取得部21、学习数据生成部22和学习部23是处理器等电子电路的一例、处理器等所具有的过程的一例。
取得部21是取得各种数据的处理部。例如，取得部21从3D激光传感器5取得距离图像并存储到存储部12中。此外，取得部21从管理者终端等取得骨骼数据并存储到存储部12中。
学习数据生成部22是生成识别模型16的学习所使用的学习数据的处理部。具体而言，学习数据生成部22将时间序列的骨骼信息与作为正解信息的基本运动的名称建立对应而得到的学习数据，并存储到存储部12中，输出到学习部23。
图8是说明学习数据的生成的图。如图8所示，学习数据生成部22参考与已知的基本运动相应的帧中的骨骼数据15的各骨骼信息，计算表示关节间的朝向的关节间矢量。例如，学习数据生成部22针对time＝0的帧的骨骼信息(J0)至time＝t的帧的骨骼信息(Jt)的每一个，将关节信息输入式(1)，计算各帧的关节间矢量。另外，式(1)中的x、y、z表示坐标，i表示关节的数量，ei，x表示第i号的关节间矢量的x轴方向的大小，ei，y表示第i号的关节间矢量的y轴方向的大小，ei，z表示第i号的关节间矢量的z轴方向的大小。
[式1]
Figure BDA0003572240110000071
然后，学习数据生成部22生成将包含与该基本运动相关的各帧的关节间矢量的一系列的关节间矢量与已知的基本运动名称(类别)建立对应的学习数据。
另外，与基本运动相关的帧的数量可以任意设定为10帧、30帧等，优选能够表示无旋转的跳跃类的基本运动的特征的帧数。此外，在图8中，为了简化说明，将骨骼信息记载为J0等，但实际上，按每18关节设定x、y、z值的坐标(合计18×3＝54个)。此外，关于关节间矢量也同样地记载为E0等，但包含从关节编号0到1的各轴(x、y、z轴)的矢量、从关节编号1到2的各轴的矢量等。
学习部23是使用由学习数据生成部22生成的学习数据来执行识别模型16的学习的处理部。具体而言，学习部23通过使用了学习数据的有训练学习优化识别模型16的参数，将学习完毕的识别模型16存储到存储部12中，并发送给识别装置50。另外，结束学习的时机能够任意地设定为使用了规定数量以上的学习数据的学习已完成的时刻、复原误差小于阈值的时刻等。
图9是说明识别模型16的学习的图。如图9所示，学习部23根据time＝3的帧的骨骼信息(J3)确定L个时间序列的学习数据，取得各关节间矢量作为说明变量，并将L个学习数据输入到识别模型16中。然后，学习部23通过基于识别模型16的输出结果与目标变量“基本运动名称”的误差的误差反向传播法等，以使输出结果与目标变量一致的方式学习识别模型16。
例如，学习部23取得从帧3到帧N的30个各关节间矢量作为说明变量，并且取得与这些帧间对应的基本运动名称“开腿A跳”作为目的变量。然后，学习部23将所取得的30个各关节间矢量作为1个输入数据输入到识别模型16，作为识别模型16的输出结果，取得与预先指定的89个各基本运动相应的概率(似然度)。
然后，学习部23以与各基本运动相应的概率中的、作为目标变量的“分腿A跳”的概率最高的方式学习识别模型16。这样，学习部23将表征基本运动的关节间矢量的变动作为特征量来学习识别模型16。
另外，学习部23作为时间序列的骨骼信息例如将30帧作为1个输入数据输入到识别模型16，因此也能够通过填充等来执行学习数据的整形。例如，在从存在从time＝0的帧0到time＝t的帧t为止的t个骨骼信息的原始数据中每次错开1个而每次取得规定数量作为学习数据的情况下，为了使各学习数据的数量一致，复制起始帧的数据的数据，并且复制最终帧的数据，从而增加学习数据的数量。
(识别装置50的结构)
图10是示出实施例1的识别装置50的功能结构的功能框图。如图10所示，识别装置50具有通信部51、存储部52、控制部60。
通信部51是对与其他装置之间的通信进行控制的处理部，例如是通信接口等。例如，通信部51接收由3D激光传感器5拍摄的表演者1的距离图像，从学习装置10接收学习完毕的识别模型，并向打分装置发送各种识别结果。
存储部52是存储数据、控制部60所执行的程序等的存储装置，例如是存储器、处理器等。该存储部52存储距离图像53、骨骼定义54、骨骼数据55、结果特征量用规则56、学习完毕的识别模型57、行为识别规则58。
距离图像53是由3D激光传感器5拍摄的表演者1的距离图像，例如是拍摄打分对象的表演者的表演而得到的距离图像。骨骼定义54是用于确定骨骼模型上的各关节的定义信息。另外，骨骼定义54与图6相同，因此省略详细的说明。
骨骼数据55是包含与由后述的数据生成部62按照每个帧生成的骨骼相关的信息的数据。具体而言，与图5同样，骨骼数据55是将“帧、图像信息、骨骼信息”建立对应而得到的信息。
结果特征量用规则56是在识别自由度较高的空翻类的基本运动时所参考的信息。具体而言，结果特征量用规则56是将结果特征量与基本运动名称建立对应而得到的信息。在此，作为结果特征量，例如可使用累积转体角度、最大分腿角度、左脚与肩的高度之差的组合。
图11是说明结果特征量用规则56的图。如图11所示，结果特征量用规则56是将“结果特征量、基本运动名称”建立对应而得到的信息。“结果特征量”是确定为分节区间内的基本运动的结果特征量，“基本运动名称”是取得了结果特征量的基本运动的类别(名称)。在图11的例子中，在“累积转体角度为X度以上、最大分腿角度为B度以上、左脚与肩的高度之差为Acm以上”的情况下，表示判定为基本运动AA。
学习完毕的识别模型57是由学习装置10学习的识别模型。该学习完毕的识别模型57是根据时间序列的骨骼信息来识别表演者1所表演的基本运动的学习模型。
行为识别规则58是在识别表演者1表演的行为时参考的信息。具体而言，行为识别规则58是将行为的名称与为了确定行为而预先设定的信息建立对应而得到的信息。图12是说明行为识别规则58的图。如图12所示，行为识别规则58将“基本运动的组合、行为名称”建立对应而存储。在图12的例子中，示出了如下例子：在连续执行“基本运动A、基本运动B、基本运动C”的情况下，识别为“行为XX”。
控制部60是负责整个识别装置50的处理部，例如是处理器等。控制部60具有取得部61、数据生成部62、估计部63、行为识别部67，执行自由度较高的基本运动的识别、组合基本运动而得到的行为的识别。另外，取得部61、数据生成部62、估计部63、行为识别部67是处理器等电子电路的一例、处理器等所具有的进程的一例。
取得部61是取得各种数据、各种指示的处理部。例如，取得部61取得基于3D激光传感器5的测量结果(三维点组数据)的距离图像，存储到存储部52中。此外，取得部61从学习装置10取得学习完毕的识别模型57，存储到存储部12中。
数据生成部62是根据各距离图像生成包含18个关节的位置的骨骼信息的处理部。例如，数据生成部62使用根据距离图像来识别骨骼信息的学习完毕的模型来生成确定了18个关节位置的骨骼信息。然后，数据生成部62将骨骼数据55存储到存储部52中，该骨骼数据55是将与距离图像对应的帧的编号、距离图像和骨骼信息建立对应而得到的。此外，学习装置10的骨骼数据15中的骨骼信息也能够通过相同方法来生成。
估计部63是如下处理部：该处理部具有判定部64、结果识别部65和过程识别部66，通过根据运动的性质，对将使用过程特征量进行深层学习而得到的识别模型、结果特征量与基本运动名称建立对应而得到的规则库进行切换，执行基本运动的准确识别。图13是说明使用了特征量的基本运动的识别的图。此处，说明使用从time＝0的帧到time＝t的帧的帧间的例子。
如图13所示，估计部63在通过过程识别进行基本运动的识别的情况下，将从time＝0的帧到time＝t的帧的各过程特征量作为输入数据执行使用了学习完毕的识别模型57的基本运动的识别。另一方面，估计部63在通过结果识别进行基本运动的识别的情况下，根据从time＝0的帧到time＝t的帧的各骨骼信息来生成结果特征量，依照结果特征量用规则56执行基本运动的识别。
判定部64是根据运动的性质来判定执行过程识别、还是结果识别的处理部。以识别对象的项目是平衡木或者自由体操的情况为例，判定部64针对伴随空翻方向的旋转的运动判定为执行结果识别，针对除此以外的运动判定为执行过程识别。
此外，判定部64执行分节点的判定。具体而言，判定部64在检测到成为表演(动作)的分界的姿势的情况下，将该姿势判定为分节点，将分节点与分节点之间的分节区间作为识别对象输出到结果识别部65、过程识别部66。例如，判定部64参考骨骼信息，在检测到双脚放置于规定位置(地面、自由体操、平衡木的台面等)的姿势、预先指定的姿势、支承到运动器械上的支承姿势(例如，将手腕支承于鞍马的马背或鞍环的姿势)的情况下，将该姿势判定为分节点。
结果识别部65是使用根据分节区间内的帧整体的一系列运动而在结果上确定的结果特征量来识别在分节区间内所表演的基本运动的处理部。具体而言，结果识别部65使用与由判定部64通知的分节点与分节点之间的分节区间相当的帧的骨骼信息来计算结果特征量。然后，结果识别部65参考结果特征量用规则56，取得与计算出的结果特征量建立对应的基本运动名称。然后，结果识别部65将识别出的基本运动名称、分节区间、分节间的骨骼信息等输出到行为识别部67。
例如，结果识别部65计算累积转体角度、最大分腿角度、左脚与肩的高度之差，作为结果特征量。具体而言，结果识别部65使用一般方法来计算单位时间的转体角度(ΔTt)，利用ΣtΔTt计算累积转体角度。此外，结果识别部65使用式(2)来计算最大分腿角度。另外，式(2)中的j11表示关节编号11的骨骼信息，j10表示关节编号10的骨骼信息，j14表示关节编号14的骨骼信息，j15表示关节编号15的骨骼信息。此外，结果识别部65利用max(z13-z4)计算左脚与肩的高度之差。在此，z13是关节编号13的z轴的坐标，z4是关节编号4的z轴的坐标。另外，关节编号是图6所示的骨骼定义上的编号。
[式2]
Figure BDA0003572240110000111
另外，在最大分腿角度小于135度的情况下，识别为分腿不足。此外，在左脚与肩的高度之差小于0的情况下，识别为左脚的高度不足。在这些情况下，作为确定基本运动的特征量，判定为不充分。
此外，除了这些特征量以外，还可以使用例如转体次数、直体、屈体、团体空翻等空翻姿势等。另外，转体次数能够通过“([累积转体角度+30)/180]/2([x]是x以下的最大的整数)”来计算。
返回图10，过程识别部66是使用在分节区间内的各帧的过程中转变的过程结果特征量来识别在分节区间内所表演的基本运动的处理部。具体而言，过程识别部66针对与由判定部64通知的分节点与分节点之间的分节区间相应的各帧的骨骼信息，计算过程特征量。然后，过程识别部66将分节区间内的各过程特征量输入到学习完毕的识别模型57，根据学习完毕的识别模型57的输出结果来识别基本运动。然后，过程识别部66将识别出的基本运动名称、分节区间、分节间的骨骼信息等输出到行为识别部67。
图14是说明使用了过程特征量的基本运动的识别的图。如图14所示，过程识别部66从由数据生成部62生成的骨骼信息中取得包含根据与判定对象的分节区间相应的time＝3的帧的骨骼信息(J3)而生成的过程特征量(E3)在内的各过程特征量，并输入到学习完毕的识别模型57。
然后，过程识别部66取得89个基本运动名称的概率，作为学习完毕的识别模型57的输出结果。然后，过程识别部66取得89个基本运动名称的概率中的、概率最高的“分腿A跳”。然后，过程识别部66将“分腿A跳”识别为基本运动。
行为识别部67是使用估计部63对基本运动的识别结果来识别表演者1所表演的行为的处理部。具体而言，在项目为平衡木、自由体操的情况下，行为识别部67从结果识别部65取得各分节区间的基本运动的识别结果。然后，行为识别部67对识别结果与行为识别规则58进行比较，确定行为名称，并输出到打分装置90。此外，在项目为平衡木、自由体操以外的情况下，行为识别部67从过程识别部66取得各分节区间的基本运动的识别结果。然后，行为识别部67对识别结果与行为识别规则58进行比较，确定行为名称。例如，在各分节区间的基本运动被识别为“基本运动A、基本运动B、基本运动C”的情况下，行为识别部67识别为“行为XX”。
(打分装置90的结构)
图15是示出实施例1的打分装置90的功能结构的功能框图。如图18所示，打分装置90具有通信部91、存储部92和控制部94。通信部91从识别装置50接收行为的识别结果、表演者的骨骼信息(三维骨骼位置信息)等。
存储部92是存储数据、控制部94所执行的程序等的存储装置的一例，例如是存储器、硬盘等。该存储部92存储行为信息93。行为信息93是将行为的名称、难易度、得分、各关节的位置、关节的角度、打分规则等建立对应而得到的信息。此外，行为信息93中包含打分所使用的其他各种各样的信息。
控制部94是负责整个打分装置90的处理部，例如是处理器等。该控制部94具有打分部95和输出控制部96，依照从识别装置50所输入的信息，进行表演者的打分等。
打分部95是执行表演者的行为的打分、表演者的表演的打分的处理部。具体而言，打分部95参考行为信息93，根据从识别装置50随时发送的行为的识别结果来确定组合了多个行为的表演。然后，打分部95对表演者的骨骼信息、所确定的表演、所输入的行为的识别结果等与行为信息93进行比较，执行表演者1所表演的行为、表演的打分。例如，打分部95计算D得分、E得分。然后，打分部95将打分结果输出到输出控制部96。另外，打分部95也能够执行使用了所广泛利用的打分规则的打分。
输出控制部96是将打分部95的打分结果等显示到显示器等的处理部。例如，输出控制部96从识别装置50中取得由各3D激光传感器拍摄到的距离图像、三维骨骼信息、表演者1正在表演的各图像数据、打分结果等各种信息，并显示到规定的画面。
[学习处理]
图16是示出学习处理的流程的流程图。如图16所示，学习装置10的学习数据生成部22取得各骨骼数据15中包含的各骨骼信息(S101)，执行生成基本运动的正解信息的注释(S102)。
接着，学习数据生成部22执行学习数据的整形，在该学习数据的整形中，分割为进行基本运动的各分节区间的帧，或者执行填充(S103)。然后，学习数据生成部22将学习数据分割为用于训练的学习用数据(训练数据)和用于评价的评价用数据(S104)。
然后，学***行移动、随机噪声的添加等在内的学习数据的扩展(S105)。例如，学习数据生成部22将左右的朝向不同的数据变更为相同的朝向而使学习数据增加。
然后，学习数据生成部22使用与各分节区间相应的帧的骨骼信息来提取过程特征量(S106)。接着，学习数据生成部22执行包含归一化、标准化等的尺度调整(S107)。
然后，学习部23决定识别模型16的算法、网络、超参数等，使用学习数据来执行识别模型16的学习(S108)。此时，学习部23针对每1个纪元，使用评价用数据来评价学习中的识别模型16的学习精度(评价误差)。
然后，学习部23在满足学习次数超过阈值、评价误差为固定值以下等规定条件时，结束学习(S109)。然后，学习部23选择评价误差为最小时的识别模型16(S110)。
[自动打分处理]
图17是示出自动打分处理的流程的流程图。如图17所示，识别装置50读入由管理者等预先指定的打分对象的项目(S201)，利用将帧编号加上1而得到的值对处理对象的帧数进行更新(S202)。
接着，识别装置50的估计部63读入由数据生成部62生成的各帧的骨骼数据(S203)，计算包含表演者1的躯体角度、朝向、左右脚高度等的躯体的位置、姿势，检测分节点(S204)。
然后，识别装置50的估计部63在检测到分节点时(S205：是)，根据项目信息判定运动性质(S206)。以平衡木为例，在无旋转的运动的情况下(S206：否)，识别装置50的估计部63针对分节区间的帧执行基于过程识别处理的基本运动的识别(S207)。另一方面，在有旋转的运动的情况下(S206：是)，估计部63使用分节区间的帧的骨骼信息来提取结果特征量(S208)，通过结果识别处理，执行基本运动的识别(S209)。例如，在S206中，在项目是平衡木的情况下，估计部63在运动性质判定中使用空翻方向的旋转量。估计部63在其他项目中，根据其他特征量来判定运动资质，由此判断旋转。
然后，执行行为识别部67的行为识别、打分装置90的行为等的难易度判定(S210)。然后，打分装置90对表演实施点进行评价，计算D得分等(S211)。然后，在表演持续的期间内(S212：否)，反复S202以后。
另一方面，当表演结束时(S212：是)，打分装置90执行打分所利用的各种标志、计数的复位(S213)，根据表演整体来执行行为难度的重新判定、合计(S214)。
然后，打分装置90将评价结果等存储到存储部92中，或者显示到显示器等显示装置(S215)。另外，在S205中，在未检测到分节点的情况下(S205：否)，执行S212以后。
(过程识别处理)
图18是示出过程识别处理的流程的流程图。另外，该处理是在图17的S207中执行的。
如图18所示，识别装置50的数据生成部62与学习时同样，执行将所取得的全部帧按照每个分节区间进行分割(分类)或者执行填充的识别对象的数据整形(S301)。
接着，数据生成部62使用分节区间的各帧的骨骼信息来提取(计算)过程特征量(S302)，对识别对象的帧执行包含归一化、标准化等的尺度调整(S303)。
然后，识别装置50的估计部63将根据时间序列的骨骼信息而生成的过程特征量输入到学习完毕的识别模型57(S304)，从学习完毕的识别模型57取得识别结果(S305)。然后，估计部63根据识别结果，执行基本运动的识别(S306)。
[效果]
如上所述，识别装置50针对所分节的全身的骨骼信息的时间序列信息，例如进行使用了有无旋转等简单的特征量的分类。识别装置50根据分类结果，如果无旋转，则进行过程识别，如果有旋转，则进行结果识别，能够根据这些识别结果输出最终的基本运动的识别结果。也就是说，识别装置50能够对所分节的基本运动的种类大致进行分类，进行基于适于每个大分类的识别方法的识别。
因此，识别装置50针对自由度较低的运动，执行规则库的基本运动识别，在自由度较高的运动的情况下，执行基于学习模型的基本运动识别。其结果，识别装置50通过使用适于运动性质的方法，能够抑制生成基本运动的数量的规则的情况，抑制针对自由度较低的项目的基于机器学习的识别处理，提高自由度较高的运动的识别精度。
[实施例2]
另外，至此对本发明的实施例进行了说明，但本发明除了上述的实施例以外，也可以以各种不同的方式实施。
[校正]
例如，在实施例1中，说明了在体操比赛的跳跃类的项目的情况下，执行使用了过程识别处理的基本运动的识别的例子，但不限于此。例如，即使是跳跃类的项目，在如“圈跳”等那样在打分规则中明确记载认定基准的特定的行为的情况下，利用结果特征量对识别结果进行校正，由此能够提高识别精度的可靠性。
图19是说明针对过程识别结果的基于结果特征量的校正的图。图19的数值是与基本运动对应的行为的打分规则上的行为编号。类似的基本运动与行对应，应满足的必要条件与列对应。此处，说明用基于结果特征量的判定结果对过程识别结果进行校正并求出最终的基本运动识别结果的例子。
例如，过程识别结果为“2.505”，假设作为基本运动，识别出“从向前交叉腿前后分腿跳圈跳”(S20)。此时，识别装置50由于识别出的基本运动与预先设定的“圈跳”类相应，使用相同的分节区间内的骨骼信息来计算结果特征量。然后，识别装置50根据结果特征量中包含的“左脚与肩的高度之差”，检测到作为“从向前交叉腿前后分腿跳圈跳”的识别材料的“左脚的高度”不足(S21)。
然后，识别装置50针对不满足在结果特征量的判定中应该满足的必要条件的内容，对识别结果进行校正(S22)。也就是说，识别装置50参考结果特征量用规则56，将满足计算出的结果特征量的基本运动判定为“从向前交叉腿前后分腿跳圈跳(2.305)”(S23)。这样，识别装置50针对过程识别结果，利用结果特征量对过程识别结果进行校正，由此能够提高识别精度的可靠性。
[应用例]
在上述实施例中，以体操比赛为例进行了说明，但不限于此，也能够应用于选手进行一系列行为而由裁判打分的其他比赛。作为其他比赛的一例，具有花样滑冰、艺术体操、啦啦操、跳水、空手道、滑雪等。此外，在上述实施例中，也能够应用于18个关节中的任意一个的关节位置、关节间的位置等的估计。此外，不限于体操，与实施例1同样，具有跳跃类和空翻类(旋转系)双方的行为的花样滑冰、艺术体操、啦啦操等也能够根据有无旋转动作来切换识别方法。此外，在职业训练等的情况下，能够根据有无台阶等升降动作、步行中途有无屈体动作等来切换识别方法。
[骨骼信息]
此外，在上述实施例中，说明了进行使用18个各关节的位置的学习、识别的例子，但不限于此，也能够指定1个以上的关节来执行学习等。此外，在上述实施例中，例示各关节的位置作为骨骼信息的一例来进行了说明，但不限于此，能够采用各关节的角度、手脚的朝向、脸部的朝向等。
[数值等]
上述实施例中所使用的数值等仅为一例，不限于实施例，也能够任意地进行设定变更。此外，帧的数量、基本运动的正解信息(标签)的数量等也是一例，能够任意地进行设定变更。此外，模型不限于神经网络，也能够使用各种机器学习、深层学习。
[***]
除非另外指定，否则可以任意地变更上述文档中、附图中所示的处理过程、控制过程、具体名称、包含各种数据或参数的信息。
此外，图示的各装置的各结构要素是功能概念性的各结构要素，不一定需要如物理上所图示地构成。即，各装置的分散、合并的具体方式不限于图示的内容。也就是说，能够根据各种负荷、使用状况等，以任意的单位在功能或物理上分散/合并而构成其全部或一部分。此外，各3D激光传感器可以内置于各装置，也可以作为各装置的外部装置通过通信等连接。
例如，基本运动的识别和行为的识别也能够通过不同的装置来安装。此外，学习装置10、识别装置50、打分装置90也能够通过任意地组合起来的装置来实现。另外，取得部61是取得部的一例，估计部63是第一决定部和第二决定部的一例，行为识别部67是输出部的一例。
并且，在各装置中进行的各处理功能能够通过CPU和由该CPU分析执行的程序来实现其全部或任意的一部分，或者作为基于有线逻辑的硬件来实现。
[硬件]
接着，对学习装置10、识别装置50、打分装置90等计算机的硬件结构进行说明。另外，各装置具有相同的结构，因此，此处作为计算机100进行说明，关于具体例子，例示识别装置50。
图20是说明硬件结构例的图。如图20所示，计算机100具有通信装置100a、HDD(Hard Disk Drive：硬盘驱动器)100b、存储器100c和处理器100d。此外，图20所示的各部件通过总线等相互地连接。
通信装置100a是网络接口卡等，与其他服务器进行通信。HDD 100b存储使图10等所示的功能工作的程序、DB。
处理器100d通过从HDD 100b等中读出执行与图10所示的各处理部相同的处理的程序并展开到存储器100c中，使执行图10等中所说明的各功能的进行工作。即，该进程执行与识别装置50所具有的各处理部相同的功能。具体而言，以识别装置50为例，处理器100d从HDD 100b等读出具有与取得部61、数据生成部62、估计部63、行为识别部67等相同的功能的程序。然后，处理器100d执行如下进程：执行与取得部61、数据生成部62、估计部63、行为识别部67等相同的处理。
这样，计算机100作为通过读出程序并执行来执行识别方法的信息处理装置工作。此外，计算机100通过介质读取装置从记录介质读出上述程序，并执行所读出的上述程序，由此也能够实现与上述实施例相同的功能。另外，该其他实施例中所说的程序并不限定于由计算机100执行。例如，在其他计算机或服务器执行程序的情况或者这些计算机或服务器协作执行程序的情况下，也能够同样地应用本发明。
标号说明
10：学习装置；
11：通信部；
12：存储部；
13：距离图像；
14：骨骼定义；
15：骨骼数据；
16：识别模型；
20：控制部；
21：取得部；
22：学习数据生成部；
23：学习部；
50：识别装置；
51：通信部；
52：存储部；
53：距离图像；
54：骨骼定义；
55：骨骼数据；
56：结果特征量用规则；
57：学习完毕的识别模型；
58：行为识别规则；
60：控制部；
61：取得部；
62：数据生成部；
63：估计部；
64：判定部；
65：结果识别部；
66：过程识别部；
67：行为识别部。

Claims (9)

1.一种运动识别方法，其特征在于，在该运动识别方法中，计算机执行以下处理：
按时间序列取得包含被摄体的各关节位置的骨骼信息，该被摄体实施包含多个基本运动的一系列运动；
根据所述基本运动的类别，决定采用第一运动识别方法和第二运动识别方法中的哪一种方法，其中，该第一运动识别方法使用了作为所述基本运动的结果确定的第一特征量，该第二运动识别方法使用了在所述基本运动的过程中转变的第二特征量；
利用所决定的所述第一运动识别方法或者所述第二运动识别方法中的任意一种方法，使用所述骨骼信息来决定所述基本运动的类别；以及
输出所决定的所述基本运动的类别。
2.根据权利要求1所述的运动识别方法，其特征在于，
使所述计算机进一步执行如下处理：通过将基于所述骨骼信息的所述一系列运动分节为多个区间，确定所述多个基本运动，
在所述决定的处理中，针对所述多个区间，分别决定采用所述第一运动识别方法和所述第二运动识别方法中的哪一种方法，
在所述决定的处理中，利用所决定的所述第一运动识别方法或者所述第二运动识别方法中的任意一种方法，使用所述多个区间各自的骨骼信息来针对各区间内的基本运动分别决定类别，
在所述输出的处理中，输出所决定的所述各区间的基本运动各自的类别。
3.根据权利要求2所述的运动识别方法，其特征在于，
在所述决定的处理中，依照对应规则，决定所述各区间内的基本运动的类别，其中，该对应规则是将使用属于所述基本运动的区间内的骨骼信息而计算出的、针对所述基本运动的类别为唯一的所述第一特征量与所述基本运动的类别建立对应而得到的。
4.根据权利要求2所述的运动识别方法，其特征在于，
在所述决定的处理中，根据在使用学习数据进行学习而得到的学习模型中输入与所述各区间对应的各关节矢量而得到的结果，决定所述各区间内的基本运动的类别，其中，该学习数据将关节矢量设为说明变量、将所述基本运动的类别设为目标变量，该关节矢量是使用属于所述基本运动的区间内的骨骼信息，作为所述第二特征量计算出的，且表示各关节的朝向。
5.根据权利要求2所述的运动识别方法，其特征在于，
在所述决定的处理中，在通过所述第二运动识别方法识别为特定的基本运动的情况下，计算所述第一特征量，通过使用了所述第一特征量的所述第一运动识别方法对所述第二运动识别方法的识别结果进行校正。
6.根据权利要求2所述的运动识别方法，其特征在于，
在所述取得的处理中，关于包含多个行为的体操的表演，按时间序列取得包含表演者的各关节位置的骨骼信息，
在所述分节的处理中，根据有无向地面的落地或者体操器械的支承，将所述体操的表演分节为所述多个区间，
在所述决定的处理中，分别针对所述多个区间，根据所述体操的表演是否是包含进行旋转的行为的项目，决定采用所述第一运动识别方法和所述第二运动识别方法中的哪一种方法，
在所述决定的处理中，利用所决定的所述第一运动识别方法或者所述第二运动识别方法中的任意一种方法，决定各区间内的基本运动的类别。
7.根据权利要求6所述的运动识别方法，其特征在于，
在所述输出的处理中，根据所决定的所述各区间的基本运动的类别的组合，识别并输出所述一系列运动中的各个行为。
8.一种运动识别程序，其特征在于，使计算机执行以下处理：
按时间序列取得包含被摄体的各关节位置的骨骼信息，该被摄体实施包含多个基本运动的一系列运动；
根据所述基本运动的类别，决定采用第一运动识别方法和第二运动识别方法中的哪一种方法，其中，该第一运动识别方法使用了作为所述基本运动的结果确定的第一特征量，该第二运动识别方法使用了在所述基本运动的过程中转变的第二特征量；
利用所决定的所述第一运动识别方法或者所述第二运动识别方法中的任意一种方法，使用所述骨骼信息来决定所述基本运动的类别；以及
输出所决定的所述基本运动的类别。
9.一种信息处理装置，其特征在于，具有：
取得部，其按时间序列取得包含被摄体的各关节位置的骨骼信息，该被摄体实施包含多个基本运动的一系列运动；
第一决定部，其根据所述运动的类别，决定采用第一运动识别方法和第二运动识别方法中的哪一种方法，其中，该第一运动识别方法使用了作为所述基本运动的结果确定的第一特征量，该第二运动识别方法使用了在所述基本运动的过程中转变的第二特征量；
第二决定部，其利用所决定的所述第一运动识别方法或者所述第二运动识别方法中的任意一种方法，使用所述骨骼信息来决定所述基本运动的类别；以及
输出部，其输出所决定的所述基本运动的类别。
CN201980100910.8A 2019-10-03 2019-10-03 运动识别方法、运动识别程序以及信息处理装置 Pending CN114467113A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/039193 WO2021064960A1 (ja) 2019-10-03 2019-10-03 運動認識方法、運動認識プログラムおよび情報処理装置

Publications (1)

Publication Number Publication Date
CN114467113A true CN114467113A (zh) 2022-05-10

Family

ID=75337969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980100910.8A Pending CN114467113A (zh) 2019-10-03 2019-10-03 运动识别方法、运动识别程序以及信息处理装置

Country Status (5)

Country Link
US (1) US20220222975A1 (zh)
EP (1) EP4040386A4 (zh)
JP (1) JP7409390B2 (zh)
CN (1) CN114467113A (zh)
WO (1) WO2021064960A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934881B (zh) * 2017-12-19 2022-02-18 华为技术有限公司 图像编码方法、动作识别的方法及计算机设备
US20240202933A1 (en) * 2021-05-19 2024-06-20 Nippon Telegraph And Telephone Corporation Learning apparatus, estimation apparatus, learning model data generation method, estimation method and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018069981A1 (ja) 2016-10-11 2018-04-19 富士通株式会社 運動認識装置、運動認識プログラムおよび運動認識方法
EP3726468A4 (en) * 2017-12-14 2020-12-16 Fujitsu Limited PROGRAM DETECTION PROGRAM, PROCEDURE DETECTION METHOD, AND PROCEDURE DETECTION SYSTEM

Also Published As

Publication number Publication date
JP7409390B2 (ja) 2024-01-09
JPWO2021064960A1 (zh) 2021-04-08
EP4040386A4 (en) 2022-10-05
EP4040386A1 (en) 2022-08-10
WO2021064960A1 (ja) 2021-04-08
US20220222975A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
US11763603B2 (en) Physical activity quantification and monitoring
JP7235133B2 (ja) 運動認識方法、運動認識プログラムおよび情報処理装置
JP6082101B2 (ja) 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置
Chaudhari et al. Yog-guru: Real-time yoga pose correction system using deep learning methods
JP6943294B2 (ja) 技認識プログラム、技認識方法および技認識システム
US20220222975A1 (en) Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus
JP7164045B2 (ja) 骨格認識方法、骨格認識プログラムおよび骨格認識システム
US11995845B2 (en) Evaluation method, storage medium, and information processing apparatus
CN113409651B (zh) 直播健身方法、***、电子设备、存储介质
US20170154441A1 (en) Orientation estimation method, and orientation estimation device
JP2018142815A (ja) ３次元データ取得装置及び方法
CN111353345B (zh) 提供训练反馈的方法、装置、***、电子设备、存储介质
Pai et al. Home Fitness and Rehabilitation Support System Implemented by Combining Deep Images and Machine Learning Using Unity Game Engine.
CN112560959B (zh) 骨骼动画的姿态匹配方法、装置、电子设备及存储介质
WO2022137450A1 (ja) 情報処理装置、情報処理方法およびプログラム
EP4095794A1 (en) Exercise recognition method, exercise recognition program, and information processing device
JP7521704B2 (ja) 姿勢推定装置、学習モデル生成装置、姿勢推定方法、学習モデル生成方法及び、プログラム
WO2022208859A1 (ja) 技認識方法、技認識装置および体操採点支援システム
JP2023178888A (ja) 判定装置、判定方法、及びプロググラム
CN116648190A (zh) 骨架估计装置、骨架估计方法及体操评分辅助***
JP2023167320A (ja) 学習モデル生成装置、関節点検出装置、学習モデル生成方法、関節点検出方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination