CN109863535A - 运动识别装置、运动识别程序以及运动识别方法 - Google Patents

运动识别装置、运动识别程序以及运动识别方法 Download PDF

Info

Publication number
CN109863535A
CN109863535A CN201780062410.0A CN201780062410A CN109863535A CN 109863535 A CN109863535 A CN 109863535A CN 201780062410 A CN201780062410 A CN 201780062410A CN 109863535 A CN109863535 A CN 109863535A
Authority
CN
China
Prior art keywords
frame
movement
group
data
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780062410.0A
Other languages
English (en)
Other versions
CN109863535B (zh
Inventor
矢吹彰彦
中村仁彦
高野涉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN109863535A publication Critical patent/CN109863535A/zh
Application granted granted Critical
Publication of CN109863535B publication Critical patent/CN109863535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B5/00—Apparatus for jumping
    • A63B5/12—Bolster vaulting apparatus, e.g. horses, bucks, tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/10—Athletes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0071—Distinction between different activities, movements, or kind of sports performed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/20—Distances or displacements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Public Health (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

运动识别装置(100)具有分段部(153)、识别部(154)以及第一评价部(155)。分段部(153)通过基于对象者的身体的规定的部位的位置按照时间序列对包含与对象者的身体的规定的部位或者关节部对应的特征点的位置信息的多个帧进行分段，将多个帧按照时间序列分类为多个组。识别部(154)对每一组，基于连续的帧所包含的特征点的移动，识别与组对应的基本运动的种类。第一评价部(155)基于按照时间序列连续的组所对应的基本运动的种类的顺序，评价对象者进行的运动的招式以及难度。

Description

运动识别装置、运动识别程序以及运动识别方法
技术领域
本发明涉及运动识别装置等。
背景技术
在各种运动领域，为了公平并且正确地评价选手的表演，多年来进行了许多的努力、改革。但是，最近的比赛的技术进步突出，也有仅靠裁判员的目视观察难以进行正确的评价的情况。因此，期望自动地评价选手的表演的技术。以下，对自动地评价选手的表演的现有技术的一个例子进行说明。
现有技术1是评价进行单杠的选手的技术。现有技术1根据二维剪影图像检测关键位，并根据关键位的组合识别招式，进行自动打分。但是，在现有技术1中，由于使用二维剪影图像识别招式，所以仅能够识别能够仅利用二维剪影进行辨别的一部分的比赛的招式。
作为解决现有技术1的技术，有现有技术2。现有技术2是预先生成每个招式的选手的骨骼的移动的原型，并对生成的各原型与进行表演的选手的骨骼信息进行比较，来判定招式的技术。
专利文献1：国际公开第2012/112402号
非专利文献1：吉村拓哉桥本刚“使用了机械学习的手势识别精度提高方法的研究”游戏编程研讨会2012论文集2012.6(2012)167-170
非专利文献2：J.Shin and Ozawa，"A Study on Motion Analysis of anArtistic Gymnastics by using Dynamic Image Processing"IEEE InternationalConference on Systems Man and Cybernetics,pp.1037-1040，2008
然而，在上述的现有技术中，有不能够高效地评价对象者的表演这样的问题。
例如，在现有技术2中，使用按照每个招式准备的各原型，识别招式。因此，为了辨别多种多样的招式，成为比较对象的原型的数目较多，到识别出相应的招式为止需要时间。
发明内容
在一个侧面，本发明的目的在于提供能够高效地评价对象者的表演的运动识别装置、运动识别程序以及运动识别方法。
在第一方案中，运动识别装置具有分段部、识别部、第一评价部。分段部通过基于对象者的身体的规定的部位的位置按照时间序列对包含与对象者的身体的规定的部位或者关节部对应的特征点的位置信息的多个帧进行分段，将多个帧按照时间序列分类为多个组。识别部对每一组，基于连续的帧所包含的特征点的移动，识别与组对应的基本运动的种类。第一评价部基于按照时间序列连续的组所对应的基本运动的种类的顺序，评价对象者进行的运动的招式以及难度。
能够高效地评价对象者的表演。
附图说明
图1是表示本实施例所涉及的***的构成的图。
图2是用于说明骨骼的特征点的一个例子的图。
图3是表示骨骼数据的数据结构的一个例子的图。
图4是表示运动识别装置的构成的功能框图。
图5是表示计算结果数据的数据结构的一个例子的图。
图6是用于说明躯体矢量的一个例子的图。
图7是用于说明鞍马与躯体的角度的图。
图8是表示招式认定规则数据的数据结构的一个例子的图。
图9是表示角度区域的一个例子的图。
图10是表示支撑位置的一个例子的图。
图11是表示升级规则数据的数据结构的一个例子的图。
图12是表示评价结果数据的数据结构的一个例子的图。
图13是用于说明分段部的处理的一个例子的图。
图14是用于说明评价函数F(k)的图。
图15是表示显示画面的一个例子的图。
图16是表示运动识别装置的处理顺序的流程图(1)。
图17是表示运动识别装置的处理顺序的流程图(2)。
图18是表示判定招式名和难度的处理顺序的流程图。
图19是表示将难度升级的处理顺序的流程图。
图20是表示运动识别装置的处理的一个例子的图。
图21是用于说明其它的躯体矢量的一个例子的图。
图22是表示实现与运动识别装置相同的功能的计算机的硬件构成的一个例子的图。
具体实施方式
以下，基于附图对本申请公开的运动识别装置、运动识别程序以及运动识别方法的实施例进行详细说明。此外，并不通过该实施例对该发明进行限定。
实施例
图1是表示本实施例所涉及的***的构成的图。如图1所示，该***具有3D(dimension：三维)传感器10、骨骼识别装置20以及运动识别装置100。例如，对象者5在3D传感器10的拍摄范围，进行规定的体操。在本实施例中作为一个例子，对对象者5表演鞍马的情况进行说明，但并不限定于此，也可以是其它的体操比赛。
3D传感器10是测量从3D传感器10的设置位置到3D传感器10的拍摄范围所包含的对象者5上的各观测点为止的距离信息的传感器。例如，3D传感器10按照每一帧，生成表示各观测点的三维坐标的三维数据，并将生成的三维数据输出至骨骼识别装置20。帧表示在某一时刻，3D传感器10测量出的各观测点的三维坐标的信息，三维数据由多帧构成。
骨骼识别装置20是基于三维数据，识别构成对象者5的骨骼的多个特征点的装置。图2是用于说明骨骼的特征点的一个例子的图。如图2所示，骨骼的特征点包含特征点5a～5p。
特征点5a是与头部的位置对应的点。特征点5b、5e是与肩关节(右肩关节、左肩关节)的位置对应的点。特征点5c、5f是与肘关节(右肘关节、左肘关节)的位置对应的点。特征点5d、5g是与手腕(右手腕、左手腕)的位置对应的点。特征点5h是与颈部的位置对应的点。特征点5i是与后背(后背的中心)对应的点。特征点5j是与腰(腰的中心)对应的点。特征点5k、5n是与髋关节(右髋关节、左髋关节)的位置对应的点。特征点5l、5o是与膝关节(右膝关节、左膝关节)的位置对应的点。特征点5m、5p是与脚踝(右脚踝、左脚踝)的位置对应的点。
骨骼识别装置20基于每帧的三维数据，识别每帧的骨骼的特征点，生成骨骼数据。图3是表示骨骼数据的数据结构的一个例子的图。如图3所示，骨骼数据在每一帧，具有各特征点5a～5p的三维坐标。给予各帧唯一地识别帧的帧编号。
运动识别装置100是基于骨骼数据，评价对象者5表演的体操的招式以及难度的装置。图4是表示运动识别装置的构成的功能框图。如图4所示，该运动识别装置100具有接口部110、输入部120、存储部140以及控制部150。
接口部110是与骨骼识别装置20、其它的外部装置发送接收数据的接口。后述的控制部150经由接口110，与骨骼识别装置20交换数据。
输入部120是用于向运动识别装置100输入各种信息的输入装置。例如，输入部120与键盘、鼠标、触摸面板等对应。
显示部130是显示从控制部150输出的信息的显示装置。例如，显示部130与液晶显示器、触摸面板等对应。
存储部140具有骨骼数据141、计算结果数据142、招式认定规则数据143、升级规则数据144以及评价结果数据145。存储部140与RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)、闪存(Flash Memory)等半导体存储器元件、HDD(Hard Disk Drive：硬盘驱动器)等存储装置对应。
骨骼数据141是由骨骼识别装置20生成的骨骼数据。骨骼数据141的数据结构与在图3说明的骨骼数据的数据结构相同。
计算结果数据142是具有对象者5的手脚、躯体的位置·姿势相关的信息的数据。通过后述的计算部152计算计算结果数据142。图5是表示计算结果数据的数据结构的一个例子的图。如图5所示，该计算结果数据142将帧编号、手·脚的位置数据、躯体矢量数据、分段编号建立对应关系。
帧编号是唯一地识别帧的信息。手·脚的位置数据是表示双手、双脚的三维坐标的数据。例如，手的位置数据与手腕的特征点5d、5g的三维坐标对应。脚的位置数据与脚踝的特征点5m、5p的三维坐标对应。躯体矢量数据是表示躯体矢量的方向以及大小的数据。
图6是用于说明躯体矢量的一个例子的图。如图6所示，躯体矢量7与通过右肩关节的特征点5b、左肩关节的特征点5e以及后背的特征点5i的平面6的法线矢量对应。例如，将躯体矢量7的大小设为“1”。例如，以由X轴、Y轴、Z轴构成的正交坐标系定义躯体矢量。使X轴的方向为鞍马8的长边方向。使Y轴的方向为与X轴正交的方向。并使Z轴的方向为XY平面的铅锤上方向。此外，若求出躯体矢量7，则能够定义鞍马与躯体的角度。
对鞍马与躯体的角度进行说明。图7是用于说明鞍马与躯体的角度的图。如图7所示，鞍马与躯体的角度θ是线段1a与线段1b所成的角。线段1b是向对象者5的前方延长将躯体矢量7投影到XY平面后的线段的线段。线段1a是与Y轴对应的线段。
分段编号是表示帧属于哪一组的编号。组是在对象者进行了某一个基本运动的情况下，将从成为基本运动的起点的帧到成为基本运动的终点的帧为止的各帧作为集合进行处理的组。
对属于同一组的帧分配有同一分段编号。通过后述的分段部153设定分段编号。例如，在时间序列上连续的多个帧中，从成为分段点的帧到成为下一个分段点的帧为止所包含的多个帧成为包含于同一组的帧。在以下的说明中适当地将属于同一组的多个帧表述为“部分数据”。后述的识别部154对每个部分数据，确定与部分数据对应的基本运动的种类。
返回到图4的说明。招式认定规则数据143是后述的第一评价部155判定招式的名称和难度的情况下使用的数据。图8是表示招式认定规则数据的数据结构的一个例子的图。如图8所示，该招式认定规则数据143使基本运动种类、起点躯体角度区域、终点躯体角度区域、起点左手支撑位置、起点右手支撑位置、终点左手支撑位置、终点右手支撑位置、前一个基本运动种类、招式名、组、难度建立对应关系。
基本运动种类表示基本运动的种类。起点躯体角度区域表示在部分数据所包含的起点的帧中，躯体矢量的方向包含于预先决定的哪个角度区域。终点躯体角度区域表示在部分数据所包含的终点的帧中，躯体矢量的方向包含于预先决定的哪个角度区域。在图8的起点躯体角度区域以及终点躯体角度区域中，A(B)表示在()外或者()内的组合中，角度区域既可以是A区域，也可以是B区域。
图9是表示角度区域的一个例子的图。如图9所示，角度区域包含0°区域、90°区域、180°区域以及270°区域。线段1b是向对象者5的前方延长将对象者5的躯体矢量7投影到XY平面后的线段的线段。在图9所示的例子中，躯体矢量7的方向为0°区域。
起点左手支撑位置表示在部分数据所包含的起点的帧中，对象者5的左手(左手腕)的位置与预先决定的鞍马上的哪个支撑位置对应。起点右手支撑位置表示在部分数据所包含的起点的帧中，对象者5的右手(右手腕)的位置与预先决定的鞍马上的哪个支撑位置对应。在图8的起点左手支撑位置以及起点右手支撑位置中，A(B)表示在()外或者()内的组合中，支撑位置既可以是支撑位置A，也可以是支撑位置B。
终点左手支撑位置表示在部分数据所包含的终点的帧中，对象者5的左手(左手腕)的位置与预先决定的鞍马上的哪个支撑位置对应。终点右手支撑位置表示在部分数据所包含的终点的帧中，对象者5的右手(右手腕)的位置与预先决定的鞍马上的哪个支撑位置对应。在图8的终点左手支撑位置以及终点右手支撑位置中，A(B)表示在()外或者()内的组合中，支撑位置既可以是支撑位置A，也可以是支撑位置B。
图10是表示支撑位置的一个例子的图。在对象者5的手(左手或者右手)存在于区域8a的情况下，手的位置与支撑位置“1”对应。在对象者5的手存在于区域8b的情况下，手的位置与支撑位置“2”对应。在对象者5的手存在于区域8c的情况下，手的位置与支撑位置“3”对应。在对象者5的手存在于区域8d的情况下，手的位置与支撑位置“4”对应。在对象者5的手存在于区域8e的情况下，手的位置与支撑位置“5”对应。
前一个基本运动种类表示在时间序列上与注目的部分数据相比前一个的部分数据所对应的基本运动的种类。前一个基本运动种类“any”表示前一个基本运动的种类可以是任何种类。在以下的说明中，将在时间序列上与注目的部分数据相比前一个的部分数据表述为“前一个部分数据”。
招式名是根据基本运动种类、起点躯体角度区域、终点躯体角度区域、起点左手支撑位置、起点右手支撑位置、终点左手支撑位置、终点右手支撑位置、以及前一个基本运动种类的组合确定的招式的名称。
组表示对根据招式名确定的招式进行分类的组。难度表示招式的难度。招式的难度按照A、B、C、D、E的顺序难度提高。难度A难度最低。
返回到图4的说明。升级规则数据144是在后述的升级部156判定是否对招式的难度进行升级的情况下使用的数据。图11是表示升级规则数据的数据结构的一个例子的图。如图11所示，该升级规则数据144具有招式名、前一个运动的躯体旋转角度、前一个运动的起点左手支撑位置、前一个运动的起点右手支撑位置、前一个运动的终点左手支撑位置、前一个运动的终点右手支撑位置。另外，升级规则数据144具有前一个基本运动种类和难度升级数。
在图11中，招式名与通过第一评价部155对注目的部分数据确定出的招式名对应，成为是否进行难度的升级的对象。前一个运动的躯体旋转角度表示从前一个部分数据所包含的起点的帧到终点的帧为止的躯体矢量的旋转角度的总和。例如，如图9所说明的那样，旋转角度是将躯体矢量投影到XY平面的情况下的旋转角度。将成为前一个部分数据的起点的帧的躯体矢量投影到XY平面的位置设为0°，计算旋转角度的合计。
前一个运动的起点左手支撑位置表示在前一个部分数据所包含的起点的帧中，对象者5的左手(左手腕)的位置与预先决定的鞍马上的哪个支撑位置对应。前一个运动的起点右手支撑位置表示在前一个部分数据所包含的起点的帧中，对象者5的右手(右手腕)的位置与预先决定的鞍马上的哪个支撑位置对应。
前一个运动的终点左手支撑位置表示在前一个部分数据所包含的终点的帧中，对象者5的左手(左手腕)的位置与预先决定的鞍马上的哪个支撑位置对应。前一个运动的终点右手支撑位置表示在前一个部分数据所包含的终点的帧中，对象者5的右手(右手腕)的位置与预先决定的鞍马上的哪个支撑位置对应。
前一个基本运动种类表示与前一个部分数据对应的基本运动的种类。
难度升级数是表示在符合相应的条件的情况下，将通过第一评价部155确定出的招式的难度升级几级的信息。例如，设为通过第一评价部155确定出的招式名为“正交叉”，躯体旋转角度“小于360°”，前一个运动的起点·终点、左手·右手的各支撑位置为“3”，前一个基本运动种类为“倒立转体”。该情况下，符合升级规则数据144的第一列的记录，难度升级数为“1”。例如，若在当前的难度为“A”的情况下，将难度升级一级，则修正后的难度为“B”。
评价结果数据145是保持对象者5的表演的评价结果相关的信息的数据。图12是表示评价结果数据的数据结构的一个例子的图。如图12所示，该评价结果数据145使帧编号、右手位置、左手位置、躯体角度、脚的高度、躯体方向、分段标志、基本运动种类、招式名、难度、E评分建立对应关系。
帧编号是唯一地识别帧的信息。右手位置表示对象者5的右手(右手腕)的位置与预先决定的鞍马上的哪个支撑位置对应。左手位置表示对象者5的左手(左手腕)的位置与预先决定的鞍马上的哪个支撑位置对应。
躯体角度表示对象者5的躯体角度。例如，将根据相应的帧求出的躯体矢量投影到XY平面的情况下的线段与Y轴所成的角作为躯体角度。脚的高度表示对象者5的右脚(右脚踝)的位置以及对象者的左脚(左脚踝)位置中较高的一方的位置。
躯体方向表示躯体矢量的Z轴的方向是正的方向还是负的方向。躯体方向为“下”表示躯体矢量的Z轴的方向为负。躯体方向为“上”表示躯体矢量的Z轴的方向为正。
分段标志是表示相应的帧是否与分段点对应的信息。通过后述的分段部153判定相应的帧是否为分段点。在相应的帧为分段点的情况下，分段标志为“1”。在相应的帧不为分段点的情况下，分段标志为“0”。
基本运动种类、招式名、难度相关的说明与在图8说明的基本运动种类、招式名、难度相关的说明相同。
E评分(Execution score：完成评分)表示与部分数据对应的基本运动种类的E评分。通过后述的第二评价部157计算E评分。
返回到图4的说明。控制部150具有获取部151、计算部152、分段部153、识别部154、第一评价部155、升级部156、第二评价部157、以及显示控制部158。能够通过CPU(CentralProcessing Unit：中央处理器)、MPU(Micro Processing Unit：微控制器)等实现控制部150。另外，控制部150也能够通过ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等硬连线逻辑实现。
获取部151是从骨骼识别装置20获取骨骼数据141的处理部。获取部151将获取的骨骼数据141登记在存储部140。骨骼数据141的数据结构是在图3说明的数据结构。
计算部152是基于骨骼数据141，对计算结果数据142进行计算的处理部。计算结果数据142的数据结构是在图5说明的数据结构。计算结果数据142中的与帧编号对应的手·脚的位置数据、躯体矢量数据被计算部152登记，分段编号被分段部153登记。
计算部152对每一帧，计算手·脚的位置数据、躯体矢量数据。例如，计算部152计算骨骼数据141的特征点5d、5g的三维坐标作为手的位置。计算部152计算骨骼数据141的特征点5m、5p的三维坐标作为脚的位置。计算部152将手·脚的位置数据与相应的帧的帧编号建立对应关系并登记在计算结果数据142。
计算部152计算通过右肩关节的特征点5b、左肩关节的特征点5e以及后背的特征点5i的平面6的法线矢量，作为躯体矢量。计算部152将躯体矢量数据与相应的帧的帧编号建立对应关系并登记在计算结果数据142。
计算部152通过对骨骼数据141的各帧反复执行上述处理，生成计算结果数据142。
分段部153是基于计算结果数据142，确定成为分段点的帧，并基于确定出的分段点，将多个帧分类为多个组的处理部。分段部153访问计算结果数据142，将属于同一组的帧的分段编号设定为同一编号。
分段部153在计算结果数据142中，参照与某一帧编号对应的手·脚的位置数据。分段部153在全部满足下述的条件A1、A2、A3的情况下，判定为与某一帧编号对应的帧为分段点。在全部满足条件A1～A3的情况下，意味着对象者5将双手放于鞍马8，且躯体矢量的方向向下。
条件A1：对象者5的左手的位置位于图10所示的区域8a～8e的任意一个。
条件A2：对象者5的右手的位置位于图10所示的区域8a～8e的任意一个。
条件A3：躯体矢量的Z轴成分为负。
分段部153访问评价结果数据，与判定为分段点的帧编号对应的分段标志设定为“1”。将分段标志的初始值设为“0”。
图13是用于说明分段部的处理的一个例子的图。图13所示的多个帧按照时间序列排列。作为一个例子，假设帧30a、31a、32a满足上述的条件A1～A3，为分段点的帧。该情况下，分段部153将范围30所包含的各帧分类为同一组。分段部153将范围31所包含的各帧分类为同一组。分段部153将范围32所包含的各帧分类为同一组。
范围30所包含的各帧的分段编号为“n”，范围31所包含的各帧的分段编号为“n+1”，范围32所包含的各帧的分段编号为“n+2”。N是1以上的自然数。
例如，在范围30所包含的各帧中，前端的帧30a成为起点的帧，末尾的帧30b成为终点的帧。在范围31所包含的各帧中，前端的帧31a成为起点的帧，末尾的帧31b成为终点的帧。在范围32所包含的各帧中，前端的帧32a成为起点的帧，末尾的帧32b成为终点的帧。
这里，再次对“部分数据”、“前一个部分数据”进行说明。汇集了范围30、31、32所包含的各帧的数据分别成为部分数据。若使注目的部分数据为范围31所包含的各帧，则前一个部分数据为包含于范围31的各帧。
识别部154是对每个部分数据，基于部分数据所包含的帧的特征点的移动，识别与部分数据对应的基本运动种类的处理部。识别部154从计算结果数据142获取部分数据所包含的帧的特征点的信息。识别部154若识别出与部分数据对应的基本运动种类，则将识别结果与帧编号建立对应关系并登记在评价结果数据145。
例如，识别部154利用HMM(Hidden Markov Model：隐马尔可夫模型)。HMM是将时间序列数据作为输入，并决定该时间序列数据属于哪个类别(基本运动种类)的概率模型。在识别部154有学习阶段和识别阶段。
HMM在学习阶段，对每个基本运动种类求出四组参数集λ。通过式(1)定义参数集λ。
λ＝{Q，A，B，Π}···(1)
在式(1)中，Q表示状态的集合，由式(2)定义。
Q＝{a1，q2，···，qn}···(2)
在式(1)中，A表示从状态qi向状态qj的迁移概率aij的集合亦即状态迁移概率矩阵，由式(3)定义。
A＝{aij}···(3)
在式(1)中，B表示输出状态qj下的矢量x的概率分布的集合。在式(1)中，Π表示初始状态的集合，由式(4)定义。
Π＝{πi}···(4)
这里，以式(5)定义状态qi下的概率密度函数。在式(5)中，ui表示概率密度函数的平均矢量。Σi表示概率密度函数的协方差矩阵。
[式1]
对识别部154的学习阶段的处理的一个例子进行说明。识别部154在求解某一基本运动种类的参数集λ的情况下，作为初始状态随机地设定HMM的参数。识别部154进行准备多个与某个基本运动识别对应的部分数据，并对部分数据Osegment计算HMM的似然度P(Osegment|Λk)的处理。
识别部154反复执行将似然度P最大的部分数据作为与HMM相关的Λk的教师信号，并使Λk的参数集最佳化的处理。识别部154通过这样的处理，确定出某个基本运动种类的参数集λ。识别部154通过对其它的基本运动种类也进行同样的处理，学习每个基本运动种类的参数集λ。
对识别部154的识别阶段的处理的一个例子进行说明。识别部154若获取成为基本运动种类的识别对象的部分数据，则基于式(6)，在改变在学习阶段学习的参数集的同时，确定出每个参数集λ的Λk中最大的Λk0。识别部154将计算Λk0时使用的参数集λ所对应的基本运动种类判定为成为识别对象的部分数据的基本运动种类。
[式2]
第一评价部155是基于与按照时间序列连续的部分数据对应的基本运动种类的顺序，评价对象者5进行的运动的招式以及难度的处理部。以下，对第一评价部155的处理的一个例子进行说明。这里，将成为评价对象的部分数据仅表述为部分数据，将与成为评价对象的部分数据相比前一个的部分数据表述为前一个部分数据。
第一评价部155基于部分数据所包含的帧编号和评价结果数据145，确定部分数据的基本运动种类。第一评价部155基于前一个部分数据所包含的帧编号和评价结果数据145，确定前一个部分数据的前一个基本运动种类。
第一评价部155将部分数据所包含的起点的帧的帧编号作为关键词，参照计算结果数据142，确定起点躯体角度区域、起点左手支撑位置、以及起点右手支撑位置。第一评价部155将部分数据所包含的终点的帧的帧编号作为关键词，参照计算结果数据142，确定终点躯体角度区域、终点左手支撑位置、以及终点右手支撑位置。
例如，第一评价部155对在图9说明的各角度区域的定义和躯体矢量进行比较，确定起点躯体角度区域、终点躯体角度区域。第一评价部155通过对在图10说明的各区域8a～8e和手的位置数据进行比较，确定起点左手支撑位置、起点右手支撑位置、终点左手支撑位置、以及终点右手支撑位置。
第一评价部155对确定出的各信息和招式认定规则数据143进行比较，确定与部分数据对应的招式名、难度以及组。这里，确定出的各信息包含基本运动种类和前一个运动种类。另外，确定出的各信息包含起点躯体角度区域、起点左手支撑位置、起点右手支撑位置、终点躯体角度区域、终点左手支撑位置、以及终点右手支撑位置。
第一评价部155将确定出的招式名、难度以及组与部分数据所包含的帧的帧编号建立对应关系，并登记于评价结果数据145。另外，第一评价部155将右手位置、左手位置、躯体角度、脚的高度、躯体方向与帧编号建立对应关系并登记。第一评价部155通过也对其它的部分数据反复执行上述处理，确定招式名、难度、组，并登记于评价结果数据145。
升级部156是判定是否对第一评价部155评价出的难度进行升级，并基于判定结果，对难度进行升级的处理部。以下，对升级部156的处理的一个例子进行说明。这里，将成为评价对象的部分数据近表述为部分数据，并将与成为评价对象的部分数据相比前一个的部分数据表述为前一个部分数据。
升级部156将部分数据所包含的帧的帧编号作为关键词，参照评价结果数据145，确定出通过第一评价部155评价出的与部分数据对应的招式名。
升级部156基于部分数据所包含的各帧的躯体矢量，计算躯体旋转角度。躯体旋转角度是从起点的帧到终点的帧为止的躯体角度的变化的总和。升级部156从计算结果数据142获取各帧的躯体矢量的数据。
升级部156将部分数据所包含的起点的帧的帧编号作为关键词，参照计算结果数据142，确定起点左手支撑位置、起点右手支撑位置。升级部156将部分数据所包含的终点的帧的帧编号作为关键词，参照计算结果数据142，确定终点左手支撑位置、终点右手支撑位置。升级部156基于前一个部分数据所包含的帧编号和评价结果数据145，确定前一个部分数据的前一个基本运动种类。
升级部156对确定出的各信息与升级规则数据144进行比较，判定是否对与部分数据对应的难度进行升级。这里，确定出的各信息包含招式名、躯体旋转角度、起点左手支撑位置、起点右手支撑位置、终点左手支撑位置、终点右手支撑位置、前一个基本运动种类。
升级部156在升级规则数据144存在符合确定出的各信息的列记录的情况下，判定为对难度进行升级。升级部156在升级规则数据144不存在符合确定出的各信息的列记录的情况下，判定为不对难度进行升级。参照符合的列记录的难度升级数确定升级几级。
例如，假设部分数据的招式名为“正交叉”，躯体旋转角度为“小于360°”，前一个运动的起点·终点、左手·右手的各支撑位置为“3”，且前一个基本运动种类为“倒立转体”。该情况下，符合升级规则数据144的第一列的记录，难度升级数为“1”。所以，在部分数据的当前的难度为“A”的情况下，升级部156将难度修正为“B”。
升级部156通过也对其它的部分数据反复执行上述处理，来更新评价结果数据145的难度。
第二评价部157是对各部分数据评价基本运动的E评分的处理部。在第二评价部157预先按照每个基本运动种类，设定有用于计算E评分的策略。这里作为一个例子，对第二评价部157计算基本运动种类“下法”的E评分的例子进行说明。这里的“下法”表示对象者5从鞍马下鞍时的基本运动。
第二评价部157使用式(7)所示的评价函数F(k)。评价函数F(k)是评价成为评价对象的部分数据所包含的多个帧中的第k个帧的函数。
F(k)＝arcsin(Tz/Tx)···(7)
图14是用于说明评价函数F(k)的图。在图14中，Tx与第k个帧的从对象者5的肩关节到脚(脚踝)的X成分的长度对应。Tz与第k个帧的从对象者5的肩关节到脚(脚踝)的Z成分的长度对应。例如，肩关节的位置与特征点5b或者5e的位置对应。脚与特征点5m或者5p的位置对应。
第二评价部157在对“下法”进行评价的情况下，对成为对象的部分数据所包含的各帧反复执行上述处理，计算对各帧的F(k)的值。第二评价部157在各帧中出现了F(k)的值小于30°的帧的情况下，决定缺点“0.3”。
第二评价部157基于式(8)，计算针对基本运动的最终的E评分。式(8)所示的Σ表示全部的部分数据的根据评价函数的结果决定的缺点的总和。此外，在上述作为一个例子对“下法”的评价函数进行了说明，但对于其它的基本运动来说，也能够根据与相应的基本运动对应的评价函数决定缺点。例如，“全旋”的部分数据的评价函数成为评价左右脚的对齐方向的评价函数，左右双脚越不对齐，缺点越大。
E评分＝10－Σ···(8)
第二评价部157将计算出的E评分的信息与帧编号建立对应关系，并登记在评价结果数据145。第二评价部157既可以将E评分登记在同一部分数据所包含的各帧的记录，也可以将E评分登记在同一部分数据所包含的各帧中起点的帧的记录。第二评价部157对其它的部分数据也同样地计算E评分，并登记在评价结果数据145。
此外，上述的第一评价部155也可以根据评价结果数据145和表示规则的逻辑式，再判定招式的难度。表示规则的逻辑式是将各基本运动的招式名的顺序与D评分(Difficulty score：难度评分)建立对应关系的逻辑式。
显示控制部158是基于评价结果数据145，生成显示画面，并使其显示于显示部130的处理部。图15是表示显示画面的一个例子的图。如图15所示，在该显示画面50包含有区域50a～50g。此外，显示控制部158也可以直接将评价结果数据145显示于显示部130。
区域50a是显示当前的对象者5的手·脚的位置数据、躯体矢量数据的区域。区域50b是显示对象者5的表演开始时的手·脚的位置数据、躯体矢量数据的区域。区域50c是显示根据与当前的帧相比前一个的帧确定的对象者5的手·脚的位置数据、躯体矢量数据的区域。区域50d是显示根据与当前的帧相比前两个的帧确定的对象者5的手·脚的位置数据、躯体矢量数据的区域。区域50e是显示根据与当前的帧相比前三个的帧确定的对象者5的手·脚的位置数据、躯体矢量数据的区域。区域50f是显示根据包含当前的帧的部分数据确定的基本运动的招式名的区域。区域50g是显示将3D传感器10的信息可视化的图像的区域。
接下来，对本实施例所涉及的运动识别装置100的处理顺序进行说明。图16以及图17是表示运动识别装置的处理顺序的流程图。如图16所示，运动识别装置100通过帧编号加1后的值更新处理对象的帧编号(步骤S101)。运动识别装置100的计算部152读入骨骼数据141(步骤S102)。
计算部152基于骨骼数据141，计算手·脚的位置数据、躯体矢量数据(步骤S103)。运动识别装置100的分段部153进行正撑标志的设定(步骤S104)。在步骤S104中，分段部153在全部满足上述的条件A1、A2、A3的情况下，将正撑标志设定为“1”。分段部153在不满足条件A1、A2、A3的全部的情况下，将正撑标志设定为“0”。正撑标志与处理对象的帧编号建立对应关系。
分段部153设定落地标志(步骤S105)。在步骤S105中，分段部153在对象者5的左脚(左脚踝)的位置或者右足(右脚踝)的位置小于规定的阈值的情况下，将落地标志设定为“1”。分段部153在对象者5的左脚(左脚踝)的位置或者右足(右脚踝)的位置在规定的阈值以上的情况下，将落地标志设定为“0”。落地标志与处理对象的帧编号建立对应关系。
分段部153进行分段点判定处理(步骤S106)。在步骤S106中，分段部153在上一次的帧编号所对应的正撑标志为“0”，并且，处理对象的帧编号所对应的正撑标志为“1”的情况下，判定为与处理对象的帧编号对应的帧为分段点。分段部153在上一次的帧编号所对应的正撑标志为“1”，或者，处理对象的帧编号所对应的正撑标志为“0”的情况下，判定为与处理对象的帧编号对应的帧不为分段点。
分段部153在判定为不为分段点的情况下(步骤S107，否)，将手·脚的位置数据、躯体矢量数据、当前的分段编号与帧编号建立对应关系，并登记于计算结果数据142(步骤S108)，移至步骤S101。
分段部153在判定为分段点的情况下(步骤S107，是)，更新当前的分段编号(步骤S109)，并移至图17的步骤S110。
运动识别装置100的识别部154基于分段编号n的帧，判定基本运动种类(步骤S110)。运动识别装置100的第一评价部155基于招式认定规则数据143，判定招式名和难度(步骤S111a)。运动识别装置100的升级部156基于升级规则数据144，对难度进行升级(步骤S112)，并移至步骤S113。
运动识别装置100的第二评价部157计算基本运动所涉及的E评分(步骤S111b)，并移至步骤S113。
运动识别装置100将招式、难度以及E评分与帧编号建立对应关系，并登记在评价结果表格145(步骤S113)。
运动识别装置100进行表演结束判定处理(步骤S114)。在步骤S114中，运动识别装置100在招式所属的组为规定的组的情况下，判定为表演结束。运动识别装置100在总计落地标志的落下计数的值在规定数以上的情况下，判定为表演结束。
运动识别装置100在表演未结束的情况下(步骤S115，否)，移至图16的步骤S101。运动识别装置100在表演结束的情况下(步骤S115，是)，将落地标志、落下计数、分段编号设定为初始值(步骤S116)。
运动识别装置100的第一评价部155根据评价结果数据145和表示规则的逻辑式，再判定招式的难度，计算D评分(步骤S117)。运动识别装置100的显示控制部158显示评价结果(步骤S118)。
接下来，对在图17的步骤S111a说明的基于招式认定规则数据判定招式名和难度的处理的一个例子进行说明。图18是表示判定招式名和难度的处理顺序的流程图。如图18所示，运动识别装置100的第一评价部155从计算结果数据142获取与分段编号n对应的帧的手·脚的位置数据以及躯体矢量数据(步骤S201)。
第一评价部155基于与起点的帧对应的手·脚的位置数据，确定起点躯体角度区域、起点左手支撑位置、起点右手支撑位置(步骤S202)。第一评价部155基于与终点的帧对应的手·脚的位置数据，确定终点躯体角度区域、终点左手支撑位置、终点右手支撑位置(步骤S203)。
第一评价部155确定与分段编号n对应的基本运动种类以及前一个运动种类(步骤S204)。
第一评价部155对确定出的各信息和招式认定规则数据143进行比较，判定是否存在符合的列记录(步骤S205)。这里，确定出的各信息包含起点躯体角度区域、起点左手支撑位置、起点右手支撑位置、终点躯体角度区域、终点左手支撑位置、终点右手支撑位置、基本运动种类、以及前一个基本运动种类。
第一评价部155在符合的情况下(步骤S206，是)，将符合的列记录所包含的招式名、组、难度确定为与分段编号n对应的招式名、组、难度(步骤S207)。
第一评价部155在不符合的情况下(步骤S206，否)，不明确与分段编号n对应的招式名，使组以及难度为0(步骤S208)。
接下来，对在图17的步骤S112说明的基于升级规则数据对难度进行升级的处理的一个例子进行说明。图19是表示对难度进行升级的处理顺序的流程图。如图19所示，运动识别装置100的升级部156从计算结果数据142获取与分段编号n对应的帧的手·脚的位置数据以及躯体矢量数据(步骤S301)。
升级部156基于从起点的帧到终点的帧的躯体矢量，计算躯体旋转角度(步骤S302)。
升级部156基于与起点的帧对应的手·脚的位置数据，确定起点左手支撑位置、起点右手支撑位置(步骤S303)。并基于与终点的帧对应的手·脚的位置数据，确定终点左手支撑位置、终点右手支撑位置(步骤S304)。
升级部156确定与分段编号n对应的招式名以及前一个基本运动种类(步骤S305)。
升级部156对确定出的各信息和升级规则数据144进行比较，判定是否存在符合的列记录(步骤S306)。升级部156在符合的情况下(步骤S307，是)，根据难度升级数，对难度进行升级(步骤S308)。升级部156在不符合的情况下(步骤S307，否)，结束处理。
图20是表示运动识别装置的处理的一个例子的图。在图20所示的例子中，分段部153基于计算结果数据142，设定分段点60a～60g。例如，在分段点60a、60b、60c的帧中，对象者5的左手支撑位置为“2”，右手支撑位置为“4”。在分段点60d的帧中，对象者5的左手支撑位置为“4”，右手支撑位置为“4”。在分段点60e的帧中，对象者5的左手支撑位置为“4”，右手支撑位置为“2”。在分段点60f、60g的帧中，对象者5的左手支撑位置为“2”，右手支撑位置为“2”。此外，在分段点60a～60g的帧中，虽然省略图示，但躯体矢量向下。
作为一个例子，分段点60a、60b、60c的帧的躯体角度为180°。分段点60d的帧的躯体角度为90°。分段点60e的帧的躯体角度为0°。分段点60f、60g的帧的躯体角度为270°。
作为一个例子，识别部154根据分段点60a～60b所包含的各帧的特征点的移动将基本运动种类判定为“CCW全旋”。识别部154根据分段点60b～60c所包含的各帧的特征点的移动，将基本运动种类判定为“CCW全旋”。识别部154根据分段点60c～60d所包含的各帧的特征点的移动，将基本运动种类判定为“CCW向下反1/4转体”。识别部154根据分段点60d～60e所包含的各帧的特征点的移动，将基本运动种类判定为“CCW向上反1/4全旋”。识别部154根据分段点60e～60f所包含的各帧的特征点的移动，将基本运动种类判定为“CCW向下反1/4全旋”。识别部154根据分段点60f～60g所包含的各帧的特征点的移动，将基本运动种类判定为“CCW全旋”。
作为一个例子，第一评价部155基于招式认定规则数据143，将在分段点60a～60b所包含的各帧间对象者进行的招式名判定为“正撑全旋”、难度“A”。第一评价部155基于招式认定规则数据143，将在分段点60b～60c所包含的各帧间对象者进行的招式名判定为“正撑全旋”、难度“A”。第一评价部155基于招式认定规则数据143，将在分段点60c～60e所包含的各帧间对象者进行的招式名判定为“环上向下转体”、难度“B”。第一评价部155基于招式认定规则数据143，在分段点60e～60f所包含的各帧间对象者进行的招式名、难度不符合，判定为招式名“不明”、难度“－”。第一评价部155基于招式认定规则数据143，将在分段点60f～60g所包含的各帧间对象者进行的招式名判定为“单环上侧撑全旋”、难度“B”。
作为一个例子，第二评价部157将在分段点60a～60b所包含的各帧间对象者进行的表演的E评分判定为“8”。第二评价部157将在分段点60b～60c所包含的各帧间对象者进行的表演的E评分判定为“8.5”。第二评价部157将在分段点60c～60e所包含的各帧间对象者进行的表演的E评分判定为“7.8”。第二评价部157将在分段点60e～60f所包含的各帧间对象者进行的表演的E评分判定为“1”。第二评价部157将在分段点60f～60g所包含的各帧间对象者进行的表演的E评分判定为“8.3”。
接下来，对本实施例所涉及的运动识别装置100的效果进行说明。运动识别装置100基于对象者5的骨骼数据141，确定成为分段点的帧，分类为多个部分数据。运动识别装置100确定各部分数据的基本运动种类，并基于按照时间序列连续的部分数据的基本运动种类的顺序，评价对象者进行的运动的招式名以及难度。这样，基于基本运动种类的顺序，评价招式名以及难度，所以根据运动识别装置100，能够高效地评价对象者5的表演。
运动识别装置100基于按照时间序列连续的部分数据的基本运动种类的顺序以及躯体旋转角度，对运动的难度进行升级。因此，能够确定出与比赛的复杂的评价基准对应的正确的难度。
运动识别装置100基于将部分数据所包含的各帧的特征点的特征与分数建立了对应关系的评价基准，计算与部分数据对应的E评分。因此，除了招式、难度之外，也能够适当地计算E评分。
运动识别装置100将躯体矢量朝向下方向，并且，对象者5的双手位于预先决定的区域的帧确定为分段点。因此，能够将多个帧适当地分段，能够提高招式、难度的判定精度。
另外，虽然本实施例所涉及的运动识别装置100的计算部152计算通过右肩关节的特征点5b、左肩关节的特征点5e、以及后背的特征点5i的平面6的法线矢量7作为躯体矢量，但并不限定于此。
图21是用于说明其它的躯体矢量的一个例子的图。计算部152也可以计算通过各髋关节(右髋关节、左髋关节)的特征点5k、5n和后背的特征点5i的平面6a的法线矢量7a作为躯体矢量。此外，使法线矢量7a的方向为对象者5的腹侧，并使法线矢量7a的大小为“1”。在以下的说明中，将法线矢量7a表述为躯体矢量7a。虽然躯体矢量7a的起点只要固定在平面(三角形)6a上则可以是任何位置，但也可以是特征点5k、5n的中点，也可以是平面6a的重心。分段部153即使在代替躯体矢量7，而使用了躯体矢量7a的情况下，也能够对多个帧适当地分段，能够提高招式、难度的判定精度。并且，躯体矢量7a与躯体矢量7相比较，适合评价躯干下部的方向。
此外，也可以计算部152以与对象者5的实际的运动匹配的方式，使用全体的特征点位置坐标利用逆运动学计算调整或者估计特征点5b、5e、5i、5k、5n的位置坐标，来计算躯体矢量7以及躯体矢量7a。也可以计算部152采用调整或者估计出的特征点5b、5e、5i的平面6或者5i、5k、5n的平面6a的单位法线矢量作为躯体矢量。这样，通过采用以与实际的运动匹配的方式调整或者估计各特征点5b、5e、5i、5k、5n的位置坐标计算出的躯体矢量7、7a，能够与由于遮挡等理由，而不能够直接检测出对象者5的特征点的情况、特征点的位置的误差较大的情况对应，能够使招式的判定精度提高。
接下来，对实现与上述实施例所示的运动识别装置100相同的功能的计算机的硬件构成的一个例子进行说明。图22是表示实现与运动识别装置相同的功能的计算机的硬件构成的一个例子的图。
如图22所示，计算机200具有执行各种运算处理的CPU201、受理来自用户的数据的输入的输入装置202、以及显示器203。另外，计算机200具有从存储介质读取程序等的读取装置204和经由网络在与其它的计算机之间进行数据的授受的接口装置205。计算机200经由接口装置205，从骨骼识别装置20获取骨骼数据。另外，计算机200具有暂时存储各种信息的RAM206和硬盘装置207。而且，各装置201～207与总线208连接。
硬盘装置207具有获取程序207a、计算程序207b、分段程序207c、识别程序207d、第一评价程序207e、升级程序207f、第二评价程序207g、显示程序207h。CPU201读出各程序207a～207h，并展开在RAM206。
获取程序207a作为获取工序206a发挥作用。计算程序207b作为计算工序206b发挥作用。分段程序207c作为分段工序206c发挥作用。识别程序207d作为识别工序206d发挥作用。第一评价程序207e作为第一评价工序206e发挥作用。升级程序207f作为升级工序206f发挥作用。第二评价程序207g作为第二评价工序206g发挥作用。显示程序207h作为显示工序206h发挥作用。
获取工序206a的处理与获取部151的处理对应。计算工序206b的处理与计算部152的处理对应。分段工序206c的处理与分段部153的处理对应。识别工序206d的处理与识别部154的处理对应。第一评价工序206e的处理与第一评价部155的处理对应。升级工序206f的处理与升级部156的处理对应。第二评价工序206g的处理与第二评价部157的处理对应。显示工序206h的处理与显示控制部158的处理对应。
此外，也可以各程序207a～207h并不一定从最初使其存储于硬盘装置207。例如，也可以使各程序预先存储于***计算机200的软盘(FD)、CD－ROM、DVD器件、光磁盘、IC卡等“便携式物理介质”。然后，计算机200读出并执行各程序207a～207h。
附图标记说明：10…3D传感器，20…骨骼识别装置，100…运动识别装置。

Claims (15)

1.一种运动识别装置，其特征在于，具有：
分段部，其通过基于对象者的身体的规定的部位的位置按照时间序列对包含与所述对象者的身体的规定的部位或者关节部对应的特征点的位置信息的多个帧进行分段，来将所述多个帧按照时间序列分类为多个组；
识别部，其对每一组，基于连续的帧所包含的特征点的移动，识别与组对应的基本运动的种类；以及
第一评价部，其基于按照时间序列连续的组所对应的基本运动的种类的顺序，评价所述对象者进行的运动的招式以及难度。
2.根据权利要求1所述的运动识别装置，其特征在于，还具有：
升级部，其基于按照时间序列连续的组所对应的基本运动的顺序以及所述对象者的躯体的旋转角度，对所述第一评价部所评价的所述对象者进行的运动的难度进行升级。
3.根据权利要求1或者2所述的运动识别装置，其特征在于，还具有：
第二评价部，其通过基于将帧所包含的特征点的特征和分数建立了对应关系的评价基准，对每一组，比较帧所包含的特征点的特征和所述评价基准，来确定每一组的分数，评价组的评分。
4.根据权利要求1所述的运动识别装置，其特征在于，
所述分段部反复执行基于通过所述对象者的两肩和后背的平面的法线矢量的方向和所述对象者的双手的位置来判定成为分段点的帧的处理，并且将被成为分段点的帧夹着的多个帧分类为一个组。
5.根据权利要求1所述的运动识别装置，其特征在于，
所述分段部反复执行基于通过所述对象者的两髋和后背的平面的法线矢量的方向和所述对象者的双手的位置来判定成为分段点的帧的处理，并且将被成为分段点的帧夹着的多个帧分类为一个组。
6.一种运动识别程序，其特征在于，使计算机执行以下处理：
通过基于对象者的身体的规定的部位的位置按照时间序列对包含与所述对象者的身体的规定的部位或者关节部对应的特征点的位置信息的多个帧进行分段，来将所述多个帧按照时间序列分类为多个组；
对每一组，基于连续的帧所包含的特征点的移动，识别与组对应的基本运动的种类；以及
基于按照时间序列连续的组所对应的基本运动的种类的顺序，评价所述对象者进行的运动的招式以及难度。
7.根据权利要求6所述的运动识别程序，其特征在于，还使计算机执行以下处理：
基于按照时间序列连续的组所对应的基本运动的顺序以及所述对象者的躯体的旋转角度，对所述对象者进行的运动的难度进行升级。
8.根据权利要求6或者7所述的运动识别程序，其特征在于，还使计算机执行以下处理：
通过基于将帧所包含的特征点的特征和分数建立了对应关系的评价基准，对每一组，比较帧所包含的特征点的特征和所述评价基准，来确定每一组的分数，评价组的评分。
9.根据权利要求6所述的运动识别程序，其特征在于，
在进行所述分类的处理中，反复执行基于通过所述对象者的两肩和后背的平面的法线矢量的方向和所述对象者的双手的位置来判定成为分段点的帧的处理，并且将被成为分段点的帧夹着的多个帧分类为一个组。
10.根据权利要求6所述的运动识别程序，其特征在于，
在进行所述分类的处理中，反复执行基于通过所述对象者的两髋和后背的平面的法线矢量的方向和所述对象者的双手的位置来判定成为分段点的帧的处理，并且将被成为分段点的帧夹着的多个帧分类为一个组。
11.一种运动识别方法，是计算机执行的运动识别方法，其特征在于，执行以下处理：
通过基于对象者的身体的规定的部位的位置按照时间序列对包含与所述对象者的身体的规定的部位或者关节部对应的特征点的位置信息的多个帧进行分段，来将所述多个帧按照时间序列分类为多个组；
对每一组，基于连续的帧所包含的特征点的移动，识别与组对应的基本运动的种类；以及
基于按照时间序列连续的组所对应的基本运动的种类的顺序，评价所述对象者进行的运动的招式以及难度。
12.根据权利要求11所述的运动识别方法，其特征在于，还执行以下处理：
基于按照时间序列连续的组所对应的基本运动的顺序以及所述对象者的躯体的旋转角度，对所述对象者进行的运动的难度进行升级。
13.根据权利要求11或者12所述的运动识别方法，其特征在于，还执行以下处理：
通过基于将帧所包含的特征点的特征和分数建立了对应关系的评价基准，对每一组，比较帧所包含的特征点的特征和所述评价基准，来确定每一组的分数，评价组的评分。
14.根据权利要求11所述的运动识别方法，其特征在于，
在进行所述分类的处理中，反复执行基于通过所述对象者的两肩和后背的平面的法线矢量的方向和所述对象者的双手的位置来判定成为分段点的帧的处理，并且将被成为分段点的帧夹着的多个帧分类为一个组。
15.根据权利要求11所述的运动识别方法，其特征在于，
在进行所述分类的处理中，反复执行基于通过所述对象者的两髋和后背的平面的法线矢量的方向和所述对象者的双手的位置来判定成为分段点的帧的处理，并且将被成为分段点的帧夹着的多个帧分类为一个组。
CN201780062410.0A 2016-10-11 2017-10-11 运动识别装置、存储介质以及运动识别方法 Active CN109863535B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/JP2016/080150 WO2018069981A1 (ja) 2016-10-11 2016-10-11 運動認識装置、運動認識プログラムおよび運動認識方法
JPPCT/JP2016/080150 2016-10-11
PCT/JP2017/036797 WO2018070414A1 (ja) 2016-10-11 2017-10-11 運動認識装置、運動認識プログラムおよび運動認識方法

Publications (2)

Publication Number Publication Date
CN109863535A true CN109863535A (zh) 2019-06-07
CN109863535B CN109863535B (zh) 2022-11-25

Family

ID=61905221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780062410.0A Active CN109863535B (zh) 2016-10-11 2017-10-11 运动识别装置、存储介质以及运动识别方法

Country Status (5)

Country Link
US (1) US11176359B2 (zh)
EP (1) EP3528207B1 (zh)
JP (1) JP6733738B2 (zh)
CN (1) CN109863535B (zh)
WO (2) WO2018069981A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288766A (zh) * 2020-10-28 2021-01-29 中国科学院深圳先进技术研究院 运动评估方法、装置、***及存储介质

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3527268A1 (en) * 2016-10-11 2019-08-21 Fujitsu Limited Scoring support program, scoring support apparatus, and scoring support method
WO2019146024A1 (ja) * 2018-01-24 2019-08-01 富士通株式会社 画面生成プログラム、画面生成方法および情報処理装置
JP7146247B2 (ja) * 2018-09-03 2022-10-04 国立大学法人 東京大学 動作認識方法及び装置
US10853934B2 (en) 2018-09-19 2020-12-01 Indus.Ai Inc Patch-based scene segmentation using neural networks
US10769422B2 (en) 2018-09-19 2020-09-08 Indus.Ai Inc Neural network-based recognition of trade workers present on industrial sites
US11093886B2 (en) * 2018-11-27 2021-08-17 Fujifilm Business Innovation Corp. Methods for real-time skill assessment of multi-step tasks performed by hand movements using a video camera
TWI715903B (zh) * 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
CN111382624B (zh) * 2018-12-28 2023-08-11 杭州海康威视数字技术股份有限公司 动作识别方法、装置、设备及可读存储介质
CN111460870A (zh) * 2019-01-18 2020-07-28 北京市商汤科技开发有限公司 目标的朝向确定方法及装置、电子设备及存储介质
CN109840917B (zh) * 2019-01-29 2021-01-26 北京市商汤科技开发有限公司 图像处理方法及装置、网络训练方法及装置
CN110516112B (zh) * 2019-08-28 2021-04-27 北京理工大学 一种基于层次模型的人体动作检索方法及设备
WO2021064830A1 (ja) 2019-09-30 2021-04-08 富士通株式会社 評価方法、評価プログラムおよび情報処理装置
CN114467113A (zh) 2019-10-03 2022-05-10 富士通株式会社 运动识别方法、运动识别程序以及信息处理装置
JP7235133B2 (ja) * 2019-10-03 2023-03-08 富士通株式会社 運動認識方法、運動認識プログラムおよび情報処理装置
CN112668359A (zh) * 2019-10-15 2021-04-16 富士通株式会社 动作识别方法、动作识别装置和电子设备
WO2021084165A1 (fr) 2019-11-03 2021-05-06 St37 Sport Et Technologie Procede et systeme de caracterisation d'un mouvement d'une entite en mouvement
CN114846511A (zh) * 2020-01-24 2022-08-02 富士通株式会社 运动识别方法、运动识别程序以及信息处理装置
JP7352119B2 (ja) * 2020-04-02 2023-09-28 日本電信電話株式会社 学習装置、学習方法及び学習プログラム、並びに、スコア推定装置、スコア推定方法及びスコア推定プログラム
JP7459679B2 (ja) * 2020-06-23 2024-04-02 富士通株式会社 行動認識方法、行動認識プログラム及び行動認識装置
JP6908312B1 (ja) * 2020-08-07 2021-07-21 ハイパーダイン株式会社 情報処理装置、情報処理方法及びプログラム
GB2602248A (en) * 2020-11-11 2022-06-29 3D4Medical Ltd Motion assessment instrument
WO2022162781A1 (ja) * 2021-01-27 2022-08-04 富士通株式会社 行動系列判定装置、行動系列判定方法、及び行動系列判定プログラム
EP4316614A4 (en) * 2021-04-01 2024-05-01 Fujitsu Limited SKILL RECOGNITION METHOD, SKILL RECOGNITION APPARATUS AND GYMNASTICS SCORING SUPPORT SYSTEM
WO2023100246A1 (ja) * 2021-11-30 2023-06-08 富士通株式会社 技認識プログラム、技認識方法および情報処理装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148019A (ja) * 1999-06-01 2001-05-29 Fujitsu Ltd 移動物体間動作分類方法及び装置、画像認識装置並びに移動物体認識方法及び装置
JP2005209137A (ja) * 2003-12-26 2005-08-04 Mitsubishi Heavy Ind Ltd 対象物認識方法及び対象物認識装置、並びに顔方向識別装置
EP2362325A2 (en) * 2010-02-22 2011-08-31 Ailive Inc. Systems and methods for motion recognition using multiple sensing streams
JP2011215967A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体及び物体認識システム
US20120143358A1 (en) * 2009-10-27 2012-06-07 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US20120214594A1 (en) * 2011-02-18 2012-08-23 Microsoft Corporation Motion recognition
US20130218053A1 (en) * 2010-07-09 2013-08-22 The Regents Of The University Of California System comprised of sensors, communications, processing and inference on servers and other devices
JP2014044476A (ja) * 2012-08-24 2014-03-13 Fujitsu Ltd 画像処理装置、画像処理方法
CN103839040A (zh) * 2012-11-27 2014-06-04 株式会社理光 基于深度图像的手势识别方法和装置
US20140152761A1 (en) * 2012-12-03 2014-06-05 Takeshi Homma Information processing apparatus, information processing system and program
CN104461000A (zh) * 2014-12-03 2015-03-25 北京航空航天大学 一种基于少量缺失信号的在线连续人体运动识别方法
WO2016110804A1 (en) * 2015-01-06 2016-07-14 David Burton Mobile wearable monitoring systems

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5186656B2 (ja) * 2008-09-03 2013-04-17 独立行政法人産業技術総合研究所 動作評価装置および動作評価方法
US8755569B2 (en) * 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
CN103310193B (zh) * 2013-06-06 2016-05-25 温州聚创电气科技有限公司 一种记录体操视频中运动员重要技术动作时刻的方法
JP6384549B2 (ja) * 2014-10-10 2018-09-05 富士通株式会社 スキル判定プログラム、スキル判定方法およびスキル判定装置
WO2016098415A1 (ja) * 2014-12-18 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148019A (ja) * 1999-06-01 2001-05-29 Fujitsu Ltd 移動物体間動作分類方法及び装置、画像認識装置並びに移動物体認識方法及び装置
JP2005209137A (ja) * 2003-12-26 2005-08-04 Mitsubishi Heavy Ind Ltd 対象物認識方法及び対象物認識装置、並びに顔方向識別装置
US20120143358A1 (en) * 2009-10-27 2012-06-07 Harmonix Music Systems, Inc. Movement based recognition and evaluation
EP2362325A2 (en) * 2010-02-22 2011-08-31 Ailive Inc. Systems and methods for motion recognition using multiple sensing streams
JP2011215967A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体及び物体認識システム
US20130218053A1 (en) * 2010-07-09 2013-08-22 The Regents Of The University Of California System comprised of sensors, communications, processing and inference on servers and other devices
US20120214594A1 (en) * 2011-02-18 2012-08-23 Microsoft Corporation Motion recognition
JP2014044476A (ja) * 2012-08-24 2014-03-13 Fujitsu Ltd 画像処理装置、画像処理方法
CN103839040A (zh) * 2012-11-27 2014-06-04 株式会社理光 基于深度图像的手势识别方法和装置
US20140152761A1 (en) * 2012-12-03 2014-06-05 Takeshi Homma Information processing apparatus, information processing system and program
CN104461000A (zh) * 2014-12-03 2015-03-25 北京航空航天大学 一种基于少量缺失信号的在线连续人体运动识别方法
WO2016110804A1 (en) * 2015-01-06 2016-07-14 David Burton Mobile wearable monitoring systems

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288766A (zh) * 2020-10-28 2021-01-29 中国科学院深圳先进技术研究院 运动评估方法、装置、***及存储介质
CN112288766B (zh) * 2020-10-28 2024-05-28 中国科学院深圳先进技术研究院 运动评估方法、装置、***及存储介质

Also Published As

Publication number Publication date
US20190220657A1 (en) 2019-07-18
WO2018069981A1 (ja) 2018-04-19
US11176359B2 (en) 2021-11-16
JP6733738B2 (ja) 2020-08-05
EP3528207B1 (en) 2024-04-10
WO2018070414A1 (ja) 2018-04-19
EP3528207A1 (en) 2019-08-21
EP3528207A4 (en) 2019-10-30
JPWO2018070414A1 (ja) 2019-06-24
CN109863535B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN109863535A (zh) 运动识别装置、运动识别程序以及运动识别方法
CN109074641B (zh) 骨骼估计装置、骨骼估计方法以及骨骼估计程序
Hoffman et al. Breaking the status quo: Improving 3D gesture recognition with spatially convenient input devices
JP6082101B2 (ja) 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置
CN105229666B (zh) 3d图像中的运动分析
JP7127650B2 (ja) 認識プログラム、認識方法および認識装置
JPWO2017217050A1 (ja) 情報処理装置、情報処理方法及び記憶媒体
US20220207921A1 (en) Motion recognition method, storage medium, and information processing device
JP6943294B2 (ja) 技認識プログラム、技認識方法および技認識システム
JP7014304B2 (ja) 認識方法、認識プログラム、認識装置および学習方法
KR20220028654A (ko) 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법
US20220222975A1 (en) Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus
WO2021064830A1 (ja) 評価方法、評価プログラムおよび情報処理装置
WO2018207388A1 (ja) モーションキャプチャに関するプログラム、装置および方法
JP7272470B2 (ja) 運動認識方法、運動認識プログラムおよび情報処理装置
Nagatomo et al. Observing posture of playing children

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant