JPWO2018070414A1 - 運動認識装置、運動認識プログラムおよび運動認識方法 - Google Patents
運動認識装置、運動認識プログラムおよび運動認識方法 Download PDFInfo
- Publication number
- JPWO2018070414A1 JPWO2018070414A1 JP2018545018A JP2018545018A JPWO2018070414A1 JP WO2018070414 A1 JPWO2018070414 A1 JP WO2018070414A1 JP 2018545018 A JP2018545018 A JP 2018545018A JP 2018545018 A JP2018545018 A JP 2018545018A JP WO2018070414 A1 JPWO2018070414 A1 JP WO2018070414A1
- Authority
- JP
- Japan
- Prior art keywords
- subject
- frames
- frame
- group
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
- A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B5/00—Apparatus for jumping
- A63B5/12—Bolster vaulting apparatus, e.g. horses, bucks, tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/10—Athletes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
- A63B2024/0071—Distinction between different activities, movements, or kind of sports performed
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/05—Image processing for measuring physical parameters
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/20—Distances or displacements
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/806—Video cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Public Health (AREA)
- Dentistry (AREA)
- Biophysics (AREA)
- Physical Education & Sports Medicine (AREA)
- Human Computer Interaction (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Geometry (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
運動認識装置(100)は、分節部(153)と、識別部(154)と、第1評価部(155)とを有する。分節部(153)は、対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、対象者の体の所定の部位の位置に基づいて時系列に分節することで、複数のフレームを時系列に複数のグループに分類する。識別部(154)は、グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別する。第1評価部(155)は、時系列に連続するグループに対応する基本運動の種別の順序を基にして、対象者が行った運動の技および難度を評価する。
Description
本発明は、運動認識装置等に関する。
各種のスポーツの分野では、公平かつ正確に選手の演技を評価するため、長年にわたり多くの努力や改革が行われてきた。しかし、最近の競技の技術進歩はめざましく、審判員の目視だけでは正確な評価を行うことが困難な場合もある。このため、自動的に選手の演技を評価する技術が望まれている。以下において、自動的に選手の演技を評価する従来技術の一例について説明する。
従来技術1は、鉄棒を行う選手を評価する技術である。従来技術1は、2次元シルエット画像からキーボーズを検出し、キーボーズの組み合わせから技を認識し、自動採点を行う。しかし、従来技術1では、2次元シルエット画像を用いて技を認識するため、2次元シルエットのみで判別可能な一部の競技の技しか認識することができない。
従来技術1を解消するものとして、従来技術2がある。従来技術2は、技毎の選手の骨格の動きのプロトタイプを予め生成しておき、生成しておいた各プロトタイプと、演技を行う選手の骨格情報を比較して、技を判定する技術である。
吉村拓哉 橋本剛"機械学習を用いたジェスチャー認識精度向上方法の研究"ゲームプログラミングワークショップ 2012 論文集 2012.6(2012) 167-170.
J.Shin and Ozawa,"A Study on Motion Analysis of an Artistic Gymnastics by using Dynamic Image Processing" IEEE International Conference on Systems Man and Cybernetics, pp. 1037-1040,2008
しかしながら、上述した従来技術では、対象者の演技を効率的に評価することができないという問題がある。
例えば、従来技術2では、技毎に用意した各プロトタイプを用いて、技を識別する。このため、多種多様な技を判別するためには、比較対象となるプロトタイプの数が多くなり、該当する技を認識するまでに時間を要する。
1つの側面では、本発明は、対象者の演技を効率的に評価することができる運動認識装置、運動認識プログラムおよび運動認識方法を提供することを目的とする。
第1の案では、運動認識装置は、分節部と、識別部と、第1評価部とを有する。分節部は、対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、対象者の体の所定の部位の位置に基づいて時系列に分節することで、複数のフレームを時系列に複数のグループに分類する。識別部は、グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別する。第1評価部は、時系列に連続するグループに対応する基本運動の種別の順序を基にして、対象者が行った運動の技および難度を評価する。
対象者の演技を効率的に評価することができる。
以下に、本願の開示する運動認識装置、運動認識プログラムおよび運動認識方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、本実施例に係るシステムの構成を示す図である。図1に示すように、このシステムは、3D(dimension)センサ10と、骨格認識装置20と、運動認識装置100とを有する。例えば、対象者5は、3Dセンサ10の撮影範囲で、所定の体操を行う。本実施例では一例として、対象者5が鞍馬を演技する場合について説明するが、これに限定されるものではなく、その他の体操競技であっても良い。
3Dセンサ10は、3Dセンサ10の設置位置から、3Dセンサ10の撮影範囲に含まれる対象者5上の各観測点までの距離情報を計測するセンサである。例えば、3Dセンサ10は、フレーム毎に、各観測点の3次元座標を示す3次元データを生成し、生成した3次元データを骨格認識装置20に出力する。フレームは、あるタイミングにおいて、3Dセンサ10が計測した各観測点の3次元座標の情報を示すものであり、3次元データは、複数のフレームから構成される。
骨格認識装置20は、3次元データを基にして、対象者5の骨格を構成する複数の特徴点を認識する装置である。図2は、骨格の特徴点の一例を説明するための図である。図2に示すように、骨格の特徴点は、特徴点5a〜5pが含まれる。
特徴点5aは、頭部の位置に対応する点である。特徴点5b,5eは、肩関節(右肩関節、左肩関節)の位置に対応する点である。特徴点5c,5fは、肘関節(右肘関節、左肘関節)の位置に対応する点である。特徴点5d,5gは、手首(右手首、左手首)の位置に対応する点である。特徴点5hは、首の位置に対応する点である。特徴点5iは、背中(背中の中心)に対応する点である。特徴点5jは、腰(腰の中心)に対応する点である。特徴点5k,5nは、股関節(右股関節、左股関節)の位置に対応する点である。特徴点5l,5oは、膝関節(右膝関節、左膝関節)の位置に対応する点である。特徴点5m,5pは、足首(右足首、左足首)の位置に対応する点である。
骨格認識装置20は、フレーム毎の3次元データを基にして、フレーム毎の骨格の特徴点を認識し、骨格データを生成する。図3は、骨格データのデータ構造の一例を示す図である。図3に示すように、骨格データは、フレーム毎に、各特徴点5a〜5pの3次元座標を有する。各フレームは、フレームを一意に識別するフレーム番号が付与される。
運動認識装置100は、骨格データを基にして、対象者5が演技した体操の技および難度を評価する装置である。図4は、運動認識装置の構成を示す機能ブロック図である。図4に示すように、この運動認識装置100は、インタフェース部110と、入力部120と、記憶部140と、制御部150とを有する。
インタフェース部110は、骨格認識装置20やその他の外部装置とデータを送受信するインタフェースである。後述する制御部150は、インタフェース110を介して、骨格識別装置20とデータをやり取りする。
入力部120は、運動認識装置100に各種の情報を入力するための入力装置である。例えば、入力部120は、キーボードやマウス、タッチパネル等に対応する。
表示部130は、制御部150から出力される情報を表示する表示装置である。例えば、表示部130は、液晶ディスプレイやタッチパネル等に対応する。
記憶部140は、骨格データ141、算出結果データ142、技認定規則データ143、格上げ規則データ144、評価結果データ145を有する。記憶部140は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。
骨格データ141は、骨格認識装置20により生成される骨格データである。骨格データ141のデータ構造は、図3で説明した骨格データのデータ構造と同様である。
算出結果データ142は、対象者5の手足先、体躯の位置・姿勢に関する情報を有するデータである。算出結果データ142は、後述する算出部152により算出される。図5は、算出結果データのデータ構造の一例を示す図である。図5に示すように、この算出結果データ142は、フレーム番号と、手・足の位置データと、体躯ベクトルデータと、分節番号とを対応付ける。
フレーム番号は、フレームを一意に識別する情報である。手・足の位置データは、両手、両足の3次元座標を示すデータである。例えば、手の位置データは、手首の特徴点5d,5gの3次元座標に対応する。足の位置データは、足首の特徴点5m,5pの3次元座標に対応する。体躯ベクトルデータは、体躯ベクトルの方向および大きさを示すデータである。
図6は、体躯ベクトルの一例を説明するための図である。図6に示すように、体躯ベクトル7は、右肩関節の特徴点5bと、左肩関節の特徴点5eと、背中の特徴点5iとを通る平面6の法線ベクトルに対応する。例えば、体躯ベクトル7の大きさを「1」とする。例えば、体躯ベクトルは、X軸、Y軸、Z軸からなる直交座標系で定義される。X軸の方向を、鞍馬8の長手方向とする。Y軸の方向を、X軸と直交する方向とする。Z軸の方向を、XY平面の鉛直上方向とする。なお、体躯ベクトル7が求まると、鞍馬と体躯との角度を定義することができる。
鞍馬と体躯との角度について説明する。図7は、鞍馬と体躯との角度を説明するための図である。図7に示すように、鞍馬と体躯との角度θは、線分1aと線分1bとのなす角である。線分1bは、体躯ベクトル7をXY平面に投影したものを対象者5の前方に延長した線分である。線分1aはY軸に対応する線分である。
分節番号は、フレームがいずれのグループに属するかを示す番号である。グループは、ある1つの基本運動を対象者が行った場合において、基本運動の始点となるフレームから基本運動の終点となるフレームまでの各フレームを集合として扱うものである。
同一のグループに属するフレームには、同一の分節番号が割り当てられる。分節番号は、後述する分節部153によって設定される。例えば、時系列に連続する複数のフレームにおいて、分節点となるフレームから、次の分節点となるフレームまでに含まれる複数のフレームが、同一のグループに含まれるフレームとなる。以下の説明では適宜、同一のグループに属する複数のフレームを、「部分データ」と表記する。後述する識別部154は、部分データ毎に、部分データに対応する基本運動の種別を特定する。
図4の説明に戻る。技認定規則データ143は、後述する第1評価部155が、技の名称と、難度とを判定する場合に用いるデータである。図8は、技認定規則データのデータ構造の一例を示す図である。図8に示すように、この技認定規則データ143は、基本運動種別、始点体躯角度領域、終点体躯角度領域、始点左手支持位置、始点右手支持位置、終点左手支持位置、終点右手支持位置、前基本運動種別、技名、グループ、難度を対応付ける。
基本運動種別は、基本運動の種別を示すものである。始点体躯角度領域は、部分データに含まれる始点のフレームにおいて、体躯ベクトルの方向が、予め定められたいずれの角度領域に含まれるのかを示すものである。終点体躯角度領域は、部分データに含まれる終点のフレームにおいて、体躯ベクトルの方向が、予め定められたいずれの角度領域に含まれるのかを示すものである。図8の始点体躯角度領域および終点体躯角度領域において、A(B)は、()外または()内の組み合わせにおいて、角度領域がA領域であっても良いし、B領域であっても良いことを示す。
図9は、角度領域の一例を示す図である。図9に示すように、角度領域は、0°領域、90°領域、180°領域、270°領域を含む。線分1bは、対象者5の体躯ベクトル7をXY平面に投影したものを対象者5の前方に延長した線分である。図9に示す例では、体躯ベクトル7の方向は、0°領域となる。
始点左手支持位置は、部分データに含まれる始点のフレームにおいて、対象者5の左手(左手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。始点右手支持位置は、部分データに含まれる始点のフレームにおいて、対象者5の右手(右手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。図8の始点左手支持位置および始点右手支持位置において、A(B)は、()外または()内の組み合わせにおいて、支持位置が支持位置Aであっても良いし、支持位置Bであっても良いことを示す。
終点左手支持位置は、部分データに含まれる終点のフレームにおいて、対象者5の左手(左手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。終点右手支持位置は、部分データに含まれる終点のフレームにおいて、対象者5の右手(右手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。図8の終点左手支持位置および終点右手支持位置において、A(B)は、()外または()内の組み合わせにおいて、支持位置が支持位置Aであっても良いし、支持位置Bであっても良いことを示す。
図10は、支持位置の一例を示す図である。対象者5の手(左手または右手)が領域8aに存在する場合には、手の位置は、支持位置「1」に対応する。対象者5の手が領域8bに存在する場合には、手の位置は、支持位置「2」に対応する。対象者5の手が領域8cに存在する場合には、手の位置は、支持位置「3」に対応する。対象者5の手が領域8dに存在する場合には、手の位置は、支持位置「4」に対応する。対象者5の手が領域8eに存在する場合には、手の位置は、支持位置「5」に対応する。
前基本運動種別は、着目する部分データよりも時系列で一つ前の部分データに対応する基本運動の種別を示すものである。前基本運動種別「any」は、前の基本運動の種別が何であっても良いことを示す。以下の説明では、着目する部分データよりも時系列で一つ前の部分データを、「前部分データ」と表記する。
技名は、基本運動種別、始点体躯角度領域、終点体躯角度領域、始点左手支持位置、始点右手支持位置、終点左手支持位置、終点右手支持位置、前基本運動種別の組み合わせにより特定される技の名称である。
グループは、技名により特定される技が分類されるグループを示すものである。難度は、技の難度を示すものである。技の難度は、A,B,C,D,Eの順に難度が高くなる。難度Aが最も難度が低い。
図4の説明に戻る。格上げ規則データ144は、後述する格上げ部156が、技の難度を格上げするか否かを判定する場合に用いるデータである。図11は、格上げ規則データのデータ構造の一例を示す図である。図11に示すように、この格上げ規則データ144は、技名と、前運動における体躯回転角度、前運動における始点左手支持位置、前運動における始点右手支持位置、前運動における終点左手支持位置、前運動における終点右手支持位置とを有する。また、格上げ規則データ144は、前基本運動種別と、難度格上げ数とを有する。
図11において、技名は、着目する部分データについて、第1評価部155により特定された技名に対応し、難度の格上げを行うか否かの対象となるものである。前運動における体躯回転角度は、前部分データに含まれる始点のフレームから終点のフレームまでの体躯ベクトルの回転角度の総和を示す。例えば、回転角度は、図9で説明したように、体躯ベクトルをXY平面に投影した場合の、回転角度とする。前部分データの始点となるフレームの体躯ベクトルをXY平面に投影した位置を0°として、回転角度の合計が算出される。
前運動における始点左手支持位置は、前部分データに含まれる始点のフレームにおいて、対象者5の左手(左手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。前運動における始点右手支持位置は、前部分データに含まれる始点のフレームにおいて、対象者5の右手(右手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。
前運動における終点左手支持位置は、前部分データに含まれる終点のフレームにおいて、対象者5の左手(左手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。前運動における終点右手支持位置は、前部分データに含まれる終点のフレームにおいて、対象者5の右手(右手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。
前基本運動種別は、前部分データに対応する基本運動の種別を示すものである。
難度格上げ数は、該当する条件にヒットする場合に、第1評価部155によって特定された技の難度を何段階格上げするのかを示す情報である。例えば、第1評価部155によって特定された技名が「正交差」であり、体躯回転角度が「360°未満」であり、前運動における始点・終点、左手・右手の各支持位置が「3」であり、前基本運動種別が「倒立ひねり」であるとする。この場合には、格上げ規則データ144の1列目のレコードにヒットし、難度格上げ数は「1」となる。例えば、現在の難度が「A」である場合には、1段階難度を格上げすると、補正後の難度は「B」となる。
評価結果データ145は、対象者5の演技の評価結果に関する情報を保持するデータである。図12は、評価結果データのデータ構造の一例を示す図である。図12に示すように、この評価結果データ145は、フレーム番号、右手位置、左手位置、体躯角度、足の高さ、体躯向き、分節フラグ、基本運動種別、技名、難度、Eスコアを対応付ける。
フレーム番号は、フレームを一意に識別する情報である。右手位置は、対象者5の右手(右手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。左手位置は、対象者5の左手(左手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。
体躯角度は、対象者5の体躯角度を示すものである。例えば、該当するフレームから求められる体躯ベクトルをXY平面に投影した場合の線分と、Y軸とのなす角を、体躯角度とする。足の高さは、対象者5の右足(右足首)の位置および対象者の左足(左足首)位置のうち、高い方の位置を示すものである。
体躯向きは、体躯ベクトルのZ軸の向きが正の方向であるか負の方向であるかを示すものである。体躯向きが「下」とは、体躯ベクトルのZ軸の向きが負であることを示す。体躯向きが「上」とは、体躯ベクトルのZ軸の向きが正であることを示す。
分節フラグは、該当するフレームが分節点に対応するか否かを示す情報である。該当するフレームが分節点であるか否かは、後述する分節部153によって判定される。該当するフレームが分節点である場合には、分節フラグが「1」となる。該当するフレームが分節点でない場合には、分節フラグが「0」となる。
基本運動種別、技名、難度に関する説明は、図8で説明した基本運動種別、技名、難度に関する説明と同様である。
Eスコア(Execution score)は、部分データに対応する基本運動種別のEスコアを示すものである。Eスコアは、後述する第2評価部157により算出される。
図4の説明に戻る。制御部150は、取得部151、算出部152、分節部153、識別部154、第1評価部155、格上げ部156、第2評価部157、表示制御部158を有する。制御部150は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって実現できる。また、制御部150は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。
取得部151は、骨格認識装置20から骨格データ141を取得する処理部である。取得部151は、取得した骨格データ141を記憶部140に登録する。骨格データ141のデータ構造は、図3で説明したものである。
算出部152は、骨格データ141を基にして、算出結果データ142を算出する処理部である。算出結果データ142のデータ構造は、図5で説明したものである。算出結果データ142のうち、フレーム番号に対応する手・足の位置データ、体躯ベクトルデータは、算出部152により登録され、分節番号は、分節部153により登録される。
算出部152は、フレーム毎に、手・足の位置データ、体躯ベクトルデータを算出する。例えば、算出部152は、骨格データ141の特徴点5d,5gの3次元座標を、手の位置として算出する。算出部152は、骨格データ141の特徴点5m,5pの3次元座標を、足の位置として算出する。算出部152は、該当するフレームのフレーム番号と対応付けて、手・足の位置データを、算出結果データ142に登録する。
算出部152は、右肩関節の特徴点5bと、左肩関節の特徴点5eと、背中の特徴点5iとを通る平面6の法線ベクトルを、体躯ベクトルとして算出する。算出部152は、該当するフレームのフレーム番号と対応付けて、体躯ベクトルデータを、算出結果データ142に登録する。
算出部152は、骨格データ141の各フレームについて、上記処理を繰り返し実行することで、算出結果データ142を生成する。
分節部153は、算出結果データ142を基にして、分節点となるフレームを特定し、特定した分節点に基づいて、複数のフレームを複数のグループに分類する処理部である。分節部153は、算出結果データ142にアクセスし、同一のグループに属するフレームの分節番号を、同一に設定する。
分節部153は、算出結果データ142において、あるフレーム番号に対応する手・足の位置データを参照する。分節部153は、下記の条件A1、A2、A3を全て満たす場合に、あるフレーム番号に対応するフレームが、分節点であると判定する。条件A1〜A3を全て満たす場合には、対象者5は両手を鞍馬8につき、体躯ベクトルの方向が下向きになっていることを意味する。
条件A1:対象者5の左手の位置が、図10に示した領域8a〜8eのいずれかに位置する。
条件A2:対象者5の右手の位置が、図10に示した領域8a〜8eのいずれかに位置する。
条件A3:体躯ベクトルのZ軸成分が負である。
条件A1:対象者5の左手の位置が、図10に示した領域8a〜8eのいずれかに位置する。
条件A2:対象者5の右手の位置が、図10に示した領域8a〜8eのいずれかに位置する。
条件A3:体躯ベクトルのZ軸成分が負である。
分節部153は、評価結果データにアクセスし、分節点であると判定したフレーム番号に対応する分節フラグを「1」に設定する。分節フラグの初期値を「0」とする。
図13は、分節部の処理の一例を説明するための図である。図13に示す複数のフレームは、時系列に並んでいる。一例として、フレーム30a、31a,32aが、上記の条件A1〜A3を満たし、分節点のフレームであるとする。この場合には、分節部153は、範囲30に含まれる各フレームを同一のグループに分類する。分節部153は、範囲31に含まれる各フレームを同一のグループに分類する。分節部153は、範囲32に含まれる各フレームを同一のグループに分類する。
範囲30に含まれる各フレームの分節番号は「n」、範囲31に含まれる各フレームの分節番号は「n+1」、範囲32に含まれる各フレームの分節番号は「n+2」となる。nは1以上の自然数とする。
例えば、範囲30に含まれる各フレームにおいて、先頭のフレーム30aが、始点のフレームとなり、末尾のフレーム30bが、終点のフレームとなる。範囲31に含まれる各フレームにおいて、先頭のフレーム31aが、始点のフレームとなり、末尾のフレーム31bが、終点のフレームとなる。範囲32に含まれる各フレームにおいて、先頭のフレーム32aが、始点のフレームとなり、末尾のフレーム32bが、終点のフレームとなる。
ここで、「部分データ」、「前部分データ」について再度説明する。範囲30,31,32に含まれる各フレームをまとめたデータが、それぞれ、部分データとなる。着目する部分データを、範囲31に含まれる各フレームであるとすると、前部分データは、範囲31に含まれる各フレームとなる。
識別部154は、部分データ毎に、部分データに含まれるフレームの特徴点の動きを基にして、部分データに対応する基本運動種別を識別する処理部である。識別部154は、部分データに含まれるフレームの特徴点の情報を、算出結果データ142から取得する。識別部154は、部分データに対応する基本運動種別を識別すると、識別結果を、フレーム番号と対応付けて、評価結果データ145に登録する。
例えば、識別部154は、HMM(Hidden Markov Model)を利用する。HMMは、時系列データを入力とし、その時系列データがどのカテゴリ(基本運動種別)に属するのかを決定する確率モデルである。識別部154には、学習フェーズと、認識フェーズとがある。
HMMは、学習フェーズにおいて、基本運動種別毎に4組のパラメータセットλを求めておく。パラメータセットλは、式(1)によって定義される。
λ={Q、A、B、Π}・・・(1)
λ={Q、A、B、Π}・・・(1)
式(1)において、Qは、状態の集合を示し、式(2)によって定義される。
Q={a1、q2、・・・、qn}・・・(2)
Q={a1、q2、・・・、qn}・・・(2)
式(1)において、Aは、状態qiから状態qjへの遷移確率aijの集合である状態遷移確率行列を示し、式(3)によって定義される。
A={aij}・・・(3)
A={aij}・・・(3)
式(1)において、Bは、状態qjでのベクトルxを出力する確率分布の集合を示す。式(1)において、Πは、初期状態の集合を示し、式(4)によって定義される。
Π={πi}・・・(4)
Π={πi}・・・(4)
識別部154の学習フェーズの処理の一例について説明する。識別部154は、ある基本運動種別のパラメータセットλを求める場合に、初期状態としてHMMのパラメータをランダムに設定する。識別部154は、ある基本運動識別に対応する部分データを複数用意し、部分データOsegmentに対してHMMの尤度P(Osegment|Λk)を算出する処理を行う。
識別部154は、尤度Pが最大となる部分データを、HMMに関するΛkの教師信号とし、Λkのパラメータセットを最適化する処理を繰り返し実行する。識別部154は、係る処理により、ある基本運動種別のパラメータセットλを特定する。識別部154は、他の基本運動種別についても同様の処理を行うことで、基本運動種別毎のパラメータセットλを学習する。
識別部154の認識フェーズの処理の一例について説明する。識別部154は、基本運動種別の認識対象となる部分データを取得すると、式(6)に基づき、学習フェーズで学習したパラメータセットを変えつつ、パラメータセットλ毎のΛkのうち、最大となるΛk0を特定する。識別部154は、Λk0を算出した際に用いたパラメータセットλに対応する基本運動種別を、認識対象となる部分データの基本運動種別として判定する。
第1評価部155は、時系列に連続する部分データに対応する基本運動種別の順序を基にして、対象者5が行った運動の技および難度を評価する処理部である。以下において、第1評価部155の処理の一例について説明する。ここでは、評価対象となる部分データを、単に部分データと表記し、評価対象となる部分データよりも一つ前の部分データを前部分データと表記する。
第1評価部155は、部分データに含まれるフレーム番号と、評価結果データ145とを基にして、部分データの基本運動種別を特定する。第1評価部155は、前部分データに含まれるフレーム番号と、評価結果データ145とを基にして、前部分データの前基本運動種別を特定する。
第1評価部155は、部分データに含まれる始点のフレームのフレーム番号をキーにして、算出結果データ142を参照し、始点体躯角度領域、始点左手支持位置、始点右手支持位置を特定する。第1評価部155は、部分データに含まれる終点のフレームのフレーム番号をキーにして、算出結果データ142を参照し、終点体躯角度領域、終点左手支持位置、終点右手支持位置を特定する。
例えば、第1評価部155は、図9で説明した各角度領域の定義と、体躯ベクトルとを比較して、始点体躯角度領域、終点体躯角度領域を特定する。第1評価部155は、図10で説明した各領域8a〜8eと、手の位置データとを比較することで、始点左手支持位置、始点右手支持位置、終点左手支持位置、終点右手支持位置を特定する。
第1評価部155は、特定した各情報と、技認定規則データ143とを比較して、部分データに対応する技名と難度とグループとを特定する。ここで、特定した各情報は、基本運動種別、前運動種別を含む。また、特定した各情報は、始点体躯角度領域、始点左手支持位置、始点右手支持位置、終点体躯角度領域、終点左手支持位置、終点右手支持位置を含む。
第1評価部155は、特定した技名と難度とグループとを、部分データに含まれるフレームのフレーム番号と対応付けて、評価結果データ145に登録する。また、第1評価部155は、フレーム番号と対応付けて、右手位置、左手位置、体躯角度、足の高さ、体躯向きを登録する。第1評価部155は、他の部分データについても上記処理を繰り返し実行することで、技名、難度、グループを特定し、評価結果データ145に登録する。
格上げ部156は、第1評価部155が評価した難度を格上げするか否かを判定し、判定結果を基にして、難度を格上げする処理部である。以下において、格上げ部156の処理の一例について説明する。ここでは、評価対象となる部分データを、単に部分データと表記し、評価対象となる部分データよりも一つ前の部分データを前部分データと表記する。
格上げ部156は、部分データに含まれるフレームのフレーム番号をキーにして、評価結果データ145を参照し、第1評価部155により評価された、部分データに対応する技名を特定する。
格上げ部156は、部分データに含まれる各フレームの体躯ベクトルを基にして、体躯回転角度を算出する。体躯回転角度は、始点のフレームから終点のフレームまでの体躯角度の変化の総和である。格上げ部156は、各フレームの体躯ベクトルのデータを、算出結果データ142から取得する。
格上げ部156は、部分データに含まれる始点のフレームのフレーム番号をキーにして、算出結果データ142を参照し、始点左手支持位置、始点右手支持位置を特定する。格上げ部156は、部分データに含まれる終点のフレームのフレーム番号をキーにして、算出結果データ142を参照し、終点左手支持位置、終点右手支持位置を特定する。格上げ部156は、前部分データに含まれるフレーム番号と、評価結果データ145とを基にして、前部分データの前基本運動種別を特定する。
格上げ部156は、特定した各情報と、格上げ規則データ144とを比較して、部分データに対応する難度を格上げするか否かを判定する。ここで、特定した各情報は、技名、体躯回転角度、始点左手支持位置、始点右手支持位置、終点左手支持位置、終点右手支持位置、前基本運動種別を含む。
格上げ部156は、特定した各情報にヒットする列レコードが、格上げ規則データ144に存在する場合には、難度を格上げすると判定する。格上げ部156は、特定した各情報にヒットする列レコードが、格上げ規則データ144に存在しない場合には、難度を格上げしないと判定する。何段階格上げするのかは、ヒットした列レコードの難度格上げ数を参照する。
例えば、部分データの技名が「正交差」であり、体躯回転角度が「360°未満」であり、前運動における始点・終点、左手・右手の各支持位置が「3」であり、前基本運動種別が「倒立ひねり」であるとする。この場合には、格上げ規則データ144の1列目のレコードにヒットし、難度格上げ数は「1」となる。そして、部分データの現在の難度が「A」である場合には、格上げ部156は、難度を「B」に補正する。
格上げ部156は、他の部分データについても上記処理を繰り返し実行することで、評価結果データ145の難度を更新する。
第2評価部157は、各部分データについて、基本運動のEスコアを評価する処理部である。第2評価部157には、予め基本運動種別毎に、Eスコアを算出するためのポリシーが設定されているものとする。ここでは一例として、第2評価部157が、基本運動種別「下り」のEスコアを算出する例について説明する。ここでの「下り」は、鞍馬から対象者5が下りる際の基本運動を示す。
第2評価部157は、式(7)に示す評価関数F(k)を用いる。評価関数F(k)は、評価対象となる部分データに含まれる複数のフレームのうち、k番目のフレームを評価する関数である。
F(k)=arcsin(Tz/Tx)・・・(7)
F(k)=arcsin(Tz/Tx)・・・(7)
図14は、評価関数F(k)を説明するための図である。図14において、Txは、k番目のフレームにおける対象者5の肩関節から足先(足首)までのX成分の長さに対応する。Tzは、k番目のフレームにおける対象者5の肩関節から足先までのZ成分の長さに対応する。例えば、肩関節の位置は、特徴点5bまたは5eの位置に対応する。足先は、特徴点5mまたは5pの位置に対応する。
第2評価部157は、「下り」を評価する場合には、対象となる部分データに含まれる各フレームについて、上記処理を繰り返し実行し、各フレームに対するF(k)の値を算出する。第2評価部157は、各フレームにおいて、F(k)の値が30°未満となるフレームが出現した場合には、欠点「0.3」を決定する。
第2評価部157は、式(8)に基づいて、基本運動に対する最終的なEスコアを算出する。式(8)に示すΣは、全ての部分データにおける評価関数の結果で決定された欠点の総和を示すものである。なお、上記では一例として「下り」の評価関数について説明したが、その他の基本運動についても、該当する基本運動に対応した評価関数により欠点が決定される。例えば、「旋回」の部分データの評価関数は、左右足先の揃い方を評価する評価関数となり、左右両足が揃わないほど、欠点が大きくなる。
Eスコア=10−Σ・・・(8)
第2評価部157は、算出したEスコアの情報を、フレーム番号に対応付けて、評価結果データ145に登録する。第2評価部157は、同一の部分データに含まれる各フレームのレコードに、Eスコアを登録しても良いし、同一の部分データに含まれる各フレームのうち、始点のフレームのレコードに、Eスコアを登録して良い。第2評価部157は、他の部分データについても同様にEスコアを算出し、評価結果データ145に登録する。
なお、上記の第1評価部155は、評価結果データ145と、規則を示す論理式により、技の難度を再判定しても良い。規則を表す論理式は、各基本運動の技名の順序と、Dスコア(Difficulty score)とを対応付ける論理式である。
表示制御部158は、評価結果データ145を基にして、表示画面を生成し、表示部130に表示させる処理部である。図15は、表示画面の一例を示す図である。図15に示すように、この表示画面50には、領域50a〜50gが含まれる。なお、表示制御部158は、評価結果データ145をそのまま、表示部130に表示しても良い。
領域50aは、現在の対象者5の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域50bは、対象者5の演技開始時の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域50cは、現在のフレームよりも1つ前のフレームにより特定される対象者5の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域50dは、現在のフレームよりも2つ前のフレームにより特定される対象者5の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域50eは、現在のフレームよりも3つ前のフレームにより特定される対象者5の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域50fは、現在のフレームを含む部分データにより特定される基本運動の技名を表示する領域である。領域50gは、3Dセンサ10の情報を可視化した画像を表示する領域である。
次に、本実施例に係る運動認識装置100の処理手順について説明する。図16および図17は、運動認識装置の処理手順を示すフローチャートである。図16に示すように、運動認識装置100は、処理対象のフレーム番号を、フレーム番号に1を加算した値によって更新する(ステップS101)。運動認識装置100の算出部152は、骨格データ141を読み込む(ステップS102)。
算出部152は、骨格データ141を基にして、手・足の位置データ、体躯ベクトルデータを算出する(ステップS103)。運動認識装置100の分節部153は、正面支持フラグの設定を行う(ステップS104)。ステップS104において、分節部153は、上述した条件A1,A2,A3を全て満たす場合に、正面支持フラグを「1」に設定する。分節部153は、条件A1,A2,A3の全てを満たさない場合には、正面支持フラグを「0」に設定する。正面支持フラグは、処理対象のフレーム番号と対応付けられる。
分節部153は、着地フラグを設定する(ステップS105)。ステップS105において、分節部153は、対象者5の左足先(左足首)の位置または右足(右足首)の位置が所定の閾値未満である場合に、着地フラグを「1」に設定する。分節部153は、対象者5の左足先(左足首)の位置または右足(右足首)の位置が所定の閾値以上である場合に、着地フラグを「0」に設定する。着地フラグは、処理対象のフレーム番号と対応付けられる。
分節部153は、分節点判定処理を行う(ステップS106)。ステップS106において、分節部153は、前回のフレーム番号に対応する正面支持フラグが「0」で、かつ、処理対象のフレーム番号に対応する正面支持フラグが「1」である場合に、処理対象のフレーム番号に対応するフレームが、分節点であると判定する。分節部153は、前回のフレーム番号に対応する正面支持フラグが「1」であるか、または、処理対象のフレーム番号に対応する正面支持フラグが「0」である場合に、処理対象のフレーム番号に対応するフレームが、分節点でないと判定する。
分節部153は、分節点でないと判定した場合には(ステップS107,No)、フレーム番号に対応付けて、手・足の位置データ、体躯ベクトルデータ、現在の分節番号を、算出結果データ142に登録し(ステップS108)、ステップS101に移行する。
分節部153は、分節点であると判定した場合には(ステップS107,Yes)、現在の分節番号を更新し(ステップS109)、図17のステップS110に移行する。
運動認識装置100の識別部154は、分節番号nのフレームを基にして、基本運動種別を判定する(ステップS110)。運動認識装置100の第1評価部155は、技認定規則データ143を基にして、技名と難度とを判定する(ステップS111a)。運動認識装置100の格上げ部156は、格上げ規則データ144を基にして、難度を格上げし(ステップS112)、ステップS113に移行する。
運動認識装置100の第2評価部157は、基本運動に関するEスコアを算出し(ステップS111b)、ステップS113に移行する。
運動認識装置100は、フレーム番号に対応付けて、技と難度とEスコアとを評価結果テーブル145に登録する(ステップS113)。
運動認識装置100は、演技終了判定処理を行う(ステップS114)。ステップS114において、運動認識装置100は、技の属するグループが所定のグループである場合に、演技が終了であると判定する。運動認識装置100は、着地フラグを集計した落下カウントの値が所定数以上である場合に、演技が終了であると判定する。
運動認識装置100は、演技が終了でない場合には(ステップS115,No)、図16のステップS101に移行する。運動認識装置100は、演技が終了である場合には(ステップS115,Yes)、着地フラグ、落下カウント、分節番号を初期値に設定する(ステップS116)。
運動認識装置100の第1評価部155は、評価結果データ145と、規則を示す論理式により、技の難度を再判定し、Dスコアを算出する(ステップS117)。運動認識装置100の表示制御部158は、評価結果を表示する(ステップS118)。
次に、図17のステップS111aで説明した技認定規則データを基にして技名と難度とを判定する処理の一例について説明する。図18は、技名と難度と判定する処理手順を示すフローチャートである。図18に示すように、運動認識装置100の第1評価部155は、分節番号nに対応するフレームの手・足の位置データおよび体躯ベクトルデータを、算出結果データ142から取得する(ステップS201)。
第1評価部155は、始点のフレームに対応する手・足の位置データを基にして、始点体躯角度領域、始点左手支持位置、始点右手支持位置を特定する(ステップS202)。第1評価部155は、終点のフレームに対応する手・足の位置データを基にして、終点体躯角度領域、終点左手支持位置、終点右手支持位置を特定する(ステップS203)。
第1評価部155は、分節番号nに対応する基本運動種別および前運動種別を特定する(ステップS204)。
第1評価部155は、特定した各情報と、技認定規則データ143とを比較して、ヒットする列レコードが存在するか否かを判定する(ステップS205)。ここで、特定した各情報は、始点体躯角度領域、始点左手支持位置、始点右手支持位置、終点体躯角度領域、終点左手支持位置、終点右手支持位置、基本運動種別、前基本運動種別を含む。
第1評価部155は、ヒットした場合には(ステップS206,Yes)、ヒットした列レコードに含まれる技名、グループ、難度を、分節番号nに対応する技名、グループ、難度として特定する(ステップS207)。
第1評価部155は、ヒットしない場合には(ステップS206,No)、分節番号nに対応する技名を不明とし、グループおよび難度を0とする(ステップS208)。
次に、図17のステップS112で説明した格上げ規則データを基にして難度を格上げする処理の一例について説明する。図19は、難度を格上げする処理手順を示すフローチャートである。図19に示すように、運動認識装置100の格上げ部156は、分節番号nに対応するフレームの手・足の位置データおよび体躯ベクトルデータを、算出結果データ142から取得する(ステップS301)。
格上げ部156は、始点のフレームから終点のフレームの体躯ベクトルを基にして、体躯回転角度を算出する(ステップS302)。
格上げ部156は、始点のフレームに対応する手・足の位置データを基にして、始点左手支持位置、始点右手支持位置を特定する(ステップS303)。終点のフレームに対応する手・足の位置データを基にして、終点左手支持位置、終点右手支持位置を特定する(ステップS304)。
格上げ部156は、分節番号nに対応する技名および前基本運動種別を特定する(ステップS305)。
格上げ部156は、特定した各情報と、格上げ規則データ144とを比較して、ヒットする列レコードが存在するか否かを判定する(ステップS306)。格上げ部156は、ヒットした場合には(ステップS307,Yes)、難度格上げ数に応じて、難度を格上げする(ステップS308)。格上げ部156は、ヒットしない場合には(ステップS307,No)、処理を終了する。
図20は、運動認識装置の処理の一例を示す図である。図20に示す例では、分節部153は、算出結果データ142を基にして、分節点60a〜60gを設定する。例えば、分節点60a,60b,60cのフレームでは、対象者5の左手支持位置が「2」、右手支持位置が「4」となっている。分節点60dのフレームでは、対象者5の左手支持位置が「4」、右手支持位置が「4」となっている。分節点60eのフレームでは、対象者5の左手支持位置が「4」、右手支持位置が「2」となっている。分節点60f,60gのフレームでは、対象者5の左手支持位置が「2」、右手支持位置が「2」となっている。なお、分節点60a〜60gのフレームでは、図示を省略するが、体躯ベクトルが下を向いているものとする。
一例として、分節点60a,60b,60cのフレームの体躯角度は180°である。分節点60dのフレームの体躯角度は90°である。分節点60eのフレームの体躯角度は0°である。分節点60f,60gのフレームの体躯角度は270°である。
一例として、識別部154は、分節点60aから60bに含まれる各フレームの特徴点の動きから、基本運動種別を「CCW旋回」と判定する。識別部154は、分節点60bから60cに含まれる各フレームの特徴点の動きから、基本運動種別を「CCW旋回」と判定する。識別部154は、分節点60cから60dに含まれる各フレームの特徴点の動きから、基本運動種別を「CCW下向き逆1/4転向」と判定する。識別部154は、分節点60dから60eに含まれる各フレームの特徴点の動きから、基本運動種別を「CCW上向き逆1/4旋回」と判定する。識別部154は、分節点60eから60fに含まれる各フレームの特徴点の動きから、基本運動種別を「CCW下向き逆1/4旋回」と判定する。識別部154は、分節点60fから60gに含まれる各フレームの特徴点の動きから、基本運動種別を「CCW旋回」と判定する。
一例として、第1評価部155は、技認定規則データ143を基にして、分節点60aから60bに含まれる各フレーム間に対象者が行った技名を「横旋回」、難度「A」と判定する。第1評価部155は、技認定規則データ143を基にして、分節点60bから60cに含まれる各フレーム間に対象者が行った技名を「横旋回」、難度「A」と判定する。第1評価部155は、技認定規則データ143を基にして、分節点60cから60eに含まれる各フレーム間に対象者が行った技名を「把手上下向き転向」、難度「B」と判定する。第1評価部155は、技認定規則データ143を基にして、分節点60eから60fに含まれる各フレーム間に対象者が行った技名、難度はヒットせず、技名「不明」、難度「−」と判定する。第1評価部155は、技認定規則データ143を基にして、分節点60fから60gに含まれる各フレーム間に対象者が行った技名を「一把手上縦向き旋回」、難度「B」と判定する。
一例として、第2評価部157は、分節点60aから60bに含まれる各フレーム間に対象者が行った演技のEスコアを「8」と判定する。第2評価部157は、分節点60bから60cに含まれる各フレーム間に対象者が行った演技のEスコアを「8.5」と判定する。第2評価部157は、分節点60cから60eに含まれる各フレーム間に対象者が行った演技のEスコアを「7.8」と判定する。第2評価部157は、分節点60eから60fに含まれる各フレーム間に対象者が行った演技のEスコアを「1」と判定する。第2評価部157は、分節点60fから60gに含まれる各フレーム間に対象者が行った演技のEスコアを「8.3」と判定する。
次に、本実施例に係る運動認識装置100の効果について説明する。運動認識装置100は、対象者5の骨格データ141を基にして、分節点となるフレームを特定し、複数の部分データに分類する。運動認識装置100は、各部分データの基本運動種別を特定し、時系列に連続する部分データの基本運動種別の順序を基にして、対象者が行った運動の技名および難度を評価する。このように、基本運動種別の順序に基づき、技名および難度を評価するため、運動認識装置100によれば、対象者5の演技を効率的に評価することができる。
運動認識装置100は、時系列に連続する部分データの基本運動種別の順序および体躯回転角度を基にして、運動の難度を格上げする。このため、競技の複雑な評価基準に対応した正確な難度を特定することができる。
運動認識装置100は、部分データに含まれる各フレームの特徴点の特徴と点数とを対応付けた評価基準に基づいて、部分データに対応するEスコアを算出する。このため、技や難度に加えて、Eスコアも適切に算出することができる。
運動認識装置100は、体躯ベクトルが下方向を向き、かつ、対象者5の両手が、予め定められた領域に位置するフレームを、分節点として特定する。このため、複数のフレームを適切に分節することができ、技や難度の判定精度を向上することができる。
ところで、本実施例に係る運動認識装置100の算出部152は、右肩関節の特徴点5bと、左肩関節の特徴点5eと、背中の特徴点5iとを通る平面6の法線ベクトル7を、体躯ベクトルとして算出していたが、これに限定されるものではない。
図21は、その他の体躯ベクトルの一例を説明するための図である。算出部152は、各股関節(右股関節、左股関節)の特徴点5k,5nと、背中の特徴点5iとを通る平面6aの法線ベクトル7aを、体躯ベクトルとして算出してもよい。なお、法線ベクトル7aの方向は、対象者5の腹側とし、法線ベクトル7aの大きさを「1」とする。以下の説明では、法線ベクトル7aを、体躯ベクトル7aと表記する。体躯ベクトル7aの始点は、平面(三角形)6a上に固定されていればどこでもよいが、特徴点5k,5nの中点であっても良いし、平面6aの重心であってもよい。分節部153は、体躯ベクトル7の代わりに、体躯ベクトル7aを用いた場合でも、複数のフレームを適切に分節することができ、技や難度の判定精度を向上することができる。さらに、体躯ベクトル7aは、体躯ベクトル7と比較して、胴体下部の向きを評価することに適している。
なお、計算部152は、対象者5の実際の運動と整合するように、特徴点5b,5e,5i,5k,5nの位置座標を全体の特徴点位置座標を用いて逆運動学計算で調整または推定し、体躯ベクトル7および体躯ベクトル7aを算出してもよい。計算部152は、調整または推定した特徴点5b,5e,5iの平面6あるいは5i,5k,5nの平面6aの単位法線ベクトルを、体躯ベクトルとして採用してもよい。このように、各特徴点5b,5e,5i,5k,5nの位置座標を実際の運動と整合するように調整または推定して算出した体躯ベクトル7,7aを採用することで、オクルージョン等の理由により、対象者5の特徴点を直接検出出来ない場合や、特徴点の位置の誤差が大きくなる場合に対応でき、技の判定精度を向上させることができる。
次に、上記実施例に示した運動認識装置100と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図22は、運動認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図22に示すように、コンピュータ200は、各種演算処理を実行するCPU201と、ユーザからのデータの入力を受け付ける入力装置202と、ディスプレイ203とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読み取る読み取り装置204と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置205とを有する。コンピュータ200は、インタフェース装置205を介して、骨格認識装置20から骨格データを取得する。また、コンピュータ200は、各種情報を一時記憶するRAM206と、ハードディスク装置207とを有する。そして、各装置201〜207は、バス208に接続される。
ハードディスク装置207は、取得プログラム207a、算出プログラム207b、分節プログラム207c、識別プログラム207d、第1評価プログラム207e、格上げプログラム207f、第2評価プログラム207g、表示プログラム207hを有する。CPU201は、各プログラム207a〜207hを読み出して、RAM206に展開する。
取得プログラム207aは、取得プロセス206aとして機能する。算出プログラム207bは、算出プロセス206bとして機能する。分節プログラム207cは、分節プロセス206cとして機能する。識別プログラム207dは、識別プロセス206dとして機能する。第1評価プログラム207eは、第1評価プロセス206eとして機能する。格上げプログラム207fは、格上げプロセス206fとして機能する。第2評価プログラム207gは、第2評価プロセス206gとして機能する。表示プログラム207hは、表示プロセス206hとして機能する。
取得プロセス206aの処理は、取得部151の処理に対応する。算出プロセス206bの処理は、算出部152の処理に対応する。分節プロセス206cの処理は、分節部153の処理に対応する。識別プロセス206dの処理は、識別部154の処理に対応する。第1評価プロセス206eの処理は、第1評価部155の処理に対応する。格上げプロセス206fの処理は、格上げ部156の処理に対応する。第2評価プロセス206gの処理は、第2評価部157の処理に対応する。表示プロセス206hの処理は、表示制御部158の処理に対応する。
なお、各プログラム207a〜207hについては、必ずしも最初からハードディスク装置207に記憶させておかなくても良い。例えば、コンピュータ200に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ200が各プログラム207a〜207hを読み出して実行するようにしても良い。
10 3Dセンサ
20 骨格認識装置
100 運動認識装置
20 骨格認識装置
100 運動認識装置
Claims (15)
- 対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、前記対象者の体の所定の部位の位置に基づいて時系列に分節することで、前記複数のフレームを時系列に複数のグループに分類する分節部と、
グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別する識別部と、
時系列に連続するグループに対応する基本運動の種別の順序を基にして、前記対象者が行った運動の技および難度を評価する第1評価部と
を有することを特徴とする運動認識装置。 - 時系列に連続するグループに対応する基本運動の順序および前記対象者の体躯の回転角度を基にして、前記第1評価部に評価された前記対象者が行った運動の難度を格上げする格上げ部を更に有することを特徴とする請求項1に記載の運動認識装置。
- フレームに含まれる特徴点の特徴と点数とを対応付けた評価基準を基にして、グループ毎に、フレームに含まれる特徴点の特徴と前記評価基準とを比較することで、グループ毎の点数を特定し、グループのスコアを評価する第2評価部を更に有することを特徴とする請求項1または2に記載の運動認識装置。
- 前記分節部は、前記対象者の両肩と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを1つのグループに分類することを特徴とする請求項1に記載の運動認識装置。
- 前記分節部は、前記対象者の両股と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを1つのグループに分類することを特徴とする請求項1に記載の運動認識装置。
- コンピュータに、
対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、前記対象者の体の所定の部位の位置に基づいて時系列に分節することで、前記複数のフレームを時系列に複数のグループに分類し、
グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別し、
時系列に連続するグループに対応する基本運動の種別の順序を基にして、前記対象者が行った運動の技および難度を評価する
処理を実行させることを特徴とする運動認識プログラム。 - 時系列に連続するグループに対応する基本運動の順序および前記対象者の体躯の回転角度を基にして、前記対象者が行った運動の難度を格上げする処理を更にコンピュータに実行させることを特徴とする請求項6に記載の運動認識プログラム。
- フレームに含まれる特徴点の特徴と点数とを対応付けた評価基準を基にして、グループ毎に、フレームに含まれる特徴点の特徴と前記評価基準とを比較することで、グループ毎の点数を特定し、グループのスコアを評価する処理を更にコンピュータに実行させることを特徴とする請求項6または7に記載の運動認識プログラム。
- 前記分類する処理は、前記対象者の両肩と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを1つのグループに分類することを特徴とする請求項6に記載の運動認識プログラム。
- 前記分類する処理は、前記対象者の両股と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを1つのグループに分類することを特徴とする請求項6に記載の運動認識プログラム。
- コンピュータが実行する運動認識方法であって、
対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、前記対象者の体の所定の部位の位置に基づいて時系列に分節することで、前記複数のフレームを時系列に複数のグループに分類し、
グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別し、
時系列に連続するグループに対応する基本運動の種別の順序を基にして、前記対象者が行った運動の技および難度を評価する
処理を実行することを特徴とする運動認識方法。 - 時系列に連続するグループに対応する基本運動の順序および前記対象者の体躯の回転角度を基にして、前記対象者が行った運動の難度を格上げする処理を更に実行することを特徴とする請求項11に記載の運動認識方法。
- フレームに含まれる特徴点の特徴と点数とを対応付けた評価基準を基にして、グループ毎に、フレームに含まれる特徴点の特徴と前記評価基準とを比較することで、グループ毎の点数を特定し、グループのスコアを評価する処理を更に実行することを特徴とする請求項11または12に記載の運動認識方法。
- 前記分類する処理は、前記対象者の両肩と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを1つのグループに分類することを特徴とする請求項11に記載の運動認識方法。
- 前記分類する処理は、前記対象者の両股と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを1つのグループに分類することを特徴とする請求項11に記載の運動認識方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/080150 WO2018069981A1 (ja) | 2016-10-11 | 2016-10-11 | 運動認識装置、運動認識プログラムおよび運動認識方法 |
JPPCT/JP2016/080150 | 2016-10-11 | ||
PCT/JP2017/036797 WO2018070414A1 (ja) | 2016-10-11 | 2017-10-11 | 運動認識装置、運動認識プログラムおよび運動認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018070414A1 true JPWO2018070414A1 (ja) | 2019-06-24 |
JP6733738B2 JP6733738B2 (ja) | 2020-08-05 |
Family
ID=61905221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018545018A Active JP6733738B2 (ja) | 2016-10-11 | 2017-10-11 | 運動認識装置、運動認識プログラムおよび運動認識方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11176359B2 (ja) |
EP (1) | EP3528207B1 (ja) |
JP (1) | JP6733738B2 (ja) |
CN (1) | CN109863535B (ja) |
WO (2) | WO2018069981A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3527268A1 (en) * | 2016-10-11 | 2019-08-21 | Fujitsu Limited | Scoring support program, scoring support apparatus, and scoring support method |
WO2019146024A1 (ja) * | 2018-01-24 | 2019-08-01 | 富士通株式会社 | 画面生成プログラム、画面生成方法および情報処理装置 |
JP7146247B2 (ja) * | 2018-09-03 | 2022-10-04 | 国立大学法人 東京大学 | 動作認識方法及び装置 |
US10853934B2 (en) | 2018-09-19 | 2020-12-01 | Indus.Ai Inc | Patch-based scene segmentation using neural networks |
US10769422B2 (en) | 2018-09-19 | 2020-09-08 | Indus.Ai Inc | Neural network-based recognition of trade workers present on industrial sites |
US11093886B2 (en) * | 2018-11-27 | 2021-08-17 | Fujifilm Business Innovation Corp. | Methods for real-time skill assessment of multi-step tasks performed by hand movements using a video camera |
TWI715903B (zh) * | 2018-12-24 | 2021-01-11 | 財團法人工業技術研究院 | 動作追蹤系統及方法 |
CN111382624B (zh) * | 2018-12-28 | 2023-08-11 | 杭州海康威视数字技术股份有限公司 | 动作识别方法、装置、设备及可读存储介质 |
CN111460870A (zh) * | 2019-01-18 | 2020-07-28 | 北京市商汤科技开发有限公司 | 目标的朝向确定方法及装置、电子设备及存储介质 |
CN109840917B (zh) * | 2019-01-29 | 2021-01-26 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、网络训练方法及装置 |
CN110516112B (zh) * | 2019-08-28 | 2021-04-27 | 北京理工大学 | 一种基于层次模型的人体动作检索方法及设备 |
WO2021064830A1 (ja) | 2019-09-30 | 2021-04-08 | 富士通株式会社 | 評価方法、評価プログラムおよび情報処理装置 |
CN114467113A (zh) | 2019-10-03 | 2022-05-10 | 富士通株式会社 | 运动识别方法、运动识别程序以及信息处理装置 |
JP7235133B2 (ja) * | 2019-10-03 | 2023-03-08 | 富士通株式会社 | 運動認識方法、運動認識プログラムおよび情報処理装置 |
CN112668359A (zh) * | 2019-10-15 | 2021-04-16 | 富士通株式会社 | 动作识别方法、动作识别装置和电子设备 |
WO2021084165A1 (fr) | 2019-11-03 | 2021-05-06 | St37 Sport Et Technologie | Procede et systeme de caracterisation d'un mouvement d'une entite en mouvement |
CN114846511A (zh) * | 2020-01-24 | 2022-08-02 | 富士通株式会社 | 运动识别方法、运动识别程序以及信息处理装置 |
JP7352119B2 (ja) * | 2020-04-02 | 2023-09-28 | 日本電信電話株式会社 | 学習装置、学習方法及び学習プログラム、並びに、スコア推定装置、スコア推定方法及びスコア推定プログラム |
JP7459679B2 (ja) * | 2020-06-23 | 2024-04-02 | 富士通株式会社 | 行動認識方法、行動認識プログラム及び行動認識装置 |
JP6908312B1 (ja) * | 2020-08-07 | 2021-07-21 | ハイパーダイン株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN112288766B (zh) * | 2020-10-28 | 2024-05-28 | 中国科学院深圳先进技术研究院 | 运动评估方法、装置、***及存储介质 |
GB2602248A (en) * | 2020-11-11 | 2022-06-29 | 3D4Medical Ltd | Motion assessment instrument |
WO2022162781A1 (ja) * | 2021-01-27 | 2022-08-04 | 富士通株式会社 | 行動系列判定装置、行動系列判定方法、及び行動系列判定プログラム |
EP4316614A4 (en) * | 2021-04-01 | 2024-05-01 | Fujitsu Limited | SKILL RECOGNITION METHOD, SKILL RECOGNITION APPARATUS AND GYMNASTICS SCORING SUPPORT SYSTEM |
WO2023100246A1 (ja) * | 2021-11-30 | 2023-06-08 | 富士通株式会社 | 技認識プログラム、技認識方法および情報処理装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010061376A (ja) * | 2008-09-03 | 2010-03-18 | National Institute Of Advanced Industrial Science & Technology | 動作評価装置および動作評価方法 |
WO2016056449A1 (ja) * | 2014-10-10 | 2016-04-14 | 富士通株式会社 | スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ |
WO2016098415A1 (ja) * | 2014-12-18 | 2016-06-23 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4420512B2 (ja) * | 1999-06-01 | 2010-02-24 | 富士通マイクロエレクトロニクス株式会社 | 移動物体間動作分類方法及び装置並びに画像認識装置 |
JP2005209137A (ja) * | 2003-12-26 | 2005-08-04 | Mitsubishi Heavy Ind Ltd | 対象物認識方法及び対象物認識装置、並びに顔方向識別装置 |
US8755569B2 (en) * | 2009-05-29 | 2014-06-17 | University Of Central Florida Research Foundation, Inc. | Methods for recognizing pose and action of articulated objects with collection of planes in motion |
US9981193B2 (en) * | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
JP2011170856A (ja) * | 2010-02-22 | 2011-09-01 | Ailive Inc | 複数の検出ストリームを用いたモーション認識用システム及び方法 |
JP2011215967A (ja) * | 2010-03-31 | 2011-10-27 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び物体認識システム |
WO2012006549A2 (en) * | 2010-07-09 | 2012-01-12 | The Regents Of The University Of California | System comprised of sensors, communications, processing and inference on servers and other devices |
US8761437B2 (en) * | 2011-02-18 | 2014-06-24 | Microsoft Corporation | Motion recognition |
JP6011154B2 (ja) * | 2012-08-24 | 2016-10-19 | 富士通株式会社 | 画像処理装置、画像処理方法 |
CN103839040B (zh) * | 2012-11-27 | 2017-08-25 | 株式会社理光 | 基于深度图像的手势识别方法和装置 |
JP6044306B2 (ja) * | 2012-12-03 | 2016-12-14 | 株式会社リコー | 情報処理装置、情報処理システム及びプログラム |
CN103310193B (zh) * | 2013-06-06 | 2016-05-25 | 温州聚创电气科技有限公司 | 一种记录体操视频中运动员重要技术动作时刻的方法 |
CN104461000B (zh) * | 2014-12-03 | 2017-07-21 | 北京航空航天大学 | 一种基于少量缺失信号的在线连续人体运动识别方法 |
CN112998649A (zh) * | 2015-01-06 | 2021-06-22 | 大卫·伯顿 | 移动式可穿戴的监控*** |
-
2016
- 2016-10-11 WO PCT/JP2016/080150 patent/WO2018069981A1/ja active Application Filing
-
2017
- 2017-10-11 CN CN201780062410.0A patent/CN109863535B/zh active Active
- 2017-10-11 JP JP2018545018A patent/JP6733738B2/ja active Active
- 2017-10-11 EP EP17859616.9A patent/EP3528207B1/en active Active
- 2017-10-11 WO PCT/JP2017/036797 patent/WO2018070414A1/ja unknown
-
2019
- 2019-03-25 US US16/362,701 patent/US11176359B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010061376A (ja) * | 2008-09-03 | 2010-03-18 | National Institute Of Advanced Industrial Science & Technology | 動作評価装置および動作評価方法 |
WO2016056449A1 (ja) * | 2014-10-10 | 2016-04-14 | 富士通株式会社 | スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ |
WO2016098415A1 (ja) * | 2014-12-18 | 2016-06-23 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Non-Patent Citations (1)
Title |
---|
辛 貞殷 外1 名: "動画像処理によるスポーツ運動解析の研究", 電子情報通信学会技術研究報告 VOL.108 NO.46 PRMU2008−1〜18 パターン認識・メ, vol. 第108 巻 第46号, JPN6020019434, 15 May 2008 (2008-05-15), JP, pages 13 - 18, ISSN: 0004280807 * |
Also Published As
Publication number | Publication date |
---|---|
US20190220657A1 (en) | 2019-07-18 |
WO2018069981A1 (ja) | 2018-04-19 |
US11176359B2 (en) | 2021-11-16 |
JP6733738B2 (ja) | 2020-08-05 |
EP3528207B1 (en) | 2024-04-10 |
WO2018070414A1 (ja) | 2018-04-19 |
EP3528207A1 (en) | 2019-08-21 |
EP3528207A4 (en) | 2019-10-30 |
CN109863535A (zh) | 2019-06-07 |
CN109863535B (zh) | 2022-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6733738B2 (ja) | 運動認識装置、運動認識プログラムおよび運動認識方法 | |
CN105229666B (zh) | 3d图像中的运动分析 | |
US8175326B2 (en) | Automated scoring system for athletics | |
JP6617830B2 (ja) | 骨格推定装置、骨格推定方法および骨格推定プログラム | |
Hoffman et al. | Breaking the status quo: Improving 3D gesture recognition with spatially convenient input devices | |
US11281896B2 (en) | Physical activity quantification and monitoring | |
JP7235133B2 (ja) | 運動認識方法、運動認識プログラムおよび情報処理装置 | |
JP6943294B2 (ja) | 技認識プログラム、技認識方法および技認識システム | |
CN103597515A (zh) | 用于识别张开的或闭合的手的*** | |
WO2011009302A1 (zh) | 一种基于多跟踪点的人体动作识别方法 | |
US20220222975A1 (en) | Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus | |
CN114093032A (zh) | 一种基于动作状态信息的人体动作评估方法 | |
Morel et al. | Automatic evaluation of sports motion: A generic computation of spatial and temporal errors | |
WO2021064830A1 (ja) | 評価方法、評価プログラムおよび情報処理装置 | |
JP2024508782A (ja) | マーカレス運動解析を改善するための方法 | |
JP7272470B2 (ja) | 運動認識方法、運動認識プログラムおよび情報処理装置 | |
US20220343649A1 (en) | Machine learning for basketball rule violations and other actions | |
JP7375829B2 (ja) | 生成方法、生成プログラム及び情報処理システム | |
Miyashita et al. | Analyzing Fine Motion Considering Individual Habit for Appearance-Based Proficiency Evaluation | |
WO2022208859A1 (ja) | 技認識方法、技認識装置および体操採点支援システム | |
WO2021064942A1 (ja) | 評価方法、評価プログラムおよび情報処理システム | |
JP2023178888A (ja) | 判定装置、判定方法、及びプロググラム | |
CN115578786A (zh) | 运动视频检测方法、装置、设备及存储介质 | |
Mena et al. | Temporal nearest end-effectors for real-time full-body human actions recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200622 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6733738 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |